CN109753172A - 触控面板敲击事件的分类方法及系统，及触控面板产品 - Google Patents

Abstract

一种触控面板上的敲击事件的分类方法，包括：收集在触控面板上进行的敲击事件并记录该敲击事件的类型，作为一个样本；生成包括若干个样本的一样本集；使用此样本集来训练一深度神经网络，决定出优化的权重参数组；将该深度神经网络及该优化的权重参数组作为一敲击分类器，布建到一触控面板产品中。本揭示并提供对应该分类方法的系统，以及一种触控面板产品。

Description

触控面板敲击事件的分类方法及系统，及触控面板产品

技术领域

本揭示涉及一种感测技术，特别有关一种触控面板上的敲击事件的分类方法及系统，以及触控面板产品。

背景技术

现有的大尺寸触控显示装置搭配有标注绘图软件，可供使用者在显示画面上进行标注，以方便解说画面上的内容。该标注绘图软件通常会在画面边缘显示主菜单，使用者可通过该主菜单改变画笔颜色或调整画笔粗细。然而，由于屏幕尺寸很大，该主菜单可能距离使用者很远，在点选上相当不便，调整画笔属性的操作对使用者来说相当麻烦。

有鉴于此，有必要提出一种新的方案，以解决上述问题。

发明内容

本揭示的目的在于提供一种触控面板上的敲击事件的分类方法及系统，以及触控面板产品，以提升敲击类型之预测的准确度。

为达成上述目的，本揭示一方面提供一种触控面板上的敲击事件的分类方法，包括：利用一振动感测器感测在触控面板上进行的各种敲击事件，以量测若干个振动信号；对每一个振动信号进行取样，针对每一个振动信号得出若干个特征值；将一个振动信号的特征值及根据该振动信号对应的敲击事件的类型记录的分类标签，作为一个样本，生成包括若干个样本的一样本集；将一个样本中的特征值作为输入，自由选取的权重参数组作为调整参数，输入到一深度神经网络中，得出一预测的分类标签；根据该预测的分类标签与该样本中真实的分类标签的误差，采用向后传播的算法，调整该权重参数组；以及将该样本集的样本分批读出，训练该深度神经网络，对该权重参数组进行微调，以决定出优化的权重参数组。

本揭示另一方面提供一种触控面板上的敲击事件的分类系统，包括：一触控面板；一振动感测器，与该触控面板设置在一起，用以感测在触控面板上进行的各种敲击事件，以量测若干个振动信号；一处理器，与该振动感测器耦接，该处理器接收该振动感测器传来的振动信号；以及一闪存，与该处理器连接，该闪存包括可由该处理器执行的若干个程序指令，该处理器执行这些程序指令以执行一方法，所述方法包括：对每一个振动信号进行取样，针对每一个振动信号得出若干个特征值；将一个振动信号的特征值及根据该振动信号对应的敲击事件的类型记录的分类标签，作为一个样本，生成包括若干个样本的一样本集；将一个样本中的特征值作为输入，自由选取的权重参数组作为调整参数，输入到一深度神经网络中，得出一预测的分类标签；根据该预测的分类标签与该样本中真实的分类标签的误差，采用向后传播的算法，调整该权重参数组；以及将该样本集的样本分批读出，训练该深度神经网络，对该权重参数组进行微调，以决定出优化的权重参数组。

本揭示再一方面提供一种触控面板产品，包括：一触控面板；一振动感测器，与该触控面板设置在一起，用以感测对该触控面板执行的一敲击操作而产生振动信号；以及一控制器，与该振动感测器耦接，该控制器中布建有与上述方法中的深度神经网络对应的深度神经网络，该控制器用以将该对应的深度神经网络及根据上述方法得出的该优化的权重参数组作为一模型，该并用以将来自该振动感测器的振动信号输入该模型中，以得出一预测的敲击类型。

本揭示采用深度学习的方式，运用深度神经网络学习在触控面板上进行的各种敲击事件的分类，得出一预测模型。将此预测模型布建在触控显示产品上，因此终端产品能够对用户作出的敲击动作进行预测，预测得出敲击的类型(例如敲击的次数)，在软件层面上对这些敲击类型作不同的应用。本揭示通过深度学习大幅提升了敲击类型的预测准确度，使得可应用性大大提高。

为让本揭示的上述内容能更明显易懂，下文特举优选实施例，并配合所附图式，作详细说明如下：

附图说明

图1显示根据本揭示实施例实现的一种触控面板上的敲击事件的分类系统的示意图。

图2显示根据本揭示实施例实现的一种触控面板上的敲击事件的分类方法的流程图。

图3显示本揭示实施例中的振动信号之时间分布的示意图。

图4显示本揭示实施例中于频率空间的振动信号的示意图。

图5显示本揭示实施例中的深度神经网络的示意图。

图6显示根据本揭示实施例实现的一种触控面板产品的示意图。

图7显示根据本揭示实施例实现的一种触控面板上的敲击事件的分类方法的流程图。

10 触控装置

20、20’ 触控面板

21 信号传送层

22 信号接收层

30、30’ 振动感测器

40 计算机装置

41 处理器

42 闪存

60 控制器

S21～S29 步骤

具体实施方式

为使本揭示的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本揭示进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本揭示，本揭示说明书所使用的词语“实施例”意指用作实例、示例或例证，并不用于限定本揭示。此外，本揭示说明书和权利要求书中所使用的冠词「一」一般地可以被解释为意指「一个或多个」，除非另外指定或从上下文可以清楚确定单数形式。

本揭示采用深度学习(deep learning)的方式，对在触控面板上作出的敲击事件进行分类学习而得出一分类模型。利用此分类模型，可以将使用者在触控产品上作出的敲击动作加以分类，得出敲击的类型(例如敲击的次数)，从而可以执行对应该类型的预定操作。

敲击事件的类型例如可为笔或手指所进行的一次敲击、二次敲击和三次敲击等。

该预定操作可根据不同的应用情境而有不同的配置。例如在大尺寸触控面板的应用情境下，举例来说，一次敲击可与开启/关闭主菜单的操作关联，二次敲击可与变更画笔颜色的操作关联，三次敲击可与变更画笔粗细的操作关联。如下文描述的，本领域技术人员可以理解，也可将本揭示的发明概念运用在其他应用。当然，敲击次数与执行之操作的关系也可由使用者自行定义。

图1显示根据本揭示实施例实现的一种触控面板上的敲击事件的分类系统的示意图。该系统包括一触控装置10及与触控装置10耦接的计算机装置40。触控装置10可为具有触控功能的显示装置，其可通过一显示面板(未图示)显示影像，同时可接收使用者的触控操作。计算机装置40可为具有一定之运算能力的计算器，例如个人计算机、笔记本电脑等。本揭示中，为了对敲击事件进行分类，需要先收集敲击事件，在此，人为地敲击触控装置10，将敲击事件对应的信号传送到计算机装置40，计算机装置40采用深度神经网络(deepneural network)进行学习。

触控装置10包括一触控面板20，其包括一信号传送(Tx)层21及一信号接收(Rx)层22，用以感测使用者的触摸操作。触控装置10还包括至少一振动感测器30，例如加速度计。振动感测器30可配置在触控装置10中的任一位置，较佳地，振动感测器30配置在触控面板20的下表面。振动感测器30用以感测在触控装置10上进行的敲击动作，产生相应的振动信号。当振动感测器30配置在触控面板20下表面时，可以针对在触控面板20上的敲击生成较好的信号。

计算机装置40通过接口接收振动感测器30生成的振动信号，将其馈入深度神经网络进行分类学习。人为产生敲击事件后，也可将每个敲击事件的类型输入到计算机装置40中，进行监督式学习(supervised learning)。如图1所示，计算机装置40包括一处理器41及一闪存42，处理器41与振动感测器30耦接，处理器41接收振动感测器30传来的振动信号，闪存42与处理器41连接，闪存42包括可由处理器41执行的若干个程序指令，处理器41执行这些程序指令以执行该深度神经网络的相关运算。计算机装置40也可利用GPU或TPU来执行该深度神经网络的相关运算，以提升运算速度。

图2显示根据本揭示实施例实现的一种触控面板上的敲击事件的分类方法的流程图。请配合图1参阅图2，所述方法包括如下步骤：

步骤S21：利用一振动感测器30感测在触控面板20上进行的各种敲击事件，以量测若干个振动信号。在此步骤中，在触控面板20上人为地产生各种敲击事件，设置在触控面板20下表面上的振动感测器20感测敲击事件而生成振动信号。在本揭示中，振动感测器20的数量不限于一个，也可以是若干个，振动感测器20也可以设置在触控装置10中的任一位置，振动感测器20也可以感测在触控装置10表面的任一位置作出的敲击动作，而不仅限于在触控面板10上进行的敲击动作。

振动感测器30侦测到的加速度是时间函数，有三个方向分量，图3所示为某一敲击事件其对应的加速度大小在时间上的分布。于一实施例中，可利用傅里叶转换分别将三个方向分量转换到频率空间，如图4所示。具体来说，所述方法可进一步包括将每一个振动信号从时间分布转换到频率空间的步骤。

在转换到频率空间后，可进一步滤掉低频的直流成分(DC component)与高频杂讯，以避免分类结果受到重力加速度以及杂讯的影响。具体来说，所述方法可进一步包括对每一个振动信号进行滤波，过滤掉高频和低频的部分的步骤。

步骤S22：对每一个振动信号进行取样，针对每一个振动信号得出若干个特征值(feature values)。在此步骤中，对振动感测器30生成的每一个振动信号进行取样，例如在频率空间中，以一定的频率间隔进行取样，得出若干个数据点，这些数据点即为特征值，进行归一化(normalization)后，作为深度神经网络的训练数据。

步骤S23：将一个振动信号的特征值及根据该振动信号对应的敲击事件的类型记录的分类标签(classification label)，作为一个样本，生成包括若干个样本的一样本集。在此步骤中，振动感测器30量测的振动信号及对应该振动信号的敲击事件的类型作为一笔数据，即一个样本，若干个样本构成一样本集。具体来说，一个样本包括一个振动信号的特征值及对应该振动信号的分类标签。

该样本集可分成训练样本集及测试样本集，该训练样本集可用来训练深度神经网络，该测试样本集用来测试训练得出的神经网络模型之分类准确度。

步骤S24：将一个样本中的特征值作为输入，自由选取的权重参数组(weightingparameters)作为调整参数，输入到一深度神经网络中，得出一预测的分类标签。步骤S23中的得出的一个样本中的特征值自输入层输入，通过该深度神经网络输出预测的分类标签。

图5显示一个深度神经网络的例子，深度神经网络一般可以分为输入层、输出层及介于输入层和输出层间的学习层，样本集的每个样本从输入层输入，预测的分类标签从输出层输出。一般来说，深度神经网络包括许多学习层，其层数相当多(例如50～100层)，故可实现深度学习。图5显示的深度神经网络仅为示意，本揭示的深度神经网络并不以此为限。

深度神经网络中可包括多个卷积层(convolutional layer)、批次归一层(batchnormalization layer)、池化层(pooling layer)、全连接层(fully connected layer)、线性整流单元(rectified linear unit，ReLu)以及一个Softmax输出层等等。本揭示可以采用适当数量的层数进行学习，以在预测准确度与运算效率上取得平衡，但需注意的是，层数过多也可能导致准确度下降。深度神经网络可包括多个级联的子网络，每个子网络与位在其后的各个子网络相连，如DenseNet(Dense Convolutional Network)，以提升预测的准确度。深度神经网络也可包括残留网络(Residual Network)，用来解决降解(degradation)问题。

步骤S25：根据该预测的分类标签与该样本中真实的分类标签的误差，采用向后传播(backpropagation)的算法，调整该权重参数组。该深度神经网络的优化目标是使得分类误差(loss)最小，优化的方法采用向后传播算法，也就是说，输出层得出的预测结果与真实的值进行比较，得到一个误差值，然后这个误差值逐层往回传，从而修正每一层的参数。

步骤S26：将该样本集的样本分批(mini-batch)读出，训练该深度神经网络，对该权重参数组进行微调，以决定出优化的权重参数组。每使用一批子样本集进行训练时，就会对权重参数组进行一次微调，如此迭代地进行，直到分类误差趋向于收敛。最后，选取出对于测试集有最高预测准确度的参数组作为优化的模型参数组。

图6显示根据本揭示实施例实现的一种触控面板产品的示意图。如图6所示，该触控面板产品包括一触控面板20’、一或多个振动感测器30’及一控制器60。振动感测器30’可以设置在触控面板20’的下表面，或者也可设置在该触控面板产品中的任一位置。振动感测器30’用以感测对该触控面板执行的一敲击操作而产生振动信号。控制器60与振动感测器30’耦接，接收振动感测器30’产生的振动信号。

控制器60用以对使用者在触控面板20’上进行的敲击事件进行分类预测，以得出一预测的敲击类型。举例来说，控制器60中布建有与上述步骤S24至S26中采用的深度神经网络相同或相应的深度神经网络，且存储有上述步骤S26得出的优化的权重参数组。该相应的深度神经网络及该优化的权重参数组构成一预测模型。控制器60将来自振动感测器30’的振动信号输入该模型中，即可得出相应之敲击事件的分类标签，即得出预测的敲击类型。如此，该触控面板产品实现了敲击事件的分类预测。

于一实施例中，控制器60可为该触控面板产品中的任一控制器。于另一实施例中，控制器60结合于一触控芯片中，也就是说，该触控面板产品的触控芯片不仅具有感测使用者的触摸操作的功能，同时也具有预测使用者的敲击类型的功能。具体来说，该深度神经网络相应的程序码以及该优化的权重参数组可写入触控芯片的固件中，在执行驱动程序的阶段，触控芯片可预测出敲击事件的类型。

请配合图6参阅图7，所述方法还包括如下步骤：

步骤S27：将该深度神经网络及该优化的权重参数组作为一模型，布建到一终端产品中。该终端产品例如为一触控面板产品。在此步骤中，该终端产品具有一预测模型，其包括了与上述步骤S24至S26中采用的深度神经网络相同或相应的神经网络以及上述步骤S26得出的优化的权重参数组。

步骤S28：接收对该终端产品执行的一敲击操作所产生的振动信号，并将该敲击操作所产生的振动信号输入该模型中，以得出一预测的敲击类型。在此步骤中，使用者敲击该终端产品时，该终端产品中的振动感测器30’量测振动信号，将该振动信号输入该模型中，即可预测得出敲击的类型。

步骤S30：根据该预测的敲击类型，执行对应该预测的敲击类型的一预定操作。在此步骤中，控制器60可将预测得出的敲击类型传送给于操作系统中运作的一软件，该软件便执行对应预测结果的操作。

在一个例示的应用情境中，大尺寸触控显示产品中安装有一标注软件。举例来说，当使用者对此产品表面进行一次敲击时，该标注软件对应地开启/或关闭主菜单，进行二次敲击时，该标注软件改变画笔的颜色，进行三次敲击时，改变笔尖粗细。在另一个例示的应用情境中，当使用者进行一次敲击时，可开启/关闭主菜单，进行两次敲击时可以将菜单项目反白，供使用者选取多个项目，或者进行文字选取。在另一个例子中，当播放影片或音乐时，使用者从触控板侧面敲击一次可使播放暂停，敲击二次则可继续播放。

本揭示采用深度学习的方式，运用深度神经网络学习在触控面板上进行的各种敲击事件的分类，得出一预测模型。将此预测模型布建在触控显示产品上，因此终端产品能够对用户作出的敲击动作进行预测，预测得出敲击的类型(例如敲击的次数)，在软件层面上对这些敲击类型作不同的应用。本揭示通过深度学习能有效提升敲击类型的预测准确度，使得可应用性大幅提高。

本揭示已用较佳实施例揭露如上，然其并非用以限定本揭示，本揭示所属技术领域中的技术人员，在不脱离本揭示之精神和范围内，当可作各种之更动与润饰，因此本揭示之保护范围当视后附之申请专利范围所界定者为准。

Claims (16)

1.一种触控面板上的敲击事件的分类方法，，所述方法包括：

利用一振动感测器感测在触控面板上进行的各种敲击事件，以量测若干个振动信号；

对每一个振动信号进行取样，针对每一个振动信号得出若干个特征值；

将一个振动信号的特征值及根据该振动信号对应的敲击事件的类型记录的分类标签，作为一个样本，生成包括若干个样本的一样本集；

将一个样本中的特征值作为输入，自由选取的权重参数组作为调整参数，输入到一深度神经网络中，得出一预测的分类标签；

根据该预测的分类标签与该样本中真实的分类标签的误差，采用向后传播的算法，调整该权重参数组；以及

将该样本集的样本分批读出，训练该深度神经网络，对该权重参数组进行微调，以决定出优化的权重参数组。

2.根据权利要求1所述的方法，其特征在于，所述方法更包括：

将该深度神经网络及该优化的权重参数组作为一模型，布建到一终端产品中；以及

接收对该终端产品执行的一敲击操作所产生的振动信号，并将该敲击操作所产生的振动信号输入该模型中，以得出一预测的敲击类型。

3.根据权利要求2所述的方法，其特征在于，在得出该预测的敲击类型的步骤之后，所述方法更包括：

根据该预测的敲击类型，执行对应该预测的敲击类型的一预定操作。

4.根据权利要求3所述的方法，其特征在于：该预定操作是选自由开关菜单、变更画笔颜色及变更画笔粗细所组成的群组。

5.根据权利要求1所述的方法，其特征在于，在对每一个振动信号进行取样的步骤之前，所述方法更包括：

将每一个振动信号从时间分布转换到频率空间。

6.根据权利要求5所述的方法，其特征在于，在转换到该频率空间的步骤后，所述方法更包括：

对每一个振动信号进行滤波，过滤掉高频和低频的部分。

7.根据权利要求1所述的方法，其特征在于：该深度神经网络包括多个卷积层。

8.根据权利要求1所述的方法，其特征在于：该敲击事件的类型是选自由一次敲击、二次敲击及三次敲击所组成的群组。

9.一种触控面板上的敲击事件的分类系统，其特征在于，所述系统包括：

一触控面板；

一振动感测器，与该触控面板设置在一起，用以感测在触控面板上进行的各种敲击事件，以量测若干个振动信号；

一处理器，与该振动感测器耦接，该处理器接收该振动感测器传来的振动信号；以及

一闪存，与该处理器连接，该闪存包括可由该处理器执行的若干个程序指令，该处理器执行这些程序指令以执行一方法，所述方法包括：

对每一个振动信号进行取样，针对每一个振动信号得出若干个特征值；

将一个振动信号的特征值及根据该振动信号对应的敲击事件的类型记录的分类标签，作为一个样本，生成包括若干个样本的一样本集；

将一个样本中的特征值作为输入，自由选取的权重参数组作为调整参数，输入到一深度神经网络中，得出一预测的分类标签；

根据该预测的分类标签与该样本中真实的分类标签的误差，采用向后传播的算法，调整该权重参数组；以及

将该样本集的样本分批读出，训练该深度神经网络，对该权重参数组进行微调，以决定出优化的权重参数组。

10.根据权利要求9所述的系统，其特征在于，在对每一个振动信号进行取样的步骤之前，所述方法更包括：

将每一个振动信号从时间分布转换到频率空间。

11.根据权利要求10所述的系统，其特征在于，在转换到该频率空间的步骤后，所述方法更包括：

对每一个振动信号进行滤波，过滤掉高频和低频的部分。

12.根据权利要求9所述的系统，其特征在于：该深度神经网络包括多个卷积层。

13.根据权利要求9所述的系统，其特征在于：该敲击事件的类型是选自由一次敲击、二次敲击及三次敲击所组成的群组。

14.一种触控面板产品，其特征在于，所述触控面板产品包括：

一触控面板；

一振动感测器，与该触控面板设置在一起，用以感测对该触控面板执行的一敲击操作而产生的振动信号；以及

一控制器，与该振动感测器耦接，该控制器中布建有与权利要求1中的深度神经网络对应的深度神经网络，该控制器用以将该对应的深度神经网络及根据权利要求1得出的该优化的权重参数组作为一模型，并用以将来自该振动感测器的振动信号输入该模型中，以得出一预测的敲击类型。

15.根据权利要求14所述的触控面板产品，其特征在于：该控制器并用以根据该预测的敲击类型，执行对应该预测的敲击类型的一预定操作。

16.根据权利要求14所述的触控面板产品，其特征在于：该预定操作是选自由开关菜单、变更画笔颜色及变更画笔粗细所组成的群组。