CN112764594A - 电子装置及其利用触控数据的物件信息识别方法 - Google Patents

Abstract

本发明提供一种电子装置与其利用触控数据的物件信息识别方法。在未有任何物件接触触控面板的情况下进行触控感测，以通过触控面板获取特定背景图帧。通过触控面板获取当前触控感测图帧。将当前触控感测图帧中第二图帧胞元的触控原始数据分别减去特定背景图帧中第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧。将去背图帧转换为触控感测图像。将触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。

Description

电子装置及其利用触控数据的物件信息识别方法

技术领域

本发明涉及一种电子装置，尤其涉及一种电子装置与其利用触控数据的物件信息识别方法。

背景技术

在现今信息社会中，人类对于消费型的电子装置的依赖性逐渐增加。为了达到更便利以及更人性化的目的，许多电子产品皆可使用触控面板作为输入装置。近年来触控式的电子产品由于操作方便且直觉性高，因此深受消费者喜爱而已渐渐成为市场上的主流趋势。然而，就目前市场上的电子产品来看，与显示器相整合的触控屏幕皆用于接收使用者手部或触控笔所下达的触控事件，使电子产品可依据触控事件执行后续动作。除了用以检测使用者手部或触控笔所下达的触控事件之外，如何使触控屏幕的触控感测扩展至其他应用也为本领域技术人员所关心的议题。

发明内容

有鉴于此，本发明提出一种电子装置与其利用触控数据的物件信息识别方法，其可通过神经网络准确地识别出触控面板上方的触控物件的物件信息。

本发明实施例提供一种利用触控数据的物件信息识别方法。所述方法包括下列步骤。在未有任何物件接触触控面板的情况下进行触控感测，以通过触控面板获取特定背景图帧。此特定背景图帧包括分别对应至多个触控感测单元的多个第一图帧胞元，这些第一图帧胞元分别具有触控背景数据。通过触控面板获取当前触控感测图帧。此当前触控感测图帧包括分别对应至触控感测单元的多个第二图帧胞元，每一第二图帧胞元具有触控原始数据。将当前触控感测图帧中第二图帧胞元的触控原始数据分别减去特定背景图帧中第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧。将去背图帧转换为触控感测图像。将触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。

本发明实施例提供一种电子装置，其包括触控面板、存储有多个指令的存储装置与处理器。处理器耦接触控面板与存储装置。处理器经配置执行上述指令以执行下列步骤。在未有任何物件接触触控面板的情况下进行触控感测，以通过触控面板获取特定背景图帧。此特定背景图帧包括分别对应至多个触控感测单元的多个第一图帧胞元，这些第一图帧胞元分别具有触控背景数据。通过触控面板获取当前触控感测图帧。此当前触控感测图帧包括分别对应至触控感测单元的多个第二图帧胞元，每一第二图帧胞元具有触控原始数据。将当前触控感测图帧中第二图帧胞元的触控原始数据分别减去特定背景图帧中第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧。将去背图帧转换为触控感测图像。将触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。

基于上述，在本发明的实施例中，可将触控面板所感测的当前触控感测图帧转换为一张触控感测图像，并依据此触控感测图像的图像特征与神经网络来识别出触控物件的物件信息。藉此，当触控物件接触或足够邻近触控面板时，电子装置可获取触控物件的物件信息并据以执行其他功能，从而提供一种新的使用者操作体验并增加电子装置的功能性。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的电子装置的示意图；

图2是依照本发明一实施例的利用触控数据的物件信息识别方法的流程图；

图3A是依照本发明一实施例的触控面板的示意图；

图3B是依照本发明一实施例的触控感测图帧的示意图；

图4是依照本发明一实施例的利用触控数据的物件信息识别方法的示意图；

图5是依照本发明一实施例的利用触控数据的物件信息识别方法的流程图；

图6是依照本发明一实施例的获取特定背景图帧的示意图；

图7是依照本发明一实施例的获取去背图帧的示意图；

图8是依照本发明一实施例的物件信息识别系统的示意图；

图9是依照本发明一实施例的利用触控数据训练神经网络的流程图。

附图标记说明

10、80：电子装置

110、810：触控面板

120、820：存储装置

130、830：处理器

20：触控感测电路

111：感测元件阵列

112：接收感测电路

113：扫描驱动电路

114：扫描线

115：感测线

116：时序产生电路

d1：触控原始数据

CS11、CS12、CS21：触控感测单元

30：触控物件

N1：通知信息

IF1～IF3：初始触控感测图帧

BF：特定背景图帧

AF、F1：当前触控感测图帧

RF：去背图帧

Img5：触控感测图像

Info1：物件信息

M1：经训练神经网络模型

FC1～FC14、FC21：图帧胞元

S201～S205、S501～S507、S901～S905：步骤

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利权利要求中的方法与装置的范例。

应理解，当元件被称作“连接”或“耦接”至另一元件时，其可直接地连接或耦接至另一元件，或可存在其他插入元件。换言之，除非特别限定，否则用语“连接”与“耦接”包括两元件直接地与间接地连接与耦接。

图1是依照本发明一实施例的电子装置的示意图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍电子装置中的所有构件以及配置关系，详细功能与操作将配合图2一并公开。

请参照图1，本实施例的电子装置10例如是笔记本电脑、智能手机、平板电脑、电子书、游戏机等具备触控功能的电子装置，本发明并不对此限制。电子装置10包括触控面板110、存储装置120及处理器130，其功能分述如下。

触控面板110的种类例如是电容式触控面板、电阻式触控面板、电磁式触控面板或光学式触控面板。在一实施例中，触控面板110可与显示装置(未示出于图1)整合为触控屏幕。此显示装置例如是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器、场发射显示器(Field Emission Display，FED)或其他种类的显示器。触控面板110包括阵列排列的多个触控感测单元而可进行触控感测，以获取包括分别对应于触控感测单元的触控原始数据的触控感测图帧。例如，电容式触控面板包括多个电容传感器。触控感测图帧的帧尺寸(frame size)基于触控感测单元的数目而定。

存储装置120用以存储触控数据、指令、程序码、软件元件等等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。

处理器130耦接触控面板110与存储装置120，用以控制电子装置10的构件之间的作动，其例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)、图形处理器(Graphics Processing Unit，GPU或其他类似装置或这些装置的组合。处理器130可执行记录于存储装置120中的程序码、软件模块、指令等等，以实现本发明实施例的利用触控数据的物件信息识别方法。需说明的是，在一实施例中，触控面板110可通过触控控制器(touch IC)而连接至处理器130。

然而，除了触控面板110、存储装置120，以及处理器130之外，电子装置10还可以包括未示出于图1的其他元件，像是扬声器、麦克风、显示装置、相机、通讯模块、键盘等等，本发明对此不限制。

图2是依照本发明一实施例的利用触控数据的物件信息识别方法的流程图。请参照图1与图2，本实施例的方法适用于图1中的电子装置10，以下即搭配电子装置10中的各项元件说明本实施例方法的详细流程。

在步骤S201，触控面板110在未有任何物件接触触控面板110的情况下进行触控感测，以由处理器130通过触控面板110获取特定背景图帧。此特定背景图帧包括分别对应至多个触控感测单元的多个图帧胞元(即第一图帧胞元)，特定背景图帧中的这些图帧胞元分别具有触控背景数据。特定背景图帧中图帧胞元(frame cell)的数目与是依据触控面板110的多个触控感测单元的数目而定。此特定背景图帧取决于在没有任何物件接触触控面板110的情况下进行触控感测而产生的触控原始数据。

具体而言，在一实施例中，在未有任何物件接触触控面板110的情况下通过触控面板110获取至少一初始触控感测图帧，处理器130可依据至少一初始触控感测图帧获取特定背景图帧。进一步而言，在一实施例中，特定背景图帧中的触控背景数据可以是对多张初始触控感测图帧中的触控原始数据进行统计处理而产生，上述统计处理例如是平均处理等等。或者，在一实施例中，特定背景图帧中的触控背景数据也可以是单一张初始触控感测图帧中的触控原始数据。需注意的是，这些初始触控感测图帧都是触控面板110在未有任何物件接触触控面板110的情况下进行触控感测而产生。

在步骤S202，处理器130通过触控面板110获取当前触控感测图帧。此当前触控感测图帧包括分别对应至触控感测单元的多个图帧胞元(即第二图帧胞元)，当前触控感测图帧中每一图帧胞元具有触控原始数据。换言之，触控原始数据的数目是依据触控面板110的多个触控感测单元的数目而定。举例而言，假设触控面板110具有m*n个触控感测单元，则当前触控感测图帧将包括分别对应至m*n笔触控原始数据的m*n的图帧胞元(frame cell)。需说明的是，一般而言，电子装置10中的触控IC或其他处理电路会对触控原始数据与一过滤门槛值进行比较而滤除小于过滤门槛值的触控原始数据，以检测施于触控面板110上的触控事件。然而，于一实施例中，处理器130是获取尚未经过过滤处理的触控原始数据。亦即，处理器130所获取当前触控感测图帧中的每一图帧胞元皆具有由触控面板110所产生的触控原始数据。

进一步而言，图3A是依照本发明一实施例的触控面板的示意图。图3B是依照本发明一实施例的触控感测图帧的示意图。图3A与图3B是以电容式触控面板进行说明。请先参照图3A，触控面板110可包括感测元件阵列111与触控感测电路20，此感测元件阵列111包括呈现阵列排列的多个触控感测单元(例如触控感测单元CS11、CS12、CS21)。触控感测电路20包括扫描驱动电路113、接收感测电路112、时序产生电路116等等。扫描驱动电路113通过扫描线(例如扫描线114)逐列施加驱动信号到触控感测单元。接收感测电路112通过感测线(例如感测线115)感测触控感测单元的电荷变化量，以接收触控感测信号并输出触控原始数据d1。接收感测电路112可使用类比数字转换器(ADC)将触控感测单元所产生的触控感测信号转换为数字的触控原始数据d1而输出。换言之，于一实施例中，接收感测电路112可包括传感器驱动电路与触控控制器。

请再参照图3B，当前触控感测图帧F1包括分别对应至多个触控感测单元(例如触控感测单元CS11、CS12、CS21)的多个图帧胞元(例如图帧胞元FC13、FC14、FC21)。举例而言，假设触控面板110具有44*76个触控感测单元，则当前触控感测图帧F1包括44*76个图帧胞元。并且，每一个图帧胞元皆具有对应的触控原始数据。举例而言，图帧胞元FC11具有触控原始数据‘3379’；图帧胞元FC12具有触控原始数据‘3323’；图帧胞元FC21具有触控原始数据‘3267’。换言之，当前触控感测图帧F1也可视为一个44*76的数据阵列，此数据阵列里的阵列元素即为触控原始数据。然而，图3B仅用以示范性说明，其所示的数值皆为范例，并非用以限定本发明。

在步骤S203，处理器130将当前触控感测图帧中第二图帧胞元的触控原始数据分别减去特定背景图帧中第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧。换言之，此去背图帧也包括多个图帧胞元，而去背图帧中的图帧胞元分别具有对应的胞元值。去背图帧中位于胞元位置(i,j)的胞元值是通过将当前触控感测图帧中位于胞元位置(i,j)的触控原始数据减去特定背景图帧中同样位于胞元位置(i,j)的触控背景数据而产生。胞元位置(i,j)代表第i列第j行的阵列位置。

也就是说，通过当前触控感测图帧与特定背景图帧之间的相减来计算出去背图帧中的胞元值，处理器130可以某种程度滤除当前触控感测图帧中的触控感测噪声成份。藉此，可降低触控感测噪声对于后续物件信息识别所带来的不良影响。上述的触控感测噪声可能是因为触控面板110的制程、触控面板110设置于电子装置10上的设置方式、环境因素或其他因素而引起。换言之，去背图帧也可视为处理器130对当前触控感测图帧进行某种去噪处理而产生的结果。

在步骤S204，处理器130将去背图帧转换为触控感测图像。基于经训练神经网络模型所规范的特定图像格式，处理器130可将去背图帧图像化为符合上述特定图像格式的一张灰阶图像或彩色图像(即触控感测图像)。举例而言，处理器130可依据去背图帧产生N-bits的灰阶图像。在一实施例中，处理器130需要将去背图帧中的胞元值转换为为介于灰阶区间0～(2^N-1)的数值。举例而言，正规化操作可用以对去背图帧中胞元值的数值范围进行正规化。此外，于一实施例中，若后续图像处理对于图像尺寸有特别要求，则处理器130也可通过缩放处理与/或填补冗余图像区块，来使触控感测图像的尺寸符合经训练神经网络模型所规范的特定图像格式。

在步骤S205，处理器130将触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。在一实施例中，处理器130可将触控感测图像输入至一个经训练神经网络模型，以通过经训练神经网络模型识别触控物件的物件信息。物件信息包括物件类别、物件型号、物件位置、该触控物件的零组件的位置或其他信息等等。换言之，通过让触控物件接触或足够靠近触控面板，触控感测图像可用以识别出触控物件的相关信息。此触控物件可以是手持电子装置、穿戴式电子装置或其他可引发触控感测单元的触控感测结果发生变动的物件。举例而言，处理器130可识别触控物件是那一型号的手机。或者，处理器130可识别触控物件是否为手机。或者，处理器130可识别触控物件的相机位置。

在一实施例中，此经训练神经网络模型为依据训练图像集进行深度学习而事先建构的机器学习模型，其可存储于存储装置120中。换言之，经训练神经网络模型的模型参数(例如神经网络层数目与各神经网络层的权重等等)已经由事前训练而决定并存储于存储装置120中。当触控感测图像输入至经训练神经网络模型时，经训练神经网络模型首先进行特征获取而产生特征向量(Feature vector)。之后，这些特征向量会被输入至经训练神经网络模型中的分类器，分类器再依照此些特征向量进行分类，进而识别出触控感测图像中的触控物件的物件信息。经训练神经网络模型可为卷积层类神经网络(ConvolutionNeural Network，CNN)模型中用以进行物件检测的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等，本发明对此不限制。需说明的是，在一实施例中，用以训练神经网络的训练图像集也是依据与步骤S201～步骤S204相似的数据处理而产生，后续将有进一步说明。

图4是依照本发明一实施例的利用触控数据的物件信息识别方法的情境示意图。请参照图4，电子装置10的触控面板110与显示装置整合为触控屏幕。当触控物件30(例如手机)置放于触控屏幕上方时，处理器130可获取触控面板110于一框周期(Frame period)所产生的当前触控感测图帧。接着，处理器130可将当前触控感测图帧减去特定背景图帧而产生去背图帧，并将去背图帧转换为一张触控感测图像。藉此，于本范例中，处理器130可利用经训练经网络模型与触控感测图像识别出触控物件30的手机型号，并将包括手机型号的通知信息N1显示于触控屏幕上。详细而言，在一实施例中，触控感测单元所感测的触控原始数据将反应于触控物件30的内部/外部零组件与机壳的靠近而发生对应电荷变化，因而使触控感测图像带有此触控物件30的特征信息，致使触控物件30的物件信息可基于触控感测图像来识别。举例而言，‘型号A’手机内部的金属元件配置与‘型号B’手机内部的金属元件配置并不相同。因此，反应于‘型号A’手机置放于触控面板110上而产生的触控感测图像的图像特征会相异于反应于‘型号B’手机的手机置放于触控面板110上而产生的另一张触控感测图像的图像特征。

然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更或延伸上述实施例的内容。为了更清楚说明，以下即搭配图1的电子装置10的各元件列举实施例。图5是依照本发明一实施例的利用触控数据的物件信息识别方法的流程图。

请同时参照图1与图5，在步骤S501，在未有任何物件接触触控面板110的情况下，处理器130获取来自触控面板110的多张初始触控感测图帧FI1～FI3，初始触控感测图帧FI1～FI3各自包括触控面板110上每一触控感测单元所产生的触控原始数据。图5是以3张初始触控感测图帧FI1～FI3为范例进行说明，但本发明对于初始触控感测图帧的数目并不限制。

在步骤S502，处理器130将初始触控感测图帧FI1～FI3中位于相同胞元位置的多个图帧胞元(即第三图帧胞元)的触控原始数据进行统计处理，以产生包括各图帧胞元(即第一图帧胞元)所对应的触控背景数据的特定背景图帧BF。在一实施例中，统计处理为平均处理，但也可为其他统计处理，例如取中位数等等。具体而言，处理器130可针对每一个胞元位置而自初始触控感测图帧FI1～FI3取得对应的三笔触控原始数据，并将上述三笔触控原始数据的平均值作为特定背景图帧BF中位于同一胞元位置的触控背景数据。

举例而言，图6是依照本发明一实施例的获取特定背景图帧的示意图。请参照图6，针对第一列第一行的胞元位置，处理器130可分别自初始触控感测图帧FI1～FI3取得对应于图帧胞元FC1、FC2、FC3的三笔触控原始数据‘3333’、‘3341’、‘3325’。接着，处理器130计算三笔触控原始数据‘3333’、‘3341’、‘3325’的平均值，以获取特定背景图帧BF中对应于图帧胞元FC7的触控背景数据‘3333’。相似的，针对第一列第二行的胞元位置，处理器130可分别自初始触控感测图帧FI1～FI3取得对应于图帧胞元FC4、FC5、FC6的三笔触控原始数据‘3295’、‘3301’、‘3311’。接着，处理器130计算三笔触控原始数据‘3295’、‘3301’、‘3311’的平均值，以基于平均值的整数部位获取特定背景图帧BF中对应于图帧胞元FC8的触控背景数据‘3302’。依此类推，处理器130可获取特定背景图帧BF中每一图帧胞元的触控背景数据。然而，图6所示的数值仅为一示范性说明，并非用以限定本发明。

在步骤S503，处理器130获取来自触控面板110的当前触控感测图帧AF，此当前触控感测图帧AF包括触控面板110上每一触控感测单元所产生的触控原始数据。于步骤S504，处理器130对当前触控感测图帧AF与特定背景图帧BF进行相减处理，以产生去背图帧RF。具体而言，针对每一个胞元位置，处理器130可将当前触控感测图帧AF中的触控原始数据减去特定背景图帧BF中的触控背景数据，以将相减结果作为去背图帧RF中位于同一胞元位置的胞元值。

举例而言，图7是依照本发明一实施例的获取去背图帧的示意图。请参照图7，针对第一列第一行的胞元位置，处理器130可自特定背景图帧BF取得对应于图帧胞元FC7的触控背景数据‘3333’，并自当前触控感测图帧AF取得对应于图帧胞元FC9的触控原始数据‘3334’。接着，处理器130将对应于图帧胞元FC9的触控原始数据‘3334’减去对应于图帧胞元FC7的触控背景数据‘3333’，以获取去背图帧RF中对应于图帧胞元FC11的胞元值‘1’。相似的，针对第一列第二行的胞元位置，处理器130可自特定背景图帧BF取得对应于图帧胞元FC8的触控背景数据‘3302’，并自当前触控感测图帧AF取得对应于图帧胞元FC10的触控原始数据‘3302’。接着，处理器130将对应于图帧胞元FC10的触控原始数据‘3302’减去对应于图帧胞元FC8的触控背景数据‘3302’，以获取去背图帧RF中对应于图帧胞元FC12的胞元值‘2’。依此类推，处理器130可获取去背图帧RF中每一图帧胞元的胞元值。然而，图7所示的数值仅为一示范性说明，并非用以限定本发明。在一实施例中，由于去背图帧RF中的触控感测噪声已经某种程度被滤除，因此基于去背图帧RF产生的触控感测图像可更准确地描绘出触控物件的物件特征。因此，依据触控感测图像进行物件信息识别的识别精准度可提高。

回到图5的流程，在步骤S505，处理器130将去背图帧RF转换为触控感测图像Img5。举例而言，触控感测图像Img5例如为8-bits的灰阶图像，则去背图帧RF中的各个胞元值可被调整为0至255之间的灰阶值(grey-scaled value)。在一实施例中，处理器130取去背图帧RF中胞元值的最小胞元值。接着，处理器130将去背图帧RF中每一胞元值减去最小胞元值，而产生触控感测图像Img5的多个像素。举例而言，假设去背图帧RF中的最小胞元值为‘5’，则处理器130会将去背图帧RF中每一个胞元值减5，并依据减去最小胞元值的结果产生触控感测图像Img5。或者，在一实施例中，处理器130对去背图帧RF中每一胞元值进行数值正规化操作，而产生触控感测图像Img5的多个像素。处理器130可依据去背图帧RF中的最大胞元值与最小胞元值正规化去背图帧RF中的胞元值，以产生触控感测图像Img5的像素值。

接着，于步骤S506，处理器130依据经训练神经网络模型所规范的图像尺寸，对触控感测图像Img5进行一图像放大处理。在一实施例中，经训练神经网络模型所规范的图像尺寸为W*H，而W与H分别为2的幂次方。举例而言，假设触控面板110包括44*76个触控感测单元，则去背图帧RF具有44*76个图帧胞元且未经缩放处理的触控感测图像Img5包括44*76个像素。接着，处理器130将包括44*76个像素的触控感测图像Img5放大为包括128*128个像素的触控感测图像。如此一来，在触控面板110的触控感测单元的数目一般是有受限的情况下，通过对触控感测图像Img5进行图像放大处理可提升经训练神经网络模型的识别准确度。

最后，在步骤S507，处理器130可将经过放大处理的触控感测图像Img5输入至经训练神经网络模型，以识别触控物件相对于触控面板110的位置与触控物件的物件信息Info1。物件信息Info1可包括触控物件的物件类型、物件位置、物件型号、或内部零组件的零件位置与零件种类。具体而言，经训练神经网络模型的输出包括触控物件的物件类别(class)、物件位置与物件分类机率。物件类别(class)的设置可视实际应用情况而设定。以经训练神经网络模型为CNN为例，经训练神经网络模型是由至少一个的卷积层(Convolution Layer)、至少一个的池化层(Pooling Layer)、至少一个的全连接层(Fullyconnected layer)以及输出层所构成。卷积层与池化层相互串连，并用来作为图像的特征获取来取得触控感测图像Img5的特征值(亦称为特征向量)。全连接层与输出层会根据经由卷积层与池化层所产生的特征值来将触控感测图像Img5中的图像物件进行分类，并且可以取得对应的物件信息。举例而言，处理器130可依据触控感测图像Img5识别出触控物件的装置型号，或识别出触控物件的相机镜头位置等等。

值得一提的是，在一实施例中，经训练神经网络模型可以是基于由另一触控面板所产生的另一特定背景图帧而产生。也就是说，用以训练神经网络而产生经训练神经网络模型的另一电子装置包括上述另一触控面板。因此，通过在训练神经网络时也滤除触控感测噪声，经训练神经网络模型可应用至不同的触控电子装置上并保有一定的识别准确度。进一步来说，不同的触控电子装置的触控感测噪声是有所差异的，但由于在进行神经网络模型训练与实际使用经训练神经网络模型时皆进行背景噪声滤除处理(即减去特定背景图帧的操作)，因而可提升经训练神经网络模型的识别准确度。

图8是依照本发明一实施例的物件信息识别系统的示意图。物件信息识别系统S1包括用以训练神经网络并产生经训练神经网络模型M1的电子装置80以及使用经训练神经网络模型M1进行物件识别的电子装置10。经训练神经网络模型M1包括神经网络架构与权重参数。电子装置10的硬体与操作如同前述实施例所示，于此不赘述。

需说明的是，电子装置80包括触控面板810、存储装置820，以及处理器830。然而，触控面板810、存储装置820，以及处理器830的功能与耦接关系相似于电子装置10的触控面板110、存储装置120，以及处理器130，于此不再赘述。

图9是依照本发明一实施例的利用触控数据训练神经网络的流程图。请参照图8与图9，本实施例的方法适用于图8中的物件信息识别系统S1，以下即搭配物件信息识别系统S1中的各项元件说明本实施例方法的详细流程。

在步骤S901，触控面板810在未有任何物件接触另一触控面板810的情况下进行触控感测，以通过另一触控面板810获取另一特定背景图帧。在一实施例中，通过另一触控面板810获取的另一特定背景图帧相异于通过触控面板110获取的特定背景图帧。在步骤S902，处理器830通过另一触控面板810获取多张训练触控感测图帧。在模型训练阶段，这些训练触控感测图帧是在将至少一种已知物件置放于触控面板810上进行触控感测而产生。举例而言，多种不同型号的手机将可被放于触控面板810上，并据以产生训练触控感测图帧。

在步骤S903，处理器830将每一训练触控感测图帧中多个第四图帧胞元的触控原始数据分别减去另一特定背景图帧中多个第五图帧胞元的触控背景数据，而获取多张去背训练图帧。于步骤S904，处理器830将去背训练图帧转换为多张训练图像。步骤S903与步骤S904的数据预处理相似于步骤S203与步骤S204的数据预处理。换言之，用以训练神经网络的训练图像集也是依据与步骤S203～步骤S204相似的方式而产生。

此外，在模型训练阶段，这些训练图像中的解答物件皆已经被框选并赋予解答信息。在步骤S905，处理器830依据训练图像训练上经标示的多个解答物件与对应的解答信息训练神经网络而建构出经训练神经网络模型M1。具体而言，处理器112可将训练图像逐一输入至神经网络模型。通过比对神经网络模型依据训练图像所产生的输出与解答物件的解答信息来计算出误差。之后，通过此误差并以倒传递的方式，来调整网络中每一个网络层的权重。其误差计算的方式(即：损失函数)例如是平方差或Softmax等等。于是，处理器112将逐步训练出一套可用以检测物件的规则(即经训练神经网络模型M1的权重)，最终以建立出经训练神经网络模型M1。于是，电子装置10便可依据经训练神经网络模型M1来识别触控物件30的物件信息。

综上所述，于本发明实施例中，触控感测图帧中的原始触控数据可以被使用来识别触控物件的物件信息，而非仅用于检测触控手势或触控笔的输入。通过让触控物件接触或足够靠近触控面板，电子装置可准确识别出触控物件的相关物件信息，以利使用触控物件的相关物件信息执行其他后续应用。如此一来，使用者可以通过更直觉的操作方式让电子装置实现其他应用，以提高电子装置的操作便利性。除此之外，通过对触控感测图帧进行去噪处理，可以消弭触控感测噪声对图像识别所带来的不良影响，可提升神经网络模型的识别准确度。亦即，当使用触控数据与神经网络识别物件信息时，本发明实施例提供一种恰当的数据预处理，从而提升神经网络模型的识别准确度。此外，通过使用触控数据与神经网络识别物件信息，触控物件的零组件的相关信息也可被识别。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (17)

1.一种利用触控数据的物件信息识别方法，所述方法包括：

在未有任何物件接触触控面板的情况下进行触控感测，以通过所述触控面板获取特定背景图帧，其中所述特定背景图帧包括分别对应至多个触控感测单元的多个第一图帧胞元，所述多个第一图帧胞元分别具有触控背景数据；

通过所述触控面板获取当前触控感测图帧，其中所述当前触控感测图帧包括分别对应至所述多个触控感测单元的多个第二图帧胞元，每一所述多个第二图帧胞元具有触控原始数据；

将所述当前触控感测图帧中所述多个第二图帧胞元的所述多个触控原始数据分别减去所述特定背景图帧中所述多个第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧；

将所述去背图帧转换为一触控感测图像；以及

将所述触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。

2.根据权利要求1所述的利用触控数据的物件信息识别方法，其中在未有任何物件接触所述触控面板的情况下进行触控感测，以通过所述触控面板获取所述特定背景图帧的步骤包括：

在未有任何物件接触所述触控面板的情况下，通过所述触控面板获取多张初始触控感测图帧；以及

将所述多个初始触控感测图帧中位于相同胞元位置的多个第三图帧胞元的触控原始数据进行统计处理，以产生包括所述多个第一图帧胞元的触控背景数据的所述特定背景图帧。

3.根据权利要求1所述的利用触控数据的物件信息识别方法，其中将所述去背图帧转换为所述触控感测图像的步骤包括：

取所述去背图帧中所述多个胞元值的最小胞元值；以及

将所述去背图帧中每一所述多个胞元值减去所述最小胞元值，而产生所述触控感测图像的多个像素。

4.根据权利要求1所述的利用触控数据的物件信息识别方法，其中将所述去背图帧转换为所述触控感测图像的步骤包括：

对所述去背图帧中每一所述多个胞元值进行数值正规化操作，而产生所述触控感测图像的多个像素。

5.根据权利要求1所述的利用触控数据的物件信息识别方法，其中将所述触控感测图像输入至所述经训练神经网络模型而识别所述触控物件的所述物件信息的步骤包括：

依据所述经训练神经网络模型所规范的图像尺寸，对所述触控感测图像进行图像放大处理，其中所述图像尺寸为W*H，而W与H分别为2的幂次方。

6.根据权利要求1所述的利用触控数据的物件信息识别方法，其中所述经训练神经网络模型为卷积层类神经网络模型。

7.根据权利要求1所述的利用触控数据的物件信息识别方法，其中所述物件信息包括物件类别、物件型号、物件位置或所述触控物件的零组件的位置。

8.根据权利要求1所述的利用触控数据的物件信息识别方法，其中所述经训练神经网络模型是基于由另一触控面板所产生的另一特定背景图帧而产生。

9.根据权利要求8所述的利用触控数据的物件信息识别方法，所述方法还包括：

在未有任何物件接触所述另一触控面板的情况下进行触控感测，以通过所述另一触控面板获取所述另一特定背景图帧；

通过所述另一触控面板获取多张训练触控感测图帧；

将每一所述多个训练触控感测图帧中多个第四图帧胞元的触控原始数据分别减去所述另一特定背景图帧中多个第五图帧胞元的触控背景数据，而获取多张去背训练图帧；

将所述多个去背训练图帧转换为多张训练图像；以及

依据所述多个训练图像上经标示的多个解答物件与对应的解答信息训练神经网络而建构出所述经训练神经网络模型。

10.一种电子装置，包括：

触控面板，包括多个触控感测单元；

存储装置，存储多个指令；以及

处理器，耦接所述触控面板与所述存储装置，经配置以执行所述多个指令以：

在未有任何物件接触所述触控面板的情况下进行触控感测，以通过所述触控面板获取特定背景图帧，其中所述特定背景图帧包括分别对应至所述多个触控感测单元的多个第一图帧胞元，所述多个第一图帧胞元分别具有触控背景数据；

通过所述触控面板获取当前触控感测图帧，其中所述当前触控感测图帧包括分别对应至所述多个触控感测单元的多个第二图帧胞元，每一所述多个第二图帧胞元具有触控原始数据；

将所述当前触控感测图帧中所述多个第二图帧胞元的所述多个触控原始数据分别减去所述特定背景图帧中所述多个第一图帧胞元的触控背景数据，而获取包括多个胞元值的去背图帧；

将所述去背图帧转换为触控感测图像；以及

将所述触控感测图像输入至经训练神经网络模型而识别触控物件的物件信息。

11.根据权利要求10所述的电子装置，其中所述处理器更经配置以：

在未有任何物件接触所述触控面板的情况下，通过所述触控面板获取多张初始触控感测图帧；以及

将所述多个初始触控感测图帧中位于相同胞元位置的多个第三图帧胞元的触控原始数据进行统计处理，以产生包括所述多个第一图帧胞元的触控背景数据的所述特定背景图帧。

12.根据权利要求10所述的电子装置，其中所述处理器更经配置以：

取所述去背图帧中所述多个胞元值的最小胞元值；以及

将所述去背图帧中每一所述多个胞元值减去所述最小胞元值，而产生所述触控感测图像的多个像素。

13.根据权利要求10所述的电子装置，其中所述处理器更经配置以：

对所述去背图帧中每一所述多个胞元值进行数值正规化操作，而产生所述触控感测图像的多个像素。

14.根据权利要求10所述的电子装置，其中所述处理器更经配置以：

依据所述经训练神经网络模型所规范的图像尺寸，对所述触控感测图像进行图像放大处理，其中所述图像尺寸为W*H，而W与H分别为2的幂次方。

15.根据权利要求10所述的电子装置，其中所述经训练神经网络模型为卷积层类神经网络模型。

16.根据权利要求10所述的电子装置，其中所述物件信息包括物件类别、物件型号、物件位置或所述触控物件的零组件的位置。

17.根据权利要求10所述的电子装置，其中所述经训练神经网络模型是基于另一触控面板所产生的另一特定背景图帧而产生。

Images