CN117234356A - 用于触控装置的控制系统及方法 - Google Patents

用于触控装置的控制系统及方法 Download PDF

Info

Publication number
CN117234356A
CN117234356A CN202311286508.8A CN202311286508A CN117234356A CN 117234356 A CN117234356 A CN 117234356A CN 202311286508 A CN202311286508 A CN 202311286508A CN 117234356 A CN117234356 A CN 117234356A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
control system
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311286508.8A
Other languages
English (en)
Inventor
杨学伟
张端颖
陈昶儒
包天雯
钟炳荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elan Microelectronics Corp
Original Assignee
Elan Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109111097A external-priority patent/TWI788651B/zh
Application filed by Elan Microelectronics Corp filed Critical Elan Microelectronics Corp
Publication of CN117234356A publication Critical patent/CN117234356A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0441—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for receiving changes in electrical potential transmitted by the digitiser, e.g. tablet driving signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种用于触控装置的控制系统及一种用于触控装置的方法，该触控装置包含一触控传感器，其中该控制系统包括：一感测电路用以感测该触控传感器以产生多个感应量，一处理器根据该多个感应量产生一感应图像，以及一卷积神经网络处理该感应图像以产生一特征信息，以及根据该特征信息产生一识别信息供判断该触控传感器的状态。

Description

用于触控装置的控制系统及方法
技术领域
本案是一件分案申请，母案是申请日为2020年4月24日，申请号为202010333138.9的中国发明专利申请。
本发明是有关一种用于触控装置的控制系统及方法，特别是关于一种具有卷积神经网络(Convolutional Neural Network；CNN)的控制系统及方法。
背景技术
在触控装置中，需要有一判断机制来辨识触碰触控装置的对象种类或触控装置的状态。图1至图4显示触控装置对应不同对象或状态而产生的感应图像，该感应图像包括多个感应量对应该触控装置的不同位置。图1显示对象为水滴时的感应图像，图2显示对象为一近距离无线通信(Near-Field Communication；NFC)卡片时的感应图像，图3显示对象为浮接(floating)金属物体时的感应图像，图4显示对象为手指且触控装置处于具有噪声的异常状态时的感应图像。触控装置需要根据所感测到的感应图像来判断触碰触控装置的对象的种类或触控装置的状态，以进行对应的操作，例如判断触控装置上的对象为非操作对象时，忽略该对象的操作，又或者判断触控装置处于异常的状态时，重新执行校正程序。
发明内容
本发明的目的，在于提出一种用于触控装置且使用卷积神经网络的控制系统及方法。
在本发明一实施例中，其公开一种用于触控装置的控制系统包括：一感测电路，用以感测该触控装置的触控传感器以产生多个感应量；一处理器，连接该感测电路，根据该多个感应量产生一感应图像，并对该感应图像进行对象分割处理以决定一子图像；以及一卷积神经网络，用以处理该子图像以产生一特征信息，以及根据该特征信息产生一识别信息；其中该处理器根据该识别信息判断一对象种类。
在本发明一实施例中，其公开一种用于触控装置的控制系统包括：一感测电路，用以感测该触控装置的触控传感器以产生多个感应量；一处理器，连接该感测电路，根据该多个感应量产生一感应图像；一卷积神经网络，用以处理一子图像以产生一特征信息，以及根据该特征信息产生一识别信息；以及一主机，连接该处理器并且根据该识别信息判断该对象种类；其中该主机或该处理器对该感应图像进行对象分割处理后产生该子图像。
在本发明一实施例中，其公开一种用于触控装置的方法包括下列步骤：获得该触控装置的触控传感器的一感应图像，该感应图像包括多个感应量；对该感应图像进行对象分割处理以决定一子图像；通过一卷积神经网络处理该子图像以产生一特征信息，根据该特征信息产生一识别信息；以及根据该识别信息判断一对象种类。
本发明是通过卷积神经网络辨识接触对象的种类，具有效率快速、方便以及正确率高的优点。
附图说明
图1显示对象为水滴时的感应图像。
图2显示对象为NFC卡片时的感应图像。
图3显示对象为浮接金属物体时的感应图像。
图4显示对象为手指且触控装置处于有噪声的异常状态时的感应图像。
图5显示本发明的控制系统的第一实施例。
图6显示本发明的控制系统的第二实施例。
图7显示卷积神经网络的基本架构。
图8显示本发明识别触控传感器状态的方法。
图9显示本发明识别接触或接近触控传感器的对象种类。
图10显示本发明的控制系统的第三实施例。
图11显示本发明的控制系统的第四实施例。
附图标记说明：20-触控装置；22-触控传感器；222-感应点；24-控制器；24A-控制器；24B-控制器；242-感测电路；243-内存；244-处理器；2442-卷积神经网络程序；245-处理器；245B-处理器；246-内存；247-卷积神经网络电路；248-内存；249-内存；26-主机；262-卷积神经网络程序；30-特征撷取部分；32-分类部分；34-影像；40-内存；42-内存；44-卷积神经网络电路。
具体实施方式
图5说明本发明的控制系统的第一实施例。在图5中，触控装置20包括触控传感器22与控制系统，该控制系统包含控制器24及主机26。在一实施例中，触控传感器22为电容式触控传感器，具有多条电极TX1～TX4及RX1～RX4，电极之间的交叉点形成感应点222。图5中电极TX1～TX4及RX1～RX4的布局仅为触控传感器22的一种实施例，但本发明并不限于此。控制器24包含感测电路242、处理器244、内存246及内存248。感测电路242连接触控传感器22，用以感测触控传感器22上多个感应点222的电容值，以产生多个感应量dV。处理器244根据来自感测电路242的多个感应量dV产生一感应图像SP，例如图1至图4。处理器244连接内存246与248。处理器244具有以固件实现卷积神经网络程序2442，卷积神经网络程序2442具有推论的能力。内存246储存该卷积神经网络程序2442的运作所需要的参数Dp，内存246可以是ROM(Read-Only Memory)，或是预先加载初始值的RAM(Random Access Memory)，内存246不限于ROM及RAM。参数Dp是经由预先在计算机上，以与卷积神经网络程序2442的架构相同的卷积神经网络训练程序所产生的。卷积神经网络程序2442在执行不同识别功能时，所需的参数Dp也不相同。内存248连接处理器244，用以储存处理器244的卷积神经网络程序2442在运作过程中所产生的暂存信息或数据，内存248可以是但不限于RAM。在一实施例中，内存246及248也可以合并成一个内存。主机26可以是电子装置的中央处理器(CPU)，例如笔记本电脑的CPU，或是嵌入式控制器(Embedded Controller；EC)，或是键盘控制器(KeyBoard Controller；KBC)。
图6说明本发明的控制系统的第二实施例。图5的控制器24与图6的控制器24A的架构大致相同。在图6的控制器24A中，感测电路242连接触控传感器22，用以感测触控传感器22的多个感应点222以产生多个感应量dV。处理器245根据来自感测电路242的多个感应量dV产生一感应图像SP。卷积神经网络电路247连接处理器245、内存243与249。内存243储存卷积神经网络电路247的运作所需要的参数Dp，内存243可以是但不限于ROM或是预先加载初始值的RAM。参数Dp是经由预先在计算机上，以与卷积神经网络电路247的架构相同的卷积神经网络训练程序所产生的。卷积神经网络电路247在执行不同识别功能时，所需的参数Dp也不相同。内存249连接卷积神经网络电路247，用以储存卷积神经网络电路247在运作过程中所产生的暂存信息或数据，内存247可以是但不限于RAM。在一实施例中，内存243及249也可以合并成一个内存。
本发明利用卷积神经网络来判断触控传感器22的状态，或者接触(或接近)触控传感器22的对象种类。在图5中的卷积神经网络程序2442是以固件来实现卷积神经网络。图6的卷积神经网络电路247则是以硬件电路的形式来实现卷积神经网络。卷积神经网络程序2442与/或卷积神经网络电路247都具有图7所示的卷积神经网络的基本架构，其可分成特征撷取部分30及分类部分32。特征撷取部分30用于进行卷积(convolution)操作及子取样(subsampling)操作，卷积操作的主要功能是特征撷取，子取样操作的主要功能是将图片数据量减少并保留重要信息。分类部分32是根据撷取到的特征信息进行分类。如图7所示，当一张包括数字3的影像34输入卷积神经网络后，特征撷取部分30会萃取影像34特征以产生一特征信息DF。该特征信息DF被提供给分类部分32进行分类以产生一识别信息DI，该识别信息DI被用来判断该影像34中的数字为3。以辨识数字3为例，在训练卷积神经网络认识数字3的过程中，需要把各种数字3的影像提供到卷积神经网络，卷积神经网络将影像的特征信息萃取出来后，将其放到一数字特征群组中。卷积神经网络根据这些数字特征群组中的特征信息即可辨识影像中的数字3。卷积神经网络已是相当成熟的技术，故不再对其细节作详细的说明。本发明所使用的卷积神经网络可以是标准的卷积神经网络架构，也可以是由卷积神经网络延伸变形的架构。至于特征撷取部分30与分类部分32可以用固件或硬件电路来实现。
以下搭配图5的控制系统说明图8与图9的方法。
图8是一种识别触控传感器状态的方法。步骤S10与S11是在获得触控装置20的触控传感器22的感应图像。在步骤S10，控制器24的感测电路242对触控传感器22进行感测以产生多个感应量dV。接着处理器244根据感测电路242提供的多个感应量dV产生感应图像SP，如步骤S11所示。感应图像SP包含触控传感器22中各个感应点222的感应量dV。在取得感应图像SP后，进行步骤S12。
步骤S12是通过卷积神经网络程序2442根据感应图像SP识别触控传感器22的状态。在步骤S12中，卷积神经网络程序2442处理感应图像SP以产生一特征信息DF1，以及根据该特征信息DF1产生一识别信息DI1。在步骤S14，处理器244根据该识别信息DI1判断触控传感器22的状态。举例来说，卷积神经网络程序2442产生的识别信息DI1的内容包括触控传感器22有水的几率为10％，触控传感器22被噪声干扰的几率为90％。很明显的，触控传感器22被噪声干扰的几率较高，因此，根据该识别信息DI1，处理器244即可判断触控传感器22的状态是有出现噪声。接下来处理器244可进行对应的处理，例如限制单指操作，或者改变施加到触控传感器22上的驱动信号的频率。
要进行图8的实施例需要事先在计算机上提供一与卷积神经网络程序2442相同架构的卷积神经网络训练程序CT1，卷积神经网络训练程序CT1也是由程序语言来实现。为了让卷积神经网络程序2442能够认识各种触控传感器的状态，例如噪声干扰、浮接、水滴，需要预先训练卷积神经网络训练程序CT1，以获得卷积神经网络程序2442在进行辨识时所需的参数。以训练卷积神经网络训练程序CT1认识触控传感器22被噪声干扰的状态为例，训练的过程包括对触控传感器22提供多次的噪声，每次提供噪声的位置、强度或范围都不相同。触控传感器22被多次的噪声干扰，使得处理器244获得各种具有不同感应量分布的感应图像SP。这些感应图像SP交由卷积神经网络训练程序CT1萃取，以产生卷积神经网络程序2442获得特征信息DF1与识别信息DI1所需的参数Dp。获得的参数Dp储存于内存246中，供卷积神经网络程序2442识别触控传感器22的状态时使用。如此一来，卷积神经网络程序2442便具有识别触控传感器22的状态是否出现噪声的能力。卷积神经网络训练程序CT1也可以被训练去认识触控传感器22的其他状态，使卷积神经网络程序2442也有能力去识别触控传感器22的更多不同的状态。其中间的过程大致相同，在此就不再赘述。
图9所示的方法是用来识别接触或接近触控传感器22的对象种类。步骤S10与S11与图8相同。在步骤S16中，处理器244对该感应图像SP进行对象分割处理以决定至少一子图像。该对象分割处理是从感应图像SP决定一个或多个对象区域，然后根据每一个对象区域决定出一子图像，该子图像包括该对象区域的图像。换言之，该子图像是该感应图像SP的一部分，其中包括有多个感应量。举例来说，对应两个对象接触触控传感器22所产生的感应图像SP经对象分割处理后，处理器244从感应图像SP中定义出两个对象区域，处理器244根据这两个对象区域分别决定对应的两个子图像，每一子图像包括一个对象区域的图像。
步骤S17是通过卷积神经网络程序2442根据步骤S16所决定的子图像识别接触或接近触控传感器22的对象种类。在步骤S17中，卷积神经网络程序2442处理该子图像以产生一特征信息DF2，并且根据该特征信息DF2产生一识别信息DI2。如果有两个子图像，则卷积神经网络程序2442便会需要处理这两个子图像，以产生两笔特征信息DF2与两笔识别信息DI2。在步骤S18，处理器244根据每一识别信息DI2判断一对象种类。举例来说，识别信息DI2的内容包括对象的种类为水的几率为90％，手指的几率为7％，触控笔的几率为3％。很明显的，对象的种类为水的几率特别高，因此，根据该识别信息DI2，处理器244即可判断在触控传感器22上的对象是水。同理，如果有两笔识别信息DI2，处理器244就会根据各笔识别信息DI2分别判断对象的种类。接下来处理器244可进行对应的处理，例如接触对象为水时，处理器244不计算及输出坐标，接触对象为触控笔时，调整感测电路242的增益(Gain)。
要进行图9的实施例需要事先训练卷积神经网络程序2442认识各种对象种类，例如手指、水滴、触控笔。以训练卷积神经网络程序2442认识水为例，训练的过程包括多次在触控传感器22上滴各种大小不同的水滴，每次水滴的位置和形状都不相同。多次在触控传感器22上滴水使得处理器244获得各种具有不同感应量分布的感应图像SP。这些感应图像SP交由卷积神经网络训练程序CT2萃取，以产生卷积神经网络程序2442获得特征信息DF2与识别信息DI2所需的参数Dp。获得的参数Dp储存于内存246中，供卷积神经网络程序2442识别对象种类，使得卷积神经网络程序2442具有识别水的能力。卷积神经网络训练程序CT2也可以被训练去认识其他对象种类，使卷积神经网络程序2442也有能力去识别更多不同的对象。其中间的过程大致相同，在此就不再赘述。
图8与图9所示的方法亦适用于图6的架构。步骤S12亦可以通过处理器245控制卷积神经网络电路247的操作来实现。因此，步骤S12应被理解为通过一卷积神经网络处理感应图像SP以产生一特征信息DF1以及根据该特征信息DF1产生一识别信息DI1。步骤S17亦可以通过处理器245控制卷积神经网络电路247的操作来实现。因此，步骤S17应被理解为通过一卷积神经网络处理一子图像以产生一特征信息DF2，以及根据该特征信息DF2产生一识别信息DI2。
在一实施例中，在步骤S11产生感应图像SP后，处理器244(或245)先对感应图像SP进行预处理。该预处理包括但不限于处理噪声或对异常数值进行补偿。然后，再通过经过预处理后的感应图像SP，进行步骤S12或S16。
在一实施例中，图5的控制系统24以及图6的控制系统24A，可以是一颗集成电路装置。
根据本发明，只要预先提供充分的感应图像SP训练卷积神经网络，并将所需参数预先储存于内存(246或243)中，控制器24(或24A)就可以学会根据感应图像识别出接触对象的种类或者触控传感器的状态。因此，本发明具有简便，而且辨识准确率高的优点。
图10显示本发明的控制系统的第三实施例。图10的控制系统包含控制器24B、主机26、内存40及内存42。控制器24B具有感测电路242与处理器245B。控制器24B可以是一颗集成电路装置。感测电路242连接触控传感器22，用以感测触控传感器22上多个感应点222的电容值，以产生多个感应量dV。处理器245B根据来自感测电路242的多个感应量dV产生一感应图像SP。主机26连接处理器245B、内存40及内存42。主机26具有用固件实现的卷积神经网络程序262。内存40连接主机26，用以储存卷积神经网络程序262的运作所需要的参数Dp，内存40可以是但不限于ROM或是预先加载初始值的RAM。参数Dp是经由预先在计算机上，以与卷积神经网络程序262的架构相同的卷积神经网络训练程序所产生的。卷积神经网络程序262在执行不同识别功能时，所需的参数Dp也不相同。内存42连接主机26，用以储存卷积神经网络程序262在运作过程中所产生的暂存信息或数据，内存42可以是但不限于RAM。在一实施例中，内存40及42也可以合并成一个内存。在一实施例中，内存40可以是主机26中的ROM或快闪(flash)内存，内存42可以是主机26中的RAM。主机26可以是电子装置的CPU、EC或KBC。
图11说明本发明的控制系统的第四实施例。图11的控制系统与图10同样包括控制器24B、主机26、内存40及内存42，差异在于，图11的控制系统还包括卷积神经网络电路44。卷积神经网络电路44以硬件电路的形式来实现卷积神经网络。卷积神经网络电路44连接主机26、内存40与42。内存40储存卷积神经网络电路44的运作所需要的参数Dp。参数Dp是经由预先在计算机上，以与卷积神经网络电路44的架构相同的卷积神经网络训练程序所产生的。卷积神经网络电路44在执行不同识别功能时，所需的参数Dp也不相同。内存42连接卷积神经网络电路44，用以储存卷积神经网络电路44在运作过程中所产生的暂存信息或数据。在一实施例中，卷积神经网络电路44可以整合至主机26中。
图10的卷积神经网络程序262及图11的卷积神经网络电路44分别与图5的卷积神经网络程序2442及图6的卷积神经网络电路247类似。卷积神经网络程序262及卷积神经网络电路44的基本架构可参照图7。
图8与图9所示的方法亦适用于图10的架构。参照图8及图10，在步骤S10，控制器24B的感测电路242对触控传感器22进行感测以产生多个感应量dV。接着处理器245B根据感测电路242提供的多个感应量dV产生感应图像SP，如步骤S11所示。感应图像SP包含触控传感器22中各个感应点222的感应量dV。在取得感应图像SP后，处理器245B将感应图像SP传送至主机26以进行步骤S12。
步骤S12是通过卷积神经网络程序262根据感应图像SP识别触控传感器22的状态。在步骤S12中，主机26的卷积神经网络程序262处理感应图像SP以产生一特征信息DF1，以及根据该特征信息DF1产生一识别信息DI1。在步骤S14，主机26根据该识别信息DI1判断触控传感器22的状态。卷积神经网络程序262判断状态的方式及训练方式与图5的卷积神经网络程序2442相同，故不再赘述。
在步骤S14判断出触控传感器22的状态后，主机26可以将判断出的状态通知控制器24B，使得控制器24B可以根据触控传感器22的状态进行相应的处理。例如，在判断出触控传感器22上有水或噪声时，控制器24B可以调整用以处理感应图像SP的参数，或是送出指令至感测电路242以改变对触控传感器22的扫描方式或扫描频率。扫描方式包括但不限于自容式扫描及互容式扫描。
参照图9及图10，在步骤S10，控制器24B的感测电路242对触控传感器22进行感测以产生多个感应量dV。接着处理器245B根据感测电路242提供的多个感应量dV产生感应图像SP，如步骤S11所示。感应图像SP包含触控传感器22中各个感应点222的感应量dV。在步骤S16中，处理器245B在取得感应图像SP后对该感应图像SP进行对象分割处理以决定至少一子图像，接着处理器245B再将至少一子图像传送至主机26。在一实施例中，步骤S16也可以是，处理器245B将感应图像SP传送至主机26后，由主机26对该感应图像SP进行对象分割处理以决定至少一子图像。对象分割处理的操作及原理如前所述，在此不再赘述。
步骤S17是通过卷积神经网络程序262根据步骤S16所决定的子图像识别接触或接近触控传感器22的对象种类。在步骤S17中，卷积神经网络程序262处理该子图像以产生一特征信息DF2，并且根据该特征信息DF2产生一识别信息DI2。如果有两个子图像，则卷积神经网络程序262便会需要处理这两个子图像，以产生两笔特征信息DF2与两笔识别信息DI2。在步骤S18，主机26根据每一识别信息DI2判断一对象种类。卷积神经网络程序262判断对象种类的方式及训练方式与图5的卷积神经网络程序2442相同，故不再赘述。
图8与图9所示的方法亦适用于图11的架构。步骤S12亦可以通过主机26控制卷积神经网络电路44的操作来实现。因此，步骤S12应被理解为通过一卷积神经网络处理感应图像SP以产生一特征信息DF1以及根据该特征信息DF1产生一识别信息DI1。步骤S17亦可以通过主机26控制卷积神经网络电路44的操作来实现。因此，步骤S17应被理解为通过一卷积神经网络处理一子图像以产生一特征信息DF2，以及根据该特征信息DF2产生一识别信息DI2。
在一实施例中，在步骤S11产生感应图像SP后，处理器245B先对感应图像SP进行预处理。该预处理包括但不限于处理噪声或对异常数值进行补偿。然后，再通过经过预处理后的感应图像SP，进行步骤S12或S16。
根据本发明，只要预先提供充分的感应图像SP训练卷积神经网络程序262(或卷积神经网络电路44)，主机26就可以学会根据感应图像识别出接触对象的种类或者触控传感器的状态。因此，本发明具有简便，而且辨识准确率高的优点。
以上对于本发明的较佳实施例所作的叙述为阐明的目的，而无意限定本发明精确地为所公开的形式，基于以上的教导或从本发明的实施例学习而作修改或变化是可能的，实施例为解说本发明的原理以及让熟习该项技术者以各种实施例利用本发明在实际应用上而选择及叙述，本发明的技术思想由权利要求范围及其均等来决定。

Claims (19)

1.一种用于触控装置的控制系统，该触控装置包含一触控传感器，其特征在于，该控制系统包括：
一感测电路，用以感测该触控传感器以产生多个感应量；
一处理器，连接该感测电路，根据该多个感应量产生一感应图像，并且对该感应图像进行对象分割处理以决定一子图像；以及
一神经网络，用以处理该子图像以产生一特征信息，以及根据该特征信息产生一识别信息；
其中该处理器根据该识别信息判断一对象种类。
2.如权利要求1所述的控制系统，其特征在于，该神经网络包括卷积神经网络。
3.如权利要求2所述的控制系统，其特征在于，该卷积神经网络以该处理器的固件实现。
4.如权利要求2所述的控制系统，其特征在于，该卷积神经网络以硬件电路实现。
5.如权利要求3所述的控制系统，其特征在于，还包括一内存连接该处理器，用以储存该卷积神经网络的运作所需的参数。
6.如权利要求4所述的控制系统，其特征在于，还包括一内存连接该卷积神经网络，用以储存该卷积神经网络的运作所需的参数。
7.如权利要求1所述的控制系统，其特征在于，该处理器进行该对象分割处理之前，先对该感应图像进行预处理，该预处理包括处理噪声或补偿异常数值。
8.一种用于触控装置的控制系统，该触控装置包含一触控传感器，其特征在于，该控制系统包括：
一感测电路，用以感测该触控传感器以产生多个感应量；
一处理器，连接该感测电路，根据该多个感应量产生一感应图像；
一神经网络，用以处理一子图像以产生一特征信息，以及根据该特征信息产生一识别信息；以及
一主机，连接该处理器并且根据该识别信息判断该对象种类；
其中该主机或该处理器对该感应图像进行对象分割处理后产生该子图像。
9.如权利要求8所述的控制系统，其特征在于，该神经网络包括卷积神经网络。
10.如权利要求8所述的控制系统，其特征在于，该主机是中央处理器、嵌入式控制器或键盘控制器。
11.如权利要求9所述的控制系统，其特征在于，该卷积神经网络以该主机的固件实现。
12.如权利要求9所述的控制系统，其特征在于，该卷积神经网络以硬件电路实现。
13.如权利要求12所述的控制系统，其特征在于，该卷积神经网络整合在该主机中。
14.如权利要求11所述的控制系统，其特征在于，还包括一内存连接该主机，用以储存该卷积神经网络的运作所需的参数。
15.如权利要求12所述的控制系统，其特征在于，还包括一内存连接该卷积神经网络，用以储存该卷积神经网络的运作所需的参数。
16.如权利要求8所述的控制系统，其特征在于，在该感应图像进行该对象分割处理之前，该处理器先对该感应图像进行预处理，该预处理包括处理噪声或补偿异常数值。
17.一种用于触控装置的方法，其特征在于，包括下列步骤：
a.获得该触控装置的触控传感器的一感应图像，该感应图像包括多个感应量；
b.对该感应图像进行对象分割处理以决定一子图像；
c.通过一神经网络处理该子图像以产生一特征信息，根据该特征信息产生一识别信息；以及
d.根据该识别信息判断一对象种类。
18.如权利要求17所述的方法，其特征在于，该神经网络包括卷积神经网络。
19.如权利要求17所述的方法，其特征在于，还包括在该步骤b之前，对该感应图像进行预处理，该预处理包括处理噪声或补偿异常数值。
CN202311286508.8A 2019-05-08 2020-04-24 用于触控装置的控制系统及方法 Pending CN117234356A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962844744P 2019-05-08 2019-05-08
US62/844,744 2019-05-08
TW108141063 2019-11-12
TW108141063 2019-11-12
TW109111097A TWI788651B (zh) 2019-05-08 2020-04-01 用於觸控裝置的控制系統及其方法
TW109111097 2020-04-01
CN202010333138.9A CN111708448B (zh) 2019-05-08 2020-04-24 用于触控装置的控制系统及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010333138.9A Division CN111708448B (zh) 2019-05-08 2020-04-24 用于触控装置的控制系统及方法

Publications (1)

Publication Number Publication Date
CN117234356A true CN117234356A (zh) 2023-12-15

Family

ID=72536727

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311286508.8A Pending CN117234356A (zh) 2019-05-08 2020-04-24 用于触控装置的控制系统及方法
CN202010333138.9A Active CN111708448B (zh) 2019-05-08 2020-04-24 用于触控装置的控制系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010333138.9A Active CN111708448B (zh) 2019-05-08 2020-04-24 用于触控装置的控制系统及方法

Country Status (2)

Country Link
US (1) US11320927B2 (zh)
CN (2) CN117234356A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI737318B (zh) 2020-05-27 2021-08-21 禾瑞亞科技股份有限公司 觸控處理方法、裝置與觸控系統
US11922702B2 (en) * 2021-08-19 2024-03-05 Ford Global Technologies, Llc Enhanced object detection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5904777B2 (ja) * 2011-12-16 2016-04-20 三菱電機株式会社 タッチパネルおよび表示装置
US10463269B2 (en) * 2013-09-25 2019-11-05 Bardy Diagnostics, Inc. System and method for machine-learning-based atrial fibrillation detection
CN107077235B (zh) 2014-09-30 2021-01-12 惠普发展公司，有限责任合伙企业 确定非故意触摸拒绝
CN205318353U (zh) * 2015-03-06 2016-06-15 意法半导体股份有限公司 用于操作电容式触摸屏幕的设备以及对应的装置
US9904409B2 (en) * 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
KR101844658B1 (ko) * 2015-06-09 2018-04-03 한양대학교 산학협력단 촉각 인지 시스템, 및 그 데이터베이스 구축 방법
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
GB2562924B (en) * 2015-12-14 2021-05-19 Motion Metrics Int Corp Method and apparatus for identifying fragmented material portions within an image
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
TWI607387B (zh) * 2016-11-25 2017-12-01 財團法人工業技術研究院 字符辨識系統及其字符辨識方法
US10061909B2 (en) * 2016-12-29 2018-08-28 Qualcomm Incorporated Device authentication based on behavior classification using convolution neural network
CA3054667A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
JP6802756B2 (ja) 2017-05-18 2020-12-16 株式会社デンソーアイティーラボラトリ 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
EP3676759A4 (en) * 2017-08-31 2021-05-26 Omniearth, Inc. SYSTEMS AND PROCEDURES FOR THE AUTOMATIC ESTIMATION OF OBJECT PROPERTIES FROM DIGITAL IMAGES
CN107656644A (zh) 2017-09-26 2018-02-02 努比亚技术有限公司 握持识别方法及对应的移动终端
US20190102671A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Inner product convolutional neural network accelerator
KR102421824B1 (ko) * 2017-10-17 2022-07-19 삼성전자주식회사 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법
CN107797751A (zh) 2017-10-26 2018-03-13 努比亚技术有限公司 移动终端握持手势识别方法、移动终端及可读存储介质
US11080611B2 (en) * 2017-12-22 2021-08-03 Intel Corporation Compression for deep learning in case of sparse values mapped to non-zero value
US10740896B2 (en) * 2017-12-29 2020-08-11 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
TWI654541B (zh) * 2018-04-13 2019-03-21 矽統科技股份有限公司 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品
US10650315B2 (en) * 2018-06-14 2020-05-12 International Business Machines Corporation Automatic segmentation of data derived from learned features of a predictive statistical model
US11009941B2 (en) * 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation
US10970599B2 (en) * 2018-11-15 2021-04-06 Adobe Inc. Learning copy space using regression and segmentation neural networks
US11039806B2 (en) * 2018-12-20 2021-06-22 Canon Medical Systems Corporation Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data
CN113557576A (zh) * 2018-12-26 2021-10-26 生命解析公司 在表征生理系统时配置和使用神经网络的方法和系统
US10891537B2 (en) * 2019-03-20 2021-01-12 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
US20200311948A1 (en) * 2019-03-27 2020-10-01 Intel Corporation Background estimation for object segmentation using coarse level tracking

Also Published As

Publication number Publication date
US20200356209A1 (en) 2020-11-12
CN111708448B (zh) 2023-11-03
US11320927B2 (en) 2022-05-03
CN111708448A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN108710866B (zh) 汉字模型训练方法、汉字识别方法、装置、设备及介质
US9911052B2 (en) System and method for superimposed handwriting recognition technology
CN111708448B (zh) 用于触控装置的控制系统及方法
US20160275364A1 (en) System and method for superimposed handwriting recognition technology
JP5508359B2 (ja) 文字認識装置、文字認識方法及びプログラム
CN106874906B (zh) 一种图片的二值化方法、装置及终端
CZ6096A3 (en) Recognition method of hand-written entry
US10438083B1 (en) Method and system for processing candidate strings generated by an optical character recognition process
CN110751043A (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
CN108460346B (zh) 指纹识别方法及装置
US20210183074A1 (en) Apparatus and method for tracking multiple objects
CN110633027A (zh) 一种点读实现方法、系统、计算机设备和存储介质
KR20200000001A (ko) 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법
CN114237427A (zh) 一种高灵敏度触控压力检测方法及系统
KR100800439B1 (ko) 터치패드 입력 오차 보정 방법 및 그 단말기
CN112560856B (zh) 车牌检测识别方法、装置、设备及存储介质
KR102246471B1 (ko) 이미지 내 동물의 코 영역을 검출하는 방법 및 장치
TWI788651B (zh) 用於觸控裝置的控制系統及其方法
CN116661618A (zh) 一种触摸屏触摸模式切换方法及装置
CN111142663A (zh) 一种手势识别方法及手势识别系统
CN105956553A (zh) 一种解锁方法及移动终端
JP6735775B2 (ja) 重畳手書き入力認識技術のためのシステム及び方法
CN113870223A (zh) 设备屏幕漏液检测方法及装置
CN112257764A (zh) 车牌分类方法、电子设备及存储介质
JPH07200735A (ja) 図形認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination