CN116414289A - 一种基于触控芯片的手势识别系统及方法 - Google Patents
一种基于触控芯片的手势识别系统及方法 Download PDFInfo
- Publication number
- CN116414289A CN116414289A CN202310687399.4A CN202310687399A CN116414289A CN 116414289 A CN116414289 A CN 116414289A CN 202310687399 A CN202310687399 A CN 202310687399A CN 116414289 A CN116414289 A CN 116414289A
- Authority
- CN
- China
- Prior art keywords
- track
- point
- gesture
- angle
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 27
- 238000004321 preservation Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明揭示了一种基于触控芯片的手势识别系统及方法,所述基于触控芯片的手势识别系统包括按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块,用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块,用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块,通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。本发明具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够快速可靠且功耗低的实现手势识别。
Description
技术领域
本发明涉及触控手势识别领域,特别是涉及一种基于触控芯片的手势识别系统及方法。
背景技术
近些年来,随着电子行业的发展,基于触控的屏幕已经成为一种非常重要的人机交互设备, 这种人机交互方式已经大规模应用到手机,平板电脑等设备上。其基本原理是利用触控芯片采集触摸屏上的自容或互容信号,然后在触控芯片上计算按压点坐标与按压力度等点信息,上报点信息后,上位设备再根据点信息作出对应的反应 。但是在一些场景下,需要触摸屏能够识别简单的手势,例如c,z,e,o等能够一笔写完的字母或图形,这样可以给用户更好的交互体验。
目前常见的手势识别方法有两种,第一种是使用字符图像然后使用神经网络分类的方法,需要消耗比较大的内存与算力,往往需要至少几百KB的内存,虽然识别率很高并且能识别复杂字符,但是待机功耗比较高;第二种是通过分析手指按压运动方向然后分类的方法,虽然速度比较快,但是没有尺寸不变性,而且错误率比较高。
为此,亟需提出一种基于触控芯片的手势识别系统及方法,以有效解决上述存在的问题。
发明内容
本发明的目的在于提出一种基于触控芯片的手势识别系统及方法,具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够快速可靠且功耗低的实现手势识别。
为解决上述技术问题,本发明提供一种基于触控芯片的手势识别系统及方法,包括:
按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;
轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹;
轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;
轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
进一步的,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号模式计算出手势按压点的坐标位置。
进一步的,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。
进一步的,若所述按压点坐标计算模块选择互容信号模式计算手指按压点的坐标位置,则得到互容信号为一个宽度w,高度h的图像,根据预先设定的阈值找出所述图像中的信号区域,如果存在多个按压区域,则处理所述按压区域最大的信号区域,其坐标区域为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下:
进一步的,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt;
当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于预定数量,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于预定数量,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
进一步的,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
进一步的,所述轨迹预处理模块包括:
等距离采样单元,用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;
角度计算单元,用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;
构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
进一步的,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势。
进一步的,所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,所述全连接层的原理公式为:
,第二层与第四层为激活层,将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含/>个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
进一步的,所述softmax函数对所述特征向量T5进行处理的方式包括:
根据所述softmax函数:,得到神经网络对所述特征向量T5是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再进行分情况处理。
进一步的,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
进一步的,所述轨迹分类模块还包括:轨迹分类细分,用于进行所述朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
此外,本发明还提出一种基于触控芯片的手势识别方法,采用如上述所述的基于触控芯片的手势识别系统,包括:
根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
通过上述技术方案,本发明具有如下有益效果:
通过按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块的设置,以及按压点坐标计算模块用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。因此,本系统具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够实现快速可靠且功耗低。
附图说明
图1为本发明一实施例中基于触控芯片的手势识别系统及方法中C字母的手势轨迹等距离采样的示意图;
图2为本发明一实施例中基于触控芯片的手势识别系统及方法中C字母的角度计算示意图;
图3为本发明一实施例中基于触控芯片的手势识别系统及方法中轨迹分类模块的示意图;
图4为本发明一实施例中基于触控芯片的手势识别方法的流程图。
具体实施方式
下面将结合附图对本发明的一种基于触控芯片的手势识别系统及方法进行更详细的描述,其中表示了本发明的优选实施例,应该理解本领域技术人员可以修改在此描述的本发明,而仍然实现本发明的有利效果。因此,下列描述应当被理解为对于本领域技术人员的广泛知道,而并不作为对本发明的限制。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明实施例提出了一种基于触控芯片的手势识别系统,包括按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块。
具体的,按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置。轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹。轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列。轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
在本实施例中,本系统是在触控芯片上工作,且输入信号为按压电容后产生的电容感应电信号。另外,本系统根据深度学习方法可直接进行分类,从而能够提高效率,且具有结构简单,鲁棒性强的特点。
在第一实施例中,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号计算出手势按压点的坐标位置。
进一步的,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。若所述按压点坐标计算模块选择互容信号模式计算手指按压点的坐标位置,则得到互容信号为一个宽度w,高度h的图像,根据预先设定的阈值找出所述图像中的信号区域,如果存在多个按压区域,则处理所述按压区域最大的信号区域,其坐标为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下:,其中,V(r,c)表示在第r行第c列的信号强度。
在一具体示例中,如果采用的是互容信号方式,则可以得到一个宽度w,高度h的比较稀疏的图像,例如高度为38宽度为18的互容信号图。可以根据预先设定的阈值thr来找出图像中的信号区域,如果存在多个按压区域,由于是在字符识别模式下,只需要处理按压区域最大的信号区域,其坐标为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下公式:
在第二实施例中,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt。进一步的,当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于30,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于30,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
其中,30是用于进行示例性的说明,为预定数量。本领域技术人员可知晓的是,预定数量的值可根据实际需求进行设置,30还可以本实施例以外的任一实施例的数值。
另外,在本实施例中,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
在第三实施例中,所述轨迹预处理模块包括等距离采样单元、角度计算单元以及构造角度队列单元。
具体的,等距离采样单元用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;角度计算单元用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
在一具体示例中,可如图1所示,图1为等距离采样示意图,将一个字母c的手势轨迹等距离采样,将得到手势轨迹L1都传给下一个步骤处理。经过该步骤处理后手势轨迹就具有了位移不变性。当获取到采样点手势轨迹L1后,如图2所示,计算手势轨迹上每个点与前一个点连线的弧度制角度,得到一个包含21个角度的角度队列L2,经过该步骤处理后手势轨迹就具有了尺寸不变性与位移不变性。当获取到L2后,将L2中的每一个角度都减去L2中的第一个角度并转换到到/>之间,再排除第一个角度,就可以得到一个包含20个角度的角度队列L3,将L3与L传输给轨迹分类模块,经过本步骤操作后,手势轨迹将具有旋转不变性。
在本实施例中,本系统无需使用PCA(主成分分析)算法求出手势轨迹的主方向,且本系统中的固定长度的角度队列也无需进行归一化处理,从而能够节省处理时间,并提升效率,还能够节省资源。
在第四实施例中,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势,例如,c,e,M,W,O,S,Z,划线,点击,符号V等。
具体的,所述轨迹分类器区分所述角度队列中不同手势的方式包括:
进一步的,所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,全连接层的原理公式为:
,第二层与第四层为激活层,将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含/>个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
其中,所述softmax函数对所述特征向量T5进行处理的方式包括:
根据所述softmax函数:,得到神经网络对所述特征向量T5是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再进行分情况处理。
进一步的,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
另外,所述轨迹分类模块还包括:轨迹分类细分,用于进行朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
在一具体示例中,可如图3所示,由于轨迹分类器是一个预先训练好的全链接神经网络模型,包含3个全连接层与2个relu层,可以区分例如c,e,M,W,O,S,Z,划线,点击,符号V这10种不同手势,而且轨迹分类器有比较强的拓展性,在添加新字符时只需要增加一类训练数据,代码及系统结构修改量非常少,所以本系统具有拓展性强的优点。且主要用到了全连接层与relu层。
第二层为relu层,不包含参数,将T1中小于0的数置为0得到T2。
第四层为relu层,不包含参数,将T3中小于0的数置为0得到T4。
则可以得到神经网络对手势轨迹是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再分情况处理:
如果最大的概率小于预先设定的阈值thr1,则直接返回失败。如果最大的概率大于预先设定的阈值thr1,且这个分类是划线或者符号V,这两种进一步还需要确定朝向的分类,则将分类结果与手势轨迹L传输给轨迹方向细分模块。如果最大的概率大于预先设定的阈值thr1,且这个分类是不需要确定朝向的分类,则将分类结果直接输出。
轨迹分类细分:轨迹分类细分是拿到分类结果后,这种分类需要根据方向进一步细分,需要根据每个需要细分的分类具体制定细分规则。如果轨迹分类器判定轨迹是一条直线,而需要知道用户滑线的方向,则需要取出L中的首点与尾点,根据这两个点就可以确定滑线朝向了。如果轨迹分类器判定轨迹是一个符号V,而需要知道用户画的符号V的尖角朝向,则需要计算L中的首点与尾点均值点P1,并计算出轨迹均值点P2,根据这两个点就可以确定符号V的尖角朝向。
在一具体实施例中,基本每个手势的所用内存都差不多,例如V手势,若第一个输入是20个数字,量化后就是40个字节,后面有5个输出,则最多有16个数字,量化后就是32个字节。由于拿到T1后输入可忽略,则可以把T2写到输入的内存上。这里的T1又可以忽略了,则可以把T3再写到T1的位置上。通过这种方式,能够实现内存复用,则就只需要72个字节就能跑完整个网络层。而现有常规的网络都比较大,例如常规网络需要至少几个G的内存。
此外,可如图4所示,本实施例还提出一种基于触控芯片的手势识别方法,采用如上述所述的基于触控芯片的手势识别系统,包括如下步骤:
S1、根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
S2、所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
S3、轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
在本实施例中,本方法可以准确识别c,e,M,W,O,S,Z,7种手势字母,向上向下向左向右的4种划线手势,点击手势的4种符号手势,共计16种手势。本领域技术人员可知晓的是,本实施例还可以识别本实施例中16种手势以外的任一手势。
在本实施例中,本系统采用多层神经网络,设置合理参数,逐层传递特征,最后根据softmax函数进行分类,并结合方法应用到触控芯片上对手势进行分类,不仅能够提升效率,还能够实现快速可靠且功耗低。本系统还通过对网络进行极致的压缩,使得网络只有5层,仅包含数百个参数,而且运行内存只需要不到100字节的超微型网络即可,能够实现快速可靠且功耗低。
在本实施方式中,根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;所述轨迹保存模块所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
综上所述,本发明提出的一种基于触控芯片的手势识别系统及方法,具有如下优势:
通过按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块的设置,以及按压点坐标计算模块用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。因此,本系统具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够实现快速可靠且功耗低。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种基于触控芯片的手势识别系统,其特征在于,包括:
按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;
轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹;
轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;
轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
2.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号模式计算出手势按压点的坐标位置。
3.如权利要求2所述的基于触控芯片的手势识别系统,其特征在于,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。
5.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt;
当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于预定数量,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于预定数量,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
6.如权利要求5所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
7.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹预处理模块包括:
等距离采样单元,用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;
角度计算单元,用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;
构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
8.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势。
9.如权利要求8所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类器区分所述角度队列中不同手势的方式包括:所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,所述全连接层的原理公式为:;第二层与第四层为激活层;
将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
11.如权利要求10所述的基于触控芯片的手势识别系统,其特征在于,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
12.如权利要求11所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类模块还包括:轨迹分类细分,用于进行所述朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
13.一种基于触控芯片的手势识别方法,采用如权利要求1-12中任一项所述的基于触控芯片的手势识别系统,其特征在于,包括:
根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310687399.4A CN116414289B (zh) | 2023-06-12 | 2023-06-12 | 一种基于触控芯片的手势识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310687399.4A CN116414289B (zh) | 2023-06-12 | 2023-06-12 | 一种基于触控芯片的手势识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116414289A true CN116414289A (zh) | 2023-07-11 |
CN116414289B CN116414289B (zh) | 2023-08-22 |
Family
ID=87049610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310687399.4A Active CN116414289B (zh) | 2023-06-12 | 2023-06-12 | 一种基于触控芯片的手势识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116414289B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101903834A (zh) * | 2007-12-20 | 2010-12-01 | Dav公司 | 用于检测触摸表面上的控制路径的角度变化的方法和相应控制模块 |
US20110304573A1 (en) * | 2010-06-14 | 2011-12-15 | Smith George C | Gesture recognition using neural networks |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN106354252A (zh) * | 2016-08-18 | 2017-01-25 | 电子科技大学 | 一种基于stdw的连续字符手势轨迹识别方法 |
US20180293434A1 (en) * | 2017-04-10 | 2018-10-11 | Pearson Education, Inc. | Electronic handwriting analysis through adaptive machine-learning |
KR20190102924A (ko) * | 2018-02-27 | 2019-09-04 | 세종대학교산학협력단 | 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법 |
WO2021143353A1 (zh) * | 2020-01-13 | 2021-07-22 | 腾讯科技(深圳)有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
CN114461090A (zh) * | 2021-07-23 | 2022-05-10 | 荣耀终端有限公司 | 触控数据处理方法、键盘、设备、芯片及可读存储介质 |
-
2023
- 2023-06-12 CN CN202310687399.4A patent/CN116414289B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101903834A (zh) * | 2007-12-20 | 2010-12-01 | Dav公司 | 用于检测触摸表面上的控制路径的角度变化的方法和相应控制模块 |
US20110304573A1 (en) * | 2010-06-14 | 2011-12-15 | Smith George C | Gesture recognition using neural networks |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN106354252A (zh) * | 2016-08-18 | 2017-01-25 | 电子科技大学 | 一种基于stdw的连续字符手势轨迹识别方法 |
US20180293434A1 (en) * | 2017-04-10 | 2018-10-11 | Pearson Education, Inc. | Electronic handwriting analysis through adaptive machine-learning |
KR20190102924A (ko) * | 2018-02-27 | 2019-09-04 | 세종대학교산학협력단 | 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법 |
WO2021143353A1 (zh) * | 2020-01-13 | 2021-07-22 | 腾讯科技(深圳)有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
CN114461090A (zh) * | 2021-07-23 | 2022-05-10 | 荣耀终端有限公司 | 触控数据处理方法、键盘、设备、芯片及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116414289B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2711029C2 (ru) | Классификация касаний | |
KR102460737B1 (ko) | 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체 | |
EP3320482B1 (en) | System for recognizing multiple object input and method and product for same | |
CN106778456B (zh) | 一种手写输入的优化方法及装置 | |
KR20060049081A (ko) | 계층적 리스트 및 아웃라인을 파싱하기 위한 방법 및시스템 | |
CN111695527A (zh) | 一种蒙古文在线手写体识别方法 | |
US20170091597A1 (en) | Method and computing device for optically recognizing mathematical expressions | |
CN113657274A (zh) | 表格生成方法、装置、电子设备、存储介质及产品 | |
CN113780098A (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
CN113407738B (zh) | 一种相似文本检索方法、装置、电子设备和存储介质 | |
US11587346B2 (en) | Detecting ink gestures based on spatial and image data processing | |
US10733710B2 (en) | System and method for drawing beautification | |
CN116414289B (zh) | 一种基于触控芯片的手势识别系统及方法 | |
CN109977737A (zh) | 一种基于循环神经网络的字符识别鲁棒性方法 | |
CN100585623C (zh) | 一种手写输入字符辨识方法及系统 | |
Rajesh et al. | Hybrid neural network for handwritten mathematical expression recognition system | |
van Heek et al. | Analysis and selection of classifiers for gesture characteristics recognition based on MGRS framework | |
CN111783781A (zh) | 基于产品协议字符识别的恶意条款识别方法、装置、设备 | |
CN116416633A (zh) | 手绘轨迹的识别方法、电子设备及存储介质 | |
CN112633243B (zh) | 信息识别方法、装置、设备及计算机存储介质 | |
CN111580649B (zh) | 一种基于深度学习的空中手写交互方法及系统 | |
US11631263B1 (en) | Gradient boosting tree-based spatial line grouping on digital ink strokes | |
CN118038019A (zh) | 一种用户图形界面元素识别方法及系统 | |
CN115131871A (zh) | 一种手势识别系统、方法及计算设备 | |
CN118411725A (zh) | 一种字体属性识别结果生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |