CN116414289A - 一种基于触控芯片的手势识别系统及方法 - Google Patents

一种基于触控芯片的手势识别系统及方法 Download PDF

Info

Publication number
CN116414289A
CN116414289A CN202310687399.4A CN202310687399A CN116414289A CN 116414289 A CN116414289 A CN 116414289A CN 202310687399 A CN202310687399 A CN 202310687399A CN 116414289 A CN116414289 A CN 116414289A
Authority
CN
China
Prior art keywords
track
point
gesture
angle
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310687399.4A
Other languages
English (en)
Other versions
CN116414289B (zh
Inventor
赵晓刚
李双江
王帅康
郭耀兵
郭岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hailichuang Technology Co ltd
Original Assignee
Shanghai Hailichuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hailichuang Technology Co ltd filed Critical Shanghai Hailichuang Technology Co ltd
Priority to CN202310687399.4A priority Critical patent/CN116414289B/zh
Publication of CN116414289A publication Critical patent/CN116414289A/zh
Application granted granted Critical
Publication of CN116414289B publication Critical patent/CN116414289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明揭示了一种基于触控芯片的手势识别系统及方法,所述基于触控芯片的手势识别系统包括按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块,用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块,用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块,通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。本发明具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够快速可靠且功耗低的实现手势识别。

Description

一种基于触控芯片的手势识别系统及方法
技术领域
本发明涉及触控手势识别领域,特别是涉及一种基于触控芯片的手势识别系统及方法。
背景技术
近些年来,随着电子行业的发展,基于触控的屏幕已经成为一种非常重要的人机交互设备, 这种人机交互方式已经大规模应用到手机,平板电脑等设备上。其基本原理是利用触控芯片采集触摸屏上的自容或互容信号,然后在触控芯片上计算按压点坐标与按压力度等点信息,上报点信息后,上位设备再根据点信息作出对应的反应 。但是在一些场景下,需要触摸屏能够识别简单的手势,例如c,z,e,o等能够一笔写完的字母或图形,这样可以给用户更好的交互体验。
目前常见的手势识别方法有两种,第一种是使用字符图像然后使用神经网络分类的方法,需要消耗比较大的内存与算力,往往需要至少几百KB的内存,虽然识别率很高并且能识别复杂字符,但是待机功耗比较高;第二种是通过分析手指按压运动方向然后分类的方法,虽然速度比较快,但是没有尺寸不变性,而且错误率比较高。
为此,亟需提出一种基于触控芯片的手势识别系统及方法,以有效解决上述存在的问题。
发明内容
本发明的目的在于提出一种基于触控芯片的手势识别系统及方法,具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够快速可靠且功耗低的实现手势识别。
为解决上述技术问题,本发明提供一种基于触控芯片的手势识别系统及方法,包括:
按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;
轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹;
轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;
轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
进一步的,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号模式计算出手势按压点的坐标位置。
进一步的,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。
进一步的,若所述按压点坐标计算模块选择互容信号模式计算手指按压点的坐标位置,则得到互容信号为一个宽度w,高度h的图像,根据预先设定的阈值找出所述图像中的信号区域,如果存在多个按压区域,则处理所述按压区域最大的信号区域,其坐标区域为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下:
Figure SMS_1
,其中,V(r,c)表示在第r行第c列的信号强度。
进一步的,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt;
当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于预定数量,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于预定数量,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
进一步的,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
进一步的,所述轨迹预处理模块包括:
等距离采样单元,用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;
角度计算单元,用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;
构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
进一步的,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势。
进一步的,所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,所述全连接层的原理公式为:
Figure SMS_2
,第二层与第四层为激活层,将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含/>
Figure SMS_3
个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>
Figure SMS_4
个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含
Figure SMS_5
个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
进一步的,所述softmax函数对所述特征向量T5进行处理的方式包括:
根据所述softmax函数:
Figure SMS_6
,得到神经网络对所述特征向量T5是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再进行分情况处理。
进一步的,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
进一步的,所述轨迹分类模块还包括:轨迹分类细分,用于进行所述朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
此外,本发明还提出一种基于触控芯片的手势识别方法,采用如上述所述的基于触控芯片的手势识别系统,包括:
根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
通过上述技术方案,本发明具有如下有益效果:
通过按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块的设置,以及按压点坐标计算模块用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。因此,本系统具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够实现快速可靠且功耗低。
附图说明
图1为本发明一实施例中基于触控芯片的手势识别系统及方法中C字母的手势轨迹等距离采样的示意图;
图2为本发明一实施例中基于触控芯片的手势识别系统及方法中C字母的角度计算示意图;
图3为本发明一实施例中基于触控芯片的手势识别系统及方法中轨迹分类模块的示意图;
图4为本发明一实施例中基于触控芯片的手势识别方法的流程图。
具体实施方式
下面将结合附图对本发明的一种基于触控芯片的手势识别系统及方法进行更详细的描述,其中表示了本发明的优选实施例,应该理解本领域技术人员可以修改在此描述的本发明,而仍然实现本发明的有利效果。因此,下列描述应当被理解为对于本领域技术人员的广泛知道,而并不作为对本发明的限制。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明实施例提出了一种基于触控芯片的手势识别系统,包括按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块。
具体的,按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置。轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹。轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列。轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
在本实施例中,本系统是在触控芯片上工作,且输入信号为按压电容后产生的电容感应电信号。另外,本系统根据深度学习方法可直接进行分类,从而能够提高效率,且具有结构简单,鲁棒性强的特点。
在第一实施例中,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号计算出手势按压点的坐标位置。
进一步的,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。若所述按压点坐标计算模块选择互容信号模式计算手指按压点的坐标位置,则得到互容信号为一个宽度w,高度h的图像,根据预先设定的阈值找出所述图像中的信号区域,如果存在多个按压区域,则处理所述按压区域最大的信号区域,其坐标为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下:
Figure SMS_7
,其中,V(r,c)表示在第r行第c列的信号强度。
在一具体示例中,如果采用的是互容信号方式,则可以得到一个宽度w,高度h的比较稀疏的图像,例如高度为38宽度为18的互容信号图。可以根据预先设定的阈值thr来找出图像中的信号区域,如果存在多个按压区域,由于是在字符识别模式下,只需要处理按压区域最大的信号区域,其坐标为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下公式:
Figure SMS_8
。计算出按压坐标后将坐标传输给手势保存模块,如果没有按压信号,则需要将没有按压的信息也传输至轨迹保存模块。
在第二实施例中,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt。进一步的,当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于30,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于30,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
其中,30是用于进行示例性的说明,为预定数量。本领域技术人员可知晓的是,预定数量的值可根据实际需求进行设置,30还可以本实施例以外的任一实施例的数值。
另外,在本实施例中,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
在第三实施例中,所述轨迹预处理模块包括等距离采样单元、角度计算单元以及构造角度队列单元。
具体的,等距离采样单元用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;角度计算单元用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
在一具体示例中,可如图1所示,图1为等距离采样示意图,将一个字母c的手势轨迹等距离采样,将得到手势轨迹L1都传给下一个步骤处理。经过该步骤处理后手势轨迹就具有了位移不变性。当获取到采样点手势轨迹L1后,如图2所示,计算手势轨迹上每个点与前一个点连线的弧度制角度,得到一个包含21个角度的角度队列L2,经过该步骤处理后手势轨迹就具有了尺寸不变性与位移不变性。当获取到L2后,将L2中的每一个角度都减去L2中的第一个角度并转换到
Figure SMS_9
到/>
Figure SMS_10
之间,再排除第一个角度,就可以得到一个包含20个角度的角度队列L3,将L3与L传输给轨迹分类模块,经过本步骤操作后,手势轨迹将具有旋转不变性。
在本实施例中,本系统无需使用PCA(主成分分析)算法求出手势轨迹的主方向,且本系统中的固定长度的角度队列也无需进行归一化处理,从而能够节省处理时间,并提升效率,还能够节省资源。
在第四实施例中,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势,例如,c,e,M,W,O,S,Z,划线,点击,符号V等。
具体的,所述轨迹分类器区分所述角度队列中不同手势的方式包括:
进一步的,所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,全连接层的原理公式为:
Figure SMS_11
,第二层与第四层为激活层,将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含/>
Figure SMS_12
个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>
Figure SMS_13
个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含
Figure SMS_14
个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
其中,所述softmax函数对所述特征向量T5进行处理的方式包括:
根据所述softmax函数:
Figure SMS_15
,得到神经网络对所述特征向量T5是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再进行分情况处理。
进一步的,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
另外,所述轨迹分类模块还包括:轨迹分类细分,用于进行朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
在一具体示例中,可如图3所示,由于轨迹分类器是一个预先训练好的全链接神经网络模型,包含3个全连接层与2个relu层,可以区分例如c,e,M,W,O,S,Z,划线,点击,符号V这10种不同手势,而且轨迹分类器有比较强的拓展性,在添加新字符时只需要增加一类训练数据,代码及系统结构修改量非常少,所以本系统具有拓展性强的优点。且主要用到了全连接层与relu层。
第一层将L3输入可以得到一个长度16的特征向量T1。全连接的原理如下式:
Figure SMS_16
,式中W为权重,b为偏置,所以本层W有/>
Figure SMS_17
个,b有16个,共336个参数。
第二层为relu层,不包含参数,将T1中小于0的数置为0得到T2。
第三层为全链接层,包含了
Figure SMS_18
共计272个参数,将T2输入得到一个长度16的特征向量T3。
第四层为relu层,不包含参数,将T3中小于0的数置为0得到T4。
第五层为全连接层,包含了
Figure SMS_19
共计204个参数,将T4输入,得到一个长度12的特征向量T5。
然后将得到的T5经过softmax函数处理,就可以得到网络对输入的L是各种分类的预测概率,softmax函数如下:
Figure SMS_20
则可以得到神经网络对手势轨迹是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再分情况处理:
如果最大的概率小于预先设定的阈值thr1,则直接返回失败。如果最大的概率大于预先设定的阈值thr1,且这个分类是划线或者符号V,这两种进一步还需要确定朝向的分类,则将分类结果与手势轨迹L传输给轨迹方向细分模块。如果最大的概率大于预先设定的阈值thr1,且这个分类是不需要确定朝向的分类,则将分类结果直接输出。
其中,轨迹分类器总共用了
Figure SMS_21
共计812个参数,内存占用不超过2KB,运算量大概1000次乘加运算,所以是一个可以部署到低端平台的算法。
轨迹分类细分:轨迹分类细分是拿到分类结果后,这种分类需要根据方向进一步细分,需要根据每个需要细分的分类具体制定细分规则。如果轨迹分类器判定轨迹是一条直线,而需要知道用户滑线的方向,则需要取出L中的首点与尾点,根据这两个点就可以确定滑线朝向了。如果轨迹分类器判定轨迹是一个符号V,而需要知道用户画的符号V的尖角朝向,则需要计算L中的首点与尾点均值点P1,并计算出轨迹均值点P2,根据这两个点就可以确定符号V的尖角朝向。
在一具体实施例中,基本每个手势的所用内存都差不多,例如V手势,若第一个输入是20个数字,量化后就是40个字节,后面有5个输出,则最多有16个数字,量化后就是32个字节。由于拿到T1后输入可忽略,则可以把T2写到输入的内存上。这里的T1又可以忽略了,则可以把T3再写到T1的位置上。通过这种方式,能够实现内存复用,则就只需要72个字节就能跑完整个网络层。而现有常规的网络都比较大,例如常规网络需要至少几个G的内存。
此外,可如图4所示,本实施例还提出一种基于触控芯片的手势识别方法,采用如上述所述的基于触控芯片的手势识别系统,包括如下步骤:
S1、根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
S2、所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
S3、轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
在本实施例中,本方法可以准确识别c,e,M,W,O,S,Z,7种手势字母,向上向下向左向右的4种划线手势,点击手势
Figure SMS_22
的4种符号手势,共计16种手势。本领域技术人员可知晓的是,本实施例还可以识别本实施例中16种手势以外的任一手势。
在本实施例中,本系统采用多层神经网络,设置合理参数,逐层传递特征,最后根据softmax函数进行分类,并结合方法应用到触控芯片上对手势进行分类,不仅能够提升效率,还能够实现快速可靠且功耗低。本系统还通过对网络进行极致的压缩,使得网络只有5层,仅包含数百个参数,而且运行内存只需要不到100字节的超微型网络即可,能够实现快速可靠且功耗低。
在本实施方式中,根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;所述轨迹保存模块所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
综上所述,本发明提出的一种基于触控芯片的手势识别系统及方法,具有如下优势:
通过按压点坐标计算模块、轨迹保存模块、轨迹预处理模块以及轨迹分类模块的设置,以及按压点坐标计算模块用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;轨迹保存模块用于保存点的坐标位置,根据点的坐标位置形成点的手势轨迹;轨迹预处理模块用于对手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;轨迹分类模块通过五个神经网络层对角度队列进行手势识别,并区分不同手势进行分类。因此,本系统具有尺寸不变性,旋转不变性,位移不变性以及拓展性强的特点,并且能够实现快速可靠且功耗低。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种基于触控芯片的手势识别系统,其特征在于,包括:
按压点坐标计算模块,用于根据采集到的按压电容产生的电容感应信号计算出手势按压点的坐标位置;
轨迹保存模块,用于保存所述点的坐标位置,根据所述点的坐标位置形成点的手势轨迹;
轨迹预处理模块,用于对所述手势轨迹进行等距离的取样,并计算每个点与上一个点连线的弧度制角度,将第一个角度排除后,得到固定长度的角度队列;
轨迹分类模块,通过五个神经网络层对所述角度队列进行手势识别,并区分不同手势进行分类。
2.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述按压点坐标计算模块用于根据芯片采集到的自容或互容信号模式计算出手势按压点的坐标位置。
3.如权利要求2所述的基于触控芯片的手势识别系统,其特征在于,若所述按压点坐标计算模块选择自容信号模式计算手指按压点的坐标位置,则根据屏幕电容排部方式直接插值出点按压位置。
4.如权利要求2所述的基于触控芯片的手势识别系统,其特征在于,若所述按压点坐标计算模块选择互容信号模式计算手指按压点的坐标位置,则得到互容信号为一个宽度w,高度h的图像,根据预先设定的阈值找出所述图像中的信号区域,如果存在多个按压区域,则处理所述按压区域最大的信号区域,其坐标为从r0行到r1行,从c0列到c1列,则按压坐标P(x,y)计算方法如下:
Figure QLYQS_1
,其中,V(r,c)表示在第r行第c列的信号强度。
5.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹保存模块保存点的坐标位置的方式包括:建立含预定数量点的手势轨迹L,并记录轨迹点数cnt;
当所述轨迹保存模块接收到一个点后,如果轨迹点数cnt为0,则保存这个点坐标到L(1),并记录轨迹点数cnt为1;如果轨迹点数cnt不为0,且小于预定数量,则将点记录到L(cnt)位置,并且轨迹点数cnt加1;如果轨迹点数cnt等于预定数量,则找出手势轨迹中连续与前一个点距离最小的点P(min),并删除P(min),并且手势轨迹上自紧邻P(min)后面的点向前一个点按顺序移动一个位置,然后将新获得的点存储至手势轨迹末尾L(end)。
6.如权利要求5所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹保存模块保存点的坐标位置的方式还包括:如果轨迹点数cnt小于设定的轨迹点数cnt最小阈值或等于0,则认为手势轨迹L是一条无效轨迹,则直接删除手势轨迹并将轨迹点数cnt置为0,然后返回无法识别;如果轨迹点数cnt大于等于设定的轨迹点数cnt最小阈值,则认为手势轨迹L是一条有效轨迹,并且手势轨迹已经处理结束,将所述手势轨迹传输至所述轨迹预处理模块,传输完成后将轨迹点数cnt置0。
7.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹预处理模块包括:
等距离采样单元,用于对所述手势轨迹进行等距离点的划分,得到一个含多个等距离采样点的手势轨迹;
角度计算单元,用于计算所述含多个等距离采样点的手势轨迹上每个点与上一个点连线的弧度制角度,得到一个含多个角度的角度队列;
构造角度队列单元,用于对所述含多个角度的角度队列中每个角度都减去第一个角度,并且将第一个角度进行排除,得到一个长度为N的角度队列。
8.如权利要求1所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类模块包括:轨迹分类器,用于区分所述角度队列中的不同手势。
9.如权利要求8所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类器区分所述角度队列中不同手势的方式包括:所述轨迹分类器区分所述角度队列中不同手势的方式包括五个神经网络层;其中第一层、第三层、第五层为全连接层,所述全连接层的原理公式为:
Figure QLYQS_2
;第二层与第四层为激活层;
将所述激活层输入中的小于0的值置为0;将长度为N的角度队列输入至所述第一层中,经过所述第一层处理后得到长度为N1的特征向量T1,则第一层包含
Figure QLYQS_3
个参数;将T1传给所述第二层继续处理,得到长度为N2的特征向量T2;将特征向量T2输入至所述第三层进行处理,得到长度为N3的特征向量T3,则所述第三层包含/>
Figure QLYQS_4
个参数;将所述特征向量T3输入至所述第四层进行处理,得到长度为N4的特征向量T4;将所述特征向量T4输入至所述第五层进行处理得到长度为N5的特征向量T5,则所述第三层包含
Figure QLYQS_5
个参数;通过softmax函数对所述特征向量T5进行处理,得到所述特征向量T5为不同手势的预测概率;其中,N2的长度等于N1的长度;N4的长度等于N3的长度。
10.如权利要求9所述的基于触控芯片的手势识别系统,其特征在于,所述softmax函数对所述特征向量T5进行处理的方式包括:
根据所述softmax函数:
Figure QLYQS_6
,得到神经网络对所述特征向量T5是第j个分类的预测概率G(j),其中0-9分类为对应的手势分类,10与11为负样本分类;找出G(j)中的最大值,如果是负样本分类,直接返回失败,如果不是则再进行分情况处理。
11.如权利要求10所述的基于触控芯片的手势识别系统,其特征在于,所述分情况处理包括:
如果预测概率G(j)中最大的概率小于预先设定的阈值,则直接返回失败;
如果最大的概率大于预先设定的阈值,且为划线或者符号V,则输出请求进行朝向分类的判断;
如果最大的概率大于预先设定的阈值,且不需要进行朝向的分类判断,则将分类结果直接输出。
12.如权利要求11所述的基于触控芯片的手势识别系统,其特征在于,所述轨迹分类模块还包括:轨迹分类细分,用于进行所述朝向分类的判断,如果轨迹分类器判定手势轨迹为一条直线,需要取出手势轨迹中的首点与尾点,以确定滑线朝向;如果轨迹分类器判定轨迹为一个符号V,则需要计算手势轨迹中的首点与尾点均值点,并计算出手势轨迹均值点,以确定符号V的尖角朝向。
13.一种基于触控芯片的手势识别方法,采用如权利要求1-12中任一项所述的基于触控芯片的手势识别系统,其特征在于,包括:
根据采集到的信号,按压点坐标计算模块计算出手势按压点的坐标位置,并传输至轨迹保存模块进行保存;
所述轨迹保存模块根据所述点的坐标位置形成点的手势轨迹,并将所述手势轨迹传输至轨迹预处理模块进行预处理,得到固定长度的角度队列;
轨迹分类模块对所述角度队列进行手势识别,并区分不同手势进行分类。
CN202310687399.4A 2023-06-12 2023-06-12 一种基于触控芯片的手势识别系统及方法 Active CN116414289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310687399.4A CN116414289B (zh) 2023-06-12 2023-06-12 一种基于触控芯片的手势识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310687399.4A CN116414289B (zh) 2023-06-12 2023-06-12 一种基于触控芯片的手势识别系统及方法

Publications (2)

Publication Number Publication Date
CN116414289A true CN116414289A (zh) 2023-07-11
CN116414289B CN116414289B (zh) 2023-08-22

Family

ID=87049610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310687399.4A Active CN116414289B (zh) 2023-06-12 2023-06-12 一种基于触控芯片的手势识别系统及方法

Country Status (1)

Country Link
CN (1) CN116414289B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903834A (zh) * 2007-12-20 2010-12-01 Dav公司 用于检测触摸表面上的控制路径的角度变化的方法和相应控制模块
US20110304573A1 (en) * 2010-06-14 2011-12-15 Smith George C Gesture recognition using neural networks
CN105740823A (zh) * 2016-02-01 2016-07-06 北京高科中天技术股份有限公司 基于深度卷积神经网络的动态手势轨迹识别方法
CN106354252A (zh) * 2016-08-18 2017-01-25 电子科技大学 一种基于stdw的连续字符手势轨迹识别方法
US20180293434A1 (en) * 2017-04-10 2018-10-11 Pearson Education, Inc. Electronic handwriting analysis through adaptive machine-learning
KR20190102924A (ko) * 2018-02-27 2019-09-04 세종대학교산학협력단 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법
WO2021143353A1 (zh) * 2020-01-13 2021-07-22 腾讯科技(深圳)有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN114461090A (zh) * 2021-07-23 2022-05-10 荣耀终端有限公司 触控数据处理方法、键盘、设备、芯片及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903834A (zh) * 2007-12-20 2010-12-01 Dav公司 用于检测触摸表面上的控制路径的角度变化的方法和相应控制模块
US20110304573A1 (en) * 2010-06-14 2011-12-15 Smith George C Gesture recognition using neural networks
CN105740823A (zh) * 2016-02-01 2016-07-06 北京高科中天技术股份有限公司 基于深度卷积神经网络的动态手势轨迹识别方法
CN106354252A (zh) * 2016-08-18 2017-01-25 电子科技大学 一种基于stdw的连续字符手势轨迹识别方法
US20180293434A1 (en) * 2017-04-10 2018-10-11 Pearson Education, Inc. Electronic handwriting analysis through adaptive machine-learning
KR20190102924A (ko) * 2018-02-27 2019-09-04 세종대학교산학협력단 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법
WO2021143353A1 (zh) * 2020-01-13 2021-07-22 腾讯科技(深圳)有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN114461090A (zh) * 2021-07-23 2022-05-10 荣耀终端有限公司 触控数据处理方法、键盘、设备、芯片及可读存储介质

Also Published As

Publication number Publication date
CN116414289B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
RU2711029C2 (ru) Классификация касаний
EP3320482B1 (en) System for recognizing multiple object input and method and product for same
KR102460737B1 (ko) 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체
CN106778456B (zh) 一种手写输入的优化方法及装置
KR20060049081A (ko) 계층적 리스트 및 아웃라인을 파싱하기 위한 방법 및시스템
CN110472506B (zh) 一种基于支持向量机和神经网络优化的手势识别方法
US20170091597A1 (en) Method and computing device for optically recognizing mathematical expressions
EP3711027B1 (en) System and method for drawing beautification
CN113407738B (zh) 一种相似文本检索方法、装置、电子设备和存储介质
US11587346B2 (en) Detecting ink gestures based on spatial and image data processing
CN116414289B (zh) 一种基于触控芯片的手势识别系统及方法
CN109977737A (zh) 一种基于循环神经网络的字符识别鲁棒性方法
CN100585623C (zh) 一种手写输入字符辨识方法及系统
CN111783869A (zh) 训练数据筛选方法、装置、电子设备及存储介质
CN111783781A (zh) 基于产品协议字符识别的恶意条款识别方法、装置、设备
van Heek et al. Analysis and selection of classifiers for gesture characteristics recognition based on MGRS framework
CN116416633A (zh) 手绘轨迹的识别方法、电子设备及存储介质
CN112633243B (zh) 信息识别方法、装置、设备及计算机存储介质
CN111580649B (zh) 一种基于深度学习的空中手写交互方法及系统
US11631263B1 (en) Gradient boosting tree-based spatial line grouping on digital ink strokes
CN118038019A (zh) 一种用户图形界面元素识别方法及系统
CN115131871A (zh) 一种手势识别系统、方法及计算设备
CN115859152A (zh) 模型训练数据生成方法、装置及电子设备
CN115796266A (zh) 一种邮件识别及模型训练方法、装置和设备
CN117725289A (zh) 内容搜索方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant