CN110083300B - 一种基于距离变化的手势数据提取方法 - Google Patents
一种基于距离变化的手势数据提取方法 Download PDFInfo
- Publication number
- CN110083300B CN110083300B CN201910275266.XA CN201910275266A CN110083300B CN 110083300 B CN110083300 B CN 110083300B CN 201910275266 A CN201910275266 A CN 201910275266A CN 110083300 B CN110083300 B CN 110083300B
- Authority
- CN
- China
- Prior art keywords
- gesture
- point
- distance
- contact
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008859 change Effects 0.000 title claims abstract description 20
- 238000013075 data extraction Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000035772 mutation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于距离变化的手势数据提取方法,通过获取手势形状的极值点,以手势形状的极值点作为骨架,提取相同数目的有效触点来表示触点数目差异较大的不同手势,提取的有效触点最大程度保持手势的原形状。
Description
技术领域
本发明涉及一种基于距离变化的手势数据提取方法,特别涉及一种基于距离变化的、最大程度保持手势原形状的有效数据提取方法,属于红外触控屏显控系统的设计领域。
背景技术
触控技术是近几十年来新兴的人机交互方式,以其直观高效、自然流畅的特性,逐渐赢得人们的青睐。随着触控技术的不断发展,触控屏也从小尺寸向着大尺寸方向发展。红外触控屏以其成本低、环境适应能力强、易于安装和维护、使用寿命长等诸多优点成为制作大尺寸触摸屏的首选。红外触摸屏四周排列着许多红外发射管和红外接收管,当有物体(手指、触控等等)触摸屏幕时,触点横竖方向的红外光亮会受到影响,再经过传感器和处理器,便可以得到触点的位置信息。
随着人机交互技术的发展,用户对于交互系统的操作渐渐脱离了按键式外设的束缚,使用双手对显示屏幕进行直接操作。当用户对红外触控屏进行操作时(如拖拽、旋转等),红外触控屏传给上位机的数据是一个个触点的坐标和每个触点的采集时间。由于用户的操作习惯不一样,不同红外触控屏的触点采集频率也不一样,就导致每一条手势的数据量差距极大,给后续的手势识别工作带来困难。
对于坐标式的触点信息,最优方法是使用BP神经网络进行识别,神经网络的输入层节点数固定,期望每个手势的有效数据量相同。目前的提取手势有效数据的方法大部分是扩大采样周期和中值化处理,都会对手势的形状造成部分乃至巨大的失真。
发明内容
本发明所要解决的技术问题是提供一种基于距离变化的手势数据提取方法,通过获取手势形状的极值点,依据距离变化从中提取有效触点,最大程度保持手势原形状的基础上以相同数目的触点表示不同的手势。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种基于距离变化的手势数据提取方法,每一条所述手势数据均是数量不固定的坐标式的触点数据集合,所述坐标式的触点数据使用神经网络进行识别。
该方法包括如下步骤:
步骤1,获取触控屏的手势数据,对每一条手势数据分别进行预处理;
步骤2,对每一条预处理后的手势数据,寻找其中的极值点;
步骤3,对每一条预处理后的手势数据,计算除手势起始点外所有触点到手势起始点之间的折线距离;
步骤4,根据预提取点数目,计算每个预提取点到手势起始点之间的折线距离;
步骤5,在每一条预处理后的手势数据中,选取正式提取点;
步骤6,在步骤5得到的正式提取点中插入极值点,得到的触点集合即为最终有效触点集合;
步骤7,输出最终有效触点,完成手势数据提取。
作为本发明的进一步技术方案,步骤1的每一条手势数据中,每个触点包含其坐标信息和采集时间信息,坐标信息为该触点相对触控屏左下角的X坐标和Y坐标,由采集时间信息确定集合中的触点顺序以判断手势的方向。
作为本发明的进一步技术方案,步骤1中所述预处理具体为:若某一触点与其相邻触点的距离均超过设定的距离阈值,则判断其为突变点并舍弃此触点,完成预处理。
作为本发明的进一步技术方案,步骤2中的极值点分为6类:手势起始点、手势终止点、X方向的坐标极大值点、X方向的坐标极小值点、Y方向的坐标极大值点、Y方向的坐标极小值点。
作为本发明的进一步技术方案,步骤3中每一条预处理后的手势数据中第i个触点到手势起始点之间的折线距离为其中,i=2,3,…,K,K为每一条预处理后的手势数据中的触点数,Lj,j-1为第j个触点到第j-1个触点之间的直线距离。
作为本发明的进一步技术方案,步骤4中第n个预提取点到手势起始点之间的折线距离为Ln,1=nLK,1/N+1,其中,n=1,2,…,N,LK,1为每一条预处理后的手势数据中手势终止点到手势起始点之间的折线距离,N为预提取点数,N=M-T,M为神经网络输入层数目,T为步骤2中寻找到的极值点数。
作为本发明的进一步技术方案,步骤5中遍历每一条预处理后的手势数据中的触点,选取N个到手势起始点之间的折线距离分别与N个预提取点到手势起始点之间的折线距离最接近的触点作为正式提取点。
作为本发明的进一步技术方案,若有两个触点到手势起始点之间的折线距离与某预提取点到手势起始点之间的折线距离接近程度相同,则选取更为靠近手势起始点的触点作为正式提取点。
作为本发明的进一步技术方案,步骤6具体为:分别将手势起始点、手势终止点分别插入到正式提取点的最前、最后,根据到手势起始点之间的折线距离的长度、按从短到长的排列顺序将其余极值点插入到正式提取点中。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1.本发明可以用相同数目的有效触点数据来代表触点数目差异较大的不同手势;
2.本发明以手势形状的极值点作为骨架,提取的有效数据最大程度保持手势的原形状;
3.基于触点间距离变化采集手势有效数据,有效避免不同用户操作习惯(动作快慢及连贯性)不同带来的影响,提取的有效数据最大程度保持手势的原形状;
4.基于触点间距离变化采集手势有效数据,有效避免扩大周期采样等方式受困于用户触点驻留思考等干扰因素的影响,提取的有效数据最大程度保持手势的原形状。
附图说明
图1是中值化过程示意图;
图2是扩大采样周期过程示意图;
图3是折线距离示意图;
图4是突变点示意图;
图5是极值点示意图;
图6是使用基于距离变化的手势数据提取算法对图1和图2相同手势进行提取的结果示意图;
图7是基于距离变化手势数据提取过程示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
下面结合附图对本发明的技术方案做进一步的详细说明:
中值化减少触点数目的方法实质是将手势触点向中心聚集,在有效触点数目要求较少的情况下会造成手势数据的变形,如图1所示为一段手势触点数目逐渐减少的过程,可以清晰看出手势的变形。扩大采样周期减少触点数目的方法若遇到用户停驻思考等影响因素,采集的触点会集中在停驻区,如图2所示,矩形框内为停驻区,当触点数目减少到一定数目后,所减少的触点均为停驻区的重合触点。
本发明提供的方法,其本质是设计一种基于距离变化的手势数据提取算法,提取相同数目的有效触点来表示触点数目差异较大的不同手势,提取的有效触点数据最大程度上保持手势的原形状。这里所说的基于距离变化,是指触点之间的折线距离。如图3所示举例说明(实际情况下采集周期短,简单快速的手势也会有成百上千的触点,此处为了方便说明,只举例其中5个触点)。触点1到触点5的直线距离线段15的长度,也就是我们平时接触最多的距离概念。触点1到触点5的折线距离为图中线段12、线段23、线段34和线段45的长度之和。
下面对本发明一种基于距离变化的手势数据提取方法进行详细说明,如图7所示,步骤如下:
步骤1,获取触控屏原始数据;
获取来自红外触控屏的原始数据,每一段手势数据均是数量不固定的触点集合,每一个触点数据包含其坐标信息和采集时间信息。时间信息可以舍弃,根据点集的前后顺序判断手势的方向,坐标信息包括每个触点相对触控屏左下角的X坐标和Y坐标。对于坐标式触点数据,常规是使用神经网络来进行识别的。
步骤2,预处理原始数据;
实际操作中存在误触碰等情况,导致触控屏的原始数据中存在突变点,预处理原始数据的目的便是剔除其中的突变点。实际操作中产生的突变点如图4中的矩形框所示,为了消除突变点的影响,本发明设立距离阈值。相邻的触点之间采集时间间隔相同,若某一触点与相邻触点的距离均超过距离阈值,判断其为突变点并舍弃此触点数据。
步骤3,遍历寻找极值点;
为了提取的有效触点数据能够最大程度保持手势的原形状,本发明将极值点作为特殊的触点提取出来,它们将作为有效触点的骨架节点。本发明所定义的极值点有6类,如图5所示,矩形框所标识的分别是手势起始点(A1)、手势终止点(A6)、X方向的坐标极大值点(A2)、X方向的坐标极小值点(A3)、Y方向的坐标极大值点(A4)和Y方向的坐标极小值点(A5)。其中XY方向的坐标极大值极小值点不仅仅是整个手势最边缘的极值点,也包括手势内部数学意义上的极值点,它们同样对保持手势形状非常重要。
步骤4,计算除手势起始点外所有触点到手势起始点的折线距离;
每个触点的坐标信息是其相对触控屏左下角的X坐标和Y坐标,从手势起始点到手势终止点,先使用勾股定理计算出所有相邻触点之间的直线距离,再求除手势起始点外每个触点到手势起始点的折线距离,为后续基于距离变化选择提取点打下基础。
步骤5,计算预提取点个数N;
对于坐标式触点数据,常规是使用神经网络来进行识别,期望输入的点数相同,便期望从数据量不同的手势中提取相同数目有效触点来代表手势。对于一个已经确定的系统,其神经网络输入层数目固定的情况下,排除已经提取的极值点,剩下的便是我们所需要的预提取点数,N=M-T,M为神经网络输入层数目,T为步骤2中寻找到的极值点数。
步骤6,计算预提取点到起始点折线距离;
第n个预提取点到手势起始点之间的折线距离为Ln,1=nLK,1/N+1,其中,n=1,2,…,N,LK,1为手势终止点到手势起始点之间的折线距离。
步骤7,选取正式提取点;
从手势起始点开始遍历所有触点,选取N个与预提取点到手势起始点之间的折线距离最接近的触点,这N个触点便是正式提取点。若有两个触点与某预提取点接近程度相同,选取更加靠近起始点的触点为正式提取点。
步骤8,插入极值点;
将手势起始点放在所有正式提取点的最前面,将手势终点放在所有正式提取点的最后面。对于XY方向的坐标极大极小值点,以到手势起始点的折线距离为判断依据,按照折线距离从短到长的顺从插入到正式提取点中。此时,由正式提取点以及极值点构成的集合即为最终有效触点集合。
步骤9,输出最终有效触点,至此,即可在用相同数目触点表示不同手势的基础上,最大程度地保持了手势的原形状。
如图6所示为使用基于距离变化的手势数据提取算法对图1和图2相同手势进行提取的结果示意图,可以清晰看出最大程度保持了手势的形状。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (8)
1.一种基于距离变化的手势数据提取方法,每一条所述手势数据均是数量不固定的坐标式的触点数据集合,所述坐标式的触点数据使用神经网络进行识别,其特征在于,该方法包括如下步骤:
步骤1,获取触控屏的手势数据,对每一条手势数据分别进行预处理;
步骤2,对每一条预处理后的手势数据,寻找其中的极值点;其中极值点分为6类:手势起始点、手势终止点、X方向的坐标极大值点、X方向的坐标极小值点、Y方向的坐标极大值点、Y方向的坐标极小值点;
步骤3,对每一条预处理后的手势数据,计算除手势起始点外所有触点到手势起始点之间的折线距离;
步骤4,根据预提取点数目,计算每个预提取点到手势起始点之间的折线距离;
步骤5,在每一条预处理后的手势数据中,选取正式提取点;
步骤6,在步骤5得到的正式提取点中插入极值点,得到的触点集合即为最终有效触点集合;
步骤7,输出最终有效触点,完成手势数据提取。
2.根据权利要求1所述的一种基于距离变化的手势数据提取方法,其特征在于,步骤1的每一条手势数据中,每个触点包含其坐标信息和采集时间信息,坐标信息为该触点相对触控屏左下角的X坐标和Y坐标,由采集时间信息确定集合中的触点顺序以判断手势的方向。
3.根据权利要求1所述的一种基于距离变化的手势数据提取方法,其特征在于,步骤1中所述预处理具体为:若某一触点与其相邻触点的距离均超过设定的距离阈值,则判断其为突变点并舍弃此触点,完成预处理。
5.根据权利要求1所述的一种基于距离变化的手势数据提取方法,其特征在于,步骤4中第n个预提取点到手势起始点之间的折线距离为Ln,1=nLK,1/N+1,其中,n=1,2,…,N,LK,1为每一条预处理后的手势数据中手势终止点到手势起始点之间的折线距离,N为预提取点数,N=M-T,M为神经网络输入层数目,T为步骤2中寻找到的极值点数。
6.根据权利要求1所述的一种基于距离变化的手势数据提取方法,其特征在于,步骤5中遍历每一条预处理后的手势数据中的触点,选取N个到手势起始点之间的折线距离分别与N个预提取点到手势起始点之间的折线距离最接近的触点作为正式提取点。
7.根据权利要求6所述的一种基于距离变化的手势数据提取方法,其特征在于,若有两个触点到手势起始点之间的折线距离与某预提取点到手势起始点之间的折线距离接近程度相同,则选取更为靠近手势起始点的触点作为正式提取点。
8.根据权利要求1所述的一种基于距离变化的手势数据提取方法,其特征在于,步骤6具体为:分别将手势起始点、手势终止点插入到正式提取点的最前、最后,根据到手势起始点之间的折线距离的长度、按从短到长的排列顺序将其余极值点插入到正式提取点中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910275266.XA CN110083300B (zh) | 2019-04-08 | 2019-04-08 | 一种基于距离变化的手势数据提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910275266.XA CN110083300B (zh) | 2019-04-08 | 2019-04-08 | 一种基于距离变化的手势数据提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110083300A CN110083300A (zh) | 2019-08-02 |
CN110083300B true CN110083300B (zh) | 2022-01-11 |
Family
ID=67414390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910275266.XA Active CN110083300B (zh) | 2019-04-08 | 2019-04-08 | 一种基于距离变化的手势数据提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110083300B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011076255A (ja) * | 2009-09-29 | 2011-04-14 | Fujitsu Ltd | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム |
CN102483648A (zh) * | 2009-05-21 | 2012-05-30 | 星克跃尔株式会社 | 基于手势的用户界面系统和方法 |
CN106022297A (zh) * | 2016-06-01 | 2016-10-12 | 苏州大学 | 一种手势识别方法及装置 |
CN107203742A (zh) * | 2017-05-03 | 2017-09-26 | 苏州大学 | 一种基于显著特征点提取的手势识别方法及装置 |
-
2019
- 2019-04-08 CN CN201910275266.XA patent/CN110083300B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483648A (zh) * | 2009-05-21 | 2012-05-30 | 星克跃尔株式会社 | 基于手势的用户界面系统和方法 |
JP2011076255A (ja) * | 2009-09-29 | 2011-04-14 | Fujitsu Ltd | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム |
CN106022297A (zh) * | 2016-06-01 | 2016-10-12 | 苏州大学 | 一种手势识别方法及装置 |
CN107203742A (zh) * | 2017-05-03 | 2017-09-26 | 苏州大学 | 一种基于显著特征点提取的手势识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于多点触摸的自然手势识别方法研究;凌云翔等;《国防科技大学学报》;20100228(第32卷第1期);第127-132页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110083300A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102118408B1 (ko) | 터치 감지 디바이스에서 터치 동작을 수행하는 방법 | |
EP2631739B1 (en) | Contactless gesture-based control method and apparatus | |
CN102854982A (zh) | 一种识别自定义手势轨迹的方法 | |
CN104123007A (zh) | 一种多维加权的3d动态手势识别方法 | |
CN105844216A (zh) | 一种利用WiFi信号识别手写字母的检测与匹配机制 | |
CN105549890B (zh) | 一维手写文字输入设备和一维手写文字输入方法 | |
US10198627B2 (en) | Gesture identification with natural images | |
CN105353876A (zh) | 一种基于多点光感的空间手势识别控制系统及方法 | |
CN103218160A (zh) | 人机交互方法及终端 | |
CN103902086A (zh) | 一种基于曲线拟合的触摸轨迹平滑方法及系统 | |
CN107909042B (zh) | 一种连续手势切分识别方法 | |
CN102693025A (zh) | 一种多点触摸交互系统的触摸手识别方法 | |
WO2012059595A1 (en) | Touch detection | |
CN103186241B (zh) | 一种交互桌面触点左右手识别方法 | |
CN108399042A (zh) | 一种触控识别方法、装置和系统 | |
CN113342208B (zh) | 基于多点触控设备的铁路选线方法、终端及存储介质 | |
CN110083300B (zh) | 一种基于距离变化的手势数据提取方法 | |
CN102306060B (zh) | 移动设备输入方法及系统 | |
CN112035016A (zh) | 一种基于激光雷达的新型多点触控交互系统及方法 | |
CN111444771B (zh) | 一种基于循环神经网络的手势前置实时识别方法 | |
CN104793727A (zh) | 实现个性化多模式输入的方法及系统 | |
CN103019389B (zh) | 手势辨识系统及手势辨识方法 | |
CN111695475B (zh) | 一种基于nmi智能控制家用电器的方法 | |
CN109977777B (zh) | 基于新型RF-Net模型的手势识别方法 | |
CN106339089A (zh) | 一种人机交互动作识别系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |