CN110083300B - 一种基于距离变化的手势数据提取方法 - Google Patents

一种基于距离变化的手势数据提取方法 Download PDF

Info

Publication number
CN110083300B
CN110083300B CN201910275266.XA CN201910275266A CN110083300B CN 110083300 B CN110083300 B CN 110083300B CN 201910275266 A CN201910275266 A CN 201910275266A CN 110083300 B CN110083300 B CN 110083300B
Authority
CN
China
Prior art keywords
gesture
point
distance
contact
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910275266.XA
Other languages
English (en)
Other versions
CN110083300A (zh
Inventor
许舒晨
孙永荣
孙亚飞
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910275266.XA priority Critical patent/CN110083300B/zh
Publication of CN110083300A publication Critical patent/CN110083300A/zh
Application granted granted Critical
Publication of CN110083300B publication Critical patent/CN110083300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于距离变化的手势数据提取方法，通过获取手势形状的极值点，以手势形状的极值点作为骨架，提取相同数目的有效触点来表示触点数目差异较大的不同手势，提取的有效触点最大程度保持手势的原形状。

Description

一种基于距离变化的手势数据提取方法
技术领域
本发明涉及一种基于距离变化的手势数据提取方法，特别涉及一种基于距离变化的、最大程度保持手势原形状的有效数据提取方法，属于红外触控屏显控系统的设计领域。
背景技术
触控技术是近几十年来新兴的人机交互方式，以其直观高效、自然流畅的特性，逐渐赢得人们的青睐。随着触控技术的不断发展，触控屏也从小尺寸向着大尺寸方向发展。红外触控屏以其成本低、环境适应能力强、易于安装和维护、使用寿命长等诸多优点成为制作大尺寸触摸屏的首选。红外触摸屏四周排列着许多红外发射管和红外接收管，当有物体(手指、触控等等)触摸屏幕时，触点横竖方向的红外光亮会受到影响，再经过传感器和处理器，便可以得到触点的位置信息。
随着人机交互技术的发展，用户对于交互系统的操作渐渐脱离了按键式外设的束缚，使用双手对显示屏幕进行直接操作。当用户对红外触控屏进行操作时(如拖拽、旋转等)，红外触控屏传给上位机的数据是一个个触点的坐标和每个触点的采集时间。由于用户的操作习惯不一样，不同红外触控屏的触点采集频率也不一样，就导致每一条手势的数据量差距极大，给后续的手势识别工作带来困难。
对于坐标式的触点信息，最优方法是使用BP神经网络进行识别，神经网络的输入层节点数固定，期望每个手势的有效数据量相同。目前的提取手势有效数据的方法大部分是扩大采样周期和中值化处理，都会对手势的形状造成部分乃至巨大的失真。
发明内容
本发明所要解决的技术问题是提供一种基于距离变化的手势数据提取方法，通过获取手势形状的极值点，依据距离变化从中提取有效触点，最大程度保持手势原形状的基础上以相同数目的触点表示不同的手势。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于距离变化的手势数据提取方法，每一条所述手势数据均是数量不固定的坐标式的触点数据集合，所述坐标式的触点数据使用神经网络进行识别。
该方法包括如下步骤：
步骤1，获取触控屏的手势数据，对每一条手势数据分别进行预处理；
步骤2，对每一条预处理后的手势数据，寻找其中的极值点；
步骤3，对每一条预处理后的手势数据，计算除手势起始点外所有触点到手势起始点之间的折线距离；
步骤4，根据预提取点数目，计算每个预提取点到手势起始点之间的折线距离；
步骤5，在每一条预处理后的手势数据中，选取正式提取点；
步骤6，在步骤5得到的正式提取点中插入极值点，得到的触点集合即为最终有效触点集合；
步骤7，输出最终有效触点，完成手势数据提取。
作为本发明的进一步技术方案，步骤1的每一条手势数据中，每个触点包含其坐标信息和采集时间信息，坐标信息为该触点相对触控屏左下角的X坐标和Y坐标，由采集时间信息确定集合中的触点顺序以判断手势的方向。
作为本发明的进一步技术方案，步骤1中所述预处理具体为：若某一触点与其相邻触点的距离均超过设定的距离阈值，则判断其为突变点并舍弃此触点，完成预处理。
作为本发明的进一步技术方案，步骤2中的极值点分为6类：手势起始点、手势终止点、X方向的坐标极大值点、X方向的坐标极小值点、Y方向的坐标极大值点、Y方向的坐标极小值点。
作为本发明的进一步技术方案，步骤3中每一条预处理后的手势数据中第i个触点到手势起始点之间的折线距离为
Figure GDA0002059957600000021
其中，i＝2,3,…,K，K为每一条预处理后的手势数据中的触点数，Lj,j-1为第j个触点到第j-1个触点之间的直线距离。
作为本发明的进一步技术方案，步骤4中第n个预提取点到手势起始点之间的折线距离为Ln,1＝nLK,1/N+1，其中，n＝1,2,…,N，LK,1为每一条预处理后的手势数据中手势终止点到手势起始点之间的折线距离，N为预提取点数，N＝M-T，M为神经网络输入层数目，T为步骤2中寻找到的极值点数。
作为本发明的进一步技术方案，步骤5中遍历每一条预处理后的手势数据中的触点，选取N个到手势起始点之间的折线距离分别与N个预提取点到手势起始点之间的折线距离最接近的触点作为正式提取点。
作为本发明的进一步技术方案，若有两个触点到手势起始点之间的折线距离与某预提取点到手势起始点之间的折线距离接近程度相同，则选取更为靠近手势起始点的触点作为正式提取点。
作为本发明的进一步技术方案，步骤6具体为：分别将手势起始点、手势终止点分别插入到正式提取点的最前、最后，根据到手势起始点之间的折线距离的长度、按从短到长的排列顺序将其余极值点插入到正式提取点中。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.本发明可以用相同数目的有效触点数据来代表触点数目差异较大的不同手势；
2.本发明以手势形状的极值点作为骨架，提取的有效数据最大程度保持手势的原形状；
3.基于触点间距离变化采集手势有效数据，有效避免不同用户操作习惯(动作快慢及连贯性)不同带来的影响，提取的有效数据最大程度保持手势的原形状；
4.基于触点间距离变化采集手势有效数据，有效避免扩大周期采样等方式受困于用户触点驻留思考等干扰因素的影响，提取的有效数据最大程度保持手势的原形状。
附图说明
图1是中值化过程示意图；
图2是扩大采样周期过程示意图；
图3是折线距离示意图；
图4是突变点示意图；
图5是极值点示意图；
图6是使用基于距离变化的手势数据提取算法对图1和图2相同手势进行提取的结果示意图；
图7是基于距离变化手势数据提取过程示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
下面结合附图对本发明的技术方案做进一步的详细说明：
中值化减少触点数目的方法实质是将手势触点向中心聚集，在有效触点数目要求较少的情况下会造成手势数据的变形，如图1所示为一段手势触点数目逐渐减少的过程，可以清晰看出手势的变形。扩大采样周期减少触点数目的方法若遇到用户停驻思考等影响因素，采集的触点会集中在停驻区，如图2所示，矩形框内为停驻区，当触点数目减少到一定数目后，所减少的触点均为停驻区的重合触点。
本发明提供的方法，其本质是设计一种基于距离变化的手势数据提取算法，提取相同数目的有效触点来表示触点数目差异较大的不同手势，提取的有效触点数据最大程度上保持手势的原形状。这里所说的基于距离变化，是指触点之间的折线距离。如图3所示举例说明(实际情况下采集周期短，简单快速的手势也会有成百上千的触点，此处为了方便说明，只举例其中5个触点)。触点1到触点5的直线距离线段15的长度，也就是我们平时接触最多的距离概念。触点1到触点5的折线距离为图中线段12、线段23、线段34和线段45的长度之和。
下面对本发明一种基于距离变化的手势数据提取方法进行详细说明，如图7所示，步骤如下：
步骤1，获取触控屏原始数据；
获取来自红外触控屏的原始数据，每一段手势数据均是数量不固定的触点集合，每一个触点数据包含其坐标信息和采集时间信息。时间信息可以舍弃，根据点集的前后顺序判断手势的方向，坐标信息包括每个触点相对触控屏左下角的X坐标和Y坐标。对于坐标式触点数据，常规是使用神经网络来进行识别的。
步骤2，预处理原始数据；
实际操作中存在误触碰等情况，导致触控屏的原始数据中存在突变点，预处理原始数据的目的便是剔除其中的突变点。实际操作中产生的突变点如图4中的矩形框所示，为了消除突变点的影响，本发明设立距离阈值。相邻的触点之间采集时间间隔相同，若某一触点与相邻触点的距离均超过距离阈值，判断其为突变点并舍弃此触点数据。
步骤3，遍历寻找极值点；
为了提取的有效触点数据能够最大程度保持手势的原形状，本发明将极值点作为特殊的触点提取出来，它们将作为有效触点的骨架节点。本发明所定义的极值点有6类，如图5所示，矩形框所标识的分别是手势起始点(A1)、手势终止点(A6)、X方向的坐标极大值点(A2)、X方向的坐标极小值点(A3)、Y方向的坐标极大值点(A4)和Y方向的坐标极小值点(A5)。其中XY方向的坐标极大值极小值点不仅仅是整个手势最边缘的极值点，也包括手势内部数学意义上的极值点，它们同样对保持手势形状非常重要。
步骤4，计算除手势起始点外所有触点到手势起始点的折线距离；
每个触点的坐标信息是其相对触控屏左下角的X坐标和Y坐标，从手势起始点到手势终止点，先使用勾股定理计算出所有相邻触点之间的直线距离，再求除手势起始点外每个触点到手势起始点的折线距离，为后续基于距离变化选择提取点打下基础。
第i个触点到手势起始点之间的折线距离为
Figure GDA0002059957600000041
其中，i＝2,3,…,K，K为每一条预处理后的手势数据中的触点数，Lj,j-1为第j个触点到第j-1个触点之间的直线距离。
步骤5，计算预提取点个数N；
对于坐标式触点数据，常规是使用神经网络来进行识别，期望输入的点数相同，便期望从数据量不同的手势中提取相同数目有效触点来代表手势。对于一个已经确定的系统，其神经网络输入层数目固定的情况下，排除已经提取的极值点，剩下的便是我们所需要的预提取点数，N＝M-T，M为神经网络输入层数目，T为步骤2中寻找到的极值点数。
步骤6，计算预提取点到起始点折线距离；
第n个预提取点到手势起始点之间的折线距离为Ln,1＝nLK,1/N+1，其中，n＝1,2,…,N，LK,1为手势终止点到手势起始点之间的折线距离。
步骤7，选取正式提取点；
从手势起始点开始遍历所有触点，选取N个与预提取点到手势起始点之间的折线距离最接近的触点，这N个触点便是正式提取点。若有两个触点与某预提取点接近程度相同，选取更加靠近起始点的触点为正式提取点。
步骤8，插入极值点；
将手势起始点放在所有正式提取点的最前面，将手势终点放在所有正式提取点的最后面。对于XY方向的坐标极大极小值点，以到手势起始点的折线距离为判断依据，按照折线距离从短到长的顺从插入到正式提取点中。此时，由正式提取点以及极值点构成的集合即为最终有效触点集合。
步骤9，输出最终有效触点，至此，即可在用相同数目触点表示不同手势的基础上，最大程度地保持了手势的原形状。
如图6所示为使用基于距离变化的手势数据提取算法对图1和图2相同手势进行提取的结果示意图，可以清晰看出最大程度保持了手势的形状。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于距离变化的手势数据提取方法，每一条所述手势数据均是数量不固定的坐标式的触点数据集合，所述坐标式的触点数据使用神经网络进行识别，其特征在于，该方法包括如下步骤：
步骤1，获取触控屏的手势数据，对每一条手势数据分别进行预处理；
步骤2，对每一条预处理后的手势数据，寻找其中的极值点；其中极值点分为6类：手势起始点、手势终止点、X方向的坐标极大值点、X方向的坐标极小值点、Y方向的坐标极大值点、Y方向的坐标极小值点；
步骤3，对每一条预处理后的手势数据，计算除手势起始点外所有触点到手势起始点之间的折线距离；
步骤4，根据预提取点数目，计算每个预提取点到手势起始点之间的折线距离；
步骤5，在每一条预处理后的手势数据中，选取正式提取点；
步骤6，在步骤5得到的正式提取点中插入极值点，得到的触点集合即为最终有效触点集合；
步骤7，输出最终有效触点，完成手势数据提取。
2.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤1的每一条手势数据中，每个触点包含其坐标信息和采集时间信息，坐标信息为该触点相对触控屏左下角的X坐标和Y坐标，由采集时间信息确定集合中的触点顺序以判断手势的方向。
3.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤1中所述预处理具体为：若某一触点与其相邻触点的距离均超过设定的距离阈值，则判断其为突变点并舍弃此触点，完成预处理。
4.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤3中每一条预处理后的手势数据中第i个触点到手势起始点之间的折线距离为
Figure FDA0003084520270000011
其中，i＝2，3，…，K，K为每一条预处理后的手势数据中的触点数，Lj，j-1为第j个触点到第j-1个触点之间的直线距离。
5.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤4中第n个预提取点到手势起始点之间的折线距离为Ln，1＝nLK，1/N+1，其中，n＝1，2，…，N，LK，1为每一条预处理后的手势数据中手势终止点到手势起始点之间的折线距离，N为预提取点数，N＝M-T，M为神经网络输入层数目，T为步骤2中寻找到的极值点数。
6.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤5中遍历每一条预处理后的手势数据中的触点，选取N个到手势起始点之间的折线距离分别与N个预提取点到手势起始点之间的折线距离最接近的触点作为正式提取点。
7.根据权利要求6所述的一种基于距离变化的手势数据提取方法，其特征在于，若有两个触点到手势起始点之间的折线距离与某预提取点到手势起始点之间的折线距离接近程度相同，则选取更为靠近手势起始点的触点作为正式提取点。
8.根据权利要求1所述的一种基于距离变化的手势数据提取方法，其特征在于，步骤6具体为：分别将手势起始点、手势终止点插入到正式提取点的最前、最后，根据到手势起始点之间的折线距离的长度、按从短到长的排列顺序将其余极值点插入到正式提取点中。
CN201910275266.XA 2019-04-08 2019-04-08 一种基于距离变化的手势数据提取方法 Active CN110083300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910275266.XA CN110083300B (zh) 2019-04-08 2019-04-08 一种基于距离变化的手势数据提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910275266.XA CN110083300B (zh) 2019-04-08 2019-04-08 一种基于距离变化的手势数据提取方法

Publications (2)

Publication Number Publication Date
CN110083300A CN110083300A (zh) 2019-08-02
CN110083300B true CN110083300B (zh) 2022-01-11

Family

ID=67414390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910275266.XA Active CN110083300B (zh) 2019-04-08 2019-04-08 一种基于距离变化的手势数据提取方法

Country Status (1)

Country Link
CN (1) CN110083300B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
CN102483648A (zh) * 2009-05-21 2012-05-30 星克跃尔株式会社 基于手势的用户界面系统和方法
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置
CN107203742A (zh) * 2017-05-03 2017-09-26 苏州大学 一种基于显著特征点提取的手势识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483648A (zh) * 2009-05-21 2012-05-30 星克跃尔株式会社 基于手势的用户界面系统和方法
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置
CN107203742A (zh) * 2017-05-03 2017-09-26 苏州大学 一种基于显著特征点提取的手势识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多点触摸的自然手势识别方法研究;凌云翔等;《国防科技大学学报》;20100228(第32卷第1期);第127-132页 *

Also Published As

Publication number Publication date
CN110083300A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN104123007B (zh) 一种多维加权的3d动态手势识别方法
KR102118408B1 (ko) 터치 감지 디바이스에서 터치 동작을 수행하는 방법
CN101853133B (zh) 一种自动识别手势的方法及移动终端
CN105844216A (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
CN102622225B (zh) 一种支持用户自定义手势的多点触控应用程序开发方法
CN103809880A (zh) 人机交互系统及方法
CN105549890B (zh) 一维手写文字输入设备和一维手写文字输入方法
CN105353876A (zh) 一种基于多点光感的空间手势识别控制系统及方法
US10198627B2 (en) Gesture identification with natural images
CN110472506B (zh) 一种基于支持向量机和神经网络优化的手势识别方法
CN103870071B (zh) 一种触摸源识别方法及系统
CN103218160A (zh) 人机交互方法及终端
CN101199370A (zh) 机器人服装触觉传感信息融合数据处理方法
CN103514149B (zh) 调整超链接的版面大小的装置和方法
CN104991645A (zh) 光标控制方法及装置
CN109189219A (zh) 基于手势识别的非接触式虚拟鼠标的实现方法
CN102426491A (zh) 一种用于触摸屏的多点触控实现方法及系统
CN103186241B (zh) 一种交互桌面触点左右手识别方法
CN108399042A (zh) 一种触控识别方法、装置和系统
CN105511619A (zh) 一种基于视觉红外感应技术的人机互动控制系统及方法
CN113342208B (zh) 基于多点触控设备的铁路选线方法、终端及存储介质
CN110083300B (zh) 一种基于距离变化的手势数据提取方法
CN110309726A (zh) 一种微手势识别方法
CN112488059B (zh) 一种基于深度学习模型级联的空间手势控制方法
CN105892845A (zh) 多点触控调整视频窗口的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant