CN106250903A - 有限的用户自定义手势语义的手势知识库创建方法 - Google Patents

有限的用户自定义手势语义的手势知识库创建方法 Download PDF

Info

Publication number
CN106250903A
CN106250903A CN201610237777.9A CN201610237777A CN106250903A CN 106250903 A CN106250903 A CN 106250903A CN 201610237777 A CN201610237777 A CN 201610237777A CN 106250903 A CN106250903 A CN 106250903A
Authority
CN
China
Prior art keywords
gesture
user
knowledge base
man
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610237777.9A
Other languages
English (en)
Inventor
杨贤
何汉武
吴悦明
陈和恩
梁剑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201610237777.9A priority Critical patent/CN106250903A/zh
Publication of CN106250903A publication Critical patent/CN106250903A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种有限的用户自定义手势语义的手势知识库创建方法，先创建手势知识库，再设计人机交互系统手势逻辑规则框架，按照人机交互系统手势规则设定手势的初始状态，中间状态以及结束状态并赋予整个行为以语义，从而，用户可以通过自定义的手势与人机交互系统进行交互。当用户执行一个手势操作后，系统可以预测用户下来可能有几个可能的意图，当用户手势操作一个个执行完毕，直到一个行为完成，一个完整的逻辑判断就会执行，即响应用户的操作，机器进行反馈，完成完整的人机交互。

Description

有限的用户自定义手势语义的手势知识库创建方法
技术领域
本发明涉及人机交互技术领域，具体涉及一种有限的用户自定义手势语义的手势知识库创建方法。
背景技术
人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。主要体现在两个层面，一个是机器界面是否易于用户理解与操作，用户通过人机交互界面与机器交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解(即心智模型)，那是为了系统的可用性或者用户友好性。另外一个层面，即机器如何理解用户意图，机器理解用户有多个方面，本发明主要针对的是用户手势操作，通过摄像头捕捉用户的手势，识别用户手势语义并进行反馈。
通过摄像头捕捉用户手势并判断用户意图有一定准确性问题，有时候会出现歧义，有时候会被干扰。如果对相关手势进行训练，存进知识库，有利于机器捕捉到类似的手势时的识别几率。
机器识别用户手势并判断用户意图，对于用户来说，还存在一个问题，即用户必须要去学习程序员预先设置好的手势，除了学习成本高之外，还往往手势不符合用户操作习惯，导致用户手势跟预先的设定好的手势不一样，机器无法识别。本发明提出用户自定义的手势规则设计解决了这个问题。用户可以根据自己的操作习惯设定手势规则，设定触发手势命令的初始状态，中间状态以及结束状态，提高了手势被机器识别的几率。
发明内容
针对现有技术的不足，本发明的目的在于提供一种有限的用户自定义手势语义的手势知识库创建方法，以提高手势识别的便利性和准确性。
为了实现上述目的，本发明采取的技术方案是：
一种有限的用户自定义手势语义的手势知识库创建方法，包括步骤：
确定手势动作，提取手势动作特征点并进行机器训练，对训练后的手势动作分配ID编号并存入手势知识库，每一个手势动作都有一个唯一的ID编号；
人机交互环境下，以ID编号调用手势知识库中的手势动作并赋予手势语义，同时设计手势动作的逻辑规则；
用户通过自定义的手势动作及其逻辑规则与人机交互系统进行交互。
本发明有限的用户自定义手势语义的手势知识库创建方法，先创建手势知识库，再设计人机交互系统手势逻辑规则框架，按照人机交互系统手势规则设定手势的初始状态，中间状态以及结束状态并赋予整个行为以语义，从而，用户可以通过自定义的手势与人机交互系统进行交互。当用户执行一个手势操作后，系统可以预测用户下来可能有几个可能的意图，当用户手势操作一个个执行完毕，直到一个行为完成，一个完整的逻辑判断就会执行，即响应用户的操作，机器进行反馈，完成完整的人机交互。
附图说明
图1为本发明有限的用户自定义手势语义的手势知识库创建方法的流程示意图；
图2为手指抓取三角形物体、旋转物体以及抓取手势的的示意图；
图3为一个旋转的手势语义设计示意图；
图4为用户设置自定义手势的流程示意图；
图5为用户设定自定义手势的界面示意图；
图6为人机交互系统探测用户手势的示意图；
图7为人机交互的流程示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。
本发明用户手势的创建方法，如图1所示，包括步骤：
步骤s101、确定手势基本单元，提取手势特征，对基本单元进行训练，按照ID编号存入手势知识库。
比如，抓取这个手势，根据这些手部动作，提取5个关键特征点，分别是：拇指尖、食指尖、掌心、拇指与食指之间的凹点以及手内所包含的中空区。如图2所示。对这个手势进行训练之后，存进手势知识库，知识库具有自学习，独立，以及可扩展的良好特性。知识库独立但支持人机交互系统，提供ID编号等接口供人机交互系统调用。手势知识库包含一些比较常见的抓取，移动，旋转，放大放小等手势集。手势库设计成一个公用包，可以应用于不同的人机交互系统，比如手势穿衣系统可以以ID编号的方式调用知识库里面的抓取，移动等手势。而汽车发动机装配系统可以调用里面的抓取，移动，旋转，放大放小等手势。
步骤s102、设计人机交互系统手势逻辑规则框架。
手势逻辑规则框架，包括：位移，角度，幅度，时序等等。构建规则框架，允许用户通过设定几个拐点来触发某种命令。比如角度从多少到多少表示旋转操作，人机交互系统从而判断用户执行旋转的意图，给予反馈。如图3所示是一个旋转的手势语义设计,根据旋转的动作特点，定义手势初始位置R0(xR0,yR0),当手势位置改变后R1(xR1,yR1).物体的位置为RC(xRc,yRc),那么∠R0RcR1满足
如果yR1>yR0,表示顺时针旋转，反之，则为逆时针旋转。中间状态：当∠R0RcR1旋转到中间的角度时为中间状态；结束状态：当∠R0RcR1旋转一定的角度到结束状态，旋转命令触发。
步骤s103、用户根据自身操作习惯，调用手势知识库的手势，按照人机交互系统手势规则设定手势的初始状态，中间状态以及结束状态并赋予整个行为以语义。
相同的手势在不同的系统中可能语义不同，如挥手，可能是再见的意思，也可能是不要的意思。
比如用户要执行“下一页”这个功能，用户可以根据位移的规则设置初始状态x<0,中间状态X＝0，结束状态X>0,系统根据捕捉用户手势，当用户手势完成了这3个状态，人机交互系统即执行“下一页”功能。图4所示表示用户设置自定义手势的流程，图5为用户设定自定义手势的界面图。用户设定完自定义手势，将保存与人机交互系统，而不是知识库，因为知识库是独立的，用户只能读取，用户不能修改。
步骤s104、用户通过自定义手势与人机交互系统进行交互。
人机交互系统探测到用户的手势，如图6所示，当用户执行一个手势操作后，系统可以预测用户接下来可能有几个可能的意图，比如探测到用户的抓取手势，用户下一步可能会移动物体，也可能会旋转物体，或者放大放小物体，这种方法的好处就是可以一定程度上预测用户的意图。如图7所示，当用户手势操作一个个执行完毕，直到一个行为完成，一个完整的逻辑判断就会执行，即响应用户的操作，机器进行反馈，完成完整的人机交互。
“有限”的意义体现在，手势训练这一块仍然由程序员完成，用户没法自定义，因为这一块属于专业的知识。“用户自定义”体现在，用户可以选择手势进行语义设定，可以选择手势组织成一定的规则以形成命令。
手势知识库的手势动作是没有语义的，当被调入人机交互系统中时，用户才赋予手势语义，才能进行人机交互。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (3)

1.一种有限的用户自定义手势语义的手势知识库创建方法，其特征在于，包括步骤：
确定手势动作，提取手势动作特征点并进行机器训练，对训练后的手势动作分配ID编号并存入手势知识库，每一个手势动作都有一个唯一的ID编号；
人机交互环境下，以ID编号调用手势知识库中的手势动作并赋予手势语义，同时设计手势动作的逻辑规则；
用户通过自定义的手势动作及其逻辑规则与人机交互系统进行交互。
2.根据权利要求1所述的有限的用户自定义手势语义的手势知识库创建方法，其特征在于，
将所述手势知识库设计成一个公用数据包，供人机交互系统调用。
3.根据权利要求1所述的有限的用户自定义手势语义的手势知识库创建方法，其特征在于，
手势动作的逻辑规则由用户设定，具有基于坐标或者基于角度或者基于时序的初始状态、中间状态以及结束状态，手势完成了这3个状态之后，手势命令才形成，才给机器发送一个命令。
CN201610237777.9A 2016-04-15 2016-04-15 有限的用户自定义手势语义的手势知识库创建方法 Pending CN106250903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610237777.9A CN106250903A (zh) 2016-04-15 2016-04-15 有限的用户自定义手势语义的手势知识库创建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610237777.9A CN106250903A (zh) 2016-04-15 2016-04-15 有限的用户自定义手势语义的手势知识库创建方法

Publications (1)

Publication Number Publication Date
CN106250903A true CN106250903A (zh) 2016-12-21

Family

ID=57626644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610237777.9A Pending CN106250903A (zh) 2016-04-15 2016-04-15 有限的用户自定义手势语义的手势知识库创建方法

Country Status (1)

Country Link
CN (1) CN106250903A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956059A (zh) * 2018-09-27 2020-04-03 深圳云天励飞技术有限公司 一种动态手势识别方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376309A (zh) * 2014-11-27 2015-02-25 韩慧健 一种基于手势识别的手势运动基元模型结构化方法
CN104571510A (zh) * 2014-12-30 2015-04-29 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法
CN104615984A (zh) * 2015-01-28 2015-05-13 广东工业大学 基于用户任务的手势识别方法
CN104834907A (zh) * 2015-05-06 2015-08-12 江苏惠通集团有限责任公司 手势识别方法、装置、设备以及基于手势识别的操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376309A (zh) * 2014-11-27 2015-02-25 韩慧健 一种基于手势识别的手势运动基元模型结构化方法
CN104571510A (zh) * 2014-12-30 2015-04-29 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法
CN104615984A (zh) * 2015-01-28 2015-05-13 广东工业大学 基于用户任务的手势识别方法
CN104834907A (zh) * 2015-05-06 2015-08-12 江苏惠通集团有限责任公司 手势识别方法、装置、设备以及基于手势识别的操作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴悦明 等: "增强现实车间布局设计的交互操作方法", 《计算机集成制造系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956059A (zh) * 2018-09-27 2020-04-03 深圳云天励飞技术有限公司 一种动态手势识别方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN105117056B (zh) 一种操作触摸屏的方法和设备
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
US20130142417A1 (en) System and method for automatically defining and identifying a gesture
CN104007819B (zh) 手势识别方法、装置及Leap Motion体感控制系统
Cirelli et al. A survey on multi-touch gesture recognition and multi-touch frameworks
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
JP2006040271A5 (zh)
TW200847001A (en) Gesturing with a multipoint sensing device
CN103226388A (zh) 一种基于Kinect的手写方法
CN102073414A (zh) 基于机器视觉的多点触摸跟踪方法
CN102622225A (zh) 一种支持用户自定义手势的多点触控应用程序开发方法
CN109782920A (zh) 一种用于扩展现实的人机交互方法及处理终端
CN104331154A (zh) 实现非接触式鼠标控制的人机交互方法和系统
CN103793683A (zh) 手势辨识方法与电子装置
CN109753179A (zh) 用户操作指令的处理方法及手写阅读设备
CN102693025A (zh) 一种多点触摸交互系统的触摸手识别方法
Matulic et al. Hand contact shape recognition for posture-based tabletop widgets and interaction
CN104915088B (zh) 一种信息处理方法和电子设备
CN103246398A (zh) 一种触控操作的实现方法
CN106250903A (zh) 有限的用户自定义手势语义的手势知识库创建方法
CN103069367B (zh) 用于实现双重触摸体验领域的单点触摸处理
WO2018081958A1 (zh) 主动笔及基于主动笔的手势检测方法
Amma et al. Airwriting: Bringing text entry to wearable computers
CN107367966B (zh) 人机交互方法以及装置
CN109933194A (zh) 一种混合现实环境中对虚拟目标物的交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161221

RJ01 Rejection of invention patent application after publication