CN110888533A - 一种结合体感设备的高精度手势交互系统及方法 - Google Patents

一种结合体感设备的高精度手势交互系统及方法 Download PDF

Info

Publication number
CN110888533A
CN110888533A CN201911182926.6A CN201911182926A CN110888533A CN 110888533 A CN110888533 A CN 110888533A CN 201911182926 A CN201911182926 A CN 201911182926A CN 110888533 A CN110888533 A CN 110888533A
Authority
CN
China
Prior art keywords
gesture
interaction
hand
precision
somatosensory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911182926.6A
Other languages
English (en)
Inventor
唐立军
周年荣
魏杰
杨家全
张林山
李浩涛
栾思平
杨洋
张旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power System Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power System Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power System Ltd filed Critical Electric Power Research Institute of Yunnan Power System Ltd
Priority to CN201911182926.6A priority Critical patent/CN110888533A/zh
Publication of CN110888533A publication Critical patent/CN110888533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种结合体感设备的高精度手势交互方法，采用体感设备采集预设定的手势，随后进行算法识别并根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互；体感设备获得一般传感器所采集的彩色图像，并可获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离；体感设备可分离手部区域，通过深度图像的灰度分布对分离出的区域进行阈值分割，将完整的手势出背景中分离出来以便后续的处理，进而对手势进行静态算法识别；最后根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别。

Description

一种结合体感设备的高精度手势交互系统及方法
技术领域
本发明涉及人机交互技术领域，特别涉及一种结合体感设备的高精度手势交互系统及方法。
背景技术
人工智能时代的到来，使得人机交互技术得以进步和发展。其中，手势交互作为人机交互的重要分支，得到了广泛研究和应用。然而当前的手势交互系统仍存在一定的缺点和不足：在数据采集层面主要还是基于深度信息和彩色信息两方面进行数据获取，容易造成手部信息细节的遗漏；在特征提取和手势识别层面亟待优化算法以改善手势识别效果；在虚拟交互层面存在场景配置、交互体验度较低等问题。本发明以体感设备作为数据采集工具，拟提供一种能实现较高精度的交互效果的方法。
发明内容
本申请提供了一种结合体感设备的高精度手势交互方法，其特征在于，包括以下步骤：
步骤一：运用体感设备获取手势数据；
步骤二：对所获取的手势数据进行分割处理；
步骤三：根据分割处理后的手势数据对手势轨迹进行追踪处理；
步骤四：对追踪后的手势轨迹进行特征提取，并将所得的手势轨迹特征发送至手势分类器；
步骤五：对样本手势进行训练，提取样本手势的特征，并将所得的样本手势特征发送至手势分类器；
步骤六：手势分类器对接收的手势轨迹特征与样本手势特征进行处理，得到手势识别结果；
步骤七：根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
进一步地，所述获取手势数据具体实现方法为：
通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离。
进一步地，所述对手势数据进行分割处理的具体实现方法为：
分离手部区域，通过深度图像的灰度分布对分离出的区域进行阈值分割，将完整的手势出背景中分离出来，进而对手势进行静态算法识别。
进一步地，所述对手势轨迹进行追踪的具体实现方法为：
传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪。
进一步地，所述手势轨迹进行特征提取的具体实现方法为：
将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示。
进一步地，所述手势识别的具体实现方法为：
根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别。
一种结合体感设备的高精度手势交互系统，由数据采集、特征提取、手势识别以及虚拟交互四个模块组成，四模块依次相连递进；其中，所述数据采集模块通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离；传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪；
所述特征提取模块，将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示；
所述手势识别模块，根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别；
所述虚拟交互模块，根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
本申请的有益效果：本发明所述的一种结合体感设备的高精度手势交互系统及方法采用体感设备作为手势交互的采集装置，相比其他成像采集方式更为精细；可进行手势的预设定，具有较高的自主性；对手部区域数据进行分离处理，提供了更高的精度；由数据采集、特征提取、手势识别以及虚拟交互四个模块组成，四模块交互系统提高了手势识别率、人机交互效率和手势交互系统鲁棒性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种结合体感设备的高精度手势交互方法的流程示意图；
图2为本申请一种结合体感设备的高精度手势交互方法的原理图。
具体实施方式
参见图1，为本申请一种结合体感设备的高精度手势交互方法的流程示意图
由图1可知，本申请实施例提供了一种结合体感设备的高精度手势交互方法，其特征在于，包括以下步骤：
步骤一：运用体感设备获取手势数据；采用体感设备作为手势交互的采集装置，相比其他成像采集方式更为精细；
步骤二：对所获取的手势数据进行分割处理；对手部区域数据进行分离处理，提供了更高的精度；
步骤三：根据分割处理后的手势数据对手势轨迹进行追踪处理；
步骤四：对追踪后的手势轨迹进行特征提取，并将所得的手势轨迹特征发送至手势分类器；
步骤五：对样本手势进行训练，提取样本手势的特征，并将所得的样本手势特征发送至手势分类器；
步骤六：手势分类器对接收的手势轨迹特征与样本手势特征进行处理，得到手势识别结果；
步骤七：根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
如图2所示，进一步地，所述获取手势数据具体实现方法为：
通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离。
进一步地，所述对手势数据进行分割处理的具体实现方法为：
分离手部区域，通过深度图像的灰度分布对分离出的区域进行阈值分割，将完整的手势出背景中分离出来，进而对手势进行静态算法识别。
进一步地，所述对手势轨迹进行追踪的具体实现方法为：
传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪。
进一步地，所述手势轨迹进行特征提取的具体实现方法为：
将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示。
进一步地，所述手势识别的具体实现方法为：
根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别。
一种结合体感设备的高精度手势交互系统，由数据采集、特征提取、手势识别以及虚拟交互四个模块组成，四模块依次相连递进；其中，所述数据采集模块通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离；传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪；由数据采集、特征提取、手势识别以及虚拟交互四个模块组成，四模块交互系统提高了手势识别率、人机交互效率和手势交互系统鲁棒性。
所述特征提取模块，将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示；
所述手势识别模块，根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别；
所述虚拟交互模块，根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种结合体感设备的高精度手势交互方法，其特征在于，包括以下步骤：
步骤一：运用体感设备获取手势数据；
步骤二：对所获取的手势数据进行分割处理；
步骤三：根据分割处理后的手势数据对手势轨迹进行追踪处理；
步骤四：对追踪后的手势轨迹进行特征提取，并将所得的手势轨迹特征发送至手势分类器；
步骤五：对样本手势进行训练，提取样本手势的特征，并将所得的样本手势特征发送至手势分类器；
步骤六：手势分类器对接收的手势轨迹特征与样本手势特征进行处理，得到手势识别结果；
步骤七：根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
2.根据权利要求1所述的一种结合体感设备的高精度手势交互方法，其特征在于，所述获取手势数据具体实现方法为：
通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离。
3.根据权利要求1所述的一种结合体感设备的高精度手势交互方法，其特征在于，所述对手势数据进行分割处理的具体实现方法为：
分离手部区域，通过深度图像的灰度分布对分离出的区域进行阈值分割，将完整的手势出背景中分离出来，进而对手势进行静态算法识别。
4.根据权利要求1所述的一种结合体感设备的高精度手势交互方法，其特征在于，所述对手势轨迹进行追踪的具体实现方法为：
传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪。
5.根据权利要求1所述的一种结合体感设备的高精度手势交互方法，其特征在于，所述手势轨迹进行特征提取的具体实现方法为：
将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示。
6.根据权利要求1所述的一种结合体感设备的高精度手势交互方法，其特征在于，所述手势识别的具体实现方法为：
根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别。
7.一种结合体感设备的高精度手势交互系统，其特征在于，由数据采集、特征提取、手势识别以及虚拟交互四个模块组成，四模块依次相连递进；其中，所述数据采集模块通过传感器采集彩色图像，获取目标物体的深度信息，运用灰度图像中的像素值表示物体与摄像头之间的距离；传感器在手部设置手部采集点，并对手部采集点的信息进行采集，从而实现对人手的定位追踪，进而实现对手势轨迹地追踪；
所述特征提取模块，将所获取的手部点信息进行归一化处理得到手势特征，对手势特征进行向量描述，实现动态手势表示；
所述手势识别模块，根据手势特征的向量描述，结合动态手势的起点与终点进行动态时间归整算法检测，最终完成手势交互的识别；
所述虚拟交互模块，根据识别结果给出相应的指令来实现显示设备的动作，实现体感与显示设备的理想交互。
CN201911182926.6A 2019-11-27 2019-11-27 一种结合体感设备的高精度手势交互系统及方法 Pending CN110888533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182926.6A CN110888533A (zh) 2019-11-27 2019-11-27 一种结合体感设备的高精度手势交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182926.6A CN110888533A (zh) 2019-11-27 2019-11-27 一种结合体感设备的高精度手势交互系统及方法

Publications (1)

Publication Number Publication Date
CN110888533A true CN110888533A (zh) 2020-03-17

Family

ID=69749050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182926.6A Pending CN110888533A (zh) 2019-11-27 2019-11-27 一种结合体感设备的高精度手势交互系统及方法

Country Status (1)

Country Link
CN (1) CN110888533A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
CN103472916A (zh) * 2013-09-06 2013-12-25 东华大学 一种基于人体手势识别的人机交互方法
CN104714649A (zh) * 2015-03-31 2015-06-17 王子强 一种基于kinect的裸眼3D UI交互方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN107358171A (zh) * 2017-06-22 2017-11-17 华中师范大学 一种基于余弦距离与动态时间规整的手势识别方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN109993135A (zh) * 2019-03-29 2019-07-09 济南大学 一种基于增强现实的手势识别方法、系统及装置
CN110281247A (zh) * 2019-06-10 2019-09-27 旗瀚科技有限公司 一种用于养老助残机器人的人机交互系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
CN103472916A (zh) * 2013-09-06 2013-12-25 东华大学 一种基于人体手势识别的人机交互方法
CN104714649A (zh) * 2015-03-31 2015-06-17 王子强 一种基于kinect的裸眼3D UI交互方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN107358171A (zh) * 2017-06-22 2017-11-17 华中师范大学 一种基于余弦距离与动态时间规整的手势识别方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN109993135A (zh) * 2019-03-29 2019-07-09 济南大学 一种基于增强现实的手势识别方法、系统及装置
CN110281247A (zh) * 2019-06-10 2019-09-27 旗瀚科技有限公司 一种用于养老助残机器人的人机交互系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李凯;王永雄;孙一品;: "一种改进的DTW动态手势识别方法" *
田英冬;张元;韩燮;: "基于动态时间规整算法的虚拟沙画手势识别方法" *
陈万军;张二虎;: "基于深度信息的人体动作识别研究综述" *

Similar Documents

Publication Publication Date Title
CN107239728B (zh) 基于深度学习姿态估计的无人机交互装置与方法
Rekik et al. A new visual speech recognition approach for RGB-D cameras
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
Chen et al. Real‐time hand gesture recognition using finger segmentation
KR101706365B1 (ko) 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
Uebersax et al. Real-time sign language letter and word recognition from depth data
Ma et al. Kinect Sensor‐Based Long‐Distance Hand Gesture Recognition and Fingertip Detection with Depth Information
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
CN104851099A (zh) 一种基于表示学习的图像融合方法
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN106599806A (zh) 一种基于局部曲面几何特征的人体动作识别方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Chaudhary et al. Robust real-time visual tracking using dual-frame deep comparison network integrated with correlation filters
Hu et al. Trajectory image based dynamic gesture recognition with convolutional neural networks
CN109978797A (zh) 基于暗通道噪声模板的主动式像素传感器星图去噪方法
Zhu et al. Real-time hand gesture recognition from depth image sequences
Wang et al. Hand posture recognition from disparity cost map
CN104866826A (zh) 一种基于knn和像素比梯度特征的静态手语识别方法
CN113255429A (zh) 一种视频中人体姿态估计与跟踪方法及系统
CN110888533A (zh) 一种结合体感设备的高精度手势交互系统及方法
CN115330874B (zh) 基于超像素处理遮挡的单目深度估计方法
CN113111684A (zh) 神经网络模型的训练方法、装置和图像处理系统
CN111461141B (zh) 一种设备位姿计算方法装置及设备
Kadethankar et al. Dynamic hand gesture recognition using Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination