CN111831123A - 一种适用于桌面混合现实环境的手势交互方法及系统 - Google Patents

一种适用于桌面混合现实环境的手势交互方法及系统 Download PDF

Info

Publication number
CN111831123A
CN111831123A CN202010719174.9A CN202010719174A CN111831123A CN 111831123 A CN111831123 A CN 111831123A CN 202010719174 A CN202010719174 A CN 202010719174A CN 111831123 A CN111831123 A CN 111831123A
Authority
CN
China
Prior art keywords
gesture
desktop
image
mixed reality
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010719174.9A
Other languages
English (en)
Other versions
CN111831123B (zh
Inventor
杨承磊
宋英洁
盖伟
刘娟
卞玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010719174.9A priority Critical patent/CN111831123B/zh
Publication of CN111831123A publication Critical patent/CN111831123A/zh
Application granted granted Critical
Publication of CN111831123B publication Critical patent/CN111831123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于手势交互领域，提供了一种适用于桌面混合现实环境的手势交互方法及系统。其中，适用于桌面混合现实环境的手势交互方法包括：获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；将识别得到的手势和手部位置同步至混合现实设备中。

Description

一种适用于桌面混合现实环境的手势交互方法及系统
技术领域
本发明属于手势交互领域，尤其涉及一种适用于桌面混合现实环境的手势交互方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在日常生活中，桌子为多人之间的娱乐、教育和会议提供了空间。混合现实(MR)作为现实世界与虚拟世界的融合，能够在真实桌面上呈现数字对象。利用混合现实技术进行物理桌面的增强，能够促进用户之间的协作，促进参与和学习。传统的交互方式不能适用于桌面上虚实融合的交互场景，需要探索更加自然便捷的交互技术。手是我们在现实生活中与对象交互的主要方式，因此桌面混合现实环境中使用手势与虚拟对象交互能够实现自然性。
手势是实现自然、直接人机交互主要的关键技术之一。因此在混合现实环境中加入手势交互能使故事创作过程更加简单，操作更加便利。目前，手势交互主要通过手势识别实现。根据手势数据输入方式的不同，手势识别可以分为接触式的手势识别和基于视觉的手势识别。其中，接触式的手势识别设备包括数据手套、多点触摸屏幕和加速度计等。接触式的手势识别需要使用传感器设备来识别手指和手的运动，这些设备成本较高。另外，在手上增加设备，限制了交互的灵活性，降低了自然感体验。相对而言，基于视觉的手势识别通过摄像机获取输入，输入方式更加便捷。
基于视觉的手势识别通过一个或多个摄像头获取手部图像输入，经过检测、特征提取和分类三个阶段实现手势识别。其中，手势检测的过程即为手部分割的过程，基于手部的视觉特征将手从背景中分离出来，其中涉及的特征主要有颜色、形状和深度等；特征提取是对图像原始数据进行分析，得到关键信息的过程；特征提取后将特征输入分类器进行训练以实现手势识别。另外，手部图像获取方面，RGB-D相机能够提供每个像素点在空间中的三维位置信息，为手部跟踪带来了方便。
发明人发现，目前市面上的混合现实设备，如HoloLens，能够在现实世界中呈现逼真的三维增强图形，并提供手势交互支持用户对虚拟内容的操作。然而，HoloLens提供的手势存在形式单一，需要凝视点配合，不适用于直接操控三维物体以及不适用于桌面环境等弊端，直接使用混合现实设备自带的手势会为用户交互带来困难，影响用户体验。
发明内容
为了解决上述问题，本发明提供一种适用于桌面混合现实环境的手势交互方法及系统，其用于桌面混合现实环境，支持用户与桌面上虚拟按钮的交互和桌面上真实物体的交互。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种适用于桌面混合现实环境的手势交互方法。
一种适用于桌面混合现实环境的手势交互方法，包括：
获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；
将识别得到的手势和手部位置同步至混合现实设备中。
本发明的第二个方面提供一种适用于桌面混合现实环境的手势交互系统。
一种适用于桌面混合现实环境的手势交互系统，包括：
识别跟踪模块，其用于获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；
同步模块，其用于将识别得到的手势和手部位置同步至混合现实设备中。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的适用于桌面混合现实环境的手势交互方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的适用于桌面混合现实环境的手势交互方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)提出的手势适用于桌面混合现实环境，支持用户与桌面上虚拟按钮的交互和桌面上真实物体的交互；
(2)手势数据预处理过程中，提出了一种基于深度数据和彩色数据的手势分割算法，能够比较完整地分割出手势，并提出基于CNN的网络分类模型实现桌面触控手势和物体抓取手势的识别；
(3)提出的手势容易使用，并能够提供来自真实世界的触觉反馈，交互更加自然。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例的手势识别算法流程图；
图2(a)为本发明实施例的手前景图像转换为YCbCr颜色模型进行肤色检测结果图；
图2(b)为本发明实施例的包含手部像素的二值图像；
图3(a)为前景分割中去除了桌面范围内的深度像素导致手指像素丢失；
图3(b)为通过轮廓检测得到的手部轮廓的最小包围矩形；
图3(c)为包含整个手的手部ROI；
图4(a)为基于深度的桌面背景剔除；
图4(b)为在手部ROI中加如区域生长算法进行手部像素点补全；
图5(a)为左手桌面按钮触控语义图；
图5(b)为左手桌面物体抓取语义图；
图5(c)为右手桌面按钮触控语义图；
图5(d)为右手桌面物体抓取手势
图6为本发明实施例的手基于CNN的手势分类模型结构图；
图7(a)为桌面触控手势下的指尖检测结果；
图7(b)为桌面按钮点击未按下效果图；
图7(c)为桌面按钮点击按下效果图；
图8为本发明实施例的手抓取点位置示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种适用于桌面混合现实环境的手势交互方法。
如附图1所示，手势识别过程算法流程主要分为模型训练和手势识别两个阶段。训练阶段又分为预处理、手势数据采集和模型训练三部分。预处理阶段利用Kinect提供的深度数据和彩色数据，经过背景剔除、肤色检测、ROI提取和区域生长后得到手势的二值图像；手势数据采集阶段，每种手势采集1000副图像作为训练集，100幅图像作为验证集，并将图像大小规范为100*100的大小；模型训练阶段，设计了一个基于CNN的手势分类模型；识别阶段实时获取Kinect的彩色图像和深度图像帧，进行与训练阶段相同的预处理过程之后，将二值图像输入训练好的手势分类模型进行手势识别。
具体地，本实施例中，提出一种基于Kinect彩色和深度数据以及区域生长的手势分割算法。相对于传统的基于彩色图像的手势分割，该方法能够提取比较完整的手部区域。该算法首先利用深度信息做前景分割，去除桌面背景，然后在去除背景的彩色前景图像中进行肤色检测，获得手势兴趣区域(ROI)，最后在ROI中利用区域生长算法进行手势区域的完整分割。手势数据采集过程中，采集待识别的手势的二值图像，作为模型训练阶段的输入。模型训练方面，设计了一个基于CNN的手势分类模型，将手势图像数据输入分类模型中进行训练，得到手势分类器；
所述识别阶段实时获取Kinect的彩色图像和深度图像帧，进行与训练阶段相同的预处理过程之后，将手二值图像数据输入训练好的手势分类模型进行手势识别，得到手势类别。
训练阶段的预处理过程中，所述前景分割的具体流程是：
(1)获取Kinect的第0帧深度数据Depth0作为桌面背景信息；
(2)在之后的每一帧获取当前帧的深度数据DepthK，与Depth0做背景减除，得到当前帧的深度前景图像，并将深度前景图像转化为二值图像；
(3)由于Kinect自身深度数据存在抖动问题，得到的前景二值图像存在较多的离散噪声点，需要进行降噪处理，本文采用形态学开运算去除前景二值图像中区域面积较小的噪声，得到降噪后的前景二值图像；
(4)降噪后的前景二值图像与当前帧的彩色图像ColorK做“按位与”操作，最终得到前景彩色图像。
所述肤色检测过程中，采用YCbCr颜色模型进行肤色分割，由于获取的Kinect彩色图像是以RGB格式读取的，因此首先需要将RGB模型转换为YCbCr模型，转换公式为：
Y＝0·299R+0.287G+0.11B
Cb＝B-Y
Cr＝R-Y
其中，R指红色色度分量，G指绿色色度分量，B指蓝色色度分量；
Y是指亮度分量，Cb指蓝色色度分量，Cr指红色色度分量；
采用基于阈值的方法对彩色数据帧进行肤色检测，阈值范围为：
80＜Cb＜120
133＜Cr＜173
Y＞80
经过桌面前景分割，能够得到彩色前景图像，如图2(a)所示，将该图像转换为YCbCr颜色模型并进行肤色检测，得到包含手部像素的二值图像，如图2(b)所示。
所述ROI提取，首先通过对肤色检测得到的二值图像进行轮廓检测并获取轮廓最小包围矩形获取最初的手势ROI＝(x，y，w，h)，其中，(x，y)表示ROI左上角的坐标，w，h分别为ROI区域的宽度和高度。由于肤色检测对光照敏感，以及前景分割过程中去除了桌面范围内的深度像素导致手指被分割为背景等因素，最初的手势ROI可能不能包含整个手部范围。因此本实施例利用手势中心对ROI进行调整，得到包含整个手部的手势ROI＝(x′，y′，w′，w′)，手势ROI计算公式为
Cx＝x+w/2，Cy＝y+h/2
w′＝max(w，h)+I
x′＝Cx-w′/2，y′＝Cy-w′/2
其中(Cx，Cy)为手势中心，I为相对于原始ROI的增量。
其中，图3(a)说明了前景分割过程中去除了桌面范围内的深度像素导致手指像素丢失；图3(b)为通过轮廓检测得到的手部轮廓的最小包围矩形，并不能包含整个手部；通过对最小包围矩形进行扩充，得到包含整个手的手部ROI如图3(c)所示。
所述区域生长算法的目的是进行手部像素点补全，具体流程是：
(1)根据获得的手势ROI，在彩色图像中获取完整手势ROI彩色图像，并将该图像由RGB颜色模型转换为YCbCr颜色模型，进行通道分离，得到Y、Cb、Cr三个颜色通道的图像帧；
(2)选取手势ROI的中心点(Cx，Cy)为区域生长算法的种子点；
(3)检查种子点四邻域像素点是否满足生长条件，本实施例使用的生长条件如下公式所示，其中Cb(x，y)，Cr(x，y)分别表示像素点的Cb，Cr通道的颜色值，Y(x，y)表示像素点Y通道的颜色值，TCb，TCr为相应的阈值；
Figure BDA0002599340290000081
(4)满足生长条件的像素点即为手部肤色像素点，将其加入肤色像素点集合中，并将(x，y)加入种子点序列，回到步骤3，直到满足生长停止条件，此处生长停止条件为种子点序列为空；
5)对获取到的手势分割图像进行一次形态学膨胀操作，去除内部噪声点。
由于手部弯曲等形变和手部位置变化会给手部光照和阴影带来改变，手部区域的颜色分布可能会有很大差异，从而导致手部肤色像素点检测不足，手部区域可能出现缺陷；另外，基于深度的桌面背景剔除可能会将本属于手的接近桌面的像素点剔除，导致肤色检测不能完整分割出手部，如图4(a)所示，因此在手部ROI中加如区域生长算法进行手部像素点补全。如图4(b)所示，可以看出区域生长算法能够有效补全手部像素点。
如图5(a)-图5(d)为四种手势分类及语义图。本实施例共定义四种手势分类，左右手各两种，分别是左手桌面按钮触控、左手桌面物体抓取、右手桌面按钮触控和右手桌面物体抓取手势。数据集中为每种手势保存了1000幅图像作为训练集，100幅图像作为验证集。
训练阶段中，如图6为基于CNN的手势分类模型结构图。该网络模型包含7个卷积层以及一个全连接层，卷积层采用ReLU激活函数提取图像特征，每个卷积层后存在一个最大池化层，进行特征降维，每层的卷积核均为2*2；全连接层设置1000个单元，激活函数同样为ReLU，最后通过Softmax得到分类结果。
如图7(a)-图7(c)所示，指尖检测过程为：在检测到触控手势后，对手部区域进行轮廓提取，得到手部轮廓和手部凸包，并计算轮廓中心点，计算凸包上每个点到手势中心点的欧式距离，距离最大的点即为指尖。此处得到的指尖位置为二维空间中像素点的坐标，利用Kinect提供的空间映射方法MapColorFrameToCameraSpace()，能够获取指尖在Kinect坐标系中的三维坐标，最后将指尖位置转换到HoloLens坐标系下，以实现HoloLens中桌面按钮的交互。
如图8为抓取点位置图。抓取点计算过程是首先计算手部凸包上每个点到物体的距离，距离最小的点即为抓取手势下的抓取点。若该点到物体中心的距离在阈值范围内，则表明抓起了物体。所述指尖位置获取过程中，在检测到触控手势后，对手部区域进行轮廓提取，得到手部轮廓C，并计算C的中心点(xc，yc)，检测轮廓凸包hull＝{(xi，yi)|i＝1，2，...n}，计算凸包上每个点到手势中心点的欧式距离，距离最大的点即为指尖。此处得到的指尖位置为二维空间中像素点的坐标，利用Kinect提供的空间映射方法，能够获取指尖在Kinect坐标系中的三维坐标Point3D＝(xt，yt，zt)，最后利用三点法求得的R，t将Point3D转换到HoloLens坐标系下，以实现HoloLens中桌面按钮的交互；
所述抓取点主要用于判断用户是否抓起桌面上的物体。首先计算手部凸包上每个点到物体的距离，距离最小的点即为抓取手势下的抓取点。若该点到物体中心的距离在阈值范围内，则表明抓起了物体。
实施例二
本实施例提供了一种适用于桌面混合现实环境的手势交互系统，包括：
识别跟踪模块，其用于获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；
同步模块，其用于将识别得到的手势和手部位置同步至混合现实设备中。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的适用于桌面混合现实环境的手势交互方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的适用于桌面混合现实环境的手势交互方法中的步骤
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适用于桌面混合现实环境的手势交互方法，其特征在于，包括：
获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；
将识别得到的手势和手部位置同步至混合现实设备中。
2.如权利要求1所述的适用于桌面混合现实环境的手势交互方法，其特征在于，基于手势分类模型进行手势识别；其中，在手势分类模型的训练之前还包括：对桌面区域的彩色图像和深度图像进行手势区域分割。
3.如权利要求2所述的适用于桌面混合现实环境的手势交互方法，其特征在于，对桌面区域的彩色图像和深度图像进行手势区域分割的过程为：
首先利用深度信息做前景分割，去除桌面背景，然后在去除背景的彩色前景图像中进行肤色检测，获得手势兴趣区域，最后在手势兴趣区域中利用区域生长算法进行手势区域的完整分割。
4.如权利要求3所述的适用于桌面混合现实环境的手势交互方法，其特征在于，利用深度信息做前景分割的过程为：
(1)获取第0帧深度数据Depth0作为桌面背景信息；
(2)在之后的每一帧获取当前帧的深度数据DepthK，与Depth0做背景减除，得到当前帧的深度前景图像，并将深度前景图像转化为二值图像；
(3)采用形态学开运算去除前景二值图像中区域面积较小的噪声，得到降噪后的前景二值图像；
(4)降噪后的前景二值图像与当前帧的彩色图像ColorK做“按位与”操作，最终得到前景彩色图像。
5.如权利要求2所述的适用于桌面混合现实环境的手势交互方法，其特征在于，手势分类模型为基于CNN的手势分类网络模型，其包含7个卷积层以及一个全连接层，卷积层采用ReLU激活函数提取图像特征，每个卷积层后存在一个最大池化层，进行特征降维。
6.一种适用于桌面混合现实环境的手势交互系统，其特征在于，包括：
识别跟踪模块，其用于获取桌面区域的彩色图像和深度图像，再进行手部跟踪和手势识别；
同步模块，其用于将识别得到的手势和手部位置同步至混合现实设备中。
7.如权利要求6所述的适用于桌面混合现实环境的手势交互系统，其特征在于，在所述识别跟踪模块中，基于手势分类模型进行手势识别；其中，在手势分类模型的训练之前还包括：对桌面区域的彩色图像和深度图像进行手势区域分割。
8.如权利要求6所述的适用于桌面混合现实环境的手势交互系统，其特征在于，在所述识别跟踪模块中，对桌面区域的彩色图像和深度图像进行手势区域分割的过程为：
首先利用深度信息做前景分割，去除桌面背景，然后在去除背景的彩色前景图像中进行肤色检测，获得手势兴趣区域，最后在手势兴趣区域中利用区域生长算法进行手势区域的完整分割。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的适用于桌面混合现实环境的手势交互方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的适用于桌面混合现实环境的手势交互方法中的步骤。
CN202010719174.9A 2020-07-23 2020-07-23 一种适用于桌面混合现实环境的手势交互方法及系统 Active CN111831123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719174.9A CN111831123B (zh) 2020-07-23 2020-07-23 一种适用于桌面混合现实环境的手势交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719174.9A CN111831123B (zh) 2020-07-23 2020-07-23 一种适用于桌面混合现实环境的手势交互方法及系统

Publications (2)

Publication Number Publication Date
CN111831123A true CN111831123A (zh) 2020-10-27
CN111831123B CN111831123B (zh) 2022-01-07

Family

ID=72925283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719174.9A Active CN111831123B (zh) 2020-07-23 2020-07-23 一种适用于桌面混合现实环境的手势交互方法及系统

Country Status (1)

Country Link
CN (1) CN111831123B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128435A (zh) * 2021-04-27 2021-07-16 南昌虚拟现实研究院股份有限公司 图像中手部区域分割方法、装置、介质及计算机设备
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN103499313A (zh) * 2013-09-26 2014-01-08 北京农业信息技术研究中心 一种穴盘苗检测系统和方法
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN103499313A (zh) * 2013-09-26 2014-01-08 北京农业信息技术研究中心 一种穴盘苗检测系统和方法
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李国友、孟岩、闫春玮、宋成全: "基于Kinect 深度阈值的前景分割", 《高技术通讯》 *
纪国华: "基于组合色彩空间和卷积神经网络的手势识别算法", 《现代计算机》 *
赵小川: "《MATLAB图像处理-能力提高与应用案例》", 31 January 2014 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备
CN113128435A (zh) * 2021-04-27 2021-07-16 南昌虚拟现实研究院股份有限公司 图像中手部区域分割方法、装置、介质及计算机设备
CN113128435B (zh) * 2021-04-27 2022-11-22 南昌虚拟现实研究院股份有限公司 图像中手部区域分割方法、装置、介质及计算机设备

Also Published As

Publication number Publication date
CN111831123B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
EP3886448A1 (en) Video processing method and device, electronic equipment and computer readable medium
CN103927016B (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
TWI499966B (zh) 互動式操作方法
WO2014137806A2 (en) Visual language for human computer interfaces
Song et al. Design of control system based on hand gesture recognition
Jalab et al. Human computer interface using hand gesture recognition based on neural network
CN111831123B (zh) 一种适用于桌面混合现实环境的手势交互方法及系统
Guo Research of hand positioning and gesture recognition based on binocular vision
WO2020173024A1 (zh) 面向智能家居场景的多手势精准分割方法
Vishwakarma et al. An efficient approach for the recognition of hand gestures from very low resolution images
Tsagaris et al. Colour space comparison for skin detection in finger gesture recognition
Hartanto et al. Real time hand gesture movements tracking and recognizing system
Sokhib et al. A combined method of skin-and depth-based hand gesture recognition.
El Sibai et al. A new robust approach for real-time hand detection and gesture recognition
CN109934152B (zh) 一种针对手语图像的改进小弯臂图像分割方法
CN108491820B (zh) 图像中肢体表示信息的识别方法、装置及设备、存储介质
Abdallah et al. An overview of gesture recognition
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
Abdallah et al. Different techniques of hand segmentation in the real time
Ghosh et al. Real-time 3d markerless multiple hand detection and tracking for human computer interaction applications
Xie et al. Hand posture recognition using kinect
Kakkoth et al. Visual descriptors based real time hand gesture recognition
Devi et al. Active facial tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant