CN109271023B - 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 - Google Patents

一种基于三维对象外形轮廓徒手手势动作表达的选择方法 Download PDF

Info

Publication number
CN109271023B
CN109271023B CN201810994124.4A CN201810994124A CN109271023B CN 109271023 B CN109271023 B CN 109271023B CN 201810994124 A CN201810994124 A CN 201810994124A CN 109271023 B CN109271023 B CN 109271023B
Authority
CN
China
Prior art keywords
outline
gesture
similarity
operator
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810994124.4A
Other languages
English (en)
Other versions
CN109271023A (zh
Inventor
万华根
韩晓霞
李沫陶
李嘉栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810994124.4A priority Critical patent/CN109271023B/zh
Publication of CN109271023A publication Critical patent/CN109271023A/zh
Application granted granted Critical
Publication of CN109271023B publication Critical patent/CN109271023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，进行手势轨迹图形的实时计算和绘制；(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与手势轨迹图形之间进行实时的外形轮廓匹配计算；(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。利用本发明，可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。

Description

一种基于三维对象外形轮廓徒手手势动作表达的选择方法
技术领域
本发明属于人机交互技术领域，尤其是涉及一种基于三维对象外形轮廓徒手手势动作表达的选择方法。
背景技术
对象的选择技术是人机交互中的核心技术之一。人机交互中，在对对象进行操作之前，首先需要对其进行选择。随着虚拟现实技术、增强现实技术的高速发展而产生的虚拟环境中的三维对象的选择技术，由于其广泛的应用价值，已成为三维人机交互中的研究热点。
目前已有的三维对象选择技术大致主要分为指点交互技术和抓取交互技术两大类。指点交互技术通过“光线投射(ray－casting)”过程实现,其中的“光线”实际上是一条起点位于操作者手上的射线,操作者通过操作射线与待选择的三维对象相交来进行对象的选择。指点交互技术的优点是算法简单，缺点是对象选择的准确率不够高，尤其是当对象较小或者被其它对象遮挡时，对象选择的准确率更低。
抓取交互技术分为徒手抓取交互技术和非徒手抓取交互技术两类。在非徒手抓取交互技术中，操作者一般通过佩戴数据手套完成三维对象的选择和操作。在徒手抓取交互技术上，Bailly等人探索了面向徒手交互的无标记整手运动跟踪方法，而Benko等人和Kalbani等人则分别探索了增强现实系统中的徒手抓取交互技术，其中人手动作由深度相机捕获并映射到虚拟手，驱动虚拟手去完成抓取交互过程。抓取交互技术的优点是自然直观，缺点是抓取交互技术仅能选择离操作者较近的对象，而且抓取交互技术计算负荷大，软件算法研究开发挑战性大，因为该技术涉及到计算量较大的实时碰撞检测计算和复杂的人手抓取规则的满足。因此，这两者均难以满足对三维对象自然、高效选择的要求。
发明内容
针对现有技术的不足，本发明提供了一种基于三维对象外形轮廓徒手手势动作表达的选择方法，更符合用户交互习惯和操作特点，人机交互过程更加高效、自然。
一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：
(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；
(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制；
(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算；
(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。
步骤(2)中，所述的徒手手势动作获取模块是基于厉动手势捕获传感器(LeapMotion)构建得到的，采用厉动手势捕获传感器捕获操作者整手包含平移与旋转在内的六自由度动作数据以及手指弯曲动作数据。
本发明预处理阶段计算生成的备选对象的外形轮廓均为封闭形多边形，描述虚拟环境中三维对象外形轮廓的手势轨迹图形也是封闭形多边形。为了在手势轨迹图形和备选对象外形轮廓封闭多边形之间进行匹配计算，提出了四个特征值描述封闭多边形的特征，通过计算两个多边形的这种几何特征的相似度来判断这两个多边形(即两个对象的外形轮廓)之间的相似匹配程度，由此实现备选对象的外形轮廓与操作者表达的外形轮廓之间的实时匹配计算。相似度值越大表示两者匹配程度越高。为获得计算实时性，提出的匹配算法在准确度与复杂度之间进行了折衷。
步骤(3)中，所述的外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度。所述的几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布。
利用上述四个多边形几何特征值，可以实现应用于外形轮廓匹配算法中的比较两个封闭多边形相似性的相似度值Similarity的计算，计算的具体过程为：
(3-1)计算两个多边形的宽高比相似度值SimilarityAspect_ratio，公式如下：
Figure BDA0001781490080000031
其中，Aspect_ratiopolygon1和Aspect_ratiopolygon2分别是两个多边形的宽高比，SimilarityAspect_ratio的值域为(0，1]；
(3-2)计算两个多边形的圆度相似度值SimilarityRoundness，公式如下：
Figure BDA0001781490080000032
其中，Roundpolygon1和Roundpolygon2分别是两个多边形的圆度，SimilarityRoundness的值域为(0，1]；
(3-3)计算两个多边形的凸形状系数相似度值SimilarityConvexity，公式如下：
Figure BDA0001781490080000033
其中，Convexitypolygon1和Convexitypolygon2分别是两个多边形的凸形状系数，SimilarityConvexity的值域为(0，1]；
(3-4)计算两个多边形的像素二维归一化相似度值SimilarityPixel_distribution，公式如下：
SimilarityPixel_distribution＝N/10000
其中，N为异或操作后得到的100×100阵列中为0的个数，10000为阵列大小，SimilarityPixel_distribution的值域为(0，1]；
(3-5)计算两个多边形的似度值Similarity，公式如下：
Similarity＝SimilarityAspect_ratio×SimilarityRoundness×SimilarityConvexity×SimilarityPixel_distribution×10000
其中，Similarity的值域为(0，10000]，乘以10000是为避免浮点计算误差对Similarity的影响。
本发明的方法采用有限状态机对手势操作进行管理控制，所述的有限状态机包括四种状态：初始状态、选择状态、验证状态和反馈状态，通过静态手势与动态手势对四种状态进行切换和操作。
步骤(4)中，当匹配上的备选对象只有一个时，该备选对象显示有红色的外形轮廓框作为反馈；当匹配上的备选对象有若干个时，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象显示有黄色的外形轮廓框作为反馈。具体步骤为：
当只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象；
当存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用手势进入验证状态，然后，通过手势实现各备选对象间的轮换；当轮换到的备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，选中的对象的外形轮廓框从原来的红色转为绿色，表示选中对象；
当匹配上的备选对象中没有操作者期望选择的对象时，利用手势取消并进入反馈状态，进入反馈状态后状态机自动转入初始状态。
本发明在有限状态机的管理控制下，通过对待选对象进行外形轮廓描述，由徒手手势操作方式输入计算机，然后利用外形轮廓匹配算法可得到匹配后的待选对象，可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，且不受对象的距离限制，计算负荷小，由此实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。
附图说明
图1为本发明方法中的有限状态机中的结构示意图；
图2为有限状态机中的静态手势和动态手势示意图；
图3为本发明基于三维对象外形轮廓徒手手势动作表达的选择方法的流程示意图；
图4为预处理阶段计算生成的备选对象的外形轮廓图；
图5为徒手手势输入的手势轨迹图；
图6为三角形的二维像素二维归一化分布的布尔阵列示意图；
图7为两个多边形的二维像素二维归一化分布的布尔阵列的异或操作示意图；
图8为场景中备选对象的外形轮廓图与手势轨迹图的匹配过程示意图；
图9为场景中备选对象的外形轮廓图与手势轨迹图的匹配结果示意图。
具体实施方式
下面将根据说明书附图和具体实施方式对本发明作进一步详细说明。
本实施例利用厉动手势捕获传感器捕获手势动作信号，记录被试实验过程中的手势动作数据。为满足手势操作空间的实验要求，厉动手势捕获传感器放置于被试手势起始位置下方约35cm处，以保证被试的有效手势操作空间在传感器上方约2.5cm到60cm之内，厉动手势捕获传感器在该有效手势操作空间中的捕获精度为1.2mm。采用EPSON CB-X04投影仪，将画面投影到屏幕上，整个画面分辨率为1024px×768px，投影在投影幕上的大小为124cm×87cm，投影屏幕中心距离地面垂直距离163cm，被试站在屏幕正前方，距离投影屏幕200cm处。
本发明提出一种有限状态机以实现对手势操作的管理控制，如图1所示，该有限状态机分四种状态，具体如下：
(1)初始状态：用静态手势G1表示；
(2)选择状态：画三维对象外形轮廓的手势动作，用静态手势G2表示；
(3)验证状态：在多个备选对象中用手势动作进行轮换以标示出期望选择的对象，用静态手势G1表示；
(4)反馈状态：用静态手势G1表示。
对于有限状态机中所用到的静态手势和动态手势的具体说明见表1。
表1
Figure BDA0001781490080000061
Figure BDA0001781490080000071
如图2所示，为有限状态机中的静态手势和动态手势的图示说明，在初始状态，操作者保持G1静态手势，利用动态手势g1切换至静态手势G2后，进入选择状态，此时可以采用动态手势g3用食指画期望选择的三维对象的外形轮廓。然后进行外形轮廓匹配，得到匹配结果。
匹配结果有两种情况：(1)只有一个匹配上的备选对象，该备选对象显示有红色的外形轮廓框作为反馈。(2)有多个匹配上的备选对象，缺省情况下，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象则显示有黄色的外形轮廓框作为反馈。
根据匹配结果，相应地进行三种条件选择：(1)只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用动态手势g2确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象。(2)存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用动态手势g2进入验证状态，然后，通过动态手势g6和g7实现各备选对象间的轮换，轮换到的备选对象用红色外形轮廓框标示，未轮换到的对象用绿色外形轮廓框标示。动态手势g6表示轮换至上一个备选对象，动态手势g7表示轮换至下一个备选对象。当轮换到的备选对象(标示有红色外形轮廓框)为操作者期望选择的对象时，利用动态手势g5表示确定并进入反馈状态，此时选中的对象的外形轮廓框从原来的红色转变为绿色。(3)匹配上的备选对象中没有操作者期望选择的对象时，利用手势g4取消并进入反馈状态。进入反馈状态后状态机将自动转入初始状态。
如图3所示，一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：
S01、预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓。此时，操作者先做出并保持静态手势G1处于初始状态，计算机开始进行预处理准备，实时提取出实例场景中所有备选对象的外形轮廓，如图4所示，生成了书本与水杯的外形轮廓。
S02、徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制。拟采用徒手手势选择实例场景中的书本，首先利用动态手势g1切换至静态手势G2，进入选择状态，然后采用动态手势g3用食指画书本的外形轮廓，厉动手势捕获传感器捕获完整的手势动作数据，得到手势轨迹图，如图5所示。
S03、外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算。
外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度。几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布。
宽高比Aspect_ratio，表示多边形外接矩形宽度与高度的比率，用一个浮点数表示，宽高比的计算公式如下：
Aspect_ratio＝w/h
上式中，w为多边形外接矩形框的宽，h为多边形外接矩形框的高。
圆度Roundness，表示多边形与圆相近的程度，用一个浮点数表示，圆度的计算公式如下：
Figure BDA0001781490080000091
上式中，Spolygon为多边形面积，Cpolygon为多边形周长。根据圆度计算公式可以计算出圆的圆度为1，正方形的圆度为π/4，正三角形的圆度为
Figure BDA0001781490080000092
凸形状系数Convexity，表示多边形与其凸包的逼近程度，用一个浮点数表示，计算公式如下：
Convexity＝Spolygon/Sconvex
上式中，Spolygon为多边形面积，Sconvex为该多边形凸包面积。凸多边形的凸形状系数为1，凹多边形的凸形状系数小于1。
像素二维归一化分布Pixel_distribution，表示多边形归一化到单位正方形中，并进行光栅化处理后的像素分布情况，用一个布尔型的二维数组表示。如图6所示，以三角形为例，三角形归一化缩放到单位正方形中，经光栅化处理后得到二维像素二维归一化分布阵列。出于图示简化的需要，图中的阵列大小仅为6×6，实际计算时由于光栅化的分辨率为100×100，因此实际阵列大小为100×100。
比较两个封闭多边形相似性的相似度值Similarity的计算方法如下：
(1)计算两个多边形宽高比的相似度值SimilarityAspect_ratio，计算公式如下：
Figure BDA0001781490080000093
(2)计算两个多边形圆度的相似度值SimilarityRoundness，计算公式如下：
Figure BDA0001781490080000101
(3)计算两个多边形凸形状系数的相似度值SimilarityConvexity，计算公式如下：
Figure BDA0001781490080000102
(4)计算两个多边形像素二维归一化分布的相似度值SimilarityPixel_distribution，对两个多边形二维像素二维归一化分布的布尔阵列进行异或操作。如图7所示，以三角形和圆形为例，对三角形和圆形的二维像素二维归一化分布的布尔阵列进行异或操作后得到的布尔阵列。出于简化，图中的阵列大小为6×6，实际阵列大小为100×100。
SimilarityPixel_distribution计算公式如下：
SimilarityPixel_distribution＝N/10000
上式中，N为异或操作后得到的100X100阵列中为0的个数，10000为阵列大小。图中，进行异或操作后得到的布尔阵列中为0的个数为20，由于阵列大小为6×6，因此三角形和圆形的像素二维归一化分布的相似度值为20/36＝0.5556。
(5)计算两个多边形的相似度值Similarity，计算公式如下：
Similarity＝SimilarityAspect_ratio×SimilarityRoundness×SimilarityConvexity
×SimilarityPixel_distribution×10000
根据匹配算法结果，当只有一个匹配上的备选对象时，该备选对象显示有红色的外形轮廓框作为反馈，当有多个匹配上的备选对象时(场景中可能存在多个相同对象或外形轮廓高度相似但其他属性不同的对象)，缺省情况下，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象则显示有黄色的外形轮廓框作为反馈。如果最先匹配上的备选对象不是操作者期望选择的对象，可以通过手势操作在其他匹配上的黄色外形轮廓框标示的备选对象与当前红色外形轮廓框标示的对象间进行轮换。如图8所示，书本、水杯分别与操作者的手势轨迹图片进行匹配后，书本与操作者的手势轨迹图形相匹配，书本的轮廓被框出。
S04、操作者确认，操作者通过手势确认或取消红色外形轮廓框标示的三维对象，经操作者确认后，该对象的红色外形轮廓框变为绿色外形轮廓框，表示该对象已被选中。如图9所示，最终书本被选中，用外形轮廓框标出。
本发明的方法可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，且不受对象的距离限制，计算负荷小。该方法通过对对象进行外形轮廓描述，由手势操作方式输入计算机，可以实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。

Claims (6)

1.一种基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，包括以下步骤：
(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；
(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制；
(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算；所述的外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度；几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布；所述的外形轮廓匹配计算的具体过程为：
(3-1)计算两个多边形的宽高比相似度值SimilarityAspect_ratio，公式如下：
Figure FDA0002471488380000011
其中，Aspect_ratiopolygon1和Aspect_ratiopolygon2分别是两个多边形的宽高比，SimilarityAspect_ratio的值域为(0，1]；
(3-2)计算两个多边形的圆度相似度值SimilarityRoundness，公式如下：
Figure FDA0002471488380000012
其中，Roundpolygon1 和Roundpolygon2分别是两个多边形的圆度，SimilarityRoundness的值域为(0，1]；
(3-3)计算两个多边形的凸形状系数相似度值SimilarityConvexity，公式如下：
Figure FDA0002471488380000021
其中，Convexitypolygon1和Convexitypolygon2分别是两个多边形的凸形状系数，SimilarityConvexity的值域为(0，1]；
(3-4)计算两个多边形的像素二维归一化相似度值SimilarityPixel_distribution，公式如下：
SimilarityPixel_distribution＝N/10000
其中，N为异或操作后得到的100×100阵列中为0的个数，10000为阵列大小，SimilarityPixel_distribution的值域为(0，1]；
(3-5)计算两个多边形的相似度值Similarity，公式如下：
Similarity＝SimilarityAspect_ratio×SimilarityRoundness×SimilarityConvexity×SimilarityPixel_distribution×10000
其中，Similarity的值域为(0，10000]；
(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。
2.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(2)中，所述的徒手手势动作获取模块是基于厉动手势捕获传感器构建得到的，采用厉动手势捕获传感器捕获操作者整手包含平移与旋转在内的六自由度动作数据以及手指弯曲动作数据。
3.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，所述的像素二维归一化分布具体步骤为：将多边形归一化到单位正方形中，并进行光栅化处理，得到一个用布尔型二维数组表示的像素分布情况。
4.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，采用有限状态机对手势进行管理控制，所述的有限状态机包括四种状态：初始状态、选择状态、验证状态和反馈状态，通过静态手势与动态手势对四种状态进行切换和操作。
5.根据权利要求4所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(4)中，当匹配上的备选对象只有一个时，该备选对象显示有红色的外形轮廓框作为反馈；当匹配上的备选对象有若干个时，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象显示有黄色的外形轮廓框作为反馈。
6.根据权利要求5所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(4)的具体步骤为：
当只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象；
当存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用手势进入验证状态，然后，通过手势实现各备选对象间的轮换；当轮换到的备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，选中的对象的外形轮廓框从原来的红色转为绿色，表示选中对象；
当匹配上的备选对象中没有操作者期望选择的对象时，利用手势取消并进入反馈状态，进入反馈状态后状态机自动转入初始状态。
CN201810994124.4A 2018-08-29 2018-08-29 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 Active CN109271023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810994124.4A CN109271023B (zh) 2018-08-29 2018-08-29 一种基于三维对象外形轮廓徒手手势动作表达的选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810994124.4A CN109271023B (zh) 2018-08-29 2018-08-29 一种基于三维对象外形轮廓徒手手势动作表达的选择方法

Publications (2)

Publication Number Publication Date
CN109271023A CN109271023A (zh) 2019-01-25
CN109271023B true CN109271023B (zh) 2020-09-01

Family

ID=65154967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810994124.4A Active CN109271023B (zh) 2018-08-29 2018-08-29 一种基于三维对象外形轮廓徒手手势动作表达的选择方法

Country Status (1)

Country Link
CN (1) CN109271023B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110052030B (zh) * 2019-04-26 2021-10-29 腾讯科技（深圳）有限公司 虚拟角色的形象设置方法、装置及存储介质
CN110221686B (zh) * 2019-04-29 2020-08-04 浙江大学 一种面向矿山资源管理的基于彩色图像的手势交互系统及方法
CN110837326B (zh) * 2019-10-24 2021-08-10 浙江大学 一种基于物体属性递进式表达的三维目标选择方法
CN111444771B (zh) * 2020-02-27 2022-06-21 浙江大学 一种基于循环神经网络的手势前置实时识别方法
CN112306231B (zh) * 2020-09-17 2021-11-30 浙江大学 一种基于半轮廓高亮的凌空徒手三维目标选择方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467336A (zh) * 2010-11-19 2012-05-23 联想(北京)有限公司 电子设备及其对象选择方法
CN103093196A (zh) * 2013-01-14 2013-05-08 大连理工大学 一种基于手势的汉字交互输入与识别方法
CN103472923A (zh) * 2013-09-23 2013-12-25 济南大学 一种三维虚拟手势选择场景物体的方法
US9996972B1 (en) * 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467336A (zh) * 2010-11-19 2012-05-23 联想(北京)有限公司 电子设备及其对象选择方法
US9996972B1 (en) * 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
CN103093196A (zh) * 2013-01-14 2013-05-08 大连理工大学 一种基于手势的汉字交互输入与识别方法
CN103472923A (zh) * 2013-09-23 2013-12-25 济南大学 一种三维虚拟手势选择场景物体的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Static and Dynamic Hand Gesture Recognition in Depth Data Using Dynamic Time Warping";Guillaume Plouffe等;《IEEE Transactions on Instrumentation and Measurement》;20151120;第65卷(第2期);第305-316页 *
"基于体感传感器的手势识别及人机交互系统研究";杜钊君;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415;I140-168 *
"面向新一代大众游戏的手势交互技术";万华根等;《计算机辅助设计与图形学学报》;20110731;第23卷(第07期);第1160-1165页 *
"高复杂拟凸体的实时触觉绘制";韩晓霞等;《计算机辅助设计与图形学学报》;20090131;第21卷(第01期);第61-66页 *

Also Published As

Publication number Publication date
CN109271023A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
JP4768196B2 (ja) ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
CN104937635B (zh) 基于模型的多假设目标追踪器
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
EP3992919A1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
JP7566973B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111783820A (zh) 图像标注方法和装置
CN110232311A (zh) 手部图像的分割方法、装置及计算机设备
KR101083408B1 (ko) 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
CN105741290B (zh) 一种基于增强现实技术的印制电路板信息指示方法及装置
CN110363061B (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
Caputo et al. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware.
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
JP7005622B2 (ja) 認識処理装置、認識処理方法及びプログラム
US10950056B2 (en) Apparatus and method for generating point cloud data
CN106663334A (zh) 使用网格雕塑利用深度相机的3d扫描
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN108919955B (zh) 一种基于多体感设备的虚拟沙画交互结合方法
CN108027656B (zh) 输入设备、输入方法和程序
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
WO2017051199A1 (en) Fingertip identification for gesture control
CN109815854A (zh) 一种用于在用户设备上呈现图标的关联信息的方法与设备
CN110288714B (zh) 一种虚拟仿真实验系统
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant