CN109271023B - 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 - Google Patents

Abstract

本发明公开了一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，进行手势轨迹图形的实时计算和绘制；(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与手势轨迹图形之间进行实时的外形轮廓匹配计算；(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。利用本发明，可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。

Description

一种基于三维对象外形轮廓徒手手势动作表达的选择方法

技术领域

本发明属于人机交互技术领域，尤其是涉及一种基于三维对象外形轮廓徒手手势动作表达的选择方法。

背景技术

对象的选择技术是人机交互中的核心技术之一。人机交互中，在对对象进行操作之前，首先需要对其进行选择。随着虚拟现实技术、增强现实技术的高速发展而产生的虚拟环境中的三维对象的选择技术，由于其广泛的应用价值，已成为三维人机交互中的研究热点。

目前已有的三维对象选择技术大致主要分为指点交互技术和抓取交互技术两大类。指点交互技术通过“光线投射(ray－casting)”过程实现,其中的“光线”实际上是一条起点位于操作者手上的射线,操作者通过操作射线与待选择的三维对象相交来进行对象的选择。指点交互技术的优点是算法简单，缺点是对象选择的准确率不够高，尤其是当对象较小或者被其它对象遮挡时，对象选择的准确率更低。

抓取交互技术分为徒手抓取交互技术和非徒手抓取交互技术两类。在非徒手抓取交互技术中，操作者一般通过佩戴数据手套完成三维对象的选择和操作。在徒手抓取交互技术上，Bailly等人探索了面向徒手交互的无标记整手运动跟踪方法，而Benko等人和Kalbani等人则分别探索了增强现实系统中的徒手抓取交互技术，其中人手动作由深度相机捕获并映射到虚拟手，驱动虚拟手去完成抓取交互过程。抓取交互技术的优点是自然直观，缺点是抓取交互技术仅能选择离操作者较近的对象，而且抓取交互技术计算负荷大，软件算法研究开发挑战性大，因为该技术涉及到计算量较大的实时碰撞检测计算和复杂的人手抓取规则的满足。因此，这两者均难以满足对三维对象自然、高效选择的要求。

发明内容

针对现有技术的不足，本发明提供了一种基于三维对象外形轮廓徒手手势动作表达的选择方法，更符合用户交互习惯和操作特点，人机交互过程更加高效、自然。

一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：

(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；

(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制；

(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算；

(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。

步骤(2)中，所述的徒手手势动作获取模块是基于厉动手势捕获传感器(LeapMotion)构建得到的，采用厉动手势捕获传感器捕获操作者整手包含平移与旋转在内的六自由度动作数据以及手指弯曲动作数据。

本发明预处理阶段计算生成的备选对象的外形轮廓均为封闭形多边形，描述虚拟环境中三维对象外形轮廓的手势轨迹图形也是封闭形多边形。为了在手势轨迹图形和备选对象外形轮廓封闭多边形之间进行匹配计算，提出了四个特征值描述封闭多边形的特征，通过计算两个多边形的这种几何特征的相似度来判断这两个多边形(即两个对象的外形轮廓)之间的相似匹配程度，由此实现备选对象的外形轮廓与操作者表达的外形轮廓之间的实时匹配计算。相似度值越大表示两者匹配程度越高。为获得计算实时性，提出的匹配算法在准确度与复杂度之间进行了折衷。

步骤(3)中，所述的外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度。所述的几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布。

利用上述四个多边形几何特征值，可以实现应用于外形轮廓匹配算法中的比较两个封闭多边形相似性的相似度值Similarity的计算，计算的具体过程为：

(3-1)计算两个多边形的宽高比相似度值Similarity_{Aspect_ratio}，公式如下：

其中，Aspect_ratio_polygon1和Aspect_ratio_polygon2分别是两个多边形的宽高比，Similarity_{Aspect_ratio}的值域为(0，1]；

(3-2)计算两个多边形的圆度相似度值Similarity_Roundness，公式如下：

其中，Round_polygon1和Round_polygon2分别是两个多边形的圆度，Similarity_Roundness的值域为(0，1]；

(3-3)计算两个多边形的凸形状系数相似度值Similarity_Convexity，公式如下：

其中，Convexity_polygon1和Convexity_polygon2分别是两个多边形的凸形状系数，Similarity_Convexity的值域为(0，1]；

(3-4)计算两个多边形的像素二维归一化相似度值Similarity_{Pixel_distribution}，公式如下：

Similarity_{Pixel_distribution}＝N/10000

其中，N为异或操作后得到的100×100阵列中为0的个数，10000为阵列大小，Similarity_{Pixel_distribution}的值域为(0，1]；

(3-5)计算两个多边形的似度值Similarity，公式如下：

Similarity＝Similarity_{Aspect_ratio}×Similarity_Roundness×Similarity_Convexity×Similarity_{Pixel_distribution}×10000

其中，Similarity的值域为(0，10000]，乘以10000是为避免浮点计算误差对Similarity的影响。

本发明的方法采用有限状态机对手势操作进行管理控制，所述的有限状态机包括四种状态：初始状态、选择状态、验证状态和反馈状态，通过静态手势与动态手势对四种状态进行切换和操作。

步骤(4)中，当匹配上的备选对象只有一个时，该备选对象显示有红色的外形轮廓框作为反馈；当匹配上的备选对象有若干个时，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象显示有黄色的外形轮廓框作为反馈。具体步骤为：

当只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象；

当存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用手势进入验证状态，然后，通过手势实现各备选对象间的轮换；当轮换到的备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，选中的对象的外形轮廓框从原来的红色转为绿色，表示选中对象；

当匹配上的备选对象中没有操作者期望选择的对象时，利用手势取消并进入反馈状态，进入反馈状态后状态机自动转入初始状态。

本发明在有限状态机的管理控制下，通过对待选对象进行外形轮廓描述，由徒手手势操作方式输入计算机，然后利用外形轮廓匹配算法可得到匹配后的待选对象，可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，且不受对象的距离限制，计算负荷小，由此实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。

附图说明

图1为本发明方法中的有限状态机中的结构示意图；

图2为有限状态机中的静态手势和动态手势示意图；

图3为本发明基于三维对象外形轮廓徒手手势动作表达的选择方法的流程示意图；

图4为预处理阶段计算生成的备选对象的外形轮廓图；

图5为徒手手势输入的手势轨迹图；

图6为三角形的二维像素二维归一化分布的布尔阵列示意图；

图7为两个多边形的二维像素二维归一化分布的布尔阵列的异或操作示意图；

图8为场景中备选对象的外形轮廓图与手势轨迹图的匹配过程示意图；

图9为场景中备选对象的外形轮廓图与手势轨迹图的匹配结果示意图。

具体实施方式

下面将根据说明书附图和具体实施方式对本发明作进一步详细说明。

本实施例利用厉动手势捕获传感器捕获手势动作信号，记录被试实验过程中的手势动作数据。为满足手势操作空间的实验要求，厉动手势捕获传感器放置于被试手势起始位置下方约35cm处，以保证被试的有效手势操作空间在传感器上方约2.5cm到60cm之内，厉动手势捕获传感器在该有效手势操作空间中的捕获精度为1.2mm。采用EPSON CB-X04投影仪，将画面投影到屏幕上，整个画面分辨率为1024px×768px，投影在投影幕上的大小为124cm×87cm，投影屏幕中心距离地面垂直距离163cm，被试站在屏幕正前方，距离投影屏幕200cm处。

本发明提出一种有限状态机以实现对手势操作的管理控制，如图1所示，该有限状态机分四种状态，具体如下：

(1)初始状态：用静态手势G₁表示；

(2)选择状态：画三维对象外形轮廓的手势动作，用静态手势G₂表示；

(3)验证状态：在多个备选对象中用手势动作进行轮换以标示出期望选择的对象，用静态手势G₁表示；

(4)反馈状态：用静态手势G₁表示。

对于有限状态机中所用到的静态手势和动态手势的具体说明见表1。

表1

如图2所示，为有限状态机中的静态手势和动态手势的图示说明，在初始状态，操作者保持G₁静态手势，利用动态手势g₁切换至静态手势G₂后，进入选择状态，此时可以采用动态手势g₃用食指画期望选择的三维对象的外形轮廓。然后进行外形轮廓匹配，得到匹配结果。

匹配结果有两种情况：(1)只有一个匹配上的备选对象，该备选对象显示有红色的外形轮廓框作为反馈。(2)有多个匹配上的备选对象，缺省情况下，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象则显示有黄色的外形轮廓框作为反馈。

根据匹配结果，相应地进行三种条件选择：(1)只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用动态手势g₂确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象。(2)存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用动态手势g₂进入验证状态，然后，通过动态手势g₆和g₇实现各备选对象间的轮换，轮换到的备选对象用红色外形轮廓框标示，未轮换到的对象用绿色外形轮廓框标示。动态手势g₆表示轮换至上一个备选对象，动态手势g₇表示轮换至下一个备选对象。当轮换到的备选对象(标示有红色外形轮廓框)为操作者期望选择的对象时，利用动态手势g₅表示确定并进入反馈状态，此时选中的对象的外形轮廓框从原来的红色转变为绿色。(3)匹配上的备选对象中没有操作者期望选择的对象时，利用手势g₄取消并进入反馈状态。进入反馈状态后状态机将自动转入初始状态。

如图3所示，一种基于三维对象外形轮廓徒手手势动作表达的选择方法，包括以下步骤：

S01、预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓。此时，操作者先做出并保持静态手势G1处于初始状态，计算机开始进行预处理准备，实时提取出实例场景中所有备选对象的外形轮廓，如图4所示，生成了书本与水杯的外形轮廓。

S02、徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制。拟采用徒手手势选择实例场景中的书本，首先利用动态手势g₁切换至静态手势G₂，进入选择状态，然后采用动态手势g₃用食指画书本的外形轮廓，厉动手势捕获传感器捕获完整的手势动作数据，得到手势轨迹图，如图5所示。

S03、外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算。

外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度。几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布。

宽高比Aspect_ratio，表示多边形外接矩形宽度与高度的比率，用一个浮点数表示，宽高比的计算公式如下：

Aspect_ratio＝w/h

上式中，w为多边形外接矩形框的宽，h为多边形外接矩形框的高。

圆度Roundness，表示多边形与圆相近的程度，用一个浮点数表示，圆度的计算公式如下：

上式中，S_polygon为多边形面积，C_polygon为多边形周长。根据圆度计算公式可以计算出圆的圆度为1，正方形的圆度为π/4，正三角形的圆度为

凸形状系数Convexity，表示多边形与其凸包的逼近程度，用一个浮点数表示，计算公式如下：

Convexity＝S_polygon/S_convex

上式中，S_polygon为多边形面积，S_convex为该多边形凸包面积。凸多边形的凸形状系数为1，凹多边形的凸形状系数小于1。

像素二维归一化分布Pixel_distribution，表示多边形归一化到单位正方形中，并进行光栅化处理后的像素分布情况，用一个布尔型的二维数组表示。如图6所示，以三角形为例，三角形归一化缩放到单位正方形中，经光栅化处理后得到二维像素二维归一化分布阵列。出于图示简化的需要，图中的阵列大小仅为6×6，实际计算时由于光栅化的分辨率为100×100，因此实际阵列大小为100×100。

比较两个封闭多边形相似性的相似度值Similarity的计算方法如下：

(1)计算两个多边形宽高比的相似度值Similarity_{Aspect_ratio}，计算公式如下：

(2)计算两个多边形圆度的相似度值Similarity_Roundness，计算公式如下：

(3)计算两个多边形凸形状系数的相似度值Similarity_Convexity，计算公式如下：

(4)计算两个多边形像素二维归一化分布的相似度值Similarity_{Pixel_distribution}，对两个多边形二维像素二维归一化分布的布尔阵列进行异或操作。如图7所示，以三角形和圆形为例，对三角形和圆形的二维像素二维归一化分布的布尔阵列进行异或操作后得到的布尔阵列。出于简化，图中的阵列大小为6×6，实际阵列大小为100×100。

Similarity_{Pixel_distribution}计算公式如下：

Similarity_{Pixel_distribution}＝N/10000

上式中，N为异或操作后得到的100X100阵列中为0的个数，10000为阵列大小。图中，进行异或操作后得到的布尔阵列中为0的个数为20，由于阵列大小为6×6，因此三角形和圆形的像素二维归一化分布的相似度值为20/36＝0.5556。

(5)计算两个多边形的相似度值Similarity，计算公式如下：

Similarity＝Similarity_{Aspect_ratio}×Similarity_Roundness×Similarity_Convexity

×Similarity_{Pixel_distribution}×10000

根据匹配算法结果，当只有一个匹配上的备选对象时，该备选对象显示有红色的外形轮廓框作为反馈，当有多个匹配上的备选对象时(场景中可能存在多个相同对象或外形轮廓高度相似但其他属性不同的对象)，缺省情况下，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象则显示有黄色的外形轮廓框作为反馈。如果最先匹配上的备选对象不是操作者期望选择的对象，可以通过手势操作在其他匹配上的黄色外形轮廓框标示的备选对象与当前红色外形轮廓框标示的对象间进行轮换。如图8所示，书本、水杯分别与操作者的手势轨迹图片进行匹配后，书本与操作者的手势轨迹图形相匹配，书本的轮廓被框出。

S04、操作者确认，操作者通过手势确认或取消红色外形轮廓框标示的三维对象，经操作者确认后，该对象的红色外形轮廓框变为绿色外形轮廓框，表示该对象已被选中。如图9所示，最终书本被选中，用外形轮廓框标出。

本发明的方法可以有效解决因对象体积小和遮挡严重而造成的识别准确率低的问题，且不受对象的距离限制，计算负荷小。该方法通过对对象进行外形轮廓描述，由手势操作方式输入计算机，可以实现更为符合用户交互习惯和操作特点的、高效自然的三维对象人机交互。

Claims (6)

1.一种基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，包括以下步骤：

(1)预处理阶段，实时计算生成位于操作者视域场景中的每一备选对象的外形轮廓；

(2)徒手手势输入，操作者对期望选择的三维对象的外形轮廓进行徒手手势输入，徒手手势动作获取模块捕获完整的手势动作数据，然后进行手势轨迹图形的实时计算和绘制；

(3)外形轮廓匹配，在预处理阶段生成的备选对象的外形轮廓与操作者表达的手势轨迹图形之间进行实时的外形轮廓匹配计算；所述的外形轮廓匹配计算是通过计算几何特征的相似度来判断两个对象的外形轮廓之间的匹配程度；几何特征包括：宽高比、圆度、凸形状系数和像素二维归一化分布；所述的外形轮廓匹配计算的具体过程为：

(3-1)计算两个多边形的宽高比相似度值Similarity_{Aspect_ratio}，公式如下：

其中，Aspect_ratio_polygon1和Aspect_ratio_polygon2分别是两个多边形的宽高比，Similarity_{Aspect_ratio}的值域为(0，1]；

(3-2)计算两个多边形的圆度相似度值Similarity_Roundness，公式如下：

其中，Round_polygon1 和Round_polygon2分别是两个多边形的圆度，Similarity_Roundness的值域为(0，1]；

(3-3)计算两个多边形的凸形状系数相似度值Similarity_Convexity，公式如下：

其中，Convexity_polygon1和Convexity_polygon2分别是两个多边形的凸形状系数，Similarity_Convexity的值域为(0，1]；

(3-4)计算两个多边形的像素二维归一化相似度值Similarity_{Pixel_distribution}，公式如下：

Similarity_{Pixel_distribution}＝N/10000

其中，N为异或操作后得到的100×100阵列中为0的个数，10000为阵列大小，Similarity_{Pixel_distribution}的值域为(0，1]；

(3-5)计算两个多边形的相似度值Similarity，公式如下：

Similarity＝Similarity_{Aspect_ratio}×Similarity_Roundness×Similarity_Convexity×Similarity_{Pixel_distribution}×10000

其中，Similarity的值域为(0，10000]；

(4)操作者确认，操作者通过手势对匹配上的备选对象进行选择和确认。

2.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(2)中，所述的徒手手势动作获取模块是基于厉动手势捕获传感器构建得到的，采用厉动手势捕获传感器捕获操作者整手包含平移与旋转在内的六自由度动作数据以及手指弯曲动作数据。

3.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，所述的像素二维归一化分布具体步骤为：将多边形归一化到单位正方形中，并进行光栅化处理，得到一个用布尔型二维数组表示的像素分布情况。

4.根据权利要求1所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，采用有限状态机对手势进行管理控制，所述的有限状态机包括四种状态：初始状态、选择状态、验证状态和反馈状态，通过静态手势与动态手势对四种状态进行切换和操作。

5.根据权利要求4所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(4)中，当匹配上的备选对象只有一个时，该备选对象显示有红色的外形轮廓框作为反馈；当匹配上的备选对象有若干个时，最先匹配上的备选对象显示有红色的外形轮廓框作为反馈，其他匹配上的备选对象显示有黄色的外形轮廓框作为反馈。

6.根据权利要求5所述的基于三维对象外形轮廓徒手手势动作表达的选择方法，其特征在于，步骤(4)的具体步骤为：

当只有一个标示有红色外形轮廓框的备选对象且该备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，备选对象的外形轮廓框从红色转为绿色，表示选中对象；

当存在多个匹配上的备选对象且其中有操作者期望选择的对象时，首先，利用手势进入验证状态，然后，通过手势实现各备选对象间的轮换；当轮换到的备选对象为操作者期望选择的对象时，利用手势确定并进入反馈状态，此时，选中的对象的外形轮廓框从原来的红色转为绿色，表示选中对象；

当匹配上的备选对象中没有操作者期望选择的对象时，利用手势取消并进入反馈状态，进入反馈状态后状态机自动转入初始状态。

Images