CN110837326B - 一种基于物体属性递进式表达的三维目标选择方法 - Google Patents

Abstract

本发明公开了一种基于物体属性递进式表达的三维目标选择方法，属于人机交互技术领域，包括以下步骤：(1)提取场景中所有物体的形状、位置和尺寸属性；(2)获取用户的手势动作，提取手势运动轨迹的形状、位置和尺寸属性；(3)执行基于递进式表达的选择意图判定，首先进行物体轮廓和手势轮廓的形状匹配，当只有一个匹配结果时输出该匹配物体，否则进行位置属性匹配；当匹配结果唯一时输出该匹配物体，否则进行尺寸属性匹配；最后根据尺寸属性匹配得到匹配物体。利用本发明，用户可以向系统逐步地、递进式地表明自己的选择意图，更符合人的能力和习惯，在任务难度和人的能力之间达到了更理想的平衡。

Description

一种基于物体属性递进式表达的三维目标选择方法

技术领域

本发明属于人机交互技术领域，尤其是涉及一种基于物体属性递进式表达的三维目标选择方法。

背景技术

对象的选择技术是人机交互中的核心技术之一。人机交互中，在对对象进行操作之前，首先需要对其进行选择。随着虚拟现实技术、增强现实技术的高速发展而产生的虚拟环境中的三维对象的选择技术，由于其广泛的应用价值，已成为三维人机交互中的研究热点。

作为三维交互的第一个步骤，三维选择是三维交互领域中的重点研究内容。现今主流的基于指点隐喻和射线投射的三维选择技术在选择小物体、远距离物体、被遮挡物体时，准确率会大大降低，在目标物体被遮挡时甚至失去效用，这是远距离三维选择技术所面临的主要挑战。后续对选择技术的优化都以标准射线投射技术为基础，通过加入逐步精确法，或类似体投射等一次粗筛、二次确认的思路以弥补标准射线投射技术的缺陷，这类优化策略在致力于解决准确率骤降的问题时都是以降低效率为代价。这一固有缺陷存在的根本原因在于，人并不具备精准地控制肌肉指点目标物体的能力。人手的自然抖动和海森堡效应，使人本身就难以完成精准的指点操作。

主流的三维选择技术并没有合理地利用人的能力，因此存在固有的缺陷。实际上，三维选择技术的研究应该更关注人的能力，从人的角度出发去思考策略。从充分且合理地顺应人的能力入手，让用户和计算机交互系统之间达到和谐的人机协同状态，使得用户可以更自然地向交互系统表达选择意图；交互系统则会根据用户的描述，综合推断选择意图，并在必要的时候对用户提出新的表达要求，以期更加准确地理解用户的交互意图。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于物体属性递进式表达的三维目标选择方法，用户可以向系统逐步地、递进式地表明自己的选择意图，使系统可以更加准确地推断出用户的选择意图。

一种基于物体属性递进式表达的三维目标选择方法，其特征在于，包括以下步骤：

(1)提取场景中所有物体的形状、位置和尺寸属性；

(2)获取用户的手势动作，提取手势运动轨迹的形状、位置和尺寸属性；

(3)执行基于递进式表达的选择意图判定，具体过程如下：

(3-1)形状的匹配及判断：计算场景中所有物体的形状与手势运动轨迹的形状相似度；对场景中所有物体的形状相似度进行排序，以宽容度p截取与用户手势运动轨迹形状最相似的物体集合；若集合中只有一个物体，将该物体作为选择结果反馈给用户，选择结束；若有多个物体在此集合中，将这些待选物体进入位置匹配阶段；

(3-2)位置的匹配及判断：使用距离匹配算法对手势运动轨迹的位置与通过形状匹配阶段的待选物体集合进行距离匹配；若不存在位置歧义性，直接将距离最近的物体作为推荐反馈给用户；否则，距离手势运动轨迹最近的多个待选物体的集合进入尺寸匹配阶段；

(3-3)尺寸的匹配及判断：使用尺寸匹配算法对手势运动轨迹的尺寸和通过位置匹配阶段的待选物体的尺寸进行比对，尺寸最接近的物体作为推荐结果反馈给用户；用户判断其推荐结果是否符合自己的选择意图，若符合，则做出确认操作，选择结束。

步骤(1)的具体过程为：在固定渲染管线的基础上额外增加一个离屏渲染阶段，在执行渲染流程时关闭深度测试，并将渲染管线中每个物体的完整形状都渲染到各自独立的离屏纹理中，对离屏纹理中的图像提取出形状、位置、尺寸的属性特征。

步骤(1)中，物体的形状属性定义为三维物体在投影平面上所呈的二维图像的外围轮廓。

物体的位置属性定义为三维物体在投影平面上所呈的二维图像的最小外接轴对齐矩形的中心点。

物体的尺寸属性定义为三维物体在投影平面上所呈的二维图像的面积。

步骤(2)中，手势运动轨迹的形状属性通过悬空连贯地绘制目标物体的外围轮廓来表达。

手势运动轨迹的位置属性通过手势轮廓的最小外接轴对齐矩形的中心点位置来表达。

手势运动轨迹的尺寸属性通过手势轮廓的面积来表达。

步骤(3-1)中，计算场景中所有物体的形状与手势运动轨迹的形状相似度的具体过程为：

(3-1-1)计算手势运动轨迹形状和物体形状的纵横比、圆度、凸度三种特征，将数值较小者除以数值较大者，得到值域为(0.0,1.0]的三个特征值的归一化相似度；纵横比、圆度、凸度的计算公式为：

(3-1-2)将手势运动轨迹形状和物体形状的近似多边形归一化到128x128的像素矩阵中，所有处于多边形上或多边形内的像素点标注为1，处于多边形外的像素点标注为0，得到手势运动轨迹形状和物体形状的像素分布的二维矩阵；将两个二维矩阵进行异或操作得到像素分布的差异矩阵，将差异矩阵中值为0的元素个数除以矩阵的面积，得到值域为(0.0,1.0]的手势运动轨迹形状和物体形状的像素分布的归一化相似度；

(3-1-3)计算物体形状与手势运动轨迹形状相似度，计算公式为：

形状相似度＝纵横比相似度×圆度相似度×凸度相似

×像素分布相似度。

步骤(3-1)中，所述的宽容度p设置为10％，其计算公式为：

P＝1-形状相似度。

与现有技术相比，本发明具有以下有益效果：

本发明从合理利用人的能力、平衡人的能力和任务难度的角度出发，提出了全新的基于物体属性递进式表达的三维选择方法，在某一维度的匹配算法的结果不够准确时，也能保证最终匹配结果的准确性。这既平衡了人的能力和任务难度，也放宽了对匹配算法的准确度要求，即每个维度的算法不需要非常精确，只要能大体上判别出趋势，三个维度属性特征之间的级联增强也足以准确推断出用户的选择意图。

附图说明

图1为本发明中物体的形状、位置、尺寸属性定义示意图；

图2为本发明中额外增加离屏渲染阶段提取物体的属性特征的示意图；

图3为本发明中执行基于递进式表达的选择意图判定的流程框架图；

图4为本发明实施例中三角形的二维矩阵示意图；

图5为本发明实施例中三角形和圆形通过异或运算得到的像素分布的差异矩阵示意图；

图6为本发明实施例中宽容度p对形状匹配错误率、下一阶段匹配冗余率的影响；

图7为递进式属性表达的实际场景示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

一种基于物体属性递进式表达的三维目标选择方法，包括以下三个步骤：

(1)提取场景中所有物体的形状、位置、尺寸属性

物体的形状属性是用户需要表达的主要属性，被定义为三维物体在投影平面上所呈的二维图像的外围轮廓。当场景中不存在形状相同或相似的物体时，形状属性足以唯一地区分出目标物体。当场景中存在形状歧义性问题时，需要引入在基于指点隐喻和射线投射的三维选择技术中常用的属性——物体的位置属性，通过对位置属性的表达来明确选择意图。位置属性被定义为三维物体在投影平面上所呈的二维图像的最小外接轴对齐矩形的中心点。场景中不存在“同心同形体(多个具有相同形状的几何体处于同一位置上)”这一极端情况时，形状和位置属性足以唯一地区分出目标物体。而为了保证足以应对这一极端情景，尺寸属性也被纳入其中。尺寸属性被定义为三维物体在投影平面上所呈的二维图像的面积。图1为物体的形状、位置、尺寸属性的定义。

如图2所示，交互系统在固定渲染管线的基础上，额外增加一个离屏渲染的阶段，将物体同时渲染到离屏纹理中，再对离屏纹理中的图像提取出形状、位置、尺寸的属性特征。为保证提出的选择技术对遮挡也能表现出鲁棒性，渲染管线中每个物体都会被渲染到各自独立的离屏纹理中，并在执行该部分渲染流程时，关闭深度测试，让物体的完整形状被渲染到离屏纹理中。另外，执行该部分渲染流程的片元着色时可以关闭光照、纹理等功能以加快渲染速度，降低离屏纹理的分辨率和通道深度以进一步降低算法的资源消耗。

(2)获取用户动作提取手势运动轨迹的形状、位置、尺寸属性

手势输入设备至少需要具备三个移动自由度。若虚拟的三维空间被投影到单目显示平面上，用户在单目三维空间中执行选择任务时，只需要使用输入设备在竖直平面上的两个移动自由度即可。若三维空间被投影到双目显示器中，用户需要在双目立体三维环境中执行选择任务，则要求手势输入设备具备三个移动自由度。

系统实时记录手势输入设备当前的空间位置，得到一个手势的运动轨迹。手势运动轨迹的形状属性通过悬空连贯地绘制目标物体的外围轮廓来表达，即手势轮廓，位置属性通过手势轮廓的最小外接轴对齐矩形的中心点位置来表达，尺寸属性则通过手势轮廓的面积来表达。

(3)基于递进式表达的选择意图判定

物体的形状、位置、尺寸属性与手势运动轨迹的形状、位置、尺寸属性进行匹配，当单一维度的属性足以让交互系统推断出用户的选择意图时，用户不需要冗余地表达其他维度的属性即可完成选择任务。当系统无法通过单一的属性推断选择意图时(例如用户绘制了一个正方形，但场景中存在多个正方形)，交互系统就会递进式地要求用户对其他维度的属性进行补充表达，以此来进行选择意图的推断。

根据物体形状、位置、尺寸的属性递进表达次序提出了与之相应的基于递进式表达的选择意图判定算法，如图3所示。首先进行物体轮廓和手势轮廓的形状匹配，根据“宽容度p”得到形状匹配结果，当只有一个匹配结果时输出该匹配物体，即为目标选择物体，否则进行位置属性匹配，然后再根据位置匹配结果判定是否需要进一步的尺寸属性匹配，匹配结果唯一输出该匹配物体，否则进行尺寸属性匹配，最后根据尺寸属性匹配得到匹配物体。

1)形状匹配

首先进行轮廓的形状匹配，在手势轮廓和物体轮廓间执行轮廓匹配算法，计算两组轮廓特征间的相似程度。用多边形近似轮廓，从多边形中提取纵横比、圆度、凸度和像素分布这四个特征用于描述手势轮廓和物体轮廓的近似度。根据下面公式1、公式2、和公式3分别计算手势轮廓和物体轮廓的纵横比、圆度、凸度三种特征，将数值较小者除以数值较大者，得到值域为(0.0,1.0]的三个特征值的归一化相似度。像素分布通过128x128的二维矩阵表示，将手势轮廓和物体轮廓的近似多边形归一化到128x128的像素矩阵中，所有处于多边形上或多边形内的像素点标注为1，处于多边形外的像素点标注为0，可得到手势轮廓和物体轮廓的像素分布的二维矩阵，图4所示为三角形的二维矩阵。将手势轮廓和物体轮廓的二维矩阵进行异或操作得到差异矩阵，图5为三角形和圆形通过异或运算得到的像素分布的差异矩阵，将差异矩阵中值为0的元素个数除以矩阵面积，即可得到值域为(0.0,1.0]的手势轮廓和物体轮廓的像素分布的归一化相似度。最后将四个归一化相似度相乘得到两组轮廓的形状相似度(公式4)，其值域为(0.0,1.0]。

形状相似度＝纵横比相似度×圆度相似度×凸度相似

×像素分布相似度(公式4)

2)形状匹配结果判断

由于用户表达的非精确性，形状相似度排序的结果并不完全可信，因此需要一个描述形状相似度差异的阈值，当多个物体的形状匹配相似度的差异低于该阈值时，算法认为无法通过形状匹配做出判别，需要用户表达其他属性以进一步区分选择意图。该阈值定义为“宽容度p”，与形状相似度最高的备选物体的相似度差异在p以内的所有备选物体，算法认为它们具有相同的形状，无法仅通过形状属性进行区分，需要进入下一种属性的匹配阶段。对宽容度p的设定会影响目标物体顺利通过形状匹配阶段的频率以及冗余物体进入下一个物体属性匹配阶段的频率。若p取得过小，目标物体由于算法准确率不足或人为表达的粗略性等原因无法通过形状匹配阶段的频率会较高；若p取得过大，虽然能更大程度上保证目标物体顺利通过形状匹配阶段，但会存在较多的冗余备选物体进入下一匹配阶段，进而增加用户表达下一种属性的难度。

根据实验得到的算法匹配结果，宽容度p的取值对形状匹配错误率(即目标物体无法通过形状匹配阶段的频率)和下一阶段匹配冗余率(冗余物体进入下一种属性匹配阶段的频率)的影响如图6所示。根据图中数据，宽容度p设置为10％时既能保证目标物体未能顺利通过形状匹配阶段的概率低于1％，也能保证只有大约8％的情况下会有冗余备选物体进入下一种属性匹配阶段。

对场景中所有物体的形状相似度按相似度递减顺序排序，首先以宽容度p截取与用户绘制轮廓形状最相似的物体集合。若集合中只有一个物体，即不存在多个物体的形状相似度非常接近的情况，则终止意图判定算法，将该物体作为选择结果反馈给用户；若有多个物体在此集合中，即存在形状歧义性，这些待选物体进入位置匹配阶段，系统将待选物体边缘半高亮以提示用户进入位置匹配阶段。

3)位置匹配及判断

距离匹配算法对手势轮廓与通过形状匹配阶段的待选物体集合进行距离匹配。若不存在位置歧义性，算法终止，直接将距离最近的物体通过边缘全高亮方式作为推荐反馈给用户；否则，距离手绘轮廓最近的待选物体集合将进入下一个尺寸匹配阶段。

4)尺寸匹配及判断

尺寸匹配算法根据手势轮廓的尺寸和通过位置匹配阶段的待选物体的尺寸进行比对，尺寸最接近的物体通过边缘全高亮方式作为推荐结果反馈给用户。用户判断其推荐结果是否符合自己的选择意图，若符合，则做出确认操作，选择结束。

位置和尺寸匹配都是在用户完成形状属性表达后实时执行。系统在执行意图判定算法时，虽然位置匹配优先于尺寸匹配执行，但并不严格要求用户表达位置和尺寸的先后顺序，用户可以根据个人偏好和实际情况决定如何表达位置和尺寸属性。

在提出的意图判定算法中，没有将三个属性特征的相似度直接通过权重方式进行相加来计算选择结果，而是通过三个阶段的匹配，并将每个阶段匹配的第一梯队对象同等地进入到下一阶段的匹配算法中。权重赋予非常依赖于算法的特点和场景的特点，更换不同的算法、应用于不同的场景时，之前训练好的权重可能不再适用。本发明提出的判定算法，在某一维度的匹配算法的结果不够准确时(这种不准确或是由于算法本身的性能问题，或是由于人表达的不精确性)，也能保证最终匹配结果的准确性。这既平衡了人的能力和任务难度，也放宽了对匹配算法的准确度要求——每个维度的算法不需要非常精确，只要能大体上判别出趋势，三个维度属性特征之间的级联增强也足以准确推断出用户的选择意图。

本实施例在具体实施过程中，采用分辨率为1024x 768的投影仪EPSON CB-X04作为显示设备以提供110cm x 110cm的有效显示区域。HTC Vive Lighthouse作为三维追踪设备，HTC Vive Controller手柄作为手势输入设备，所有待选物体位于距离渲染相机2米的虚拟平面上。用户站立于距离显示屏幕2米的位置上进行实验。实验前，虚拟环境和真实环境的尺寸和位置已被调校统一，虚拟相机和真实显示区域的视场角被严格校准，以保证虚拟物体在显示屏幕上的可见尺寸与其虚拟尺寸相等。

(1)准备工作

屏幕上有一蓝色光标用于指示当前手柄所在空间位置。用户被要求先将手臂维持在一个最舒适的悬空操作位置，该位置的光标会被校准到屏幕中心，手柄运动与光标移动之间的映射灵敏度被设置为用户可以通过手臂运动驱动光标刚好可达屏幕的整个区域。屏幕中心的蓝色菱形框被用于开始前的手势位置校准，将光标移动到菱形框内，点击手柄上的application按钮，菱形框消失，表示已完成准备工作，可以开始物体选择操作。

(2)物体选择

用户通过按住手柄上的application按钮以持续地输入轮廓轨迹，运行于后台的轨迹记录程序以100Hz的频率采样光标位置并将其记录到轨迹序列中。绘制过程中，用户可以实时看到光标划过的区域出现已经绘制出的轨迹。松开application按钮时，系统判定轮廓绘制完成，然后可以通过移动手柄的方式进行轮廓平移，以表达物体的轮廓位置属性。移动过程中，所有通过形状属性匹配阶段的待选物体的边缘会被半高亮显示，其中和轮廓位置属性最相似的待选物体边缘会被全高亮显示。半高亮反馈用于提示用户可以修改轮廓位置属性的待选物体集合；全高亮反馈用于提示用户在终止轮廓位置属性表达时将会选中的物体，当目标物体边缘全高亮时即可点击application按钮完成选择。

图7为递进式属性表达的实际场景示意图，图中，左边(a)表示用户通过表达形状属性一次性选中场景中的圆锥体，被选中的圆锥体全高亮显示。中间的(b)中，由于场景中存在两个正方形，用户在完成形状属性表达后还需要修改轮廓位置以表达位置属性才能选择出待选的正方形。根据形状属性匹配，有两个待选正方形，进一步地根据位置属性匹配，与手势轮廓位置接近的是待选择正方形，用可全高亮显示，距离手势轮廓位置较远的正方形用半高亮进行显示。右边的(c)中，场景中存在一对同心圆，用户想选中较小的红色圆，就需要在表达形状属性后继续表达尺寸属性，才能让系统准确地推断出选择意图，由于手势轮廓绘制的是较小尺寸的圆，因此选中的是中间较小的红色圆。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于物体属性递进式表达的三维目标选择方法，其特征在于，包括以下步骤：

(1)提取场景中所有物体的形状、位置和尺寸属性；具体过程为：在固定渲染管线的基础上额外增加一个离屏渲染阶段，在执行渲染流程时关闭深度测试，并将渲染管线中每个物体的完整形状都渲染到各自独立的离屏纹理中，对离屏纹理中的图像提取出形状、位置、尺寸的属性特征；

其中，物体的形状属性定义为三维物体在投影平面上所呈的二维图像的外围轮廓；物体的位置属性定义为三维物体在投影平面上所呈的二维图像的最小外接轴对齐矩形的中心点；物体的尺寸属性定义为三维物体在投影平面上所呈的二维图像的面积；

(2)获取用户的手势动作，提取手势运动轨迹的形状、位置和尺寸属性；其中，手势运动轨迹的形状属性通过悬空连贯地绘制目标物体的外围轮廓来表达；位置属性通过手势轮廓的最小外接轴对齐矩形的中心点位置来表达；尺寸属性通过手势轮廓的面积来表达；

(3)执行基于递进式表达的选择意图判定，具体过程如下：

(3-1)形状的匹配及判断：计算场景中所有物体的形状与手势运动轨迹的形状相似度；对场景中所有物体的形状相似度进行排序，以宽容度p截取与用户手势运动轨迹形状最相似的物体集合；若集合中只有一个物体，将该物体作为选择结果反馈给用户，选择结束；若有多个物体在此集合中，将这些待选物体进入位置匹配阶段；所述的宽容度p设置为10％，其计算公式为：P＝1-形状相似度；

计算场景中所有物体的形状与手势运动轨迹的形状相似度的具体过程为：

(3-1-1)计算手势运动轨迹形状和物体形状的纵横比、圆度、凸度三种特征，将数值较小者除以数值较大者，得到值域为(0.0,1.0]的三个特征值的归一化相似度；纵横比、圆度、凸度的计算公式为：

(3-1-2)将手势运动轨迹形状和物体形状的近似多边形归一化到128x128的像素矩阵中，所有处于多边形上或多边形内的像素点标注为1，处于多边形外的像素点标注为0，得到手势运动轨迹形状和物体形状的像素分布的二维矩阵；将两个二维矩阵进行异或操作得到像素分布的差异矩阵，将差异矩阵中值为0的元素个数除以矩阵的面积，得到值域为(0.0,1.0]的手势运动轨迹形状和物体形状的像素分布的归一化相似度；

(3-1-3)计算物体形状与手势运动轨迹形状相似度，计算公式为：

形状相似度＝纵横比相似度×圆度相似度×凸度相似×像素分布相似度；

(3-2)位置的匹配及判断：使用距离匹配算法对手势运动轨迹的位置与通过形状匹配阶段的待选物体集合进行距离匹配；若不存在位置歧义性，直接将距离最近的物体作为推荐反馈给用户；否则，距离手势运动轨迹最近的多个待选物体的集合进入尺寸匹配阶段；

(3-3)尺寸的匹配及判断：使用尺寸匹配算法对手势运动轨迹的尺寸和通过位置匹配阶段的待选物体的尺寸进行比对，尺寸最接近的物体作为推荐结果反馈给用户；用户判断其推荐结果是否符合自己的选择意图，若符合，则做出确认操作，选择结束。

Images