CN104765448A - 一种增强现实环境下自然手交互方法 - Google Patents

Abstract

本发明涉及人机交互技术领域，具体是一种在增强现实环境下与真实世界中虚拟模型自然交互的方法。提供一种在增强现实环境下通过人手直接进行自然交互的方法，将椭圆拟合方法引入自然手交互方法中，提出一种通过椭圆特征变量变化实现手的语义分析方法，并提供一种语义判定算法，人在交互过程中对人手限制很少，不需要依赖于任何传感设备，交互更加自然带给用户更为贴近生活的交互体验，算法速度快，交互稳定,最终实现通过自然手控制虚拟物体移动、旋转、大小。

Description

一种增强现实环境下自然手交互方法

技术领域

本发明涉及人机交互控制技术领域，具体是一种三维空间虚拟模型交互领域，在增强现实环境下通过手与真实世界中虚拟模型自然交互。

背景技术

增强现实(Augment Reality简称为AR)技术是一种在虚拟现实技术的基础上发展起来的一种新兴技术，他借助计算机视觉技术，可视化技术等将虚拟图像或其他信息有机的叠加到用户所看到的真实的场景中，包括视觉、听觉、嗅觉、触觉信息等、从而达到超越现实的感官体验。

目前较为成熟的技术为基于标识的ARToolKit技术，它是由日本广岛城市大学加藤博一博士与美国华盛顿大学联合开发的增强现实二次开发工具，具有实时性高，开发方便快捷的优点。其主要包括图像采集分析模块，注册模块和渲染模块。其存在缺少直接有效的交互手段的问题。随着计算机技术与多媒体技术的发展，人们追求着更加便捷自然的交互方式，传统的鼠标键盘交互方式已经不能满足人们的需要。直接通过手进行自然交互的方式，更符合人们日常的行为习惯，是一个极佳的选择。近年国内外学者采用手进行直接交互的相关技术设计增强现实系统的相关工作还比较少。尚且没有较好的成熟系统方法。如何通过手与虚拟模型进行直接交互，是增强现实系统中一个热点难点问题。中国专利CN 103955267 A公开了一种手自然交互方法，然而其依赖于一定磁感硬件设备，不够经济方便，同时也并不能算一种严格意义上的通过手自然交互方法。不能实现手与虚拟物体进行直接交互，控制虚拟物体移动、旋转、大小。

发明内容

针对现有技术存在的上述问题，本发明提供一种在增强现实环境下通过人手直接进行自然交互的方法。本发明在增强现实环境下，实现一种手与虚拟物体进行直接交互，能够实现控制虚拟物体移动、旋转以及虚拟物体大小。并且不需要依赖于任何传感设备，对手没有任何姿态限制，带给用户更为贴近生活的交互体验，从而也扩展增强现实技术的应用空间。

本发明的解决上述问题的技术方案是，一种增强现实环境下自然手交互方法，根据肤色模型对摄像头采集的视频帧进行图像二值化，对二值化后的视频帧进行轮廓提取得到轮廓集，在轮廓集中找出图像最大轮廓，对最大轮廓进行椭圆拟合，提取椭圆拟合的特征值，根据特征值计算相邻两视频帧特征值的变化量，根据特征值变化量定义交互语义，并根据交互语义和椭圆特征值的变化量确定动作语义，输入增强现实系统。椭圆拟合的特征值包括：椭圆长半轴半径，短半轴半径，椭圆倾角d，椭圆中心坐标。根据肤色模型进行图像二值化具体包括，采集当前环境下肤色图片，统计肤色图片所有像素值，并在肤色区域判定约束参数范围内找出能最大覆盖当前统计的像素值的区间为当前肤色约束区间，确定肤色区域判定函数，像素值满足肤色区域判定函数即确定为肤色。所述交互语义定义包括：椭圆长半轴半径变化百分比对应为虚拟模型放大百分比，椭圆倾角变化量对应为虚拟模型移动方向改变量，椭圆中心变化量对应为虚拟模型移动控制量，短半轴半径对应为手型控制重置量。确定动作语义进一步具体包括：根据特征值判断语义，若椭圆短半轴半径小于*35％，语义判断结束，后续重置时间t内不操作视屏帧，重置时间t后根据当前图像帧中椭圆长半轴半径，椭圆倾角，椭圆中心重置初始椭圆长半轴半径，初始椭圆倾角，初始椭圆中心；若大于*35％，获取前后帧椭圆长半轴半径变化百分比差值，前后帧椭圆倾角变化量百分比差值，前后帧椭圆中心变化量百分比差值，取百分比差 值最大者对应的交互语义即为当前手势语义，实现语义判定。肤色区域判定函数为：采集当前环境下肤色图片，统计采集的肤色图片所有像素值的色度Cr值和亮度Cb值，分别找出能最大覆盖当前统计的所有Cr值和Cb值的长度的两个区间，即为当前环境下肤色区域色度Cr值和亮度Cb值的约束区间，约束区间内的像素值视为肤色像素

本发明将椭圆拟合方法引入通过自然手交互方法中，提出一种通过椭圆特征变量变化实现手的语义分析方法，并提供一种语义判定算法，算法优点在于人在交互过程中对人手限制很少，交互更加自然，算法速度快，交互稳定。

附图说明

图1自然手交互方法算法流程图；

图2采取本交互算法的增强现实系统构架图。

具体实施方式

下面结合附图对本发明的内容作进一步详细说明。

本发明在提取人手轮廓的基础上，引入轮廓椭圆拟合，通过椭圆特征值的变化，实现手语义的提取，从而实现手与虚拟物体的交互。

具体方法包括：

1)建立肤色模型对视频帧进行图像二值化，通过采集当前环境下肤色图片，统计采集的肤色图片所有像素值的色度Cr值和亮度Cb值(图片采取YCrCb色彩空间编码)，分别找出能最大覆盖当前统计的所有Cr值和Cb值(例如：一个长度为50)的两个区间，即为当前环境下肤色区域色度Cr值和亮度Cb值的约束区间，约束区间即构成肤色区域判定函数，满足约束区间的像素值则视为肤色像素。

2)采用主动轮廓模型(亦称Snake模型)算法对视频帧进行轮廓提取。

3)采用现有基于几何距离的最小二乘法椭圆拟合方法进行轮廓椭圆拟合。找出一个与手轮廓最相近的椭圆。从而得到椭圆长半轴半径，短半轴半径，椭圆倾角，椭圆中心。

4)进行交互算法，流程如下：

a.根据采集的第一个视屏帧中拟合椭圆的短半轴半径设置初始短半轴半径；

b.当前视屏帧中拟合椭圆的短半轴半径若小于初始短半轴半径的35％，则后续重置时间t内的视屏帧不再进行任何操作，交互用户可以在重置时间t内重新调整手的状态。

c.当前视屏帧中拟合椭圆的短半轴半径若小于初始短半轴半径的35％，计算前后帧椭圆长半轴半径变化百分比差值，前后帧椭圆倾角变化量百分比差值，前后帧椭圆中心变化量百分比差值，并取三个百分比差值的最大者。若长半轴半径变化最大，则根据变化百分比同比例放大或者缩小(正值对应放大负值对应缩小)虚拟物体实现控制虚拟物体的大小；若椭圆倾角变化最大，则根据椭圆倾角变化量同比旋转虚拟物体实现虚拟物体的旋转；若椭圆中心变化最大，则根据椭圆中心变化量同比改变虚拟物体三维坐标中两维，实现虚拟物体在某一平面上的移动。

如图1所示为自然手交互方法流程示意图，包括步骤，

A1：视频帧获取。摄像头获取当前时刻交互图像。

A2：视频帧图像二值化。采取可变阈值的肤色模型方法，可建立肤色区域判定约束条件如下式所示为：                                                   $\left\{\begin{array}{c}a\≤\mathrm{Cr}\≤a+50\\ b\≤\mathrm{Cb}\≤b+50\end{array}\right..$

当前环境约束参数a、b获取，采集当前环境中一个肤色图片并统计采集的 肤色图片所有像素值的色度Cr值和亮度Cb值(图片采取YCrCb色彩空间编码)。分别找出能最大覆盖当前统计的所有Cr值和Cb值的长度为50的区间，即为当前环境下肤色下色度Cr值和亮度Cb值判定约束条件，满足约束条件的像素值即为肤色，对应像素值置为255，否则置为0。

A3：视频帧手轮廓提取。可采用主动轮廓模型(亦称Snake模型)算法进行二值图像轮廓提取。并确定最大(轮廓连接点最多)的一个轮廓为手的轮廓。具体实施可以结合计算机视觉领域中开源代码opencv中CvFindContours(轮廓查找函数)实现。

A4：视频帧手轮廓椭圆拟合阶段。可采用基于几何距离的最小二乘法椭圆拟合方法进行轮廓椭圆拟合。找出一个与手轮廓最相近的椭圆。从而得到椭圆长半轴半径，短半轴半径，椭圆倾角，椭圆中心。具体实施可以结合计算机视觉领域中开源代码opencv中CvFitEllipse()椭圆拟合函数实现。

A5：判定椭圆长半轴半径初始值，短半轴半径初始值，椭圆倾角初始值D，椭圆中心初始值(X，Y)的初始化状态。若处于未初始化状态，或者处于待重置状态且此时短半轴半径大于*90％执行步骤A6，否则执行步骤A7。所有参数最初默认为未初始化状态。

A6：若处于未初始化状态、待重置状态，将当前视屏帧中拟合椭圆对应特征值赋值给椭圆作为长半轴半径初始值、短半轴半径初始值、椭圆倾角初始值D、椭圆中心初始值(X，Y)，并置状态为已初始化状态；

A7:判定当前短半轴半径是否大于30％*。如大于则进入步骤A9，否则进入A8。(其中，在现实交互中即为手掌宽度，交互用户可通过垂直旋转手掌改变视屏帧中拟合椭圆短半轴半径r₂，如缩小到椭圆长半轴半径初始值参数以下交互用 户即可在接下重置时间t内改变交互用户手动作状态，实现手状态调整，其中初始值参数可根据用户交互需要在25％-50％间调整，值越大识别调整指令越灵敏，用户手旋转辅助越小)

A8：置椭圆长半轴半径初始值，短半轴半径初始值，椭圆倾角初始值D，椭圆中心初始值(X，Y)的初始化状态为待重置状态。

A9：手语义判定阶段。

1)对交互语义进行定义：椭圆长半轴半径变化百分比对应语义为虚拟模型放大百分比(百分比小于100％代表虚拟模型的缩小)；椭圆倾角变化量对应语义为虚拟模型移动方向改变量；椭圆中心变化量为虚拟模型移动控制量；短半轴半径代表手型控制重置量。

2)如果直接使用定义的特征变量进行语义交互，虚拟物体易出现抖动，控制不稳定，而且无法转变手型，以及控制后的手型调整，极为不方便。本发明还进一步提出一种语义判定方法。具体如下:

a.若小于*30％，(其中在现实交互中即为手掌宽度，交互用户可通过垂直旋转手掌改变视屏帧中拟合椭圆短半轴半径r₂，方缩小到椭圆长半轴半径初始值30％以下交互用户即可在接下重置时间t内改变交互用户手动作状态，实现手状态调整，其中参数30％可根据用户交互需要在25％-50％间调整，值越大方法识别调整指令越灵敏，用户手旋转辅助越小)对后续重置时间t内的视屏帧不进行图像处理，根据用户重新调整手动作状态的时间需要设置重置时间t，一般设置为1.5-4秒较为合适，从而提供用户在时间t内重置手型。重置时间t后计算当前视频帧中拟合椭圆对应的椭圆长半轴半径，椭圆倾角，椭圆中心重置椭圆长半轴半径初始值、椭圆倾角初始值D、椭圆中心初始值(X，Y)，并置初始值初始 化状态为已初始化状态。

b.若r₂大于*35％，对虚拟物体控制判断以及控制参数确定。记前后帧椭圆

长半轴半径r₁变化百分比差值为   记前后帧椭圆倾角d变化量差值为 

Δ(D-d)，记前后帧椭圆中心(x，y)变化量差值为Δ(X-x，Y-y)。根据取

值：   对虚拟物体控制判断，其中S为视频图像

对角线长度确定。

若满足：    $\mathrm{\Δ}\frac{r_1}{D}==\mathrm{Max}(\mathrm{\Δ}\frac{r_1}{D},\frac{\mathrm{\Δ}(D-d)}{90},\frac{\left|\mathrm{\Δ}(X-x,Y-y)\right|}{S})$ 且    $\frac{r_1}{D}>a$

确定手势语义为控制虚拟物体大小，将长半轴半径变化百分比值传入增强现实渲染模块(如图2)。

若满足：

$\frac{\mathrm{\Δ}(D-d)}{90}==\mathrm{Max}(\mathrm{\Δ}\frac{r_1}{D},\frac{\mathrm{\Δ}(D-d)}{90},\frac{\left|\mathrm{\Δ}(X-x,Y-y)\right|}{S})$ 且    $\frac{\mathrm{\Δ}(D-d)}{90}>b$

确定手势语义为控制虚拟物体旋转方向，将椭圆倾角变化量Δ(D-d)传入增强现实渲染模块(如图2)。

若满足：    $\frac{\left|\mathrm{\Δ}(X-x,Y-y)\right|}{S}==\mathrm{Max}(\mathrm{\Δ}\frac{r_1}{D},\frac{\mathrm{\Δ}(D-d)}{90},\frac{\left|\mathrm{\Δ}(X-x,Y-y)\right|}{S})$ 且    $\frac{\left|\mathrm{\Δ}(X-x,Y-y)\right|}{S}>C$

确定手势语义为控制虚拟物体移动位移，将椭圆中心(x，y)变化量差值

Δ(X-x，Y-y)传入增强现实渲染模块(如图2)。

A10：增强现实系统中实现与虚拟物体交互。采用本算法的增强现实系统框架图如图2所示。若A9判定为控制虚拟物体大小，则在渲染模块中根据传入的 长半轴半径变化百分比值同比放大或者缩小(正值对应放大负值对应缩小)虚拟物体，实现控制虚拟物体的大小。若A9判定为控制虚拟物体旋转，则在渲染模块中根据传入的椭圆倾角变化量Δ(D-d)旋转虚拟物体相同角度，实现控制虚拟物体的旋转。若A9判定为控制虚拟物体移动，则在渲染模块中根据传入的椭圆中心(x，y)变化量差值Δ(X-x，Y-y)同比更改虚拟物体x,y坐标，实现控制虚拟物体在空间平面上移动。

本发明将椭圆拟合方法引入通过自然手交互方法中，提出一种通过椭圆特征变量变化实现手的语义分析方法，并提供一种语义判定算法，算法优点在于人在交互过程中对人手限制很少，交互更加自然，算法速度快，交互稳定。

Claims (7)

1.一种增强现实环境下自然手交互方法，其特征在于：根据肤色模型对摄像头采集的视频帧进行图像二值化，对二值化后的视频帧进行轮廓提取得到轮廓集，在轮廓集中找出图像最大轮廓，对最大轮廓进行椭圆拟合，提取椭圆拟合的特征值，根据特征值计算相邻两视频帧特征值的变化量，根据特征值变化量定义交互语义，并根据交互语义和椭圆特征值的变化量确定动作语义，输入增强现实系统。

2.根据权利要求1所述的交互方法，其特征在于，椭圆拟合的特征值包括：椭圆长半轴半径，短半轴半径，椭圆倾角d，椭圆中心坐标(x,y)。

3.根据权利要求1所述的方法，其特征在于，根据肤色模型进行图像二值化具体包括，采集当前环境下肤色图片，统计肤色图片所有像素值，并在肤色区域判定约束参数范围内找出能最大覆盖当前统计的像素值的区间为当前肤色约束区间，确定肤色区域判定函数，像素值满足肤色区域判定函数即确定为肤色。

4.根据权利要求1所述的交互方法，其特征在于，所述交互语义定义包括：椭圆长半轴半径变化百分比对应为虚拟模型放大百分比，椭圆倾角变化量对应为虚拟模型移动方向改变量，椭圆中心变化量对应为虚拟模型移动控制量，短半轴半径对应为手型控制重置量。

5.根据权利要求4所述的交互方法，其特征在于，确定动作语义进一步具体包括：根据特征值判断语义，若椭圆短半轴半径小于*35％，语义判断结束，后续重置时间t内不操作视屏帧，重置时间t后根据当前图像帧中椭圆长半轴半径，椭圆倾角，椭圆中心重置初始椭圆长半轴半径，初始椭圆倾角，初始椭圆中心；若大于*35％，获取前后帧椭圆长半轴半径变化百分比差值，前后帧椭圆倾角变化量百分比差值，前后帧椭圆中心变化量百分比差值，取百分比差值最大者对应的交互语义即为当前手势语义，实现语义判定。

6.根据权利要求3所述的交互方法，其特征在于，肤色区域判定函数为：采集当前环境下肤色图片，统计采集的肤色图片所有像素值的色度Cr值和亮度Cb值，分别找出能最大覆盖当前统计的所有Cr值和Cb值的长度的两个区间，即为当前环境下肤色区域色度Cr值和亮度Cb值的约束区间，约束区间内的像素值视为肤色像素。

7.根据权利要求5所述的交互方法，其特征在于，语义判定进一步具体包括：记前后帧椭圆长半轴半径变化百分比差值为，前后帧椭圆倾角d变化量差值为，前后帧椭圆中心(x，y)变化量差值为，若满足：

且   确定手势语义为控制虚拟物体大小，将长半轴半径变化百分比值传入增强现实渲染模块；若满足：

且   确定手势语义为控制虚拟物体旋转方向，将椭圆倾角变化量Δ（D-d)传入增强现实渲染模块；若满足：   且    确定手势语义为控制虚拟物体移动位移，将椭圆中心(x，y)变化量差值Δ(X-x，Y-y)传入增强现实渲染模块。