CN102226880A

CN102226880A - 一种基于虚拟现实的体感操作方法及系统

Info

Publication number: CN102226880A
Application number: CN2011101492048A
Authority: CN
Inventors: 程懿远; 胡洪磊; 颜世聪; 王嘉; 鲍东山
Original assignee: BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Current assignee: Beijing Nufront Mobile Multimedia Technology Co Ltd
Priority date: 2011-06-03
Filing date: 2011-06-03
Publication date: 2011-10-26

Abstract

本发明公开了一种基于虚拟现实的体感操作方法及系统，利用三维手势检测技术，检测出在三维空间下手的各种动作，从而设计出三维手势与三维显示的虚拟现实变化之间的映射，目的是使人在现实空间中执行各种三维手势动作，而三维现实的虚拟现实则根据动作进行相应变化，使人能感到亲身体验虚拟现实效果。

Description

一种基于虚拟现实的体感操作方法及系统

技术领域

本发明属于电子设备操作控制技术及人机交互技术领域，尤其涉及一种基于虚拟现实的体感操作方法及系统。

背景技术

德国弗朗霍夫通讯研究院海因里希－赫兹研究所开发的iPoint3D系统,它的功能是在立体显示三维影像的3D显示器上，利用手势操作三维影像。对于德国的iPoint3D系统，主要是通过三维手势操作三维显示的图片，它存在一些问题，这些图片相互之间没有三维关系，手势对图片的操作包括放大、缩小、移动等简单的二维操作，并且有些动作必须要双手才能完成。

现在对人的主要部位的跟踪检测技术在发展，对人体基本动作的检测有初步的成果，但是目前在三维空间下的手势还没有一个完整定义，这种三维手势也没有用到虚拟现实中。因此，我们把三维手势映射到对三维显示的虚拟空间的操作上，可以实现人的动作对虚拟现实的控制。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种基于虚拟现实的体感操作方法及系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明一方面，公开了一种体感操作方法，包括：

识别操作者的手势及其在真实空间中的运动轨迹；

对手势类别及运动轨迹进行解析，得到相应的操作命令；

根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。

在一些可选的实施例中，所述的识别手势的运动轨迹包括：所述运动轨迹的形状，和/或运动轨迹选定点的位置。

在一些可选的实施例中，所述对手势类别及运动轨迹进行解析包括：

根据预先约定的手势形状，确定手势类别；

对手势的运动轨迹进行量化处理，得到轨迹信息；

映射所述的轨迹信息到相应的操作命令。

在一些可选的实施例中，所述的对手势的运动轨迹进行量化处理包括：

测算所述运动轨迹的起始点和中间点之间的第一连线的长度；

测算所述运动轨迹的起始点到结束点之间的第二连线的长度；

测算所述运动轨迹的中间点到结束点之间的第三连线的长度；

当所述第一连线和第三连线的长度之和与第二连线的差值大于预设的阈值，确定所述运动轨迹为弧线；否则，确定所述运动轨迹为直线。

在一些可选的实施例中，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向；当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。

在一些可选的实施例中，所述相应的操作命令具体包括：

当所述运动轨迹是直线时，根据运动轨迹的方向，对虚拟场景中的选定物体进行平移。

当所述的运动轨迹是弧线时，对虚拟场景中的选定物体进行翻转。

在一些可选的实施例中，所述进行相应的场景调整包括：

当识别出的手势指示选定点时，将该手势在虚拟场景中对应点的物体作为选定物体显示在虚拟场景中；

当识别出的手势指示平移时，从所述选定点开始，将选定物体在虚拟场景中平移与所述运动轨迹相应的线条。

当识别出的手势指示翻转时，从所述选定点开始，将选定物体依据所述选定物体的中心点翻转与所述运动轨迹形状相应的角度。

本发明的另一方面是公开了一种体感操作系统，包括：

识别单元，识别操作者的手势及其在真实空间中的运动轨迹；

解析单元，对手势类别及运动轨迹进行解析，得到相应的操作命令；

编辑单元，根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。

在一些可选的实施例中，所述的识别单元包括：

手势识别模块，采集操作者的手势形状；

动作识别模块，记录手势的空间位置及运动轨迹。

在一些可选的实施例中，所述的解析单元包括：

手势解析模块，根据预先约定的手势形状，确定手势类别；

轨迹处理模块，对手势的运动轨迹进行量化处理，得到轨迹信息。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

本发明通过三维手势实现人与虚拟现实交互，使用户在三维显示的虚拟场景中随意的控制，将用户三维手势信号通过虚拟现实编辑以实现虚拟场景的变化，从而使用户感受到自己对虚拟现实的控制。本发明涉及基于三维手势的体感操作系统，利用三维手势检测技术，检测出在三维空间下手的各种动作，从而设计出三维手势与三维显示的虚拟现实变化之间的映射，目的是使人在现实空间中执行各种三维手势动作，而三维现实的虚拟现实则根据动作进行相应变化，使人能感到亲身体验虚拟现实效果。它适用于控制各种三维显示的虚拟现实，如三维地图、城市规划、道路桥梁、工业和医学的仿真应用以及网络游戏等。

说明书附图

图1是本发明方法流程图；

图2是具体实施例一手掌拉近或推远效果图；

图3是具体实施例一手掌平移效果图；

图4是具体实施例一手掌弧线移动效果图；

图5是具体实施例一手掌三维移动效果图；

图6是具体实施例一手指点击和手握拳手势图；

图7是具体实施例一手握拳移动效果图；

图8是具体实施例二初始化用户视角效果图；

图9是具体实施例二手掌拉近或推远效果图；

图10是具体实施例二手掌平移效果图；

图11是具体实施例二手掌弧线移动效果图；

图12是具体实施例二手掌三维移动俯视示意图；

图13是具体实施例二手掌三维移动侧视示意图；

图14是具体实施例二手掌三维移动效果图；

图15是具体实施例二移动物体效果图；

图16是双目视觉传感器模型立体视图；

图17是双目视觉传感器模型俯视图；

图18是三点定圆示意图；

图19是本发明体感操作系统结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

图1为本发明一种体感操作方法流程图，包括以下步骤：

步骤101：识别操作者的手势及其在真实空间中的运动轨迹；

本步骤中，识别操作者的手势可以通过测算该手势上的所有点在真实空间中的坐标实现。识别手势在真实空间中的运动轨迹时，可以将手势上的一个点作为测算基准点，例如将一个手指指端作为测算基准点，通过测算该测算基准点在运动过程中在每一位置的坐标，识别出运动轨迹。

上述测算坐标，均可以基于立体视觉技术实现，这里不再赘述。

步骤102：对手势类别及运动轨迹进行解析，得到相应的操作命令；

本步骤中，可以利用预设的手势模板，确定操作者的手势对应的操作类型。作为一种实施方式，当手抬起时，虚拟场景激活；手放下时，取消控制；手势是掌时，解析后的操作命令是对虚拟场景的移动和旋转；手势是伸出手指时，操作命令是选择物体；手势是握拳时，操作命令是抓取所选择的物体。

更具体的，根据运动轨迹的起始点、中间点和结束点，以及预设的阈值，确定所述运动轨迹为弧线或直线运动。

在一些可选的实施例中，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向。

在一些可选的实施例中，当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。

步骤103：根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。

本步骤中，在一些可选的实施例中，当识别出的手势指示选定点时，将该手势在虚拟场景中对应点的物体作为选定物体显示在虚拟场景中；

利用三维手势检测技术，确定用户的手型和手的空间坐标信息，最后确定手势动作，具体实现如下：

首先，需要得到手在空间中的坐标，如图16所示，两台焦距为f的摄像机平行放置，光轴之间的距离为T，图16中的两个矩形分辨表示左右摄像机的成像平面，O _l和O _r为左右摄像机的焦点，对于场景中的任意一点P，在左右摄像机成像平面上的成像点分别为p _l和p _r，它们在成像平面上的成像坐标（图像坐标）为x ^l和x ^r，则视差定义为d = x ^l - x ^r（如图17所示）。

以图16中的左摄像机焦点O _l为原点， O _l O _r所在直线为X轴，左摄像机光轴为Z轴，垂直于XZ轴的为Y轴，则P点在O _l坐标系中的坐标可以按照公式（1）计算：

(1)

其次，根据手在空间中一系列坐标点，判断出手的运动方式，直线运动或者弧线运动。取运动的起点p1，中间点p2和终点p3,设p1和p2点的距离为l ₁，p1和p3的距离为l ₂，p2和p3的距离为l ₃。根据三角形法则，两边之和大于第三边，计算三个距离关系f：

(2)

(3)

并预先设定很小的阈值

，根据f的值判定运动形式如下：

若f=0，说明三个点在一条直线上，就可以判断出手做直线运动;

若f<t，由于手的运动不可能有理想状态的直线运动，因此在弯曲程度很小的情况下，也看成是直线运动；

若f>t就认为手在做弧线运动。

最后，确定手运动的具体方式：

(1) 若为直线运动，根据起点坐标和终点坐标，确定手在空间中的运动方向。

(2) 若为弧线运动，对一系列的坐标点进行圆拟合，具体如下：

如图18所示，还是取出运动的起点p1，中间点p2和终点p3,不在一条直线上的三点可以确定一个平面M，那么设M为：

(4)

将p1， p2，p3带入(2)式得：

(5)

(6)

(7)

联立(5)、(6)、(7)得出a,b,d关于c的三个式子，令c为任意简单的值，得到a,b,d三个值，将a,b,c,d带入(4)式，这样就得到了M平面的方程为：

(8)

又由不在一条线上的三点确定圆，并且圆就在平面M上。设圆心为P ₀(x ₀, y ₀, z ₀),那么带入(8)式得：

(9)

从图18中可以看出，h ₁和h ₂分别为P ₁ P ₂和P ₂ P ₃的中点，即：

,

(10)

那么向量P ₀ h ₁与向量P ₁ P ₂垂直，向量P ₀ h ₂与向量P ₂ P ₃垂直，所以：

(11)

(12)

式(9)、(11)、(12)为x ₀、y ₀、z ₀的三个方程，联立即可解出圆心坐标P ₀(x ₀, y ₀, z ₀)，然后求出手的每一个坐标到圆心的距离为半径：

(13)

圆的拟合半径r为这些距离的平均值。根据圆心和半径在空间中存在一个球面，三点所在平面与球面的相交圆为：

(14)

由(14)式的圆，再根据起点和终点坐标确定运动的轨迹，这样就得到了手势的弧线运动。

虚拟现实编辑单元根据用户手的空间位置和手势动作信息，进行相应场景调整，更新三维显示的虚拟现实信息。通过立体显示器，将三维虚拟场景立体显示，供用户观看。

对虚拟现实控制具体表现为：利用有效的三维手势动作，从各种视角去观看虚拟的场景，对虚拟场景的物体进行选择、移动等操作。

具体实施例一：

用户在虚拟场景之外控制，例如观看虚拟现实下的艺术品、电子地图、工业设备仿真等。

三维手势动作定义及对虚拟场景的操作如下：

1. 手抬起：控制激活，虚拟场景随手势动作变化。

2. 手掌拉近：手掌沿视线方向拉近，此时场景拉近，对某一物体放大，即视觉拉近，此时视野范围变小，适用观察某个细节。手势动作及场景变化如图2所示。

3. 手掌推远：手掌沿视线方向推远，此时场景推远，视野范围扩大，物体缩小。手势动作及场景变化如图2所示。

4. 手掌平移：在与视线垂直的平面上手掌进行任何方向的移动，场景在平面平行方向上移动，适用于用户观察场景的其它部分。手势动作及场景变化如图3所示。

5. 手掌弧线移动，手掌在与视线垂直的平面上画弧，场景以视线为轴沿弧线方向旋转。手势动作及场景变化如图4所示。

6. 手掌三维移动：手掌在三维空间从远端向近端直线移动，虚拟场景或物体以自己为中心，沿手移动的方向旋转。适用于用户在任意角度观察某一物体，手势动作及场景变化如图5所示。

7. 手指点击：选择某一物体，可对其进行操作。手势如图6所示。

8. 手握拳：抓取选择的物体。手势如图6所示。

9. 拳移动：拳在三维空间移动，使被抓取的物体根据手在空间中位置变化而变化，手势动作及场景变化如图7。

10. 拳伸开：被抓取的物体在当前位置放下。

手放下：控制取消。

具体实施例二：

用户置身与虚拟场景之中，任何操作都以用户的眼睛为中心。比如浏览卧室、游玩虚拟旅游景区、3D网络游戏等。三维手势动作定义及对虚拟场景的操作如下：

1. 初始化，用户的视角在虚拟场景的某一个位置。手抬起，激活虚拟场景控制。看到的场景如图8所示。

2. 手掌拉近、手掌推远，对虚拟场景进行拉近、推远操作，即人在某一位置沿视线方向前进、后退。如图9所示。

3. 手在与视线垂直的平面上平移。手势动作及场景变化如图10所示。

4. 手与视线垂直的平面上弧线移动，对虚拟场景进行二维旋转，即人在某一位置不不动，身体倾斜观察某场景。如图11所示。

5. 手掌在三维空间从近端向远端弧线移动，以用户眼睛为中心，场景沿弧线方向三维旋转，适用于用户在原地不动，向不同的方向观察周围场景，手势动作及场景变化如图12至图14所示。

其中图12所示的俯视图，三维手势操作相当于人分别进行左转和右转。图13所示的侧视图，三维手势操作相当于人低头和抬头。

6. 移动场景内的物体，首先用手指选定某一物体，用拳将选中物体抓起，拳变回手掌，物体在当前位置被放下。具体步骤如图15所示，其中物体被选中后变色，被放下后变回原来颜色。

7. 手放下，取消对虚拟现实的控制。

下面介绍本发明提供的体感操作系统。

图19为本发明体感操作系统结构示意图，该系统包括：识别单元191、解析单元192和编辑单元193。

上述识别单元191，识别操作者的手势及其在真实空间中的运动轨迹。

上述解析单元192，对手势类别及运动轨迹进行解析，得到相应的操作命令。

上述编辑单元193，根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。

进一步上述识别单元191中包括手势识别模块1911和动作识别模块1912。

上述手势识别模块1911，用于采集操作者的手势形状。

上述动作识别模块1912，用于记录手势的空间位置及运动轨迹。

更进一步地，上述解析单元192中还包括手势解析模块1921和轨迹处理模块1922。

上述手势解析模块1921，根据预先约定的手势形状，确定手势类别。

上述轨迹处理模块1922，对手势的运动轨迹进行量化处理，得到轨迹信息。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和／或过程，所述动作和／或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

用于执行本申请所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行结合本文的实施例所描述的各种说明性的逻辑框图、模块和电路。通用处理器可以是微处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可能实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

而且，本文所述的各个方面或特征可以作为使用标准的程序设计和／或工程技术的方法、装置或制品来实现。本文所使用的术语“制品”是要包括可以从任何计算机可读的设备、载波或介质来访问的计算机程序。例如，计算机可读的介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带等)、光盘(例如，紧凑光盘(CD)、数字通用光盘(DVD)等)、智能卡以及闪速存储设备(例如，EPROM、卡、棒、钥匙驱动器等)。此外，本文描述的各种存储介质表示为用于存储信息的一个或多个设备和／或其它机器可读介质。术语“机器可读介质”包括但不限于能够存储、包含和／或携带指令和／或数据的无线信道和各种其它介质。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims

1.一种体感操作方法，其特征在于，包括：

识别操作者的手势及其在真实空间中的运动轨迹；

对手势类别及运动轨迹进行解析，得到相应的操作命令；

2.如权利要求1所述的方法，其特征在于，所述的识别手势的运动轨迹包括：所述运动轨迹的形状，和/或运动轨迹选定点的位置。

3.如权利要求1所述的方法，其特征在于，所述对手势类别及运动轨迹进行解析包括：

根据预先约定的手势形状，确定手势类别；

对手势的运动轨迹进行量化处理，得到轨迹信息；

映射所述的轨迹信息到相应的操作命令。

4.如权利要求3所述的方法，其特征在于，所述的对手势的运动轨迹进行量化处理包括：

5.如权利要求4所述的方法，其特征在于，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向；当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。

6.如权利要求1所述的方法，其特征在于，所述相应的操作命令具体包括：

当所述运动轨迹是直线时，根据运动轨迹的方向，对虚拟场景中的选定物体进行平移；

7.如权利要求1所述的方法，其特征在于，所述进行相应的场景调整包括：

当识别出的手势指示平移时，从所述选定点开始，将选定物体在虚拟场景中平移与所述运动轨迹相应的线条；

8.一种体感操作系统，其特征在于，包括：

9.如权利要求8所述的系统，其特征在于，所述的识别单元包括：

手势识别模块，采集操作者的手势形状；

动作识别模块，记录手势的空间位置及运动轨迹。

10.如权利要求8所述的系统，其特征在于，所述的解析单元包括：

手势解析模块，根据预先约定的手势形状，确定手势类别；