CN106406525A - 虚拟现实交互方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种虚拟现实交互方法、装置及设备，包括：接收定位设备捕捉的用户头部的动作信息；根据上述动作信息判断用户头部的当前位置及当前朝向角度；根据上述当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于上述当前位置及当前朝向角度的图像。本发明提供的虚拟现实交互方法、装置及设备，根据用户的视角在显示装置上显示对应于该视角的图像，从而实现用户与虚拟现实设备之间的交互，使用户体验到较强沉浸感的立体画面，提高了用户的体验。

Description

虚拟现实交互方法、装置及设备

技术领域

本发明涉及3D显示技术领域，具体而言，涉及一种虚拟现实交互方法、装置及设备。

背景技术

虚拟现实是近年来出现的高新技术，随着计算机技术飞速发展，虚拟现实在多个领域得到了越来越广泛的应用。立体显示是虚拟现实的重要实现方式之一，它使得人们在虚拟的环境中具有更强的沉浸感，可以使各种模拟器的仿真更加逼真。

现有虚拟现实(VR，Virtual Reality)显示设备一般包含立体投影仪、立体显示器、立体眼镜等设备。其中显示设备常采用墙式立体显示设备、洞穴式立体显示设备等，只能显示预先存储的内容，不能提供交互体验，导致用户感受不佳。

针对上述VR显示设备无法提供交互体验的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提供一种虚拟现实交互方法、装置及设备以实现与虚拟现实的交互，提高显示效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种虚拟现实交互方法，包括：

接收定位设备捕捉的用户头部的动作信息；

根据上述动作信息判断用户头部的当前位置及当前朝向角度；

根据上述当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于上述当前位置及当前朝向角度的图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，接收定位设备捕捉的用户头部的动作信息包括：

通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定用户头部的动作信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据动作信息判断用户头部的当前位置及当前朝向角度包括：

根据动作信息计算的用户头部的位移信息及旋转信息；

根据位移信息及旋转信息计算用户头部的当前位置及当前朝向角度。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于当前位置及当前朝向角度的图像包括：

根据当前位置及当前朝向角度确定显示装置当前显示的立体场景的变换角度；

按照变换角度调整显示装置当前显示的立体场景的图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，还包括：

通过手持漫游器获取用户的控制指令；控制指令包括以下之一：前进指令、后退指令、左转指令、右转指令、缩放指令、旋转指令和平移指令；

根据控制指令调整显示装置当前显示的立体场景的图像。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，通过手持漫游器获取用户的控制指令包括：

接收用户操作手持漫游器的方向按钮触发的控制指令；

和/或，

通过定位设备捕捉手持漫游器的多个标记点的运动轨迹，根据运动轨迹确定用户的控制指令。

第二方面，本发明实施例还提供了一种虚拟现实交互装置，包括：

接收模块，用于接收定位设备捕捉的用户头部的动作信息；

判断模块，用于根据上述动作信息判断用户头部的当前位置及当前朝向角度；

图像调整模块，用于根据上述当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于上述当前位置及当前朝向角度的图像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，接收模块包括：

动作信息确定单元，用于通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定用户头部的动作信息。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，图像调整模块包括：

变换角度单元，用于根据当前位置及当前朝向角度确定显示装置当前显示的立体场景的变换角度；

场景调整单元，用于按照变换角度调整显示装置当前显示的立体场景的图像。

第三方面，本发明实施例还提供了一种虚拟现实交互设备，包括：服务器、以及与服务器连接的显示装置和定位设备；

服务器包括上述第二方面提供的虚拟现实交互装置。

本发明实施例提供的虚拟现实交互方法、装置及设备，通过捕捉户头部的动作信息判断用户头部的当前位置及当前朝向角度，根据当前位置及当前朝向角度实时调整显示装置当前显示的立体场景中的图像，使显示装置上能够显示出与用户当前视角对应的图像，从而实现用户与虚拟现实设备之间的交互，使用户体验到较强沉浸感的立体画面，提高了用户的体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的虚拟现实交互方法的流程示意图；

图2示出了本发明实施例提供的虚拟现实交互方法装置的结构示意图；

图3示出了本发明实施例提供的虚拟现实交互方法装置的另一结构示意图；

图4示出了本发明实施例提供的虚拟现实交互方法设备的结构示意图；

图5示出了本发明实施例提供的显示装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中VR显示设备无法提供交互体验的问题，本发明实施例提供了一种虚拟现实交互方法、装置及设备，该技术可以采用相应的软件和硬件实现。下面通过实施例进行描述。

实施例1

图1示出了本发明实施例提供的虚拟现实交互方法的流程示意图。本实施例以从服务器侧进行描述，下面将对图1所示方法的具体流程进行详细阐述。

步骤S110，接收定位设备捕捉的用户头部的动作信息。

服务器与上述定位设备连接，可以通过上述定位设备接收用户头部的动作信息，例如，可以通过捕捉用户戴有的立体眼镜的运动轨迹实现，为了更好地捕捉立体眼镜的运动轨迹，本发明实施例可以在立体眼镜上设置标记点，以提高定位设备识别立体眼镜的准确度，该标记点可以是立体眼镜上设置的特殊颜色的闪光条，也可以是特定的球体等。基于此，上述步骤S110具体可以包括：通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定用户头部的动作信息。

在具体实施时，定位设备可以由两台或两台以上的红外摄像机组成，本实施例中，使用者头部需要佩戴立体眼镜，立体眼镜上安装4个以上的特殊的标记点，标记点对红外线敏感。定位设备捕捉眼镜上的标记点，得到标记点的运动轨迹，确定用户头部的动作信息。立体眼镜的镜片是偏振镜片，且立体眼镜的数量为一个或者多个，可以实现多人同时体验3D效果。

步骤S120，根据上述动作信息判断用户头部的当前位置及当前朝向角度。例如：根据上述动作信息计算的用户头部的位移信息及旋转信息，根据位移信息及旋转信息计算用户头部的当前位置及当前朝向角度。

本实施例中，服务器存储有动作捕捉程序，该程序处理接收到的上述动作信息，根据实时获取的这些动作信息实时计算出用户的头部动作信息，例如头部的位移及旋转等信息，进而根据这些信息确定用户头部的当前位置及当前朝向角度。

步骤S130，根据上述当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于上述当前位置及当前朝向角度的图像。

考虑到用户在观看显示装置内呈现的场景时，会有不同的视角变换，这种视角变换多体现在用户头部的运动上，因此，本实施例为了使显示装置显示的场景更好地适应用户的视角变换，会调整显示装置当前显示的立体场景，使该场景的图像实时对应于用户头部的当前位置及当前朝向角度，具体地，可以根据用户头部的当前位置及当前朝向角度先确定显示装置当前显示的立体场景的变换角度；再按照该变换角度调整显示装置当前显示的立体场景的图像。

其中，服务器与显示装置连接，在确定显示装置当前显示的立体场景的变换角度后，将其传输给3D渲染引擎，3D渲染引擎根据该角度对显示的场景进行转换，调整显示装置当前显示的立体场景的图像。例如，当观看者的头部向上抬时，此时观看者期望观察到物体的底部，引擎调整对应角度，使观看者能够看到物体的底部图像；当观看者的头部转向左边时，此时观看者期望观察到物体的右侧，引擎调整对应角度，使观看者能够看到物体的右侧图像。

为了更准确接收用户的指示，从而显示用户需要的立体画面，上述方法还包括以下步骤：

通过手持漫游器获取用户的控制指令；该控制指令包括以下之一：前进指令、后退指令、左转指令、右转指令、缩放指令、旋转指令和平移指令等；根据上述控制指令调整显示装置当前显示的立体场景的图像。

其中，通过手持漫游器获取用户的控制指令包括以下两种方式：

(1)接收用户操作手持漫游器的方向按钮触发的控制指令。

(2)通过定位设备捕捉手持漫游器的多个标记点的运动轨迹，根据运动轨迹确定用户的控制指令。

上述两种方式可以同时使用，也可以单独使用。

上述手持漫游器与服务器无线连接，例如通过蓝牙技术连接。手持式漫游器的方向按钮包括：设置于手持式漫游器上方的控制按钮和设置于手持漫游器下方的场景按钮。该控制按钮可以包括：上、下、左、右控制按钮，用于通过服务器控制画面内容在用户的视角内的前进、后退、左转和右转的操作；该场景按钮用于通过服务器控制画面内容中的立体场景的缩放、旋转和平移的操作，以及自由切换在场景中的漫游模式为自主漫游或自动漫游。用户通过按压上述方向按钮，上述手持漫游器向服务器发出控制指令。

此外定位设备也可以捕捉的用户手持的上述手持漫游器的动作信息。与上述立体眼镜类似，在上述手持漫游器上也设置有多个标记点，可以通过定位设备捕捉上述手持漫游器上的多个标记点的运动轨迹，根据运动轨迹确定用户的控制指令。例如当用户手持的上述手持漫游器的运动轨迹为向前运动，则认为用户发出了前进指令；当用户手持的上述手持漫游器的运动轨迹为向上运动，则认为用户发出了向上指令。然后按照上述确定的控制指令调整显示装置当前显示的立体场景的图像，使用户获得实时的交互反馈。

本发明实施例提供的虚拟现实交互方法，通过捕捉户头部的动作信息判断用户头部的当前位置及当前朝向角度，根据当前位置及当前朝向角度实时调整显示装置当前显示的立体场景中的图像，使显示装置上能够显示出与用户当前视角对应的图像，因此用户可随意更换视角，显示装置都能及时显示对应于该视角的正确方向的立体影像画面，用户只需自由转动头部，就可以用任意视角观察上述立体影像画面，可以实现用户的对画面的高沉浸感，实现人机之间充分交互。

具体实现立体显示时，虚拟现实交互方法包含如下过程：

(1)服务器将待输出图像转制成左眼图像和右眼图像，每生成一帧左眼图像，需要紧接着生成一帧右眼图像，然后再生成一帧左眼图像，两者相互交替。服务器可以以最大每秒120帧的速度进行图像转制，每转制完成一帧图像，服务器将生成的图像分割成上下两部分，图像上半部分输出至第一显示屏上，图像下半部分输出至第二显示屏上。上述第一显示屏和第二显示屏以L型设置，第一显示屏在上，第二显示屏在下。

(2)用户通过佩戴立体眼镜对上述两个显示屏显示的图像进行观看，立体眼镜的每一只镜片均包含有一个液晶层，可以在加载一定电压的情况下使透光率下降，在没有附加电压的情况下就和普通镜片类似。立体眼镜可以接收与每帧图像转制的帧同步信号，当显示屏显示左眼画面时，立体眼镜在右眼镜片施加电压，使图像无法穿过右眼镜片，只能进入观看者的左眼。同理，当显示屏显示右眼画面时，立体眼镜在左眼镜片施加电压，使图像无法穿过左眼镜片，只能进入观看者的右眼。

(3)第一显示屏和第二显示屏以同样的速度和图像序列刷新图像，同一时间，用户的眼中存在两幅不同的图像。在一个刷新周期内，即1/60秒内，用户眼中存在上下显示屏，左右帧的四幅图像，远远超过人脑对图像的处理速度，大脑中产生错觉，便观看到3D立体图像。

实施例2

对应于上述实施例提供的方法，本发明实施例还提供了一种虚拟现实交互装置，该交互装置可以设置在上述服务器内，参见图2，该装置包括以下模块：接收模块201、判断模块202和图像调整模块203。具体如下：

接收模块201，用于接收定位设备捕捉的用户头部的动作信息。

上述接收模块201与上述定位设备连接，通过上述定位设备接收上述动作信息。上述接收模块201包括：动作信息确定单元，用于通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定用户头部的动作信息。

接收模块201通过上述定位设备接收用户头部的动作信息，例如，可以通过捕捉用户戴有的立体眼镜的运动轨迹实现，为了更好地捕捉立体眼镜的运动轨迹，本发明实施例可以在立体眼镜上设置标记点，以提高定位设备识别立体眼镜的准确度，该标记点可以是立体眼镜上设置的特殊颜色的闪光条，也可以是特定的球体等。

在具体实施时，定位设备可以由两台或两台以上的红外摄像机组成，本实施例中，使用者头部需要佩戴立体眼镜，立体眼镜上安装4个以上的特殊的标记点，标记点对红外线敏感。定位设备捕捉眼镜上的标记点，得到标记点的运动轨迹，确定用户头部的动作信息。立体眼镜的镜片是偏振镜片，且立体眼镜的数量为一个或者多个，可以实现多人同时体验3D效果。

判断模块202，用于根据动作信息判断用户头部的当前位置及当前朝向角度。具体包括：计算单元，用于根据动作信息计算的用户头部的位移信息及旋转信息，根据位移信息及旋转信息计算用户头部的当前位置及当前朝向角度。

本实施例提供的交互装置包括动作捕捉程序，该程序处理接收到动作信息后，组合计算出用户的位移及旋转等信息，再计算得到用户头部的当前位置及当前朝向角度。

图像调整模块203，用于根据当前位置及当前朝向角度调整显示装置当前显示的立体场景对应于当前位置及当前朝向角度的图像。

如图3所示，其中图像调整模块203具体包括：

变换角度单元301，用于根据当前位置及当前朝向角度确定显示装置当前显示的立体场景的变换角度；

场景调整单元302，用于按照变换角度调整显示装置当前显示的立体场景的图像。

考虑到用户在观看显示装置内呈现的场景时，会有不同的视角变换，这种视角变换多体现在用户头部的运动上，因此，本实施例为了使显示装置显示的场景更好地适应用户的视角变换，会调整显示装置当前显示的立体场景，使该场景的图像实时对应于用户头部的当前位置及当前朝向角度，具体地，可以根据用户头部的当前位置及当前朝向角度先确定显示装置当前显示的立体场景的变换角度；再按照该变换角度调整显示装置当前显示的立体场景的图像。

其中，交互装置与显示装置连接，在确定显示装置当前显示的立体场景的变换角度后，将其传输给3D渲染引擎，3D渲染引擎根据该角度对显示的场景进行转换，调整显示装置当前显示的立体场景的图像。例如，当观看者的头部向上抬时，此时观看者期望观察到物体的底部，引擎调整对应角度，使观看者能够看到物体的底部图像；当观看者的头部转向左边时，此时观看者期望观察到物体的右侧，引擎调整对应角度，使观看者能够看到物体的右侧图像。

为了更准确接收用户的指示，从而显示用户需要的立体画面，上述交互装置还包括以下模块：

手部指令获取模块，用于通过手持漫游器获取用户的控制指令；控制指令包括以下之一：前进指令、后退指令、左转指令、右转指令、缩放指令、旋转指令和平移指令等；

调整模块，用于根据控制指令调整显示装置当前显示的立体场景的图像。

其中，通过手持漫游器获取用户的控制指令包括以下两种方式：

(1)接收用户操作手持漫游器的方向按钮触发的控制指令。

(2)通过定位设备捕捉手持漫游器的多个标记点的运动轨迹，根据运动轨迹确定用户的控制指令。

上述两种方式可以同时使用，也可以单独使用。

上述手持漫游器与服务器无线连接，例如通过蓝牙技术连接。手持式漫游器的方向按钮包括：设置于手持漫游器上方的控制按钮和设置于手持漫游器下方的场景按钮。该控制按钮可以包括：上、下、左、右控制按钮，用于通过服务器控制画面内容在用户的视角内的前进、后退、左转和右转的操作；该场景按钮用于通过服务器控制画面内容中的立体场景的缩放、旋转和平移的操作，以及自由切换在场景中的漫游模式为自主漫游或自动漫游。用户通过按压上述方向按钮，上述手持漫游器向服务器发出控制指令。

此外定位设备也可以捕捉的用户手持的上述手持漫游器的动作信息。与上述立体眼镜类似，在上述手持漫游器上也设置有多个标记点，可以通过定位设备捕捉上述手持漫游器上的多个标记点的运动轨迹，根据运动轨迹确定用户的控制指令。例如当用户手持的上述手持漫游器的运动轨迹为向前运动，则认为用户发出了前进指令；当用户手持的上述手持漫游器的运动轨迹为向上运动，则认为用户发出了向上指令。然后按照上述确定的控制指令调整显示装置当前显示的立体场景的图像，使用户获得实时的交互反馈。

本发明实施例提供的虚拟现实交互装置，通过捕捉户头部的动作信息判断用户头部的当前位置及当前朝向角度，根据当前位置及当前朝向角度实时调整显示装置当前显示的立体场景中的图像，使显示装置上能够显示出与用户当前视角对应的图像，因此用户可随意更换视角，显示装置都能及时显示对应于该视角的正确方向的立体影像画面，用户只需自由转动头部，就可以用任意视角观察上述立体影像画面，可以实现用户的对画面的高沉浸感，实现人机之间充分交互。

实施例3

本发明实施例还提供了一种虚拟现实交互设备，如图4所示，包括：服务器401、以及与服务器401连接的显示装置402和定位设备403；

服务器401包括上述实施例提供的虚拟现实交互装置。

上述显示装置402为3D液晶显示屏。如图5所示的显示装置402的示意图，其中显示装置402由液晶显示屏51a和51b组成。在图5中还示出了竖板53和横板54，分别用于放置液晶显示屏51a和51b。在竖板53和横板54上的两个相对的面上设置有凹槽，其中，竖板53内的凹槽与显示屏51a尺寸匹配，横板54内的凹槽与显示屏51b尺寸匹配，具体实现时，显示屏51a与显示屏51b的尺寸可以相同，也可以不同，在使用时，可以根据实际情况进行设置，本发明实施例对此不进行限制。在图5中还示出了用于支撑竖板53、横板54及液晶显示屏51a和51b的支撑腿55a、55b、55c及55d。在竖板53上部还固定有定位设备403，定位设备403用于捕捉的用户头部的动作信息。

综上，本发明实施例提供的虚拟现实交互方法、装置及设备，可以捕捉户头部的动作信息判断用户头部的当前位置及当前朝向角度，根据上述当前位置及当前朝向角度使显示装置上能够显示出与用户当前视角对应的图像，向用户展示立体形式的画面，实现画面高沉浸感，达到人机之间充分交互的效果，提高了用户的体验。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种虚拟现实交互方法，其特征在于，包括：

接收定位设备捕捉的用户头部的动作信息；

根据所述动作信息判断所述用户头部的当前位置及当前朝向角度；

根据所述当前位置及所述当前朝向角度调整显示装置当前显示的立体场景对应于所述当前位置及所述当前朝向角度的图像。

2.根据权利要求1所述的方法，其特征在于，接收定位设备捕捉的用户头部的动作信息包括：

通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定所述用户头部的动作信息。

3.根据权利要求1所述的方法，其特征在于，根据所述动作信息判断所述用户头部的当前位置及当前朝向角度包括：

根据所述动作信息计算的所述用户头部的位移信息及旋转信息；

根据所述位移信息及所述旋转信息计算所述用户头部的当前位置及当前朝向角度。

4.根据权利要求1所述的方法，其特征在于，根据所述当前位置及所述当前朝向角度调整显示装置当前显示的立体场景对应于所述当前位置及所述当前朝向角度的图像包括：

根据所述当前位置及所述当前朝向角度确定显示装置当前显示的立体场景的变换角度；

按照所述变换角度调整所述显示装置当前显示的所述立体场景的图像。

5.根据权利要求1所述的方法，其特征在于，还包括：

通过手持漫游器获取用户的控制指令；所述控制指令包括以下之一：前进指令、后退指令、左转指令、右转指令、缩放指令、旋转指令和平移指令；

根据所述控制指令调整所述显示装置当前显示的立体场景的图像。

6.根据权利要求5所述的方法，其特征在于，通过手持漫游器获取用户的控制指令包括：

接收用户操作手持漫游器的方向按钮触发的控制指令；

和/或，

通过所述定位设备捕捉所述手持漫游器的多个标记点的运动轨迹，根据所述运动轨迹确定用户的控制指令。

7.一种虚拟现实交互装置，其特征在于，包括：

接收模块，用于接收定位设备捕捉的用户头部的动作信息；

判断模块，用于根据所述动作信息判断所述用户头部的当前位置及当前朝向角度；

图像调整模块，用于根据所述当前位置及所述当前朝向角度调整显示装置当前显示的立体场景对应于所述当前位置及所述当前朝向角度的图像。

8.根据权利要求7所述的装置，其特征在于，所述接收模块包括：

动作信息确定单元，用于通过定位设备捕捉用户戴有的立体眼镜上的标记点的运动轨迹，确定所述用户头部的动作信息。

9.根据权利要求7所述的装置，其特征在于，所述图像调整模块包括：

变换角度单元，用于根据所述当前位置及所述当前朝向角度确定显示装置当前显示的立体场景的变换角度；

场景调整单元，用于按照所述变换角度调整显示装置当前显示的所述立体场景的图像。

10.一种虚拟现实交互设备，其特征在于，包括：服务器、以及与所述服务器连接的显示装置和定位设备；

所述服务器包括权利要求7-9任一项所述的虚拟现实交互装置。