CN107426522B - 基于虚拟现实设备的视频方法和系统 - Google Patents

Abstract

本发明公开了基于虚拟现实设备的视频通信方法和系统。通过搭建的基于虚拟现实设备的视频通信系统，当通信双方用户使用虚拟现实设备登录虚拟现实平台，可以实现用户之间实时全景的多维度(如3D)视频通信，用户可通过虚拟现实设备观看到对方用户视频区域的实时全景多维度视频，可以查看到对方的肢体动作，视频区域内的家居摆设等等，实现更高纬度的实时视频通讯。

Description

基于虚拟现实设备的视频方法和系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实设备的视频通信方法和系统。

背景技术

随着通信技术的发展，通信终端之间进行视频通信的应用越来越普及，最常见的功能是通过移动终端的摄像装置进行视频通信，例如，用户可以使用本地移动终端与对端移动终端进行视频通话，接收来自对端移动终端的视频图像，在本地移动终端屏幕上显示接收的视频图像，同时，本地移动终端采集本地的视频图像，并发送给对端移动终端，可以使得双方用户看到对方视频用户的相貌、肢体语言、情绪以及周围环境等信息。

然而，使用移动设备进行视频通信时，用户可能需要在视频通信过程中一直手握移动设备，并且将移动设备保持一个角度以便视频能够清晰，否则可能导致视频图像晃动，画面不完整等，降低了用户使用移动设备进行视频通信的体验，而且由于受到通信工具对通信体验的限制，即使用户通过手机上的摄像头进行拍摄，在后台处理获取视频信息，也只能局限于二维平面的通信交流，都无法达到用户面对面聊天的沉浸感。

因此，现有的即时通信方式存在用户沉浸感较差的问题。

发明内容

为了解决上述问题，本发明提供一种基于虚拟现实设备的视频通信方法和系统，可以增加用户即时通信的沉浸感。

本发明提供一种基于虚拟现实设备的视频通信方法，包括：

虚拟现实平台接收第一虚拟现实设备发送的通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；

根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域；

获取与所述第二视频区域对应的多维度视频，并发送给第一虚拟现实设备进行所述第二视频区域对应的多维度视频的显示。

可选地，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

可选地，所述虚拟现实平台接收第一虚拟现实设备发送的通信请求消息前，还包括：

所述虚拟现实平台接收所述第一虚拟现实设备和所述第二虚拟现实设备分别发送的注册请求消息，所述第一虚拟现实设备发送的注册请求消息中包括所述第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系，所述第二虚拟现实设备发送的注册请求消息中包括所述第二虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；

建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系；

建立和保存所述第二虚拟现实设备的标识、所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

可选地，所述虚拟现实平台接收第一虚拟现实设备发送的通信请求消息前，还包括：

所述虚拟现实平台接收所述第一虚拟现实设备发送的加好友请求消息，所述加好友请求消息中包括所述第二虚拟现实设备的标识；

根据所述第二虚拟现实设备的标识，建立所述第一虚拟现实设备的全景视频区域与所述第二虚拟现实设备的全景视频区域之间的对应关系，建立所述第一虚拟现实设备的全景视角位置信息与所述第二虚拟现实设备的全景视角位置信息之间的对应关系。

可选地，根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，包括：

根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视角位置信息中确定与所述第一视角位置信息对应的第二视角位置信息，所述第二视角位置信息为所述第二虚拟现实设备的全景视角位置信息中的任一视角位置信息，根据所述第二视角位置信息，在所述第二虚拟现实设备的全景视频区域中确定与所述第二视角位置信息对应的第二视频区域；或者

根据所述第一视角位置信息，在所述第一虚拟现实设备的全景视频区域中确定与所述第一视角位置信息对应的第一视频区域，根据所述第二虚拟现实设备的标识和所述第一视频区域，在所述第二虚拟现实设备的全景视频区域中确定与所述第一视频区域对应的第二视频区域。

可选地，所述方法还包括：

所述虚拟现实平台接收所述第一虚拟现实设备的全景视频区域内的图像和所述第二虚拟现实设备的全景视频区域内的图像；

根据所述第一虚拟现实设备的全景视频区域内的图像建立所述第一虚拟现实设备的全景多维度视频；

根据所述第二虚拟现实设备的全景视频区域内的图像建立所述第二虚拟现实设备的全景多维度视频。

可选地，获取与所述第二视频区域对应的多维度视频，包括：

根据所述第二视频区域，获取与所述第二视频区域对应的视频图像，生成对应的多维度视频。

本申请还提供一种基于虚拟现实设备的视频通信系统，包括：第一虚拟现实设备和第二虚拟现实设备；所述第一虚拟现实设备和所述第二虚拟现实设备通过虚拟现实平台进行多维视频通信连接；

所述第一虚拟现实设备，用于向所述虚拟现实平台发送通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；

所述虚拟现实平台，用于接收所述第一虚拟现实设备发送的通信请求消息，根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，获取与所述第二视频区域对应的多维度视频，并发送给所述第一虚拟现实设备；

所述第一虚拟现实设备，还用于接收并显示所述第二视频区域对应的多维度视频。

可选地，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

可选地，所述虚拟现实平台，还用于接收所述第一虚拟现实设备和所述第二虚拟现实设备分别发送的注册请求消息，建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系，建立和保存所述第二虚拟现实设备的标识、所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系；

其中，所述第一虚拟现实设备发送的注册请求消息中包括所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系，所述第二虚拟现实设备发送的注册请求消息中包括所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

可选地，所述虚拟现实平台，还用于接收所述第一虚拟现实设备发送的加好友请求消息，根据所述加好友请求消息中包括的第二虚拟现实设备的标识，建立所述第一虚拟现实设备的全景视频区域与所述第二虚拟现实设备的全景视频区域之间的对应关系，建立所述第一虚拟现实设备的全景视角位置信息与所述第二虚拟现实设备的全景视角位置信息之间的对应关系。

可选地，所述虚拟现实平台，还用于根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视角位置信息中确定与所述第一视角位置信息对应的第二视角位置信息，所述第二视角位置信息为所述第二虚拟现实设备的全景视角位置信息中的任一视角位置信息，根据所述第二视角位置信息，在所述第二虚拟现实设备的全景视频区域中确定与所述第二视角位置信息对应的第二视频区域；或者

所述虚拟现实平台，还用于根据所述第一视角位置信息，在所述第一虚拟现实设备的全景视频区域中确定与所述第一视角位置信息对应的第一视频区域，根据所述第二虚拟现实设备的标识和所述第一视频区域，在所述第二虚拟现实设备的全景视频区域中确定与所述第一视频区域对应的第二视频区域。

可选地，所述虚拟现实平台，还用于接收所述第一虚拟现实设备的全景视频区域内的图像和所述第二虚拟现实设备的全景视频区域内的图像；根据所述第一虚拟现实设备的全景视频区域内的图像建立所述第一虚拟现实设备的全景多维度视频；根据所述第二虚拟现实设备的全景视频区域内的图像建立所述第二虚拟现实设备的全景多维度视频。

可选地，所述虚拟现实平台，还用于根据所述第二视频区域，获取与所述第二视频区域对应的视频图像，生成对应的多维度视频。

可选地，所述的系统还包括，分别与所述虚拟现实平台连接的第一摄像装置和第二摄像装置；

所述第一摄像装置，用于拍摄所述第一虚拟现实设备的全景视频区域内的图像并发送给所述虚拟现实平台，以使所述虚拟现实平台建立所述第一虚拟现实设备的全景多维度视频；

所述第二摄像装置，用于拍摄所述第二虚拟现实设备的全景视频区域内的图像并发送给所述虚拟现实平台，以使所述虚拟现实平台建立所述第二虚拟现实设备的全景多维度视频。

可选地，所述第一虚拟现实设备上安装有传感器，用于获取所述第一虚拟现实设备的全景视角位置信息；

所述第二虚拟现实设备上安装有传感器，用于获取第二虚拟现实设备的全景视角位置信息。

本申请还提供一种基于虚拟现实设备的视频通信方法，包括：

第一虚拟现实设备向虚拟现实平台发送通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；以使所述虚拟现实平台根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，并将获取的与所述第二视频区域对应的多维度视频发送给第一虚拟现实设备；

所述第一虚拟现实设备对所述第二视频区域对应的多维度视频进行显示。

可选地，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

可选地，所述第一虚拟现实设备向虚拟现实平台发送通信请求消息前，还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送注册请求消息，所述注册请求消息中包括所述第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；以使所述虚拟现实平台建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

可选地，所述第一虚拟现实设备向虚拟现实平台发送通信请求消息前，还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送加好友请求消息，所述加好友请求消息中包括所述第二虚拟现实设备的标识；以使所述虚拟现实平台根据所述第二虚拟现实设备的标识，建立所述第一虚拟现实设备的全景视频区域与所述第二虚拟现实设备的全景视频区域之间的对应关系，建立所述第一虚拟现实设备的全景视角位置信息与所述第二虚拟现实设备的全景视角位置信息之间的对应关系。

可选地，所述的方法还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送所述第一虚拟现实设备的全景视频区域内的图像，以使所述虚拟现实平台根据所述第一虚拟现实设备的全景视频区域内的图像建立所述第一虚拟现实设备的全景多维度视频。

本发明实施例通过搭建的基于虚拟现实设备的视频通信系统，当通信双方用户使用虚拟现实设备登录虚拟现实平台，可以实现用户之间实时全景的多维度(如3D)视频通信，用户可通过虚拟现实设备观看到对方用户视频区域的实时全景多维度视频，可以查看到对方的肢体动作，视频区域内的家居摆设等等，实现更高纬度的实时视频通讯。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于虚拟现实设备的视频通信系统架构图；

图2为本发明一实施例提供的基于虚拟现实设备的视频通信方法流程示意图；

图3为本发明实施例提供的全景视频区域示意图；

图4示出了一些实施例中头戴显示设备100的内部配置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

虚拟现实是指一种将虚拟化技术加到使用者感官上再来观察世界的方式，通过科学技术模拟仿真后再叠加到现实世界被用户所感知，从而达到超现实的感官体验。

为了解决上述即时通信方式存在用户沉浸感较差的问题，本发明的发明思想是搭建一个基于虚拟现实设备的视频通信系统，该系统包括虚拟现实平台，当通信双方用户使用虚拟现实设备登录虚拟现实平台，可以实现用户之间实时全景的多维度(如3D)视频通信，用户可通过虚拟现实设备观看到对方用户视频区域的实时全景多维度视频，可以查看到对方的肢体动作，视频区域内的家居摆设等等，实现更高纬度的实时视频通讯。

图1为本发明一实施例提供的基于虚拟现实设备的视频通信系统架构图，如图1所示，本发明实施例提供的系统包括：虚拟现实平台、第一虚拟现实设备和第二虚拟现实设备；其中，第一虚拟现实设备和第二虚拟现实设备通过虚拟现实平台进行多维视频通信连接，第一虚拟现实设备和第二虚拟现实设备包括如虚拟现实头盔等虚拟现实设备，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

其中，本发明实施例中，虚拟现实平台可以独立于第一虚拟现实设备和第二虚拟现实设备外，也可以是内置于第一虚拟现实设备或第二虚拟现实设备中，具体可以包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

本发明实施例提供的系统还包括：分别与虚拟现实平台连接的第一摄像装置和第二摄像装置；

其中，第一摄像装置拍摄第一虚拟现实设备的全景视频区域内的图像并发送给虚拟现实平台，以使虚拟现实平台根据第一虚拟现实设备的全景视频区域内的图像建立第一虚拟现实设备的全景多维度视频；第二摄像装置拍摄第二虚拟现实设备的全景视频区域内的图像并发送给虚拟现实平台，以使虚拟现实平台根据第二虚拟现实设备的全景视频区域内的图像建立第二虚拟现实设备的全景多维度视频。

另外，第一虚拟现实设备上安装有传感器，用于获取第一虚拟现实设备的全景视角位置信息；第二虚拟现实设备上安装有传感器，用于获取第二虚拟现实设备的全景视角位置信息。

基于图1所示的系统架构图，为了第一虚拟现实设备通过虚拟现实平台实现与第二虚拟现实设备之间的多维度视频通信，第一虚拟现实设备和第二虚拟现实设备需要分别在虚拟现实平台上先行注册，具体注册过程包括：

虚拟现实平台接收第一虚拟现实设备和第二虚拟现实设备分别发送的注册请求消息，其中，第一虚拟现实设备发送的注册请求消息中包括第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系，第二虚拟现实设备发送的注册请求消息中包括第二虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；由于第一虚拟现实设备和第二虚拟现实设备上安装有传感器，可以分别获取各自的全景视频区域和全景视角位置信息，因此，可以各自建立全景视频区域与全景视角位置信息之间的对应关系。

之后，虚拟现实平台需要建立和保存第一虚拟现实设备的标识、第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；建立和保存第二虚拟现实设备的标识、第二虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系。

为了能够保证后续第一虚拟现实设备和第二虚拟现实设备之间实时多维度视频通信，基于第一虚拟现实设备和第二虚拟现实设备在虚拟现实平台上分别注册的信息，需要将双方添加为好友，具体实现时包括：

虚拟现实平台接收第一虚拟现实设备发送的加好友请求消息，所述加好友请求消息中包括第二虚拟现实设备的标识；

虚拟现实平台根据加好友请求消息中包括的第二虚拟现实设备的标识，查询第一虚拟现实设备和第二虚拟现实设备各自注册的信息，建立第一虚拟现实设备的全景视频区域与第二虚拟现实设备的全景视频区域之间的对应关系，建立第一虚拟现实设备的全景视角位置信息与第二虚拟现实设备的全景视角位置信息之间的对应关系。

基于图1所示的系统架构图，当上述第一虚拟现实设备和第二虚拟现实设备已经在虚拟现实平台上进行注册信息并添加为好友时，虚拟现实平台上已经建立了第一虚拟现实设备的全景视频区域与第二虚拟现实设备的全景视频区域之间的对应关系，建立第一虚拟现实设备的全景视角位置信息与第二虚拟现实设备的全景视角位置信息之间的对应关系。这时，当第一虚拟现实设备向第二虚拟现实设备发起实时通信请求时，虚拟现实平台可以实时获取第二虚拟现实设备的全景多维度视频给第一虚拟现实设备进行现实，当第一虚拟现实设备的视角变化时，即可根据变化后的当前视角位置信息获取对应的视频区域以及该视频区域对应的多维度视频。

图2为本发明一实施例提供的基于虚拟现实设备的视频通信方法流程示意图，如图2所示，包括：

201、虚拟现实平台接收第一虚拟现实设备发送的通信请求消息；

其中，第一虚拟现实设备上安装有传感器，可以获取第一虚拟现实设备的全景视角位置信息，当第一虚拟现实设备移动时，第一虚拟现实设备上安装有传感器可以获取第一虚拟现实设备的当前视角位置信息，为了便于区分，这里将第一虚拟现实设备的当前视角位置信息定义为第一视角位置信息，其中，该第一视角位置信息为第一虚拟现实设备的全景视角位置信息中的任一视角位置信息。

当第一虚拟现实设备通过虚拟现实平台向第二虚拟现实设备发送通信请求消息时，需要将第二虚拟现实设备的标识和第一视角位置信息携带在通信请求消息中发送给虚拟现实平台。

202、虚拟现实平台根据第一视角位置信息和第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域；

基于虚拟现实平台上已经建立的第一虚拟现实设备的全景视频区域与第二虚拟现实设备的全景视频区域之间的对应关系，以及第一虚拟现实设备的全景视角位置信息与第二虚拟现实设备的全景视角位置信息之间的对应关系，步骤202在具体实现时包括：

虚拟现实平台根据第一视角位置信息和第二虚拟现实设备的标识，在第二虚拟现实设备的全景视角位置信息中确定与第一视角位置信息对应的第二视角位置信息，第二视角位置信息为第二虚拟现实设备的全景视角位置信息中的任一视角位置信息，根据第二视角位置信息，在第二虚拟现实设备的全景视频区域中确定与第二视角位置信息对应的第二视频区域；或者

虚拟现实平台根据第一视角位置信息，在第一虚拟现实设备的全景视频区域中确定与第一视角位置信息对应的第一视频区域，根据第二虚拟现实设备的标识和第一视频区域，在第二虚拟现实设备的全景视频区域中确定与第一视频区域对应的第二视频区域。

203、获取与第二视频区域对应的多维度视频，并发送给第一虚拟现实设备进行第二视频区域对应的多维度视频的显示。

为了能够保证后续第一虚拟现实设备和第二虚拟现实设备之间实时多维度视频通信，当第一虚拟现实设备和第二虚拟现实设备在虚拟现实平台上分别注册之后，虚拟现实平台接收第一摄像装置拍摄的第一虚拟现实设备的全景视频区域内的图像，接收第二摄像装置拍摄的第二虚拟现实设备的全景视频区域内的图像；根据第一虚拟现实设备的全景视频区域内的图像建立第一虚拟现实设备的全景多维度视频；根据第二虚拟现实设备的全景视频区域内的图像建立第二虚拟现实设备的全景多维度视频。

由于虚拟现实平台根据第一摄像装置拍摄的第一虚拟现实设备的全景视频区域内的图像和第二虚拟现实设备的全景视频区域内的图像，预先计算并生成了第一虚拟现实设备的全景多维度视频和第二虚拟现实设备的全景多维度视频，这样，当第一虚拟现实设备和第二虚拟现实设备之间发起通信请求时，不需要通过超大的计算量在实时生成全景多维度视频，而是直接可以调用第二虚拟现实设备的全景多维度视频给第一虚拟现实设备进行多维度视频的显示即可，大大提高了多维度视频通信的实时性。

当第一虚拟现实设备不需要第二虚拟现实设备的全景多维度视频，此时，虚拟现实平台可以根据第一虚拟现实设备的第一视角位置信息实时确定在第二虚拟现实设备的全景视频区域中对应的第二视频区域，进而根据第二视频区域，实时获取与第二视频区域对应的视频图像，生成对应的多维度视频，并发送给第一虚拟现实设备进行显示。这里需要说明的是，当确定第二视频区域之后，可以获取第二视频区域对应的摄像装置拍摄的视频图像，通过多维度视频成像技术将第二视频区域对应的摄像装置拍摄的视频图像生成对应的多维度视频。

本发明实施例通过搭建的基于虚拟现实设备的视频通信系统，当通信双方用户使用虚拟现实设备登录虚拟现实平台，可以实现用户之间实时全景的多维度(如3D)视频通信，用户可通过虚拟现实设备观看到对方用户视频区域的实时全景多维度视频，可以查看到对方的肢体动作，视频区域内的家居摆设等等，实现更高纬度的实时视频通讯。

需要说明的是，上述的第一拍摄装置和第二拍摄装置在具体实现时，其中第一拍摄装置可以包括4个摄像头，该4个摄像头通过网络与虚拟现实平台相连接，第二拍摄装置也可以包括4个摄像头，该4个摄像头也通过网络与虚拟现实平台相连接。

下面以其中的一个拍摄装置为例对全景视频区域的确定进行说明，图3为本发明实施例提供的全景视频区域示意图，如图3所示，4个摄像头分布于全景视频区域的4个角部，其中摄像头可以是广角变焦摄像头，其摄像角度为180°，通过分布于角部的4个摄像头可以覆盖整个全景视频区域，不能存在盲点。

分布于角部的4个摄像头通过各个角度拍摄4个方位的视频图像给虚拟现实平台，虚拟现实平台根据拍摄的4个方位的视频图像，可以计算出4个摄像头可以覆盖的全景视频区域并保存。同时，还可以根据拍摄的4个方位的视频图像通过变焦完成合成，不仅可以实现事物各个角度的拍摄，而且变焦技术可以识别空间点的坐标，能够精确的测算出视频图像的空间位置，使合成的图像更加完整、更加立体，而且可以实时捕捉动态的画面，再通过虚拟现实的3D成像技术加以处理，使对方视频区域内的全部图像，成像出清晰的3D效果，包括人物的动作神情，甚至面部表情也可呈现出来，用户之间可以如同看到真人实物一样交流、互动。

下面对视角位置信息的获取进行说明：

第一虚拟现实设备和第二虚拟现实设备上分别安装有传感器，该传感器的配置包括加速度、磁力、旋转矢量、陀螺仪、光线感应、压力、温度、接近、重力等参数。以第一虚拟现实设备上的传感器为例进行说明，第二虚拟现实设备上的传感器功能与第一虚拟现实设备上的传感器功能相同，本发明实施例的传感器可以根据第一虚拟现实设备的方向和重力加速度可计算出第一虚拟现实设备当前的视角位置信息(朝向)，视角位置信息至少包括两组数据，第一组是与重力方向的角度，即仰角角度，第二组是以正(磁)北为起始的水平转向角度。

本发明实施例中将全景视角位置信息划分为多个视角位置信息，将全景视频区域划分为多个视频区域，然后在虚拟现实平台上建立多个视角位置信息和多个视频区域之间建立对应关系。

当第一虚拟现实设备的当前视角变化时，第一虚拟现实设备上的传感器即可获取第一虚拟现实设备变化后的当前视角位置信息，使得虚拟现实平台根据变化后的当前视角位置信息实时确定变化后的视频区域，进而根据变化后的视频区域获取对应的多维度视频。

下面对虚拟现实平台通过虚拟现实的3D成像技术对拍摄装置拍摄的视频图像生成3D虚拟视频进行说明，这里的拍摄装置可以是上述第一拍摄装置或第二拍摄装置。当第一虚拟现实设备当前视角位置信息为第一视角位置信息，通过上述建立的对应关系，确定第一视角位置信息对应的第一视频区域，进而确定第二虚拟现实设备的第二视频区域，此时，第二拍摄装置需要将第二视频区域拍摄的视频图像发送给虚拟现实平台进行3D视频的生成，具体为：

第二拍摄装置拍摄第二视频区域内的视频图像；

第二拍摄装置将第二视频区域内的视频图像发送给虚拟现实平台；

虚拟现实平台通过图像处理及重构技术将第二视频区域内的视频图像生成虚拟的3D视频；

虚拟现实平台通过三维重建技术获取第二视频区域内真实场景的深度图，进行真实场景的三维重建，计算出第二视频区域内真实场景以及物体的三维模型，确定第一虚拟现实设备使用者的虚拟3D视频的投影位置、大小以及实施方向等；

虚拟现实平台将重建的第一虚拟现实设备使用者的虚拟3D视频经过视差方面的处理，使得第一虚拟现实设备通过全息组合透镜以及平行光形式投影到第一虚拟现实设备使用者眼中，让第一虚拟现实设备使用者看到的虚拟物体产生一定的视差信息，获得与观察到的第二视频区域内真实空间实物一样的3D立体感，从而实现第一虚拟现实设备的使用者通过虚拟现实平台看到第二虚拟现实设备的视频区域内的虚拟场景与真实场景相叠加的实时视频通讯。

本发明一些实施例提供的第一虚拟现实设备或第二虚拟现实设备可以为外接式头戴显示设备或者一体式头戴显示设备，其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。

图4示出了一些实施例中头戴显示设备100的内部配置结构示意图。

显示单元101可以包括显示面板，显示面板设置在头戴显示设备100上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元102以放大方式拍摄显示单元101所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元101上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机110拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元102可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元103包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元107输出指令。

状态信息获取单元104用于获取穿戴式头戴显示设备100的用户的状态信息。状态信息获取单元104可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元105从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元104可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元104可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元104获取穿戴头戴显示设备100的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴显示设备100)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。

通信单元105执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元107可以从通信单元105向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.11s标准的网状网络等。另外，通信单元105可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。

一些实施例中，头戴显示设备100还可以包括存储单元，存储单元106是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元106可以存储应用程序或各种类型的数据。例如，用户使用头戴显示设备100观看的内容可以存储在存储单元106中。

一些实施例中，头戴显示设备100还可以包括控制单元，控制单元107可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元107可以用于执行存储单元106存储的应用程序，或者控制单元107还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。

图像处理单元108用于执行信号处理，比如与从控制单元107输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元101的屏幕的分辨率。然后，显示驱动单元109依次选择显示单元101的每行像素，并逐行依次扫描显示单元101的每行像素，因而提供基于经信号处理的图像信号的像素信号。

一些实施例中，头戴显示设备100还可以包括外部相机。外部相机110可以设置在头戴显示设备100主体前表面，外部相机110可以为一个或者多个。外部相机110可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机110一起使用。外部相机110和距离传感器可以用于检测穿戴头戴显示设备100的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机110直接观看或者预览现实场景。

一些实施例中，头戴显示设备100还可以包括声音处理单元，声音处理单元111可以执行从控制单元107输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元112在声音处理后向外部输出声音以及输入来自麦克风的声音。

需要说明的是，图4中虚线框示出的结构或部件可以独立于头戴显示设备100之外，例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备100配合使用；或者，虚线框示出的结构或部件可以设置在头戴显示设备100内部或者表面上。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种基于虚拟现实设备的视频通信方法，其特征在于，包括：

虚拟现实平台接收第一虚拟现实设备发送的通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；

根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域；

获取与所述第二视频区域对应的多维度视频，并发送给第一虚拟现实设备进行所述第二视频区域对应的多维度视频的显示；

其中将分布于全景视频区域的4个角部的4个摄像头通过各个角度拍摄4个方位的视频图像给虚拟现实平台，以使虚拟现实平台根据拍摄的4个方位的视频图像，计算出4个摄像头可以覆盖的全景视频区域。

2.根据权利要求1所述的方法，其特征在于，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

3.根据权利要求1所述的方法，其特征在于，所述虚拟现实平台接收第一虚拟现实设备发送的通信请求消息前，还包括：

所述虚拟现实平台接收所述第一虚拟现实设备和所述第二虚拟现实设备分别发送的注册请求消息，所述第一虚拟现实设备发送的注册请求消息中包括所述第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系，所述第二虚拟现实设备发送的注册请求消息中包括所述第二虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；

建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系；

建立和保存所述第二虚拟现实设备的标识、所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

4.根据权利要求3所述的方法，其特征在于，所述虚拟现实平台接收第一虚拟现实设备发送的通信请求消息前，还包括：

所述虚拟现实平台接收所述第一虚拟现实设备发送的加好友请求消息，所述加好友请求消息中包括所述第二虚拟现实设备的标识；

根据所述第二虚拟现实设备的标识，建立所述第一虚拟现实设备的全景视频区域与所述第二虚拟现实设备的全景视频区域之间的对应关系，建立所述第一虚拟现实设备的全景视角位置信息与所述第二虚拟现实设备的全景视角位置信息之间的对应关系。

5.根据权利要求3或4所述的方法，其特征在于，根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，包括：

根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视角位置信息中确定与所述第一视角位置信息对应的第二视角位置信息，所述第二视角位置信息为所述第二虚拟现实设备的全景视角位置信息中的任一视角位置信息，根据所述第二视角位置信息，在所述第二虚拟现实设备的全景视频区域中确定与所述第二视角位置信息对应的第二视频区域；或者

根据所述第一视角位置信息，在所述第一虚拟现实设备的全景视频区域中确定与所述第一视角位置信息对应的第一视频区域，根据所述第二虚拟现实设备的标识和所述第一视频区域，在所述第二虚拟现实设备的全景视频区域中确定与所述第一视频区域对应的第二视频区域。

6.根据权利要求3所述的方法，其特征在于，还包括：

所述虚拟现实平台接收所述第一虚拟现实设备的全景视频区域内的图像和所述第二虚拟现实设备的全景视频区域内的图像；

根据所述第一虚拟现实设备的全景视频区域内的图像建立所述第一虚拟现实设备的全景多维度视频；

根据所述第二虚拟现实设备的全景视频区域内的图像建立所述第二虚拟现实设备的全景多维度视频。

7.一种基于虚拟现实设备的视频通信系统，其特征在于，包括：第一虚拟现实设备和第二虚拟现实设备；所述第一虚拟现实设备和所述第二虚拟现实设备通过虚拟现实平台进行多维视频通信连接，

所述第一虚拟现实设备，用于向所述虚拟现实平台发送通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；

所述虚拟现实平台，用于接收所述第一虚拟现实设备发送的通信请求消息，根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，获取与所述第二视频区域对应的多维度视频，并发送给所述第一虚拟现实设备；

所述第一虚拟现实设备，还用于接收并显示所述第二视频区域对应的多维度视频；

所述的系统还包括，分别与所述虚拟现实平台连接的第一摄像装置和第二摄像装置；

所述第一摄像装置，用于拍摄所述第一虚拟现实设备的全景视频区域内的图像并发送给所述虚拟现实平台，以使所述虚拟现实平台建立所述第一虚拟现实设备的全景多维度视频；

所述第二摄像装置，用于拍摄所述第二虚拟现实设备的全景视频区域内的图像并发送给所述虚拟现实平台，以使所述虚拟现实平台建立所述第二虚拟现实设备的全景多维度视频；

第一拍摄装置包括4个摄像头，第二拍摄装置包括4个摄像头；

4个摄像头分布于全景视频区域的4个角部,通过分布于角部的4个摄像头可以覆盖整个全景视频区域,分布于角部的4个摄像头通过各个角度拍摄4个方位的视频图像给虚拟现实平台，虚拟现实平台根据拍摄的4个方位的视频图像，计算出4个摄像头可以覆盖的全景视频区域并保存。

8.根据权利要求7所述的系统，其特征在于：所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

9.根据权利要求7所述的系统，其特征在于：

所述虚拟现实平台，还用于接收所述第一虚拟现实设备和所述第二虚拟现实设备分别发送的注册请求消息，建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系，建立和保存所述第二虚拟现实设备的标识、所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系；

其中，所述第一虚拟现实设备发送的注册请求消息中包括所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系，所述第二虚拟现实设备发送的注册请求消息中包括所述第二虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

10.根据权利要求9所述的系统，其特征在于：

所述虚拟现实平台，还用于根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在所述第二虚拟现实设备的全景视角位置信息中确定与所述第一视角位置信息对应的第二视角位置信息，所述第二视角位置信息为所述第二虚拟现实设备的全景视角位置信息中的任一视角位置信息，根据所述第二视角位置信息，在所述第二虚拟现实设备的全景视频区域中确定与所述第二视角位置信息对应的第二视频区域；或者

所述虚拟现实平台，还用于根据所述第一视角位置信息，在所述第一虚拟现实设备的全景视频区域中确定与所述第一视角位置信息对应的第一视频区域，根据所述第二虚拟现实设备的标识和所述第一视频区域，在所述第二虚拟现实设备的全景视频区域中确定与所述第一视频区域对应的第二视频区域。

11.一种基于虚拟现实设备的视频通信方法，其特征在于，包括：

第一虚拟现实设备向虚拟现实平台发送通信请求消息，所述通信请求消息中包括第一视角位置信息和第二虚拟现实设备的标识，所述第一视角位置信息为所述第一虚拟现实设备的全景视角位置信息中的任一视角位置信息；以使所述虚拟现实平台根据所述第一视角位置信息和所述第二虚拟现实设备的标识，在第二虚拟现实设备的全景视频区域中确定对应的第二视频区域，并将获取的与所述第二视频区域对应的多维度视频发送给第一虚拟现实设备；

所述第一虚拟现实设备对所述第二视频区域对应的多维度视频进行显示；

其中将分布于全景视频区域的4个角部的4个摄像头通过各个角度拍摄4个方位的视频图像给虚拟现实平台，以使虚拟现实平台根据拍摄的4个方位的视频图像，计算出4个摄像头可以覆盖的全景视频区域。

12.根据权利要求11所述的方法，其特征在于，所述虚拟现实平台包括内置或外置于所述第一虚拟现实设备或所述第二虚拟现实设备中用于实现所述第一虚拟现实设备和所述第二虚拟现实设备进行多维视频通信的处理芯片。

13.根据权利要求11所述的方法，其特征在于，所述第一虚拟现实设备向虚拟现实平台发送通信请求消息前，还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送注册请求消息，所述注册请求消息中包括所述第一虚拟现实设备的全景视频区域与全景视角位置信息之间的对应关系；以使所述虚拟现实平台建立和保存所述第一虚拟现实设备的标识、所述第一虚拟现实设备的全景视频区域与所述全景视角位置信息之间的对应关系。

14.根据权利要求13所述的方法，其特征在于，所述第一虚拟现实设备向虚拟现实平台发送通信请求消息前，还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送加好友请求消息，所述加好友请求消息中包括所述第二虚拟现实设备的标识；以使所述虚拟现实平台根据所述第二虚拟现实设备的标识，建立所述第一虚拟现实设备的全景视频区域与所述第二虚拟现实设备的全景视频区域之间的对应关系，建立所述第一虚拟现实设备的全景视角位置信息与所述第二虚拟现实设备的全景视角位置信息之间的对应关系。

15.根据权利要求13所述的方法，其特征在于，还包括：

所述第一虚拟现实设备向所述虚拟现实平台发送所述第一虚拟现实设备的全景视频区域内的图像，以使所述虚拟现实平台根据所述第一虚拟现实设备的全景视频区域内的图像建立所述第一虚拟现实设备的全景多维度视频。

Images