CN106385576A - 立体虚拟现实直播方法、装置及电子设备 - Google Patents

Abstract

本发明涉及直播技术领域，具体公开了立体虚拟现实直播的方法、装置及电子设备，所述方法包括：获取至少两个不同视角的主播图像信息；根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。本发明实施例提供的立体虚拟现实直播方法、装置及电子设备视觉体验丰富，画面立体、真实，交互性强。

Description

立体虚拟现实直播方法、装置及电子设备

技术领域

本发明涉及直播技术领域，尤其涉及立体虚拟现实直播方法、装置及电子设备。

背景技术

虚拟现实(Virtual Reality)，简称VR技术，其利用电脑或其它智能计算设备模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身临其境一般。VR显示能够提供非常沉浸感的体验，非常适合游戏、影视、交互等领域。随着科技的进步，VR显示在原理和实现手段上也逐步完善，现已逐渐从实验室科研项目走向消费市场。

直播是一种在现场随着事件的发生、发展进程同步制作和发布信息，具有双向流通过程的信息发布方式。随时互联网络技术的发展，直播的概念有了新的拓展和发展，网络直播受到了越来越多人的关注。

在实现本发明过程中，发明人发现相关技术存在以下问题：现有的直播方式较单调乏味，用户体验不佳。

发明内容

本发明提供一种立体虚拟现实直播方法、装置及电子设备，提供一种新颖的、将立体和VR相结合的直播方式，能够解决现有直播方式较单调乏味，用户体验不佳的问题。

本发明实施例提供一种立体虚拟现实直播方法，包括：

获取至少两个不同视角的主播图像信息；

根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；

发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

可选地，

所述至少两个不同视角的主播图像信息包括左右双目摄像头实时采集的不同视角的主播图像信息；

所述根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图包括：

对所述左右双目摄像头实时采集的主播图像信息进行抠图处理，获取所述主播图像中主播的左视图及右视图；

根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

可选地，所述双摄像头的不同视角包括：平行视角或交叉视角。

可选地，所述根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图，具体包括：

将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置；

利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及

利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。

可选地，在所述将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置之前，对所述左视图和右视图进行尺寸缩放处理和/或视差调整处理。

可选地，所述全景包括:球面全景、圆柱全景或立方盒全景。

可选地，在所述渲染的过程中进行预定特效处理。

可选地，所述发送所述立体全景视图包括：

对所述立体全景视图进行压缩处理，发送所述压缩处理后的立体全景视图。

又一方面，本发明实施例还提供了一种立体虚拟现实直播方法，包括：

接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图；

获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

对所述左渲染视图及右渲染视图分别进行反畸变处理，并呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

可选地，所述获取虚拟现实设备佩戴者的头部姿态，具体包括：

根据陀螺仪采集的信息和加速计采集的信息确定所述虚拟现实设备佩戴者的头部姿态。

可选地，

所述接收的立体全景视图进行了压缩处理；

在接收所述立体全景视图后，所述方法还包括：对所述立体全景视图进行解压缩处理。

再一方面，本发明实施例还提供了一种立体虚拟现实直播装置，包括：

获取单元，用于获取至少两个不同视角的主播图像信息；

合成单元，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；

发送单元，用于发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

可选地，所述获取单元具体包括左右双目摄像头，用于实时采集不同视角的主播图像信息；

所述合成单元具体包括：

抠图模块，用于对所述实时采集的主播图像信息进行抠图处理，获取所述主播图像中主播的左视图及右视图；

合成模块，用于根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

可选地，所述合成模块，具体用于：

将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置；

利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及

利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。

可选地，所述合成单元还包括调整模块，用于在所述将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置之前，对所述左视图和右视图进行尺寸缩放处理和/或视差调整处理。

再一方面，本发明实施例还提供一种立体虚拟现实直播装置，所述装置包括:

接收单元，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼立体全景视图及右眼立体全景视图；

获取单元，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

渲染单元，用于利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

反畸变单元，用于对所述左渲染视图及右渲染视图分别进行反畸变处理，并呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

可选地，所述获取单元，具体用于：

根据陀螺仪采集的信息和加速计采集的信息确定所述虚拟现实设备佩戴者的头部姿态。

再一方面，本发明实施例还提供一种立体虚拟现实直播电子设备，包括:

采集卡，用于获取至少两个不同视角的主播图像信息；

处理器，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图，并发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

再一方面，本发明实施例还提供一种立体虚拟现实直播电子设备，包括:

传感器，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

处理器，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图；利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；并对所述左渲染视图及右渲染视图分别进行反畸变处理；

虚拟现实显示器，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图。

本发明实施例的有益效果在于，本发明实施例提供的立体虚拟现实直播方法、装置及电子设备将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果，同时，主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验。

本发明实施例提供的立体虚拟现实直播方法、装置及电子设备通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种立体虚拟现实直播方法的流程示意图；

图2是本发明实施例二提供的又一种立体虚拟直播方法的流程示意图；

图3是本发明实施例三提供的再一种立体虚拟直播方法的流程示意图；

图4是本发明实施例四提供的一种立体虚拟直播装置的示意图；

图5是本发明实施例五提供的又一种立体虚拟直播装置的示意图；

图6是本发明实施例六提供的再一种立体虚拟直播装置的示意图；

图7是本发明实施例七提供的一种立体虚拟直播电子设备的硬件结构示意图；

图8是本发明实施例八提供的又一种立体虚拟直播电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

本发明实施例的立体虚拟现实直播方法及其装置可以将任意直播的真实图像和预设的虚拟场景模型进行融合，并通过虚拟现实显示设备呈现。可以应用于直播，也可以应用于游戏、视频等领域。

下面结合附图，对本发明实施例作进一步阐述。

实施例一

图1是本发明实施例一提供的立体虚拟现实直播方法的流程示意图，请参阅图1，该方法包括：

110、获取至少两个不同视角的主播图像信息。

在本实施例中，所述视角是指人眼观看主播的角度，可以包括人的左眼的观看角度和右眼的观看角度；所述主播可以泛指负责直播节目的主持人，或者除了主持人之外的直播主体，例如，动物、机器人等等，为方便描述，以下以主播为人进行描述；所述主播图像信息包括该主播的人像和主播所处在的背景环境的图像信息，在本实施例中，主播所处于的背景环境可以设置为绿幕或蓝幕，以方便在后续处理中将实际拍摄的背景环境去除，并将主播人像信息与虚拟场景模型进行合成渲染。

在本实施例中，可以通过图像采集设备，如摄像机，实时采集主播图像信息。在采集主播图像信息时，为了获取主播的立体图像信息，可以采用左右双目摄像头进行拍摄，并输出左右两个不同视角的视图。其中，该摄像头可以是多路独立的摄像机，也可以是1台集成的立体摄像机。由于一些物理的限制，在设置摄像头的不同视角时，可以使用平行视角或交叉视角。这两种视角配置都可以产生立体视觉效果，区别的是平行视角最后在显示的时候，需要进行一些左右平移调整，将零视差面调整到一个合理的距离上(视差焦距)，如果不进行左右平移调整，会产生一种零视差面无穷远的立体效果。在本实施例中，以交叉视角配置为例。

120、根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图。

在本实施例中，预先建立的虚拟场景模型是指根据直播的主要内容预先建立的与之相应的虚拟场景模型，该虚拟场景模型即主播所处于的虚拟环境，可以是用于表现广场、电影院、宫殿等真实环境，也可以是用于表现一些抽象的、不真实的虚拟环境。该虚拟环境可以通过顶点、纹理、材质等数据构建。

在本实施例中，根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图的步骤包括：

首先，使用抠像算法分别去掉所述至少两个不同视角的主播图像信息中主播背后的蓝色或绿色背景。所述抠像算法可以是色度键抠像法，该算法通过找到那些均匀的饱和度比较高的蓝色或绿色背景颜色区域，并将这些背景颜色区域的透明值设为最小值，而人像颜色区域则保持原始颜色，从而在所述主播图像信息中明显地区分出人像区域和背景区域。在经过所述抠像处理后，可以得到左右两个视图。

进一步地，为了提升立体虚拟现实直播的观看体验，还可以对主播的人像进行美化，如：通过gamma、log函数等增加图像的亮度值来对人像进行美白美化；通过滤波算法在当前处理的像素位置附近做带保边性质的滤波处理以达到对人像进行磨皮美化的效果，所述滤波算法包括但不限于：双边滤波、导向滤波、均方差滤波和BEEP滤波等。

由于左右视图中主播的尺寸和虚拟场景模型的尺寸设置可能是不匹配的，为了达到融合自然、合理，接近于真实的效果，可在对主播的左视图及右视图与预先建立的虚拟场景模型进行合成处理之前，先对左视图和右视图进行尺寸缩放处理。

由于主播的左右视图放置的相互位置及其与虚拟相机的距离，会影响最后的立体视差效果。主播的实拍图像的视差由采集时的摄像机机位、间距、视差焦距等决定；而虚拟场景图像的视差受虚拟相机的机位、间距、视差焦距控制。这两类图像在虚实合成的时候要想保持合理，需要做一些调整和控制。因此，在本实施例中，可以在对主播的左视图及右视图与预先建立的虚拟场景模型进行合成处理之前，先对左视图和右视图进行视差调整处理。

随后，根据经过上述视差调整后的所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

在本实施例中，主播的左视图和右视图可以分别以纹理方式传输到渲染环境中，经过左虚拟相机和右虚拟相机进行虚实合成的过程。该合成的过程具体包括：将主播的左视图和右视图放置于所述虚拟场景模型中的预定位置；利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。其中，所述预定位置与虚拟相机的距离保持在视差焦距附近，以保持主播的左右视图的零视差面和虚拟场景模型的零视差面都保持在视差焦距上。若拍摄主播时采用交叉视角机位配置，则主播的左右视图重叠地放在虚拟场景模型中的一个固定位置上，若拍摄主播时采用平行视角机位配置，则主播的左右视图的位置需要左右平移一点，以保持主播的左右视图零视差面保持在视差焦距上。所述利用左虚拟相机(或右虚拟相机)按照不同拍摄姿态对所述放置有所述左视图(或右视图)的虚拟场景模型进行多次渲染，获取多张左渲染视图的步骤可以通过在渲染环境中进行Alpha混合处理来实现。虽然主播的左右视图看起来位置是重叠的，或是相互间有一点左右平移，但在实际执行渲染的时候是依次渲染的，左右虚拟相机或主播的左右视图之间并不会相互影响，即，当左虚拟相机进行渲染的时候，只显示主播的左视图，而主播的右视图并不显示；同理，右虚拟相机进行渲染的时候，只显示主播的右视图。由于在对主播图像信息进行抠像处理的时候已经将非人像区域的透明值设为最小值，所以，在渲染环境中进行Alpha混合的时候，这些非人像区域自然会被后面的虚拟场景中的颜色替代，达到虚实合成的效果。所述立体全景拼接的格式可以是：球面全景、圆柱全景或立方盒全景，上述三种格式映射的方式不一样，但没有本质区别。

在一些实施例中，为了配合直播内容，还可以在渲染的过程中对虚拟场景进行预定的特效处理，如：直播的内容与惊悚有关，需要营造一种紧张恐怖的气氛，则可以在虚拟场景中增加一些风雨雷电等特效，以增强视觉体验。

130、发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

在本实施例中，所述立体全景视图合成有主播和虚拟场景，包括左眼全景视图和右眼全景视图。

在本实施例中，可以通过网络将所述立体全景视图进行传输，也可以借助HDMI、SDI等物理连接进行传输。在一些实施例中，考虑到大多数直播需要通过网络进行远程观看，且所述立体全景视图的数据量较大的问题，可以先对所述立体全景视图进行压缩处理，再发送所述压缩处理后的立体全景视图，以减少传输压力。

本发明实施例提供的立体虚拟现实直播方法将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果，同时，主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验。

实施例二

与图1所示实施例相对应，本发明还提供一种立体虚拟直播方法，应用于直播显示端。图2是本发明实施例二提供的这种立体虚拟直播方法的流程示意图,请参阅图2，该方法包括：

210、接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图。

在本实施例中，客户端接收的立体全景视图包括左眼全景视图及右眼全景视图，以实现立体视觉效果。该立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，具体的实施方式请参阅实施例一。

为了减轻传输压力，接收的立体全景视图可进行压缩处理，在本实施例中，接收经过压缩处理的立体全景视图后，对该立体全景视图进行解压缩处理，以还原该立体全景视图的原始状态。

220、获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态。

在本实施例中，所述佩戴者的头部姿态是指在体验的过程中，佩戴者的头部发出的动作，如：向左偏转、向右偏转、向上偏转或向下偏转。通过获取佩戴者的头部发出的动作，可以确定佩戴者当前在立体全景视图中的的观看视角。由于虚拟现实设备固定在佩戴者的头部，因此，虚拟现实设备的姿态可以代表佩戴者的头部姿态。在一些实施例中，可以通过陀螺仪、加速计、磁力计等传感器采集的信息获取虚拟现实设备在空间中的姿态，进而确定佩戴者的头部姿态。

在本实施例中，所述虚拟相机包括模拟佩戴者的双眼的左虚拟相机和右虚拟相机。所述虚拟相机的拍摄姿态是指左右两个虚拟相机的拍摄角度和位置。通过获得佩戴者当前在立体全景视图中的观看视角，可以确定虚拟相机的拍摄角度。

230、利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图。

在所述左眼全景视图和右眼全景视图的信息中，左右虚拟相机的不同的拍摄姿态对应有不同的左右渲染视图，因此，在本实施例中，确定左虚拟相机和右虚拟相机的拍摄姿态后，即可得到与之相应的左渲染视图和右渲染视图。

240、对所述左渲染视图及右渲染视图分别进行反畸变处理，并呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

由于虚拟现实设备上的凸透镜会使图像发生畸变，因此，在本实施例中，将获得的左渲染视图和右渲染视图显示在虚拟现实设备上之前，需要对所述左渲染视图及右渲染视图分别进行反畸变处理。最后，呈现所述经反畸变处理后的左渲染视图及右渲染视图。

在本实施例中，所述反畸变处理具体为：对所述左渲染视图及右渲染视图分别做与凸透镜的畸变相反的处理，使得所述左渲染视图及右渲染视图在经过凸透镜的变形后，在用户眼前呈现正常的效果。例如：一般凸透镜的畸变可以使用多项式来近似拟合，距离中心越远的像素变形越厉害：

$r=\sqrt{x^2+y^2}$

x′＝(1+k₁r²+k₂r⁴+k₃r⁶+k₄r¹⁰+…)x

y′＝(1+k₁r²+k₂r⁴+k₃r⁶+k₄r¹⁰+…)y

其中(x,y)是未畸变的像素位置，(x′,′)是畸变后的像素位置，(k₁,k₂,k₃,k₄,…)为畸变系数，一般取到k₁₀基本可近似绝大多数的畸变。畸变系数是跟虚拟现实设备的凸透镜的光学设计相关的，可以通过凸透镜的设计参数和虚拟现实设备的结构设计，计算得到。所述反畸变过程与上述畸变过程相反，即：

$x_p=\frac{x}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6+k_4{r}^{10}+...}$

$y_p=\frac{y}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6+k_4{r}^{10}+...}$

通过上述计算公式，即可实现对左渲染视图和右渲染视图的反畸变处理。

本发明实施例提供的立体虚拟现实直播方法通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。

实施例三

图3是本发明实施例三提供的又一种立体虚拟直播方法的流程示意图，请参阅图3，该方法包括：

310、获取至少两个不同视角的主播图像信息。

320、根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图。

330、获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态。

340、利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图。

350、对所述左渲染视图及右渲染视图分别进行反畸变处理，并呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

上述步骤310-320以及330-350分别与实施例一中的步骤110-120以及实施例二中的步骤220-240基于相同的发明构思，采用相同的技术手段，因此，上述各步骤的具体实施方式在此便不再赘述。

本实施例提供的立体虚拟现实直播方法将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果，同时，主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验；通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。

实施例四

图4是本发明实施例提供的一种立体虚拟现实直播装置的示意图，请参阅图4，该装置400包括：获取单元41、合成单元42和发送单元43。

在本实施例中，获取单元41用于获取至少两个不同视角的主播图像信息；合成单元42用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；发送单元43用于发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

在本实施例中，获取单元41具体包括左右双目摄像头，用于实时采集不同视角的主播图像信息。所述主播图像信息包括主播的人像和主播所处于的拍摄背景的信息。拍摄背景为绿幕或蓝幕。

在本实施例中，合成单元42具体包括：

抠图模块421，用于对所述实时采集的主播图像信息进行抠图处理，获取所述主播图像中主播的左视图及右视图；

合成模块422，用于根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

在本实施例中，所述合成单元42还包括：

调整模块423，用于在所述将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置之前，对所述主播的左视图和右视图进行尺寸缩放处理和/或视差调整处理。

特效处理模块424，用于在所述渲染的过程中进行预定特效处理。

在本实施例中，首先通过获取单元41中的左右双目摄像头411对主播进行至少两个不同视角的拍摄，获取至少两个不同视角的主播图像信息，该拍摄的视角可以是平行视角也可以是交叉视角。然后应用合成单元42中的抠图模块421对所述主播图像信息进行抠图处理，通过抠像算法去掉主播图像信息中的背景颜色，方便在后续处理中将主播的人像融入到虚拟场景中。抠像处理后，在合成单元42的调整模块423中对主播的左视图和右视图进行视差调整，以增强立体视差效果。接着，利用合成单元42的合成模块422根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图。其具体的合成过程为：将所述主播的左视图和右视图重叠放置于所述虚拟场景模型中的预定位置；利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及，利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。另外，在渲染的过程中还可以利用特效处理模块424进行预定的特效处理，以增强视觉体验。最后，通过发送单元43发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

本实施例提供的立体虚拟现实装置将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果，同时，主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验。

实施例五

图5是本发明实施例提供的又一种立体虚拟现实直播装置，请参阅图5，该装置500包括：

接收单元51，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼立体全景视图及右眼立体全景视图；

获取单元52，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

渲染单元53，用于利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

反畸变单元54，用于对所述左渲染视图及右渲染视图分别进行反畸变处理；

显示单元55，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

在本实施例中，所述装置500还包括：

解压单元56，用于对进行了压缩处理的立体全景视图进行解压处理。

在本实施例中，所述获取单元52具体包括：

陀螺信息获取模块521，用于采集陀螺仪的信息；

加速信息获取模块522，用于采集加速计的信息。

在本实施例中，接收单元51接收根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成的立体全景视图，包括左眼立体全景视图及右眼全景视图。若接收的立体全景视图进行过压缩处理，则先利用解压单元56对接收的立体全景视图进行解压处理；若接收的立体全景视图为原始视图，则将该立体全景视图直接传输到渲染单元53进行渲染。通过获取单元52中的陀螺信息获取模块521采集陀螺仪的信息，加速信息获取模块522采集加速计的信息，以确定虚拟现实设备的佩戴者的头部姿态，进而确定渲染单元53中的虚拟相机的拍摄姿态。在渲染单元53中，利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图。由于虚拟现实设备前方通常有两个凸透镜，会对图像产生一定的畸变，因此，得到左渲染图和右渲染图后由反畸变单元54对其进行反畸变处理。最后在显示单元55中呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

本实施例提供的立体虚拟现实直播装置通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。

实施例六

图6是本发明实施例提供的再一种立体虚拟现实直播装置的示意图，请参阅图6，该装置600包括：

图像获取单元61，用于获取至少两个不同视角的主播图像信息；

合成单元62，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；

姿态获取单元63，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

渲染单元64，用于利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

反畸变单元65，用于对所述左渲染视图及右渲染视图分别进行反畸变处理；

显示单元66，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

在本实施例中，首先通过图像获取单元61获取至少两个不同视角的主播图像信息；根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，在合成单元62中对上述主播图像信息和虚拟场景模型进行合成处理，获得合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；通过姿态获取单元63获取虚拟现实设备佩戴者的头部姿态，并根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；根据所述虚拟相机的拍摄姿态，在渲染单元64中分别对左眼全景视图及右眼全景视图进行渲染，获得左渲染视图和右渲染视图；利用反畸变单元65对该左渲染视图和右渲染视图进行反畸变处理；最后，利用显示单元66呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

本实施例提供的立体虚拟现实直播装置将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果；主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验；通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。

需要说明的是，由于立体虚拟现实直播装置与立体虚拟现实直播方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于装置实施例，此处不再详述。

实施例七

图7是发明实施例提供的一种立体虚拟现实直播电子设备，请参阅图7，该电子设备700包括：

采集卡71，用于获取至少两个不同视角的主播图像信息；

处理器72，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图，并发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

在本实施例中，采集卡71获取至少两个不同视角的主播图像信息，并将该主播图像信息传输给处理器72，处理器72根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，并发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。其中，所述立体全景视图包括左眼全景视图及右眼全景视图。

本发明实施例提供的立体虚拟现实直播电子设备将主播的真实图像与虚拟场景进行合成，表现出更加真实、丰富的视觉体验，产生更具视觉冲击的音画效果，同时，主播画面和虚拟场景画面都是具有立体视差的左右两个视图，更加立体、真实，进一步提升了用户体验。所述电子设备可执行本发明实施例一所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一所提供的方法。

实施例八

图8是发明实施例提供的一种立体虚拟现实直播电子设备，请参阅图8，该电子设备800包括：

传感器81，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

处理器82，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图；利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；并对所述左渲染视图及右渲染视图分别进行反畸变处理；

虚拟现实显示器83，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图。

在本实施例中，传感器81获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态，并将虚拟相机的拍摄姿态反馈给处理器82；处理器82接收立体全景视图，其中，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，包括左眼全景视图及右眼全景视图，利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图，并对所述左渲染视图及右渲染视图分别进行反畸变处理；最后处理器82将经反畸变处理的左渲染图和右渲染图传输到虚拟现实显示器83中，并在虚拟现实显示器83中呈现。

本发明实施例提供的立体虚拟现实直播电子设备通过获取虚拟现实设备佩戴者的头部姿态，确定佩戴者当前的观看视角，并根据佩戴者当前的观看视角显示相应的渲染视图，增强了立体虚拟现实直播的交互性，提升用户体验；通过对渲染视图进行反畸变处理，改善了呈现的视图的质量，增强立体虚拟现实直播的视觉效果。所述电子设备可执行本发明实施例二所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例二所提供的方法。

在本发明实施例中，电子设备700和800可以以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (19)

1.一种立体虚拟现实直播方法，其特征在于，包括：

获取至少两个不同视角的主播图像信息；

根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；

发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

2.根据权利要求1所述的方法，其特征在于，

所述至少两个不同视角的主播图像信息包括左右双目摄像头实时采集的不同视角的主播图像信息；

所述根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图包括：

对所述左右双目摄像头实时采集的主播图像信息进行抠图处理，获取所述主播图像中主播的左视图及右视图；

根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

3.根据权利要求2所述的方法，其特征在于，所述摄像头的不同视角包括：平行视角或交叉视角。

4.根据权利要求2所述的方法，其特征在于，所述根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图，具体包括：

将所述主播的左视图和右视图放置于所述虚拟场景模型中的预定位置；

利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及

利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。

5.根据权利要求4所述的方法，其特征在于，在所述将所述主播的左视图和右视图放置于所述虚拟场景模型中的预定位置之前，对所述左视图和右视图进行尺寸缩放处理和/或视差调整处理。

6.根据权利要求4所述的方法，其特征在于，所述全景包括:球面全景、圆柱全景或立方盒全景。

7.根据权利要求4所述的方法，其特征在于，在所述渲染的过程中进行预定特效处理。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述发送所述立体全景视图包括：

对所述立体全景视图进行压缩处理，发送所述压缩处理后的立体全景视图。

9.一种立体虚拟现实直播方法，其特征在于，所述方法包括:

接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图；

获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

对所述左渲染视图及右渲染视图分别进行反畸变处理，并呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

10.根据权利要求9所述的方法，其特征在于，所述获取虚拟现实设备佩戴者的头部姿态，具体包括：

根据陀螺仪采集的信息和加速计采集的信息确定所述虚拟现实设备佩戴者的头部姿态。

11.根据权利要求9所述的方法，其特征在于，

所述接收的立体全景视图进行了压缩处理；

在接收所述立体全景视图后，所述方法还包括：对所述立体全景视图进行解压缩处理。

12.一种立体虚拟现实直播装置，其特征在于，包括：

获取单元，用于获取至少两个不同视角的主播图像信息；

合成单元，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图；

发送单元，用于发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

13.根据权利要求12所述的装置，其特征在于，

所述获取单元包括左右双目摄像头，用于实时采集不同视角的主播图像信息；

所述合成单元具体包括：

抠图模块，用于对所述实时采集的主播图像信息进行抠图处理，获取所述主播图像中主播的左视图及右视图；

合成模块，用于根据所述主播的左视图及右视图与预先建立的虚拟场景模型，进行所述主播和所述虚拟场景的合成处理，获取立体全景视图。

14.根据权利要求13所述的装置，其特征在于，所述合成模块，具体用于：

将所述主播的左视图和右视图放置于所述虚拟场景模型中的预定位置；

利用左虚拟相机按照不同拍摄姿态对所述放置有所述左视图的虚拟场景模型进行多次渲染，获取多张左渲染视图，对所述多张左渲染视图进行全景拼接处理，生成左眼全景视图；以及

利用右虚拟相机按照不同拍摄姿态对所述放置有所述右视图的虚拟场景模型进行多次渲染，获取多张右渲染视图，对所述多张右渲染视图进行全景拼接处理，生成右眼全景视图。

15.根据权利要求14所述的装置，其特征在于，所述合成单元还包括:

调整模块，用于在所述将所述主播的左视图和右视图放置于所述虚拟场景模型中的预定位置之前，对所述左视图和右视图进行尺寸缩放处理和/或视差调整处理。

16.一种立体虚拟现实直播装置，其特征在于，所述装置包括:

接收单元，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼立体全景视图及右眼立体全景视图；

获取单元，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

渲染单元，用于利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；

反畸变单元，用于对所述左渲染视图及右渲染视图分别进行反畸变处理；

显示单元，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图，从而实现立体虚拟现实直播。

17.根据权利要求16所述的装置，其特征在于，所述获取单元，包括：

陀螺信息获取模块，用于采集陀螺仪的信息；

加速信息获取模块，用于采集加速计的信息。

18.一种立体虚拟现实直播电子设备，其特征在于，包括:

采集卡，用于获取至少两个不同视角的主播图像信息；

处理器，用于根据所述至少两个不同视角的主播图像信息和预先建立的虚拟场景模型，获取合成有所述主播和所述虚拟场景的立体全景视图，所述立体全景视图包括左眼全景视图及右眼全景视图，并发送所述立体全景视图，以使接收端根据所述立体全景视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

19.一种立体虚拟现实直播电子设备，其特征在于，包括：

传感器，用于获取虚拟现实设备佩戴者的头部姿态，根据所述佩戴者的头部姿态确定虚拟相机的拍摄姿态；

处理器，用于接收立体全景视图，所述立体全景视图根据至少两个不同视角的主播图像信息和预先建立的虚拟场景模型合成，所述立体全景视图包括左眼全景视图及右眼全景视图；利用左虚拟相机按照确定的拍摄姿态渲染所述左眼全景视图得到左渲染视图，利用右虚拟相机按照确定的拍摄姿态渲染所述右眼全景视图得到右渲染视图；并对所述左渲染视图及右渲染视图分别进行反畸变处理；

虚拟现实显示器，用于呈现经反畸变处理后的所述左渲染视图及右渲染视图。