CN111405262B - 一种视点信息生成方法、装置、系统、设备和介质 - Google Patents

Abstract

本发明涉及虚拟现实(VR,Virtual Reality)领域，特别涉及一种视点信息生成方法、装置、系统、设备和介质。根据本发明实施例提供的方案，如果用户左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置，可以基于实景拍摄VR内容采集到的视点信息进行虚拟视点合成，得到用户左眼位置坐标或右眼位置坐标对应的视点信息，使得即使基于实景拍摄的VR内容采集，也可以得到任意位置的自由视点信息，进而使得可以根据自由视点信息进行VR显示，并可以有效提高VR显示效果的平滑性和连续性。

Description

一种视点信息生成方法、装置、系统、设备和介质

技术领域

本发明涉及虚拟现实(VR,Virtual Reality)领域，特别涉及一种基于实景拍摄VR内容采集的视点信息生成方法、装置、系统、设备和介质。

背景技术

VR显示技术，是一种多源信息融合的、交互式的三维动态视景和实体行为的仿真系统，其利用计算机技术创建模拟的场景使用户沉浸其中，体验虚拟世界。

VR显示技术基本工作原理是，通过显示器和透镜组，将显示的虚拟影像投射到人眼，当人转动头部时，陀螺仪能够及时地通知图像生成以及时地更新画面，从而使人感觉到，自己是在看一个环绕的虚拟空间，从而产生360度的三维空间感。

双目视差是产生立体视觉最重要的深度线索。由于人的双目具有一定的间距，当观看某一场景时，场景不同角度的信息会通过瞳孔投射入双目，在视网膜上呈现具有一定差异的图像，这种差异被称为双目视差。在用户左眼形成的视点信息(此处可以命名为左视点信息，视点信息可以但不限于理解为显示内容，如，图像信息)，以及在用户右眼形成的视点信息(此处可以命名为右视点信息)可以如图1所示。视觉神经中枢会对视网膜传递过来的具有一定差异的信号进行比对和融合，从而产生了对三维场景或物体的深度感知。

基于双目视差原理，VR显示技术将不同的视点信息分别投射于观察者的左右眼，从而使得观察者产生具有强烈的三维空间感的VR体验。

目前依据生成方式的不同，视点信息的生成方法可以分为两类，包括基于虚拟渲染的VR内容生成方法和基于实景拍摄的VR内容采集方法。

基于虚拟渲染的VR内容生成方法中,利用三维(3D)建模软件对预采集场景建模构造虚拟场景，然后设置虚拟相机对虚拟场景进行采集，利用代码实现交互逻辑，输出可交互的VR内容。其优点在于可进行任意视点(可以理解为任意位置的观察点，也可以称为自由视点)对应的视点信息的渲染，渲染生成的视点信息具有双目视差，可呈现三维的VR视觉体验，其缺点在于不能对某些真实场景进行完全模拟，真实体验度较差。

基于实景拍摄的VR内容采集方法中，利用全景相机或者相机阵列对真实场景进行采集，利用图像处理相关算法，对采集内容进行全景图拼接，输出全景视频或全景图，用于VR显示装置进行虚拟现实视觉体验的构建。

基于实景拍摄的VR内容采集方法，可实现针对真实场景的360度全景VR内容采集，相对于基于虚拟渲染的VR内容生成方法VR视觉真实体验感更强，但由于采集过程中相机数目和间距受限，针对的视点数量有限，无法实现针对真实场景的自由视点VR内容采集，也就无法实现自由视点信息生成和显示，VR显示效果的平滑性和连续性会受到影响。

发明内容

本发明实施例提供一种视点信息生成方法、装置、系统、设备和介质，用于解决VR内容实景拍摄采集无法实现自由视点信息生成的问题。

一种视点信息生成方法，所述方法包括：

确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；

其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。

一种视点信息生成方法，所述方法包括：

接收虚拟现实VR用户左眼位置坐标和右眼位置坐标；

返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

一种视点信息生成方法，所述方法包括：

接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标；

将接收到的坐标发送至VR内容采集装置；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

一种视点信息生成装置，所述装置包括：

坐标确定模块，用于确定虚拟现实VR用户左眼位置坐标和右眼位置坐标；

发送模块，用于将所述坐标确定模块确定出的坐标发送至VR内容采集装置；

接收模块，用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

视点信息生成模块，用于根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。

一种客户端虚拟现实VR设备，所述设备包括如上所述的视点信息生成装置。

一种虚拟现实VR内容采集装置，所述装置包括视频处理服务器，其中：

所述视频处理服务器，用于接收VR用户左眼位置坐标和右眼位置坐标，并返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

一种网络服务器，所述网络服务器包括：

接收模块，用于接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标；

发送模块，用于将所述接收模块接收到的坐标发送至VR内容采集装置；

所述接收模块，还用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

所述发送模块，还用于将所述接收模块接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

一种视点信息生成系统，所述系统包括如上所述的视点信息生成装置和如上所述的虚拟现实VR内容采集装置。

一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现任一如上所述方法的步骤。

一种视点信息生成设备，包括收发器、存储器、处理器以及总线接口；所述处理器，用于读取存储器中的程序，执行：

确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标通过所述收发器发送至VR内容采集装置；

通过所述收发器接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；

其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器接收VR用户左眼位置坐标和右眼位置坐标；

通过所述收发器返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器接收视点信息生成装置发送的VR用户左眼位置坐标和右眼位置坐标；

通过所述收发器将接收到的坐标发送至VR内容采集装置；

通过所述收发器接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

通过所述收发器将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

根据本发明实施例提供的方案，如果用户左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置，可以基于实景拍摄VR内容采集到的视点信息进行虚拟视点合成，得到用户左眼位置坐标或右眼位置坐标对应的视点信息，使得即使基于实景拍摄的VR内容采集，也可以得到任意位置的自由视点信息，进而使得可以根据自由视点信息进行VR显示，并可以有效提高VR显示效果的平滑性和连续性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术提供的双目视差示意图；

图2为本发明实施例一提供的视点信息生成方法的步骤流程图；

图3为本发明实施例一提供的封装视点信息示意图；

图4为本发明实施例一提供的i视点信息、i+1视点信息、视差信息以及确定出的左视点信息示意图；

图5为本发明实施例二提供的视点信息生成方法的步骤流程图；

图6为本发明实施例三提供的视点信息生成方法的步骤流程图；

图7为本发明实施例四提供的视点信息生成装置的结构示意图；

图8为本发明实施例五提供的VR内容采集装置的结构示意图；

图9为本发明实施例六提供的网络服务器的结构示意图；

图10为本发明实施例七提供的视点信息生成系统的结构示意图；

图11为本发明实施例八提供的视点信息生成系统的结构示意图；

图12为本发明实施例九提供的视点信息生成设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一、

本发明实施例一提供一种视点信息生成方法，该方法的步骤流程图可以如图2所示，包括:

步骤101、确定坐标并发送。

在本步骤中，可以实时追踪VR用户左右眼位置，确定VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置。具体的，可以根据人眼位置，利用传感器进行定位，确定VR用户左眼位置坐标和右眼位置坐标。需要说明的是，将确定出的坐标发送至VR内容采集装置可以是通过网络服务器实现的。

步骤102、接收视点信息。

在本步骤中，可以接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的。需要说明的是，接收所述VR内容采集装置返回的第一视点信息以及第二视点信息，也可以是通过网络服务器实现的。

需要说明的是，本发明各实施例涉及的VR内容采集装置可以采用相机阵列进行同步采集得到多视点信息。相机阵列拓扑结构不仅可以采用传统的发散式排列方式，还可以采用会聚式排列方式。且发明人发现，相机阵列拓扑结构为会聚式时，更加有利于针对舞台、直播等场景实现VR内容采集。

另外需要说明的是，本发明实施例中，第一视点信息(第二视点信息)可以但不限于为视频帧信息。

为了避免多视点信息传输过程中由于网络传输质量波动导致的不同步，或者传输过程中的不对等信息丢失，可以将第一视点信息和第二视点信息封装在一起进行同步传输。

具体的，在本步骤中，可以接收所述VR内容采集装置返回的封装视点信息，所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的。从而通过将第一视点信息和第二视点信息同步传输的方式，使得对第一视点信息和第二视点信息的传输质量一致，避免后续由于任一视点信息(第一视点信息或第二视点信息)质量较差或丢失，导致根据其确定出的左视点信息或右视点信息质量较差的问题。且还可以避免确定出的左视点信息和右视点信息不同步，存在延时的情况，保证VR视觉体验的时间一致性。

更优的，为了可以更快速准确地从封装视点信息中确定出第一视点信息，若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排(side by side)视频格式，其中，i为正整数。

当然，为了可以更快速准确地从封装视点信息中确定出第二视点信息，若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

以所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息为例，封装视点信息示意图可以如图3所示。

需要说明的是，i和k的取值取决于用户位置，即取决于VR用户左眼位置坐标和右眼位置坐标。若左右眼视点均位于相同的两个视点之间，则i和k的取值相同。若左右眼视点分别位于不同的两个视点之间，则i和k的取值不相同。

步骤103、确定视点信息。

在本步骤中，可以根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息。在本步骤中，可以理解为确定左视点信息和右视点信息均为实时实现的。

其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。

即在本实施例中，即使左右眼视点不是VR内容采集装置基于实景拍摄VR内容采集对应的视点，也可以通过虚拟视点合成的方式，确定出其对应的视点信息，实现自由视点信息生成。

较优的，在进行虚拟视点合成时，可以但不限于通过以下方式实现：

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，其中，i为正整数；

则，根据所述第一视点信息进行虚拟视点合成得到所述左视点信息，包括：

确定所述i视点信息和所述i+1视点信息之间的视差信息；

根据所述左眼位置坐标，利用所述视差信息对所述i视点信息进行像素移位，得到所述左视点信息；或者，根据所述左眼位置坐标，利用所述视差信息对所述i+1视点信息进行像素移位，得到所述左视点信息；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，其中，k为正整数；

则，根据所述第二视点信息进行虚拟视点合成得到所述右视点信息，包括：

确定所述k视点信息和所述k+1视点信息之间的视差信息；

根据所述右眼位置坐标，利用所述视差信息对所述k视点信息进行像素移位，得到所述右视点信息；或者，根据所述右眼位置坐标，利用所述视差信息对所述k+1视点信息进行像素移位，得到所述右视点信息。

下面以进行虚拟视点合成得到所述左视点信息为例进行说明，i视点信息、i+1视点信息、视差信息以及确定出的左视点信息示意图可以如图4所示。具体的，视差信息可以通过公式(1)表示如下：

(d_x，d_y)＝(x_R-x_L,y_R-y_L) (1)

其中，d_x，d_y表示同一细节点在i视点信息和i+1视点信息中分别在x向和y向的视差值；

x_R，y_R表示该细节点在i视点信息中分别在x向和y向的坐标值；

x_L，y_L表示该细节点在i+1视点信息中分别在x向和y向的坐标值。

左视点信息可以通过公式(2)表示如下：

(x_c，y_c)＝(x_L,y_L)+α×(d_x,d_y) (2)

其中，x_c，y_c表示所述细节点在左视点信息中分别在x向和y向的坐标值；

x_L，y_L表示该细节点在i+1视点信息中分别在x向和y向的坐标值；

α根据左眼位置坐标确定。

当然进一步的，在步骤103之后，还可以对确定出的自由视点信息进行显示，例如，可以通过客户端VR设备分别针对用户左眼显示确定出的左视点信息，针对用户右眼显示确定出的右视点信息，使得VR用户可以观察到平滑性和连续性更优的VR显示效果，本实施例不再赘述。

实施例二、

本发明实施例二提供一种视点信息生成方法，该方法的步骤流程图可以如图5所示，包括:

步骤201、接收坐标。

在本步骤中，可以接收VR用户左眼位置坐标和右眼位置坐标。需要说明的是，在本步骤中，可以从网络服务器接收VR用户左眼位置坐标和右眼位置坐标。

步骤202、返回视点信息。

在本步骤中，可以返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的。需要说明的是，在本步骤中，可以通过网络服务器返回第一视点信息以及第二视点信息。

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

较优的，在本步骤中，可以返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的。

更优的，所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排sideby side视频格式；其中，i为正整数；和/或，

所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式；其中，k为正整数。

此外，需要说明的是，基于实景拍摄采集VR内容时，可以采用相机阵列，且所述相机阵列拓扑结构可以为发散式或会聚式。

实施例三、

本发明实施例三提供一种视点信息生成方法，该方法的步骤流程图可以如图6所示，包括:

步骤301、接收坐标。

在本步骤中，可以接收视点信息生成装置发送的VR用户左眼位置坐标和右眼位置坐标。

步骤302、转发坐标。

在本步骤中，可以将接收到的坐标发送至VR内容采集装置。

步骤303、接收视点信息。

在本步骤中，可以接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的。

步骤304、转发视点信息。

在本步骤中，可以将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

与本发明实施例一对应的，提供以下装置。

实施例四、

本发明实施例四提供一种视点信息生成装置，该装置的结构示意图可以如图7所示，包括:

坐标确定模块11用于确定VR用户左眼位置坐标和右眼位置坐标；

发送模块12用于将所述坐标确定模块确定出的坐标发送至VR内容采集装置；

接收模块13用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

视点信息生成模块14用于根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。

所述接收模块13用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：

接收所述VR内容采集装置返回的封装视点信息；所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的。

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side byside视频格式，其中，i为正整数；和/或，

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side byside视频格式，其中，k为正整数。

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，其中，i为正整数，则所述视点信息生成模块14根据所述第一视点信息进行虚拟视点合成得到所述左视点信息，包括：

确定所述i视点信息和所述i+1视点信息之间的视差信息；

根据所述左眼位置坐标，利用所述视差信息对所述i视点信息进行像素移位，得到所述左视点信息；或者，根据所述左眼位置坐标，利用所述视差信息对所述i+1视点信息进行像素移位，得到所述左视点信息；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，其中，k为正整数，则，所述视点信息生成模块14根据所述第二视点信息进行虚拟视点合成得到所述右视点信息，包括：

确定所述k视点信息和所述k+1视点信息之间的视差信息；

根据所述右眼位置坐标，利用所述视差信息对所述k视点信息进行像素移位，得到所述右视点信息；或者，根据所述右眼位置坐标，利用所述视差信息对所述k+1视点信息进行像素移位，得到所述右视点信息。

本发明实施例四提供的装置可以是一个独立的装置，也可以集成在客户端VR设备。因此，进一步的，本发明实施例还可以提供一种客户端VR设备，所述客户端VR设备中集成有本发明实施例四提供的装置。

与本发明实施例二对应的，提供以下装置。

实施例五、

本发明实施例五提供一种VR内容采集装置，该装置的结构示意图可以如图8所示，包括视频处理服务器21，其中：

所述视频处理服务器21用于接收VR用户左眼位置坐标和右眼位置坐标，并返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

当然，所述装置还可以但不限于包括相机阵列22、外同步控制器23、视频采集卡24和视频采集服务器25，以实现基于实景拍摄VR内容采集的视点信息的采集和存储，其中：

所述外同步控制器23用于通过发出晶体管-晶体管逻辑电平TTL电平信号实现对相机阵列22的同步控制；

所述视频采集卡24用于在所述外同步控制器23的控制下，利用所述相机阵列22进行多视点场景内容的采集；

所述视频采集服务器25用于存储采集到的多视点场景内容。

如图8所示，相机阵列22可以包括相机1、相机2……相机i……相机N-1和相机N,其中，N可以为不小于2的正整数，i可以为大于1小于N的正整数，N个相机在任一时刻可以采集到N个视点信息，且所述相机阵列拓扑结构可以为发散式或会聚式(图8中以相机阵列为会聚式为例进行说明)。

所述视频处理服务器21用于返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，包括：

返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式；其中，i为正整数；和/或，

所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式；其中，k为正整数。

与本发明实施例三对应的，提供以下装置。

实施例六、

本发明实施例六提供一种网络服务器，其结构示意图可以如图9所示，包括:

接收模块31用于接收视点信息生成装置发送的VR用户左眼位置坐标和右眼位置坐标；

发送模块32用于将所述接收模块接收到的坐标发送至VR内容采集装置；

所述接收模块31还用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

所述发送模块32还用于将所述接收模块接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

基于同一发明构思，本发明实施例还提供以下系统、设备和介质。

实施例七、

本发明实施例七提供一种视点信息生成系统，其结构示意图可以如图10所示，包括如实施例四所述的视点信息生成装置41和如实施例五所述的VR内容采集装置42。

进一步的，所述系统还可以包括如实施例六所述的网络服务器43。

下面通过一个具体的特例对本发明实施例七提供的方案进行说明。

实施例八、

本发明实施例八提供一种视点信息生成系统，其结构示意图可以如图11所示，包括VR内容采集装置51、网络服务器52和视点信息生成装置53，其中：

所述VR内容采集装置51可以包括相机阵列511、外同步控制器512、视频采集卡513、视频采集服务器514和视频处理服务器515，所述VR内容采集装置51在图11中未整体示出，其中：

相机阵列511可以包括相机1、相机2……相机i……相机N-1和相机N,其中，N可以为不小于2的正整数，i可以为大于1小于N的正整数，N个相机在任一时刻可以采集到采集场景中的N个视点信息，且所述相机阵列拓扑结构为会聚式，以更好地实现针对舞台、直播等场景的VR内容采集。

所述外同步控制器512用于通过发出晶体管-晶体管逻辑电平TTL电平信号实现对相机阵列511的同步控制。

所述视频采集卡513用于在所述外同步控制器512的控制下，利用所述相机阵列511进行多视点场景内容的采集。

所述视频采集服务器514用于存储采集到的多视点场景内容。

所述视频处理服务器515用于接收所述网络服务器52发送的VR用户左眼位置坐标和右眼位置坐标，并向所述网络服务器52返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

所述网络服务器52，用于接收所述视点信息生成装置53发送的VR用户左眼位置坐标和右眼位置坐标，将接收到的坐标发送至VR内容采集装置51，以及接收所述VR内容采集装置51根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置53。

所述视点信息生成装置53，用于确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至所述网络服务器52，以及接收所述网络服务器52返回的第一视点信息和第二视点信息，根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；

其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。

在图11中，以所述视点信息生成装置53集成在客户端VR设备为例(为简便起见，在图11中以客户端VR设备表示所述视点信息生成装置53，未进一步示出客户端VR设备中的视点信息生成装置)进行说明，客户端VR设备在所述视点信息生成装置53确定出左视点信息和右视点信息之后，还可以对确定出的左视点信息和右视点信息进行显示，从而可以但不限于实现如图11所示虚拟再现场景中N-1个位置的视点信息显示，使得VR用户可以观察到平滑性和连续性更优的VR显示效果。

实施例九、

本发明实施例九提供一种视点信息生成设备，其结构示意图可以如图12所示，包括收发器61、存储器62、处理器63以及总线接口；所述处理器63，用于读取存储器62中的程序，执行：

确定VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标通过所述收发器61发送至VR内容采集装置；

通过所述收发器61接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；

其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器61接收VR用户左眼位置坐标和右眼位置坐标；

通过所述收发器61返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器61接收视点信息生成装置发送的VR用户左眼位置坐标和右眼位置坐标；

通过所述收发器61将接收到的坐标发送至VR内容采集装置；

通过所述收发器61接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

通过所述收发器61将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。

可选的，所述处理器63具体可以包括中央处理器(CPU)、特定应用集成电路(ASIC，application specific integrated circuit)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(FPGA，field programmable gate array)开发的硬件电路，可以是基带处理器。

可选的，所述处理器63可以包括至少一个处理核心。

可选的，所述存储器62可以包括只读存储器(ROM，read only memory)、随机存取存储器(RAM，random access memory)和磁盘存储器。存储器62用于存储至少一个处理器63运行时所需的数据。存储器62的数量可以为一个或多个。

本发明实施例十提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本发明实施例一或实施例二或实施例三提供的方法。

在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus flash drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种视点信息生成方法，其特征在于，所述方法包括：

确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

对所述第一视点信息进行虚拟视点合成，得到所述左眼位置坐标对应的左视点信息，以及对所述第二视点信息进行虚拟视点合成，得到所述右眼位置坐标对应的右视点信息；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：

接收所述VR内容采集装置返回的封装视点信息；

所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side byside视频格式，其中，i为正整数；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

2.如权利要求1所述的方法，其特征在于，所述VR内容采集装置中包括相机阵列，且所述相机阵列拓扑结构为发散式或会聚式。

3.如权利要求1或2所述的方法，其特征在于，若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，其中，i为正整数；

则，根据以下步骤合成所述左视点信息：

确定所述i视点信息和所述i+1视点信息之间的视差信息；

根据所述左眼位置坐标，利用所述视差信息对所述i视点信息进行像素移位，得到所述左视点信息；或者，根据所述左眼位置坐标，利用所述视差信息对所述i+1视点信息进行像素移位，得到所述左视点信息；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，其中，k为正整数；

则，根据以下步骤合成所述右视点信息：

确定所述k视点信息和所述k+1视点信息之间的视差信息；

根据所述右眼位置坐标，利用所述视差信息对所述k视点信息进行像素移位，得到所述右视点信息；或者，根据所述右眼位置坐标，利用所述视差信息对所述k+1视点信息进行像素移位，得到所述右视点信息。

4.一种视点信息生成方法，其特征在于，所述方法包括：

接收虚拟现实VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，包括：

返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式；其中，i为正整数；

所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式；其中，k为正整数。

5.如权利要求4所述的方法，其特征在于，基于实景拍摄采集VR内容时，采用相机阵列，且所述相机阵列拓扑结构为发散式或会聚式。

6.一种视点信息生成方法，其特征在于，所述方法包括：

接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

将接收到的坐标发送至VR内容采集装置；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：

接收所述VR内容采集装置返回的封装视点信息；

所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side byside视频格式，其中，i为正整数；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

7.一种视点信息生成装置，其特征在于，所述装置包括：

坐标确定模块，用于确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

发送模块，用于将所述坐标确定模块确定出的坐标发送至VR内容采集装置；

接收模块，用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

视点信息生成模块，用于对所述第一视点信息进行虚拟视点合成，得到所述左眼位置坐标对应的左视点信息，以及对所述第二视点信息进行虚拟视点合成，得到所述右眼位置坐标对应的右视点信息；

所述接收模块，具体用于接收所述VR内容采集装置返回的封装视点信息；所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式，其中，i为正整数；若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

8.一种客户端虚拟现实VR设备，其特征在于，所述设备包括如权利要求7所述的视点信息生成装置。

9.一种虚拟现实VR内容采集装置，其特征在于，所述装置包括视频处理服务器，其中：

所述视频处理服务器，用于接收VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置，返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

所述视频处理服务器，具体用于返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式；其中，i为正整数；所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式；其中，k为正整数。

10.一种网络服务器，其特征在于，所述网络服务器包括：

接收模块，用于接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

发送模块，用于将所述接收模块接收到的坐标发送至VR内容采集装置；

所述接收模块，还用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

所述发送模块，还用于将所述接收模块接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

所述接收模块，具体用于接收所述VR内容采集装置返回的封装视点信息；所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式，其中，i为正整数；若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

11.一种视点信息生成系统，其特征在于，所述系统包括如权利要求7所述的视点信息生成装置和如权利要求9所述的虚拟现实VR内容采集装置。

12.如权利要求11所述的系统，其特征在于，所述系统还包括如权利要求10所述的网络服务器。

13.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1～3任一所述方法的步骤，或实现权利要求4～5任一所述方法的步骤，或实现权利要求6所述方法的步骤。

14.一种视点信息生成设备，其特征在于，包括收发器、存储器、处理器以及总线接口；所述处理器，用于读取存储器中的程序，执行：

确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标通过所述收发器发送至VR内容采集装置，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

通过所述收发器接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

对所述第一视点信息进行虚拟视点合成，得到所述左眼位置坐标对应的左视点信息，以及对所述第二视点信息进行虚拟视点合成，得到所述右眼位置坐标对应的右视点信息；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：

接收所述VR内容采集装置返回的封装视点信息；

所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side byside视频格式，其中，i为正整数；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器接收VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

通过所述收发器返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的，且所述第一视点信息和第二视点信息均为视频帧信息；

其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，包括：

返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side by side视频格式；其中，i为正整数；

所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式；其中，k为正整数；

或者，所述处理器，用于读取存储器中的程序，执行：

通过所述收发器接收视点信息生成装置发送的VR用户左眼位置坐标和右眼位置坐标，所述VR用户的左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置；

通过所述收发器将接收到的坐标发送至VR内容采集装置；

通过所述收发器接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；

通过所述收发器将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息；

接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：

接收所述VR内容采集装置返回的封装视点信息；

所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的；

若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排side byside视频格式，其中，i为正整数；

若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成side by side视频格式，其中，k为正整数。

Images