CN111246189B

CN111246189B - 虚拟屏幕投影实现方法、装置及电子设备

Info

Publication number: CN111246189B
Application number: CN201811488393.XA
Authority: CN
Inventors: 蒋黎君; 张哲伟; 陈云凯
Original assignee: Shanghai Ismartv Network Technologies Co ltd
Current assignee: SHANGHAI ISMARTV NETWORK TECHNOLOGIES Co.,Ltd.
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2022-01-25
Anticipated expiration: 2038-12-06
Also published as: CN111246189A

Abstract

本发明实施例提供了一种虚拟屏幕投影实现方法、装置及电子设备，该方法包括：获得VR摄像机处于不同拍摄状态所拍摄到的多个标定VR视频图像；得到各标定VR视频图像对应的VR球面模型，并在各VR球面模型上标定虚拟屏幕的投影位置；根据标定的投影位置及各VR球面模型之间的关系得到虚拟屏幕的位置信息；根据位置信息得到虚拟屏幕在真实三维空间中的初始参数；根据初始参数、当前的运动参数以及当前的VR球面模型将虚拟屏幕投影至当前VR视频图像中。通过在多个VR球面模型上对虚拟屏幕进行标定以得到其位置信息，进而得到其真实三维空间中的初始参数，以将虚拟屏幕投影至当前VR视频图像中以实现实时投影，避免了采用线性投影造成的投影效果欠佳的缺点。

Description

虚拟屏幕投影实现方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种虚拟屏幕投影实现方法、装置及电子设备。

背景技术

随着立体显示技术和虚拟现实(Virtual Reality，VR)技术的不断发展，人们对于立体显示的效果的要求也越来越高。为了实现虚拟场景的立体显示，一般可结合计算机图形学系统将虚拟场景转换为虚拟立体场景，从而将虚拟立体场景呈现在真实场景中。但在现有技术中，常采用基于二维坐标系的线性转换技术将虚拟场景转换为虚拟立体场景，由于VR视频图像的三维立体性质，这种线性转换方式导致虚拟屏幕叠加至VR视频图像后其显示效果不佳。

发明内容

有鉴于此，本发明的目的在于，提供一种虚拟屏幕投影实现方法、装置及电子设备以解决上述问题。

本发明较佳实施例提供一种虚拟屏幕投影实现方法，所述方法包括：

获得VR摄像机处于不同拍摄状态时所拍摄到的多个不同的标定VR视频图像；

得到各所述标定VR视频图像对应的VR球面模型，并在各所述VR球面模型上标定虚拟屏幕的投影位置；

根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息；

对所述位置信息进行转换，并根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数；

获得所述VR摄像机当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中。

进一步地，所述在各所述VR球面模型上标定虚拟屏幕的投影位置的步骤，包括：

针对各所述标定VR视频图像，得到所述标定VR视频图像的经纬图；

根据所述经纬图的宽度值、长度值以及经纬图与VR球面模型的映射关系，得到所述经纬图中的各点在所述VR球面模型上的映射点；

根据所述映射点得到虚拟屏幕的各个角点在VR球面模型上的投影点，并根据得到的投影点在所述VR球面上标定出所述虚拟屏幕的投影位置。

进一步地，不同的VR球面模型对应不同的相机坐标系，所述根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息的步骤，包括：

获得各所述VR球面模型对应的相机坐标系；

根据各所述投影位置在对应的相机坐标系中的投影点以及各所述相机坐标系之间的位置关系得到各所述相机坐标系的中心点分别与所述虚拟屏幕的中心点之间的距离；

根据得到的多个距离计算所述虚拟屏幕的中心点的坐标值，以得到所述虚拟屏幕的位置信息。

进一步地，所述对所述位置信息进行转换的步骤，包括：

计算选定的参考矩形平面与所述虚拟屏幕之间的位移变换矩阵；

根据所述虚拟屏幕的法向量计算得到所述参考矩形平面与所述虚拟屏幕之间的欧拉旋转角，根据所述欧拉旋转角得到旋转变换矩阵：

根据所述位移变换矩阵、所述旋转变换矩阵以及所述参考矩形平面上的各点的坐标值对所述虚拟屏幕的位置信息进行转换。

进一步地，所述根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数的步骤，包括：

根据转换结果以及真实三维空间对应的世界坐标系到相机坐标系的变换矩阵得到所述虚拟屏幕在真实三维空间中的初始参数。

进一步地，所述根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中的步骤，包括：

计算所述标定VR视频图像对应的参考相机坐标系与当前VR球面模型对应的当前相机坐标系之间的位移向量和旋转角变化量；

根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及所述位移向量和旋转角变化量计算得到所述虚拟屏幕在当前相机坐标系中的坐标值；

根据计算得到的坐标值得到所述虚拟屏幕在当前VR球面模型上的投影坐标，并根据当前VR球面模型与当前VR视频图像的经纬图之间的映射关系得到所述虚拟屏幕在当前经纬图上的映射位置；

根据所述映射位置将所述虚拟屏幕叠加至当前VR视频图像中。

进一步地，所述拍摄状态包括拍摄位置和/或拍摄旋转角。

本发明另一较佳实施例提供一种虚拟屏幕投影实现装置，所述装置包括：

VR视频图像获取模块，用于获得VR摄像机处于不同拍摄状态时所拍摄到的多个不同的标定VR视频图像；

标定模块，用于得到各所述标定VR视频图像对应的VR球面模型，并在各所述VR球面模型上标定虚拟屏幕的投影位置；

位置信息计算模块，用于根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息；

初始参数计算模块，用于对所述位置信息进行转换，并根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数；

投影模块，用于获得所述VR摄像机当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中。

本发明另一较佳实施例提供一种电子设备，包括：

存储器；

处理器；及

虚拟屏幕投影实现装置，包括一个或多个存储于所述存储器中并由所述处理器执行的软件功能模块。

本发明另一较佳实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现上述的虚拟屏幕投影实现方法。

本发明实施例提供一种虚拟屏幕投影实现方法、装置及电子设备，通过在VR摄像机处于不同的拍摄位置以及拍摄角度下获得的多个VR球面模型上对虚拟屏幕进行标定以获得虚拟屏幕的位置信息。并通过对位置信息进行转换得到虚拟屏幕在真实三维空间中的初始参数，从而将虚拟屏幕投影至当前获得的VR视频图像中，实现了虚拟屏幕的实时投射，避免了现有技术中采用线性投影造成的投影效果欠佳的缺点。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的虚拟屏幕投影实现方法的应用场景示意图。

图2为本发明实施例提供的电子设备的结构框图。

图3为本发明实施例提供的虚拟屏幕投影实现方法的流程图。

图4为本发明实施例提供的相机坐标系与世界坐标系之间的关系示意图。

图5为图3中步骤S103的子步骤的流程图。

图6为本发明实施例提供的虚拟屏幕在VR球面模型上的投影示意图。

图7为图3中步骤S105的子步骤的流程图。

图8为本发明实施例提供的虚拟屏幕在两个相机坐标系下的投影示意图。

图9为本发明实施例提供的相机坐标系的约束三角形示意图。

图10为图3中步骤S107的子步骤的流程图。

图11为本发明实施例提供的虚拟屏幕与参考矩形平面之间的关系示意图。

图12为图3中步骤S109的子步骤的流程图。

图13为本发明实施例提供的虚拟屏幕投影实现装置功能模块框图。

图标：100-电子设备；110-虚拟屏幕投影实现装置；111-VR视频图像获取模块；112-标定模块；113-位置信息计算模块；114-初始参数计算模块；115-投影模块；120-处理器；130-存储器；200-VR摄像机；300-参数采集器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，为本发明实施例提供的一种虚拟屏幕投影实现方法的应用场景示意图。该场景包括电子设备100、VR摄像机200以及参数采集器300。所述VR摄像机200和所述参数采集器300分别与所述电子设备100连接。本实施例中，所述参数采集器300可以为陀螺仪，可用于采集所述VR摄像机200的实时运动参数，该运动参数包括但不限于真实三维空间中以某个位置为原点的三维坐标系、VR摄像机200运动时的旋转角度等。所述VR摄像机200可将实时采集到的VR视频图像发送至所述电子设备100，所述电子设备100为具有图像处理功能的智能终端，可以是但不限于，计算机、平板电脑等。

请参阅图2，为本发明实施例提供的一种电子设备100的示意性结构框图。在本实施例中，所述电子设备100包括虚拟屏幕投影实现装置110、处理器120及存储器130。其中，所述存储器130与所述处理器120之间直接或间接的电性连接，以实现数据的传输或交互。所述虚拟屏幕投影实现装置110包括至少一个可以软件或固件的形式存储于所述存储器130中或固化在所述电子设备100的操作系统中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行模块，例如所述虚拟屏幕投影实现装置110包括的软件功能模块或计算机程序。

请参阅图3，是本发明实施例提供的一种应用于上述电子设备100的虚拟屏幕投影实现方法的流程图。所应说明的是，本发明提供的方法不以图3及以下所述的具体顺序为限制。下面将对图3中示出的各步骤进行详细说明。

步骤S101，获得VR摄像机200处于不同拍摄状态时所拍摄到的多个不同的标定VR视频图像。

步骤S103，得到各所述标定VR视频图像对应的VR球面模型，并在各所述VR球面模型上标定虚拟屏幕的投影位置。

具体实施时，需在运动的VR摄像机200上搭建上述的参数采集器300，如陀螺仪，以获取VR摄像机200的运动参数，例如在真实三维空间中以VR摄像机200为原点的三维坐标、VR摄像机200运动时的旋转角度等。其中，VR摄像机200在进行旋转时其旋转顺序一般为水平旋转、俯仰旋转以及自旋。

可获得VR摄像机200处于不同拍摄状态时所拍摄到的多个不同的标定VR视频图像。其中，所述不同拍摄状态即为VR摄像机200处于不同拍摄地方和/或不同拍摄角度。

VR摄像机200的运动参数以真实三维空间为参照系，而VR球面模型一般以VR摄像机200为参照系，因此在构建坐标系时需先对坐标系进行转换。其中，以真实三维空间为参照的坐标系为世界坐标系XYZO，Y轴垂直向上。以VR摄像机200为参照的坐标系为相机坐标系xyzO，其中z轴为VR摄像机200的拍摄方向，y轴为拍摄到的图像纵向像素的方向，如图4所示。假设VR摄像机200所在位置为世界坐标系的原点，则相机坐标系可由世界坐标系以绕Y轴旋转yaw角、绕X轴旋转pitch角、绕Z轴旋转roll角的顺序进行欧拉旋转变换得到。其中，yaw、pitch、roll即为获取的VR摄像机200的旋转参数，由此可得从世界坐标系到相机坐标系的变换矩阵M_ypr。相机坐标系和世界坐标系的变换关系如下式：

其中，c为世界坐标系和相机坐标系之间的单位变换常数，x、y、z分别为相机坐标系的坐标轴，X、Y、Z分别为世界坐标系的坐标轴。

请参阅图5，在本实施例中，步骤S103可以包括步骤S1031、步骤S1033以及步骤S1035三个子步骤。

步骤S1031，针对各所述标定VR视频图像，得到所述标定VR视频图像的经纬图。

步骤S1033，根据所述经纬图的宽度值、长度值以及经纬图与VR球面模型的映射关系，得到所述经纬图中的各点在所述VR球面模型上的映射点。

步骤S1035，根据所述映射点得到虚拟屏幕的各个角点在VR球面模型上的投影点，并根据得到的投影点在所述VR球面模型上标定出所述虚拟屏幕的投影位置。

VR视频图像一般以经纬度的形式进行保存，针对VR摄像机200处于不同拍摄状态时拍摄到的各标定VR视频图像，获得各标定VR视频图像的经纬图。假设经纬图的宽度为W，高度为H，针对经纬图上的点q(m，n)，根据如下的经纬图与VR球面模型之间的映射关系，得到经纬图上的该点在VR球面模型上的映射点Q'(x',y',z')。

其中

本实施例中，虚拟屏幕也可以投影至VR球面模型上，根据如上的映射原理，可得到虚拟屏幕的各个角点在VR球面模型上的投影点。如图6中所示，ABCDP分别表示虚拟屏幕的角点和中心点，A'B'C'D'P'表示虚拟屏幕的角点和中心点在VR球面模型上的投影。可得到，虚拟屏幕上任意点Q(x,y,z)与其投影Q'(x',y',z')的关系如下：

如此，可在经纬图上标定期望的虚拟屏幕的角点位置，并根据经纬图与VR球面模型的映射关系，得到虚拟屏幕的角点在VR球面模型上的投影点从而得到虚拟屏幕在相机坐标系下的投影位置。

步骤S105，根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息。

由上述可知，在VR球面模型上的A'B'C'D'P'可对应多个虚拟屏幕的投影，由此可见，同一个虚拟屏幕也可投影至多个不同的VR球面模型上。因此可通过标定虚拟屏幕在2个或更多相机坐标系中VR球面模型的投影来计算虚拟屏幕的位置信息。

请参阅图7，在本实施例中，步骤105可以包括步骤S1051、步骤S1053以及步骤S1055三个子步骤。

步骤S1051，获得各所述VR球面模型对应的相机坐标系。

步骤S1053，根据各所述投影位置在对应的相机坐标系中的投影点以及各所述相机坐标系之间的位置关系得到各所述相机坐标系的中心点分别与所述虚拟屏幕的中心点之间的距离。

步骤S1055，根据得到的多个距离计算所述虚拟屏幕的中心点的坐标值，以得到所述虚拟屏幕的位置信息。

不同的VR球面模型对应不同的相机坐标系，在本实施例中，利用虚拟屏幕在两个不同的相机坐标系下的投影来计算虚拟屏幕的位置信息，即VR摄像机200处于两个不同的拍摄状态下所拍摄到的VR视频图像对应的相机坐标系。需要说明的是，也可通过两个以上的相机坐标系对虚拟屏幕的位置信息进行计算，其计算原理均相似，本实施例中以两个相机坐标系为例进行说明。请参阅图8，假设有两个不同的相机坐标系xyzO₁和xyzO₂，虚拟屏幕标记为ABCD。以虚拟屏幕的中心点P点为例进行说明，在相机坐标系xyzO₁中的VR球面模型上，P点的投影点为P'₁，在相机坐标系xyzO₂中的VR球面模型上P点的投影点为P'₂。记相机坐标系从xyzO₁变换到xyzO₂的变换矩阵为M_ypr12、位移向量为

其中，为方便标记，将

在xyzO₁下记为

在xyzO₂下记为

则可建立如下关系：

本实施例中，在相机坐标系xyzO₁中向量

由三角形O₁O₂P约束，如图9中所示。

其中，图9中α、β可根据如下的向量夹角公式求得：

当

时，存在

从而可得到：

同理可知当

和

时，

和

亦满足上式。故假设已知向量

和

的方向，以及

和

已知的情况下，可以求出

和

即相机坐标系xyzO₁的中心点到虚拟屏幕的中心点之间的距离以及相机坐标系xyzO₂的中心点到虚拟屏幕的中心点之间的距离。从而可得到P点在两个相机坐标系下的坐标。同理可求出角点ABCD在两个相机坐标系下的坐标。以此，得到虚拟屏幕在不同的相机坐标系中的位置信息。

步骤S107，对所述位置信息进行转换，并根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数。

在本实施例中，为了方便在世界坐标系与相机坐标系以及不同相机坐标系之间的转换，可对虚拟屏幕的位置信息进行转换，用另一种形式来表示虚拟屏幕的位置。

请参阅图10，在本实施例中，可通过以下步骤实现对虚拟屏幕的位置信息的转换：

步骤S1071，计算选定的参考矩形平面与所述虚拟屏幕之间的位移变换矩阵。

步骤S1073，根据所述虚拟屏幕的法向量计算得到所述参考矩形平面与所述虚拟屏幕之间的欧拉旋转角，根据所述欧拉旋转角得到旋转变换矩阵。

步骤S1075，根据所述位移变换矩阵、所述旋转变换矩阵以及所述参考矩形平面上的各点的坐标值对所述虚拟屏幕的位置信息进行转换。

在本实施例中，可选定一参考矩形平面abcd，如图11所示，将虚拟屏幕ABCD看成由参考矩形平面abcd通过位移以及旋转变换而得。以该参考矩形平面abcd至虚拟屏幕ABCD的变换矩阵M_trans、M_mov、M_rotate来描述虚拟屏幕ABCD的位置。

其中，位移变换矩阵M_mov可以由参考矩形平面的中心点O到虚拟屏幕的中心点P的位移变化量计算得到：

旋转变换矩阵M_rotate可通过求取参考矩形平面到虚拟屏幕的欧拉旋转角yaw、pitch、roll而得到。本实施例中，参考矩形平面至虚拟屏幕的旋转变换的顺序依次为绕y、x、z轴旋转，即yaw→pitch→roll。其中yaw、pitch可由虚拟屏幕的平面法向量

转换得到：

其中，x_V、y_V、z_V分别为虚拟屏幕的平面法向量

分别在x轴、y轴以及z轴上的分量。

从而可以得到：

在本实施例中，假设只有yaw、pitch发生旋转变化时的变换矩阵为M_r-mid，则自旋角roll为向量

与x轴之间的夹角。即若：

则可得到z_AB'→0，并且：

在本实施例中，将yaw、pitch、roll发生旋转变化时的旋转变换矩阵记为M_rotate。参考矩形平面abcd至虚拟屏幕ABCD的变换可表示为如下关系：

其中，(u，v)为参考矩形平面上的点的坐标，(x，y，z)虚拟屏幕上的对应于点(u，v)的点的坐标。

通过以上步骤，可将虚拟屏幕的位置信息表示为参考矩形平面到虚拟屏幕的转换信息。通过以上转换之后，所述根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数的步骤可以通过以下过程实现：

由上述可知，可将虚拟屏幕投影至两个不同的相机坐标系下的VR球面模型以标定虚拟屏幕的位置信息。假设上述中的相机坐标系xyzO₁对应的世界坐标系为O₁[X₁ Y ₁Z₁]^T。该世界坐标系到相机坐标系xyzO₁的欧拉旋转变换矩阵为M_ypr1，标定得到虚拟屏幕的四个角点在相机坐标系xyzO₁中的VR球面模型上的投影分别为A'₁,B'₁,C'₁,D'₁。而将上述中的相机坐标系xyzO₂对应的世界坐标系记为O₂[X₂ Y₂ Z₂]^T，旋转角(yaw₂、pitch₂、roll₂)组成了该世界坐标系至相机坐标系xyzO₂的欧拉旋转变换矩阵为M_ypr2，标定得到虚拟屏幕的四个角点在相机坐标系xyzO₂中的VR球面模型上的坐标分别为A'₂,B'₂,C'₂,D'₂。可得到如下关系：

从而可得到虚拟屏幕在相机坐标系xyzO₁中的具体的角点以及中心点坐标A₁,B₁,C₁,D₁,P₁。再根据以上的转换原理对其进行转换后得到对应于相机坐标系xyzO₁下的位移矩阵M_mov1和旋转变换矩阵M_rotate1。从而可得到虚拟屏幕在对应于相机坐标系xyzO₁的世界坐标系下的位置信息，根据以下的表达形式即可得到虚拟屏幕在真实三维空间中的初始参数：

从而可得：

步骤S109，获得所述VR摄像机200当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机200当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中。

请参阅图12，在本实施例中，步骤S109可以包括步骤S1091、步骤S1093、步骤S1095以及步骤S1097四个子步骤。

步骤S1091，计算所述标定VR视频图像对应的参考相机坐标系与当前VR球面模型对应的当前相机坐标系之间的位移向量和旋转角变化量。

步骤S1093，根据所述初始参数、所述VR摄像机200当前在真实三维空间中的运动参数以及所述位移向量和旋转角变化量计算得到所述虚拟屏幕在当前相机坐标系中的坐标值。

步骤S1095，根据计算得到的坐标值得到所述虚拟屏幕在当前VR球面模型上的投影坐标，并根据当前VR球面模型与当前VR视频图像的经纬图之间的映射关系得到所述虚拟屏幕在当前经纬图上的映射位置。

步骤S1097，根据所述映射位置将所述虚拟屏幕叠加至当前VR视频图像中。

在本实施例中，为了能够将虚拟屏幕实时投射至当前的VR视频图像中，可实时获得VR摄像机200当前拍摄的VR视频图像，以及该VR视频图像对应的VR球面模型。并利用参数采集器300获得VR摄像机200当前的运动参数(拍摄位置、拍摄旋转角)。本实施例中，将VR摄像机200当前所处的真实三维空间的世界坐标系记为O_n[X_n Y_n Z_n]^T，该世界坐标系到当前VR摄像机200的相机坐标系的旋转角记为(yaw_n、pitch_n、roll_n)，则对应的旋转变换矩阵为M_yprn。

参考在进行虚拟屏幕标定时的相机坐标系xyzO₁，可得到当前相机坐标系xyzO_n对应的世界坐标系O_n[X_n Y_n Z_n]^T与相机坐标系xyzO₁对应的世界坐标系O₁[X₁ Y₁ Z₁]^T之间的关系：

本实施例中令：

M_{rotaten_w}＝M_{rotate1_w}

可得到虚拟屏幕上的对应于参考矩形平面上的点q(u,v)的点在当前相机坐标系下的坐标Q(x,y,z)之间的关系如下：

根据计算得到的虚拟屏幕在当前相机坐标系下的坐标值得到所述虚拟屏幕在当前VR球面模型上的投影坐标。并根据上述的经纬图与VR球面模型之间的映射关系可得到当前VR球面模型与当前VR视频图像的经纬图之间的映射关系。根据该映射关系以及虚拟屏幕在当前VR球面模型上的投影坐标可得到所述虚拟屏幕在当前经纬图上的映射位置。根据所述映射位置将所述虚拟屏幕叠加至当前VR视频图像中，则可实现实时虚拟屏幕的投影。

请参阅图13，为本发明另一较佳实施例提供的应用于上述的电子设备100的虚拟屏幕投影实现装置110的功能模块框图。所述虚拟屏幕投影实现装置110包括VR视频图像获取模块111、标定模块112、位置信息计算模块113、初始参数计算模块114以及投影模块115。

所述VR视频图像获取模块111用于获得VR摄像机200处于不同拍摄状态时所拍摄到的多个不同的标定VR视频图像。所述VR视频图像获取模块111可用于执行图3中所示的步骤S101，具体的操作方法可参考步骤S101的详细描述。

所述标定模块112用于得到各所述标定VR视频图像对应的VR球面模型，并在各所述VR球面模型上标定虚拟屏幕的投影位置。所述标定模块112可用于执行图3中所示的步骤S103，具体的操作方法可参考步骤S103的详细描述。

所述位置信息计算模块113用于根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息。所述位置信息计算模块113可用于执行图3中所示的步骤S105，具体的操作方法可参考步骤S105的详细描述。

所述初始参数计算模块114用于对所述位置信息进行转换，并根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数。所述初始参数计算模块114可用于执行图3中所示的步骤S107，具体的操作方法可参考步骤S107的详细描述。

所述投影模块115用于获得所述VR摄像机200当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机200当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中。所述投影模块115可用于执行图3中所示的步骤S109，具体的操作方法可参考步骤S109的详细描述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施场景所述的方法。

综上所述，本发明实施例提供的虚拟屏幕投影实现方法、装置及电子设备100，通过在VR摄像机200处于不同的拍摄位置以及拍摄角度下获得的多个VR球面模型上对虚拟屏幕进行标定以获得虚拟屏幕的位置信息。并通过对位置信息进行转换得到虚拟屏幕在真实三维空间中的初始参数，从而将虚拟屏幕投影至当前获得的VR视频图像中，实现了虚拟屏幕的实时投射，避免了现有技术中采用线性投影造成的投影效果欠佳的缺点。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种虚拟屏幕投影实现方法，其特征在于，所述方法包括：

获得所述VR摄像机当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中；

所述对所述位置信息进行转换的步骤，包括：

2.根据权利要求1所述的虚拟屏幕投影实现方法，其特征在于，所述在各所述VR球面模型上标定虚拟屏幕的投影位置的步骤，包括：

3.根据权利要求1所述的虚拟屏幕投影实现方法，其特征在于，不同的VR球面模型对应不同的相机坐标系，所述根据标定的多个投影位置以及各所述VR球面模型之间的关系计算得到所述虚拟屏幕的位置信息的步骤，包括：

获得各所述VR球面模型对应的相机坐标系；

4.根据权利要求1所述的虚拟屏幕投影实现方法，其特征在于，所述根据转换结果得到所述虚拟屏幕在真实三维空间中的初始参数的步骤，包括：

5.根据权利要求1所述的虚拟屏幕投影实现方法，其特征在于，所述根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中的步骤，包括：

6.根据权利要求1所述的虚拟屏幕投影实现方法，其特征在于，所述拍摄状态包括拍摄位置和/或拍摄旋转角。

7.一种虚拟屏幕投影实现装置，其特征在于，所述装置包括：

投影模块，用于获得所述VR摄像机当前拍摄的VR视频图像对应的VR球面模型，根据所述初始参数、所述VR摄像机当前在真实三维空间中的运动参数以及当前的VR球面模型将所述虚拟屏幕投影至当前VR视频图像中；

所述初始参数计算模块用于通过以下方式对所述位置信息进行转换：

8.一种电子设备，其特征在于，包括：

存储器；

处理器；及

权利要求7所述的虚拟屏幕投影实现装置，包括一个或多个存储于所述存储器中并由所述处理器执行的软件功能模块。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现权利要求1-6任意一项所述的虚拟屏幕投影实现方法。