CN108616731A - 一种360度vr全景图形图像及视频实时生成方法 - Google Patents

Abstract

本发明公开了一种360度VR全景图形图像的实时生成方法，该方法包括：确定当前的摄像机位置和场景信息；将所述摄像机拍摄的场景内的三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并将其转换到一个渲染目标中，生成全景场景贴图；将生成的全景场景贴图通过视频IO卡的输出，得到有键信号的360度VR全景图形图像。此外，本发明还公开了一种360度VR全景图形图像视频的实时生成方法，该方法将全景视频信号中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

Description

一种360度VR全景图形图像及视频实时生成方法

技术领域

本发明涉及计算机图形图像跟踪处理领域，具体涉及一种360度VR全景图形图像及视频的实时生成方法。

背景技术

VR是Virtual Reality的英文缩写，中文意为虚拟现实。360度VR视频就是利用VR技术呈现的360x 180的全景视频画面，让使用着在手机、头盔、PC等设备上获得较强的观看沉浸感、交互感。这种新兴的视频模式近年来发展十分迅速，已经成为平面、电视、电影、网络等多个媒体竞相发展的重要传播手段，也是各个软硬件产商重点投入的商业市场。

在现有的产品技术中，还只是集中在360度全景视频摄像设备(全景摄像机)以及观看设备(VR眼镜)的研发上，其仅仅能够完成简单的VR视频拍摄、缝合拼接和直播功能，而目前在中间的360度全景三维图形图像引擎上的技术、方法比较简单，而且还存在着功能单一、操作复杂等问题。

而在360度全景视频播出中，目前还没有很好的方式添加全景图形文字。如申请号201210365946.9的专利申请公开了一种全景视频的展示与交互系统和方法，其仅仅就是将全景视频渲染到3D模型上，其中并没有对图形图像和文字进行处理，无法实现360度VR全景图形图像的播放。而传统的图形图像系统主要用于普通摄像机拍摄的视频信号叠加，如1080 50i、1080 50P等制式的摄像机，计算机生成普通的透视投影图形图像，这样输出的视频而360度全景视频格式一般为4K 25P、4K 50P、4K 120P或8K 25P制式，及画幅至少在4K以上，画面也是实时缝合处理而成，如果使用传统的图形图像上变换后叠加(画幅增大)，除了画面质量不能保障外，透视投影的图形图像和全景视频在空间和透视关系上完全不能融合，从而使得画面声音死板，并不能使观众产生沉浸在当前视频中的感觉。上面传统图形图像处理系统和方法的缺点大大的限制了VR视频行业的发展。

发明内容

针对上面提到的现有技术中存在的技术问题，本发明提出了一种360度VR全景图形图像实时生成方法及包含该360度VR全景图形图像的视频的实时生成方法，以解决现有技术中存在的传统图形图像处理方法中存在的方法简单、功能单一、操作复杂、无法保障画面质量、透视投影的图形图像和全景视频在空间和透视关系上完全不能融合以及画面和声音生硬呆板的技术问题。

本发明提供的一种360度VR全景图形图像实时生成方法包括：

确定摄像机位置信息，根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；

生成全景CUBE纹理贴图，根据场景信息的变化，将所述摄像机拍摄的场景内的全部三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；

生成全景场景贴图，将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并进行转换运算，将CUBE纹理数据计算转换到一个宽高分别为3840像素和2160像素的渲染目标中，生成4K全景场景贴图；其中，4K全景场景贴图的宽高比可选地为2∶1。

生成360度VR全景图形图像，将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过视频IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。

其中，可选地，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：

以所述摄像机位置为原点，建立局部三维坐标系；

以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。所述全景CUBE纹理贴图以摄像机为圆心，包括场景内全部物件被渲染后的纹理。

在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。

在本发明的可选的实施方式中，在生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：

i)设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；

ii)在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；

iii)将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。

此外，本发明还提供了一种带有360度VR全景图形图像的视频实时生成方法，其特征在于，输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

可选地，以内部键的方式和对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a)将全景摄像机同步到信号发生器的BB信号上；

b)输入所述全景摄像机实时生成的全景视频信号，进行全景图形图像、全景视频的画面叠加，然后进行视频输出。

此外，还可以以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；

b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。

通过上述方法，本发明克服了传统图形图像处理方法中存在的方法简单、功能单一、操作复杂、无法保障画面质量的缺陷，使透视投影的图形图像和全景视频在空间和透视关系上能够完全准确地融合，使图形图像和视频能够自然结合，为观众营造出身临其境的360度虚拟环境，加深观众在虚拟的360度的虚拟图形图像视频中的沉浸感，大大提升了观众的虚拟现实感官体验。

附图说明

图1为根据本发明实施例的一种360度VR全景图形图像实时生成方法的原理示意图；

图2为本发明实施例的360度VR全景图形图像生成方法的流程图；

图3为根据图2所示的流程图中的生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的流程图；

图4(a)和图4(b)分别为根据本发明另一实施例的一种360度VR全景图形图像的视频实时生成方法中的以内部键和外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。

参考图1，图1为根据本发明实施例的一种360度VR全景图形图像实时生成方法的原理示意图。本发明通过将摄像机拍摄的场景内的三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；然后在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并将其转换到一个渲染目标中，最终生成全景场景贴图。本发明的360度VR全景图形图像生成方法通过全景视频三维图形渲染引擎，可以满足实时4K渲染以及播出的要求。

参考图2，本发明提出了一种360度VR全景图形图像实时生成方法。如图2所示，该方法包括：

S201，确定摄像机位置信息：根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；

S202，生成全景CUBE纹理贴图：根据场景信息的变化，利用GPU将所述摄像机拍摄的场景内的全部三维图形图像进行三维空间CUBE投影贴图渲染运算，从而将三维图形图像实时渲染到空间投影对象上，分六个视角对上下左右前后三维图形场景进行分别进行组合渲染和捕捉合并，形成全方位、全包围、全场景的CUBE渲染贴图；

S203，生成全景场景贴图：将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内通过GPU对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，在360度视角范围内针对CUBE纹理数据进行投影渲染运算，将CUBE纹理数据计算转换到一个宽高分别为3840像素和2160像素的渲染目标中，生成4K全景场景贴图；其中，所述渲染目标的宽高比可选地为2∶1。

S204，生成360度VR全景图形图像：将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过4K Video IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。

在实际应用中，基于本发明的方法，可以通过优化DirectX的GPU算法，通过(VR全景视频三维图形渲染引擎)的渲染和播出技术，能够更高效展示4K制式下的三维场景内容。

其中，可选地，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：

以所述摄像机位置为原点，建立局部三维坐标系；

以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。所述全景CUBE纹理贴图以摄像机为圆心，包括场景内全部物件被渲染后的纹理。

在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。

参考图3，基于图2所示的方法，在可选的实施方式中，生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：

S301，设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；

S302，在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；

S303，将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。

在实际应用过程中，本发明通常通过改进MMX指令集和SSE指令集，使得GPU+CPU的三维渲染技术配合更完善，满足在360度4K全景渲染环境下的三维物件创作、渲染、纹理特效、动画特效、着色器、文件格式等三维全景图形图像制作和播出效果。

基于本发明的上述方法，能够构造VR全景三维图形的专用快速创作软件以及用于VR全景视频直播及专用控制软件，通过这些软件，可以将VR全景视频信号、三维图形模板、实时外部数据等多种视频素材结合在一起，实时渲染生成一个360度带键信号的全景图形图像信号，结合外部设备，利用标准的4K SDI视频信号接口，与VR全景摄像机、4K切换台、4K视频服务器和4K键控器等标准视频制作设备，生成360度带图形图像的全景视频节目信号，形成一套满足VR全景视频节目直播的完整系统。

此外，本发明还提供了一种360度VR全景图形图像视频的实时生成方法。参考图4(a)和图4(b)，所述方法能够输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

如图4(a)所示，可选地，以内部键的方式和对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a)将全景摄像机同步到信号发生器的BB信号上；

b)输入所述全景摄像机生成的全景视频信号，进行全景图形图像、全景视频的画面叠加，然后进行视频输出。

如图4(b)所示，还可以以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；

b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。

此外，在实际应用过程中，本发明的方法还可以通过切换选择全景摄像机通道的方式，同时触发相关360度VR全景图形图像场景实时切换，进行图形图像渲染效果转换，或者可以部署多台360度VR全景图形图像渲染服务，以实现多讯道多机位的360度全景图形图像系统。

以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。

Claims (9)

1.一种360度VR全景图形图像的实时生成方法，其特征在于，该方法包括：

确定摄像机位置信息：根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；

生成全景CUBE纹理贴图：根据场景信息的变化，将所述摄像机拍摄的场景内的全部三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；

生成全景场景贴图：将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并进行转换运算，将其转换到一个渲染目标中，生成4K全景场景贴图；

生成360度VR全景图形图像：将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过视频IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。

2.如权利要求1所述的方法，其特征在于，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：

以所述摄像机位置为原点，建立局部三维坐标系；

以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。

3.如权利要求1所述的方法，其特征在于，在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。

4.如权利要求1所述的方法，其特征在于，所述全景CUBE纹理贴图以摄像机为圆心，包括场景内全部物件被渲染后的纹理。

5.如权利要求1所述的方法，其特征在于，所述全景场景贴图的宽高比为2∶1。

6.如权利要求1所述的方法，其特征在于，在生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：

i)设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；

ii)在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；

iii)将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。

7.一种360度VR全景图形图像视频的实时生成方法，其特征在于，输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

8.如权利要求7所述的方法，其特征在于，以内部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a)实时将全景摄像机同步到信号发生器的BB信号上；

b)输入所述全景摄像机生成的全景视频信号，进行全景图形图像、全景视频的画面叠加，然后进行视频输出。

9.如权利要求7所述的方法，其特征在于，以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：

a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；

b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。