CN106383576B - Vr环境中显示体验者身体局部的方法及系统 - Google Patents

Abstract

本发明提出了一种VR环境中显示体验者身体局部的方法及系统，本发明的技术方案包括：VR现场直播流程，采集现场的全景信号、全向音频，进行实时拼接处理；对拼接后的全景信号进行编码和发布；经过网络传输，远端接收服务器对直播全景信号进行接收和解码，同时，对专用拍摄信号进行实时抠像处理，然后实现二者的渲染合成，输出给VR显示终端；当佩戴VR显示终端后，除了置身于360度全方位现场环境外，还能够看到体验者身体的局部。过改变佩戴的VR显示终端的位置和角度，体验者视野中的图像也随之变化，能够看到现场全方位的画面，带来身临其境的沉浸感受。

Description

VR环境中显示体验者身体局部的方法及系统

技术领域

本发明涉及VR显示技术，特别是一种VR环境中显示体验者身体局部的方法及系统。

背景技术

通常情况下，VR现阶段应用在非直播的情况下，采用多个专业摄像机，按照固定的空间位置关系，对360度全方位的信号进行拍摄，每个设备将拍摄的视频以文件的形式记录到设备本地的存储介质上。根据需要，整个现场拍摄结束以后，再将所有机位录制下来的文件导入统一的编辑设备，例如一台专业级计算机，利用免费(或商业)软件进行离线拼接处理，需要根据拍摄时的位置关系，手动对机位顺序、拼缝等作调整。经过后期的拼接处理之后，通过VR显示终端，例如VR头盔(或VR眼镜)，观看拼接之后的VR全景视频，带给体验者的感受就仿佛置身于拍摄的现场，通过获取VR显示终端的水平、垂直、角度等实时数据，实现VR环境中对前、后、左、右、上、下等不同方位图像的观看，这样足不出户就可以实现仿佛置身拍摄现场的体验。

但是，这种应用方式也存在问题。首先，由于文件记录在拍摄设备本地的存储介质内，VR全景视频需要后期进行拼接处理才能呈现全方位360度的效果，也就是不支持现场直播。

其次，体验者佩戴VR显示终端后，虽然可以看到全景的效果，但是与现实环境还是存在差异的，佩戴VR显示终端以后，由于眼部完全被遮盖，无法看到自己的身体。这样一来，置于VR环境里，体验者始终感觉自己只剩下眼睛，而悬浮在VR空间当中，缺乏落地感、真实感。

此外，由于后期拼接没有严格的时码对齐机制，需要人工对不同机位的文件位置进行对齐，这样很容易在拼接处理时出现不同视角的图像不同步的问题。若不同视角的图像时序相差40毫秒以上，人眼就可明显察觉到画面不同步。带给体验者的感觉会很差，时间长了容易产生不适感。

音频的处理也是一个问题，每个机位拍摄的信号可能包含嵌入音频，如果拼接处理时不同步，或视频、音频时序未对齐，那么在VR显示终端就会出现声画不同的问题，主观感觉很怪异。当然，如果现场的音频单独混音并录制，那么在后期剪辑的时候必须保证视频、音频时序同步，否则也会出现声音超前或滞后的问题。

综上，现阶段VR实际应用还存在很多的问题，有待后续分析和解决。

发明内容

本发明的目的是通过以下技术方案实现的。

为解决现有技术的问题，本发明提出了一种VR环境中显示体验者身体局部的系统，包括全景信号拍摄模块，全向音频拾取模块，拼接服务器，采编服务器，发布服务器，信号监看终端，CMS服务器，互动服务器，互动显示终端，专用信号拍摄模块，接收服务器，VR显示终端，其他访问终端。其中，全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器、信号监看终端、和采编服务器，发布服务器处理后的信号发送给接收服务器和CMS服务器，专用信号拍摄模块采集的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、CMS服务器互相交互信号，互动服务器还分别与拼接服务器、CMS服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示，采编服务器处理后的信号发送给CMS服务器和信号监看终端。

拼接服务器，用于对全景信号拍摄模块拍摄的视频信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；

发布服务器，用于对拼接服务器拼接后的VR全景视频进行压缩编码，随后进行直播发布；

接收服务器，用于在远端通过访问直播发布地址，对正在直播的VR全景视频进行解码，并对专用信号拍摄模块拍摄的视频信号进行实时抠像处理，将处理之后带Alpha通道的体验者身体局部的视频，与导入的3D物件进行实时渲染合成，以产生VR全景视频信号。

根据本发明的一个方面，拼接服务器包括CG控制单元，用于为经过实时合成渲染的VR全景视频信号叠加字幕。

根据本发明的一个方面，拼接服务器，还包含信号输入单元、拼接处理单元、时码生成单元、以及信号输出单元；

信号输入单元，用于接收全景信号拍摄模块通过不同机位拍摄的信号，以及全向音频拾取模块采集的现场的全向音频信号；

拼接处理单元，用于按照预先校准好的模板对信号输入单元接收的信号进行实时拼接处理，并基于时码生成单元产生的同步时钟，实现全景视频和现场音频的同步合成；

信号输出单元，将拼接后的VR全景视频信号输出给信号监看终端、发布服务器，及采编服务器。

根据本发明的一个方面，接收服务器，包含信号输入单元、3D导入单元、实时抠像单元、解码处理单元、合成渲染单元、交互处理单元，以及信号输出单元。

本发明还提出了一种采用上述VR环境中显示体验者身体局部的系统的方法，包括如下步骤：

对简易拍摄道具的表面做预处理；

采用照明设备对体验者进行布光处理；

采用拍摄设备，对体验者和简易道具进行拍摄，将拍摄的信号输出至接收服务器；

接收服务器将每帧图像送给抠像处理单元进行实时抠像处理，剩余带有Alpha通道的体验者身体局部的视频图像；

采用3D导入单元将设计好的3D物件导入进来，并设置好3D物件的大小、位置等参数；

然后，通过内部的渲染合成单元，对视频图像、抠像后的带alpha通道的体验者身体局部的视频图像，以及3D物件进行实时合成渲染，以产生VR全景视频信号。

根据本发明的一个方面，经过实时合成渲染的VR全景视频信号，经过信号输出单元送给连接在接收服务器上面的VR显示终端，体验者通过VR显示终端，观看现场全方位不同视角的直播图像，听到现场的全向声音，看到自己的身体部分以及渲染后的环境。

根据本发明的一个方面，若体验者佩戴的VR显示终端的姿态发生改变，则接收服务器可以获取终端的位置参数，随后在VR显示终端的视野中显示相应视角的图像。

根据本发明的一个方面，采用CG控制单元为经过实时合成渲染的VR全景视频信号叠加字幕，使得即使VR显示终端的姿态发生改变，但是字幕始终位于视野的中央偏下的位置，字幕的空间位置参数可以根据需要进行设置。

根据本发明的一个方面，通过发布处理单元将VR全景视频信号发布到指定的直播发布地址，体验者通过远程登录的方式观看VR全景视频的直播内容。

根据本发明的一个方面，对简易拍摄道具的表面做预处理包括：使用抠像专用的蓝/绿漆，对简易拍摄道具的表面进行油漆处理，使其表面不反光、颜色均匀一致；采用照明设备对体验者进行布光处理包括：采用照明设备，将拍摄对象照亮，而且布光均匀，没有明显的亮、暗区域，实现对体验者的布光处理。

本发明产生的有益效果是：由于解决了体验者身体局部在VR直播环境中显示的问题，体验者佩戴VR显示终端以后，无论是观看VR全景视频直播，或通过点播的方式观看VR全景视频内容，既可以观看现场全方位不同视角的视频图像，听到现场拾取的全向声音，甚至低头就能够看到自己的身体部分和经过渲染的虚拟物体，例如提前制作好的课桌。这样，体验者就可以完全沉浸于VR重现的拍摄现场，没有任何的违和感。

本发明的优点在于：对全景拍摄信号、全向音频，及专用信号分别进行实时拼接、实时抠像的方法，经过渲染、合成以后，将体验者的身体局部置于现场环境，从而提高VR环境中的真实感、沉浸感。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施方式的VR环境中显示体验者身体局部的系统示意图；

图2示出了根据本发明实施方式的全景信号拍摄模块的逻辑关系示意图；

图3示出了根据本发明实施方式的拼接服务器的逻辑关系示意图；

图4示出了根据本发明实施方式的发布服务器的逻辑关系示意图；

图5示出了根据本发明实施方式的接收服务器的逻辑关系示意图；

图6示出了根据本发明实施方式的直播互动过程的示意图；

图7示出了根据本发明另一实施方式的采编服务器的逻辑关系示意图；

图8示出了根据本发明具体实施方式的VR全景视频内容点播过程的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明实施方式的VR环境中显示体验者身体局部的系统示意图。所述系统包括全景信号拍摄模块，全向音频拾取模块，拼接服务器，采编服务器，发布服务器，信号监看终端，CMS服务器，互动服务器，互动显示终端，专用信号拍摄模块，接收服务器，VR显示终端，其他访问终端。其中，全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器、信号监看终端、和采编服务器，发布服务器处理后的信号发送给接收服务器和CMS服务器，专用信号拍摄模块采集的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、CMS服务器互相交互信号，互动服务器还分别与拼接服务器、CMS服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示，采编服务器处理后的信号发送给CMS服务器和信号监看终端。

其中，拼接服务器对现场不同机位拍摄的信号进行实时拼接处理，与采集的现场全向音频进行合成；拼接后的VR全景视频由发布服务器进行压缩编码，随后进行直播发布；接收服务器在远程通过访问直播发布地址，对正在直播的VR全景视频进行解码，同时，对专用拍摄信号进行实时抠像处理，将处理之后带Alpha通道的体验者身体局部的视频，与提前导入的三维物件进行实时渲染合成，然后输出到连接在接收服务器上面的VR显示终端。体验者佩戴VR显示终端之后，就能够观看正在直播的VR全景视频内容，收听到现场的全向声音，而且在佩戴显示终端后也能看到自己身体的局部，真正作到了沉浸式的VR直播体验。

图2示出了根据本发明实施方式的全景信号拍摄模块的逻辑关系示意图。在前端的直播现场，全景信号拍摄模块由若干专业级摄像机组成，按照一定的空间位置关系排列，固定于相依的设备支架上面，相互之间的位置关系保持不变。例如，水平方向360度均匀放置6个镜头冲外的专业级摄像机，相邻的镜头中心夹角为60°；垂直方向上、下分别放置一个专业级摄像机，镜头分别冲上和冲下，镜头中心与水平摄像机的镜头夹角成90°，且位于水平摄像机的中央。原则上，无论摄像机的机位怎样摆放，相邻机位的摄像机所拍摄到的信号，彼此之间必须有交集，即相邻机位拍摄图像的边缘部分有重叠的图像信息。而且，彼此之间拍摄图像的重叠区域越大，那么拼接之后的效果也越好，处理之后的拼缝越不明显。相关技术与本发明的方法关系不大，在此不做过多说明。全景信号拍摄模块内部的若干专业级摄像机，拍摄的信号直接输出至拼接服务器，例如通过HDMI输出1080p60的高清信号，用于接下来实时拼接处理。

图3示出了根据本发明实施方式的拼接服务器的逻辑关系示意图。其中，拼接服务器，包含信号输入单元、拼接处理单元、时码生成单元、CG控制单元，以及信号输出单元。全景信号拍摄模块将不同机位的拍摄信号输出至拼接服务器内部的信号输入单元，由实时拼接单元按照预先校准好的模板进行实时拼接处理；同时，全向音频拾取模块将现场的全向音频信号送至信号输入单元，基于时码生成单元产生的同步时钟，实现全景视频和现场音频的同步合成；然后，通过信号输出单元，将拼接后的VR全景视频信号输出给信号监看终端、发布服务器，及采编服务器。输出信号的显示分辨率和帧率可以根据应用需求进行设置，为了保证最终观看的画质，通常采用4Kp60的输出信号，即分辨率为3840*2160，刷新率为60Hz，逐行扫描。实际上，VR全景拼接图像的分辨率只有3840*1920，图像的宽高比为2：1，余下分辨率为3840*240的图像区域，交给CG控制单元用于叠加字幕，例如跑马，充分利用4K分辨率的图像资源。

图4示出了根据本发明实施方式的发布服务器的逻辑关系示意图。其中，发布服务器，包含信号输入单元、编码处理单元，以及发布处理单元。拼接服务器将拼接好的VR全景视频信号，例如1080p60的高清信号，输出至发布服务器的信号输入单元。考虑到目前的网络环境下，网络传输带宽无法支撑4K分辨率图像的实时传输，因此采用1080p60的前端信号。接下来，由编码处理单元对输入信号的每一帧图像进行实时压缩编码，压缩码率可以根据清晰度的要求适当调整；然后，通过发布处理单元将编码之后的VR全景视频信号发布到指定的直播发布地址。远程的接收服务器和CMS服务器，通过访问直播发布地址，就能够在远程接收VR全景视频直播内容。

图5示出了根据本发明实施方式的接收服务器的逻辑关系示意图。作为本发明的重点，专用信号拍摄模块和接收服务器相互配合，实现在VR环境中显示体验者的身体局部。

专用信号拍摄模块，包含简易拍摄道具、简易灯光设备，以及专业级摄像机。其中，简易拍摄道具，即体验者接触的桌椅，桌子表面经过特殊处理，使用抠像专用的蓝/绿漆，对桌子表面进行油漆处理，保证表面不反光、颜色均匀一致；简易照明设备，即专业的拍摄灯光，将拍摄对象照亮，布光均匀没有明显的明、暗区域，色温与拍摄设备选用的色温参数一致，完成对体验者和道具的布光处理；专业级摄像机，用于拍摄上述对象，将拍摄的信号输出至接收服务器，即前面所述的拍摄设备。

接收服务器，包含信号输入单元、3D导入单元、实时抠像单元、解码处理单元、合成渲染单元、交互处理单元，以及信号输出单元。通过访问直播发布地址，解码处理单元对接收到的直播内容进行实时解码，对于每一帧1920*1080的图像，其中的1920*960分辨率为VR全景拼接图像，余下的1920*120分辨率为叠加的字幕，解码处理单元按照此原则进行图像拆分，同时对直播内容的全向音频信号进行解码；信号输入模块，负责对专业级摄像机拍摄的专用信号进行实时采集；接着，将每帧图像送给抠像处理单元进行实时抠像处理，将每帧视频图像内的蓝/绿色部分抠掉，剩余的是带有Alpha通道的体验者身体局部的视频图像；此外，使用其他商业软件制作好3D物件，例如课桌或办公桌，提前通过3D导入单元导入进来，设置好3D物件的大小、位置等参数；然后，通过接收服务器的渲染合成单元，对解码后的VR全景视频、抠像后的带alpha通道的体验者身体局部的视频，以及3D物件进行实时合成渲染。最终的合成信号，通过信号输出单元送给连接在接收服务器上面的VR显示终端，通过内部的LCD显示单元来显示。考虑到目前VR显示终端的所支持的分辨率为高清1920*1080，因此输出信号采用1080p60的高清信号，后续随着技术的发展，输出信号的分辨率也可以与之适配。若体验者佩戴的VR显示终端的姿态发生改变，显示终端内部的感应控制单元，通过连接在接受服务器上面的数据传输线，例如USB数据线缆，将终端的水平、垂直，及角度等位置参数传送给接收服务器，由交互处理单元进行终端设备姿态的运算处理，随后在VR显示终端的视野中显示相应视角的图像，即分辨率为1920*960的全景拼接图像中视觉焦点对应的区域；而由解码处理单元拆分后，分辨率为1920*120的字幕图像始终显示于视野的正前方，相对人眼位于全景视频图像的前一层，这样即使VR显示终端的姿态发生改变，虽然所观看的图像区域随之变化了，但是字幕始终位于视野的中央偏下的位置，字幕的空间位置参数可以根据需要进行设置。对于VR显示终端内部的耳机麦克单元，耳机用于收听直播现场的全向声音，麦克用于和现场的互动服务器以语音的方式进行直播交互。如上所述，佩戴VR显示终端之后，体验者可以低头看到自己的身体局部，以及与之接触的虚拟物体，这样通过视觉、听觉和触觉等多个维度增强现场直播的沉浸感、真实感。

图6示出了根据本发明实施方式的直播互动过程的示意图。其中，CMS服务器，包含日志管理单元、数据库单元、资源管理单元，以及后台管理单元。针对不用的应用场景，除了通过远程的接收服务器及VR显示终端收看VR全景视频直播内容，还可以将直播发布地址嵌入已有的CMS平台。这样，其他访问终端，包括PC、手机，及平板电脑，也可以通过访问CMS收看直播内容。对于PC终端，可以通过Web界面观看VR全景视频直播，使用键盘、鼠标控制观看的视角，并通过文字的方式参与直播互动；对于移动终端，例如手机和平板电脑，可以通过APP观看VR全景视频的直播内容，依靠移动终端内置的传感器来控制观看的视角，同样可以输入文字内容参与直播互动。

在VR全景视频现场直播的过程中，当然也不能缺少直播互动。位于远程的接收服务器，利用网络环境访问CMS服务器内部的后台管理单元，输入用户登录信息，与数据库单元内的用户信息进行匹配。如果用户验证通过了，位于拍摄现场的互动服务器将接收到远程登录的用户信息，同时，远程登录的用户可以开始观看VR全景视频的直播内容，并基于网络环境，直接与现场的互动服务器建立通讯，通过语音进行直播互动，例如在线问答。现场的互动服务器，通过扩展输出的方式，在现场的互动显示终端显示已经登录的远程用户信息，例如头像、ID、交互内容等。对于语音交互方式，可以在讨论模式或点对点模式之间切换。CMS服务器的日志管理单元，负责记录所有远程的登录信息和相关的操作日志，便于日常归档和统计。另外，现场的互动服务器基于网络环境，可以直接给拼接服务器发送信息，例如通知或作业，后者以叠加字幕的方式在VR全景视频的直播内容中进行广播，保证重要信息及时、有效的传达给远程登录的体验者。

图7示出了根据本发明另一实施方式的采编服务器的逻辑关系示意图。对于一些优质的教育资源和知名的节目资源，在授课和演出的现场，采用前述实施方式所述的方法进行VR全景视频的直播，与此同时将拼接服务器输出的一路VR全景视频信号，例如4Kp60的信号，送给用于录制的采编服务器。其中，包含了信号输入单元、4K编码处理单元、虚拟镜头生成单元、剪辑处理单元、打包合成单元、存储介质单元，以及信号输出单元。信号输入单元，接收到拼接服务器输出的VR全景视频信号，该信号嵌入了现场拾取的全向音频，对每一帧4K图像进行采集，通过4K编码处理单元生成VR全景视频文件，存储于采编服务器内部的存储介质单元，例如高速SSD硬盘，或作过RAID5的一组数据盘，读/写带宽满足4K分辨率文件的写入要求。在采编服务器上面，部署了专用的VR后期编辑软件，对于本地录制的VR全景视频文件或直接导入的外部VR全景视频文件，使用服务器内部的虚拟镜头处理单元，按照指定的虚拟机位数量和角度重新生成若干个视频图像，这一组视频图像可以进行同步浏览，通过剪辑处理单元完成剪切、删除、拼接等剪辑处理。经过对不同虚拟镜头视频图像的剪辑，最终获得所有虚拟镜头统一的剪辑脚本，即整个VR全景视频素材的剪辑脚本，由采编服务器内部的打包合成单元，按照最终的剪辑脚本，在录制的原始素材基础上，重新打包合成一个新的VR全景视频文件。这样，即可实现脱离VR显示终端设备的可视化编辑，解决了VR全景视频内容的编辑问题。当然，在整个剪辑处理过程中，通过信号输出单元，可以对当前的剪辑效果进行预览，将信号输出至信号监看终端进行专业监看。

剪辑后的VR全景视频文件，利用网络环境，传送给CMS服务器的资源管理单元，经过编目和审核后，由资源管理单元按照不同的类型，对导入的VR全景视频文件进行归档与展现。

图8示出了根据本发明具体实施方式的VR全景视频内容点播过程的示意图。其他访问终端，包括PC、手机，及平板电脑，分别通过Web界面或APP，点播CMS平台上面感兴趣的VR全景视频内容来观看。PC终端使用键盘、鼠标，移动终端依靠内部的传感器，实现对观看角度的调整。此外，体验者在远程，通过接收服务器访问CMS平台，可以浏览VR全景视频内容，点播之后佩戴VR显示终端进行观看。

当然，对于佩戴VR显示终端的情况，点播观看过程中，在专用信号拍摄模块的配合下，提前布置好简易拍摄灯光，通过专业级摄像机对体验者的身体局部、经过表面特殊处理的简易拍摄道具进行实时拍摄。表面特殊处理指对道具表面，例如课桌的表面，采用抠像专用的蓝/绿色油漆，进行油漆处理。远程的接收服务器，其内部的解码处理单元，负责对CMS平台上面选中的VR全景视频内容进行实时解码；同时，由信号输入单元，负责对专业级摄像机拍摄的专用信号进行实时采集；将每帧图像送给抠像处理单元进行实时抠像处理，抠掉每帧视频图像中的蓝色/绿色部分，剩余的是带有Alpha通道的体验者身体局部的视频图像；此外，由3D导入单元，提前将使用其他商业软件设计好的3D物件，例如课桌或办公桌，导入进来并设置好3D物件的大小、位置等参数；然后，接收服务器内部的渲染合成单元，对解码后的VR全景视频、抠像后的带alpha通道的体验者身体局部的视频，以及3D物件进行实时合成渲染。最终的合成信号，经过信号输出单元送给连接在远端接收服务器上面的VR显示终端。体验者通过佩戴VR显示终端，就可以观看点播的VR全景视频内容，而且可以看到自己的身体局部，以及与其接触的虚拟课桌，提高VR环境中的沉浸感。

本发明还涉及一种VR环境中显示体验者身体局部的方法。所述方法通过如下功能模块实现：信号采集类的全景信号拍摄模块、全向音频拾取模块、专用信号拍摄模块；业务处理类的拼接服务器、发布服务器、接收服务器、CMS服务器、互动服务器、采编服务器；信号监看类的信号监看终端；佩戴及显示类的VR显示终端、其他访问终端；扩展输出类的互动显示终端。

VR环境中显示体验者身体局部的方法是这样实现的：通过前端由若干专业摄像机组成的全景信号拍摄模块对现场进行360度全方位的拍摄，并通过专业输出接口，例如Micro HDMI，将不同视角的信号输出至拼接服务器的信号输入单元。其中，若干专业级摄像机分别拍摄水平、上方、下方等不同视角的信号，其相对空间位置关系是固定的，相邻两个摄像机的拍摄画面彼此有重叠的部分。而且，经过校准之后其位置关系不能发生改变，以免影响后续实时拼接的精度。有关摄像机的摆放结构，不作为本发明的重点不做过多讨论。

全向音频拾取模块，负责拾取现场的声音，通过相应的接口，例如USB数据接口，将拾取的全向音频送给信号输入单元，完成音频的采集工作。接下来，实时拼接处理单元，按照之前校准参数，对前端拍摄的现场信号进行实时拼接处理，同时将采集进来的音频与拼接处理之后的视频进行合成，由于视频拼接处理需要使用显卡的GPU资源，通过复杂的算法进行图像变换及合成，会产生一定的处理延时，在与音频合成的时候，可以通过调整音频输出延时保证拼接后的全景视频与全向音频同步。由于实时视频拼接和实时音频采集，都涉及时码的同步，所以拼接服务器基于本地操作系统，例如Windows 10，提供的高精度时序创建时码发生单元，产生的时钟精度可以达到毫秒级，远高于前端视频的帧率1080p60，即每秒60帧1920*1080的图像，从而实现不同机位的摄像机信号与全向音频信号的同步处理。此外，拼接服务器内部的CG控制单元，主要用于字幕的叠加，在实时拼接处理之后的全景视频上面叠加附加信息。经过后续的编码、传输等步骤，最终渲染合成输出至VR显示终端，显示于体验者VR显示终端的视野前方，当体验者的观看角度、位置改变时，字幕始终叠加在视野当前显示图像的前方，保证字幕信息的及时发布与显示。经过上述处理的VR全景视频信号，最终由拼接服务器的信号输出单元输出三路信号：一路4Kp60信号，输出至信号监看终端，用于对拼接后VR全景视频信号的专业监看；一路4Kp60信号，用于非直播应用场景，提供给录制设备进行VR全景视频信号的录制；另一路1080p60信号，用于直播应用场景，提供给后面的发布服务器，进行VR全景视频的编码和直播发布。

发布服务器的信号输入单元，接收拼接服务器输出的1080p60分辨率的VR全景视频信号，由于目前传输网络带宽支撑不了4Kp60分辨率视频的传输，因此暂时采用1080p60分辨率的VR全景信号，未来一旦传输带宽的瓶颈解决了，将采用4Kp60的前端信号。发布服务器内部的编码处理单元，对输入的VR全景信号进行编码处理，压缩码率可以根据传输质量的要求进行设置。接下来，由发布处理单元，将压缩之后的视频信号推送到指定的直播发布路径和端口号。这样，针对不同的应用场景，远程的多台接收服务器通过访问直播发布地址，佩戴VR显示终端就可以观看VR全景视频内容的直播了。利用已有CMS平台，直播发布地址可以直接嵌入CMS主界面，这样，其他访问终端，包括PC终端可以通过Web观看VR全景视频直播，通过键盘、鼠标控制观看的视角；还有手机、PAD移动终端，也可以通过APP观看VR全景视频直播，通过移动终端自带的传感器和重力感应器，实现观看视角的变化。

作为本发明的重点，专用信号拍摄模块和接收服务器相互配合，实现在VR环境中显示体验者的身体局部。具体是这样实现的，专用信号拍摄模块，包括简易拍摄道具，即体验者使用的桌椅，桌子表面经过特殊处理，使用抠像专用的蓝/绿漆，对桌子表面进行油漆处理，保证表面不反光、颜色均匀一致；简易照明设备，即专业的拍摄灯光设备，将拍摄对象照亮，而且布光比较均匀没有明显的亮、暗区域，色温与拍摄设备选用的色温参数一致，这样实现对体验者的布光处理；专业级摄像机，用于对体验者和简易道具进行拍摄，将拍摄的信号输出至接收服务器，前面提到的拍摄设备即专业级摄像机。接收服务器通过访问直播发布地址，由内部的解码处理单元对接收到的VR全景视频直播内容进行实时解码；由信号输入模块，负责对专业级摄像机拍摄的专用信号进行实时采集；接着，将每帧图像送给抠像处理单元进行实时抠像处理，将每帧视频图像内的蓝色/绿色部分抠掉，剩余的是带有Alpha通道的体验者身体局部的视频图像；此外，3D导入单元提前将通过其他商业软件设计好的3D物件，例如课桌或办公桌，导入进来并设置好3D物件的大小、位置等参数；然后，通过内部的渲染合成单元，对解码后的VR全景视频图像、抠像后的带alpha通道的体验者身体局部的视频图像，以及3D物件进行实时合成渲染。最终的合成信号，经过信号输出单元送给连接在接收服务器上面的VR显示终端，体验者可以通过VR显示终端，观看包含上述内容的直播画面及全向声音。体验者佩戴的VR显示终端，通过连接在接收服务器上面的数据传输线，例如USB数据线缆，将其自身的位置、角度等空间参数传送给接收服务器，由服务器内部的交互处理单元对其空间姿态参数进行运算，随后将相应视角的图像显示于VR显示终端的视野中央。这样，当体验者处于VR直播环境之中，既可以观看现场全方位不同视角的直播图像，听到现场的全向声音，甚至低头就能够看到自己的身体部分以及渲染后的课桌，体验者可以完全沉浸在VR直播环境里，没有任何违和感。

当然，在VR现场直播的过程中也不能缺少直播互动，位于远程的接收服务器通过网络连接运行后台管理系统的CMS服务器，输入登录信息与后台管理系统数据库的用户信息进行验证。验证通过后，位于拍摄现场的互动服务器就可以看到远程登录的用户信息，同时，远程登录的用户可以开始观看VR全景直播内容，并基于网络，直接和现场互动服务器建立连接，通过语音的方式进行直播互动。现场的互动服务器，将远程登录的用户信息，通过扩展输出的形式显示于现场的互动显示终端上面，此外还能够设置语音交互的具体方式，例如讨论模式或点对点模式。所有远程的登录信息和相关的操作日志，都会记录在后台管理系统本地，便于日常统计和归档。互动服务器还可以通过网络，直接给拼接服务器发送信息，例如通知或作业，后者以叠加字幕的方式，在VR全景视频直播中进行广播，保证重要信息及时、有效的传达给远程的体验者。

此外，本发明也适用于VR全景视频点播的应用，所述方法是这样实现的：全景信号拍摄模块负责对现场的360度全方位信号进行拍摄，不同机位的信号送给拼接服务器内部的信号输入单元，由实时拼接单元按照预先校准好的模板进行实时拼接处理；同时，全向音频拾取模块将现场的全向声音送至信号输入单元，基于服务器内部的时码生成单元，通过调整音频延时量，实现全景视频和现场音频的同步合成；然后，通过信号输出单元，将拼接后的VR全景视频信号输出给采编服务器。输出信号的显示分辨率和帧率可以根据应用需求进行设置，为了保证最终观看的画质，通常采用4Kp60的输出信号，即分辨率为3840*2160，刷新率为60Hz，逐行扫描。采编服务器的信号输入单元接收到拼接服务器输出的VR全景视音频信号，对该信号进行采集，通过4K编码器生成VR全景视音频文件，存储于本地的存储介质单元中，例如高速SSD硬盘，或者作过RAID5的一组数据盘，其读/写带宽满足4K信号的文件写入。在采编服务器上面，部署专用的VR后期编辑软件，对于本地录制的VR全景视频文件或直接导入的外部VR全景视频文件，依靠服务器内部的虚拟镜头处理单元，按照指定的虚拟镜头数量和角度重新生成若干个视频图像，这一组视频图像可以进行同步浏览，且支持剪切、删除、拼接等剪辑处理。当前编辑的对象可以是某个虚拟镜头的视频图像，但是剪辑操作却是面向VR全景视频素材，换句话说是面向整个虚拟镜头视频组。最终，经过对不同虚拟镜头视频图像的剪辑，获得统一的剪辑脚本。接着，通过采编服务器内部的打包合成单元，按照最终的剪辑脚本，在原始素材的基础上重新打包合成新的VR全景视频文件。这样，即可实现脱离VR显示终端，进行可视化的VR后期编辑，解决了VR全景视频素材的剪辑问题。当然，通过信号输出单元，能够将最终的剪辑效果输出至信号监看终端，进行专业监看。此处，因为不是本发明的重点，就不对VR后期编辑步骤进行赘述。

剪辑后的VR全景视频文件，通过网络传送给CMS服务器的文件导入单元，经过编目和审核之后，由资源管理单元按照不同的类型，对导入的VR全景视频文件进行归档与展现。其他访问终端，通过Web或APP对资源发布平台上面自己感兴趣的VR全景视频内容进行点播，通过键盘、鼠标或移动终端的感应装置，实现对观看角度的调整。此外，体验者也可以通过远程的接收服务器访问CMS平台，浏览VR全景视频内容资源，点播后佩戴VR显示终端进行观看。

点播过程中，接收服务器内部的解码处理单元负责对CMS上面选择的VR全景视频内容进行实时解码；在专用信号拍摄模块的配合下，提前布置好简易的拍摄灯光，通过专业级摄像机对体验者的身体局部、经过表面特殊处理的简易拍摄道具进行实时拍摄；由信号输入模块，负责对专业级摄像机拍摄的专用信号进行实时采集；将每帧图像送给抠像处理单元进行实时抠像处理，将每帧视频图像内的蓝/绿色部分抠掉，剩余的是带有Alpha通道的体验者身体局部的视频图像；此外，3D导入单元提前将通过其他商业软件设计好的3D物件，例如课桌或办公桌，导入进来并设置好3D物件的大小、位置等参数；然后，接收服务器内部的渲染合成单元，对解码后的VR全景视频图像、抠像后的带alpha通道的体验者身体局部的视频图像，以及3D物件进行实时渲染合成。最终的合成信号，经过信号输出单元送给连接在接收服务器上面的VR显示终端，体验者佩戴VR显示终端，就能够观看包含以上全部的点播内容。通过VR显示终端反馈的位置、角度等空间参数，交互处理单元对终端设备姿态参数进行实时处理，随后将相应视角的图像显示于VR显示终端的视野中央。这样，面向VR全景视频内容的点播应用，当体验者佩戴VR显示终端以后，低头就能够看到自己的身体部分和渲染后的虚拟物体，体验者可以完全沉浸在VR环境之中，没有任何的违和感。

本发明的方法带来的益处非常明显：对于VR全景视频内容的点播应用，结合接收服务器对专用信号的抠像处理，当体验者佩戴VR显示终端观看点播的时候，体验者既可以观看到拍摄现场全方位不同视角的视频图像，听到现场拾取的全向声音，甚至低头就能够看到自己的身体部分和经过渲染的虚拟物件，例如课桌，甚至在不摘下VR显示终端的情况下还可以作笔记，完全沉浸在VR显示环境中，没有任何的违和感。。

本发明的技术方案可以面向不同的应用场景，VR全景视频直播可以用于综艺节目的现场直播，例如大型演唱会，解决了现场容纳人员数量受限的问题，粉丝基于网络环境，在远程使用接收服务器和VR显示终端对直播内容进行观看，沉浸于现场的热烈氛围和音效当中。VR全景视频直播还可以用于教育领域的远程教学，处在远程的同学可以在专门建设的沉浸式教室，利用若干的接收服务器及VR显示终端，观看现场授课的VR全景视频直播，配合专用的信号拍摄模块，还能够在VR课堂上作笔记、互动问答，真正达到优质教育资源的共享。专业培训机构也可以通过类似的方式，通过VR全景视频直播，实现远程的专业教学、直播互动。VR全景视频直播可以用于医疗领域的实践观摩，实习医生通过接收服务器及VR显示终端，可以观看学科带头人主刀手术的全程直播，亲身感受手术室的现场氛围、听到医生交谈的内容，达到观摩、学习的目的，提高手术过程中的应急处置能力。其他应用就不一一赘述，采用本实施方式所述的方法，可以提高VR全景视频直播的沉浸感、真实感。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种VR环境中显示体验者身体局部的系统，包括全景信号拍摄模块，全向音频拾取模块，拼接服务器，采编服务器，发布服务器，信号监看终端，CMS服务器，互动服务器，互动显示终端，专用信号拍摄模块，接收服务器，VR显示终端，其他访问终端，其特征在于：

全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器、信号监看终端、和采编服务器，发布服务器处理后的信号发送给接收服务器和CMS服务器，专用信号拍摄模块采集的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、CMS服务器互相交互信号，互动服务器还分别与拼接服务器、CMS服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示，采编服务器处理后的信号发送给CMS服务器和信号监看终端；

拼接服务器，用于对全景信号拍摄模块拍摄的视频信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；

发布服务器，用于对拼接服务器拼接后的VR全景视频进行压缩编码，随后进行直播发布；

接收服务器，用于在远端通过访问直播发布地址，对正在直播的VR全景视频进行解码，并对专用信号拍摄模块拍摄的视频信号进行实时抠像处理，将处理之后带Alpha通道的体验者身体局部的视频，与导入的3D物件进行实时渲染合成，以产生VR全景视频信号；

其他访问终端，其与所述CMS服务器相连接。

2.如权利要求1所述的VR环境中显示体验者身体局部的系统，其特征在于：

拼接服务器包括CG控制单元，用于为经过实时合成渲染的VR全景视频信号叠加字幕。

3.如权利要求1或2所述的VR环境中显示体验者身体局部的系统，其特征在于：

拼接服务器，还包含信号输入单元、拼接处理单元、时码生成单元、以及信号输出单元；

信号输入单元，用于接收全景信号拍摄模块通过不同机位拍摄的信号，以及全向音频拾取模块采集的现场的全向音频信号；

拼接处理单元，用于按照预先校准好的模板对信号输入单元接收的信号进行实时拼接处理，并基于时码生成单元产生的同步时钟，实现全景视频和现场音频的同步合成；

信号输出单元，将拼接后的VR全景视频信号输出给信号监看终端、发布服务器，及采编服务器。

4.如权利要求1所述的VR环境中显示体验者身体局部的系统，其特征在于：

接收服务器，包含信号输入单元、3D导入单元、实时抠像单元、解码处理单元、合成渲染单元、交互处理单元，以及信号输出单元。

5.采用权利要求1-4之一所述VR环境中显示体验者身体局部的系统的方法，其特征在于：

对简易拍摄道具的表面做预处理；

采用照明设备对体验者进行布光处理；

采用拍摄设备，对体验者和简易道具进行拍摄，将拍摄的信号输出至接收服务器；

接收服务器将每帧图像送给抠像处理单元进行实时抠像处理，剩余带有Alpha通道的体验者身体局部的视频图像；

采用3D导入单元将设计好的3D物件导入进来，并设置好3D物件的大小、位置；

然后，通过内部的渲染合成单元，对视频图像、抠像后的带alpha通道的体验者身体局部的视频图像，以及3D物件进行实时合成渲染，以产生VR全景视频信号。

6.如权利要求5所述的方法，其特征在于：

经过实时合成渲染的VR全景视频信号，经过信号输出单元送给连接在接收服务器上面的VR显示终端，体验者通过VR显示终端，观看现场全方位不同视角的直播图像，听到现场的全向声音，看到自己的身体部分以及渲染后的环境。

7.如权利要求6所述的方法，其特征在于：

若体验者佩戴的VR显示终端的姿态发生改变，则接收服务器可以获取终端的位置参数，随后在VR显示终端的视野中显示相应视角的图像。

8.如权利要求6或7所述的方法，其特征在于：

采用CG控制单元为经过实时合成渲染的VR全景视频信号叠加字幕，使得即使VR显示终端的姿态发生改变，但是字幕始终位于视野的中央偏下的位置，字幕的空间位置参数可以根据需要进行设置。

9.如权利要求5所述的方法，其特征在于：

通过发布处理单元将VR全景视频信号发布到指定的直播发布地址，体验者通过远程登录的方式观看VR全景视频的直播内容。

10.如权利要求5所述的方法， 其特征在于：

对简易拍摄道具的表面做预处理包括：使用抠像专用的蓝/绿漆，对简易拍摄道具的表面进行油漆处理，使其表面不反光、颜色均匀一致；

采用照明设备对体验者进行布光处理包括：采用照明设备，将拍摄对象照亮，而且布光均匀，没有明显的亮、暗区域，实现对体验者的布光处理。