CN106210703A - Vr环境中特写镜头的运用及显示方法和系统 - Google Patents

Abstract

本发明涉及一种VR环境中特写镜头的运用及显示方法和系统，在直播现场增加特写镜头的拍摄机位，同时对已拼接的VR全景视频信号和特写镜头信号作压缩编码，随后进行直播发布，远程的接收服务器将这两路直播内容解码，与提前导入的3D大屏进行渲染合成，然后使用专用VR播放器来播放。体验者所观看的直播内容，除了现场360度全方位的全景视频画面，还能够观看虚拟植入的特写镜头，捕捉重点区域的细节画面，保证了现场沉浸感，提升了VR现场直播的综合体验。

Description

VR环境中特写镜头的运用及显示方法和系统

技术领域

本发明涉及一种VR显示方法，特别是一种VR环境中特写镜头的运用及显示方法和系统。

背景技术

通常VR应用于非直播的情况，采用多个专业级摄像机，按照固定的空间位置摆放，相对位置关系保持不变，对360度全方位的现场信号进行拍摄，每个设备将拍摄的视频内容以文件的形式记录到设备本地的存储介质。整个现场拍摄工作结束后，将所有机位录制下来的文件导入统一的编辑设备，例如一台专业级计算机，其具备很高图像处理性能，再使用商业软件进行拍摄内容的离线拼接处理，根据拍摄时的位置关系，手动对机位顺序、拼缝等作出调整。经过后期拼接处理之后，使用VR显示终端，例如VR头盔或VR眼镜，就能够观看制作好的VR全景视频，给体验者带来置身于拍摄现场的沉浸式感受。用于播放VR全景视频的专业工作站，通过获取VR显示终端的水平、垂直、角度等实时姿态参数，经过复杂的运算处理，随后在VR显示终端的视野中显示当前姿态对应视角的现场画面，这样足不出户就能够实现置身拍摄现场的沉浸式体验。但是，如果要实现VR全景视频的现场直播及互动，就要解决现场不同机位拍摄信号的实时拼接处理，以及后续全景视频信号的直播发布等问题。

在直播现场，为了获取最佳的现场氛围及完整的现场画面，VR全景视频拍摄装置通常放置于直播现场的中央。但是，由于拍摄装置使用的镜头无法改变焦距，带来的好处是拍摄范围更加宽阔，适合进行不同机位拍摄信号的拼接处理；存在的问题也显而易见，无法对镜头进行控制，对重点区域的局部细节进行展现。这样，体验者佩戴VR显示终端后，虽然可以看到直播现场的全景视频画面，但是无法捕捉到重点区域的局部细节，例如演唱会演员的表情，沉浸于现场直播氛围之余，难免产生些许的遗憾。

综上，现阶段VR技术在实际应用中，还有很多问题亟待解决，从业务需求的角度出发，还有很大完善的空间。

发明内容

本发明的目的是通过以下技术方案实现的。

为解决现有技术的问题，本发明提出了一种VR环境中特写镜头的运用及显示系统，包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端。其中，全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器和信号监看终端，特写信号拍摄模块采集的信号发送给发布服务器，发布服务器处理后的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、后台管理服务器互相交互信号，互动服务器还分别与拼接服务器、后台管理服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示；

拼接服务器,用于对全景信号拍摄模块采集的信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；

特写信号拍摄模块，用于实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；

发布服务器，同时接收两路信号，一路来自特写信号拍摄模块的特写镜头视频信号，一路来自拼接服务器的VR全景视频信号，发布服务器分别对这两路现场信号进行实时压缩编码，经过压缩处理的视频流，分别发布到指定的直播地址和端口号；

接收服务器，用于通过访问两个直播发布地址，对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。

根据本发明的一个方面，VR显示终端,连接到接收服务器，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时，即观看角度、空间位置发生变化时，字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。

根据本发明的一个方面，VR显示终端,连接到接收服务器，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，可以观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。

根据本发明的一个方面，互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，当通过网页收看直播时自动播放特写镜头的画面进行现场直播。

根据本发明的一个方面，互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，从而，直接和现场互动服务器建立连接，进行直播互动。

本发明还提出了一种采用上述VR环境中特写镜头的运用及显示系统的方法，包括如下步骤：

采用全景信号拍摄模块中的若干专业级摄像机，对直播现场进行360度全方位拍摄，并通过专业视频输出接口，将不同视角的拍摄信号输出至拼接服务器；

拼接服务器按照预设的校准参数，对拍摄信号进行实时拼接处理，并将合成的VR全景视频信号输出至发布服务器；

特写信号拍摄模块实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；

发布服务器同时接收来自特写信号拍摄模块的特写镜头视频信号和拼接服务器的VR全景视频信号，并对这两路现场信号进行实时压缩编码，然后，将经过压缩处理的视频流，分别发布到指定的直播地址和端口号；

通过接收服务器访问两个直播发布地址，实时解码两路直播内容，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。

根据本发明的一个方面，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时，即观看角度、空间位置发生变化时，字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。

根据本发明的一个方面，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，可以观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。

根据本发明的一个方面，当通过网页收看直播时自动播放特写镜头的画面进行现场直播。

根据本发明的一个方面，体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，从而，直接和现场互动服务器建立连接，进行直播互动。

本发明产生的有益效果是：在直播现场增加特写镜头拍摄机位，对直播现场的局部细节进行实时捕捉，并与拼接后的VR全景视频信号同时进行直播发布，远程的接收服务器，对上述直播内容以及导入的虚拟大屏进行渲染合成，通过植入的虚拟大屏显示特写镜头，然后使用专用VR播放器对最终的合成信号进行解码控制。若配备了VR显示终端，佩戴VR显示终端后体验者就可以观看直播内容，除了现场360度全方位的全景视频图像以外，还能够在植入的虚拟大屏上观看特写镜头，捕捉重点区域的细节画面，例如教室黑板的板书、电子白板显示的PPT，亦或综艺直播的演员特写，从而提升VR现场直播的综合体验，在沉浸于现场氛围的同时兼顾细节。当然，若没有配备专业的VR显示终端，也可以在接收服务器上面通过网页方式收看以特写镜头为主的现场直播。此外，在直播过程中，通过语音或文字的方式，与现场进行直播互动。

本发明的优点在于：本发明将现场拍摄的全方位视频信号实时拼接成VR全景视频信号，并运用特写镜头展现直播现场局部细节的方案，是一种通过专用VR播放器，实现全景视频信号和特写镜头混合播放的方案，通过佩戴VR显示终端，体验者所观看的直播内容，除了现场360度全方位的全景视频画面，还能够观看虚拟植入的特写镜头，捕捉重点区域的细节画面，是一种保证现场沉浸感，且支持特写镜头显示的方案。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施方式的VR环境中特写镜头的运用及显示的系统示意图；

图2示出了根据本发明实施方式的全景信号拍摄模块的逻辑关系示意图；

图3示出了根据本发明实施方式的拼接服务器的逻辑关系示意图；

图4示出了根据本发明实施方式的发布服务器的逻辑关系示意图；

图5示出了根据本发明实施方式的接收服务器的逻辑关系示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了本发明VR环境中特写镜头的运用及显示系统的结构框图。所述系统包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端；其中，拼接服务器对现场不同机位拍摄的信号进行实时拼接处理，与采集的现场全向音频进行合成；发布服务器，负责对拼接后的VR全景视频进行压缩编码，随后进行直播发布；此处，为了兼顾直播现场的局部细节画面，即特写镜头的捕捉，专门在现场增加了特写信号拍摄模块，拍摄的特写镜头输出至发布服务器，后者进行压缩编码，随后进行直播发布；远程的接收服务器，访问以上两个直播地址，对直播内容进行实时解码，然后将这两路直播信号与虚拟大屏进行渲染合成，并将特写镜头在虚拟大屏上显示。如果接收服务器上面连接了VR显示终端，体验者佩戴VR显示终端之后，就能够观看360度全方位的VR全景视频，并通过虚拟大屏观看特写镜头，捕捉重点区域的局部细节画面；通过耳机收听现场的全向声音，使用麦克通过语音进行直播互动。以上，两种直播内容相结合的方式，兼顾了VR环境中的沉浸式体验与局部细节画面的展现。

根据本发明的实施方式，VR环境中特写镜头的运用及显示方法的实现步骤描述如下：

图2示出了根据本发明实施方式的全景信号拍摄模块的逻辑关系示意图。在前端的直播现场，全景信号拍摄模块由若干专业级摄像机组成，按照一定的空间位置关系排列，固定于相应的设备支架上面，彼此之间的位置关系保持不变。例如，水平方向360度均匀放置6个镜头冲外的专业级摄像机，相邻镜头中心的夹角为60°；垂直方向上、下分别放置一个专业级摄像机，镜头分别冲上和冲下，镜头中心与水平摄像机的镜头夹角成90°，且位于水平放置摄像机的中央。原则上，无论摄像机的机位怎样摆放，相邻机位的摄像机所拍摄到的图像，彼此之间必须有交集，即相邻机位拍摄图像的边缘部分有重叠的图像信息，否则无法实现视频图像拼接。而且，彼此之间拍摄图像的重叠区域越大，那么拼接之后的效果也越好，处理之后的拼缝越不明显。相关技术与本发明的方法关系不大，在此不做过多说明。全景信号拍摄模块内部的若干专业级摄像机，将拍摄的1080p60高清信号通过专业视频接口，例如Micro HDMI，直接输出至拼接服务器，用于后续面向VR现场直播的实时拼接处理。

图3示出了根据本发明实施方式的拼接服务器的逻辑关系示意图。其中，拼接服务器，包含信号输入单元、拼接处理单元、时钟发生单元、CG控制单元，以及信号输出单元。全景信号拍摄模块将不同机位拍摄的现场信号输出至拼接服务器内部的信号输入单元，由拼接处理单元按照预先校准好的模板进行实时拼接处理。由于直播现场的空间大小、周围环境的特征点不尽相同，因此需要根据全景信号拍摄模块在现场拍摄的实际信号，进行特征点匹配、拼接边缘优化等校准操作，然后保存为该环境下的拼接模板。与此同时，全向音频拾取模块，负责拾取现场的全向声音，通过相应的接口，例如USB通用接口，将拾取的全向声音送给信号输入单元，完成音频的采集工作。接下来，拼接处理单元将采集进来的音频与拼接后的全景视频信号进行合成，由于全景视频拼接处理需要使用显卡的GPU资源，通过复杂的算法进行图像变换及融合，因此会产生一定的处理延时，在与音频合成的时候，可以通过调整音频输出延时保证拼接后的全景视频与音频同步。由于实时视频拼接和实时音频采集，都涉及时码的同步，所以拼接服务器基于本地操作系统，例如Windows 10，所提供的高精度时间片，创建时钟发生单元，产生的同步时钟可以达到毫秒级，远高于前端高清视频信号1080p60的帧率，即每秒60帧1920*1080的图像，从而实现不同机位的摄像机信号实时拼接及全向声音的同步处理。然后，通过信号输出单元，将拼接后的VR全景视频信号，其中一路4Kp60信号，输出至信号监看终端，用于对拼接效果的专业监看；另外一路1080p60信号，用于全景视频现场直播，输出至后面的发布服务器。输出信号的分辨率和帧率可以根据应用需求进行设置，为了保证最终观看的画质，理想情况下输出信号为4Kp60，即分辨率为3840*2160，每秒60帧，逐行扫描；考虑到实际的VR全景拼接图像的分辨率只有3840*1920，图像的宽高比为2：1，余下分辨率为3840*240的图像区域，交给CG控制单元，随时叠加字幕，例如跑马，等附加信息，充分利用4K分辨率的图像资源。但实际的网络带宽，尚无法支撑4Kp60信号的直播，因此退而求其次采用1080p60的全景视频信号，保证后续的直播内容的流畅播放。

图4示出了根据本发明实施方式的发布服务器的逻辑关系示意图。其中，发布服务器，包含信号输入单元、编码处理单元，以及发布处理单元。在直播现场，增加特写信号拍摄模块对局部细节进行拍摄，即特写镜头的实时捕捉，将拍摄的1080p60信号输出至发布服务器的信号输入单元。特写信号拍摄模块，主要指具备变焦功能的专业级摄像机或广播级摄像机，通过专用视频输出接口，例如Micro HDMI或BNC，将通过调整镜头焦距拍摄的特写镜头输出至发布服务器。这样，信号输入单元同时接收到两路信号，一路来自特写信号拍摄模块的特写镜头图像，一路来自拼接服务器的VR全景视频图像；接着，编码处理单元分别对这两路现场信号进行实时压缩编码，压缩码率可以根据清晰度的要求适当调整；经过压缩处理的视频流，通过发布处理单元分别发布到指定的直播地址和端口号。由于目前的网络传输带宽支撑不了4K分辨率的压缩图像的传输，因此暂时采用1080p60分辨率的特写镜头信号、VR全景视频信号，未来一旦带宽瓶颈得到很好的解决，将采用画质更佳的4K分辨率的前端信号。以上，两种直播信号相结合，360度全方位VR全景视频带给体验者现场的沉浸感；特写镜头作为补充，捕捉到更多现场的精彩画面。

图5示出了根据本发明实施方式的接收服务器的逻辑关系示意图。接收服务器，包含解码处理单元、3D导入单元、合成渲染单元、交互处理单元，以及信号输出单元。通过访问两个直播发布地址，解码处理单元对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，对于每一帧1920*1080的图像包含两部分内容，其中1920*960分辨率为VR全景拼接图像，余下的1920*120分辨率为叠加字幕信息，解码处理单元按照此原则进行图像拆分，此外对直播内容的全向声音进行解码；另外一路为现场特写镜头，对每帧1920*1080的图像进行实时解码。使用其他商业软件制作好3D物件，即后续植入VR环境中的虚拟大屏，提前由3D导入单元导入进来，设置好虚拟植入的物理尺寸、空间位置等参数；然后，通过接收服务器的渲染合成单元，对解码后的直播内容，即VR全景视频、特写镜头视频，以及导入的3D物件，即虚拟大屏进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。最终的合成信号，由接收服务器上面的专用VR播放器进行解码控制。存在以下两种情况：

第一、接收服务器连接了可佩戴的VR显示终端。VR显示终端，包含LCD显示单元、耳机麦克单元，以及感应控制单元。最终的合成信号，通过信号输出单元送给连接在接收服务器上面的VR显示终端，由内部的LCD显示单元来显示。考虑到目前VR显示终端的所支持的分辨率为高清1920*1080，因此输出信号采用1080p60的高清信号，后续随着技术的发展，输出信号的分辨率也可以与之适配。体验者佩戴VR显示终端以后，就可以观看360度全方位的VR全景视频直播，沉浸在现场热烈的氛围当中；同时，还可以通过植入的虚拟大屏，观看虚拟大屏上面播放的特写镜头，将两种直播相结合。对于植入的虚拟大屏，可以通过VR显示终端上面的按键进行控制，根据体验者的观看需求选择是否显示，实现两种直播内容的混合播放。VR显示终端内部的耳机麦克单元，耳机用于收听直播现场的全向声音，麦克用于与现场的互动服务器通过语音方式实现直播交互。当体验者佩戴的VR显示终端的姿态发生改变，显示终端内部的感应控制单元，通过连接在接受服务器上面的数据传输线，例如USB数据线，将终端设备的水平、垂直，及角度等空间姿态参数传送给接收服务器，由交互处理单元进行终端设备姿态的运算处理，随后在VR显示终端的视野中显示当前视角的现场画面，即分辨率为1920*960全景拼接图像中视觉焦点观看的区域；经过解码处理单元拆分后，分辨率为1920*240的字幕信息，始终显示于视野的正前方，相对人眼位于全景视频图像、植入虚拟大屏的前一层，这样即使VR显示终端的姿态发生改变，观看到的现场画面随之发生了变化，但是字幕始终位于视野的中央偏下的位置，不会遮挡到重要的直播内容，相关空间位置参数也可以根据需要进行设置。

第二、接收服务器上面未连接VR显示终端。这种情况下，只能通过网页收看直播；此时，网页内嵌的VR播放器未检测到终端设备，则自动播放特写镜头的画面进行现场直播，体验者将无法获得VR全景视频直播的沉浸感。

当然，在VR现场直播的过程中也不能缺少直播互动，参见图1VR环境中特写镜头的运用及显示方法的系统示意图。位于远程的接收服务器通过网络连接后台管理服务器，输入登录信息与后台管理数据库的用户信息进行核验。验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息。对于远程的接收服务器，若连接了VR显示终端，登录用户佩戴VR显示终端后即可观看直播内容，包括VR全景视频及特写镜头，使用耳机收听现场全向声音；并基于网络，直接和现场互动服务器建立连接，通过VR显示终端内部耳机麦克单元的麦克，通过语音的方式进行直播互动。若接收服务器未连接VR显示终端，那么登录用户可以通过网页观看以特写镜头为主的直播内容，使用耳机接收现场的全向声音；并基于网络，直接与现场互动服务器建立连接，通过网页输入文字进行直播互动。

位于直播现场的互动服务器，通过互动显示终端，面向直播现场展示远程登录的用户信息，例如ID、头像、状态、语音，及留言等。针对语音直播互动，可以设置具体的交互方式，例如广播方式或一对一方式。所有远程登录的信息和相关的操作日志，都会记录在后台管理服务器本地，便于日常统计和归档。另外，现场的互动服务器还可以基于网络，直接向拼接服务器发送即时信息，例如通知或作业，后者以叠加字幕的方式在VR全景视频直播中进行广播，保证相关信息准确传达给远程的登录用户。

为解决现有技术中的问题，本发明还提出一种VR环境中特写镜头的运用及显示方法。所述方法涉及的功能模块包括：信号采集类的全景信号拍摄模块、全向音频拾取模块、特写信号拍摄模块；业务处理类的拼接服务器、发布服务器、接收服务器、后台管理服务器、互动服务器；信号监看类的信号监看终端；终端显示类的VR显示终端、互动显示终端。

所述方法是这样实现的：通过前端由若干专业级摄像机组成的全景信号拍摄模块，对直播现场进行360度全方位拍摄，并通过专业视频输出接口，例如Micro HDMI，将不同视角的拍摄信号输出至拼接服务器。其中，若干专业级摄像机分别拍摄水平、上方、下方等不同视角的画面，其相对空间位置关系是固定的，相邻两个摄像机的拍摄画面彼此有重叠的区域。经过校准之后其位置关系不能发生改变，以免影响后续实时拼接的精度。有关摄像机机位的摆放结构，不是本发明的重点，不做过多讨论。

全向音频拾取模块，负责拾取现场的声音，通过相应的传输接口，例如USB通用接口，将拾取的声音送给拼接服务器，完成音频的采集工作。接下来，拼接服务器按照调试好的校准参数，对前端现场的拍摄信号进行实时拼接处理，同时将采集音频与拼接后的全景视频信号进行合成。由于实时视频拼接和实时音频采集，都涉及时码的同步，拼接服务器基于本地操作系统，例如Windows 10，所提供的高精度时间片(毫秒级)，能够对视频和音频进行同步处理。此外，拼接服务器还可以在拼接后的VR全景视频图像上面叠加字幕，作为附加信息。经过后续的编码、传输等环节，最终渲染合成输出至VR显示终端。当体验者佩戴的VR显示终端姿态发生改变，即观看角度、空间位置发生变化，字幕却始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。最后，拼接服务器输出两路VR全景视频信号：一路4Kp60的信号，输出至信号监看终端，对拼接效果进行专业监看；一路1080p60的信号，用于现场信号的直播发布，输出至发布服务器。

本发明的重点还在于：在直播现场，增加特写信号拍摄模块对局部细节画面进行拍摄，即特写镜头的实时捕捉，将拍摄的1080p60信号输出至发布服务器。这样，发布服务器同时接收两路信号，一路来自特写信号拍摄模块的特写镜头，一路来自拼接服务器的VR全景视频信号；然后，发布服务器分别对这两路现场信号进行实时压缩编码，码率可以根据需要进行设置；经过压缩处理的视频流，分别发布到指定的直播地址和端口号。由于，目前的网络带宽支撑不了4K分辨率的视频流传输，因此暂时采用1080p60分辨率的特写信号、VR全景视频信号，未来一旦带宽瓶颈得到很好的解决，将采用画质更佳的4K分辨率的前端信号。两种直播信号相结合，360度全方位的VR全景视频直播带给体验者现场的沉浸感；特写镜头作为补充，捕捉更多现场的精彩画面。

接收服务器通过访问以上两个直播发布地址，对接收到的直播内容进行实时解码，一路是VR全景视频信号，一路是特写镜头信号。此外，接收服务器提前将使用其他商业软件设计好的3D物件，例如虚拟大屏，导入进来，设置好3D物件后续植入VR环境中的大小、位置等参数。接着，接收服务器对解码后的VR全景视频图像、特写镜头图像，以及虚拟植入的3D物件进行实时合成渲染，其中，特写镜头的视频图像直接在植入的虚拟大屏上面显示。最终的合成信号，由接收服务器上面的专用VR播放器进行解码控制。存在以下两种情况：第一、接收服务器连接了VR显示终端，那么最终的合成信号将输出至终端设备。体验者佩戴VR显示终端以后，就可以观看360度全方位的VR全景视频直播，沉浸在现场热烈的氛围当中；同时，还可以通过植入的虚拟大屏，观看虚拟大屏显示的特写镜头画面；通过耳机收听现场采集的全向声音，提升VR直播的综合体验。对于VR显示终端，通过连接在接收服务器上的数据传输线，例如USB数据线，将其自身的传感数据，包括位置、角度等空间姿态参数，传送给接收服务器，后者对终端设备的姿态进行实时运算处理，随后将相应视角的图像显示于VR显示终端视野的中央。关于植入的虚拟大屏，可以通过VR显示终端上面的按键进行控制，根据体验者的观看需求选择是否显示，实现混合播放的效果。第二、接收服务器未连接VR显示终端，这种情况，只能通过网页的形式收看直播；此时，网页内嵌的VR播放器检测不到终端设备，则仅播放特写镜头的视频画面进行现场直播，用户将无法获得VR全景视频直播的沉浸式体验。

当然，在VR现场直播的过程中也不能缺少直播互动，位于远程的接收服务器通过网络连接后台管理服务器，输入登录信息与后台管理数据库的用户信息进行核验。验证通过后，位于拍摄现场的互动服务器就可以看到远程登录的用户信息了。对于远程的接收服务器，若连接了VR显示终端，登录用户佩戴VR显示终端后即可观看直播内容，包括VR全景视频及特写镜头，使用耳机收听现场全向音频；并基于网络，直接和现场互动服务器建立连接，通过麦克采用语音的方式进行直播互动。若接收服务器未连接VR显示终端，那么登录用户可以通过网页观看特写镜头的现场直播，使用耳机收听现场的全向声音；并基于网络，直接和现场互动服务器建立连接，通过输入文字的方式进行直播互动。

位于现场的互动服务器，通过互动显示终端，面向直播现场展示远程登录的用户信息，例如ID、头像、状态、语音，及留言等。针对语音直播互动，可以设置具体的交互方式，例如广播方式或一对一方式。所有远程登录的信息和相关的操作日志，都会记录在后台管理服务器本地，便于日常统计和归档。另外，现场的互动服务器还可以基于网络，直接向拼接服务器发送即时信息，例如通知或作业，后者以叠加字幕的方式在VR全景视频直播中进行广播，保证了信息的快速、准确传达。

本实施例所述方法和系统带来的益处非常明显：面向不同的应用场景，VR全景视频直播可以用于综艺节目的现场直播，例如大型演唱会，终端用户在VR环境中感受直播现场热烈氛围的同时，运用特写镜头来捕捉演员细致入微的表情。VR全景视频直播可以用于教育领域的远程教学，处在远程的同学可以在专门建设的沉浸式教室，利用若干的接收服务器及VR显示终端，观看现场授课的VR全景视频直播，运用特写镜头显示讲师的板书、电子白板的PPT，还可以进行互动问答，真正作到优质教育资源的共享。VR全景视频直播可以用于医疗领域的实践观摩，实习医生通过接收服务器及VR显示终端，观看学科带头人主刀手术的现场直播，亲身感受手术室的现场氛围、听到医生交谈的内容，运用特写镜头观察手术部位的处置细节，达到观摩、学习的目的，提高手术过程中的应急处置能力。其他应用就不一一赘述，采用本实施例所述的方法，在获得VR沉浸感、现场感的同时，兼顾了局部细节的展示，全局固然震撼，细节同样珍贵。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种VR环境中特写镜头的运用及显示系统，包括：全向音频拾取模块，全景信号拍摄模块，拼接服务器，信号监看终端，后台管理服务器，特写信号拍摄模块，发布服务器，接收服务器，VR显示终端，互动服务器，互动显示终端，其特征在于：

全向音频拾取模块和全景信号拍摄模块采集的信号发送到拼接服务器，拼接服务器处理后的信号发送给发布服务器和信号监看终端，特写信号拍摄模块采集的信号发送给发布服务器，发布服务器处理后的信号发送给接收服务器，接收服务器分别与VR显示终端、互动服务器、后台管理服务器互相交互信号，互动服务器还分别与拼接服务器、后台管理服务器互相交互信号，互动服务器的信息可以通过互动显示终端进行显示；

拼接服务器，用于对全景信号拍摄模块采集的信号进行实时拼接处理，与全向音频拾取模块采集的现场全向音频信号进行合成；

特写信号拍摄模块，用于实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；

发布服务器，同时接收两路信号，一路来自特写信号拍摄模块的特写镜头视频信号，一路来自拼接服务器的VR全景视频信号，发布服务器分别对这两路现场信号进行实时压缩编码，经过压缩处理的视频流，分别发布到指定的直播地址和端口号；

接收服务器，用于通过访问两个直播发布地址，对接收到的直播内容同时进行实时解码，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。

2.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：

VR显示终端,连接到接收服务器，体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。

3.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：

VR显示终端,连接到接收服务器，体验者佩戴VR显示终端以后，通过植入的虚拟大屏，观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。

4.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：

互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，当通过网页收看直播时自动播放特写镜头的画面进行现场直播。

5.如权利要求1所述的VR环境中特写镜头的运用及显示系统，其特征在于：

互动显示终端，连接到互动服务器，互动服务器连接到接收服务器，体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，直接和现场互动服务器建立连接，进行直播互动。

6.一种采用权利要求1-5之一所述VR环境中特写镜头的运用及显示系统的方法，其特征在于：

采用全景信号拍摄模块中的若干专业级摄像机，对直播现场进行360度全方位拍摄，并通过专业视频输出接口，将不同视角的拍摄信号输出至拼接服务器；

拼接服务器按照预设的校准参数，对拍摄信号进行实时拼接处理，并将合成的VR全景视频信号输出至发布服务器；

特写信号拍摄模块实时捕捉特写镜头，并将拍摄的特写视频信号输出至发布服务器；

发布服务器同时接收来自特写信号拍摄模块的特写镜头视频信号和拼接服务器的VR全景视频信号，并对这两路现场信号进行实时压缩编码，然后，将经过压缩处理的视频流，分别发布到指定的直播地址和端口号；

通过接收服务器访问两个直播发布地址，实时解码两路直播内容，其中一路为VR全景视频信号，另外一路为现场特写镜头，并把3D物件植入VR环境中的虚拟大屏，然后，通过接收服务器的渲染合成单元，对解码后的直播内容，进行实时合成渲染，将特写镜头直接在植入的虚拟大屏上面显示。

7.如权利要求6所述的方法，其特征在于：

体验者通过VR显示终端观看VR全景视频信号，当佩戴的VR显示终端姿态发生改变时，字幕始终保持在视野中央偏下的位置，位于当前显示视频图像的前面。

8.如权利要求6所述的方法，其特征在于：

体验者佩戴VR显示终端以后，通过植入的虚拟大屏，观看虚拟大屏上面播放的特写镜头，将VR全景视频和特写镜头两种直播相结合。

9.如权利要求6所述的方法，其特征在于：

当通过网页收看直播时自动播放特写镜头的画面进行现场直播。

10.如权利要求6所述的方法，其特征在于：

体验者可输入登录信息与后台管理数据库的用户信息进行核验，验证通过后，位于现场的互动服务器就可以看到远程登录的用户信息，直接和现场互动服务器建立连接，进行直播互动。