CN113573079A - 一种自由视角直播方式的实现方法 - Google Patents

Abstract

本发明适用于计算机领域，提供了一种自由视角直播方式的实现方法，通过获取多个摄像设备从不同角度同时采集的直播视频；接收视角转换指令，持续播放当前视角对应的直播视频；提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频；然后根据提取的直播视频，对直播内容进行三维场景模型重建；将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成。根据需要截取其中几个摄像设备上传的直播视频片段进行三维场景模型重建，大大减少三维场景模型重建工作量，且重建后的三维场景模型大小较小，发送到客户端所需要的流量带宽不高。

Description

一种自由视角直播方式的实现方法

技术领域

本发明属于计算机领域，尤其涉及一种自由视角直播方式的实现方法。

背景技术

物体在空间中运动时六个不同的自由度，包括前后、左右、上下三个平移自由度，以及三个旋转的自由度，对应点头、摇头、歪头。自由视角技术，是一套应用在直播环境中使用的快速动、静态“时间凝结”内容制作系统。该系统通过多相机精确的同步控制，以每秒30FPS采集帧率实现不间断采集，从而保证直播精彩画面的同步以及保存，用户在交互模式下点击直播视频可以360°自由视角观赛。

现有的自由视角技术是通过将现场采集的多路视频内容编排整合后回传至中心云或边缘节点，通过中心云或边缘节点部署的运算能力，将视频流做3D渲染重建，再将渲染后的视频流实时传送给观众。这就需要中心云或边缘节点在线实时进行三维场景重建，所需数据量大，对中心云或边缘节点的性能和运行内存要求较高，并且在视角转换的过程中，需要将建立的三维场景传输到客户端，需要较宽的网络带宽，进行数据的传输以防止视角转换不流畅。

为了完成视角转换，对于视频处理和数据传输带宽的硬件设备要求都很高，建设成本高，导致普及应用的可能性降低。

发明内容

本发明实施例提供一种自由视角直播方式的实现方法，旨在解决现有自由视角技术需要对直播视频进行全部的3D渲染重建，对于视频处理和数据传输带宽的硬件设备要求都很高，导致普及应用的可能性降低的问题。

本发明实施例是这样实现的，一种自由视角直播方式的实现方法包括：

获取多个摄像设备从不同角度同时采集的直播视频；所述摄像设备均匀分布于拍摄场地的周围；

接收视角转换指令，持续播放当前视角对应的直播视频；

提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频；

根据提取的直播视频，对直播内容进行三维场景模型重建；

将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；

继续播放转换后的视角对应的直播视频。

作为本发明的一种改进方案：所述获取多个摄像设备从不同角度同时采集的直播视频之后，所述方法还包括：

将多个直播视频分布于多个视频轨道上；

将摄像设备的视角角度标记在对应的直播视频所在的视频轨道上。

作为本发明的又一种改进方案：所述接收视角转换指令，持续播放当前视角对应的直播视频具体包括：

接收视角转换指令，将当前视角对应的直播视频播放速度降低为正常速度的N倍；所述N小于1；

将N倍播放速度的直播视频发送给客户端。

作为本发明的另一种改进方案：所述提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频具体包括：

定位当前视角和转换后视角之间存在的摄像设备；

从接收视角转换指令开始，实时提取当前视角所在的摄像设备、转换后视角所在的摄像设备以及在两者之间的摄像设备对应的直播视频片段。

作为本发明的进一步方案：所述根据提取的直播视频，对直播内容进行三维场景模型重建具体包括：

从提取的多个直播视频片段中均等间距的连续提取多个视频画面；

将从多个直播视频片段中提取的处于同一时间点上的视频画面，按照摄像设备的排列顺序依次拟合重构三维场景模型；

将直播视频片段上的多个等间距的时间点对应的三维场景模型插入到时间轴上，构成三维场景模型视频流。

作为本发明的再进一步方案：所述将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；

当三维场景模型重建完成后，提取播放速度降低为正常速度N倍的直播视频的当前播放时间点；

以提取的当前播放时间点为分割点，将三维场景模型视频流分割成两段，在分割点之前的三维场景模型视频流为无效视频流，在分割点之后的三维场景模型视频流为有效视频流；

将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端；所述M大于等于1。

作为本发明的优化方案：所述将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端具体包括：

将有效视频流的播放速度提高到正常播放速度的M倍，并提取有效视频流的结束时间点；

在转换视角后对应的视频轨道上，以结束时间点为拼接节点，将提速后的有效视频流插入视频轨道中；

将拼接后的视频轨道以及视频轨道上的直播视频发送给客户端。

作为本发明的又一种方案：将所述接收视角转换指令，持续播放当前视角对应的直播视频之后的方法步骤替换为；

当视角转换经过一个摄像设备所在视角时，播放该摄像设备对应的直播视频，直到视角转换经过下一个摄像设备；

在视频转换的间隙，上一个播放视角所播放的直播视频进行降速播放；

直到视角转换完成，从降速播放的直播视频播放最终时间点开始切换到当前所处视角对应的直播视频；

当前所处视角对应的直播视频升速播放，直到直播视频内容与现场同步，直播视频恢复到正常播放速度。

本发明的有益效果：获取多个摄像设备从不同角度同时采集的直播视频；所述摄像设备均匀分布于拍摄场地的周围，从四周对拍摄场地进行多角度的拍摄；接收视角转换指令，持续播放当前视角对应的直播视频；提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频，仅提取部分摄像设备上传的直播视频，并且仅从接收到指令的那一刻起提取之后上传的视频，减少数据量；然后根据提取的直播视频，对直播内容进行三维场景模型重建，不再实时进行三维场景模型的重建，而是根据需要进行有选择的重建；将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；继续播放转换后的视角对应的直播视频。根据需要截取其中几个摄像设备上传的直播视频片段进行三维场景模型重建，大大减少三维场景模型重建工作量，且重建后的三维场景模型大小较小，发送到客户端所需要的流量带宽不高。解决了现有自由视角技术需要对直播视频进行全部的3D渲染重建，对于视频处理和数据传输带宽的硬件设备要求都很高，导致普及应用的可能性降低的问题。

附图说明

图1是一种自由视角直播方式的实现方法主流程图；

图2是一种自由视角直播方式的实现方法中的三维场景模型重建流程图；

图3是一种自由视角直播方式的实现方法中的有效视频流展示流程图；

图4是一种自由视角直播方式的实现方法中的视频轨道拼接流程图；

图5是另一种自由视角直播方式的实现方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过获取多个摄像设备从不同角度同时采集的直播视频；所述摄像设备均匀分布于拍摄场地的周围，从四周对拍摄场地进行多角度的拍摄；接收视角转换指令，持续播放当前视角对应的直播视频；提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频，仅提取部分摄像设备上传的直播视频，并且仅从接收到指令的那一刻起提取之后上传的视频，减少数据量；然后根据提取的直播视频，对直播内容进行三维场景模型重建，不再实时进行三维场景模型的重建，而是根据需要进行有选择的重建；将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；继续播放转换后的视角对应的直播视频。根据需要截取其中几个摄像设备上传的直播视频片段进行三维场景模型重建，大大减少三维场景模型重建工作量，且重建后的三维场景模型大小较小，发送到客户端所需要的流量带宽不高。解决了现有自由视角技术需要对直播视频进行全部的3D渲染重建，对于视频处理和数据传输带宽的硬件设备要求都很高，导致普及应用的可能性降低的问题。

图1示出了本发明实施例的一种自由视角直播方式的实现方法主流程图，所述自由视角直播方式的实现方法包括：

步骤S10：获取多个摄像设备从不同角度同时采集的直播视频；所述摄像设备均匀分布于拍摄场地的周围，能够从不同的角度拍摄到现场的情况。

步骤S11：接收视角转换指令，持续播放当前视角对应的直播视频。让客户端继续维持当前直播视频的播放，避免视频立刻变动卡顿，给用户造成不适感，为了让用户更好的知道自己转动的角度，可以在用户操作客户端的时候，在客户端的显示界面上显示角度指示盘，在指示盘上用户能够看到自己转动的角度，并且在指示盘上还给出了最佳观影建议角度，用户还可以将视角一键复位。

步骤S12：提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频。将当前视角和最终转换视角之间安装的摄像设备先定位出来，定位了这些摄像设备，其上传的直播视频就能够直接获取。

步骤S13：根据提取的直播视频，对直播内容进行三维场景模型重建。此时重建三维场景模型是为了在转换过程中呈现出连续的立体的场景效果，但是在实际观看视频的时候，我们大多数观看和使用的视频还是平面的居多，三维场景模型仅在视角转换时才被用到。

步骤S14：将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成。

步骤S15：继续播放转换后的视角对应的直播视频。

在本实施例的一种情况中，所述获取多个摄像设备从不同角度同时采集的直播视频之后，所述方法还包括：

步骤S100：将多个直播视频分布于多个视频轨道上。分轨并行，有利于后期视角转换的时候相互切换，也有利于视频片段的提取。

步骤S101：将摄像设备的视角角度标记在对应的直播视频所在的视频轨道上。将视角角度标记在视频轨道上，就可以直接根据当前视角角度和最终转换的视角角度得出在这两个角度之间都有哪些视频轨道。在截取视频的时候，就可以直接从视频轨道上截取。

在本实施例的一种情况中，所述接收视角转换指令，持续播放当前视角对应的直播视频具体包括：

步骤S110：接收视角转换指令，将当前视角对应的直播视频播放速度降低为正常速度的N倍；所述N小于1。将当前直播视频减缓播放速度是为了延迟短暂的时间，为系统构建三维场景模型争取时间，当三维场景模型重建之后，当前直播视频的播放进度晚于实际现场的进度，这两者之间的时间差，就用三维场景模型的展示填补。

步骤S111：将N倍播放速度的直播视频发送给客户端。

在本实施例的一种情况中，所述提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频具体包括：

步骤S120：定位当前视角和转换后视角之间存在的摄像设备；

步骤S121：从接收视角转换指令开始，实时提取当前视角所在的摄像设备、转换后视角所在的摄像设备以及在两者之间的摄像设备对应的直播视频片段。

图2示出了本发明实施例的一种自由视角直播方式的实现方法中的三维场景模型重建流程图，所述根据提取的直播视频，对直播内容进行三维场景模型重建具体包括：

步骤S130：从提取的多个直播视频片段中均等间距的连续提取多个视频画面；为了缩短时间，截取的视频画面个数不宜过多，但是为了保证三维场景模型展示的流畅度，截取的视频画面个数也不宜过少。因此可以在客户端增设效果选择选项，效果好流畅度高就需要等待较多的时间，效果不好肉眼可见的“跳跃式”视角转换需要等待的时间就短，用户可以根据个人需求选择。

步骤S131：将从多个直播视频片段中提取的处于同一时间点上的视频画面，按照摄像设备的排列顺序依次拟合重构三维场景模型；这里构建的三维场景模型可能是片面的，从另一个角度看可能会有瑕疵，但是从当前角度到最终转换角度之间的任一角度观看，这个三维场景模型都是完好的，即在需要观看的视角内，对三维场景模型进行重点重构，在不需要观看的视角内，不需要对三维场景模型进行过分的重视，这样做能够减少处理数据的量，减轻系统处理器的压力。

步骤S132：将直播视频片段上的多个等间距的时间点对应的三维场景模型插入到时间轴上，构成三维场景模型视频流。

图3示出了本发明实施例的一种自由视角直播方式的实现方法中的有效视频流展示流程图，所述将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；

步骤S140：当三维场景模型重建完成后，提取播放速度降低为正常速度N倍的直播视频的当前播放时间点。

步骤S141：以提取的当前播放时间点为分割点，将三维场景模型视频流分割成两段，在分割点之前的三维场景模型视频流为无效视频流，在分割点之后的三维场景模型视频流为有效视频流。

步骤S142：将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端；所述M大于等于1。用有效视频流填补在播放速度降低为正常速度N倍的直播视频和转换视角之后的直播视频之间，使得视角转换更加立体，同时视角转换不会很突兀。

图4示出了本发明实施例的一种自由视角直播方式的实现方法中的视频轨道拼接流程图，所述将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端具体包括：

步骤S20：将有效视频流的播放速度提高到正常播放速度的M倍，并提取有效视频流的结束时间点；

步骤S21：在转换视角后对应的视频轨道上，以结束时间点为拼接节点，将提速后的有效视频流插入视频轨道中；

步骤S22：将拼接后的视频轨道以及视频轨道上的直播视频发送给客户端。将有效视频流与转换视角后的直播视频顺利对接，起到过渡的作用。

图5示出了本发明实施例的另一种自由视角直播方式的实现方法流程图，将所述接收视角转换指令，持续播放当前视角对应的直播视频之后的方法步骤替换为；

步骤S30：当视角转换经过一个摄像设备所在视角时，播放该摄像设备对应的直播视频，直到视角转换经过下一个摄像设备；

步骤S31：在视频转换的间隙，上一个播放视角所播放的直播视频进行降速播放；

步骤S32：直到视角转换完成，从降速播放的直播视频播放最终时间点开始切换到当前所处视角对应的直播视频；

步骤S33：当前所处视角对应的直播视频升速播放，直到直播视频内容与现场同步，直播视频恢复到正常播放速度。这又是另一种角度转换的方法，这种方法不需要建立三维场景模型，对硬件的处理能力进一步降低，仅需要在不同视角对应的直播视频之间进行转换即可，相当于自动切换镜头，为了防止转换的突兀感，可以在视角转换以及直播视频变动的间隙自动加上转换效果，削弱视角突然转换带来的不适。这里所说的时间点不是我们真正计时的时间，而是视频进度条上显示的时间点，例如正常速度直播视频可能播放到3分钟，降速后只能播放到2分钟，由于是直播，因此就有1分钟已经发生的内容没播放出来，此时转换到另一个视角的时候，从2分钟的时间点开始播放，此时转换后视角对应的直播视频可以略微提速播放，直到视频播放内容与现场同步。

为了能够加载上述方法能够顺利运行，还可以设计用于支撑该方法运行的系统，该系统可以包括对应运行每一步骤的模块，还可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线、处理器和存储器等。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自由视角直播方式的实现方法，其特征在于，

获取多个摄像设备从不同角度同时采集的直播视频；所述摄像设备均匀分布于拍摄场地的周围；

接收视角转换指令，持续播放当前视角对应的直播视频；

提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频；

根据提取的直播视频，对直播内容进行三维场景模型重建；

将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；

继续播放转换后的视角对应的直播视频。

2.如权利要求1所述的自由视角直播方式的实现方法，其特征在于，所述获取多个摄像设备从不同角度同时采集的直播视频之后，所述方法还包括：

将多个直播视频分布于多个视频轨道上；

将摄像设备的视角角度标记在对应的直播视频所在的视频轨道上。

3.如权利要求2所述的自由视角直播方式的实现方法，其特征在于，所述接收视角转换指令，持续播放当前视角对应的直播视频具体包括：

接收视角转换指令，将当前视角对应的直播视频播放速度降低为正常速度的N倍；所述N小于1；

将N倍播放速度的直播视频发送给客户端。

4.如权利要求3所述的自由视角直播方式的实现方法，其特征在于，所述提取当前视角与转换后视角之间涉及的不同摄像设备上传的直播视频具体包括：

定位当前视角和转换后视角之间存在的摄像设备；

从接收视角转换指令开始，实时提取当前视角所在的摄像设备、转换后视角所在的摄像设备以及在两者之间的摄像设备对应的直播视频片段。

5.如权利要求4所述的自由视角直播方式的实现方法，其特征在于，所述根据提取的直播视频，对直播内容进行三维场景模型重建具体包括：

从提取的多个直播视频片段中均等间距的连续提取多个视频画面；

将从多个直播视频片段中提取的处于同一时间点上的视频画面，按照摄像设备的排列顺序依次拟合重构三维场景模型；

将直播视频片段上的多个等间距的时间点对应的三维场景模型插入到时间轴上，构成三维场景模型视频流。

6.如权利要求5所述的自由视角直播方式的实现方法，其特征在于，所述将三维场景模型发送给客户端，且所述三维场景模型按照视角转换指令转动展示，直到视角转换完成；

当三维场景模型重建完成后，提取播放速度降低为正常速度N倍的直播视频的当前播放时间点；

以提取的当前播放时间点为分割点，将三维场景模型视频流分割成两段，在分割点之前的三维场景模型视频流为无效视频流，在分割点之后的三维场景模型视频流为有效视频流；

将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端；所述M大于等于1。

7.如权利要求6所述的自由视角直播方式的实现方法，其特征在于，所述将有效视频流的播放速度提高到正常播放速度的M倍，并发送给客户端具体包括：

将有效视频流的播放速度提高到正常播放速度的M倍，并提取有效视频流的结束时间点；

在转换视角后对应的视频轨道上，以结束时间点为拼接节点，将提速后的有效视频流插入视频轨道中；

将拼接后的视频轨道以及视频轨道上的直播视频发送给客户端。

8.如权利要求1所述的自由视角直播方式的实现方法，其特征在于，将所述接收视角转换指令，持续播放当前视角对应的直播视频之后的方法步骤替换为；

当视角转换经过一个摄像设备所在视角时，播放该摄像设备对应的直播视频，直到视角转换经过下一个摄像设备；

在视频转换的间隙，上一个播放视角所播放的直播视频进行降速播放；

直到视角转换完成，从降速播放的直播视频播放最终时间点开始切换到当前所处视角对应的直播视频；

当前所处视角对应的直播视频升速播放，直到直播视频内容与现场同步，直播视频恢复到正常播放速度。

Images