CN107426487A - 一种全景图像录播方法及系统 - Google Patents

Abstract

本发明公开了一种全景图像录播方法及系统，所述方法包括：全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理；将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。本发明通过全景摄像装置采用原始数据，并根据所述原始数据生成流媒体文件，在将所述流媒体文件通过VR设备播放，使得观看者可以全方位的观看所述流媒体文件内容，给用户的使用带来方便。

Description

一种全景图像录播方法及系统

技术领域

本发明涉及图像技术领域，特别涉及一种全景图像录播方法及系统。

背景技术

随着以多媒体和互联网为代表的信息技术的进步，录播技术也得到了飞速的发展。相应的，教学视频的录制也受到人们的关注。现有的教学视频的录制方法主要是通过采集教师讲述、学生提问、讲义PPT以及图像等多媒体数据，生成标准的网络视频格式，然后再以网络和服务器同步直播，学生通过浏览器和其他多媒体播放器即可观看到影音和图文内容。但是，现有的教学视频的展现形式上普遍是以2D平面的方式来展现给教学对象，学习者只能通过固定的角度来观看平面所包含的内容来学习，使得学习者不能从多角度观看所包含的内容。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种全景图像录播方法及系统，以解决现有录制方法得到的视频只能以平面的方式来展示内容的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种全景图像录播方法，其包括：

全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理；以及，

将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；

所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

所述全景图像录播方法，其中，所述全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理具体包括：

所述全景摄像装置采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

所述全景图像录播方法，其中，所述将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器具体包括：

分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

所述全景图像录播方法，其中，所述分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件具体为：

分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

所述全景图像录播方法，其中，所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像具体包括：

所述流媒体服务器与需播放所述流媒体文件的VR设备建立连接；

所述VR设备通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；

将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。

一种全景图像录播系统，其包括：全景摄像装置、流媒体服务器；所述全景摄像装置包括：

采集模块，用于采集待拍摄场景的原始数据，并对所述原始数据进行预处理；以及，

推送模块，用于将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；

所述流媒体服务器,用于将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

所述全景图像录播系统，其中，所述采集模块具体包括：

采集单元，用于采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

处理单元，用于对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

所述全景图像录播系统，其中，所述推送模块具体包括：

封装单元，用于分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

推送单元，用于通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

所述全景图像录播系统，其中，所述封装单元具体为：

编码子单元，用于分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

封装子单元，用于将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

所述全景图像录播系统，其还包括VR设备；

所述流媒体服务器还用于与需播放所述流媒体文件的VR设备建立连接；

所述VR设备包括：

拉取模块，用于通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；

映射模块，用于将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。

有益效果：与现有技术相比，本发明提供了一种全景图像录播方法及系统，所述方法包括：全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理；将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。本发明通过采用全景摄像装置采用原始数据，并根据所述原始数据生成流媒体文件，在将所述流媒体文件通过VR设备播放，使得观看者可以全方位的观看所述流媒体文件内容，给用户的使用带来方便。

附图说明

图1为本发明提供的全景图像录播方法较佳实施例的流程图。

图2为本发明提供的全景图像录播系统较佳实施例的结构原理图。

具体实施方式

本发明提供一种全景图像录播方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的一种全景图像录播方法较佳实施例的流程图。所述方法包括：

S100、全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理。

具体地，所述全景摄像装置可以是全景摄像机等。所述全景摄像机可以采集待拍摄场景的音频信息和视频信息，所述音频信息可以通过全景摄像机配置的麦克风采集，视频信息可以通过全景摄像机配置的摄像头拍摄。在本实施例中，以待拍摄场景为教师授课为例对原始数据的采集做相应的说明。全景摄像装置通过预先配置的麦克风采集环境中的声音，如，教师和/或学生的讲话；并将采集到的声音的模拟信号转换成音频原始数据；同时，通过全景摄像机的摄像头拍摄环境中的图像，还可以通过屏幕录制获取的画面数据（如:在电脑上进行的某些教学操作），在采集到图像/画面后，将采集的图像/画面数据转换成视频原始数据。

进一步，所述原始数据包括音频原始数据和视频原始数据。所述对原始数据进行处理包括对音频数据处理和对视频时间处理。相应的，所述全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理具体包括：

S101、所述全景摄像装置采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

S102、对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

具体的来说，在所述步骤S101中，在采集到原始数据后，将所述原始数据中的音频数据和视频数据分离，并分别进行处理。

在所述步骤S102中，所述对音频数据进行多路声道混音处理，同时还可以对所述音频数据进行延迟修正以及降噪处理。当然，还可以为所述音频数据中的声音添加声音特效等。所述对所述视频数据进行多路视频拼接处理后，还可以视频图像进行噪点去除、模糊处理和/或添加水印增加版权保护等。在实际应用中，所述全景摄像装置可以配套搭载基于03`ICCV和07`IJCV的AutoStitch的拼接算法，并采用所述拼接算法实现视频数据的拼接。所述视频拼接基于图像的拼接实现，其具体过程为：首先获取所述视频数据的视频首帧，并将所述视频首帧作为参考帧来初始化拼接模板，而后续帧使用模板参数进行投影融合即可完成拼接。所述拼接模板的生成过程可以为：首先利用PAMI的As Projective As Possible(APAP)将图像划分为密集网格，每个网格再利用Moving DLT的算法进行局部单应性矩阵对齐，进而实现模板的拼接。所述图像降噪可以利用3D降噪技术，对比相邻的关键帧图像，将不重叠的数据信息过滤，提高画质和清晰度。所述水印可以利用open CV来写入水印操作来实现。

S200、将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器。

具体地，所述封装成视频文件指的是对所述处理后的原始数据进行编码，也就是说，对于视频数据的每一帧图片进行压缩，并对每一帧图片对应的音频数据进行压缩；将所有帧图片的压缩文件按照采集的先后顺序封装成视频文件。

示例性的，所述将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器具体包括：

S201、分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

S202、通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

具体的来说，在所述步骤S201中，对所述音频数据和视频数据分别进行编码，并且对所述音频数据和视频数据的编码可以同时进行。所述音频数据编码和视频数据编码可以采用不同的编码方式进行。所述视频数据可以利用H.264、H.265/HEVC视频压缩技术进行编码。所述音频编码可以将采样率、采样大小以及声道数一起进行音频编码。

进一步，所述音频数据和视频数据是分别进行编码的，为了保证视频文件中视频数据和音频数据的同步，可以在编码音频数据和视频数据的同时，分别在音频数据和视频数据中添加时间戳，并以所述时间戳为依据进行对应封装。

示例性的，所述分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件具体为：

S2011、分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

S2012、将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

具体地，所述时间戳可以是视频数据中每一帧图像的开始时间，也就是说，所述每一帧图像中均带有其对应的时间戳，相应的，每一帧图像对应的音频时间也携带所述时间戳。这样可以保证所述视频数据与音频数据的同步性，避免视频图像与声音不同步的问题。

在所述步骤S202中，所述流媒体服务器（如，Nginx）为所述全景摄像装置预先配置的，并将录制的视频文件发送至所述流媒体服务器。所述全景摄像装置在将所述视频文件发送至所述流媒体服务器之前，需要将所述视频文件转换为流媒体文件，再将所述流媒体文件发送至所述流媒体服务器。在本实施例中，所述全景摄像装置采用FFmpeg技术将所述视频文件转换为流媒体文件。

S300、所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

具体地，所述VR设备为用户用于播放所述视频文件的播放装置。也就是说，用户通过VR设备获取流媒体服务器上的流媒体文件，并解析所述流媒体文件获取原始数据，以及播放所述原始数据，这样用户可以通过所述VR设备观看全景图像，并可以从不同角度进行观看。

示例性的，所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像具体包括：

S301、所述流媒体服务器与需播放所述流媒体文件的VR设备建立连接；

S302、所述VR设备通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；

S303、将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。

具体的来说，在所述步骤S301中，所述VR设备与所述流媒体服务器建立指的是所述VR设备预先配置所述流媒体服务器的推流地址。

在所述步骤S302中，所述VR设备通过所述推流地址拉取所述流媒体文件，并且所述VR设备可以通过流媒体协议RTMP（实时消息传输协议）拉取所述流媒体文件。所述VR设备对拉取得到的流媒体文件进行解码以得到原始数据，所述解码得到的数据包括音频数据和视频数据。

在所述步骤S303中，由于所述视频数据是有全景摄像头拍摄得到的视频图像通过拼接得到的，从而所述视频数据为全景图像。相应的，所述VR设备可以将所述视频数据映射成球体状，这样可以使得所述VR设备360度全方位的显示所述视频数据。在将所述视频数据映射成球状态的同时，将所述音频数据同步添加至所述视频数据内，这样所述VR可以360度全方位的显示所述视频数据，并同步播放所述视频数据对应的音频数据。

本发明还提供了一种全景图像录播系统，如图2所示，其包括：全景摄像装置100、流媒体服务器200；所述全景摄像装置100包括：

采集模块101，用于采集待拍摄场景的原始数据，并对所述原始数据进行预处理；以及，

推送模块102，用于将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；

所述流媒体服务器200,用于将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

所述全景图像录播系统，其中，所述采集模块101具体包括：

采集单元，用于采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

处理单元，用于对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

所述全景图像录播系统，其中，所述推送模块102具体包括：

封装单元，用于分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

推送单元，用于通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

所述全景图像录播系统，其中，所述封装单元具体为：

编码子单元，用于分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

封装子单元，用于将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

所述全景图像录播系统，其还包括VR设备300；

所述流媒体服务器200还用于与需播放所述流媒体文件的VR设备300建立连接；

所述VR设备300包括：

拉取模块301，用于通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；

映射模块302，用于将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。

上述全景图像录播系统的各个模块在上述方法中已经详细说明，在这里就不再一一陈述。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景图像录播方法，其特征在于，其包括：

全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理；以及，

将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；

所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

2.根据权利要求1所述全景图像录播方法，其特征在于，所述全景摄像装置采集待拍摄场景的原始数据，并对所述原始数据进行预处理具体包括：

所述全景摄像装置采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

3.根据权利要求2所述全景图像录播方法，其特征在于，所述将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器具体包括：

分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

4.根据权利要求3所述全景图像录播方法，其特征在于，所述分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件具体为：

分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

5.根据权利要求1所述全景图像录播方法，其特征在于，所述流媒体服务器将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像具体包括：

所述流媒体服务器与需播放所述流媒体文件的VR设备建立连接；

所述VR设备通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；以及，

将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。

6.一种全景图像录播系统，其特征在于，其包括：全景摄像装置、流媒体服务器；所述全景摄像装置包括：

采集模块，用于采集待拍摄场景的原始数据，并对所述原始数据进行预处理；以及，

推送模块，用于将预处理后的原始数据封装成视频文件，并将所述视频文件推送至流媒体服务器；

所述流媒体服务器,用于将所述视频文件推送至VR设备，以使得所述VR设备播放原始数据对应的全景图像。

7.根据权利要求6所述全景图像录播系统，其特征在于，所述采集模块具体包括：

采集单元，用于采集待拍摄场景的原始数据，并分别提取所述原始数据包含的音频数据和视频数据；

处理单元，用于对所述音频数据进行多路声道混音，并对所述视频数据进行多路视频拼接。

8.根据权利要求7所述全景图像录播系统，其特征在于，所述推送模块具体包括：

封装单元，用于分别编码所述音频数据及所述视频数据，并将编码后的音频数据与视频数据封装成视频文件；

推送单元，用于通过FFmpeg将所述视频文件转换为流媒体文件，并通过RTMP协议将所述流媒体文件推送至流媒体服务器。

9.根据权利要求8所述全景图像录播系统，其特征在于，所述封装单元具体为：

编码子单元，用于分别编码所述音频数据及所述视频数据，并在编码后的音频数据和视频数据内添加时间戳；

封装子单元，用于将编码后的音频数据与视频数据按照时间戳的对应关系封装成视频文件。

10.根据权利要求9所述全景图像录播系统，其特征在于，其还包括VR设备；

所述流媒体服务器还用于与需播放所述流媒体文件的VR设备建立连接；

所述VR设备包括：

拉取模块，用于通过RTMP协议从所述流媒体服务器拉取所述流媒体文件，并解码所述流媒体文件；

映射模块，用于将解码得到的视频数据映射为球状体图像，以使得其播放所述全景图像。