CN108989739A - 一种全视角视频会议直播系统及方法 - Google Patents

Abstract

本发明公开了一种全视角视频会议直播系统及方法，该系统包括：多视角视频采集单元，用于采用多个摄像头从多视角采集会场的视频图像，图像编辑单元，用于对多视角视频采集单元采集的多路视频信号进行编辑处理，形成全视角的视频图像；视频编码单元，用于对该全视角的视频图像进行实时高压缩编码；音频采集单元，用于采用多个音频采集设备采集会场中的音频信号；音频编辑处理单元，用于对所采集到的音频信号进行编辑处理，形成多声道音频数据；音频编码单元，用于对处理后的音频信号分别进行多声道编码；复用单元，用于将编码后的音视频数据进行复用，得到适合于直播或者存储的传输流；输出模块，用于将复用好的传输流，进行网络直播或存储。

Description

一种全视角视频会议直播系统及方法

技术领域

本发明涉及视频采集及处理技术领域，特别是涉及一种全视角视频会议直播系统及方法。

背景技术

对于许多公司，学校和企事业单位，有许多重要的会议需要有可靠全面的记录，同时也需要将会议的内容和精神传达给不能到现场参加会议的人员，因此在会议中就需要这样的设备和软件，该设备和软件应具备以下功能：能够直播会议内容，使得不能到现场参加会议的人员能够通过网络实时的全面了解会议内容，同时感受会议氛围，领会会议精神，能录制会议过程，将录制的视频码流存于流媒体服务器，方便今后查询观看等。

目前，市场上的监控设备，能够完成上述的部分功能，但是目前这种通用的监控设备，对于这种会议的记录和直播有两点不足：

(1)会议现场的画面不全面，使得远程参与会议的人员，不能全面了解会议的内容；

(2)会议的主旨内容不突出。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种全视角视频会议直播系统及方法，使得能够直播会议内容，使不能到现场参加会议的人员能够通过网络实时的全面了解会议内容，并感受会议氛围，领会会议精神，同时能录制会议过程，将录制的视频码流存于流媒体服务器，使得管理人员可根据级别编辑和查看会议视频的内容。

为达上述及其它目的，本发明提出一种全视角视频会议直播系统，包括：

多视角视频采集单元，用于采用多个摄像头从多视角采集会场的视频图像；

图像编辑单元，用于根据各摄像头的位置关系，确定并根据该多视角视频采集单元采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像；

视频编码单元，用于对编辑处理后的全视角的视频图像进行实时高压缩编码；

音频采集单元，用于采用多个音频采集设备采集会场中的音频信号；

音频编辑处理单元，用于对所述音频采集单元所采集到的音频信号进行编辑处理，形成多声道音频数据；

音频编码单元，用于对所述音频编辑处理单元处理后的音频信号分别进行多声道编码；

复用单元，用于将所述视频编码单元和音频编码单元编码后的音视频数据进行复用，得到适合于直播或者存储的传输流；

输出模块，用于将所述复用单元复用好的传输流，进行网络直播或者予以存储。

优选地，所述多视角视频采集单元根据会场的实际情况，于会场中布置3～14个摄像头。

优选地，对于3个摄像头采集的视频图像，所述图像编辑单元对一个摄像头采集的视频图像编辑后作为编辑后的图像的上半部分，对应会场180度的视角，编辑后的图像的下半部分用另两个摄像头采集的视频图像拼接组成，对应会场另外180度的视角。

优选地，对于4个摄像头采集的视频图像，所述图像编辑单元对每两个摄像头采集的视频图像分别进行拼接后组成编辑后视频图像的上下部分，分别对应会场的180度视角。

优选地，对于6个摄像头采集的视频图像，所述图像编辑单元对每三个摄像头采集的视频图像分别进行拼接后组成编辑后视频图像的上下部分，分别对应会场的180度视角。

优选地，对于6个摄像头采集的视频图像，所述图像编辑单元对其中两个摄像头采集的视频图像进行编辑作为编辑后的视频图像的上半部分，该两个摄像头采集的视频图像分别为会议内容的文档以及会议中讲话的人的图像，所述图像编辑单元对另外四个摄像头采集的视频图像拼接组成编辑后视频图像的下半部分，对应会场中的360度的全视角场景。

优选地，对于9个摄像头采集的视频图像，所述图像编辑单元对其中一个摄像头采集的视频图像进行编辑作为编辑后视频图像的中间图像，对另外8个摄像头采集的视频图像编辑成编辑后视频图像的周围图像，拼成会场中的360度的全视角场景。

优选地，对于12个摄像头采集的视频图像，所述图像编辑单元对其中四个摄像头采集的视频像拼接成会场180度的场景图像作为编辑后的视频图像的第一排，对另四个摄像头采集的视频图像拼接成会场另外180度的场景图像作为编辑后的视频图像的第三排，对其他四个摄像头采集的视频图像拼接成编辑后的视频图像的中间4副图像。

优选地，对于14个摄像头采集的视频图像，所述图像编辑单元对其中两个摄像头采集的视频图像拼接作为编辑后的视频图像的中间两幅图像，对其他12个摄像头采集的图像拼接成编辑后的视频图像的周围12幅图像，形成会场的360度的全视角场景图。

为达到上述目的，本发明还提供一种全视角视频会议直播方法，包括如下步骤：

步骤S1，采用多个摄像头从多视角采集会场的视频图像；

步骤S2，根据各摄像头的位置关系，利用图像编辑单元确定并根据采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像；

步骤S3，对编辑处理后的全视角的视频图像进行实时高压缩编码；

步骤S4，采用多个音频采集设备采集会场中的音频信号并对其编辑处理，形成多声道音频数据；

步骤S5，对多声道音频信号分别进行多声道编码；

步骤S6，将编码后的音视频数据进行复用，得到适合于直播或者存储的传输流；

步骤S7，将复用好的传输流，进行网络直播或者予以存储。

与现有技术相比，本发明一种全视角视频会议直播系统及方法通过根据会场的实际情况布置不同数量的摄像头，并进行音视频的采集、编辑、编码、存储和网上直播，本发明使得编辑后的视频图像能够展现会议现场的360度的实景图像，使得远程参与会议或者观看直播的人员更能全面的了解会议内容，能够更直观的感受会议的氛围。

附图说明

图1为本发明一种全视角视频会议直播系统的系统架构图；

图2为本发明实施例中多视角视频采集单元采用3个摄像头的示意图；

图3为本发明实施例中多视角视频采集单元采用4个摄像头的示意图；

图4为本发明一实施例中多视角视频采集单元采用6个摄像头的示意图；

图5为本发明另一实施例中多视角视频采集单元采用6个摄像头的示意图；

图6为本发明实施例中多视角视频采集单元采用9个摄像头的示意图；

图7为本发明实施例中多视角视频采集单元采用12个摄像头的示意图；

图8为本发明实施例中多视角视频采集单元采用14个摄像头的示意图；

图9为本发明实施例中图像编辑单元的示意图；

图10为本发明一种全视角视频会议直播方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种全视角视频会议直播系统的系统架构图。如图1所示，本发明一种全视角视频会议直播系统，包括：

多视角视频采集单元101，用于采用多个摄像头从多视角采集会场的视频图像。在本发明具体实施例中，可根据会场的实际情况，于会场中布置不同数量的摄像头，较佳地，摄像头的数量可为3～14个。

图像编辑单元102，用于根据各摄像头的位置关系，确定并根据该多视角视频采集单元101采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像。也就是说，图像编辑单元102对多视角视频采集单元101的多路视频信号实时进行编辑处理，形成全视角的目标图像，该图像的大小可以是1920*1080或者3840*2160，在本发明具体实施例中，不同数量的摄像头，对应了不同数量的视频采集点，也对应了不同的编辑处理方法，本发明所采用的图像编辑方法可采用现有技术中主流的图像拼接和融合的编辑方法，本发明不以此为限。

视频编码单元103，用于对编辑处理后的全视角的视频图像进行实时高压缩编码。也就是说，视频编码单元103会对拼接好的高清或者超高清的图像进行编码，本发明支持H.264等编码方式，但不以此为限，也可以采用现有的其他编码方式。

音频采集单元104，用于采用多个音频采集设备采集会场中的音频信号，在本发明具体实施例中，音频采集单元104采用全向或者多个麦克风进行声音录制。

音频编辑处理单元105，用于对音频采集单元104所采集到的音频信号进行编辑处理，形成多声道音频数据。在本发明具体实施例中，音频采集单元104采用全向或者多个麦克风进行声音录制，音频编辑处理单元105可以将其编辑处理组成2声道，或者组成5.1声道音频数据。

音频编码单元106，用于对音频编辑处理单元105处理后的音频信号分别进行多声道编码，也就是说，音频编码单元106对音频编辑处理单元105中的多声道音频进行编码，在本发明具体实施例中，支持AC3等编码方式，但本发明不以此为限。

复用单元107，用于将视频编码单元103和音频编码单元106编码后的音视频数据进行复用，得到适合于直播或者存储的传输流。

输出模块108，用于将复用单元107复用好的传输流，进行网络直播或者予以存储。

以下将通过具体实施例来详细说明全视角视频会议直播系统的各模块：

1、多视角视频采集单元101

在本发明具体实施例中，多视角视频采集单元101采用3～14个摄像头，然后由图像编辑单元102通过视频拼接的方式实现全视角视频。根据摄像头的分辨率为标清或者高清，全视角视频分辨率为高清(1920*1080)或者超高清(3840*2160)。多视角视频采集单元101采用的摄像头的具体组合分别如下所述：

(1)3个摄像头

3个摄像头的设置如图2所示，图像的上半部分，对应着会场的半圈的视角，也就是180度的视角，下半部分用两个摄像头拼接组成会场的另外的180度的视角，这样就在一幅完整图像中展现了会场的全视角的场景。三个摄像头的角度均可调，将采集最重要视频的摄像头定义为①号摄像头，另外两个摄像头分别定义按照左右位置定义为②③。

(2)4个摄像头

4个摄像头的设置如图3所示，图像的上半和下半部分，分别对应着会场的半圈的视角，也就是180度的视角，它们都是用两个摄像头拼接组成的图像，这样就在一幅完整图像中展现了会场的全视角的场景。四个摄像头的角度均可调，将其中任意相邻的两个摄像头定义为①②，其他的两个定义为③④，其中一个①号和②号摄像头为一组，另外两个摄像头为一组。

(3)6个摄像头

在一个实施例中，6个摄像头的设置如图4所示，图像的上半和下半部分，分别对应着会场的半圈的视角，也就是180度的视角，它们都是用三个摄像头拼接组成的图像，这样就在一幅完整图像中展现了会场的全视角的场景。六个摄像头的角度均可调，将其中任意相邻的三个摄像头定义为①②③，其他的三个定义为④⑤⑥，其中一个①号②③号摄像头为一组，另外三个摄像头为一组。

在另一个实施例中，6个摄像头的设置如图5所示，图像的上半部分由两个图像组成，其中一个是会议内容的文档的显示，一个是会议中讲话的人的图像，分别定义为⑤⑥。下半部分由4幅图像拼成了会场中的360度的全视角场景，这四个摄像头分别定义为①②③④。六个摄像头的角度均可调，其中①②③④号摄像头为一组，图像拼成360度的会场画面，另外摄像头⑤⑥号为一组，对应了会议内容的文档图像和讲话人的图像。

(4)9个摄像头

9个摄像头的设置如图6所示，图像由9幅图像拼接而成，其中中间的一幅图像是会议内容的文档的显示，而周围一圈8幅图像拼成了会场中的360度的全视角场景。九个摄像头的角度均可调，其中一个1号摄像头为一组，另外八个摄像头为一组，摄像头的编号和位置根据用户的需求进行摆放和设置。

(5)12个摄像头

12个摄像头的设置如图7所示，图像的12幅图像拼接而成，第一排由4幅图像拼接成会场180度的场景图像，第三排由4幅图像拼接成会场另外180度的场景图像，中间4幅图像可以是用户需要重点显示和记录的会议视频，如会议相关的ppt，讲话人的视频等。十二个摄像头的角度均可调，其中一个1号、2号、3号和4号摄像头为一组，另外八个摄像头为一组，摄像头的编号和位置根据用户的需求进行摆放和设置。

(6)14个摄像头

14个摄像头的设置如图8所示，图像由14幅图像拼接而成，其中中间1，2两幅图像是用户需要重点显示和记录的视频内容，如会议相关的ppt，讲话人的视频等，周围的12幅图像拼成了会场的360度的全视角场景图。十四个摄像头的角度均可调，其中一个1号和2号摄像头为一组，另外十二个摄像头为一组，摄像头的编号和位置根据用户的需求进行摆放和设置。

2、图像编辑单元

如图9所示，图像编辑单元的功能是根据多视角视频采集单元采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像。图像的大小可以是1920*1080或者3840*2160，不同数量的摄像头，对应了不同数量的视频采集点，也对应了不同的编辑处理方法。

3、音频编辑单元

本发明采用全向或者多个麦克风的音频采集单元进行声音录制，这样可以组成2声道，或者组成5.1声道音频数据。

5.1声道是指前置左、右声道，中央声道，后置左、右环绕声道，及重低音声道。该系统总共可连接6个麦克风。用户可以根据麦克风的摆放位置和会场的实际情况，将最重要的麦克风获取的音频数据通过现场设置到5.1声道中的前置左、右声道，中央声道位置，将其他次重要的声音源设置到5.1声道中的后置左、右环绕声道，及重低音声道位置。这样得到的音频数据，在播放时让人感觉置身于整个场景的正中央，能够真正的感受会场气氛，同时保证了重要声音源的保真度。

若用户选择2个麦克风的系统，捕获的音频数据则组成左右两声道的立体声音频。

4、视音频编码单元

视频编码单元的功能是对拼接好的高清或者超高清的图像进行编码，支持H.264等编码方式，音频编码模块的功能是对音频编辑单元的多声道音频进行编码，支持AC3等编码方式。编码软件的主要指标如表1所示：

表1编码软件指标

5、复用单元

该模块的功能是将视音频编码单元中编码得到的视频ES流和音频ES流进行复用，得到适合于直播或者存储的传输流。

6、输出单元

输出单元的功能是将复用单元中复用好的传输流，进行网络直播或者存储。

图10为本发明一种全视角视频会议直播方法的步骤流程图，如图10所示，本发明一种全视角视频会议直播方法，包括如下步骤：

步骤S1，采用多个摄像头从多视角采集会场的视频图像。在本发明具体实施例中，可根据会场的实际情况，于会场中布置不同数量的摄像头，较佳地，摄像头的数量可为3～14个。

步骤S2，根据各摄像头的位置关系，利用图像编辑单元确定并根据采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像。也就是说，对采集的多路视频信号实时进行编辑处理，形成全视角的目标图像，该图像的大小可以是1920*1080或者3840*2160，在本发明具体实施例中，不同数量的摄像头，对应了不同数量的视频采集点，也对应了不同的编辑处理方法，本发明所采用的图像编辑方法可采用现有技术中主流的图像拼接和融合的编辑方法，本发明不以此为限。

步骤S3，对编辑处理后的全视角的视频图像进行实时高压缩编码。也就是说，于步骤S3中，对拼接好的高清或者超高清的图像进行编码，本发明支持H.264等编码方式，但不以此为限，也可以采用现有的其他编码方式。

步骤S4，采用多个音频采集设备采集会场中的音频信号并对其编辑处理，形成多声道音频数据，在本发明具体实施例中，采用全向或者多个麦克风进行声音录制，并将其编辑处理组成2声道，或者组成5.1声道音频数据。

步骤S5，对多声道音频信号分别进行多声道编码，在本发明具体实施例中，支持AC3等编码方式，但本发明不以此为限。

步骤S6，将编码后的音视频数据进行复用，得到适合于直播或者存储的传输流。

步骤S7，将复用好的传输流，进行网络直播或者予以存储。

综上所述，本发明一种全视角视频会议直播系统及方法通过根据会场的实际情况布置不同数量的摄像头，并进行音视频的采集、编辑、编码、存储和网上直播，本发明使得编辑后的视频图像能够展现会议现场的360度的实景图像，使得远程参与会议或者观看直播的人员更能全面的了解会议内容，能够更直观的感受会议的氛围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种全视角视频会议直播系统，包括：

多视角视频采集单元，用于采用多个摄像头从多视角采集会场的视频图像；

图像编辑单元，用于根据各摄像头的位置关系，确定并根据该多视角视频采集单元采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像；

视频编码单元，用于对编辑处理后的全视角的视频图像进行实时高压缩编码；

音频采集单元，用于采用多个音频采集设备采集会场中的音频信号；

音频编辑处理单元，用于对所述音频采集单元所采集到的音频信号进行编辑处理，形成多声道音频数据；

音频编码单元，用于对所述音频编辑处理单元处理后的音频信号分别进行多声道编码；

复用单元，用于将所述视频编码单元和音频编码单元编码后的音视频数据进行复用，得到适合于直播或者存储的传输流；

输出模块，用于将所述复用单元复用好的传输流，进行网络直播或者予以存储。

2.如权利要求1所述的一种全视角视频会议直播系统，其特征在于：所述多视角视频采集单元根据会场的实际情况，于会场中布置3～14个摄像头。

3.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于3个摄像头采集的视频图像，所述图像编辑单元对一个摄像头采集的视频图像编辑后作为编辑后的图像的上半部分，对应会场180度的视角，编辑后的图像的下半部分用另两个摄像头采集的视频图像拼接组成，对应会场另外180度的视角。

4.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于4个摄像头采集的视频图像，所述图像编辑单元对每两个摄像头采集的视频图像分别进行拼接后组成编辑后视频图像的上下部分，分别对应会场的180度视角。

5.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于6个摄像头采集的视频图像，所述图像编辑单元对每三个摄像头采集的视频图像分别进行拼接后组成编辑后视频图像的上下部分，分别对应会场的180度视角。

6.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于6个摄像头采集的视频图像，所述图像编辑单元对其中两个摄像头采集的视频图像进行编辑作为编辑后的视频图像的上半部分，该两个摄像头采集的视频图像分别为会议内容的文档以及会议中讲话的人的图像，所述图像编辑单元对另外四个摄像头采集的视频图像拼接组成编辑后视频图像的下半部分，对应会场中的360度的全视角场景。

7.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于9个摄像头采集的视频图像，所述图像编辑单元对其中一个摄像头采集的视频图像进行编辑作为编辑后视频图像的中间图像，对另外8个摄像头采集的视频图像编辑成编辑后视频图像的周围图像，拼成会场中的360度的全视角场景。

8.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于12个摄像头采集的视频图像，所述图像编辑单元对其中四个摄像头采集的视频像拼接成会场180度的场景图像作为编辑后的视频图像的第一排，对另四个摄像头采集的视频图像拼接成会场另外180度的场景图像作为编辑后的视频图像的第三排，对其他四个摄像头采集的视频图像拼接成编辑后的视频图像的中间4副图像。

9.如权利要求2所述的一种全视角视频会议直播系统，其特征在于：对于14个摄像头采集的视频图像，所述图像编辑单元对其中两个摄像头采集的视频图像拼接作为编辑后的视频图像的中间两幅图像，对其他12个摄像头采集的图像拼接成编辑后的视频图像的周围12幅图像，形成会场的360度的全视角场景图。

10.一种全视角视频会议直播方法，包括如下步骤：

步骤S1，采用多个摄像头从多视角采集会场的视频图像；

步骤S2，根据各摄像头的位置关系，利用图像编辑单元确定并根据采集的每幅图像的位置关系，对左右相连的图像，根据图像边缘特征，进行图像拼接和融合，形成全视角的视频图像；

步骤S3，对编辑处理后的全视角的视频图像进行实时高压缩编码；

步骤S4，采用多个音频采集设备采集会场中的音频信号并对其编辑处理，形成多声道音频数据；

步骤S5，对多声道音频信号分别进行多声道编码；

步骤S6，将编码后的音视频数据进行复用，得到适合于直播或者存储的传输流；

步骤S7，将复用好的传输流，进行网络直播或者予以存储。