CN105141884A - 混合会议中广播音视频码流的控制方法、装置及系统 - Google Patents

Abstract

本发明公开了一种混合会议中广播音视频码流的控制方法、装置及系统，其中该方法包括以下步骤：根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终端。本发明能够实现在不会额外增加单流终端占用带宽的情况下在混合会议中广播音视频码流。

Description

混合会议中广播音视频码流的控制方法、装置及系统

技术领域

本发明涉及多媒体通信技术领域，具体地说涉及一种混合会议中广播音视频码流的控制方法、装置及系统。

背景技术

目前的视频会议终端分为单流终端和多流终端，单流终端是只具有接收和发送单路音视频码流能力的终端，多流终端是具有接收和发送多路音视频码流能力的终端。

在多流终端和单流终端的混合会议中，特别是目前的网真视频会议中，需要多流终端发送或接收多路音视频码流以实现重现会议室一比一大小的全景画面，如图1所示，多流终端发送和接收多路音视频码流给会议控制服务器，单流终端发送单路音视频码流给会议控制服务器，为了保证单流终端也能接收到多流终端的全部图像，目前大多数方法是通过扩充单流终端的接收能力，例如单流终端接收多路音视频码流，让单流终端定制播放的画面，该方法会使单流终端产生额外的带宽要求，对网络带宽的要求过高，对单流终端的解码能力也有非常高的要求。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中通过扩充单流终端的接收能力来实现单流终端能够接收多流终端的全部图像会带来对带宽要求过高的问题，从而提出一种不会额外增加单流终端占用带宽的混合会议中广播音视频码流的控制方法、装置及系统。

本发明的一种混合会议中广播音视频码流的控制方法，包括以下步骤：

根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

对所述多路音视频码流进行解码；

将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

将所述单路音视频码流发送给所述观众终端。

优选地，还包括以下步骤：

当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

将该单路音视频码流发送给所述观众终端。

优选地，根据广播终端或观众终端所支持的媒体流数分别判断是多流终端还是单流终端的步骤包括：

接收所述广播终端或观众终端发送的媒体能力消息；

判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

优选地，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

本发明的一种混合会议中广播音视频码流的控制装置，包括：

第一判断单元，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

第一接收单元，用于当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

解码单元，用于对所述多路音视频码流进行解码；

编码单元，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

第一发送单元，用于将所述单路音视频码流发送给所述观众终端。

优选地，还包括：

第二接收单元，用于当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

第二发送单元，用于将该单路音视频码流发送给所述观众终端。

优选地，所述第一判断单元包括：

第三接收单元，用于接收所述广播终端或观众终端发送的媒体能力消息；

第二判断单元，用于判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

第一终端类型获得单元，用于当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

第二终端类型获得单元，用于当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

优选地，所述编码单元包括：

发言坐席确定单元，用于对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

单路音频码流获得单元，用于对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

单路视频码流获得单元，用于将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

本发明的一种混合会议中广播音视频码流的控制系统，包括会议控制服务器、广播终端和观众终端；

所述会议控制服务器，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终端。

所述广播终端，用于向所述会议控制服务器发送音视频码流；

所述观众终端，用于接收所述会议控制服务器发送的音视频码流。

优选地，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

本发明的上述技术方案相比现有技术具有以下优点：

本发明中，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。

本发明中，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。

本发明中，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路的合成语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是现有技术中单流终端与多流终端之间音视频码流的收发过程图；

图2是本发明实施例1中单流终端与多流终端之间音视频码流的收发过程图；

图3是本发明实施例1中混合会议中广播音视频码流的控制方法的一个具体示例的流程图；

图4是本发明实施例1中混合会议中广播音视频码流的控制方法的一个具体示例的流程图；

图5是本发明实施例2中混合会议中广播音视频码流的控制装置的一个具体示例的结构框图；

图6是本发明实施例3中混合会议中广播音视频码流的控制系统的一个具体示例的结构框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

如图2所示，与会议控制服务器建立会议的包括多个多流终端和多个单流终端，构成一种混合会议的形式。其中音视频码流的收发过程可以分为如下两类：

1)一个多流终端作为广播终端、其他多流终端和单流终端均作为观众终端进行的音视频码流的收发过程，如图2中实线箭头所示，一个多流终端将多路音视频码流发送给会议控制服务器，会议控制服务器将多路音视频码流发送给其他多流终端，同时还将该多路音视频码流转化成单路音视频码流，并将其发送给单流终端；

2)一个单流终端作为广播终端、其他单流终端和多流终端均作为观众终端进行的音视频码流的收发过程，如图2中虚线箭头所示，一个单流终端将单路音视频码流发送给会议控制服务器，会议控制服务器将该单路音视频码流发送给其他单流终端和多流终端。

为了能在单流终端与多流终端之间对音视频码流的收发进行控制，本实施例提供一种混合会议中广播音视频码流的控制方法，如图3所示，该方法例如应用于图2中的会议控制服务器，包括以下步骤：

步骤S1、根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端。当广播终端为多流终端且观众终端为单流终端时，进入步骤S2至S5；当广播终端为多流终端且观众终端为多流终端时，进入步骤S6；当广播终端为单流终端且观众终端为单流终端或多流终端时，进入步骤S7。

步骤S2、接收广播终端发送的多路音视频码流。

步骤S3、对多路音视频码流进行解码。可以采用任意现有的音视频码流解码方法来对多路音视频码流进行解码。

步骤S4、将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流。

步骤S5、将单路音视频码流发送给观众终端。

步骤S6、接收广播终端发送的多路音视频码流，并直接将接收到的多路音视频码流转发给观众终端。

步骤S7、接收广播终端发送的单路音视频码流，并直接将接收到的单路音视频码流转发给观众终端。

本实施例，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。

作为一种优选实施方式，如图4所示，上述步骤S1中判断广播终端是多流终端还是单流终端的步骤包括：

步骤S11、接收广播终端发送的媒体能力消息。

步骤S12、判断媒体能力消息中包含的音频(audio)标签或视频(video)标签是多路还是单路。

步骤S13、当包含的音频(audio)标签或视频(video)标签是多路时，判断广播终端为多流终端。

步骤S14、当包含的是音频(audio)标签或视频(video)标签是单路时，判断广播终端为单流终端。

上述步骤S1中判断观众终端是多流终端还是单流终端的步骤与上述判断广播终端的步骤相同。本领域的技术人员应当理解，判断广播终端或观众终端是多流终端还是单流终端的方式并不限于上述步骤S11-S14来实现，也可以采用能够区分是多流终端还是单流终端的其他方法来实现。

本实施例，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。

作为一种优选实施方式，上述步骤S4中将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

步骤S41、对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据。

步骤S42、对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流。即实现了将多路音频码流进行语音合成为一路语音，形成单路音频码流。

步骤S43、将发言座席一路的视频数据缩放后填充到大画面中，将解码后视频数据中的其他视频数据填充到小画面中，以形成一大多小的画面风格，并以填充后的画面风格编码成为单路视频码流。通过，将发言座席一路的视频数据缩放后填充到大画面中，同时将解码后视频数据中的的其他视频数据填充到小画面中，从而可以突出发言坐席一路的视频数据。在本实施例中，该缩放的过程例如是当发言坐席一路的视频码流所对应的图像与大画面相比较小时，需要对图像进行放大处理，即发言坐席一路的视频码流解码后的视频数据扩充(放大)后填充到大画面中；当发言坐席一路的视频码流所对应的图像与大画面相比较大时，需要对图像进行缩小处理，即发言坐席一路的视频码流解码后的视频数据缩减后填充到大画面中，该数据扩充或缩减的方式可以采用一些常规的处理方式。即实现了将多路视频码流进行画面合成为一路画面，形成单路视频码流。

本领域的技术人员应当理解，将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的方式并不限于上述步骤S41-S43来实现，也可以采用能够实现多路音视频码流转换成单路音视频码流的其他方法来实现。

本实施例，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路的语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。

实施例2

对应于实施例1，本实施例提供一种混合会议中广播音视频码流的控制装置，如图5所示，该装置例如应用于图2中的会议控制服务器，包括：

第一判断单元1，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端。

第一接收单元2，用于当广播终端为多流终端且观众终端为单流终端时，接收广播终端发送的多路音视频码流。

解码单元3，用于对多路音视频码流进行解码。

编码单元4，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流。

第一发送单元5，用于将单路音视频码流发送给观众终端。

第一收发单元6，用于当广播终端为多流终端且观众终端为多流终端时，接收广播终端发送的多路音视频码流，并直接将接收到的多路音视频码流转发给观众终端。

第二收发单元7，用于当广播终端为单流终端且观众终端为单流终端或多流终端时，接收广播终端发送的单路音视频码流，并直接将接收到的单路音视频码流转发给观众终端。

本实施例，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。

作为一种优选实施方式，上述第一判断单元1包括：

第三接收单元，用于接收广播终端或观众终端发送的媒体能力消息。

第二判断单元，用于判断媒体能力消息中包含的音频(audio)标签或视频(video)标签是多路还是单路。

第一终端类型获得单元，用于当包含的音频(audio)标签或视频(video)标签是多路时，判断广播终端或观众终端为多流终端。

第二终端类型获得单元，用于当包含的音频(audio)标签或视频(video)标签是单路时，判断广播终端或观众终端为单流终端。

本领域的技术人员应当理解，第一判断单元1中判断广播终端或观众终端是多流终端还是单流终端的方式并不限于上述各个单元来实现，也可以采用能够实现是多流终端还是单流终端判断的其他单元来实现。

本实施例，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。

作为一种优选实施方式，上述编码单元4包括：

发言坐席确定单元，用于对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

单路音频码流获得单元，用于对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

单路视频码流获得单元，用于为突出发言坐席一路的视频数据，将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

本领域的技术人员应当理解，编码单元4中将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的方式并不限于上述各个单元来实现，也可以采用能够实现多路音视频码流转换成单路音视频码流的其他单元来实现。

本实施例，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路的语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。

实施例3

本实施例提供一种混合会议中广播音视频码流的控制系统，如图6所示，包括会议控制服务器10、广播终端20和观众终端30。该系统中广播终端20和观众终端30均可为多个。

会议控制服务器10用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当广播终端为多流终端且观众终端为单流终端时，接收广播终端发送的多路音视频码流；对多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将单路音视频码流发送给所述观众终端；

当广播终端为多流终端且观众终端为多流终端时，接收广播终端发送的多路音视频码流，并直接将接收到的多路音视频码流转发给观众终端；

当广播终端为单流终端且观众终端为单流终端或多流终端时，接收广播终端发送的单路音视频码流，并直接将接收到的单路音视频码流转发给观众终端。

广播终端20用于向会议控制服务器发送音视频码流，当广播终端20为多流终端时向会议控制服务器发送多路音视频码流；当为单流终端时向会议控制服务器发送单路音视频码流。

观众终端30用于接收会议控制服务器发送的音视频码流，当观众终端30为多流终端时接收会议控制服务器发送的多路音视频码流；当为单流终端时接收会议控制服务器发送的单路音视频码流。

本实施例，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。

作为一种优选实施方式，上述判断广播终端是多流终端还是单流终端的步骤包括：

接收广播终端发送的媒体能力消息。

判断媒体能力消息中包含的音频(audio)标签或视频(video)标签是多路还是单路。

当包含的音频(audio)标签或视频(video)标签是多路时，判断广播终端为多流终端。

当包含的音频(audio)标签或视频(video)标签是单路时，判断广播终端为单流终端。

判断观众终端是多流终端还是单流终端的步骤与上述判断广播终端的步骤相同。本领域的技术人员应当理解，判断广播终端或观众终端是多流终端还是单流终端的方式并不限于上述步骤来实现，也可以采用能够区分是多流终端还是单流终端的其他方法来实现。

本实施例，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。

作为一种优选实施方式，上述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据。

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流。即实现了将多路音频码流进行语音合成为一路语音，形成单路音频码流。

为突出发言坐席一路的视频数据，将发言座席一路的视频数据缩放后填充到大画面中，将解码后视频数据中的的其他视频数据填充到小画面中，以形成一大多小的画面风格，并以填充后的画面风格编码成为单路视频码流。

本领域的技术人员应当理解，将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的方式并不限于上述步骤来实现，也可以采用能够实现多路音视频码流转换成单路音视频码流的其他方法来实现。

本实施例，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种混合会议中广播音视频码流的控制方法，其特征在于，包括以下步骤：

根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

对所述多路音视频码流进行解码；

将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

将所述单路音视频码流发送给所述观众终端。

2.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤：

当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

将该单路音视频码流发送给所述观众终端。

3.根据权利要求1或2所述的控制方法，其特征在于，根据广播终端或观众终端所支持的媒体流数分别判断是多流终端还是单流终端的步骤包括：

接收所述广播终端或观众终端发送的媒体能力消息；

判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

4.根据权利要求1-3任一项所述的控制方法，其特征在于，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

5.一种混合会议中广播音视频码流的控制装置，其特征在于，包括：

第一判断单元，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

第一接收单元，用于当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

解码单元，用于对所述多路音视频码流进行解码；

编码单元，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

第一发送单元，用于将所述单路音视频码流发送给所述观众终端。

6.根据权利要求5所述的控制装置，其特征在于，还包括：

第二接收单元，用于当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

第二发送单元，用于将该单路音视频码流发送给所述观众终端。

7.根据权利要求5或6所述的控制装置，其特征在于，所述第一判断单元包括：

第三接收单元，用于接收所述广播终端或观众终端发送的媒体能力消息；

第二判断单元，用于判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

第一终端类型获得单元，用于当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

第二终端类型获得单元，用于当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

8.根据权利要求5-7任一项所述的控制装置，其特征在于，所述编码单元包括：

发言坐席确定单元，用于对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

单路音频码流获得单元，用于对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

单路视频码流获得单元，用于将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

9.一种混合会议中广播音视频码流的控制系统，其特征在于，包括会议控制服务器、广播终端和观众终端；

所述会议控制服务器，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终端；

所述广播终端，用于向所述会议控制服务器发送音视频码流；

所述观众终端，用于接收所述会议控制服务器发送的音视频码流。

10.根据权利要求9所述的控制系统，其特征在于，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。