CN102215375A - 多媒体会议中多画面的子画面的视频源的选择方法及装置 - Google Patents

Abstract

本发明公开了一种多媒体会议中多画面的子画面的视频源的选择方法及装置，该方法包括：多点控制单元检测多画面的每个子画面的视频源的状态是否异常；多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。本发明解决了相关技术中由于终端视频输入故障或无视频输入而影响会议电视的会议质量的问题，达到了多画面的子画面都能够正常显示图像的效果。

Description

多媒体会议中多画面的子画面的视频源的选择方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种多媒体会议中多画面的子画面的视频源的选择方法及装置。

背景技术

在现有的会议电视系统中，用户可以通过多画面看到会议中其他在线用户的图像，使得会议电视能够更清晰地展示多个与会用户的形象，同时，使得沟通更能够亲切。

但是，在视频会议的过程中，视频的多画面的视频源在确定之后不再发生变化，如果终端视频输入故障或无视频输入，就会导致多画面的子画面存在无图像的现象，从而影响了会议电视的会议质量，同时，也影响了用户视觉体验。

发明内容

本发明的主要目的在于提供一种多媒体会议中多画面的子画面的视频源的选择方案，以解决相关技术中由于终端视频输入故障或无视频输入而影响会议电视的会议质量的问题。

根据本发明的一个方面，提供了一种多媒体会议中多画面的子画面的视频源的选择方法，包括：多点控制单元检测多画面的每个子画面的视频源的状态是否异常；多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

优选地，在多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源之前，上述方法还包括：多点控制单元确定状态为正常的视频源不是多画面的任何一个子画面的视频源。

优选地，多点控制单元检测多画面的每个子画面的视频源的状态是否异常包括：多点控制单元以预定时间间隔检测多画面的每个子画面的视频源的状态是否异常。

优选地，上述方法还包括：多点控制单元记录并实时更新多媒体会议的所有视频源的状态。

优选地，多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源包括：多点控制单元根据记录的所有视频源的状态，选择状态为正常的视频源；多点控制单元使用状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

优选地，上述方法还包括：多点控制单元记录并实时更新多画面的每个子画面的状态，其中，每个子画面的状态包括以下至少之一：空闲、占用异常和占用正常。

根据本发明的另一方面，提供了一种多媒体会议中多画面的子画面的视频源的选择装置，包括：检测模块，用于检测多画面的每个子画面的视频源的状态是否异常；选择模块，用于选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

优选地，上述装置还包括：确定模块，用于在选择模块选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源之前，确定状态为正常的视频源不是多画面的任何一个子画面的视频源。

优选地，上述装置还包括：记录及更新模块，用于记录并实时更新多媒体会议的所有视频源的状态。

优选地，选择模块包括：选择子模块，用于根据记录的所有视频源的状态，选择状态为正常的视频源；替换子模块，用于使用状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

通过本发明，采用检测多画面的每个子画面的视频源的状态是否异常，使用状态为正常的视频源替换状态为异常的视频源显示的方式，解决了相关技术中由于终端视频输入故障或无视频输入而影响会议电视的会议质量的问题，进而达到了多画面的子画面都能够正常显示图像的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的多媒体会议中多画面的子画面的视频源的选择方法的流程图；

图2是根据本发明实施例的多点控制单元的结构框图；

图3是根据本发明实施例的多画面会议初始化的示意图；

图4是根据本发明实施例的多画面会议上端的流程示意图；

图5是根据本发明实施例的多画面会议子画面视频源改变的流程示意图；

图6是根据本发明实施例的多媒体会议中多画面的子画面的视频源的选择装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本发明实施例提供了一种多画面中子画面视频源选择方法，该方法根据会议中接入的各个视频源的视频状态进行合理的选择子画面的视频源，从而提高了系统的正确性和用户体验。

图1是根据本发明实施例的多媒体会议中多画面的子画面的视频源的选择方法的流程图，如图1所示，该方法包括：

步骤S102，多点控制单元检测多画面的每个子画面的视频源的状态是否异常；

步骤S104，多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

该实施例中，多点控制单元检测多画面的每个子画面的视频源的状态是否异常，并使用正常的视频源替换状态为异常的视频源显示在子画面中，从而使得多画面的子画面都能够正常显示图像，提高了电话会议的质量，同时也提高了用户体验。

其中，在步骤S104之前，多点控制单元还可以先确定上述状态为正常的视频源不是多画面的任何一个子画面的视频源。该实施例确保了每个子画面显示出不同的图像。

在本发明实施例的一个优选实现方式中，步骤S102可以通过以下方式实现：多点控制单元以预定时间间隔检测多画面的每个子画面的视频源的状态是否异常。该实施例预先设置检测视频源的时间间隔，具有实现简单的优点。

优选地，上述方法还可以包括：多点控制单元记录并实时更新多媒体会议的所有视频源的状态。通过该实施例，可以方便地获知各视频源的状态。

步骤S104可以有多种实现方式，下面仅对其中一种进行描述：多点控制单元根据记录的所有视频源的状态，选择状态为正常的视频源；然后，使用该状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

优选地，多点控制单元还可以记录并实时更新多画面的每个子画面的状态，其中，每个子画面的状态包括以下至少之一：空闲、占用异常和占用正常。通过该实施例，可以方便获知各子画面的状态。其中，空闲表示子画面未被使用，占用异常表示子画面的视频源的状态为异常，占用正常表示子画面的视频源的状态为正常。

实施例二

本实施例的目的在于提出一种灵活可行的多画面子画面视频源选择方法，该方法能够根据会议中的各个终端的接入视频源状态合理地进行子画面视频源的选择，有效地解决了多画面会议时由于视频输入源的问题引起的子画面无图像的问题，提高用户的视频体验以及会议质量。本实施例所述的方法涉及多媒体会议电视技术领域，该方法是一种多点控制单元系统中多画面的子画面视频源选择的方法。

下面结合附图对本实施例的实现过程进行具体说明。

图2是根据本发明实施例的多点控制单元的结构框图，其中虚线表示媒体流，实现表示控制流。如图2所示，该多点控制单元包括：

接入单元：在终端上会后，视频媒体到达接入单元，由接入单元输入到系统内部；

检测单元：该检测单元可以位于接入单元中，用于对发送到接入单元的视频源进行检测，判断视频源是否存在质量问题；

切换单元：切换单元用于根据控制单元的命令，选择指定的视频源到指定的子画面，从而实现接入媒体源到子画面的输入；

多画面生产单元：多画面生产单元用于将指定的多路视频输入源的图像生成一个多画面视频，以及将生成的多画面视频输出给用户，其中，每个子画面对应一路视频源输入；

控制单元：控制单元是系统的决策中心，用于根据检测单元上报的视频源的状态和当前多画面状态，进行合理的子画面视频源输入选择，并向切换单元发送切换命令，从而控制指定的视频源到指定的多画面的子画面；

视频源状态表：视频源状态表可以位于控制单元中，用于保存会议中所有视频源的状态，以便控制单元在进行决策时查询视频源的状态；其中，视频源的状态包括：正常和异常。

多画面子画面状态表：多画面子画面状态表可以位于控制单元中，用于保存多画面子画面的状态；其中，多画面子画面的状态包括：空闲、占用异常和占用正常。

本实施例采用图2所示的多点控制单元进行多画面的子画面的视频源的选择，下面对该选择过程进行详细说明。

图3是根据本发明实施例的多画面会议初始化的示意图，其中各单元之间的线条表示控制流。如图3所示，在多画面会议初始化阶段中，控制单元对各部件进行初始化操作，其中，初始化操作包括：控制单元初始化视频源状态列表为空，初始化多画面生成单元的多画面个数，初始化各子画面的状态为空闲；控制单元初始化接入单元的视频输入源为空；控制单元清空视频切换单元中的切换关系；控制单元根据多画面子画面列表配置多画面生产单元的多画面个数和子画面状态。

图4是根据本发明实施例的多画面会议上端的流程示意图，如图4所示，该流程包括：

步骤S402，在多画面会议上端阶段中，在终端上端后，接入单元增加一路视频接入，终端视频媒体引入接入单元。

步骤S404，检测单元增加一路视频检测，初始设置该视频状态为正常，同时将该设置的状态和视频的标识上报给控制单元，同时，检测单元启动对该路视频媒体的检测。

步骤S406，控制单元在接收到视频状态上报消息之后，将视频状态写入视频源状态列表。

步骤S408，控制单元查看多画面子画面状态列表中是否有空闲子画面；如果有，则执行步骤S410，否则，执行步骤S412。

步骤S410，若有空闲子画面，则控制单元选择一个空闲的子画面，将该路视频源指定给该空闲的子画面显示，并且，控制单元命令切换单元将接入单元的视频媒体发送给多画面生产单元，命令多画面生产单元在相应的子画面生产图像，多画面生产单元根据控制单元的命令增加该路视频的合成，并将新生产的视频发送给终端。

步骤S412，若无空闲子画面，则表明系统中所以子画面已分配完，此时控制单元扫描多画面子画面状态列表，查看所有子画面对应的视频源状态是否正常，如果存在异常子画面，则执行步骤S414，否则，多画面会议上端的流程结束。

步骤S414，若存在子画面对应的视频源状态不正常，则控制单元选择一个异常的子画面，命令切换单元将新接入的视频源切换给该子画面，替代原来的异常视频源，然后，多画面生产单元生产新的输出视频。

图5是根据本发明实施例的多画面会议子画面视频源改变的流程示意图，如图5所示，该流程包括：

步骤S502，在多画面会议阶段中，检测模块检测视频源状态，其中，检测模块的检测时间间隔可以设定一个合理的值，这个值的设定需要考虑到减小检测开销和检测的正确性。

步骤S504，在多画面会议阶段中，检测模块检测接入的各路视频状态是否有变化，如果有变化，则执行步骤S506，否则，流程结束。

步骤S506，将视频状态变化上报给控制单元。

步骤S508，控制单元接收到检测模块上报的视频源变化消息，将该消息保存到视频源状态列表中。

步骤S510，控制单元查看该视频源是否有对应的子画面存在，如果没有，则不进行处理，流程结束；如果有，则执行步骤S512。

步骤S512，判断视频源状态是否正常，如果正常，则不进行处理，流程结束；否则，执行步骤S514。

步骤S514，启动子画面视频源更换流程，控制单元重新选择子画面视频源。

在多画面会议阶段中，启动子画面视频源更换流程时，控制单元查找视频源状态列表中是否有正常的视频源，并且确定此视频源没有作为多画面子画面的输入视频源，若无正常的视频源，则不进行处理；若有正常的视频源，则从中选择一路的视频源，然后，控制单元命令切换单元将选出的视频切换到对应的异常子画面，替代原来的异常视频，多画面生产单元再使用该新的视频源生产子画面图像。另外，控制单元还需要更新多画面子画面信息列表，将子画面对应的视频源替换为新的视频源。

实施例三

本实施例是对实施例一的进一步优化，下面对该实施例的实现过程进行说明。

假设会议的多画面数为P，会议的终端个数为T，其中，T大于P。在初始阶段中，没有终端接入，检测单元检测的视频个数、控制单元的视频源状态列表以及子画面状态列表均为空。

T个终端依次上端，当第Tt个终端上端时(Tt小于P)，第Tt个终端的视频源St输入到接入单元，此时，检测单元上报新的接入视频源St的状态为正常；当上报的消息到达控制单元时，控制单元在视频源状态列表中新增一个条目Lt，并在子画面状态列表中选择一个空闲的子画面Pt，然后，控制单元命令切换单元将视频源St切换到多画面的子画面Pt中，切换单元在接收到该命令后，将视频源St的媒体发送到多画面生成单元上，多画面生产单元在子画面Pt上显示St的图像。

T个终端继续依次上端，当第Tq个终端上端时(Tq大于P)，第Tq个终端的视频源Sq输入到接入单元，此时，检测单元上报新的接入视频源Sq的状态为正常；当上报的消息消息到达控制单元时，控制单元在视频源状态列表中新增一个条目Lq；此时，所有子画面均有相应的视频源，控制单元通过视频源状态列表检测各个子画面对应的视频源的状态，如果子画面Pr的视频源Sr异常，则需要使用新接入的视频源Sq取代Sr，此时，控制单元命令切换单元将视频源Sq切换到多画面的子画面Pr中，切换单元在接收到命令后将视频源Sq的媒体发送到多画面生成单元上，然后，多画面生产单元在子画面Pr上显示Sq的图像，完成多画面的生产。

所有终端上会完成之后，系统中有T个终端P个子画面，检测单元可以周期性地检测视频源输入的状态。在某个时刻，如果视频源Sm的状态由异常变为正常，则视频检测单元将Sm的状态改变信息上报给控制单元，控制单元在接收到上报的状态改变信息之后，保存Sm的状态到视频源状态列表的条目Lm中。在某个时刻，如果视频源Sm状态由正常变为异常，则检测单元将Sm的状态改变信息上报给控制单元，控制单元在接收到状态改变信息之后，保存Sm的状态到视频源状态列表的条目Lm中；然后，控制单元判断Sm是否为多画面的某一个子画面的视频源，如果不是，则不进行处理；如果Sm是子画面Pm的视频源，则控制单元首先检测视频源状态列表，在其中找到一个状态正常且不为多画面子画面输入的视频源，如果找不到则不进行处理，如果能够找到这样的视频源，则从中选择一个视频源Sn，并使用视频源Sn取代Sm；然后，控制单元命令切换单元将视频源Sn切换到多画面的子画面Pm中以替代Sm，切换单元收到命令后将视频源Sn的媒体发送到多画面生成单元上，最后，多画面生产单元在子画面Pm上显示Sn的图像。

本实施例提供的方法能够在多媒体会议电视系统中满足会议电视终端用户的视频体验，有效地改善会议终端用户在观看多画面的时候由于部分终端故障导致的子画面无图像问题。并且，本实施例提供的方案的逻辑结构清晰简单，易于软件实现。

实施例四

本实施例提供了一种多媒体会议中多画面的子画面的视频源的选择装置，该装置可以是多点控制单元，并且，该装置可以用于实现实施例一至三中的方法。

图6是根据本发明实施例的多媒体会议中多画面的子画面的视频源的选择装置的结构框图，如图6所示，该装置包括：检测模块62，用于检测多画面的每个子画面的视频源的状态是否异常；选择模块64，耦合至检测模块62，用于选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

该实施例通过检测多画面的每个子画面的视频源的状态是否异常，并使用正常的视频源替换状态为异常的视频源显示在子画面中，从而使得多画面的子画面都能够正常显示图像，提高了电话会议的质量，同时也提高了用户体验。

在本发明实施例的一个优选实现方式中，该装置还可以包括：确定模块，耦合至选择模块64，用于在选择模块64选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源之前，确定状态为正常的视频源不是多画面的任何一个子画面的视频源。该实施例确保了每个子画面显示出不同的图像。

在本发明实施例的另一个优选实现方式中，检测模块62还可以用于以预定时间间隔检测多画面的每个子画面的视频源的状态是否异常。该实施例预先设置检测视频源的时间间隔，具有实现简单的优点。

优选地，上述装置还可以包括：记录及更新模块，用于记录并实时更新多媒体会议的所有视频源的状态。

优选地，选择模块64可以包括：选择子模块，用于根据记录的所有视频源的状态，选择状态为正常的视频源；替换子模块，耦合至选择子模块，用于使用状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

优选地，记录及更新模块还可以用于记录并实时更新多画面的每个子画面的状态，其中，每个子画面的状态包括以下至少之一：空闲、占用异常和占用正常。通过该实施例，可以方便获知各子画面的状态。

在另外一个实施例中，还提供了一种多媒体会议中多画面的子画面的视频源的选择软件，该软件用于执行上述实施例及优选实施例中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储机制中存储有上述多媒体会议中多画面的子画面的视频源的选择软件。

综上所述，本发明实施例通过检测多画面的每个子画面的视频源的状态是否异常，以及使用正常的视频源替换状态为异常的视频源显示在子画面中，使得多画面的子画面都能够正常显示图像，提高了电话会议的质量，同时也提高了用户体验。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多媒体会议中多画面的子画面的视频源的选择方法，其特征在于，包括：

多点控制单元检测多画面的每个子画面的视频源的状态是否异常；

所述多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

2.根据权利要求1所述的方法，其特征在于，在所述多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源之前，所述方法还包括：

所述多点控制单元确定所述状态为正常的视频源不是所述多画面的任何一个子画面的视频源。

3.根据权利要求1所述的方法，其特征在于，所述多点控制单元检测多画面的每个子画面的视频源的状态是否异常包括：

所述多点控制单元以预定时间间隔检测所述多画面的每个子画面的视频源的状态是否异常。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述多点控制单元记录并实时更新所述多媒体会议的所有视频源的状态。

5.根据权利要求4所述的方法，其特征在于，所述多点控制单元选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源包括：

所述多点控制单元根据记录的所述所有视频源的状态，选择所述状态为正常的视频源；

所述多点控制单元使用所述状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

所述多点控制单元记录并实时更新所述多画面的每个子画面的状态，其中，所述每个子画面的状态包括以下至少之一：空闲、占用异常和占用正常。

7.一种多媒体会议中多画面的子画面的视频源的选择装置，其特征在于，包括：

检测模块，用于检测多画面的每个子画面的视频源的状态是否异常；

选择模块，用于选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

确定模块，用于在所述选择模块选择状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源之前，确定所述状态为正常的视频源不是所述多画面的任何一个子画面的视频源。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

记录及更新模块，用于记录并实时更新所述多媒体会议的所有视频源的状态。

10.根据权利要求9所述的装置，其特征在于，所述选择模块包括：

选择子模块，用于根据记录的所述所有视频源的状态，选择所述状态为正常的视频源；

替换子模块，用于使用所述状态为正常的视频源作为状态为异常的视频源对应的子画面的视频源。

Images