CN104935861B - 一种多方多媒体通信方法 - Google Patents

Abstract

本申请公开了一种多方多媒体通信的方法，包括：多媒体集中调度系统根据分发权调度策略，将分发权发放给第一参与方；并根据标注权调度策略，将标注权发放给第二参与方；第一参与方将待分发的多媒体内容通过多媒体集中调度系统发送给第二参与方，第二参与方接收用户对多媒体内容进行的标注，并将标注信息发送给多媒体集中调度系统；多媒体集中调度系统根据接收的标注信息，将用户对多媒体内容的标注和所述多媒体内容进行同步复合后传输给多方通信中的参与方。应用本申请，能够提高信息传输的有效性。

Description

一种多方多媒体通信方法

技术领域

本申请涉及多媒体通信技术，特别涉及一种多方多媒体通信的方法。

背景技术

现有互联网以及集群通信系统中的视频多方实时通信中主要有下面几种形式：

1.视频会议：参会各方将本地场景的实时视频上传，在MCU汇集后再分发给各个参会点的视频显示设备进行呈现。

2.有调度的视频集群：通过对发言权的管理（发言权可以是主动申请获取或通过语音激活等方式获取），参与各方中同时只有一人有视频发言权，在其发言期间其他人只能看到该发言人本地上传的视频。

3.视频分发：由某人发起，将视频分发给群组内其他人员观看。

在上述3种多方实时视频通信方式中，1和2的视频使用方式是视频用于传输参会人员的一些图像的信息，视频占用了最大的带宽，但其真正包含的现场信息量少；而3中的视频分发应用只有视频信息被传输，接受者获取的信息基本没有分类和重点，视频发送者和视频接受者之间缺少及时的交互，也事实上限制了有效信息的传递。

可见，目前的视频多方实时通信中，信息传输效率有待提高。

发明内容

本申请提供了一种多方多媒体通信方法，能够提高多方多媒体通信中的信息传输有效性。

为实现上述目的，本申请采用如下的技术方案：

一种多方多媒体通信的方法，包括：

多媒体集中调度系统根据分发权调度策略，将所述多方多媒体通信的分发权发放给所述多方多媒体通信中的第一参与方；并根据标注权调度策略，将标注权发放给所述多方多媒体通信中的第二参与方；

所述第一参与方将待分发的多媒体内容通过所述多媒体集中调度系统发送给所述第二参与方，所述第二参与方接收用户对所述多媒体内容进行的标注，并将标注信息发送给所述多媒体集中调度系统；

所述多媒体集中调度系统根据接收的标注信息，将用户对多媒体内容的标注和所述多媒体内容进行同步复合后传输给多方通信中的参与方。

较佳地，所述分发权调度策略包括：

在分发权未被占用时，所述多媒体集中调度系统将分发权发放给请求分发权的所述第一参与方；和/或，

在分发权被占用时，所述多媒体集中调度系统将请求分发权的各参与方进行排队，在分发权释放后，按照排队顺序依次发放分发权；和/或，

按照请求分发权的各参与方的请求顺序或优先级依次发放优先权；和/或，

若所述第一参与方获取分发权的预设时间内未发送所述多媒体内容给所述多媒体集中调度系统，则所述多媒体集中调度系统释放所述第一参与方的分发权，重新确定获取分发权的参与方。

较佳地，所述标注权调度策略包括：

在标注权未被占用时，所述多媒体集中调度系统将标注权发放给请求标注权的所述第二参与方；和/或，

在标注权被占用时，所述多媒体集中调度系统将请求标注权的各参与方进行排队，在标注权释放后，按照排队顺序依次发放标注权；和/或，

按照请求标注权的各参与方的请求顺序或优先级依次发放标注权；和/或，

若所述第二参与方获取标注权的预设时间内未发送所述标注给所述多媒体集中调度系统，则所述多媒体集中调度系统释放所述第二参与方的标注权，重新确定获取标注权的参与方；和/或，

多媒体分发处理结束后，释放所述第二参与方的标注权。

较佳地，所述待分发的多媒体内容为所述第一参与方的本地摄像设备拍摄的实时多媒体内容或本地保存的多媒体文件内容。

较佳地，所述标注信息包括：标注操作类型、参数和标注操作的视频帧号。

较佳地，所述用户对多媒体内容的标注包括：

在多媒体内容中指示焦点；和/或，

对所述多媒体内容进行剪裁；和/或，

遮挡所述多媒体内容的部分内容；和/或，

在所述多媒体内容上叠加编辑内容。

较佳地，所述多媒体集中调度系统将用户对多媒体内容的标注和所述多媒体内容进行同步复合包括：

所述多媒体调度系统将所述多媒体内容进行解码，按照所述标注信息中包括的标注时间，在解码结果中确定与所述标注时间信息代表的时间点对应的多媒体内容，并在确定出的多媒体内容上插入所述标注，与所述解码结果一起形成同步复合的多媒体流。

较佳地，传输给多方多媒体通信中的其他参与方包括：根据其他参与方的设备性能确定编码参数，对同步复合的多媒体流进行编码后发给除所述第二参与方之外的其他参与方。

由上述技术方案可见，本申请中，多媒体集中调度系统对多方多媒体通信进行统一控制，将多媒体分发权和标注权分别分发给多媒体通信中的第一参与方和第二参与方；然后，第一参与方将多媒体内容通过多媒体集中调度系统发送给第二参与方，第二参与方对多媒体内容进行标注后，将标注信息发送给多媒体集中调度系统；多媒体集中调度系统根据标注信息，将多媒体内容和批注进行同步复合后发送给多方多媒体通信中的参与方。通过上述方式，可以利用多媒体集中调度系统对多方多媒体通信进行统一控制，将合适的视频内容和经过编辑的标注内容共享给多方通信的参与方，使参与方获得更具价值的信息，提高多方多媒体通信中的信息传输有效性。

附图说明

图1为本申请中多方多媒体通信的方法基本流程图；

图2为本申请中多媒体内容和标注进行同步的示意图；

图3为本申请中多媒体集中调度系统接收多媒体内容和标注、进行同步复合并分发的示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

多媒体应用最有效的应用场景是针对某个现场、或某段视频内容的讲解和分析。这种场景下才能充分利用宽带系统的带宽，而非只传送某个固定的会议室中的人员静态信息。单纯的视频分发所传递的信息量很少，重要的是在视频分发的同时标记出关键信息。此类标记的关键信息必须是同视频实时同步的，是有权限控制的。基于此，本申请中给出一种基于标注权调度的多方多媒体通信方法，以在宽带通信系统中，尤其是互联网或集群系统中，增强多媒体通信中信息传输的有效性。

多媒体通信中最典型的是视频通信，下面以视频通信为例进行说明。

图1为本申请中多方多媒体通信的方法流程图。如图1所示，该方法包括：

步骤101，多媒体集中调度系统将多方多媒体通信的分发权和标注权分别发放给第一参与方和第二参与方。

本申请的多方多媒体通信的调度中，包含视频信息分发权的调度以及视频标注权的调度两个部分。在一个使用本申请方法的视频群组通话中，视频分发权限和视频标注权限可以由不同的视频参与方掌握。即针对同一个视频分发权人所分发的视频，可以有不同的视频标注权限的人对其进行编辑标注。在实际应用场景中，通过上述两种视频权限的调度再结合实时的语音会议，即可构成一个紧密交互的，高效的视频交互活动。

本步骤中进行分发权和标注权的调度和分发。其中，将获取分发权的参与方称为第一参与方，将获取标注权的参与方称为第二参与方。第一参与方和第二参与方可以是同一参与方，或者，也可以是不同的参与方。

分发权的调度可以与传统集群通信系统中的发言权相同。

分发权的调度依据分发权调度策略进行，标注权的调度依据标注权调度策略进行。一般地，在由一用户A发起的多方多媒体通信中，通信初始，可以将分发权和标注权都发放给发起用户A。当然，也可以设定分发给其他用户。其后，分发权和标注权可以按预先设定的调度策略进行调度。

分发权的调度可以有以下方式：

1）在分发权无人占用时，任一参与方可以发起申请并获得；使用结束后主动释放；

2）在分发权有人占用时，将分发权的请求排队，先到先得；

3）在有权限分级的情况下，按照优先级由高到低的顺序发放分发权，高优先级权限人员的分发权请求可以中断当前优先级权限人员正在进行的视频分发操作；或者，也可以按照发送分发权请求的时间先后顺序发放分发权；

4）若第一参与方在获取分发权的预设时间内未进行视频分发，则可以自动释放该分发权。

上述几种分发权调度策略可以单独使用，或结合使用，按照该分发权调度策略，将分发权发放给第一参与方。

标注权的调度可以有以下方式：

1）在标注权无人占用时，任一参与方可以发起申请并获得；使用结束后主动释放；

2）在标注权有人占用时，将分发权的请求进行排队，先到先得；

3）在有权限分级的情况下，按照优先级由高到低的顺序发放标注权，高优先级权限人员的标注权请求可以中断当前优先级权限人员正在进行的视频标注操作；或者，也可以按照发送标注权请求的时间先后顺序发放标注权；

4）若第二参与方在获取标注权的预设时间内未进行视频标注，则可以自动释放该标注权；

5）当视频分发事务中止时，该视频的标注权也中止。

上述几种标注权调度策略可以单独使用，或结合使用，按照该标注权调度策略，将标注权发放给第二参与方。

步骤102，第一参与方将待分发的视频流通过多媒体集中调度系统发送给第二参与方。

分发的视频信息可以是本地摄像设备拍摄的实时视频信息，也可以是本地存放的已有视频文件。

第一参与方首先将视频流发送给多媒体集中调度系统，集中调度系统可以将其直接发送给占用标注权的第二参与方，或者也可以将视频流进行解码，再按照第二参与方的设备性能重新编码后发送给第二参与方。

步骤103，第二参与方接收多媒体内容，并接收用户对于多媒体内容的标注，生成标注信息发送给多媒体集中调度系统。

标注权是指对视频流进行实时标注、实时编辑的权限。用户对于多媒体内容的标注可以包含如下几种操作：

1.焦点标注

拥有视频标注权的人员可以通过输入设备（如鼠标，触摸屏）在视频中指示出焦点，该视频以及焦点可以实时同步的被其他人员看到，视频中焦点位置将使用特定图像符号（如手指，箭头图像）进行标志，焦点位置可以实时动态改变；

2.视频剪裁

拥有视频标注权的人员可以通过输入设备（包括但不限于鼠标，触摸屏）在视频中裁剪出部分内容提供给其他人员观看。剪裁的位置、形状、大小可以由拥有标注权的人实时调整。

3.视频遮挡

拥有视频标注权的人员可以对所看到视频中的部分进行不同效果的遮挡（如完全遮挡，模糊化等），群组中人员可以实时看到被遮挡的效果。

4.视频蒙板

拥有标注权的人员可以把视频显示区域当作一个白板进行编辑操作，所编辑的图形以蒙板方式叠加到分发的图像上。群组中人员可以实时看到叠加处理后的视频图像效果。

根据用户对多媒体内容的标注，生成标注信息，包括：标注操作类型和参数以及标注操作的视频帧号。其中，标注操作的参数可以是具体标注的信息内容，标注操作的视频帧号代表标注的时间信息。

步骤104，多媒体集中调度系统根据接收的标注信息，将用户对多媒体内容的标注和多媒体内容进行同步复合，生成同步复合的多媒体流。

此处同步是指标注者所见视频信息和标注的操作在其他视频观看所看到的视频信息与标注信息是同步的。如图2中，一段视频片段被标注者进行标注，该标注者在视频的帧n1处进行了标注操作1，在n2处进行了标注操作2。经过T-delay时间后，该视频被传输到某观看者，该观看者在该视频帧m1处看到了标注操作1的动作呈现，在m2看到了操作2的动作呈现。这里同步的含义是m1=n1,m2=n2。

在进行同步复合时，多媒体调度系统将第一参与方发送的多媒体内容进行解码，按照标注信息中包括的标注时间，在解码结果中确定与标注时间信息代表的时间点对应的多媒体内容，并在确定出的多媒体内容上插入标注，与解码结果一起形成同步复合的多媒体流。

例如，若标注信息中包括标注操作类型和参数以及标注操作的视频帧号，则按照标注操作类型和参数在帧号代表的视频帧上加入相应标注内容，并将该加入标注内容的视频帧与其他视频帧一起构成同步复合的视频流。

步骤105，将步骤104生成的同步复合的视频流传输给多方通信中的参与方。

接收同步复合的视频流的参与方可以进行自动设定，或者也可以固定为除第二参与方之外的其他所有参与方。

多媒体集中调度系统中同步复合的视频流，按照各接收方的设备性能，确定视频流的编码参数，对同步复合的视频流进行编码后发送给相应的接收方。

至此，本申请中的多方多媒体通信方法流程结束。通过上述多方多媒体通信方法，在多媒体交互事务中，利用多媒体集中调度系统对多媒体内容的分发和标注进行集中处理，并对多媒体的标注和内容进行同步复合。这种多媒体集中调度系统进行多媒体交互控制的方式，可以通过强大的集中处理资源，降低对终端系统的依赖，即使处理能力较弱的终端也能进行此集群视频交互；同时，能够降低多媒体内容分发到最终观看方的延迟，并避免多节点处理中的编码损失。

下面通过图3举例说明多媒体集中调度系统的进行多媒体内容和标注信息的接收、同步复合并分发的过程。其中，仍以视频通信为例进行说明。

如图3所示，整个过程分为如下几步：

1、视频分发用户通过建立的视频流1上传自己的视频，该视频被“视频解码器”解码后被分为两路分别处理；第1路解码视频流被发送给“帧缓冲器”；第二路视频流则发送给标注用户。如标注用户的显示设备支持该视频的原始编码参数，则可以直接将视频流1发送给标注用户，否则通过“视频编码器”按照标注用户的显示设备性能重新进行编码处理后发送给标注用户(图中视频流2和3)；

2、标注用户对接收到的一次视频流进行标注操作，标注操作信息被实时发送给调度系统的“视频同步复合”模块，标注信息中包含标注操作类型和参数以及标注操作的视频帧号；

3、“视频同步复合”模块根据收到的视频标注信息，将一次视频流与标注信息进行同步复合，复合成为二次视频流并发送给“视频编码器”（图中视频流6）；

4.“视频编码器”根据不同用户终端设备性能，确定编码参数后对二次视频进行编码，并将二次视频分发给除了标注者外的所有用户。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种多方多媒体通信的方法，其特征在于，包括：

多媒体集中调度系统根据分发权调度策略，将所述多方多媒体通信的分发权发放给所述多方多媒体通信中的第一参与方；并根据标注权调度策略，将标注权发放给所述多方多媒体通信中的第二参与方；

所述第一参与方将待分发的多媒体内容通过所述多媒体集中调度系统发送给所述第二参与方，所述第二参与方接收用户对所述多媒体内容进行的标注，并将标注信息发送给所述多媒体集中调度系统；其中，所述标注信息包括标注操作的视频帧号；

所述多媒体集中调度系统将所述多媒体内容进行解码，按照所述标注信息中包括的标注时间，在解码结果中确定与所述标注时间信息代表的时间点对应的多媒体内容，并在确定出的多媒体内容上插入所述标注，与所述解码结果一起形成同步复合的多媒体流，再传输给多方通信中的参与方。

2.根据权利要求1所述的方法，其特征在于，所述分发权调度策略包括：

在分发权未被占用时，所述多媒体集中调度系统将分发权发放给请求分发权的所述第一参与方；和/或，

在分发权被占用时，所述多媒体集中调度系统将请求分发权的各参与方进行排队，在分发权释放后，按照排队顺序依次发放分发权；和/或，

按照请求分发权的各参与方的请求顺序或优先级依次发放优先权；和/或，

若所述第一参与方获取分发权的预设时间内未发送所述多媒体内容给所述多媒体集中调度系统，则所述多媒体集中调度系统释放所述第一参与方的分发权，重新确定获取分发权的参与方。

3.根据权利要求1所述的方法，其特征在于，所述标注权调度策略包括：

在标注权未被占用时，所述多媒体集中调度系统将标注权发放给请求标注权的所述第二参与方；和/或，

在标注权被占用时，所述多媒体集中调度系统将请求标注权的各参与方进行排队，在标注权释放后，按照排队顺序依次发放标注权；和/或，

按照请求标注权的各参与方的请求顺序或优先级依次发放标注权；和/或，

若所述第二参与方获取标注权的预设时间内未发送所述标注给所述多媒体集中调度系统，则所述多媒体集中调度系统释放所述第二参与方的标注权，重新确定获取标注权的参与方；和/或，

多媒体分发处理结束后，释放所述第二参与方的标注权。

4.根据权利要求1所述的方法，其特征在于，所述待分发的多媒体内容为所述第一参与方的本地摄像设备拍摄的实时多媒体内容或本地保存的多媒体文件内容。

5.根据权利要求1所述的方法，其特征在于，所述标注信息还包括：标注操作类型和参数。

6.根据权利要求1所述的方法，其特征在于，所述用户对多媒体内容的标注包括：

在多媒体内容中指示焦点；和/或，

对所述多媒体内容进行剪裁；和/或，

遮挡所述多媒体内容的部分内容；和/或，

在所述多媒体内容上叠加编辑内容。

7.根据权利要求1所述的方法，其特征在于，传输给多方多媒体通信中的其他参与方包括：根据其他参与方的设备性能确定编码参数，对同步复合的多媒体流进行编码后发给除所述第二参与方之外的其他参与方。