CN100518332C - 一种多路媒体同步呈现控制方法 - Google Patents

Abstract

本发明公开了一种多路媒体同步呈现控制方法，主要解决需要同步播放的多路媒体在呈现时的时间同步问题。针对不同媒体的重要程度及媒体之间的不同同步需求进行有区别的同步呈现控制，能提高多路媒体呈现效果。使得在多路媒体呈现过程中，重要程度高及同步要求高的媒体得到优先考虑，解决现有同步方案所存在的不考虑媒体重要性及各路媒体之间同步要求的局限性。本发明适用于两路及两路以上任意类型媒体间的呈现同步控制。

Description

一种多路媒体同步呈现控制方法

技术领域

本发明属计算机应用领域，主要涉及多路媒体的同步控制方法，特别涉及一种多路媒体同步呈现控制方法。

背景技术

多媒体技术已得到广泛应用，然而目前的多媒体技术主要面向于单路媒体的点播及直播技术。随着技术的发展，多路流的应用将逐渐进入人们的视野。在多路媒体的捕捉、传输、呈现过程中，同步问题是必然要解决的问题。目前的研究中，对各路媒体自身的特点及实际应用中对媒体间同步的不同要求则没有相应的考虑。

针对媒体同步控制方法，申请人通过查新，得到6篇与本发明相关密切的文献，它们分别是：

1.Foreman，D.J.，Managing data in distributed multimedia conferencingapplications，Multimedia，IEEE，2002，9，30-37

此文献主要涉及在多路流媒体中，传输过程中的同步管理问题。

2.Gonzalez，A.J.and Adbel-Wahab，H.，Light-weight stream synchronizationframework for multimedia collaborative applications，Proceedings.ISCC 2000.Fifth IEEE Symposium on，398-403

此文献通过调整发送端与接收端的时钟偏差，以达到同步效果，目的在于解决媒体在传输过程中的同步问题。

3.Huang，Chung-Ming and Kung，Hsu-Yang and Yang，Jiong-Liang，PARK：apaused-and-run k-stream multimedia synchronization control scheme，DistributedComputing Systems，2000.Proceedings.20th International Conference on，2000，272-279

此文献在传输过程中，通过PARK方法，达到最后的同步效果，确保缓冲区不至于上溢或下溢，实现在传输过程中的同步。

4.Huang，C.-M.and Wang，C.and Lin，C.-H.，Interactive multimediasynchronisation in the distributed environment using the formal approach，Software，IEE Proceedings，2000，V147：131-143

此文献采用动态扩展有限状态机描述了多媒体传输过程中的同步问题，并建立了交互式媒体传输过程的同步操作核心，可供上层调用。

5.Ito，K.and Tasaka，S.and Ishibashi，Y.，Effect of packet scheduling algorithmson media synchronization quality in the Internet，Communications，2001.ICC 2001.IEEE International Conference on，2001，V9：2865-2871

此文献采用在路由器进行包调度的方法实现媒体在传输过程的同步。

6.Liu，Haining and El Zarki，M.，Towards the Delay and Synchronization Controlfor Networked Real-Time Multi-Object Multimedia Applications，Object-Oriented Real-Time Dependable Systems，2003.WORDS 2003 Fall，2003，P79-79

此文献提出了实时多路流的同步评价方法，并将其用于传输控制中，该方法适用于具有同等重要程度的两路媒体之间的同步问题。

综上所述可知，目前就多媒体同步问题的研究主要集中在传输过程中的同步，对媒体在最后呈现过程中的同步没有考虑。然而，申请人通过实测发现，如果在呈现过程中不进行同步管理，则经过较长时间的播放后，媒体的同步差异会增大到不可接受的程度。所以，多路媒体的同步呈现控制对媒体的最后呈现效果具有至关重要影响。此外，现有对多路媒体同步的研究一般只考虑了两路媒体间的情况，没有考虑不同媒体对最终呈现效果的影响，不能适应媒体路数更多并且各路对最终呈现效果影响程度不同的情况。因此，研究一种方法，针对各路媒体具有不同重要程度及不同同步要求进行有区别的呈现同步控制是必要的。

发明内容

本发明的目的在于克服上述现有技术不足，提出一种多路媒体的同步呈现控制方法，针对不同媒体的重要程度及媒体之间的不同同步需求进行有区别的同步呈现控制，以提高多路媒体同步呈现的总体效果。

本发明解决两路以上媒体呈现时的时间同步问题，多路媒体可以来自相同的源或不同的源，可以是视频、音频、字幕等媒体类型，支持asf、rm、ra、mp3、mov、wmv、wma、avi、mpeg4、wav、cd音轨、VCD、DVD等主流媒体格式以及srt、sub等字幕格式，只要它们之间存在同步关系。但本方法解决媒体在解码之后、呈现之前的同步问题。

本发明包括媒体呈现模块和同步主控模块。媒体呈现模块包含对应各路媒体显示或表现的多个子模块，它们各自负责一路媒体的解码并送往输出呈现设备，在此过程中实时检测同步主控模块发来的同步指令，并予以执行；同步主控模块监控各媒体呈现模块的当前呈现时间，并进行计算及判断，确定是否需要向各路媒体发出同步控制指令，以实现同步呈现控制。

实现上述发明的技术方案是按以下步骤进行：

a.同步主控模块在媒体开始播放时，获取各路媒体的重要程度p_i及任意两路媒体间的同步许可差异r_ij；

b.计算最小许可同步差异D_min，计算式为D_min＝min(r_ij)i，j∈1...n，确定同步时间间隔T_s，其取值范围为5～20倍D_min；

c.获取各路媒体的当前呈现时间t_i，计算各路媒体的同步权重 $w_i=\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}},$ 多路媒体对象组S的呈现平均时间 $T_a=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_i{w}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i},$ 同步权重差 $d_{\mathrm{wi}}=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(\frac{t_i-t_j}{r_{\mathrm{ij}}}\·p_i\·p_j)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}}},$ 同步差d_i＝t_i-T_a；

式中，i，j：代表媒体流集合中的某一路流的序号(i≠j)

p_i：第i路媒体的重要程度

r_ij：第i路媒体与第j路媒体间的同步许可差异(i≠j)

t_i：系i路媒体的当前呈现时间    w_i：第i路媒体的同步权重

d_wi：第i路媒体的同步权重差     d_i：第i路媒体的同步差

T_a：多路媒体呈现平均时间       D_min：最小许可同步差异

T_s：同步时间间隔

d.对于各路媒体同步权重差d_wi组成的集合，取L＝max{d_wi}-min{d_wi}，i∈1，2....n；将该集合划分成3个互不相交的子集：[min{d_wi}，min{d_wi}+L/3]，(min{d_wi}+L/3，min{d_wi}+2L/3)和[min{d_wi}+2L/3，max{d_wi}]。对于d_wi∈[min{d_wi}，min{d_wi}+L/3]的媒体S_i，组成媒体呈现延迟集合S_ss；对于d_wi∈[min{d_wi}+2L/3，max{d_wi}]的媒体s_i，组成媒体呈现超前集合S_sf；

e.向呈现时间超前的媒体集合发出同步指令Sync(S_sf，d_sf，slower，t_allow)，要求S_sf在t_allow的时间内，消除值为d_sf的呈现时间超前；向呈现时间延后的媒体集合发出同步指令Sync(S_ss，d_ss，faster，t_allow)，要求S_ss在t_allow的时间内，消除值为d_sf的呈现时间延迟；t_allow取0.8～1.2倍同步时间间隔T_s；

f.当媒体呈现模块收到同步控制模块发出的同步指令时，在呈现时进行如下同步操作：

1)当媒体呈现模块收到减速呈现指令时，对于可以方便控制单个采样呈现时间的媒体，则通过延长采样的呈现时间达到同步；

2)当媒体呈现模块收到加速呈现指令时，对于可以方便控制单个采样呈现时间的媒体，则通过缩短采样的呈现时间达到同步；

3)当媒体呈现模块收到减速呈现指令时，对于不便于或不能控制单个采样的输出时间的媒体，则通过在采样输出队列中插入相邻采样的拷贝达到同步；

4)当媒体呈现模块收到加速呈现指令时，对于不便于或不能控制单个采样的输出时间的媒体则通过在采样输出队列中删除必要数量采样达到同步；

g.当各路媒体均播放完成，则结束；如果还有媒体没有播放完，则休眠至下一同步时间间隔，重新获取各媒体呈现时间，进行新一轮同步控制操作。

所述的获取各路媒体的重要程度p_i及同步许可差异r_ij分别按照如下方法确定：

根据实际应用最终媒体呈现质量通过用户反馈的方式统计得出，方法如下：按照具体用户群将媒体呈现质量结果分为两级：a、效果很好b、基本可以接受；在测试p_i时，使除了媒体s_i以外的其余各路媒体的解码后数据与原始采样数据间的均方差MSE均为最小值0，对于媒体s_i，从0开始逐渐加大其均方差MSE的值，有98％的用户确定整个多路媒体组的呈现质量很好时，此时的s_i的均方差MSE的值为MSE_i，98；仅有5％的用户确定整个多路媒体组的呈现质量很好时，此时s_i的均方差MSE记为MSE_i，5；p_i按如下公式计算：

$p_i=\mathrm{sigmoid}\left(\frac{100}{{\mathrm{MSE}}_{i,5}-{\mathrm{MSE}}_{i,98}}\right)\×2-1$

r_ij的取值根据唇音同步需求、VoIP延迟需求及相关QoS质量控制标准，在实际应用需求中通过用户反馈的方式统计得出；具体方法如下：将媒体流S_i和S_j的同步时间差从0ms取值开始，逐渐增大，有5％的用户能感知到该两路媒体的时间同步差异时，此时的同步时间差取为r_ij的值，即就是使得r_ij取用户能感知两路媒体差异的最小值。

本发明的方法采用了各路媒体的重要程度及同步要求作为参数，使得在多路媒体呈现过程中，重要程度高及同步要求高的媒体得到优先考虑，解决现有同步方案所存在的不考虑媒体重要性及各路媒体之间不同同步要求的局限性。本发明适用于两路及两路以上任意类型媒体间的呈现同步控制。

附图说明

图1是本发明多路媒体同步呈现控制系统结构图；

图2是本发明同步主控模块控制流程图；

图3是本发明采样呈现时间延长示意图；

图3a是本发明采样呈现时间延长前示意图；

图3b是本发明采样呈现时间延长后示意图；

图4是本发明采样呈现时间缩短示意图；

图4a是本发明采样呈现时间缩短前示意图；

图4b是本发明采样呈现时间缩短后示意图；

图5是本发明插入采样示意图；

图6是本发明删除采样示意图。

下面结合附图对本发明的内容作进一步详细说明。

具体实施方式

对于需要进行同步呈现的一个多路媒体组S，其所包含的n路媒体对象分别记为s₁，s₂...s_n；对其中任一媒体对象s_i，它在媒体组中的重要程度表示为p_i，其值表示该路媒体对本媒体组的最终呈现质量的影响大小。对于媒体s_i，s_j，i≠j，它们之间的同步要求阈值为r_ij(r_ij＞0)，当二者之间的同步时间差小于r_ij时，同步效果很好，其最小值计为最小许可同步差异，即d_min＝min(r_ij)，i，j∈1...n。在实际播放过程中，任意时刻媒体对象s_i的当前呈现时间pts为t_i。多路媒体同步控制机制由媒体呈现模块及同步主控模块两部分组成。对于由n路媒体组成的多路媒体组，含有n个媒体呈现模块，它们各自负责一路媒体的解码及送往输出呈现设备，在此过程中检测同步主控模块发的同步指令，并予以执行；同步主控模块监控各媒体呈现模块的当前呈现时间，并进行计算及判断，确定是否需要向各路媒体发出同步控制指令，以实现同步呈现控制。

参照图1所示，同步主控模块通过输出状态收集器取得各路媒体当前呈现时间，经过同步算法计算，判断各路媒体的超前及延迟情况，对呈现时间超前+及延迟的媒体通过输出控制指令发送器分别发出延迟呈现及加快延迟指令；各路媒体流通过缓冲器、解码器以后，在送往输出设备呈现以前，判断是否收到由同步主控模块发出的新指令，如果有，则通过调整采样在输出设备的呈现时间或增减采样，确保最后各路媒体的呈现时间达到同步。

参照图2所示，同步主控模块所使用的同步算法是在每个同步时间间隔T_s内扫描一次所有媒体的当前呈现时间t_i，同步时间间隔T_s一般取5～20倍D_min。当媒体组由超过二路媒体组成时，进行以下计算：

同步差异d_ij：

在任意时刻，两路媒体流s_i与s_j之间的呈现时间差异。计算式为d_ij＝t_i-t_j，当d_ij＞0时，表示s_i相对于s_j呈现时间超前；当d_ij＜0时，表示s_i相对于s_j的呈现时间延迟。

同步权重w_i：

媒体对象s_i在整个媒体组中所占的同步权重，计算式为 $w_i=\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}}$ 媒体呈现平均时间T_a：

整个媒体组的呈现时间权重平均值，计算式为 $T_a=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_i{w}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i}$

同步权重差d_wi：

单路媒体s_i与整个多路媒体组S之间的同步权重差，计算式为 $d_{\mathrm{wi}}=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(\frac{d_{\mathrm{ij}}}{r_{\mathrm{ij}}}\·p_i\·p_j)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}}}.$ 当d_wi＞0时，表示s_i的呈现时间较整个多路媒体组S的呈现时间提前；反之，当d_wi＜0时，表示s_i的呈现时间较整个多路媒体组S延迟。

同步差d_i：

媒体对象s_i与整个媒体对象组S的呈现时间差，d_i＝t_i-T_a。

同步主控模块在完成上述计算后对于各路媒体同步权重差d_wi组成的集合，取L＝max{d_wi}-min{d_wi}，i∈1，2....n；将该集合划分成3个互不相交的子集：[min{d_wi}，min{d_wi}+L/3]，(min{d_wi}+L/3，min{d_wi}+2L/3)和[min{d_wi}+2L/3，max{d_wi}]。对于d_wi∈[min{d_wi}，min{d_wi}+L/3]的媒体S_i，组成媒体呈现延迟集合S_ss；对于d_wi∈[min{d_wi}+2L/3，max{d_wi}]的媒体S_i，组成媒体呈现超前集合S_sf。对于呈现时间超前的媒体，即s_i∈S_sf，当 $\left|d_i\right|>\frac{D_{\min }}{2}$ 时，则向s_i发出同步指令Sync(s_i，d_i，slower，t_allow)，即要求媒体对象在t_allow内通过增加延迟进行调整，消除较整个播放媒体组的时长为d_i的超前。对于呈现时间延后的媒体，即s_i∈S_ss，当 $\left|d_i\right|>\frac{D_{\min }}{2}$ 时，则向s_i发出同步指令Sync(s_i，d_i.faster，t_allow)，即要求媒体s_i在t_allow的时间内，通过减少延迟的进行调整，消除较整个播放媒体组的时长为d_i的延迟。在这里，t_allow的取值为0.8～1.2倍T_s。

各路媒体在呈现同步操作时，在每解码完一段媒体流Buffer后，向输出设备输出之前，检测自己是否收到了由同步主控模块发出的同步控制指令；如已有的同步指令没有执行完，则忽略已有同步指令，直接执行最新收到的同步指令。

设 媒体s_i，在正常情况下，每秒钟输出频率为f_i，即每秒种有f_i个采样从输出设备输出。

参照图3所示，当s_i收到指令Sync(s_i.d_i，slower，t_allow)时，对于可以方便控制单独一个采样的输出时间的媒体(如视频)，则将最近t_allow f_i个采样的输出时间各自延长

图3a所示在呈现时间延长前，对于t_allow f_i个采样，采样的输出时间间隔为1/f_i；图3b所示在呈现时间延长后，对于同样的t_allow f_i个采样，采样的输出时间间隔延长为

参照图4所示，当媒体s_i收到指令Sync(s_i，d_i，faster.t_allow)时，对于可以方便控制单独一个采样的输出时间的媒体(如视频)，则将最近t_allow f_i个采样的输出时间各自缩短

图4a所示在呈现时间缩短前，对于t_allow f_i个采样，采样的输出时间间隔为1/f_i；图4b所示在呈现时间缩短后，对于同样的t_allow f_i个采样，采样的输出时间间隔缩短到

参照图5所示，当s_i收到指令Sync(s_i，d_i，slower，t_allow)时，对于不便于或不能控制单独一个采样的输出时间的媒体，则在媒体中，通过均匀插入与前面相邻采样相同的采样达到同步。由于要在t_allow的时间内实现d_i的时间延长，则需将d_if_i个采样均匀地插入原有的t_allow f_i个采样中，即在每

个采样后面，直接插入与前面相邻采样的复制采样。

参照图6所示，当s_i收到指令Sync(s_i，d_i，slower，t_allow)时，对于不便于或不能控制单独一个采样的输出时间的媒体，则在媒体中，通过均匀删除一些采样达到同步。由于要在t_allow的时间内实现d_i的时间缩短，则需原有的t_allow f_i个采样中均匀地删除d_if_i个采样，即在每

个采样中删除一个采样。

下面是一个多路媒体对用户呈现时的时间同步问题。在交互式课堂教学中，有以下五路呈现时具有同步关系的媒体：

教案视频，教师音频，教师视频，学生视频，学生音频，很显然它们之间有同步的关系。这是一个五路媒体同步呈现问题。通过对教学应用的实测，教案视频s₁(25fps)，教师音频s₂(44.1kHz)，教师视频s₃(25fps)，学生视频s₄(25fps)，学生音频s₅(44.1kHz)；在此例中，我们根据实际网络教学应用需求，通过用户的反馈信息统计并结合公式

$p_i=\mathrm{sigmoid}\left(\frac{100}{{\mathrm{MSE}}_{i.5}-{\mathrm{MSE}}_{i.98}}\right)\×2-1$

计算得到各路媒体的重要程度p_i如下：

$p_1=\mathrm{sigmoid}\left(\frac{100}{47.4-1.9}\right)\×2-1\≈0.8$

$p_2=\mathrm{sigmoid}\left(\frac{100}{50.5-5.1}\right)\×2-1\≈0.8$

$p_3=\mathrm{sigmoid}\left(\frac{100}{549.2-50.1}\right)\×2-1\≈0.1$

$p_4=\mathrm{sigmoid}\left(\frac{100}{583.5-82.9}\right)\×2-1\≈0.1$

$p_5=\mathrm{sigmoid}\left(\frac{100}{100.4-10.3}\right)\×2-1\≈0.5$

结合唇音同步需求、VoIP延迟需求及相关QoS质量控制标准，根据实际应用需求及对250位学生反馈信息的统计得出如下同步时间差要求：r₁₂＝80ms，r₂₃＝100ms，r₄₅＝120ms，r₂₅＝120ms，因为其余媒体之间的同步呈现需求对本应用影响不大，因此他们的同步时间取8000ms。在某一时刻，它们的播放呈现时间为t₁＝25335ms，t₂＝24986ms，t₃＝24005ms，t₄＝24120ms，t₅＝24132ms。

上述问题是五路媒体同步播放的问题，由于教案视频及教师音频对最终的教学应用效果具有重要意义，因此，根据用户反馈的统计结果和公式

$p_i=\mathrm{sigmoid}\left(\frac{100}{{\mathrm{MSE}}_{i.5}-{\mathrm{MSE}}_{i.98}}\right)\×2-1$

计算所得，对其重要程度为0.8。同理，学生的音频对交互质量有一定影响，故通过计算其重要程度为0.5。相对而言，教师视频及学生视频对教学应用效果影响不大，故根据用户反馈的统计结果和公式计算所得其重要性为0.1。由于教案视频与教师音频的同步效果对应用效果至关重要，为提高同步效果，将它们之间的同步差取值高于唇音同步要求，为80ms；使得教师音频与视频之间同步差满足唇音同步要求，取100ms；在这里，学生视音频同步对本应用的意义不大，因此使得同步差基本满足唇音同步要求，取为120ms，学生音频及教师音频对交互效果有影响，按照VoIP要求，取为120ms。因为其余媒体之间的同步呈现需求对本应用影响不大，则将它们之间的同步需求取为8000ms。

则由各路媒体重要性为：

$p=\left(\begin{array}{c}0.8\\ 0.8\\ 0.1\\ 0.1\\ 0.5\end{array}\right)$

同步时间差要求为：

$r=\left(\begin{array}{ccccc}8000& 80& 8000& 8000& 800\\ 80& 8000& 100& 8000& 120\\ 8000& 100& 8000& 8000& 8000\\ 8000& 8000& 8000& 8000& 120\\ 8000& 120& 8000& 120& 8000\end{array}\right)$

根据此媒体组对同步效果的要求，可知，同步差的最小要求为D_min＝80ms

为满足同步需求，同步时间间隔取T_s＝10D_min＝800ms，即媒体组呈现同步主控模块每隔800ms进行一次同步操作。

设某一次，同步主控模块获得各路媒体的当前呈现时间：

$t=\left(\begin{array}{c}25335\\ 24986\\ 24005\\ 24120\\ 24132\end{array}\right)$

按前述计算式计算出各路媒体的呈现权重为：

$w=\left(\begin{array}{c}0.00807\\ 0.0202133\\ 0.0210308\\ 0.0214687\\ 0.025275\end{array}\right)$

媒体组呈现平均时间为：

t_a＝24992.091

各路媒体的呈现同步差为：

$d=\left(\begin{array}{c}412.90943\\ 63.90943\\ -917.09057\\ -802.09057\\ -790.09057\end{array}\right)$

各路媒体的呈现同步权重差为：

$d_w=\left(\begin{array}{c}356.57993\\ 41.958773\\ -37.99362\\ -1.1955167\\ -114.77835\end{array}\right)$

按各路媒体的呈现同步权重差排序则可知，媒体s₁及s₂呈现过快，构成了呈现过快的媒体集合S_sf，需要进行延迟呈现；媒体s₅及s₃呈现过慢，构成了呈现过慢的媒体集合S_ss，需要加快呈现。在这里，t_allow取为T_s而为800ms，则此时呈现同步主控模块发出指令Sync(s₁，412.90943，slower，800ms)，Sync(s₂.63.90943，slower，800ms)，Sync(s₅，-114.77835，faster，800ms)，Sync(s₃，-37.99362，faster.800ms)，然后，休眠等待，直到下一步同步时间间隔再进行操作。各数据媒体在接收到呈现同步控制指令时，进行如下操作：

当s₁接收到同步指令Sync(s₁，412.90943，slower，800ms)时，则将后面的800/1000×25＝20帧的输出呈现时间各自延长412.90943/800/1000×25＝20.6455ms，如图3所示；

当s₂收到同步指令Sync(s₂.63.90943，slower，800ms)时，则在800/1000×44100＝35280个采样中，均匀地插入(63.90943/1000)×44100＝2818个采样，即在每13个采样中，插入一个与前面相邻采样相同的采样拷贝即可，如图5所示；

当s₅收到同步指令Sync(s₅，-114.77835，faster，800ms)时，则在(800/1000)×44100＝35280个采样中，均匀地删除(114.77835/1000)×44100＝5062个采样，即每6个采样中删除一个采样，如图6所示；

当s₃收到同步指令Sync(s₃，-37.99362，faster，800ms)，则将后面的(800/1000)×25＝20帧的输出呈现时间各自延长37.99362/((800/1000)×25)＝1.8997ms，如图3所示。

Claims (2)

1、一种多路媒体同步呈现控制方法，包括媒体呈现模块和同步主控模块，媒体呈现模块包含对应各路媒体显示或表现的多个子模块，它们各自负责一路媒体的解码并送往输出呈现设备，在此过程中实时检测同步主控模块发来的同步指令，并予以执行；同步主控模块监控各媒体呈现模块的当前呈现时间，并进行计算及判断，确定是否需要向各路媒体发出同步控制指令，以实现同步呈现控制，其特征在于：

a.设多路媒体对象组S包含n个媒体流对象，分别为s₁，s₂...，s_n，同步主控模块在媒体开始播放时，获取各路媒体的重要程度p_i及各路媒体间的同步许可差异r_ij；

b.计算最小许可同步差异D_min，D_min＝min(r_ij)，i，j∈1...n，确定同步时间间隔T_s，其取值范围为5～20倍D_min；

c.获取各路媒体的当前呈现时间t_i，计算各路媒体的同步权重 $w_i=\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}},$ 多路媒体对象组S的呈现平均时间 $T_a=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_i{w}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i},$ 同步权重差 $d_{\mathrm{wi}}=\frac{\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}(\frac{t_i-t_j}{r_{\text{ij}}}\·p_i\·p_j)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{p_i\·p_j}{r_{\mathrm{ij}}}},$ 同步差d_i＝t_i-T_a；

式中：i，j：代表媒体流集合中的某一路流的序号，

p_i：第i路媒体的重要程度

r_ij：第i路媒体与第j路媒体间的同步许可差异i≠j

t_i：第i路媒体的当前呈现时间    w_i：第i路媒体的同步权重

d_wi：第i路媒体的同步权重差     d_i：第i路媒体的同步差

T_a：多路媒体呈现平均时间       D_min：最小许可同步差异

T_s：同步时间间隔

d.对于各路媒体同步权重差d_wi组成的集合，取L＝max{d_wi}-min{d_wi}，i∈1，2....n；将该集合划分成3个互不相交的子集：[min{d_wi}，min{d_wi}+L/3]，(min{d_wi}+L/3，min{d_wi}+2L/3)和[min{d_wi}+2L/3，max{d_wi}]，对于d_wi∈[min{d_wi}，min{d_wi}+L/3]的媒体s_i，组成媒体呈现延迟集合S_ss；对于d_wi∈[min{d_wi}+2L/3，max{d_wi}]的媒体s_i，组成媒体呈现超前集合S_sf；

e.对于呈现时间超前的媒体s_i∈S_sf，当 $\left|d_i\right|>\frac{D_{\min }}{2}$ 时，则向s_i发出同步指令Sync(s_i，d_i，slower，t_allow)，即要求媒体对象在t_allow内通过增加延迟进行调整，消除较整个播放媒体组的时长为d_i的超前；对于呈现时间延后的媒体s_i∈S_ss，当 $\left|d_i\right|>\frac{D_{\min }}{2}$ 时，则向s_i发出同步指令Sync(s_i，d_i，faster，t_allow)，要求媒体s_i在t_allow的时间内，通过减少延迟的进行调整，消除较整个播放媒体组的时长为d_i的延迟；t_allow的取值为0.8～～1.2倍T_s；

f.当媒体呈现模块收到同步主控模块发出的同步指令时，分别进行如下同步操作：

1)当媒体呈现模块收到减速呈现指令时，对于方便控制单个采样呈现时间的媒体，则通过延长采样的呈现时间达到同步；

2)当媒体呈现模块收到加速呈现指令时，对于方便控制单个采样呈现时间的媒体，则通过缩短采样的呈现时间达到同步；

3)当媒体呈现模块收到减速呈现指令时，对于不便于或不能控制单个采样输出时间的媒体，则通过在采样输出队列中插入相邻采样的拷贝达到同步；

4)当媒体呈现模块收到加速呈现指令时，对于不便于或不能控制单个采样输出时间的媒体，则通过在采样输出队列中删除必要数量的采样达到同步；

g.当各路媒体均播放完成，则结束；如果还有媒体没有播放完，则休眠至下一同步时间间隔，重新获取各媒体呈现时间，进行新一轮同步控制操作。

2、根据权利要求1所述的一种多路媒体同步呈现控制方法，其特征在于，所述的获取各路媒体的重要程度p_i及同步许可差异r_ij分别按照如下方法确定，

根据实际应用最终媒体呈现质量通过用户反馈的方式统计得出，方法如下：按照具体用户群将媒体呈现质量结果分为两级：a、效果很好b、基本可以接受；在测试p_i时，使除了媒体s_i以外的其余各路媒体的解码后数据与原始采样数据间的均方差MSE均为最小值0，对于媒体s_i，从0开始逐渐加大其均方差MSE的值，有98％的用户确定整个多路媒体组的呈现质量很好时，此时的s_i的均方差MSE的值为MSE_i，98；仅有5％的用户确定整个多路媒体组的呈现质量很好时，此时s_i的均方差MSE记为MSE_i，5；p_i按如下公式计算：

$p_i=\mathrm{sigmoid}\left(\frac{100}{{\mathrm{MSE}}_{i,5}-{\mathrm{MSE}}_{i,98}}\right)\×2-1$

r_ij的取值根据唇音同步需求、VoIP延迟需求及QoS质量控制标准，在实际应用需求中通过用户反馈的方式统计得出；具体方法如下：将媒体流s_i和s_j的同步时间差从0ms取值开始，逐渐增大，有5％的用户能感知到该两路媒体的时间同步差异时，此时的同步时间差取为r_ij的值，即就是使得r_ij取用户能感知两路媒体差异的最小值。

Images