CN112564837B - 多路数据流同步方法及多路数据流同步的逐级传输系统 - Google Patents

Abstract

本申请实施例提供了一种多路数据流同步方法及多路数据流同步的逐级传输系统，采集设备在发送各路数据流同时，发送各路数据流的第一时间信令，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，在向同步设备发送各路合成数据流时，同时发送第二时间信令，使同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

Description

多路数据流同步方法及多路数据流同步的逐级传输系统

技术领域

本申请涉及通信技术领域，特别是涉及一种多路数据流同步方法及多路数据流同步的逐级传输系统。

背景技术

数据传输系统中涉及多种类型数据的传输，不同类型的数据分别以数据流的形式进行传输，即一路数据流传输一种类型的数据，例如在视频会议系统中，涉及到音视频流的传输，同一个与会者有时除了要传输视频流和音频流以外，还会有文档、智能信息等辅数据流需要传输。传输过程中可能会由于网络因素导致各路数据流到达接收端设备的时间不一致，从而导致各路数据流不同步。

相应的多路数据流同步方法中，采集设备在采集数据后，对不同类型的数据进行封装时，采用相同的时间基准设置时间戳，相同时刻采集的不同类型数据的时间戳大小是一致的，这样，各路数据流在传输到接收端设备后，可以基于各路数据流的时间戳大小进行同步。

然而，在实际的传输系统中，各路数据流需要经过转发、合成等多级处理，采集设备发送数据流到转发设备，转发设备对数据流进行转发、合成等处理，将数据流转发到接收端设备，或者对数据流进行合成处理后再将合成后的数据流转发到接收端设备。转发设备对数据流进行转发、合成等处理后，时间戳会变为完成转发、合成等处理的时刻对应的时间戳，而转发设备对各路数据流的转发、合成等处理并不一定是同时进行的，因此，会导致发送到接收端设备的各路数据流的时间戳不一致，从而导致多路数据流无法同步。

发明内容

本申请实施例的目的在于提供一种多路数据流同步方法及多路数据流同步的逐级传输系统，以实现多路数据流的同步。具体技术方案如下：

第一方面，本申请实施例提供了一种多路数据流同步方法，应用于转发设备，所述方法包括：

接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

可选的，所述各路数据流的第一时间信令是所述各采集设备周期性发送的；

所述针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，包括：

针对所述各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；

根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

可选的，所述根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，包括：

计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值；

根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

可选的，所述方法还包括：

在接收到转发指令时，将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。

可选的，所述合成指令包括指定数据流的类型标识；

所述将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，包括：

根据所述类型标识，将所述各采集设备发送的具有所述类型标识的指定数据流合成为合成数据流；

所述将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，包括：

将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至同步设备，并且，将未进行合成处理的各路数据流及所述各路数据流的第一时间信令发送至所述同步设备。

可选的，所述第一时间信令和所述第二时间信令为RTCP中的SR信令。

第二方面，本申请实施例提供了一种多路数据流同步方法，应用于同步设备，所述方法包括：

接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳；

获得接收到所述各路合成数据流的第三时间戳；

根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；

基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流。

可选的，所述根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻，包括：

针对所述各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

可选的，所述第二时间信令为RTCP中的SR信令。

第三方面，本申请实施例提供了一种多路数据流同步方法，应用于采集设备，所述方法包括：

采集不同类型数据；

以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳。

可选的，所述发送各路数据流的第一时间信令，包括：

按照预设周期，发送各路数据流的第一时间信令。

可选的，所述多路数据流包括视频流、音频流和辅数据流；

所述以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，包括：

发送所述视频流、所述音频流及所述辅数据流至接收端设备，并发送所述视频流、所述音频流及所述辅数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述视频流、所述音频流及所述辅数据流的第一时间信令，同步所述视频流、所述音频流和所述辅数据流。

可选的，所述第一时间信令为RTCP中的SR信令。

第四方面，本申请实施例提供了一种多路数据流同步装置，应用于转发设备，所述装置包括：

接收模块，用于接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

合成模块，用于在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

计算模块，用于针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

发送模块，用于将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

第五方面，本申请实施例提供了一种多路数据流同步装置，应用于同步设备，所述装置包括：

接收模块，用于接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳；

获得模块，用于获得接收到所述各路合成数据流的第三时间戳；

计算模块，用于根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；

同步模块，用于基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流。

第六方面，本申请实施例提供了一种多路数据流同步装置，应用于采集设备，所述装置包括：

采集模块，用于采集不同类型数据；

发送模块，用于以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳。

第七方面，本申请实施例提供了一种多路数据流同步的逐级传输系统，所述系统包括：多个采集设备、转发设备和同步设备；

所述采集设备，用于采集不同类型数据，以多路数据流的形式分别发送所述不同类型数据至所述转发设备，并发送各路数据流的第一时间信令至所述转发设备，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

所述转发设备，用于接收各采集设备分别发送的各路数据流以及所述各路数据流的第一时间信令；在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳；

所述同步设备，用于接收所述转发设备发送的所述各路合成数据流以及所述各路合成数据流的第二时间信令；获得接收到所述各路合成数据流的第三时间戳；根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流。

可选的，所述采集设备在发送各路数据流的第一时间信令至所述转发设备时，具体用于：

按照预设周期，发送所述各路数据流的第一时间信令至所述转发设备；

所述转发设备在针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体用于：

针对所述各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

可选的，所述转发设备在根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体用于：

计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值；

根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

可选的，所述同步设备在根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻时，具体用于：

针对所述各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

可选的，所述转发设备，还用于：

在接收到转发指令时，将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。

可选的，所述合成指令包括指定数据流的类型标识；

所述转发设备在将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流时，具体用于：

根据所述类型标识，将所述各采集设备发送的所述类型标识对应的指定数据流合成为合成数据流；

所述转发设备在将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备时，具体用于：

将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至所述同步设备，并且，将未进行合成处理的各路数据流及所述各路数据流的第一时间信令转发至所述同步设备。

可选的，所述第一时间信令和所述第二时间信令为RTCP中的SR信令。

本申请实施例提供的一种多路数据流同步方法及多路数据流同步的逐级传输系统，采集设备采集不同类型数据，以多路数据流的形式发送不同类型数据至转发设备，并发送各路数据流的第一时间信令至转发设备；转发设备在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳，针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备；同步设备获得接收到各路合成数据流的第三时间戳；根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻，基于各路合成数据流的第三采集时刻，同步各路合成数据流。

采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的应用于采集设备的多路数据流同步方法的流程示意图；

图2为本申请实施例的应用于转发设备的多路数据流同步方法的流程示意图；

图3为本申请实施例的应用于同步设备的多路数据流同步方法的流程示意图；

图4为本申请实施例的会议视频的应用场景下的媒体数据流处理流程示意图；

图5为本申请实施例的纯合成场景下多路数据流同步的流程示意图；

图6为本申请实施例的同步设备调整缓存时间的调整流程示意图；

图7为本申请实施例的纯转发场景下多路数据流同步的流程示意图；

图8为本申请实施例的合成和转发混合场景下多路数据流同步的流程示意图；

图9为本申请实施例的应用于采集设备的多路数据流同步装置的结构示意图；

图10为本申请实施例的应用于转发设备的多路数据流同步装置的结构示意图；

图11为本申请实施例的应用于同步设备的多路数据流同步装置的结构示意图；

图12为本申请实施例的多路数据流同步的逐级传输系统结构示意图；

图13为本申请实施例的传输设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了实现多路数据流的同步，本申请实施例提供了一种多路数据流同步方法及多路数据流同步的逐级传输系统。多路数据流同步方法可以应用于采集设备、转发设备和同步设备，下面，分别从应用于以上各种设备的角度，对本申请实施例所提供的多路数据流同步方法进行介绍。

如图1所示，本申请实施例所提供的一种多路数据流同步方法，应用于采集设备，该方法具体可以包括如下步骤：

S101，采集不同类型数据。

S102，以多路数据流的形式分别发送不同类型数据至接收端设备，并发送各路数据流的第一时间信令至接收端设备，以使接收端设备基于各路数据流的第一时间信令，同步各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳。

采集设备采集数据，并对采集的数据进行编码和封装处理，将处理好的数据按照数据流的形式进行发送，一路数据流的数据具有相同的类型。采集设备在发送数据流时，将每一路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳发送给对应的接收端设备，第一采集时刻和第一时间戳以第一时间信令的方式发送，具体的，第一时间信令可以通过例如RTCP(Real-time Transport Control Protocol，实时传输控制协议)中的SR(Sender Report，发送端报告)信令来实现，每一路数据流都有自己的第一时间信令，每路数据流之间相互没有依赖关系。其中，SR信令是一种RTCP报文信令，可以携带采集设备发送的数据的采集时刻和时间戳，采集时刻可以为NTP(Network Time Protocol，网络时间协议)格式，NTP格式是用来同步网络中各个设备的时间的协议格式。

接收端设备接收到各路数据流及各路数据流的第一时间信令后，由于第一时间信令包括采集数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，即便接收端设备接收到的第一时间戳发生变化，各路数据流的第一采集时刻也是一致的，因此，可以保证各路数据流的同步。接收端设备可以为上述的转发设备和同步设备等。

可选的，发送各路数据流的第一时间信令的步骤，具体可以为：按照预设周期，发送各路数据流的第一时间信令。

采集设备在发送各路数据流的第一时间信令时，不需要针对每一帧数据都发送第一时间信令，而是可以周期性的发送各路数据流的第一时间信令，通常情况下可以每隔1秒或者几秒钟发送一次第一时间信令，减缓了采集设备与接收端设备之间的数据传输压力。

可选的，多路数据流可以包括视频流、音频流和辅数据流。则以多路数据流的形式分别发送不同类型数据至接收端设备，并发送各路数据流的第一时间信令至接收端设备的步骤，具体可以为：发送视频流、音频流及辅数据流至接收端设备，并发送视频流、音频流及辅数据流的第一时间信令至接收端设备，以使接收端设备基于视频流、音频流及辅数据流的第一时间信令，同步视频流、音频流和辅数据流。

本申请实施例中的数据流的类型可以包括视频流、音频流和辅数据流，辅数据流是除视频、音频以外，其他在视频会议场景下的数据流，例如PPT、Word等文档数据流、智能信息数据流等。采集设备将这些数据流和对应的第一时间信令发送至接收端设备，接收端设备可以根据这些数据流的第一时间信令对这些数据流进行同步。

可选的，第一时间信令可以为RTCP中的SR信令。

SR信令是一种RTCP报文信令，可以携带采集设备发送的数据的采集时刻和时间戳，采集时刻可以为NTP格式，NTP格式是用来同步网络中各个设备的时间的协议格式。

如图2所示，本申请实施例所提供的一种多路数据流同步方法，应用于转发设备，该方法具体可以包括如下步骤：

S201，接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳。

S202，在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳。

S203，针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

S204，将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备，以使同步设备根据各路合成数据流的第二时间信令及接收到各路合成数据流的第三时间戳，分别计算各路合成数据流的第三采集时刻，并基于各路合成数据流的第三采集时刻，同步各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

转发设备可以为传输系统中的任一个终端设备，也可以为后台的服务器、管理设备、中间传输设备等，主要用于对接收到的数据流进行转发、合成等处理。采集设备在采集到数据后，会以多路数据流的形式将采集的不同类型数据发送至转发设备，同时将数据流的第一时间信令发送至转发设备。用户可以对数据流的控制方式进行选择，如果用户选择的控制方式为对数据流进行合成处理，转发设备会接收到合成指令，此时，转发设备将各采集设备发送来的同一类型数据的数据流合成为一路合成数据流，这样，会得到多路合成数据流，一路合成数据流的数据具有相同的类型。在合成得到合成数据流的同时，获得各路合成数据流的合成时刻对应的第二时间戳，第二时间戳是基于转发设备本地的基础时间，于什么时间合成出各路合成数据流的时间戳。

针对于各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算出该路合成数据流的第二采集时刻，第二采集时刻是指对于转发设备而言，采集各路合成数据流的采集时刻，第二采集时刻是基于第一时间信令和第二时间戳换算出来的，第一时间信令包含第一采集时刻和第一时间戳，基于第一采集时刻、第一时间戳、第二时间戳换算出来的各路合成数据流的第二采集时刻具有一致性。

在换算出第二采集时刻后，转发设备将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备，同步设备在接收到各路合成数据流和第二时间信令后，根据各路合成数据流的第二时间信令及接收到各路合成数据流的第三时间戳，分别计算出各路合成数据流的第三采集时刻，第三采集时刻是指对于同步设备而言，采集各路合成数据流的采集时刻，第三采集时刻是基于第二时间信令和第三时间戳换算出来的，第二时间信令包含第二采集时刻和第二时间戳，基于第二采集时刻、第二时间戳、第三时间戳换算出来的各路合成数据流的第三采集时刻具有一致性。这样，同步设备可以基于各路合成数据流的第三采集时刻，同步各路合成数据流，由于各路合成数据流的第三采集时刻具有一致性，因此，对各路合成数据流进行合成、渲染时，能够得到多路数据流同步的效果。

同步设备在接收到的各路合成数据流后，对各路合成数据流分别进行缓存，并且记录相应的缓存时间，缓存时间即为对应的第三采集时刻，在进行各路合成数据流的同步时，从缓存中读取相同第三采集时刻的各路合成数据流，进行合成渲染，由于各路合成数据流的第三采集时刻是一致的，因此可以保证多路数据流的同步。

可选的，各路数据流的第一时间信令可以是各采集设备周期性发送的。

相应的，S203具体可以为：针对各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

采集设备可以周期性地发送各路数据流的第一时间信令，转发设备在换算第二采集时刻时，根据合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，对该路合成数据流的第二采集时刻进行换算。

可选的，根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻的步骤，具体可以为：计算该路合成数据流对应的第二时间戳与最新收到的第一时间信令中第一时间戳的差值；根据该差值、最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

假设合成数据流i对应的第二时间戳为TS_i2、第一时间戳为TS_i1、第一采集时刻为NTP_i1，则第二采集时刻为：

NTP_i2＝NTP_i1+(TS_i2-TS_i1)/SYSTEM_CLOCK*1000

系统时钟SYSTEM_CLOCK即为数据采集频率，设置采集不同类型数据的采集频率相同。

可选的，本申请实施例所提供的方法还可以包括如下步骤：在接收到转发指令时，将各路数据流以及各路数据流的第一时间信令转发至同步设备。

转发设备还可以提供纯转发功能，如果用户选择的控制方式为对数据流进行转发处理，转发设备会接收到转发指令，此时，转发设备将各采集设备发送来的各路数据流和各路数据流的第一时间信令直接转发至同步设备。

可选的，合成指令可以包括指定数据流的类型标识。

相应的，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流的步骤，具体可以为：根据类型标识，将各采集设备发送的具有类型标识的指定数据流合成为合成数据流。

则将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备的步骤，具体可以为：将合成得到的各路合成数据流及各路合成数据流的第二时间信令发送至同步设备，并且，将未进行合成处理的各路数据流及各路数据流的第一时间信令发送至同步设备。

转发设备除了提供上述纯合成和纯转发功能以外，还可以提供对部分类型的数据流进行合成处理，而对其他数据流直接转发的功能，相应的，合成指令中可以包括指定数据流的类型标识，用于指示对哪些类型的数据流进行合成处理，转发设备在接收到合成指令后，根据类型标识，将各采集设备发送的具有类型标识的指定数据流合成为合成数据流，则在转发数据流至同步设备时，将合成得到的各路合成数据流及各路合成数据流的第二时间信令发送至同步设备，并且，将未进行合成处理的各路数据流及各路数据流的第一时间信令发送至同步设备。

可选的，第一时间信令和第二时间信令可以为RTCP中的SR信令。

如图3所示，本申请实施例所提供的一种多路数据流同步方法，应用于同步设备，该方法具体可以包括如下步骤：

S301，接收转发设备发送的各路合成数据流以及各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳。

S302，获得接收到各路合成数据流的第三时间戳。

S303，根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻。

S304，基于各路合成数据流的第三采集时刻，同步各路合成数据流。

同步设备可以为传输系统中的任一个终端设备，主要用于对各路合成数据流进行同步播放，同步设备还可以同转发设备一样，提供数据流的转发、合成等功能。同步设备在接收到各路合成数据流和第二时间信令后，根据各路合成数据流的第二时间信令及接收到各路合成数据流的第三时间戳，分别计算出各路合成数据流的第三采集时刻，第三采集时刻是指对于同步设备而言，采集各路合成数据流的采集时刻，第三采集时刻是基于第二时间信令和第三时间戳换算出来的，第二时间信令包含第二采集时刻和第二时间戳，基于第二采集时刻、第二时间戳、第三时间戳换算出来的各路合成数据流的第三采集时刻具有一致性。这样，同步设备可以基于各路合成数据流的第三采集时刻，同步各路合成数据流，由于各路合成数据流的第三采集时刻具有一致性，因此，对各路合成数据流进行合成、渲染时，能够得到多路数据流同步的效果。

同步设备在接收到的各路合成数据流后，对各路合成数据流分别进行缓存，并且记录相应的缓存时间，缓存时间即为对应的第三采集时刻，在进行各路合成数据流的同步时，从缓存中读取相同第三采集时刻的各路合成数据流，进行合成渲染，由于各路合成数据流的第三采集时刻是一致的，因此可以保证多路数据流的同步。

可选的，S303具体可以为：针对各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；根据该差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

假设合成数据流i对应的第三时间戳为TS_i3、第二时间戳为TS_i2、第二采集时刻为NTP_i2，则第三采集时刻为：

NTP_i3＝NTP_i2+(TS_i3-TS_i2)/SYSTEM_CLOCK*1000

系统时钟SYSTEM_CLOCK即为数据采集频率，设置采集不同类型数据的采集频率相同。

可选的，第二时间信令为RTCP中的SR信令。

为了便于理解，下面以会议视频的应用场景为例，对本申请实施例所提供的多路数据流同步方法进行介绍，如图4所示，为会议视频的应用场景下媒体数据流处理流程。

设备1(采集设备)加入设备2(转发设备)管理的视频会议，设备1实时采集媒体数据(包括音频、视频、文档、智能信息等)，对媒体数据进行编码和封装处理，将处理好的数据按照数据流的形式通过网络发送给设备2。

设备2根据用户的控制选择将设备1发过来的每路媒体数据流进行合成或转发，然后发给设备3(同步设备)。

设备3加入设备2管理的视频会议，并且接受来自设备2的媒体数据流(包括来自设备1的媒体数据流)，设备3根据用户的控制选择，对接收到的每路媒体数据流进行合成、转发或播放处理。

设备1、2、3均会对设备1的每一路媒体数据流进行处理，为了达到多路媒体数据流同步的目的，规定设备1、2、3在发送每一路媒体数据流的时候，需要按照一定的周期，将每一路媒体数据流的采集时刻的NTP时间以及对应的时间戳发送给下一级设备，采集时刻和时间戳可以通过RTCP中的CR信令来实现，每一路媒体数据流都有自己的CR信令，每路媒体数据流之间相互没有依赖关系。

设备2可以提供纯合成场景下的多路数据流同步、纯转发场景下的多路数据流同步以及合成和转发混合场景下的多路数据流同步，下面，分别对各场景下的同步过程进行说明。

如图5所示，为纯合成场景下的多路数据流同步的流程示意图。假设某一时刻辅数据流VAD10的采集时刻是NTP_VA10，对应的时间戳为TS_VA10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻视频流VD10的采集时刻是NTP_V10，对应的时间戳为TS_V10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻音频流AD10的采集时刻是NTP_A10，对应的时间戳为TS_A10，设备1通过SR信令将这一对参数发送给设备2。

设备2在收到设备1发过来的辅数据流VAD10后，先进行解码，然后与其他设备发过来的辅数据流进行合成编码，并对合成后的数据重新打包，生成新的辅数据流VAD11，并打上新的时间戳TS_VA11(合成得到合成数据流VAD11的时间戳)。设备2根据NTP_VA10、TS_VA11和TS_VA10，计算辅数据流VAD11的采集时刻NTP_VA11，具体为：

NTP_VA11＝NTP_VA10+(TS_VA11-TS_VA10)/VIDEO_SYSTEM_CLOCK*1000

VIDEO_SYSTEM_CLOCK为视频采集频率，对于H.264而言，VIDEO_SYSTEM_CLOCK为90000。

设备2将NTP_VA11和TS_VA11重新组成一对，如果设备3的用户需要看设备1的音视频，则将该参数对发送给设备3，可以选择RTCP的SR信令来发送。

设备2在收到设备1发过来的视频流VD10后，先进行解码，然后与其他设备发过来的视频流进行合成编码，并对合成后的数据重新打包，生成新的视频流VD11，并打上新的时间戳TS_V11(合成得到合成数据流VD11的时间戳)。设备2根据NTP_V10、TS_V11和TS_V10，计算视频流VD11的采集时刻NTP_V11，具体为：

NTP_V11＝NTP_V10+(TS_V11-TS_V10)/VIDEO_SYSTEM_CLOCK*1000。

设备2将NTP_V11和TS_V11重新组成一对，如果设备3的用户需要看设备1的音视频，则将该参数对发送给设备3，可以选择RTCP的SR信令来发送。

设备2在收到设备1发过来的音频流AD10后，先进行解码，然后与其他设备发过来的音频流进行合成编码，并对合成后的数据重新打包，生成新的音频流AD11，并打上新的时间戳TS_A11(合成得到合成数据流AD11的时间戳)。设备2根据NTP_A10、TS_A11和TS_A10，计算音频流AD11的采集时刻NTP_A11，具体为：

NTP_A11＝NTP_A10+(TS_A11-TS_A10)/AUDIO_SYSTEM_CLOCK*1000。

AUDIO_SYSTEM_CLOCK为音频采集频率，一般来讲会将音频采集频率设置的与视频采集频率相同。

设备2将NTP_A11和TS_A11重新组成一对，如果设备3的用户需要看设备1的音视频，则将该参数对发送给设备3，可以选择RTCP的SR信令来发送。

设备3在接收到辅数据流VAD11、视频流VD11和音频流AD11后，会根据最新收到的设备1相关的(NTP_VA11,TS_VA11)、(NTP_V11,TS_V11)和(NTP_A11,TS_A11)的SR信令来调整当前输入的辅数据流、视频流和音频流的缓存时间，调整方式如图6所示，从而使得在合成/渲染的时候达到多路媒体数据流同步的效果。

假如辅数据流VAD11最近收到的有关设备1的SR信令为(NTP_VA11,TS_VA11)，当前收到数据流的时间戳为TS_VA1N，则当前数据流对应的采集时刻NTP_VA为：

NTP_VA＝NTP_VA11+(TS_VA1N-TS_VA11)/VIDEO_SYSTEM_CLOCK*1000。

假如视频流VD11最近收到的有关设备1的SR信令为(NTP_V11,TS_V11)，当前收到数据流的时间戳为TS_V1N，则当前数据流对应的采集时刻NTP_V为：

NTP_V＝NTP_V11+(TS_V1N-TS_V11)/VIDEO_SYSTEM_CLOCK*1000。

假如音频流AD11最近收到的有关设备1的SR信令为(NTP_A11,TS_A11)，当前收到数据流的时间戳为TS_A1N，则当前数据流对应的采集时刻NTP_A为：

NTP_A＝NTP_A11+(TS_A1N-TS_A11)/AUDIO_SYSTEM_CLOCK*1000。

根据NTP_VA、NTP_V和NTP_A的大小，动态调整辅数据流、视频流和音频流对应的缓存大小，要达到多路流同步，合成/渲染的时候，NTP_VA、NTP_V和NTP_A的大小是一致的。

如图7所示，为纯转发场景下的多路数据流同步的流程示意图。假设某一时刻辅数据流VAD10的采集时刻是NTP_VA10，对应的时间戳为TS_VA10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻视频流VD10的采集时刻是NTP_V10，对应的时间戳为TS_V10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻音频流AD10的采集时刻是NTP_A10，对应的时间戳为TS_A10，设备1通过SR信令将这一对参数发送给设备2。

设备2在收到设备1发过来的辅数据流VAD10后，直接进行转发，设备2在收到设备1发过来的参数对(NTP_VA10,TS_VA10)后，直接转发，如果设备3的用户需要看设备的音视频，则将该参数对发送给设备3。

设备2在收到设备1发过来的视频流VD10后，直接进行转发，设备2在收到设备1发过来的参数对(NTP_V10,TS_V10)后，直接转发，如果设备3的用户需要看设备的音视频，则将该参数对发送给设备3。

设备2在收到设备1发过来的音频流AD10后，直接进行转发，设备2在收到设备1发过来的参数对(NTP_A10,TS_A10)后，直接转发，如果设备3的用户需要看设备的音视频，则将该参数对发送给设备3。

如图8所示，为合成和转发混合场景下的多路数据流同步的流程示意图。假设某一时刻辅数据流VAD10的采集时刻是NTP_VA10，对应的时间戳为TS_VA10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻视频流VD10的采集时刻是NTP_V10，对应的时间戳为TS_V10，设备1通过SR信令将这一对参数发送给设备2；假设某一时刻音频流AD10的采集时刻是NTP_A10，对应的时间戳为TS_A10，设备1通过SR信令将这一对参数发送给设备2。合成指令中设定分别对辅数据流和视频流进行合成处理。

设备2在收到设备1发过来的辅数据流VAD10后，先进行解码，然后与其他设备发过来的辅数据流进行合成编码，并对合成后的数据重新打包，生成新的辅数据流VAD11，并打上新的时间戳TS_VA11(合成得到合成数据流VAD11的时间戳)。设备2根据NTP_VA10、TS_VA11和TS_VA10，计算辅数据流VAD11的采集时刻NTP_VA11，具体为：

NTP_VA11＝NTP_VA10+(TS_VA11-TS_VA10)/VIDEO_SYSTEM_CLOCK*1000。

设备2将NTP_VA11和TS_VA11重新组成一对，如果设备3的用户需要看设备1的音视频，则将该参数对发送给设备3，可以选择RTCP的SR信令来发送。

设备2在收到设备1发过来的视频流VD10后，先进行解码，然后与其他设备发过来的视频流进行合成编码，并对合成后的数据重新打包，生成新的视频流VD11，并打上新的时间戳TS_V11(合成得到合成数据流VD11的时间戳)。设备2根据NTP_V10、TS_V11和TS_V10，计算视频流VD11的采集时刻NTP_V11，具体为：

NTP_V11＝NTP_V10+(TS_V11-TS_V10)/VIDEO_SYSTEM_CLOCK*1000。

设备2将NTP_V11和TS_V11重新组成一对，如果设备3的用户需要看设备1的音视频，则将该参数对发送给设备3，可以选择RTCP的SR信令来发送。

设备2在收到设备1发过来的音频流AD10后，直接进行转发，设备2在收到设备1发过来的参数对(NTP_A10,TS_A10)后，直接转发，如果设备3的用户需要看设备的音视频，则将该参数对发送给设备3。

设备3在接收到辅数据流VAD11、视频流VD11和音频流AD10后，会根据最新收到的设备1相关的(NTP_VA11,TS_VA11)、(NTP_V11,TS_V11)和(NTP_A10,TS_A10)的SR信令来调整当前输入的辅数据流、视频流和音频流的缓存时间，从而使得在合成/渲染的时候达到多路媒体数据流同步的效果。

图8描述的是视频合成、音频转发的场景，对于音频合成、视频转发的场景，也可以通过同样的策略实现多路媒体数据流同步。

本申请提供的多路数据流同步方法中，采集设备采集不同类型数据，以多路数据流的形式发送不同类型数据至转发设备，并发送各路数据流的第一时间信令至转发设备；转发设备在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳，针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备；同步设备获得接收到各路合成数据流的第三时间戳；根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻，基于各路合成数据流的第三采集时刻，同步各路合成数据流。

采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

并且，提高了设备的可扩展性，每个设备均可以配置为合成或者转发的角色，不会因为设备节点的增多和设备的角色配置而影响多路数据流的同步；支持后续功能扩展，如果增加更多路数据流，也能实现数据流之间的同步。

相应于上述方法实施例，本申请实施例还提供了一种多路数据流同步装置，如图9所示，应用于采集设备，该装置可以包括：

采集模块910，用于采集不同类型数据；

发送模块920，用于以多路数据流的形式分别发送不同类型数据至接收端设备，并发送各路数据流的第一时间信令至接收端设备，以使接收端设备基于各路数据流的第一时间信令，同步各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳。

可选的，发送模块920在用于发送各路数据流的第一时间信令时，具体可以用于：按照预设周期，发送各路数据流的第一时间信令。

可选的，多路数据流可以包括视频流、音频流和辅数据流；

发送模块920，具体可以用于：

发送视频流、音频流及辅数据流至接收端设备，并发送视频流、音频流及辅数据流的第一时间信令至接收端设备，以使接收端设备基于视频流、音频流及辅数据流的第一时间信令，同步视频流、音频流和辅数据流。

可选的，第一时间信令可以为RTCP中的SR信令。

本申请实施例还提供了一种多路数据流同步装置，如图10所示，应用于转发设备，该装置可以包括：

接收模块1010，用于接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳；

合成模块1020，用于在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

计算模块1030，用于针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

发送模块1040，用于将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备，以使同步设备根据各路合成数据流的第二时间信令及接收到各路合成数据流的第三时间戳，分别计算各路合成数据流的第三采集时刻，并基于各路合成数据流的第三采集时刻，同步各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

可选的，各路数据流的第一时间信令可以是各采集设备周期性发送的；

计算模块1030，具体可以用于：

针对各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；

根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

可选的，计算模块1030在用于根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体可以用于：

计算该路合成数据流对应的第二时间戳与最新收到的第一时间信令中第一时间戳的差值；

根据该差值、最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

可选的，发送模块1040，还可以用于：

在接收到转发指令时，将各路数据流以及各路数据流的第一时间信令转发至同步设备。

可选的，合成指令可以包括指定数据流的类型标识；

合成模块1020在用于将各采集设备发送的同一类型的数据流合成为一路合成数据流，得到多路合成数据流时，具体可以用于：

根据类型标识，将各采集设备发送的具有类型标识的指定数据流合成为合成数据流；

发送模块1040，具体可以用于：

将合成得到的各路合成数据流及各路合成数据流的第二时间信令发送至同步设备，并且，将未进行合成处理的各路数据流及各路数据流的第一时间信令发送至同步设备。

可选的，第一时间信令和第二时间信令可以为RTCP中的SR信令。

本申请实施例还提供了一种多路数据流同步装置，如图11所示，应用于同步设备，该装置可以包括：

接收模块1110，用于接收转发设备发送的各路合成数据流以及各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳；

获得模块1120，用于获得接收到各路合成数据流的第三时间戳；

计算模块1130，用于根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻；

同步模块1140，用于基于各路合成数据流的第三采集时刻，同步各路合成数据流。

可选的，计算模块1130，具体可以用于：

针对各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据该差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

可选的，第二时间信令可以为RTCP中的SR信令。

应用本申请实施例，采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

相应于上述方法实施例，本申请实施例还提供了一种多路数据流同步的逐级传输系统，如图12所示，该系统包括：多个采集设备1201、转发设备1202和同步设备1203；

采集设备1201，用于采集不同类型数据，以多路数据流的形式分别发送不同类型数据至转发设备1202，并发送各路数据流的第一时间信令至转发设备1202，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳；

转发设备1202，用于接收各采集设备1201分别发送的各路数据流以及各路数据流的第一时间信令；在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；将各路合成数据流以及各路合成数据流的第二时间信令发送至同步设备1203，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳；

同步设备1203，用于接收转发设备1202发送的各路合成数据流以及各路合成数据流的第二时间信令；获得接收到各路合成数据流的第三时间戳；根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻；基于各路合成数据流的第三采集时刻，同步各路合成数据流。

可选的，采集设备1201在发送各路数据流的第一时间信令至转发设备1202时，具体可以用于：

按照预设周期，发送各路数据流的第一时间信令至转发设备1202；

转发设备1202在针对各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体可以用于：

针对各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

可选的，转发设备1202在根据最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体可以用于：

计算该路合成数据流对应的第二时间戳与最新收到的第一时间信令中第一时间戳的差值；

根据该差值、最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

可选的，同步设备1203在根据各路合成数据流的第二时间信令及第三时间戳，分别计算各路合成数据流的第三采集时刻时，具体可以用于：

针对各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据该差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

可选的，转发设备1202，还可以用于：

在接收到转发指令时，将各路数据流以及各路数据流的第一时间信令转发至同步设备1203。

可选的，合成指令可以包括指定数据流的类型标识；

转发设备1202在将各采集设备发送的同一类型的数据流合成为一路合成数据流，得到多路合成数据流时，具体可以用于：

根据类型标识，将各采集设备发送的类型标识对应的指定数据流合成为合成数据流；

转发设备1202在将各路合成数据流以及各路合成数据流的第二时间信令发送至所述同步设备1203时，具体可以用于：

将合成得到的各路合成数据流及各路合成数据流的第二时间信令发送至同步设备1203，并且，将未进行合成处理的各路数据流及各路数据流的第一时间信令转发至同步设备1203。

可选的，第一时间信令和第二时间信令可以为RTCP中的SR信令。

应用本申请实施例，采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

本申请实施例提供了一种传输设备，如图13所示，可以包括处理器1301和机器可读存储介质1302，机器可读存储介质1302存储有能够被处理器1301执行的机器可执行指令，处理器1301被机器可执行指令促使：实现如上述应用于采集设备、转发设备或者同步设备的多路数据流同步方法。

上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离上述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

机器可读存储介质1302与处理器1301之间可以通过有线连接或者无线连接的方式进行数据传输，并且传输设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。图13所示的仅为处理器1301与机器可读存储介质1302之间通过总线进行数据传输的示例，不作为具体连接方式的限定。

本实施例中，处理器1301通过读取机器可读存储介质1302中存储的机器可执行指令，并通过运行该机器可执行指令，能够实现：采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

本申请实施例还提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现如上述任一个多路数据流同步方法。

本实施例中，机器可读存储介质存储有在运行时执行本申请实施例所提供任一个的多路数据流同步方法的机器可执行指令，因此能够实现：采集设备在发送各路数据流的同时，发送各路数据流的第一时间信令，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳，转发设备在进行数据流合成处理时，换算出各路合成数据流的第二采集时刻，则在向同步设备发送各路合成数据流时，同时发送包括第二采集时刻和第二时间戳的第二时间信令，使得同步设备在接收到多路合成数据流后，换算出各路合成数据流的第三采集时刻，同步设备接收到各路合成数据流的时间戳即便不同，由于采集设备、转发设备和同步设备的系统时钟相同，基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻，换算出本级设备对应各路数据流的采集时刻具有一致性，也就是说，对于同步设备而言，各路合成数据流的第三采集时刻是一致的，因此，实现了多路数据流的同步。

对于计算机设备以及机器可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、多路数据流同步的逐级传输系统、传输设备、机器可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (23)

1.一种多路数据流同步方法，其特征在于，应用于转发设备，所述方法包括：

接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

2.根据权利要求1所述的方法，其特征在于，所述各路数据流的第一时间信令是所述各采集设备周期性发送的；

所述针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，包括：

针对所述各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；

根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

3.根据权利要求2所述的方法，其特征在于，所述根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻，包括：

计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值；

根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到转发指令时，将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。

5.根据权利要求1所述的方法，其特征在于，所述合成指令包括指定数据流的类型标识；

所述将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，包括：

根据所述类型标识，将所述各采集设备发送的具有所述类型标识的指定数据流合成为合成数据流；

所述将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，包括：

将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至同步设备，并且，将未进行合成处理的各路数据流及所述各路数据流的第一时间信令发送至所述同步设备。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一时间信令和所述第二时间信令为实时传输控制协议RTCP中的发送段报告SR信令。

7.一种多路数据流同步方法，其特征在于，应用于同步设备，所述方法包括：

接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳；其中，所述第二时间戳由所述转发设备通过以下方式获得：所述转发设备在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；所述第二采集时刻由所述转发设备通过如下方式换算得到：所述转发设备针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳换算得到的第二采集时刻；所述第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

获得接收到所述各路合成数据流的第三时间戳；

根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；

基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流。

8.根据权利要求7所述的方法，其特征在于，所述根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻，包括：

针对所述各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

9.根据权利要求7所述的方法，其特征在于，所述第二时间信令为RTCP中的SR信令。

10.一种多路数据流同步方法，其特征在于，应用于采集设备，所述方法包括：

采集不同类型数据；

以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；其中，所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流包括：

在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

11.根据权利要求10所述的方法，其特征在于，所述发送各路数据流的第一时间信令，包括：

按照预设周期，发送各路数据流的第一时间信令。

12.根据权利要求10所述的方法，其特征在于，所述多路数据流包括视频流、音频流和辅数据流；

所述以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，包括：

发送所述视频流、所述音频流及所述辅数据流至接收端设备，并发送所述视频流、所述音频流及所述辅数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述视频流、所述音频流及所述辅数据流的第一时间信令，同步所述视频流、所述音频流和所述辅数据流。

13.根据权利要求10-12任一项所述的方法，其特征在于，所述第一时间信令为RTCP中的SR信令。

14.一种多路数据流同步装置，其特征在于，应用于转发设备，所述装置包括：

接收模块，用于接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令，其中，任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

合成模块，用于在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

计算模块，用于针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

发送模块，用于将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

15.一种多路数据流同步装置，其特征在于，应用于同步设备，所述装置包括：

接收模块，用于接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳；

获得模块，用于获得接收到所述各路合成数据流的第三时间戳；

计算模块，用于根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；

同步模块，用于基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流；

其中，所述第二时间戳由所述转发设备通过以下方式获得：所述转发设备在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；所述第二采集时刻由所述转发设备通过以下方式换算得到：所述转发设备针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳换算得到的第二采集时刻；所述第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳。

16.一种多路数据流同步装置，其特征在于，应用于采集设备，所述装置包括：

采集模块，用于采集不同类型数据；

发送模块，用于以多路数据流的形式分别发送所述不同类型数据至接收端设备，并发送各路数据流的第一时间信令至所述接收端设备，以使所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

其中，所述接收端设备基于所述各路数据流的第一时间信令，同步所述各路数据流包括：

在接收到合成指令时，将各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；

针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；

将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备，以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳，分别计算所述各路合成数据流的第三采集时刻，并基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。

17.一种多路数据流同步的逐级传输系统，其特征在于，所述系统包括：多个采集设备、转发设备和同步设备；

所述采集设备，用于采集不同类型数据，以多路数据流的形式分别发送所述不同类型数据至所述转发设备，并发送各路数据流的第一时间信令至所述转发设备，其中，任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳；

所述转发设备，用于接收各采集设备分别发送的各路数据流以及所述各路数据流的第一时间信令；在接收到合成指令时，将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流，并获得各路合成数据流的合成时刻对应的第二时间戳；针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻；将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备，其中，任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳；

所述同步设备，用于接收所述转发设备发送的所述各路合成数据流以及所述各路合成数据流的第二时间信令；获得接收到所述各路合成数据流的第三时间戳；根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻；基于所述各路合成数据流的第三采集时刻，同步所述各路合成数据流。

18.根据权利要求17所述的系统，其特征在于，所述采集设备在发送各路数据流的第一时间信令至所述转发设备时，具体用于：

按照预设周期，发送所述各路数据流的第一时间信令至所述转发设备；

所述转发设备在针对所述各路合成数据流，根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体用于：

针对所述各路合成数据流，读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令；根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻。

19.根据权利要求18所述的系统，其特征在于，所述转发设备在根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳，换算得到该路合成数据流的第二采集时刻时，具体用于：

计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值；

根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟，计算得到该路合成数据流的第二采集时刻。

20.根据权利要求17所述的系统，其特征在于，所述同步设备在根据所述各路合成数据流的第二时间信令及第三时间戳，分别计算所述各路合成数据流的第三采集时刻时，具体用于：

针对所述各路合成数据流，计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值；

根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟，计算得到该路合成数据流的第三采集时刻。

21.根据权利要求17所述的系统，其特征在于，所述转发设备，还用于：

在接收到转发指令时，将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。

22.根据权利要求17所述的系统，其特征在于，所述合成指令包括指定数据流的类型标识；

所述转发设备在将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流，得到多路合成数据流时，具体用于：

根据所述类型标识，将所述各采集设备发送的所述类型标识对应的指定数据流合成为合成数据流；

所述转发设备在将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备时，具体用于：

将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至所述同步设备，并且，将未进行合成处理的各路数据流及所述各路数据流的第一时间信令转发至所述同步设备。

23.根据权利要求17-22任一项所述的系统，其特征在于，所述第一时间信令和所述第二时间信令为RTCP中的SR信令。

Images