CN112272306A - 一种多路实时交互视频融合传输方法 - Google Patents

Abstract

本发明提供了一种多路实时交互视频融合传输方法，包括步骤：通过K个实时视频源获取K路实时视频；实时视频源向全局时钟服务器获取全局时间，并将获取的实时视频和全局时间发送给分布式服务器；分布式服务器根据接收到的全局时间，将接收到的实时视频分别插入到对应的缓存同步队列的对应位置处，并利用视频融合器对接收到的实时视频进行融合；其中，在视频融合过程中，对于丢失视频数据包的缺失视频进行如下融合操作：基于缺失视频中的丢失视频数据对应的缺失区域的前一视频帧A和对应的全局时间TA，以及丢失视频数据的后一视频帧B和对应的全局时间TB来对所述缺失区域进行填充。本发明能够确保视频融合同步，实时性好和用户体验好。

Description

一种多路实时交互视频融合传输方法

技术领域

本发明涉及一种视频缓存存储方法，具体涉及一种多路实时交互视频融合 传输方法。

背景技术

在一定网络带宽的情况下，实时视频的播放多采用缓存技术实现。多路实 时交互视频在同一客户端上的播放时，由于每一路实时视频的传输中均存在不 同的网络路径，从而产生不同的网络延迟，进而导致在同一客户端上播放时无 法做到较好的同步。现有技术中的方案是通过网络架构和拓扑结构的设计来提 升网络传输速度，以及提升硬件处理速度，从而尽可能的消除或缓解每一路实 时视频的传输延时。但在固有的网络传输速度和硬件处理速度的基础上，能够 实时进行交互视频同步播放的数量或者路数有限，例如，目前的抖音快手斗鱼 等视频播放平台或视频直播平台，只能播放两路的连麦。此外，由于在视频传 输过程中，会存在因各种原因例如网络延迟、设备卡顿等技术原因而丢失视频 数据导致的视频融合不同步的情况。

发明内容

针对上述技术问题，本发明实施例提供一种多路实时交互视频融合传输方 法，该方法能够确保同步融合多路视频，并且能够提高融合效率，用户体验好。

本发明采用的技术方案为：

本发明实施例提供一种多路实时交互视频融合传输方法，包括以下步骤：

S100，通过K个实时视频源获取K路实时视频，K≥2；

S110，所述实时视频源向全局时钟服务器获取全局时间，并将获取的实时 视频和全局时间发送给分布式服务器；

S120，所述分布式服务器根据接收到的全局时间，将接收到的实时视频分别插入到对应的缓存同步队列的对应位置处，并利用视频融合器对接收到的实时视频进行融合；

其中，在视频融合过程中，对于丢失视频数据包的缺失视频进行如下融合操作：基于缺失视频中的丢失视频数据对应的缺失区域的前一视频帧A和对应的全局时间TA，以及丢失视频数据的后一视频帧B和对应的全局时间TB 来对所述缺失区域进行填充。

本发明实施例提供的多路实时交互视频融合传输方法，一方面，由于向分布式服务器发送的实时视频具有全局时间，使得多个实时视频源的上传同步，避免因某个实时视频源中间因各种原因(例如网络延迟、设备卡顿等技术原因) 丢失视频数据导致的视频融合不同步。另一方面，在对丢失视频数据包的队列的进行融合时，如果缺失区域的时间特别短，例如几秒钟内，那直接使用视频帧A或视频帧B进行填充，处理效率高又不影响用户体验。在视频缺失区域比较长的情况，对于变化不明显的部分，仍然使用视频帧A和视频帧B进行填充，这样大幅度提升了处理效率。变化是否明显的判断过程中，使用子视频帧进行判断，进一步提高了处理效率，保证了实时性。

附图说明

图1为本发明实施例提供的实时交互视频同步播放系统的结构示意图；

图2为本发明实施例提供的多路实时交互视频融合传输方法的流程示意图；

图3为本发明实施例一示意性的融合模板图；

图4为具有丢失视频数据包的队列的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供的多路实时交互视频融合传输方法涉及的硬件设备可如图1所示。如图1所示，本发明实施例提供了一种实时交互视频同步播放系统，包括：

K个实时视频源，实时视频源可以实现为能够实时拍摄视频的任意终端设备，该终端设备上包括能够向分布式服务器发送实时视频的软件，K≥2。在一个具体应用示例中，所述K个实时视频源可包括1个主播视频源和K-1个从播视频源。所有K个实时视频源中任意两个视频帧中之间的时间差是相同的，或者说帧率是相同，例如都是每秒30帧或每秒24帧。

M个播放终端，播放终端为能够播放多路实时交互视频的任意终端设备，以及该设备上能够播放视频的软件。终端设备可以为PC，也可以为移动终端。

分布式服务器，包括缓存同步队列和视频融合器。实时视频源通过网络通信连接到分布式服务器，播放终端也通过网络重新连接到分布式服务器。实时视频源、播放终端和分布式服务器均与全局时钟服务器(未显示)通信连接。在本发明实施例中，缓存同步队列可包括K个队列，每个队列都设置有黑屏计数器BN，黑屏计数器BN的初始值为0。此外，可使进度条来显示缓存的视频，如图1所示，进度条中的黑色区域表示接收到了对应的视频，空白区域表示没有接收到对应的视频。

本发明实施例提供的多路实时交互视频融合传输方法，用于对按照全局时间对通过图1所示的K个实时视频源获取的实时视频进行存放的缓存同步队列中丢失视频数据包的缓存同步队列的融合处理。如图2所示，本发明实施例提供的多路实时交互视频融合传输方法可包括以下步骤：

S100，通过K个实时视频源获取K路实时视频；

S110，所述实时视频源向全局时钟服务器获取全局时间，并将获取的实时视频和全局时间发送给分布式服务器；

S120，所述分布式服务器根据接收到的全局时间，将接收到的实时视频分别插入到对应的缓存同步队列的对应位置处，并利用视频融合器对接收到的实时视频进行融合。

进一步地，在本发明实施例中，步骤S110可具体包括：

S111，主播视频源向所述K-1个从播视频源发送视频同步请求信息；

S112，响应于接收到所述视频同步请求信息，所述从播视频源向所述主播视频源发送应答信息，同时从全局时钟服务器处获取全局时间；

S113，所述主播视频源在接收到所述应答信息时，同时从全局时钟服务器处获取全局时间；

S114，所述主播视频源将获取的主播视频和全局时间传输给分布式服务器，以及所述从播视频源将获取的从播视频和全局时间传输给所述分布式服务器。

进一步地，所述K个实时视频源在向所述分布式服务器传输视频的过程中，每隔预设的时间均向所述全局时钟服务器获取全局时间。所述预设的时间远大于所述K个实时视频源与所述全局时钟服务器之间的网络延迟时间。

在该实施例中，由于K个实时视频源向分布式服务器传输的每帧视频可都具有一个时间戳，从而使得分布式服务器可按照全局时间来对接收到的实时视频进行缓存，进而使得多个实时视频源的上传同步，避免因某个实时视频源中间因各种原因(例如网络延迟、设备卡顿等技术原因)丢失视频数据导致的视频融合不同步。

进一步地，在步骤S120中，所述分布式服务器在接收到任一实时视频v 和对应的全局时间Tv时，执行如下处理步骤：

S121，将实时视频v逐帧插入到对应的缓存同步队列v中，1≤v≤K；

S122，遍历缓存同步队列，如果BFmin≥D1，调用视频融合器对缓存同步队列中的视频帧进行融合；否则，执行S123；其中，BFmin为缓存同步队列中最短的队列；D1为预设的第一时间阈值，单位为秒；

S123，如果BFmax≤D2，执行等待操作；否则，执行步骤S124；D2为预设的第二时间阈值，单位为秒，D2＞D1；

S124，不对BFmin对应的实时视频进行融合，重新执行S122，并将BFmin 对应的黑屏计数器的值加1；

S125，如果BFmin对应的黑屏计数器等于2，则执行S126；否则，直接执行S210；

S126，遍历所述K-1个从播视频源对应的K-1个黑屏计数器，如果有超过L个的黑屏计数器的值等于1，则将BFmin对应的黑屏计数器的值设置为1，将L个黑屏计数器的值设置为0，L≤K-1。

优选地，在一个示意性实施例中，D1为M个播放终端中设置的最小缓存时间对应的视频帧的数量，例如3秒。D2优选根据D1确定，例如D2＝2*D1。

优选地，在本发明示意性实施例中，L可根据缓存同步队列中维护的配置表来设置，例如，按照如下方式进行设置：

K＝6，L＝3

K＝5，L＝3

K＝4，L＝2

K＝3，L＝2。

在本发明实施例中，黑屏计算器的值实质上的反应了不同的缓存同步队列接收到不同的实时视频源的网络速度。步骤S124-S126的技术效果在于：如果某一个实时视频源，它对应的黑屏计数器增加到2，而其他的实时视频源都还是0，这就说明其他实时视频源的网络状态是很好的，而只有这个黑屏计数器的值为2的网络状态是差的，所以这个时候将黑屏计数器的值为2的这个实时视频源停掉。另一种情况，如果超过L个的黑屏计数器都变成了1，那么说明大家的网络质量都分时不好，就是说有一段这个差点有一段那个差点，这种情况下有可能是主播视频源的问题，不停播任何的实时视频源。

需要说明的是，主播视频源是优先保证网络速度的，一般不会出现黑屏，因此S126的遍历视频源为K-1个从播视频源，然而，在另一实施例中，也可以遍历所有的K个实时视频源，技术效果是相同的。

在本发明实施例中，视频融合器中可存储有融合模板，融合模板根据队列的数量确定。例如对于4个视频，融合模板如图3所示，其中一个队列对应着一个视频区域。这种融合模板可为本领域公知技术。

由于本发明实施例中，实时视频是按照全局时间来进行缓存的，在缓存过程中，可能会出现丢失视频数据包的队列，例如，如图4所示，视频i的队列中由于没有丢失视频数据包，没有出现空白区域，而视频j的队列由于丢失视频数据包，在两个黑色区域之间存在空白区域(以下称之为缺失区域)。在这种情况下，在视频融合过程中，对于丢失视频数据包的缺失视频，本发明实施例的视频融合器可按照如下实施例进行融合操作：

实施例1：将缺失区域按照黑屏进行融合。这种处理方式的优点是处理方式简单，但缺点是用户体验不好。

实施例2：使用缺失区域时间之前的视频帧填充，或者使用缺失区域时间之后的视频帧进行填充。这种处理方式也比较简单，但是用户体验仍然会有细微的不足，因为缺失区域处是静态视频图像，看上去比较死板。

实施例3：使用缺失区域时间之前和之后的视频帧进行差值。这样做的缺点是每个像素点都要进行差值计算，计算量较大，实时性的要求难以满足。

实施例4：基于缺失视频中的丢失视频数据对应的缺失区域的前一视频帧 A和对应的全局时间TA，以及丢失视频数据的后一视频帧B和对应的全局时间TB来对所述缺失区域进行填充。

在该实施例中，在视频融合过程中，对于丢失视频数据包的缺失视频具体进行如下融合操作：

S210，将全局时间TB和TA的差值(TB-TA)与预设的第三时间阈值D3 进行比较，如果(TB-TA)≤D3，则使用视频帧A或/和视频帧B填充所述缺失区域。

优选地，在步骤S210中，使用视频帧A填充[TA，(TA+TB)/2]对应的缺失区域，B填充((TA+TB)/2，TB]对应的缺失区域。

D3为预设的时间阈值，取值范围可为例如3-5秒。

步骤S210的技术效果在于：连麦的过程当中虽然会出现缺失区域，如果缺失区域的时间特别短，例如几秒钟内，那么根据本发明直接使用视频帧A 或视频帧B进行填充，这种方式避免了连麦视频中出现黑屏，而且由于时间比较短，一般用户难以发现视频A和视频B进行了填充，从而不影响用户的观看效果。

进一步地，还包括：

S220，如果(TB-TA)大于D3，获取视频帧A和B的分辨率(W，H)，并基于获取的分辨率将视频帧A和B分别划分为多个具有相同边长的正方形的子帧Aij和Bij，其中，i的取值为

j的取值为

E为正方形子帧的边长；W为视频帧A和B的以像素为单位的宽度，H为视频帧A和B的以像素为单位的高度。优选的，E＝4个像素，或者8个像素。例如，E＝8时，720像素*480像素的视频帧被划分为90*60个子帧，每个子帧包括8*8个像素。

S230，对于任何一个子帧Aij和对应的Bij，如果

则使用子帧Aij填充[TA，(TA+TB)/2]对应的缺失区域的子帧，使用子帧Bij填充 ((TA+TB)/2，TB]对应的缺失区域的子帧，否则，即如果

执行步骤S240。

S240，将像素值

作为缺失区域中的每一帧中与子帧Aij和Bij对应的子帧的像素值，T为与Aij和Bij对应的子帧对应的全局时间， D4为预设的第四时间阈值，单位为秒，取值范围可为(0.5，1)，优选为(0.8，0.9)。

在步骤S240中，如果

对于缺失区域中的每一帧中与子帧Aij和Bij对应的子帧的像素值P可按照公式(1)计算得到：

由于不同的缺失区域具有不同的全局时间，这样，可通过公式(1)得到缺失区域中各个与子帧Aij和Bij对应的子帧的像素值，从而可基于得到的像素值对缺失区域进行填充。由于采用子帧进行线性插值计算，从而相对于实施例 3，能够大大地减少计算量，能够确保实时性。

步骤S220至S240的技术效果在于：在视频缺失区域比较长的情况，由于连麦直播的时候，场景一般不会发生变化，更通常的情况下只是主播的半身像。因此本发明中，对于变化不明显的部分，仍然使用视频帧A和视频帧B进行填充，这样大幅度提升了处理效率。变化是否明显的判断过程中，使用子视频帧进行判断，进一步提高了处理效率，保证了实时性。

本发明实施例中，优选采用实施例4所示出的融合方式进行缺失视频的融合。

进一步地，本发明实施例中，还包括：

S130，将融合后的视频传输给M个播放终端。

综上，本发明实施例提供的多路实时交互视频融合传输方法，一方面，由于向分布式服务器发送的实时视频具有全局时间，使得多个实时视频源的上传同步，避免因某个实时视频源中间因各种原因(例如网络延迟、设备卡顿等技术原因)丢失视频数据导致的视频融合不同步。另一方面，在对丢失视频数据包的队列的进行融合时，如果缺失区域的时间特别短，例如几秒钟内，那直接使用视频帧A或视频帧B进行填充，处理效率高又不影响用户体验。在视频缺失区域比较长的情况，对于变化不明显的部分，仍然使用视频帧A和视频帧B进行填充，这样大幅度提升了处理效率。变化是否明显的判断过程中，使用子视频帧进行判断，进一步提高了处理效率，保证了实时性。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种多路实时交互视频融合传输方法，其特征在于，包括以下步骤：

S100，通过K个实时视频源获取K路实时视频，K≥2；

S110，所述实时视频源向全局时钟服务器获取全局时间，并将获取的实时视频和全局时间发送给分布式服务器；

S120，所述分布式服务器根据接收到的全局时间，将接收到的实时视频分别插入到对应的缓存同步队列的对应位置处，并利用视频融合器对接收到的实时视频进行融合；

其中，在视频融合过程中，对于丢失视频数据包的缺失视频进行如下融合操作：基于缺失视频中的丢失视频数据对应的缺失区域的前一视频帧A和对应的全局时间TA，以及丢失视频数据的后一视频帧B和对应的全局时间TB来对所述缺失区域进行填充。

2.根据权利要求1所述的多路实时交互视频融合传输方法，其特征在于，所述K个实时视频源包括1个主播视频源和K-1个从播视频源，其中，步骤S110具体包括：

S111，主播视频源向所述K-1个从播视频源发送视频同步请求信息；

S112，响应于接收到所述视频同步请求信息，所述从播视频源向所述主播视频源发送应答信息，同时从全局时钟服务器处获取全局时间；

S113，所述主播视频源在接收到所述应答信息时，同时从全局时钟服务器处获取全局时间；

S114，所述主播视频源将获取的主播视频和全局时间传输给分布式服务器，以及所述从播视频源将获取的从播视频和全局时间传输给所述分布式服务器。

3.根据权利要求1所述的多路实时交互视频融合传输方法，其特征在于，所述K个实时视频源在向所述分布式服务器传输视频的过程中，每隔预设的时间均向所述全局时钟服务器获取全局时间。

4.根据权利要求3所述的多路实时交互视频融合传输方法，其特征在于，所述预设的时间远大于所述K个实时视频源与所述全局时钟服务器之间的网络延迟时间。

5.根据权利要求1所述的多路实时交互视频融合传输方法，其特征在于，所述缓存同步队列包括K个队列，每个队列都设置有黑屏计数器BN，黑屏计数器BN的初始值为0；

其中，在步骤S120中，所述分布式服务器在接收到任一实时视频v和对应的全局时间Tv时，执行如下处理步骤：

S121，将实时视频v逐帧插入到对应的缓存同步队列v中，1≤v≤K；

S122，遍历缓存同步队列，如果BFmin≥D1，调用视频融合器对缓存同步队列中的视频帧进行融合；否则，执行S123；其中，BFmin为缓存同步队列中最短的队列；D1为预设的第一时间阈值；

S123，如果BFmax≤D2，执行等待操作；否则，执行步骤S124；D2为预设的第二时间阈值，D2＞D1；

S124，不对BFmin对应的实时视频进行融合，重新执行S122，并将BFmin对应的黑屏计数器的值加1；

S125，如果BFmin对应的黑屏计数器等于2，则执行S126；否则，直接执行S210；

S126，遍历所述K-1个从播视频源对应的K-1个黑屏计数器，如果有超过L个的黑屏计数器的值等于1，则将BFmin对应的黑屏计数器的值设置为1，将L个黑屏计数器的值设置为0，L≤K-1。

6.根据权利要求或5所述的多路实时交互视频融合传输方法，其特征在于，D2＝2*D1。

7.根据权利要求1或5所述的多路实时交互视频融合传输方法，其特征在于，在视频融合过程中，对于丢失视频数据包的缺失视频具体进行如下融合操作：

S210，将全局时间TB和TA的差值(TB-TA)与预设的第三时间阈值D3进行比较，如果(TB-TA)≤D3，则使用视频帧A或/和视频帧B填充所述缺失区域。

8.根据权利要求7所述的多路实时交互视频融合传输方法，其特征在于，还包括：

S220，如果(TB-TA)大于D3，获取视频帧A和B的分辨率(W，H)，并基于获取的分辨率将视频帧A和B分别划分为多个具有相同边长的正方形的子帧Aij和Bij，其中，i的取值为

j的取值为

E为正方形子帧的边长；

S230，对于任何一个子帧Aij和对应的Bij，如果

则使用子帧Aij填充[TA，(TA+TB)/2]对应的缺失区域的子帧，使用子帧Bij填充((TA+TB)/2，TB]对应的缺失区域的子帧，否则，即如果

执行步骤S240；

S240，将像素值

作为缺失区域中的每一帧中与子帧Aij和Bij对应的子帧的像素值，T为与Aij和Bij对应的区域对应的全局时间，D4为预设的第四时间阈值。

9.根据权利要求7所述的多路实时交互视频融合传输方法，其特征在于，在步骤S210中，使用视频帧A填充[TA，(TA+TB)/2]对应的缺失区域，B填充((TA+TB)/2，TB]对应的缺失区域。

Images