CN102932667B - 一种实时流媒体上传中的丢帧控制与续传方法及系统 - Google Patents

Abstract

本发明公开了一种实时流媒体上传中的丢帧控制与续传系统，包括视频获取端和媒体服务器端；其特征在于：所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并；本发明还公开了一种实时流媒体上传中的丢帧控制与续传方法。本发明一方面通过应用层选择性丢帧，将丢弃的数据帧放入续传队列，保证直播的实时性传输，节约传输带宽；另一方面，在随后网络状况稍好时通过新连接适时重传续传队列中的数据帧，从而保证所存储的视频的完整性，提高点播视频的质量。

Description

一种实时流媒体上传中的丢帧控制与续传方法及系统

技术领域

本发明涉及一种实时流媒体上传中的丢帧控制与续传方法及系统，属于网络多媒体数据传输技术领域。

背景技术

当今，人们对于获得实时事件现场视频信息的需求越来越强烈。利用专业的新闻拍摄设备或手机、摄像头等便携拍摄设备可以实时捕获实时事件的现场信息，并将其快速传播给大众。如图1所示，这类系统通常都包含视频拍摄端和媒体服务器端两部分，由视频拍摄端将实时拍摄的内容及时上传到媒体服务器，通过媒体服务器向感兴趣的用户群体进行直播。同时，媒体服务器还必须将实时拍摄的视频进行存储，一方面作为备份，另一方面满足后续用户的点播需求。

然而，由于上传带宽受限（如通过3G网络进行上传）或上传过程中传输网络的拥堵问题，为保证直播的实时性，应允许视频拍摄端向媒体服务器实时上传视频流的过程中选择性地丢弃一些已于播放无益的视频帧（如超过预期播放时间点的视频帧）。通常，实时流媒体传输协议就是通过允许丢帧而达到实时播放的目的。但是另一方面，丢帧会降低直播画面的质量。如果不恢复这些丢弃的帧，那么媒体服务器所备份的视频也将是不完整的视频，后续用户的点播所观看到的内容将和直播用户的体验是一样的。相反，如果能恢复这些丢弃的帧，则能提升视频的画面质量，从而为后续的点播用户提供高质量的体验。

上述两个需求存在矛盾之处。一方面，实时的直播需求要求采用实时流媒体传输协议，这类协议一般直接基于UDP之上；另一方面，对存储完整性的要求则要求采用可靠的传输协议，如TCP，但TCP显然会降低视频传输的实时性。

发明内容

本发明所要解决的技术问题是基于背景技术的缺陷而提出的一种实时流媒体上传中的丢帧控制和续传方法与系统，一方面通过应用层选择性丢帧，并将丢弃的数据帧暂存在客户端续传队列，保证直播的实时性传输，另一方面通过将暂存在续传队列的视频帧通过新连接适时重传保证所存储的视频的完整性。

本发明为解决上述技术问题采用以下技术方案：

一种实时流媒体上传中的丢帧控制与续传系统，包括视频获取端和媒体服务器端；所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并。

其中，⑴所述视频获取端包括：

a, 视频拍摄模块，用于实时获取视频场景数据，并标记预播放时刻；

b, 第一视频序列标识协商模块，用于和媒体服务器端协商生成每个视频帧序列的唯一标识；

c, 发送队列，用于存储预备发送的视频帧序列；

d, 发送队列检测模块，用于检测发送队列中的视频数据帧是否位于发送窗口之内；

e, 实时视频上传模块，用于按序向媒体服务器端发送位于发送窗口内的视频数据帧；

f, 续传队列，用于存储因实时传输延迟导致的位于发送窗口外的视频数据帧；

g, 续传模块，用于在后续网络信道通畅时刻向媒体服务器端上传续传队列中的视频数据帧。

  ⑵所述媒体服务器端包括：

h, 第二视频序列标识协商模块，用于和视频获取端协商生成每个视频帧序列的唯一标识；

i, 实时视频接收模块，用于接收实时视频上传模块发送的实时视频数据帧；

j, 实时视频直播模块，用于将实时接收到的视频数据帧向需要的用户群进行直播；

k, 存储模块，用于将实时接收到的视频数据帧进行存储，按照与该视频数据帧相对应的唯一标识生成视频序列文件；

l, 续传接收模块，用于接收续传模块续传的视频数据帧；

m, 视频合并模块，用于根据视频帧序列的唯一标识，将接收到的续传视频数据帧和对应标识的视频序列文件进行合并，生成完整的视频序列文件。

本发明还提出一种实时流媒体上传中的丢帧控制与续传方法，该方法基于视频获取端和媒体服务器端；所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并。

其中，视频获取端的工作流程包括：

步骤1，与媒体服务器端协商一个用于唯一标识每个视频帧序列的标识；

步骤2, 实时获得视频场景数据，并标记预播放时刻，同时将视频数据帧置入发送队列；

步骤3，在新视频帧序列到达时检测发送队列中的视频数据帧，将位于发送窗口外的过时视频数据帧置入续传队列；

步骤4，按序向媒体服务器端发送位于发送窗口内的视频数据帧；

步骤5，在后续网络信道通畅时刻通过新连接向媒体服务器端上传位于续传队列中的视频数据帧。

媒体服务器端的工作流程包括：

步骤6，接收视频获取端发送的实时视频数据帧，然后将其进行直播；同时将接收的视频数据帧按照与该视频数据帧相对应的唯一标识生成视频序列文件进行存储；

步骤7，接收视频获取端续传的视频数据帧，将接收到的续传视频数据帧和对应标识的视频序列文件进行合并，生成完整的视频序列文件。

进一步的，本发明的一种实时流媒体上传中的丢帧控制与续传方法，所述步骤3具体包括以下步骤：

步骤31，对于新到达的视频帧序列，设其预计播放时刻为T，设发送窗口的大小为W，计算播放时间阀值T₀=T-W；

步骤32，检测发送队列中的视频数据帧预计播放时间，如果其预计播放时间T_p<T₀,则将该视频数据帧置入续传队列；

步骤33, 对于位于发送窗口内的视频数据帧，如果按序待发送的下一个视频数据帧为非关键帧，则判断与该非关键帧相对应的关键帧是否发送成功：若发送成功，则正常发送该非关键帧；若发送失败，则将从该非关键帧开始到下一个出现的关键帧之间的所有非关键帧从发送窗口中移除，置入续传队列；

步骤34，在续传队列中基于视频帧序列的唯一标识将等待续传的视频数据帧予以组织。

进一步的，本发明的一种实时流媒体上传中的丢帧控制与续传方法，所述步骤5具体包括以下步骤：

步骤51，视频获取端首先将待续传的视频数据帧所属的视频帧序列唯一标识发送给媒体服务器端；

步骤52，得到媒体服务器端确认后，视频获取端开始上传视频数据帧；

步骤53，每成功上传一个视频数据帧，视频获取端将该视频数据帧从续传队列中删除；

步骤54，当所有视频数据帧均成功上传后，将该视频序列标识对应的续传队列释放。

进一步的，本发明的一种实时流媒体上传中的丢帧控制与续传方法，所述步骤7具体包括以下步骤：

步骤71，接收视频获取端发送的待续传视频数据帧所属视频帧序列的唯一标识；

步骤72，向视频获取端发送确认消息；

步骤73，通过视频帧序列唯一标识确定该视频数据帧对应的视频序列文件；

步骤74，依据时间戳信息，将接收到的续传视频数据帧与对应的视频序列文件进行合并、存储。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

首先，通过应用层的选择性丢帧，即设立发送窗口，保证位于发送窗口之外的视频帧不再被实时视频上传模块上传，保证直播的实时性传输，节约传输带宽。

其次，并不将丢弃的视频帧永久地丢弃，而是放到续传队列，在随后网络状况稍好时通过新连接适时重传，从而保证所存储的视频的完整性，提高点播视频的质量。

最后，选择性丢帧时，如果关键帧因超过播放时间而被置于续传队列，则与其关联的非关键帧不管是否位于发送窗口内都将被移至续传队列，保证实时传输的视频帧的有用性。

附图说明

图1是实时流媒体上传的丢帧控制和续传的应用场景配置示意图；

图2是视频获取端和视频服务器端的流程图；

图3是基于发送窗口的视频丢帧控制方法示意图；

图4是视频拍摄端和媒体服务器端的实时处理流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1结合图4所示，本发明的实时流媒体上传中的丢帧控制与续传系统，包括视频获取端和媒体服务器端两部分。

其中，视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器上传，包括：

视频拍摄模块，用于实时获取视频场景数据，标记预播放时刻；

视频序列标识协商模块，用于和媒体服务器协商用于唯一标识该视频序列的标识；

发送队列检测模块，用于检测发送队列中的视频帧是否位于发送窗口之内；

实时视频上传模块，用于按序向媒体服务器发送位于发送窗口内的视频数据帧；

续传模块，用于在后续某个时刻向媒体服务器上传续传队列中的视频帧；

发送队列，用于存储未发送的视频帧序列；

续传队列，用于存储因实时传输延迟导致的位于发送窗口外的视频帧，包括与超过播放时间点的关键帧相关联的非关键帧（无论其位于发送窗口与否）。

媒体服务器端用于接收实时和续传的视频帧，并进行直播、存储和合并，包括：

视频序列标识协商模块，用于和视频获取端协商用于唯一标识该视频序列的标识；

实时视频接收模块，用于接收实时视频数据帧；

实时视频直播模块，用于将实时接收到的视频数据向需要的用户群进行直播；

存储模块，用于将实时接收到的视频数据进行存储；

续传接收模块，用于接收续传的视频数据帧；

视频合并模块，用于将接收到的续传视频数据帧和对应的视频序列文件进行合并，生成更流畅的视频序列文件。

如图2所示，本发明的实时流媒体上传中的丢帧控制与续传方法包括视频获取端的工作流程、媒体服务器端的工作流程。

其中，视频获取端的工作流程包括：

步骤1，与服务器协商一个用于唯一标识该视频序列的标识。

步骤2, 视频拍摄模块实时获得视频场景数据，标记预播放时刻，并将视频帧置入发送队列。

步骤3，发送队列检测模块在新视频帧到达时检测发送队列中的视频帧，将位于发送窗口外的过时视频帧置入续传队列。

如图3所示，所述步骤3进一步细化为，

步骤31，对于新到达的视频帧，设其预计播放时刻为T，设发送窗口的大小为W，计算播放时间阀值T₀=T-W；

步骤32，检测发送队列中的视频帧预计播放时间，如果其预计播放时间T_p<T₀,则将该视频帧置入续传队列；

步骤33, 对于位于发送窗口内的帧，如果按序待发送的下一个帧为P帧（即非关键帧），则判断与该非关键帧相对应的关键帧是否发送成功：若发送成功，则正常发送该非关键帧；若发送失败，则表明对应的关键帧已超时,与该关键帧相对应的非关键帧数据的传输对实时播放无益，因而则将从该P帧开始到第一个出现的I帧（关键帧）之间（不包含该关键帧）的所有P帧从发送窗口中移除，置入续传队列；

步骤34，续传队列基于视频序列的唯一标识予以组织。

步骤4，实时视频上传模块按序向媒体服务器发送位于发送窗口内的视频数据帧。

步骤5，续传模块在后续某个时刻通过新连接向媒体服务器上传位于续传队列中的视频帧。该时刻可以是网络信道状况改善后，通信链路良好的时刻。

所述步骤5进一步为，

步骤51，续传模块首先将视频序列唯一标识发送给服务器端；

步骤52，得到服务器确认后开始上传视频数据帧；

步骤53，每成功上传一个视频数据帧，将该视频数据帧从续传队列中删除（可以是逻辑上删除）；

步骤54，当所有视频数据帧均成功上传后，将该视频序列标识对应的续传队列释放。

如图2所示，媒体服务器端的工作流程包括：

步骤6，实时视频接收模块接收到实时视频帧后，由视频直播模块进行直播，由存储模块进行存储；由存储模块进行视频序列存储时，需建立存储空间与该视频序列唯一标识之间的关联。

步骤7，续传接收模块接收到续传视频帧后，与已存储的流媒体文件进行合并，生成质量更流畅的视频文件。

所述步骤7进一步为，

步骤71，接收视频获取端的续传模块发送的视频序列唯一标识；

步骤72，向视频获取端的续传模块发送确认消息；

步骤73，通过视频序列唯一标识确定该视频序列对应的视频文件；

步骤74，依据时间戳信息，将接收到的续传视频帧与该视频文件进行合并、存储。

综合以上描述，本发明一方面通过应用层的选择性丢帧放入续传队列，保证直播的实时性传输，节约传输带宽；另一方面，在随后网络状况稍好时通过新连接适时重传续传队列中的视频帧，从而保证所存储的视频的完整性，提高点播视频的质量。

Claims (5)

1.一种实时流媒体上传中的丢帧控制与续传系统，包括视频获取端和媒体服务器端；其特征在于：所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并；其中，

⑴所述视频获取端包括：

a, 视频拍摄模块，用于实时获取视频场景数据，并标记预播放时刻；

b, 第一视频序列标识协商模块，用于和媒体服务器端协商生成每个视频帧序列的唯一标识；

c, 发送队列，用于存储预备发送的视频帧序列；

d, 发送队列检测模块，用于检测发送队列中的视频数据帧是否位于发送窗口之内；

e, 实时视频上传模块，用于按序向媒体服务器端发送位于发送窗口内的视频数据帧；

f, 续传队列，用于存储因实时传输延迟导致的位于发送窗口外的视频数据帧；

g, 续传模块，用于在后续网络信道通畅时刻向媒体服务器端上传续传队列中的视频数据帧；

    ⑵所述媒体服务器端包括：

h, 第二视频序列标识协商模块，用于和视频获取端协商生成每个视频帧序列的唯一标识；

i, 实时视频接收模块，用于接收实时视频上传模块发送的实时视频数据帧；

j, 实时视频直播模块，用于将实时接收到的视频数据帧向需要的用户群进行直播；

k, 存储模块，用于将实时接收到的视频数据帧进行存储，按照与该视频数据帧相对应的唯一标识生成视频序列文件；

l, 续传接收模块，用于接收续传模块续传的视频数据帧；

m, 视频合并模块，用于根据视频帧序列的唯一标识，将接收到的续传视频数据帧和对应标识的视频序列文件进行合并，生成完整的视频序列文件。

2.一种实时流媒体上传中的丢帧控制与续传方法，其特征在于：该方法基于视频获取端和媒体服务器端；所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并；其中：

视频获取端的工作流程包括：

步骤1，与媒体服务器端协商一个用于唯一标识每个视频帧序列的标识；

步骤2, 实时获得视频场景数据，并标记预播放时刻，同时将视频数据帧置入发送队列；

步骤3，在新视频帧序列到达时检测发送队列中的视频数据帧，将位于发送窗口外的过时视频数据帧置入续传队列；

步骤4，按序向媒体服务器端发送位于发送窗口内的视频数据帧；

步骤5，在后续网络信道通畅时刻通过新连接向媒体服务器端上传位于续传队列中的视频数据帧；

媒体服务器端的工作流程包括：

步骤6，接收视频获取端发送的实时视频数据帧，然后将其进行直播；同时将接收的视频数据帧按照与该视频数据帧相对应的唯一标识生成视频序列文件进行存储；

步骤7，接收视频获取端续传的视频数据帧，将接收到的续传视频数据帧和对应标识的视频序列文件进行合并，生成完整的视频序列文件。

3.根据权利要求2所述的一种实时流媒体上传中的丢帧控制与续传方法，其特征在于：所述步骤3具体包括以下步骤：

步骤31，对于新到达的视频帧序列，设其预计播放时刻为T，设发送窗口的大小为W，计算播放时间阀值T₀=T-W；

步骤32，检测发送队列中的视频数据帧预计播放时间，如果其预计播放时间T_p<T₀,则将该视频数据帧置入续传队列；

步骤33, 对于位于发送窗口内的视频数据帧，如果按序待发送的下一个视频数据帧为非关键帧，则判断与该非关键帧相对应的关键帧是否发送成功：若发送成功，则正常发送该非关键帧；若发送失败，则将从该非关键帧开始到下一个出现的关键帧之间的所有非关键帧从发送窗口中移除，置入续传队列；

步骤34，在续传队列中基于视频帧序列的唯一标识将等待续传的视频数据帧予以组织。

4.根据权利要求2所述的一种实时流媒体上传中的丢帧控制与续传方法，其特征在于：所述步骤5具体包括以下步骤：

步骤51，视频获取端首先将待续传的视频数据帧所属的视频帧序列唯一标识发送给媒体服务器端；

步骤52，得到媒体服务器端确认后，视频获取端开始上传视频数据帧；

步骤53，每成功上传一个视频数据帧，视频获取端将该视频数据帧从续传队列中删除；

步骤54，当所有视频数据帧均成功上传后，将该视频帧序列唯一标识对应的续传队列释放。

5.根据权利要求2所述的一种实时流媒体上传中的丢帧控制与续传方法，其特征在于：所述步骤7具体包括以下步骤：

步骤71，接收视频获取端发送的待续传视频数据帧所属视频帧序列的唯一标识；

步骤72，向视频获取端发送确认消息；

步骤73，通过视频帧序列唯一标识确定该视频数据帧对应的视频序列文件；

步骤74，依据时间戳信息，将接收到的续传视频数据帧与对应的视频序列文件进行合并、存储。