CN105357592B - 一种流媒体自适应传输选择性丢帧方法 - Google Patents

一种流媒体自适应传输选择性丢帧方法 Download PDF

Info

Publication number
CN105357592B
CN105357592B CN201510702254.2A CN201510702254A CN105357592B CN 105357592 B CN105357592 B CN 105357592B CN 201510702254 A CN201510702254 A CN 201510702254A CN 105357592 B CN105357592 B CN 105357592B
Authority
CN
China
Prior art keywords
frames
packet loss
real
actively
network condition
Prior art date
Application number
CN201510702254.2A
Other languages
English (en)
Other versions
CN105357592A (zh
Inventor
刘琚
马良
孙超
Original Assignee
山东大学苏州研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 山东大学苏州研究院 filed Critical 山东大学苏州研究院
Priority to CN201510702254.2A priority Critical patent/CN105357592B/zh
Publication of CN105357592A publication Critical patent/CN105357592A/zh
Application granted granted Critical
Publication of CN105357592B publication Critical patent/CN105357592B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明提供了一种流媒体自适应传输选择性丢帧方法。通过比较接收端反馈的实时丢包率与预先设置的丢包率临界值,来判定网络状况,选择是否主动丢帧。当网络状况良好时,传输所有数据包;当网络状况一般或者较差时,按比例主动间隔丢弃部分B帧,或者主动丢弃全部B帧,或者再按比例丢弃部分P帧或全部P帧。本发明采取的按比例主动丢帧和间隔丢B帧方式,可以在一定的丢包率范围内尽可能避免连续丢帧,从而避免接收端的视频卡顿现象。

Description

一种流媒体自适应传输选择性丢帧方法

技术领域

[0001] 本发明属于流媒体传输技术领域,特别涉及一种流媒体自适应传输方法。

背景技术

[0002] 近年来,随着互联网与多媒体压缩等技术的快速发展,流媒体技术应运而生。与传 统的播放方式不同,流媒体在播放前并不下载整个文件,只将部分内容缓存,使流媒体数据 流边传送边播放,这样就大大减少了下载等待时间和存储空间。流媒体技术的应用范围越 来越广。

[0003] 但是基于目前的宽带网络或无线网络,还不足以使流媒体传输质量达到令人满意 的水平。流媒体在网络上进行实时传输有以下难点:

[0004] ①带宽。在现在的Interne t上,当网络发生拥塞时,视频流数据的有效传输带宽会 突然降低;无线网络连接的质量受环境的影响大,带宽不稳定。影响视频流的播放质量,甚 至造成图像无法观看。

[0005] ②延时。IP网络数据传输不提供延时保障,当网络拥塞发生时,数据的传输会经历 漫长的排队等候时间,客户端的播放因为等候数据而停止,造成播放质量的严重下降。

[0006] ③丢包率。当网络过分繁忙时,网络中的主机(路由器)的到达队列被填满,后续到 达的数据只能被丢弃。这样,视频流数据传输的丢包率无法得到保证,因而无法保证视频传 输质量。

[0007] 目前解决以上问题有两种方式:

[0008] ①依靠网络提供的QoS,以满足流媒体实时传输所需的时延、抖动、丢包率等要求。

[0009] ②由终端进行控制。基于终端的流媒体QoS控制方法有拥塞控制、差错控制和带宽 压缩技术。

[0010]由于TCP的重传机制和拥塞控制机制不适合流媒体数据的传输,只能采用UDP协议 传输流媒体数据,并利用RTP协议为实时数据提供具有实时特征的端对端传送服务。但RTP 本身并没有提供按时发送机制或其它服务质量(QoS)保证,因此,流媒体的传输与播放要达 到令人满意的服务质量还需在应用程序中加入一些自适应传输策略。

[0011] 目前的自适应传输策略的一个主要研究方向是是根据网络状况主动丢帧。但目前 已有的丢帧方法,笼统地丢弃全部B帧或P帧,这就造成了接收端视频质量的明显下降。

发明内容

[0012] 针对上述容易在发送队列堆积大量数据信息,导致网络拥堵,容易出现数据传输 不稳定和不可靠的问题,本发明提出了一种基于信源的自适应传输方法。本方法可以做到 根据网络状况部分丢弃B帧或P帧,这样就能避免全部丢帧造成的视频质量明显下降;间隔 丢帧,避免视频突然的卡顿等现象。

[0013] 本发明提出了一种流媒体自适应传输选择性丢帧方法,具体步骤包括:

[0014] (1)发送端以初始码率VO对音视频数据进行编码;

[0015] (2)对编码后视频数据流中的I帧、P帧、B帧以及与视频流同步的音频流数据进行 数据分割,得到多个数据分片;

[0016] (3)对得到的数据分片封装数据包头,形成数据包;

[0017] ⑷发送端根据网络状况来调整发送状态,网络状况良好时发送所有帧的数据包, 网络状况不好时主动丢弃部分帧。

[0018] 作为优选,所述的步骤⑷中,网络状况的判别方法如下:

[0019] 预先设置丢包率的两个临界值分别为k^lu,其中ko为传输状态较好时丢包率可以 达到的较小值,ki为传输状态一般时丢包率可以达到的较大值,k〇<ki,

[0020] a.当接收端反馈的实时丢包率k彡ko时,说明网络状况良好;

[0021] b.当接收端反馈的实时丢包率ko<k< 1^时,说明网络状况一般;

[0022] c.当接收端反馈的实时丢包率时,说明网络状况不好。

[0023] 作为优选,所述的步骤⑷中,发送端主动丢帧的策略如下:

[0024] a.当接收端反馈的实时丢包率k彡ko时,传输所有数据包;

[0025] b.当接收端反馈的实时丢包率ko<k<kdt,为了改善传输状态,选择按比例主动 丢弃部分B帧,丢帧方法为:丢弃B帧的比例占所有B帧的比例为

Figure CN105357592BD00041

,间隔丢帧,即若比 例为

Figure CN105357592BD00042

,则隔n-1个B帧主动丢弃1个B帧;

[0026] c.当接收端反馈的实时丢包率时,主动丢弃全部B帧;若丢弃B帧后的实时丢 包率VSko,则不再丢帧,此时传输所有I帧和P帧;若丢弃B帧后的实时丢包率!^<!^<1^, 则主动丢弃每组GOP的后

Figure CN105357592BD00043

的P帧,此时传输I帧和剩余的P帧;若丢弃B帧后的实时丢包 率V ^k1,则主动丢弃所有的P帧,此时只传输I帧。

附图说明

[0027] 图1是本发明所示的流媒体自适应传输选择性丢帧方法的流程图;

[0028] 图2是数据包的构成图;

[0029] 图3是数据包头的构成图。

具体实施方式

[0030] 为了更直观地描述本专利,下面结合图1以具体实施方式对本专利的技术方案进 行详细说明。

[0031] —种流媒体自适应传输选择性丢帧方法,步骤如下所示:

[0032] ( 1 )发送端以初始码率V 〇 = 6 0 0 K b / s对显示顺序为 aIiBiB2B3PiB4B5B6P2B7B8B9P3I2......” 的音视频数据进行编码;

[0033] (2)对编码后视频数据流中的I帧、P帧、B帧以及与视频流同步的音频流数据进行 数据分割,得到多个数据分片;每个数据分片以600个字节为单位,I帧、P帧、B帧或音频流的 最后一个数据分片,可以为不足600个字节的数据分片;

[0034] (3)对得到的数据分片封装数据包头,形成数据包;

[0035] 数据包包含数据包头和数据分片两部分,如图2所示。

[0036] 其中数据分片即为所传输的音视频数据。数据包头的构成如图3所示。

[0037] 本实施方式中,关于帧类型:若数据分片属于I帧,则帧类型为00;若数据分片属于 P帧,则帧类型为01;若数据分片属于B帧,则帧类型为10;若数据分片属于音频流,则帧类型 为Ilo

[0038] 关于帧尾标记:若数据分片是I帧、P帧、B帧或音频流的最后一个数据分片,则帧尾 标记为1;若否,则帧尾标记为〇。

[0039] 关于序列号:依次将序列号0至65535赋予每个数据包,超出65535的再从0开始赋 值。

[0040] ⑷发送端根据网络状况来调整发送状态:

[0041] 预先设置丢包率的两个临界值分别为k〇=l%、ki = 5%。

[0042] 若接收端反馈的实时丢包率k = 0.5% <ko,说明网络状况良好,此时传输所有数 据包;

[0043] 若接收端反馈的实时丢包率ko<k = 4 % <Iu时,说明网络状况一般,此时为了改善 传输状态,选择按比例主动丢弃部分B帧。丢帧方法为:丢弃B帧的比例占所有B帧的比例为

Figure CN105357592BD00051

•间隔丢帧,即隔1个B帧主动丢弃3个B帧,丢帧后该音视频数据的显示顺序 为 uIiB1P1B5P2B9P3I2......”;

[0044] 若接收端反馈的实时丢包率k = 10% ^k1,说明网络状况不好,此时主动丢弃全部 B中贞。右丢弃B巾贞后的实时丢包率f =0.7% <kQ,则不再丢巾贞,此时该首视频数据的显不顺 序为“I1P1P2P3I2......”;若丢弃B帧后的实时丢包率1«<1^ = 2% <h,则主动丢弃每组GOP 的后

Figure CN105357592BD00052

>的戸帧,此时该音视频数据的显示顺序为uI1P1P2I2......”;若丢弃B帧 后的实时丢包率V =7%多h,则主动丢弃所有的P帧,此时该音视频数据的显示顺序为 uIiI2I3......”。

Claims (2)

1. 一种流媒体自适应传输选择性丢帧方法,其特征在于,包括如下步骤: (1) 发送端以初始码率VO对音视频数据进行编码; (2) 对编码后视频数据流中的I帧、P帧、B帧以及与视频流同步的音频流数据进行数据 分割,得到多个数据分片; ⑶对得到的数据分片封装数据包头,形成数据包; ⑷发送端根据网络状况来调整发送状态,网络状况良好时发送所有帧的数据包,网络 状况不好时主动丢弃部分帧,网络状况的判别方法和发送端的策略具体如下: 预先设置丢包率的两个临界值分别为1«、1α,其中k〇为传输状态较好时丢包率可以达到 的较小值,ki为传输状态一般时丢包率可以达到的较大值,k〇<ki, a. 当接收端反馈的实时丢包率
Figure CN105357592BC00021
^寸,说明网络状况良好,此时传输所有数据包; b. 当接收端反馈的实时丢包率k〇<k<kdt,说明网络状况一般,此时为了改善传输状 态,选择主动丢弃部分B帧,具体方法为:按比例丢弃部分B帧,丢弃B帧的比例占所有B帧的 比例为
Figure CN105357592BC00022
M司隔丢帧,即若比例为
Figure CN105357592BC00023
,则隔n-1个B帧主动丢弃1个B帧; c. 当接收端反馈的实时丢包率
Figure CN105357592BC00024
时,说明网络状况不好,此时主动丢弃全部B帧;若 丢弃B帧后的实时丢包率
Figure CN105357592BC00025
,则不再丢帧,此时传输所有I帧和P帧;若丢弃B帧后的实时 丢包率!^<!^<1^,则主动丢弃部分P帧,此时传输I帧和剩余的P帧;若丢弃B帧后的实时丢 包率
Figure CN105357592BC00026
,则主动丢弃所有的P帧,此时只传输I帧。
2. 如权利要求1所述的一种流媒体自适应传输选择性丢帧方法,其特征在于:所述步骤 ⑷的策略c中,所述若丢弃B帧后的实时丢包率匕<1^ <h,则主动丢弃部分P帧的具体方法 是:按比例丢弃部分P帧,主动丢弃每组GOP的后
Figure CN105357592BC00027
的P帧。
CN201510702254.2A 2015-10-26 2015-10-26 一种流媒体自适应传输选择性丢帧方法 CN105357592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510702254.2A CN105357592B (zh) 2015-10-26 2015-10-26 一种流媒体自适应传输选择性丢帧方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510702254.2A CN105357592B (zh) 2015-10-26 2015-10-26 一种流媒体自适应传输选择性丢帧方法

Publications (2)

Publication Number Publication Date
CN105357592A CN105357592A (zh) 2016-02-24
CN105357592B true CN105357592B (zh) 2018-02-27

Family

ID=55333429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510702254.2A CN105357592B (zh) 2015-10-26 2015-10-26 一种流媒体自适应传输选择性丢帧方法

Country Status (1)

Country Link
CN (1) CN105357592B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060583B (zh) * 2016-05-31 2019-06-04 青岛海信宽带多媒体技术有限公司 云游戏延时处理方法及装置
CN106303618A (zh) * 2016-08-05 2017-01-04 武汉鸿瑞达信息技术有限公司 一种在互联网环境下对视频进行差分编解码的方法
CN106303697B (zh) * 2016-08-22 2019-07-02 青岛海信宽带多媒体技术有限公司 一种p帧处理方法及设备
CN106713947A (zh) * 2016-12-13 2017-05-24 飞狐信息技术(天津)有限公司 减少直播时延和卡顿的方法及装置、直播系统
CN106791899A (zh) * 2016-12-13 2017-05-31 飞狐信息技术(天津)有限公司 直播中减少观众端画面卡顿的方法及装置以及客户端
CN106792247A (zh) * 2016-12-13 2017-05-31 飞狐信息技术(天津)有限公司 减少时延的直播流推送方法及装置、直播系统
CN106998268A (zh) * 2017-04-05 2017-08-01 网宿科技股份有限公司 一种基于推流终端网络状况的优化方法和系统以及推流终端
CN106954101B (zh) * 2017-04-25 2020-04-28 华南理工大学 一种低延迟实时视频流媒体无线传输的丢帧控制方法
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
CN107770600A (zh) * 2017-11-07 2018-03-06 深圳创维-Rgb电子有限公司 流媒体数据的传输方法、装置、设备和存储介质
CN108366306A (zh) * 2017-12-13 2018-08-03 天津天地伟业机器人技术有限公司 一种基于嵌入式设备的码流传输的控制方法
CN108600794A (zh) * 2018-05-21 2018-09-28 深圳市梦网科技发展有限公司 一种丢帧率的校正方法、装置及终端
CN108737818A (zh) * 2018-05-21 2018-11-02 深圳市梦网科技发展有限公司 一种拥塞网络下的丢帧方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1585339A2 (en) * 2004-04-02 2005-10-12 SNELL &amp; WILCOX LIMITED Video processing
CN101656888A (zh) * 2008-08-21 2010-02-24 华为技术有限公司 一种视频传输方法及装置、系统
CN104185083A (zh) * 2013-05-20 2014-12-03 安凯(广州)微电子技术有限公司 一种自适应丢帧方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1585339A2 (en) * 2004-04-02 2005-10-12 SNELL &amp; WILCOX LIMITED Video processing
CN101656888A (zh) * 2008-08-21 2010-02-24 华为技术有限公司 一种视频传输方法及装置、系统
CN104185083A (zh) * 2013-05-20 2014-12-03 安凯(广州)微电子技术有限公司 一种自适应丢帧方法与装置

Also Published As

Publication number Publication date
CN105357592A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
US10034058B2 (en) Method and apparatus for distributing video
US9191664B2 (en) Adaptive bitrate management for streaming media over packet networks
US9648363B2 (en) Enhanced user experience for miracast devices
JP5788473B2 (ja) 端末の出力を同期させる方法およびシステム
KR101699656B1 (ko) 적응형 스트리밍 트래픽을 관리 및 조절하기 위한 장치, 시스템, 및 방법
CN104737514B (zh) 用于分布媒体内容服务的方法和设备
US10694230B2 (en) Apparatus and method for transmitting multimedia frame in broadcast system
US20190334972A1 (en) Apparatus and method for transmitting multimedia data in hybrid network
US10609106B2 (en) Interface apparatus and method for transmitting and receiving media data
US9306708B2 (en) Method and apparatus for retransmission decision making
TWI542228B (zh) 通信網路中用於改善資料量之系統及方法
EP3090523B1 (en) Content delivery
US9042444B2 (en) System and method for transmission of data signals over a wireless network
EP1786136B1 (en) Packet retransmission apparatus, communication system and program
JP4299275B2 (ja) マルチメディアデータ転送率の適応的推定方法
US8935736B2 (en) Channel switching method, channel switching device, and channel switching system
US7411903B2 (en) Method of generating transmission control parameters and method of selective retransmission according to packet characteristics
US8175036B2 (en) Multimedia wireless distribution systems and methods
JP3598110B2 (ja) データ伝送方法および装置
US7333439B2 (en) Sending/receiving method, and device for the same
US8218439B2 (en) Method and apparatus for adaptive buffering
US7843818B2 (en) Intelligent buffering process for network conference video
US9106431B2 (en) Method and apparatus for improved multicast streaming in wireless networks
US8499212B2 (en) Method and apparatus for adaptive forward error correction with merged automatic repeat request for reliable multicast in wireless local area networks
KR101286830B1 (ko) 늦은 멀티캐스트 참여의 고속 채널 변경

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180227

Termination date: 20181026

CF01 Termination of patent right due to non-payment of annual fee