CN114866859A - 基于时间戳和丢包检测的实时视频传输动态延时控制系统 - Google Patents

基于时间戳和丢包检测的实时视频传输动态延时控制系统 Download PDF

Info

Publication number
CN114866859A
CN114866859A CN202210503856.5A CN202210503856A CN114866859A CN 114866859 A CN114866859 A CN 114866859A CN 202210503856 A CN202210503856 A CN 202210503856A CN 114866859 A CN114866859 A CN 114866859A
Authority
CN
China
Prior art keywords
delay
video
unit
timestamp
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210503856.5A
Other languages
English (en)
Other versions
CN114866859B (zh
Inventor
陈锋
蔡吉玲
王君
黄发仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210503856.5A priority Critical patent/CN114866859B/zh
Publication of CN114866859A publication Critical patent/CN114866859A/zh
Application granted granted Critical
Publication of CN114866859B publication Critical patent/CN114866859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于时间戳和丢包检测的实时视频传输动态延时控制系统，包括发送端和接收端；所述发送端包括相连接的音视频编码单元和发送缓存单元；所述接收端包括接收缓存单元、视频重组单元、延时处理单元和音视频解码单元；所述接收缓存单元与视频重组单元、延时处理单元分别连接；所述视频重组单元还与音视频解码单元连接；所述发送端和接收端通过链路连接；所述延时处理单元采用平滑延时策略。本发明可以有效避免网络的进一步恶化和增加网络资源的利用率，提前实时动态调整数据包的缓冲时间，节约了有限的网络资源，提升了视频传输的高可靠性和用户的体验感。

Description

基于时间戳和丢包检测的实时视频传输动态延时控制系统
技术领域
本发明涉及视频传输领域，具体涉及一种基于时间戳和丢包检测的实时视频传输动态延时控制系统。
背景技术
当前移动互联网应用需求激增，短视频，直播等大流量应用场景拉动移动互联网流量迅猛增长。因此，如何在不可靠的无线链路中处理日益增长的流媒体应用需求变得越来越重要。在实时视频传输中，为保障接收到的视频在播放过程中的流畅性，通常，在视频的发送端和接收端之间会进行严格的时钟同步，即在发送端和接收端之间设置固定的端到端延时。在固定的端到端延时下，接收到视频报文后，会先进行缓存，并在等待一段时间后，在固定的端到端延时到达后进行解码播放，从而实现流畅播放。但是，在无线环境下，传输链路的带宽、时延变化范围大，如果设置较小的端到端延时会造成播放时刻到后缓存无数据无法播放造成卡顿。如果设置较大的端到端延时又会造成延时过大。
发明内容
有鉴于此，本发明的目的在于提供一种基于时间戳和丢包检测的实时视频传输动态延时控制系统，可以有效避免网络的进一步恶化和增加网络资源的利用率，提前实时动态调整数据包的缓冲时间，节约了有限的网络资源，提升了视频传输的高可靠性和用户的体验感。
为实现上述目的，本发明采用如下技术方案：
一种基于时间戳和丢包检测的实时视频传输动态延时控制系统，包括发送端和接收端；所述发送端包括相连接的音视频编码单元和发送缓存单元；所述接收端包括接收缓存单元、视频重组单元、延时处理单元和音视频解码单元；所述接收缓存单元与视频重组单元、延时处理单元分别连接；所述视频重组单元还与音视频解码单元连接；所述发送端和接收端通过链路连接；所述延时处理单元采用平滑延时策略，接收到视频后，分别进行数据包时间戳计算和丢包检测，根据数据包时间戳和丢包检测情况判断是否调整延时。
进一步的，所述链路包括LTE、5G、WIFI。
所述延时处理单元包括丢包检测模块，数据包时间戳计算模块，定时器判断模块、平滑延时模块和更新延时模块；
所述丢包检测模块，根据报文的序号计算当前时间内发生的报文丢失情况；
所述数据包时间戳计算模块，计算接收缓存区收到数据包的时间戳与该数据包指定的播放时间之间的差。
所述定时器判断，根据设置的时间进行循环检测，检测丢包检测模块和数据包时间戳计算模块的结果，进而决策是否增加或减少延时；
所述平滑延时，对目标端到端延时进行渐进式的增加或减少；
所述更新延时，根据平滑延时的结果更新系统的端到端延时。
进一步的，所述根据数据包时间戳和丢包检测情况判断是否调整延时，具体为：
1)接收端记录收到报文的时戳
Figure BDA0003636514120000031
Figure BDA0003636514120000032
代表在第i个时间段内收到的第m个数据包的时间戳，并根据原端到端播放延时，记录该报文从接收到播放时间之间的差值Twait；判断接收端统计Twait是否小于阈值T,并将统计结果更新至定时器；
2)接收端计算在第i个时间段内的丢包个数，记为Pi；
3)当Twait＜T或者Pi≥3，增加延时G(ms)为目标端到端延时，反之，则减少延时G(ms)为目标端到端延时；
4)若接收端决策增加延时，则采用累加的方式实现，在原端到端延时的基础上，每次增加I(ms)，直至增加至目标端到端延时。
本发明与现有技术相比具有以下有益效果：
本发明实现在无线网络状况不稳定时，以渐进式的方法实时动态的调整端到端延时，保证接收端视频的流畅播放。在网络状况良好时，最大化的降低了端到端延时，在保证用户观看视频流畅的基础上，提升了用户的感知体验
附图说明
图1是本发明系统整体框图；
图2是本发明一实施例中接收端处理流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于时间戳和丢包检测的实时视频传输动态延时控制系统，包括发送端和接收端；所述发送端包括相连接的音视频编码单元和发送缓存单元；所述接收端包括接收缓存单元、视频重组单元、延时处理单元和音视频解码单元；所述接收缓存单元与视频重组单元、延时处理单元分别连接；所述视频重组单元还与音视频解码单元连接；所述发送端和接收端通过LTE、5G、WIFI等链路连接；所述延时处理单元采用平滑延时策略，接收到视频后，分别进行数据包时间戳计算和丢包检测，根据数据包时间戳和丢包检测情况判断是否调整延时。
优选的，参考图2，在本实施例中，延时处理单元包括丢包检测模块，数据包时间戳计算模块，定时器判断模块、平滑延时模块和更新延时模块；
丢包检测模块，根据报文的序号计算当前时间内发生的报文丢失情况；
数据包时间戳计算模块，计算接收缓存区收到数据包的时间戳与该数据包指定的播放时间之间的差。
定时器判断，根据设置的时间进行循环检测，检测丢包检测模块和数据包时间戳计算模块的结果，进而决策是否增加或减少延时；
平滑延时，对目标端到端延时进行渐进式的增加或减少；
更新延时，根据平滑延时的结果更新系统的端到端延时。
在本实施例中，根据数据包时间戳和丢包检测情况判断是否调整延时，具体为：
1)接收端记录收到报文的时戳
Figure BDA0003636514120000041
代表在第i个时间段内收到的第m个数据包的时间戳，并根据原端到端播放延时，记录该报文从接收到播放时间之间的差值Twait；判断接收端统计Twait是否小于阈值T,并将统计结果更新至定时器；
2)接收端计算在第i个时间段内的丢包个数，记为Pi；
3)当Twait＜T或者Pi≥3，增加延时G(ms)为目标端到端延时，反之，则减少延时G(ms)为目标端到端延时；
4)若接收端决策增加延时，则采用累加的方式实现，在原端到端延时的基础上，每次增加I(ms)，直至增加至目标端到端延时。
优选的，设置G为50ms，I为10ms，这样经过5次平滑实现增加目标端到端延时。同理，若决策减少延时，我们以累减的方式完成，这样可以在保障用户观看视频流畅的基础上增加网络的带宽利用率，最优化端到端延时，节省网络资源。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于时间戳和丢包检测的实时视频传输动态延时控制系统，其特征在于，包括发送端和接收端；所述发送端包括相连接的音视频编码单元和发送缓存单元；所述接收端包括接收缓存单元、视频重组单元、延时处理单元和音视频解码单元；所述接收缓存单元与视频重组单元、延时处理单元分别连接；所述视频重组单元还与音视频解码单元连接；所述发送端和接收端通过链路连接；所述延时处理单元采用平滑延时策略，接收到视频后，分别进行数据包时间戳计算和丢包检测，根据数据包时间戳和丢包检测情况判断是否调整延时。
2.根据权利要求1所述的基于时间戳和丢包检测的实时视频传输动态延时控制系统，其特征在于，所述链路包括LTE、5G、WIFI。
3.根据权利要求1所述的基于时间戳和丢包检测的实时视频传输动态延时控制系统，其特征在于，所述延时处理单元包括丢包检测模块，数据包时间戳计算模块，定时器判断模块、平滑延时模块和更新延时模块；
所述丢包检测模块，根据报文的序号计算当前时间内发生的报文丢失情况；
所述数据包时间戳计算模块，计算接收缓存区收到数据包的时间戳与该数据包指定的播放时间之间的差。
所述定时器判断，根据设置的时间进行循环检测，检测丢包检测模块和数据包时间戳计算模块的结果，进而决策是否增加或减少延时；
所述平滑延时，对目标端到端延时进行渐进式的增加或减少；
所述更新延时，根据平滑延时的结果更新系统的端到端延时。
4.根据权利要求1所述的基于时间戳和丢包检测的实时视频传输动态延时控制系统，其特征在于，所述根据数据包时间戳和丢包检测情况判断是否调整延时，具体为：
1)接收端记录收到报文的时戳
Figure FDA0003636514110000021
Figure FDA0003636514110000022
代表在第i个时间段内收到的第m个数据包的时间戳，并根据原端到端播放延时，记录该报文从接收到播放时间之间的差值Twait；判断接收端统计Twait是否小于阈值T,并将统计结果更新至定时器；
2)接收端计算在第i个时间段内的丢包个数，记为Pi；
3)当Twait＜T或者Pi≥3，增加延时G(ms)为目标端到端延时，反之，则减少延时G(ms)为目标端到端延时；
4)若接收端决策增加延时，则采用累加的方式实现，在原端到端延时的基础上，每次增加I(ms)，直至增加至目标端到端延时。
CN202210503856.5A 2022-05-10 2022-05-10 基于时间戳和丢包检测的实时视频传输动态延时控制系统 Active CN114866859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210503856.5A CN114866859B (zh) 2022-05-10 2022-05-10 基于时间戳和丢包检测的实时视频传输动态延时控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210503856.5A CN114866859B (zh) 2022-05-10 2022-05-10 基于时间戳和丢包检测的实时视频传输动态延时控制系统

Publications (2)

Publication Number Publication Date
CN114866859A true CN114866859A (zh) 2022-08-05
CN114866859B CN114866859B (zh) 2023-06-09

Family

ID=82636409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210503856.5A Active CN114866859B (zh) 2022-05-10 2022-05-10 基于时间戳和丢包检测的实时视频传输动态延时控制系统

Country Status (1)

Country Link
CN (1) CN114866859B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549536A (zh) * 2003-05-09 2004-11-24 ��Ϊ�������޹�˾ 用rtp数据包的时戳进行排序以消除其抖动延时的方法
CN101646196A (zh) * 2009-08-31 2010-02-10 华为技术有限公司 保证业务服务质量的方法及装置
CN112887226A (zh) * 2021-01-26 2021-06-01 重庆邮电大学 有线无线融合的卫星时间敏感网络队列管理调度方法
CN112911650A (zh) * 2021-03-28 2021-06-04 高小翎 移动高清视频智能双向探测带宽控制系统
CN113099310A (zh) * 2021-04-08 2021-07-09 李蕊男 基于安卓平台的实时媒体内视音频协调法
CN113497792A (zh) * 2020-04-02 2021-10-12 京东方科技集团股份有限公司 音视频通信方法、终端、服务器、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549536A (zh) * 2003-05-09 2004-11-24 ��Ϊ�������޹�˾ 用rtp数据包的时戳进行排序以消除其抖动延时的方法
CN101646196A (zh) * 2009-08-31 2010-02-10 华为技术有限公司 保证业务服务质量的方法及装置
CN113497792A (zh) * 2020-04-02 2021-10-12 京东方科技集团股份有限公司 音视频通信方法、终端、服务器、计算机设备和存储介质
CN112887226A (zh) * 2021-01-26 2021-06-01 重庆邮电大学 有线无线融合的卫星时间敏感网络队列管理调度方法
CN112911650A (zh) * 2021-03-28 2021-06-04 高小翎 移动高清视频智能双向探测带宽控制系统
CN113099310A (zh) * 2021-04-08 2021-07-09 李蕊男 基于安卓平台的实时媒体内视音频协调法

Also Published As

Publication number Publication date
CN114866859B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US6700893B1 (en) System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
US10530826B2 (en) Method and apparatus for providing a low latency transmission system using adjustable buffers
US10686704B2 (en) Method and apparatus for providing a low latency transmission system using adaptive buffering estimation
CN110769296B (zh) 一种传输时基于本地缓存的视频码率自适应调节方式
US20090089447A1 (en) Proxy-driven content rate selection for streaming media servers
US8861372B2 (en) Method and device for fast pushing unicast stream in fast channel change
JPWO2006054442A1 (ja) 送信装置、受信装置及び通信システム
CN107529097A (zh) 一种自适应调整视频缓冲大小的方法及装置
CN108401128B (zh) 一种视频通话中的拥塞控制方法
CN113099310A (zh) 基于安卓平台的实时媒体内视音频协调法
CN107566918A (zh) 一种视频分发场景下的低延时取流秒开方法
CN102130821A (zh) 一种iptv系统中丢包处理的方法、服务器及系统
CN112995048A (zh) 数据中心网络的阻塞控制与调度融合方法及终端设备
CN115037416A (zh) 数据前向纠错处理方法、装置、电子设备和存储介质
CN113891172B (zh) 一种适于无线Mesh网络的基于RTT的自适应码率控制方法
CN114866859B (zh) 基于时间戳和丢包检测的实时视频传输动态延时控制系统
CN114286132A (zh) 一种无线网络中视频传输容错的方法
WO2021164405A1 (zh) 数据编解码方法、相关设备及系统
CN105306970B (zh) 一种流媒体直播发送速度的控制方法及装置
JP4884922B2 (ja) 通信装置および通信方法
CN105245946B (zh) 可变码率媒体流的流量控制方法、装置以及系统
WO2016203870A1 (ja) 送信装置、送信方法、及び通信システム
Cianca et al. Improving performance for streaming video services over CDMA-based wireless networks
CN117915162A (zh) 基于链路状态和时间戳的实时视频传输动态延时控制系统
CN117729376A (zh) 视频播放方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant