CN109151611B - 基于rtp/rtcp的hevc实时视频传输控制方法 - Google Patents

基于rtp/rtcp的hevc实时视频传输控制方法 Download PDF

Info

Publication number
CN109151611B
CN109151611B CN201811104877.XA CN201811104877A CN109151611B CN 109151611 B CN109151611 B CN 109151611B CN 201811104877 A CN201811104877 A CN 201811104877A CN 109151611 B CN109151611 B CN 109151611B
Authority
CN
China
Prior art keywords
rtp
data packet
rtcp
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811104877.XA
Other languages
English (en)
Other versions
CN109151611A (zh
Inventor
李雄
陈舒
潘颋璇
向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xuanji Laboratory Co ltd
Original Assignee
Shenzhen Xuanji Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xuanji Laboratory Co ltd filed Critical Shenzhen Xuanji Laboratory Co ltd
Priority to CN201811104877.XA priority Critical patent/CN109151611B/zh
Publication of CN109151611A publication Critical patent/CN109151611A/zh
Application granted granted Critical
Publication of CN109151611B publication Critical patent/CN109151611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种基于RTP/RTCP的HEVC实时视频传输控制方法，其传输控制机制主要是利用RTCP反馈信息，发送端发送RTCP报文，接收端反馈RTCP报文，发送端利用RTCP‑RR报文分析网络状况。同时发送端定时发送RTCP探测包给接收端，探测网络带宽。本发明利用多媒体实时传输技术RTP/RTCP协议在不增加网络负载的前提下，及时、快速、有效的对HEVC视频实现实时传输，适应当前网络状况。本发明方法的RTCP灵活且体积小，不会给网络带来负担。

Description

基于RTP/RTCP的HEVC实时视频传输控制方法
技术领域
本发明一种基于RTP/RTCP的HEVC实时视频传输控制方法，涉及一种流媒体传输控制方法，特别是针对HEVC视频传输的基于RTP/RTCP反馈的控制机制。
背景技术
21世纪是信息时代，各种媒介飞速发展，视频传输也不例外。现代视频在逐步的向以下几个方向发展：高清晰度、高帧率、高压缩率。
面对以上的发展趋势，HEVC标准应运而生。HEVC是由ISO/IEC和ITU-T共同研发的继H.264/AVC后新一代高效视频编码标准。HEVC主要针对高清以及超高清的视频图像，其主要目标是在H.264/AVC标准的基础上，将高分辨率/高保真度的视频图像压缩效率提高一倍。即在保证相同视频图像质量的前提下，使视频流的码率减少50％，进而更好地适应各种不同的网络环境，同时能够支持多核并行编解码等新技术，将被广泛应用到流媒体、数字电视领域。在基于RTP的流媒体服务中，RTP自适应传输控制算法有十分重要的作用。利用反馈的网络状况、服务质量信息来调整传输速率，从而降低端到端延迟，预防网络拥塞，保证一定的服务质量，实现端到端的流量控制。因此，随着目前网上流媒体服务的进一步发展，该算法正受到越来越多的重视。因此，随着目前网上流媒体服务的进一步发展,如何在IP网上实时传输HEVC视频流对于IPTV，对于视频点播系统的应用有重要意义，正受到越来越多的重视。
发明内容
本发明的目的是提供一种基于RTP/RTCP的HEVC实时视频传输控制方法，以提供一种端到端的传输控制方法，在不增加网络负载的前提下，提供准确有效的反馈信息，提高HEVC视频流媒体服务质量。
一种基于RTP/RTCP的HEVC实时视频传输控制方法，具体控制方法如下：
该方法包括发送程序和接收程序两部分：
(一)发送程序如下：视频采集使用根据25帧/秒～35帧/秒的采样频率，定时23ms～33ms从视频文件中读取图像帧数据放入视频采集缓存，并记录下此时时间戳值，由HEVC视频编码读取待编码图像，进行编码后，送至RTP数据打包发送模块进行处理后得到RTP数据包，发送到接收端。RTP数据打包发送模块根据RTP协议要求，在发送RTP数据包的同时发送RTCP数据包，RTCP数据包为RTP数据包的传送管理提供支持。通过RTCP数据包的NTP时间戳数据域和时间戳域，接收端可以恢复出RTP数据包中媒体数据的采样时刻，发送端传送比特计数数据域提供了发送端数据发送速率信息。
同时接收来自接收端传送的RTCP数据包，并进行处理。
其中，RTP数据打包发送模块进行处理后得到RTP数据包即对HEVC视频流打包的具体方法如下：
通常情况下每个RTP数据包中只包含一个CU(Coding Unit,编码单元)的数据，只有当视频连续产生的CU数据很少时，一个数据包可以容纳多个CU数据时，才将多个CU连接起来，放在一个RTP数据包中传送。RTP数据包的长度小于网络链路层的MTU值(网络链路层对传送的数据包的大小的限制，以太网的MTU值为1500字节，公用电话网的MTU值为576字节)。在实际制作中，如果当前CU被分割成多个数据包，最后一个数据包长度小于CU数据包载荷长度的情况下，不把后一个CU的数据放入，而是按最后一个数据包原始长度大小发送。当多个CU被放在一个RTP数据包中进行传送时，用时间戳表明这些CU中最早的采样时间，其它CU的时间戳信息通过CU头中的时间戳域来恢复。时间戳的分辨率为80～90kHz。
根据以上规则，RTP打包发送模块将HEVC视频编码模块传送过来的视频码流和时间戳信息打成RTP数据包，并通过网络传送到接收端。
RTP数据打包发送线程和视频编码线程之间的同步采用了事件内核对象来进行同步。程序运行之后，RTP数据打包发送线程处于等待之中，当视频编码完成一帧图像编码后，设置事件对象，通知RTP数据打包发送线程进行处理。当RTP数据打包发送线程处理完成后，又重置内核对象，然后进入等待下一次事件。
(二)接收程序如下：网络接收模块接收到RTP数据包后对其进行解包，存放在缓存中，同时把时间戳信息存放在一个队列中，由HEVC视频解码模块进行解码，解码数据存放在显示缓存中，最后，显示模块根据时间戳信息从缓存中读取视频数据，并进行显示。同时，网络模块统计RTP数据包的接收情况，并把数据接收情况反馈到RTP数据发送端。
本发明基于RTP/RTCP的HEVC实时视频传输控制方法，其优点及功效在于：利用多媒体实时传输技术RTP/RTCP协议在不增加网络负载的前提下，及时、快速、有效的对HEVC视频实现实时传输，适应当前网络状况。
附图说明
图1是本发明方法发送端流程框图。
图2是本发明方法接收端流程框图。
具体实施方式
下面结合附图和实施例，对本发明的技术方案做进一步的说明。
图1，2是本发明的基于RTP/RTCP的HEVC实时视频传输控制方法过程图，其中图1是发送端流程框图，图2是接收端流程框图；
其中，发送端程序包括三个模块：视频采集、HEVC视频编码和RTP打包发送模块。接收端程序包括三个模块，分别是网络接收模块、HEVC视频解码和显示。
发送端视频采集使用根据25帧/秒～35帧/秒的采样频率，定时23ms～33ms从视频文件中读取图像帧数据放入视频采集缓存，并记录下此时时间戳值，由HEVC视频编码读取待编码图像，进行编码后，送至RTP数据打包发送模块进行处理后得到RTP数据包，发送到接收端。RTP数据打包发送模块根据RTP协议要求，在发送RTP数据包的同时发送RTCP数据包，RTCP数据包为RTP数据包的传送管理提供支持。通过RTCP数据包的NTP时间戳数据域和时间戳域，接收端可以恢复出RTP数据包中媒体数据的采样时刻，发送端传送比特计数数据域提供了发送端数据发送速率信息。
同时接收来自接收端传送的RTCP数据包，并进行处理。
其中，RTP数据打包发送模块中通常情况下每个RTP数据包中只包含一个CU(Coding Unit,编码单元)的数据，只有当视频连续产生的CU数据很少时，一个数据包可以容纳多个CU数据时，才将多个CU连接起来，放在一个RTP数据包中传送。RTP数据包的长度小于网络链路层的MTU值(网络链路层对传送的数据包的大小的限制，以太网的MTU值为1500字节，公用电话网的MTU值为576字节)。在实际制作中，如果当前CU被分割成多个数据包，最后一个数据包长度小于CU数据包载荷长度的情况下，不把后一个CU的数据放入，而是按最后一个数据包原始长度大小发送。当多个CU被放在一个RTP数据包中进行传送时，用时间戳表明这些CU中最早的采样时间，其它CU的时间戳信息通过CU头中的时间戳域来恢复。时间戳的分辨率为80～90kHz。
根据以上规则，RTP打包发送模块将HEVC视频编码模块传送过来的视频码流和时间戳信息打成RTP数据包，并通过网络传送到接收端。
RTP数据打包发送线程和视频编码线程之间的同步采用了事件内核对象来进行同步。程序运行之后，RTP数据打包发送线程处于等待之中，当视频编码完成一帧图像编码后，设置事件对象，通知RTP数据打包发送线程进行处理。当RTP数据打包发送线程处理完成后，又重置内核对象，然后进入等待下一次事件。
接收端接收数据后对RTP数据包进行解包，取出HEVC码流数据，送到HEVC解码器进行解码并显示，另外通过发送端发送的RTCP数据包的时间信息和RTP数据包的时间信息来对发送端传送的媒体流进行同步。接收端统计数据接收的状况，并将数据接收情况反馈到发送端。
综上，本发明方法的传输控制机制主要是利用RTCP反馈信息，发送端发送RTCP报文，接收端反馈RTCP报文，发送端利用RTCP-RR报文分析网络状况。同时发送端定时发送RTCP探测包给接收端，探测网络带宽。RTCP灵活且体积小，不会给网络带来负担。

Claims (1)

1.一种基于RTP/RTCP的HEVC实时视频传输控制方法，其特征在于：该方法包括发送程序和接收程序两部分：
(一)发送程序如下：视频采集使用根据25帧/秒～35帧/秒的采样频率，定时23ms～33ms从视频文件中读取图像帧数据放入视频采集缓存，并记录下此时时间戳值，由HEVC视频编码读取待编码图像，进行编码后，送至RTP数据打包发送模块进行处理后得到RTP数据包，发送到接收端；RTP数据打包发送模块根据RTP协议要求，在发送RTP数据包的同时发送RTCP数据包，RTCP数据包为RTP数据包的传送管理提供支持；通过RTCP数据包的NTP时间戳值，接收端恢复出RTP数据包中媒体数据的采样时刻，发送端传送比特计数数据域提供了发送端数据发送速率信息；
同时接收来自接收端传送的RTCP数据包，并进行处理；
RTP数据打包发送线程和视频编码线程之间的同步采用事件内核对象来进行同步；程序运行之后，RTP数据打包发送线程处于等待之中，当视频编码完成一帧图像编码后，设置事件对象，通知RTP数据打包发送线程进行处理；当RTP数据打包发送线程处理完成后，又重置内核对象，然后进入等待下一次事件；
(二)接收程序如下：网络接收模块接收到RTP数据包后对其进行解包，存放在缓存中，同时把时间戳值存放在一个队列中，由HEVC视频解码模块进行解码，解码数据存放在显示缓存中，最后，显示模块根据时间戳值从缓存中读取视频数据，并进行显示；同时，网络模块统计RTP数据包的接收情况，并把数据接收情况反馈到RTP数据发送端；
每个RTP数据包中只包含一个编码单元CU的数据，只有当视频连续产生的CU数据很少时，一个数据包容纳多个CU数据时，才将多个CU连接起来，放在一个RTP数据包中传送；RTP数据包的长度小于网络链路层的MTU值，网络链路层对传送的数据包的大小的限制，以太网的MTU值为1500字节，公用电话网的MTU值为576字节；在实际制作中，如果当前CU被分割成多个数据包，最后一个数据包长度小于CU数据包载荷长度的情况下，不把后一个CU的数据放入，而是按最后一个数据包原始长度大小发送；当多个CU被放在一个RTP数据包中进行传送时，用时间戳值表明这些CU中最早的采样时间，其它CU的时间戳值通过CU头中的时间戳值来恢复；时间戳值的分辨率为80～90kHz；
根据以上规则，RTP数据打包发送模块将HEVC视频编码模块传送过来的视频码流和时间戳值打成RTP数据包，并通过网络传送到接收端。
CN201811104877.XA 2018-09-21 2018-09-21 基于rtp/rtcp的hevc实时视频传输控制方法 Active CN109151611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811104877.XA CN109151611B (zh) 2018-09-21 2018-09-21 基于rtp/rtcp的hevc实时视频传输控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811104877.XA CN109151611B (zh) 2018-09-21 2018-09-21 基于rtp/rtcp的hevc实时视频传输控制方法

Publications (2)

Publication Number Publication Date
CN109151611A CN109151611A (zh) 2019-01-04
CN109151611B true CN109151611B (zh) 2020-09-08

Family

ID=64815440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811104877.XA Active CN109151611B (zh) 2018-09-21 2018-09-21 基于rtp/rtcp的hevc实时视频传输控制方法

Country Status (1)

Country Link
CN (1) CN109151611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113519146B (zh) * 2020-02-12 2023-06-23 深圳元戎启行科技有限公司 流媒体网络时延确定方法、装置、计算机设备、可读存储介质和远程驾驶系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039325A (zh) * 2007-04-26 2007-09-19 中兴通讯股份有限公司 基于混合器的实时传输协议数据包配置方法
CN102104780A (zh) * 2009-12-16 2011-06-22 索尼公司 发送设备和方法以及接收设备和方法
CN104584493A (zh) * 2012-08-27 2015-04-29 高通股份有限公司 用于无线网络上的自适应速率多媒体通信的装置和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
US9578142B2 (en) * 2013-07-01 2017-02-21 Cisco Technology, Inc. System and method for improving resilience in transmission of data fragments
US10582258B2 (en) * 2015-12-26 2020-03-03 Intel Corporation Method and system of rendering late or early audio-video frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039325A (zh) * 2007-04-26 2007-09-19 中兴通讯股份有限公司 基于混合器的实时传输协议数据包配置方法
CN102104780A (zh) * 2009-12-16 2011-06-22 索尼公司 发送设备和方法以及接收设备和方法
CN104584493A (zh) * 2012-08-27 2015-04-29 高通股份有限公司 用于无线网络上的自适应速率多媒体通信的装置和方法

Also Published As

Publication number Publication date
CN109151611A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN113873345B (zh) 一种分布式的超高清视频同步处理方法
Turletti et al. Videoconferencing on the Internet
CN101505316B (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
CN109150876B (zh) 一种视频无线传输的qos方法、装置及系统
US9591044B2 (en) Content server media stream management
EP1407596B1 (en) Video stream switching
CN105704580B (zh) 一种视频传输方法
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
US7106757B2 (en) System and method for streaming multimedia over packet networks
US9577682B2 (en) Adaptive forward error correction (FEC) system and method
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
EP1844593B1 (en) Signaling buffer parameters indicative of receiver buffer architecture
US10862940B1 (en) Low latency live video on a communication session
CN102014286B (zh) 一种视频编解码方法及装置
CN107147916B (zh) 一种在传输层上传输h.265编码视频数据的方法
CN101389036B (zh) 一种适用于视频会议的纠错装置及其方法
CN106791899A (zh) 直播中减少观众端画面卡顿的方法及装置以及客户端
US20100125768A1 (en) Error resilience in video communication by retransmission of packets of designated reference frames
CN102333209B (zh) 应用于视频监控系统的数据传输方法及设备
US8379083B1 (en) Simultaneous viewing and reliable recording of multimedia content over a network
CN110602522A (zh) 一种多路实时直播WebRTC流合成方法
CN114339445B (zh) 实时视频流自适应协调系统及方法
CN112087631A (zh) 基于gpu同步并行视频编解码与流媒体传输系统及方法
CN109151611B (zh) 基于rtp/rtcp的hevc实时视频传输控制方法
CN109862400B (zh) 一种流媒体传输方法、装置及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant