CN106162257B - 一种实时视频的自适应网络传输优化方法 - Google Patents

一种实时视频的自适应网络传输优化方法 Download PDF

Info

Publication number
CN106162257B
CN106162257B CN201610607385.7A CN201610607385A CN106162257B CN 106162257 B CN106162257 B CN 106162257B CN 201610607385 A CN201610607385 A CN 201610607385A CN 106162257 B CN106162257 B CN 106162257B
Authority
CN
China
Prior art keywords
video
real
picture
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610607385.7A
Other languages
English (en)
Other versions
CN106162257A (zh
Inventor
印体亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yun'en Communication Technology Co Ltd
Original Assignee
Nanjing Yun'en Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yun'en Communication Technology Co Ltd filed Critical Nanjing Yun'en Communication Technology Co Ltd
Priority to CN201610607385.7A priority Critical patent/CN106162257B/zh
Publication of CN106162257A publication Critical patent/CN106162257A/zh
Application granted granted Critical
Publication of CN106162257B publication Critical patent/CN106162257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Abstract

本发明提出一种实时视频的自适应网络传输优化方法，对于同一信号源的视频和图片，根据网络质量自适应调整，时序上串行发送，解决传输实时视频的实时性、流畅性和内容完整性的技术问题。

Description

一种实时视频的自适应网络传输优化方法
技术领域
本发明属于视频传输领域，尤其是一种实时视频的自适应网络传输优化方法。
背景技术
现有的视频传输技术主要包括以下三类：1.视频发送端提供多种码率的视频信号源，供视频接收端根据网络状况选择相应码率的视频数据。不足之处在于，由于对同一信号源需要编码多份，对发送端造成过大的数据负载压力。2.视频发送端主动或者被动地改变编码参数，以较低的码率编码视频数据并发送。不足之处在于，发送端和接收端需要多次关闭开启编解码器，容易造成过大的视频延时和中断。3.视频发送端在不改变视频码率的前提下，主动或者被动地丢弃部分未及时发送的视频数据，保障最新视频数据的发送。不足之处在于，由于丢弃相关数据导致视频接收端可能会错过重要信息。
发明内容
本发明所解决的技术问题在于提供一种实时视频的自适应网络传输优化方法，对于同一信号源的视频和图片，根据网络质量自适应调整，时序上串行发送，解决传输实时视频的实时性、流畅性和内容完整性的技术问题。
实现本发明目的的技术解决方案为：
一种实时视频的自适应网络传输优化方法，包括以下步骤：
步骤1：视频发送端将压缩编码后的实时视频数据发送到视频接收端；
步骤2：计算当前视频帧前最近的10个视频I帧的平均发送时间T10和平均数据量D10；
步骤3：若最近的时间内发送的数据量s小于θ，则判定当前网络发送状况不良，转到步骤4；若s≥θ，则判定当前网络发送状况正常，转到步骤7；其中，θ为数据量判断阈值，
步骤4：计算当前网络状况下的图片质量调整系数
步骤5：根据图片质量调整系数δ，由当前视频I帧的YUV数据得出当前关键画面，将关键画面压缩生成一张关键jpeg图片，打包封装后发送给视频接收端；
步骤6：若图片发送成功，则转到步骤7，且视频发送端恢复原有的实时视频数据发送模式；若图片发送失败，则令转到步骤5；
步骤7：视频接收端接收数据并显示相应类型的数据，若接收到jpeg图片类型数据，则显示图片直到接收到下一个数据包，否则正常播放视频数据。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤1中视频发送端采用RTP协议包格式对实时视频数据进行压缩编码。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤1中实时视频数据格式是H264。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤5中视频I帧的YUV数据为视频I帧的原始YUV数据。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤5中视频I帧的YUV数据从视频I帧中直接提取。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤5中打包jpeg图片采用iso/iec 14496-10标准的nal格式打包。
进一步的，本发明的实时视频的自适应网络传输优化方法，nal类型值是31。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤5中封装jpeg图片采用RTP协议封装。
进一步的，本发明的实时视频的自适应网络传输优化方法，步骤6中判断图片是否发送成功的方法为：若最近的时间内发送的数据量s'小于θ'，则判定图片发送失败；若s'≥θ'，则判定图片发送成功；其中，为数据量判断阈值，Di为图片的数据量。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明中视频发送端针对同一视频源只编码一份视频数据，减轻了发送端的负载压力；
2、在网络不良情况下，一个视频GOP的数据只使用一张包含主体关键信息的jpeg图片表示，省去了P帧、B帧等视频数据的传输延时，减少了数据量，降低的视频延时，提升了视频传输的实时性和流畅性；
3、由于单独自适应地调整参数生成jpeg图片的过程与原有视频编码过程耦合性低，使得jpeg图片的质量和数据量的调整可以比较独立，从而显著减少单张jpeg图片的数据量；
4、在网络不良情况下，所发送的jpeg图片包含了所属视频GOP的主体关键信息，并未全部丢弃数据，最大化地保留了视频内容信息，具有内容完整性；
5、视频发送和接收端的视频编解码过程不受jpeg数据生成和解码显示过程的干扰，减少了视频编解码器多次或者多个运行的消耗。
附图说明
图1是本发明的实时视频的自适应网络传输优化方法流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
为了保证视频传输的实时性，提出一种实时视频的自适应网络传输优化方法，针对同一信号源的视频和图片，根据网络质量进行自适应调整，时序上串行发送，如图1所示，具体包括以下步骤：
步骤1：视频发送端基于RTP协议包格式将压缩编码后的h264实时视频数据发送到视频接收端。
步骤2：计算当前视频帧前最近的10个视频I帧的平均发送时间T10和平均数据量D10。
步骤3：若最近的时间内发送的数据量s小于θ，则判定当前网络发送状况不良，转到步骤4；若s≥θ，则判定当前网络发送状况正常，转到步骤7；其中，θ为数据量判断阈值，
步骤4：计算当前网络状况下的图片质量调整系数
步骤5：根据当前的网络状况和图片质量调整系数δ，由当前视频I帧的YUV数据动态判断得出当前关键画面，如运动侦测，通过降低分辨率和调整量化系数等参数将关键画面压缩生成一张较少数据量的关键jpeg图片，并采用iso/iec 14496-10标准的nal格式打包，nal类型值是31，再采用RTP协议封装后发送给视频接收端，其中，所述当前视频I帧的YUV数据可以为视频I帧的原始YUV数据，也可以从视频I帧中直接提取。这样能够根据当前网络情况动态调整图片的质量，实现数据实时传输、不间断的效果
步骤6：若图片发送成功，则转到步骤7，且视频发送端恢复原有的实时视频数据发送模式；若图片发送失败，则令进一步降低图片质量，转到步骤5。其中，判断图片是否发送成功的方法为：若最近的时间内发送的数据量s'小于θ'，则判定图片发送失败；若s'≥θ'，则判定图片发送成功；其中，为数据量判断阈值，Di为图片的数据量。
步骤7：视频接收端接收数据并显示相应类型的数据，若接收到jpeg图片类型数据，则显示图片直到接收到下一个数据包，图片显示的效果需要视频接收端的显示渲染模块配合，做到图片和视频的切换自然流畅，以达到实时、流畅和内容完整的实时视频观看体验；否则正常播放视频数据。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (9)

1.一种实时视频的自适应网络传输优化方法，其特征在于，包括以下步骤：
步骤1：视频发送端将压缩编码后的实时视频数据发送到视频接收端；
步骤2：计算当前视频帧前最近的10个视频I帧的平均发送时间T10和平均数据量D10；
步骤3：若最近的时间内发送的数据量s小于θ，则判定当前网络发送状况不良，转到步骤4；若s≥θ，则判定当前网络发送状况正常，转到步骤7；其中，θ为数据量判断阈值，
步骤4：计算当前网络状况下的图片质量调整系数
步骤5：根据图片质量调整系数δ，由当前视频I帧的YUV数据得出当前关键画面，将关键画面压缩生成一张关键jpeg图片，打包封装后发送给视频接收端；
步骤6：若图片发送成功，则转到步骤7，且视频发送端恢复原有的实时视频数据发送模式；若图片发送失败，则令δ的值减少一半，转到步骤5；
步骤7：视频接收端接收数据并显示相应类型的数据，若接收到jpeg图片类型数据，则显示图片直到接收到下一个数据包，否则正常播放视频数据。
2.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤1中视频发送端采用RTP协议包格式对实时视频数据进行压缩编码。
3.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤1中实时视频数据格式是H264。
4.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤5中视频I帧的YUV数据为视频I帧的原始YUV数据。
5.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤5中视频I帧的YUV数据从视频I帧中直接提取。
6.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤5中打包jpeg图片采用iso/iec14496-10标准的nal格式打包。
7.根据权利要求6所述的实时视频的自适应网络传输优化方法，其特征在于，nal类型值是31。
8.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤5中封装jpeg图片采用RTP协议封装。
9.根据权利要求1所述的实时视频的自适应网络传输优化方法，其特征在于，步骤6中判断图片是否发送成功的方法为：若最近的时间内发送的数据量s'小于θ'，则判定图片发送失败；若s'≥θ'，则判定图片发送成功；其中，为数据量判断阈值，Di为图片的数据量。
CN201610607385.7A 2016-07-29 2016-07-29 一种实时视频的自适应网络传输优化方法 Active CN106162257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610607385.7A CN106162257B (zh) 2016-07-29 2016-07-29 一种实时视频的自适应网络传输优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610607385.7A CN106162257B (zh) 2016-07-29 2016-07-29 一种实时视频的自适应网络传输优化方法

Publications (2)

Publication Number Publication Date
CN106162257A CN106162257A (zh) 2016-11-23
CN106162257B true CN106162257B (zh) 2019-05-03

Family

ID=58060764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610607385.7A Active CN106162257B (zh) 2016-07-29 2016-07-29 一种实时视频的自适应网络传输优化方法

Country Status (1)

Country Link
CN (1) CN106162257B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124273A (zh) * 2017-11-17 2018-06-05 上海连尚网络科技有限公司 一种信息获取的方法、设备及介质
CN108668166B (zh) * 2018-05-21 2021-05-14 深圳市梦网科技发展有限公司 一种编码方法、装置及终端设备
CN115701709A (zh) * 2021-08-02 2023-02-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读介质及电子设备
CN116634203B (zh) * 2023-07-18 2023-09-19 湖南马栏山视频先进技术研究院有限公司 一种多协同自适应的视频质量优化方法
CN116723152B (zh) * 2023-08-11 2023-10-20 国网江苏省电力有限公司电力科学研究院 一种智能配电变压器快检装置的数据传输方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685734A (zh) * 2002-09-05 2005-10-19 新加坡科技研究局 控制视频序列速率的方法和装置及视频编码装置
CN102186119A (zh) * 2011-04-18 2011-09-14 烽火通信科技股份有限公司 流媒体服务器保证音视频质量动态流量控制的方法
CN102761773A (zh) * 2012-07-03 2012-10-31 Ut斯达康通讯有限公司 一种利用i帧改善iptv业务的用户体验的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031701B2 (en) * 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685734A (zh) * 2002-09-05 2005-10-19 新加坡科技研究局 控制视频序列速率的方法和装置及视频编码装置
CN102186119A (zh) * 2011-04-18 2011-09-14 烽火通信科技股份有限公司 流媒体服务器保证音视频质量动态流量控制的方法
CN102761773A (zh) * 2012-07-03 2012-10-31 Ut斯达康通讯有限公司 一种利用i帧改善iptv业务的用户体验的方法

Also Published As

Publication number Publication date
CN106162257A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106162257B (zh) 一种实时视频的自适应网络传输优化方法
WO2017129090A1 (zh) 移动终端的数据传输方法和装置
US9532063B2 (en) Electronic device for encoding a buffer parameter
US9699234B2 (en) Electronic devices for sending a message and buffering a bitstream
CN100504757C (zh) 用于缓冲流式化数据的方法和系统
US8761265B2 (en) Hypothetical reference decoder for multiview video coding
CN104519325B (zh) 一种基于4g网络的无线视频监控系统自适应保障方法
US20080084927A1 (en) Real-time network adaptive digital video encoding/decoding
US20160234522A1 (en) Video Decoding
JP2005260935A (ja) 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置
CN107147916B (zh) 一种在传输层上传输h.265编码视频数据的方法
US20190200013A1 (en) Embedded multimedia systems with adaptive rate control for power efficient video streaming
CN101562615A (zh) 基于mpeg-4编码的多媒体数据流自适应网络带宽的传输方法
JP2001028752A (ja) 画像パケット伝送のための無線通信システム
CN102427532B (zh) 一种受限带宽下的多路视频自适应编码传输方法及其传输系统
CN103096084A (zh) 一种无线传输中码率自适应调节的方法、装置及系统
WO2013109178A1 (en) Sub-bitstream extraction
CN102905128A (zh) 编解码处理器在无线视频传输过程中码率控制的方法
CN101742289B (zh) 视频码流压缩方法、系统及装置
WO2013104205A1 (zh) 一种图像层和分片层的编解码方法、编解码器和电子设备
CN105812711A (zh) 视频通话过程中优化图像质量的方法及系统
CN105812710A (zh) 视频通话过程中优化图像质量的方法及系统
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
US7852853B1 (en) System and method for transmitting video information
CN106210785B (zh) 媒体流网络自适应单向控制方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant