CN114143614A - 一种基于视频帧时延检测的网络自适应传输方法与装置 - Google Patents
一种基于视频帧时延检测的网络自适应传输方法与装置 Download PDFInfo
- Publication number
- CN114143614A CN114143614A CN202111242577.XA CN202111242577A CN114143614A CN 114143614 A CN114143614 A CN 114143614A CN 202111242577 A CN202111242577 A CN 202111242577A CN 114143614 A CN114143614 A CN 114143614A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- module
- bandwidth
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 145
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 238000009499 grossing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 49
- 238000010606 normalization Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 23
- 238000013139 quantization Methods 0.000 claims description 20
- 230000011664 signaling Effects 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 4
- 230000035772 mutation Effects 0.000 claims description 4
- 230000033228 biological regulation Effects 0.000 claims 1
- 230000008054 signal transmission Effects 0.000 abstract description 3
- 230000033764 rhythmic process Effects 0.000 abstract description 2
- 238000012546 transfer Methods 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：S1、视频源模块：视频源模块产生固定帧率的YUV视频帧数据；S2、AIMD码率控制模块的码率自适应调整；S3、视频自适应编码模块内置H264/H265视频编码器，按照带宽进行自适应处理；S4、I帧平滑调整模块负责I帧平滑度调整；I帧平滑调整模块把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块；I帧平滑调整模块把P帧丢弃值发送给视频自适应编码模块。本发明利用视频帧的传输帧传输时延变化，调整视频帧网络传输平衡度与带宽，从而快速适应4G/5G记录仪移动，网络信号传输效率不停变化，调整最佳网络发包节奏与带宽，让视频无线网络传输最佳。
Description
技术领域
本发明涉及视频传输处理领域，具体涉及一种基于视频帧时延检测的网络自适应传输方 法与装置。
背景技术
随着4G/5G移动记录仪等基于无线视频传输设备应用，能通过记录仪录制的视频流实 时上传，记录仪在使用中长伴随以下状况：视频数据的传输在很大程度上依赖于公共移动网 络的带宽。随着记录仪移动，网络信号传输效率不停变化，因此需要一种方法快速检测视频 传输效率。
发明内容
为了解决上述现有技术方案中的不足，本发明提供了一种基于视频帧时延检测的网络自 适应传输方法与装置，具体技术方案如下：
一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：
S1、视频源模块：视频源模块产生固定帧率的YUV视频帧数据；
S2、AIMD码率控制模块的码率自适应调整；
S21、AIMD码率控制模块接收到带宽状态评估模块的带宽过载信令、带宽欠载信令；
S22、AIMD码率控制模块接受带宽过载信令，则新视频带宽等于原有视频带宽乘以二分一；
S23、AIMD码率控制模块接受带宽欠载信令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分一；
S24、AIMD码率控制模块把带宽调整发送给视频自适应编码模块；
S3、视频自适应编码模块内置H264/H265视频编码器，按照带宽进行自适应处理；
S4、I帧平滑调整模块负责I帧平滑度调整；I帧平滑调整模块把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块；I帧平滑调整模块把P帧丢弃值发送给视频自适应编码模块；
S5、视频帧平滑传输模块实际控制视频编码帧的平滑传输；
S6、视频帧接收时间差模块接收视频帧的网络包，并计算接收与发送时间差；
S7、视频帧间时延模块探测视频帧的时延变化，
S71、视频帧间时延模块对接收数据包进行按时间切片,10毫秒一个切片周期；
S72、视频帧间时延模块把每个切片的尾包的时间差减去首包的时间差得到时延变化 值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断 以去除视频帧发送时间维度不平衡引入误差；
S73、视频帧间时延模块对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值 的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
S74、视频帧间时延模块把时延变化均值的估计值发送给带宽状态评估模块；
S8、视频帧平滑度探测模块探测视频帧的平滑度；
S81、视频帧I帧数据量远大于P帧的数据量，视频帧平滑度探测模块所以选取I帧来作为视频帧的平滑度参考；
S82、视频帧平滑度探测模块把每个I帧的尾包的时间差减去首包的时间差得到I帧 时延变化值，使用I帧时延变化值来探测视频帧在网络上传输的平滑度；
S83、视频帧平滑度探测模块对I帧时延变化值进行卡尔曼滤波去噪声，得到I帧时延偏差估计值，使用卡尔曼滤波目的过滤I帧传输异常数据，包括H264/H265的视频编 码量化值QP调节过大导致I帧变化过大引入误差、瞬时网络的拥塞；
S84、视频帧平滑度探测模块把I帧时延偏差估计值发送给I帧平滑调整模块；
S9、带宽状态评估模块判断视频帧网络传输是否带宽过载、带宽欠载并通知AIMD码率 控制模块。
优选地，所述S3中按照带宽进行自适应处理包括以下步骤：
S31、视频自适应编码模块接收AIMD码率控制模块的带宽调整与I帧平滑控制模块4的P帧丢弃值；
S32、视频自适应编码模块接受AIMD码率控制模块的带宽调整，把视频编码器的平均带宽的设置为调整后目标带宽；
S33、视频自适应编码模块监测视频编码器的视频编码流的视频编码量化值，如果视 频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质 量下降过多；
S34、视频自适应编码模块接收I帧平滑控制模块4的P帧丢弃值，P帧丢弃值为I 帧占有几个P帧周期，I帧后丢，视频自适应编码模块生成I帧后，视频自适应编码模 块根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码器。
优选地，所述S4中I帧平滑度调整包括以下步骤：
S41、I帧平滑调整模块接收视频帧平滑度探测模块的I帧时延偏差估计值；
S42、I帧平滑调整模块根据时延偏差估计值大于阀值A，则把I帧占比值增加一，I帧平滑调整模块根据时延偏差估计值小与阀值B，则把I帧占比值减少一；
S43、I帧平滑调整模块从视频自适应编码模块获取I帧间隔周期GOP，视频帧组内I帧与P帧的数据量；
S44、视频自适应编码模块计算P帧的归一值，P帧的归一值等于P帧的数据量*(GOP-1-P帧丢弃值)/(GOP-1-I帧占比值-P帧丢弃值)；
S45、视频自适应编码模块计算I帧的归一值，I帧的归一值等于I帧数据量/(1+I帧占比值+P帧丢弃值)；P帧丢弃值初始值为0，如果视频自适应编码模块的P帧的归一 值大于I帧的归一值，则增大P帧丢弃值，重新计算P帧的归一值与I帧的归一值，直 到P帧的归一值小于等于I帧的归一值；当P帧丢弃值大于阀值Q，则通知带宽状态评 估模块的I帧平衡调节过载。
优选地，所述S5包括以下步骤：
S51、视频帧平滑传输模块接收I帧平滑调整模块的I帧占比值与P帧丢弃值；
S52、视频帧平滑传输模块接收视频自适应编码模块的视频编码流与视频帧率与I帧 间隔周期GOP；
S53、视频帧平滑传输模块计算帧平均传输时间,帧平均传输时间＝1/帧率；
S54、视频帧平滑传输模块计算I帧的传输时间，I帧的传输时间为(1+I帧占比值+P帧丢弃值)*帧平均传输时间；
S55、视频帧平滑传输模块计算P帧的传输时间，P帧的传输时间为((GOP-1-I帧占比值-P帧丢弃值)*帧平均传输时间)/(GOP-1-P帧丢弃值)；
S56、视频帧平滑传输模块对I帧与P帧按照传输时间均衡发送，视频帧平滑传输模块接受I帧与P帧的N字节长度的视频帧数据，按照1200进行拆分为N/1200个视频 包，每个包发送间隔为传输时间*1200/N；
S57、视频帧平滑传输模块把视频包发送视频帧接收时间差模块，视频包携带发送时 间。
优选地，所述S6包括以下步骤：
S61、视频帧接收时间差模块接收视频帧平滑传输模块的视频包以及发送时间；视频 帧接收时间差模块记录视频帧的接收时间；
S62、视频帧接收时间差模块把接收时间减去发送时间得到该数据的时间差；视频帧 接收时间差模块把传输视频流的I帧数据包的时间差发送给视频帧平滑度探测模块；
S63、视频帧接收时间差模块把传输视频流的所有数据包的时间差发送给视频帧间时 延模块；
优选地，所述S9包括以下步骤：
S91、带宽状态评估模块接收视频帧间时延模块的时延变化均值的估计值；
S92、带宽状态评估模块判断时延变化均值的估计值是否大于带宽阀值H，如果大与 等于则带宽过载计数加一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调节计数阀值C，此时说明视频帧的传输时延持续变大传输效率持续变差，网络设备传输上 有包累计；
S93、带宽状态评估模块通知AIMD码率控制模块带宽过载；
S94、带宽状态评估模块给带宽阀值H增加带宽增量A，带宽阀值H增加带宽增量A的目的是为网络已变差情况，减低带宽过载检查灵敏度，减少带宽状态反复切换可能 性，使得带宽切换变更加平顺；
S95、带宽状态评估模块判断时延变化均值的估计值是否为负值，如果出现负值说明 网络传输设备能超过视频帧的带宽，为带宽欠载状态；
S96、带宽状态评估模块判断时延变化均值为负值则带宽欠载计数加一，如果大于等 于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值C；
S97、带宽欠载计数大于带宽调节计数阀值C，带宽状态评估模块则通知AIMD码率控制模块带宽欠载；
S98、带宽状态评估模块给带宽阀值H减少带宽增量A，提高带宽过载检查灵敏度；
S99、带宽状态评估模块接收I帧平滑调整模块的I帧平衡调节过载，说明有视频帧传输可能产生过载，带宽状态评估模块把带宽阀值H减少带宽增量A，提高带宽过载检 查灵敏度，尽早检查出带宽过载情况。
本发明的有益效果是：
本发明使用一种基于视频帧时延检测的网络自适应传输方法，利用视频帧的传输帧传输 时延变化，调整视频帧网络传输平衡度与带宽，从而快速适应4G/5G记录仪移动，网络信 号传输效率不停变化，调整最佳网络发包节奏与带宽，让视频无线网络传输最佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图 获得其他的附图。
图1是本发明的整体模块连接示意图。
具体实施方式
下面详细描述本发明的实施例，下面的实施例是示例性的，旨在用于解释本发明，而不 能理解为对本发明的限制。
如图1所示，一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：
S1、视频源模块1：视频源模块1产生固定帧率的YUV视频帧数据；
S2、AIMD码率控制模块2的码率自适应调整；
S21、AIMD码率控制模块2接收到带宽状态评估模块9的带宽过载信令、带宽欠载信令；
S22、AIMD码率控制模块2接受带宽过载信令，则新视频带宽等于原有视频带宽乘以二分一；
S23、AIMD码率控制模块2接受带宽欠载信令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分一；
S24、AIMD码率控制模块2把带宽调整发送给视频自适应编码模块3；
S3、视频自适应编码模块3内置H264/H265视频编码器，按照带宽进行自适应处理；
S31、视频自适应编码模块3接收AIMD码率控制模块2的带宽调整与I帧平滑控制模块4的P帧丢弃值；
S32、视频自适应编码模块3接受AIMD码率控制模块2的带宽调整，把视频编码器的平均带宽的设置为调整后目标带宽；
S33、视频自适应编码模块3监测视频编码器的视频编码流的视频编码量化值，如果 视频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图 像质量下降过多；
S34、视频自适应编码模块3接收I帧平滑控制模块4的P帧丢弃值，P帧丢弃值为 I帧占有几个P帧周期，I帧后丢，视频自适应编码模块3生成I帧后，视频自适应编 码模块3根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码器。
S4、I帧平滑调整模块4负责I帧平滑度调整；
S41、I帧平滑调整模块4接收视频帧平滑度探测模块8的I帧时延偏差估计值；
S42、I帧平滑调整模块4根据时延偏差估计值大于阀值A，则把I帧占比值增加 一，I帧平滑调整模块4根据时延偏差估计值小与阀值B，则把I帧占比值减少一；
S43、I帧平滑调整模块4从视频自适应编码模块3获取I帧间隔周期GOP，视频帧 组内I帧与P帧的数据量；
S44、视频自适应编码模块3计算P帧的归一值，P帧的归一值等于P帧的数据量*(GOP-1-P帧丢弃值)/(GOP-1-I帧占比值-P帧丢弃值)；
S45、视频自适应编码模块3计算I帧的归一值，I帧的归一值等于I帧数据量/(1+ I帧占比值+P帧丢弃值)；P帧丢弃值初始值为0，如果视频自适应编码模块3的P帧的 归一值大于I帧的归一值，则增大P帧丢弃值，重新计算P帧的归一值与I帧的归一 值，直到P帧的归一值小于等于I帧的归一值；当P帧丢弃值大于阀值Q，则通知带宽 状态评估模块9的I帧平衡调节过载；
S46、I帧平滑调整模块4把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块 5；I帧平滑调整模块4把P帧丢弃值发送给视频自适应编码模块3。
S5、视频帧平滑传输模块5实际控制视频编码帧的平滑传输；
S51、视频帧平滑传输模块5接收I帧平滑调整模块4的I帧占比值与P帧丢弃值；
S52、视频帧平滑传输模块5接收视频自适应编码模块3的视频编码流与视频帧率与 I帧间隔周期GOP；
S53、视频帧平滑传输模块5计算帧平均传输时间,帧平均传输时间＝1/帧率；
S54、视频帧平滑传输模块5计算I帧的传输时间，I帧的传输时间为(1+I帧占比值+P帧丢弃值)*帧平均传输时间；
S55、视频帧平滑传输模块5计算P帧的传输时间，P帧的传输时间为((GOP-1-I帧占比值-P帧丢弃值)*帧平均传输时间)/(GOP-1-P帧丢弃值)；
S56、视频帧平滑传输模块5对I帧与P帧按照传输时间均衡发送，视频帧平滑传输模块5接受I帧与P帧的N字节长度的视频帧数据，按照1200进行拆分为N/1200个视 频包，每个包发送间隔为传输时间*1200/N；
S57、视频帧平滑传输模块5把视频包发送视频帧接收时间差模块6，视频包携带发送时间。
S6、视频帧接收时间差模块6接收视频帧的网络包，并计算接收与发送时间差；
S61、视频帧接收时间差模块6接收视频帧平滑传输模块5的视频包以及发送时间；视频帧接收时间差模块6记录视频帧的接收时间；
S62、视频帧接收时间差模块6把接收时间减去发送时间得到该数据的时间差；视频 帧接收时间差模块6把传输视频流的I帧数据包的时间差发送给视频帧平滑度探测模块8；
S63、视频帧接收时间差模块6把传输视频流的所有数据包的时间差发送给视频帧间 时延模块7。
S7、视频帧间时延模块7探测视频帧的时延变化，
S71、视频帧间时延模块7对接收数据包进行按时间切片,10毫秒一个切片周期；
S72、视频帧间时延模块7把每个切片的尾包的时间差减去首包的时间差得到时延变 化值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断以去除视频帧发送时间维度不平衡引入误差；
S73、视频帧间时延模块7对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均 值的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
S74、视频帧间时延模块7把时延变化均值的估计值发送给带宽状态评估模块9；
S8、视频帧平滑度探测模块8探测视频帧的平滑度；
S81、视频帧I帧数据量远大于P帧的数据量，视频帧平滑度探测模块8所以选取I帧来作为视频帧的平滑度参考；
S82、视频帧平滑度探测模块8把每个I帧的尾包的时间差减去首包的时间差得到I帧时延变化值，使用I帧时延变化值来探测视频帧在网络上传输的平滑度；
S83、视频帧平滑度探测模块8对I帧时延变化值进行卡尔曼滤波去噪声，得到I帧时延偏差估计值，使用卡尔曼滤波目的过滤I帧传输异常数据，包括H264/H265的视频 编码量化值QP调节过大导致I帧变化过大引入误差、瞬时网络的拥塞；
S84、视频帧平滑度探测模块8把I帧时延偏差估计值发送给I帧平滑调整模块4；
S9、带宽状态评估模块9判断视频帧网络传输是否带宽过载、带宽欠载并通知AIMD码 率控制模块2；
S91、带宽状态评估模块9接收视频帧间时延模块7的时延变化均值的估计值；
S92、带宽状态评估模块9判断时延变化均值的估计值是否大于带宽阀值H，如果大与等于则带宽过载计数加一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调 节计数阀值C，此时说明视频帧的传输时延持续变大传输效率持续变差，网络设备传输 上有包累计；
S93、带宽状态评估模块9通知AIMD码率控制模块2带宽过载；
S94、带宽状态评估模块9给带宽阀值H增加带宽增量A，带宽阀值H增加带宽增量 A的目的是为网络已变差情况，减低带宽过载检查灵敏度，减少带宽状态反复切换可能 性，使得带宽切换变更加平顺；
S95、带宽状态评估模块9判断时延变化均值的估计值是否为负值，如果出现负值说 明网络传输设备能超过视频帧的带宽，为带宽欠载状态；
S96、带宽状态评估模块9判断时延变化均值为负值则带宽欠载计数加一，如果大于 等于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值C；
S97、带宽欠载计数大于带宽调节计数阀值C，带宽状态评估模块9则通知AIMD码率控制模块2带宽欠载；
S98、带宽状态评估模块9给带宽阀值H减少带宽增量A，提高带宽过载检查灵敏度；
S99、带宽状态评估模块9接收I帧平滑调整模块4的I帧平衡调节过载，说明有视频帧传输可能产生过载，带宽状态评估模块9把带宽阀值H减少带宽增量A，提高带宽 过载检查灵敏度，尽早检查出带宽过载情况。
本发明一种基于视频帧时延检测的网络自适应传输装置包含：视频源模块1,AIMD码率 控制模块2,视频自适应编码模块3,I帧平滑调整模块4,视频帧平滑传输模块5，视频帧 接收时间差模块6，视频帧间时延模块7，视频帧平滑度探测模块8,带宽状态评估模块9。
视频源模块1：视频源模块1产生固定帧率的YUV视频帧数据。
AIMD码率控制模块2：AIMD码率控制模块2的码率自适应调整；AIMD码率控制模块2接收到带宽状态评估模块9的带宽过载、带宽欠载；AIMD码率控制模块2接受带宽过载信令，则新视频带宽等于原有视频带宽乘以二分一，AIMD码率控制模块2接受带宽欠载信 令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分 一；AIMD码率控制模块2把带宽调整发送给视频自适应编码模块3。
视频自适应编码模块3：视频自适应编码模块3内置H264/H265视频编码器，按照带宽 进行自适应处理，视频自适应编码模块3接收AIMD码率控制模块2的带宽调整与I帧平滑控制模块4的P帧丢弃值；视频自适应编码模块3接受AIMD码率控制模块2的带宽调整， 把视频编码器的平均带宽的设置为调整后目标带宽，视频自适应编码模块3监测视频编码器 的视频编码流的视频编码量化值，如果视频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质量下降过多；视频自适应编码模块3接收I帧平滑控制模块4的P帧丢弃值，P帧丢弃值为I帧占有几个P帧周期，I帧后丢，视频自适应编码模块3 生成I帧后，视频自适应编码模块3根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码 器。
I帧平滑调整模块4：负责I帧平滑度调整，I帧平滑调整模块4接收视频帧平滑度探测模块8的I帧时延偏差估计值，I帧平滑调整模块4根据时延偏差估计值大于阀值A，则 把I帧占比值增加一，I帧平滑调整模块4根据时延偏差估计值小与阀值B，则把I帧占比 值减少一；I帧平滑调整模块4从视频自适应编码模块3获取I帧间隔周期GOP，视频帧组 内I帧与P帧的数据量；视频自适应编码模块3计算P帧的归一值，P帧的归一值等于P帧 的数据量*(GOP-1-P帧丢弃值)/(GOP-1-I帧占比值-P帧丢弃值)；视频自适应编码 模块3计算I帧的归一值，I帧的归一值等于I帧数据量/(1+I帧占比值+P帧丢弃值)；P 帧丢弃值初始值为0，如果视频自适应编码模块3的P帧的归一值大于I帧的归一值，则增 大P帧丢弃值，重新计算P帧的归一值与I帧的归一值，直到P帧的归一值小于等于I帧的 归一值；当P帧丢弃值大于阀值Q，则通知带宽状态评估模块9的I帧平衡调节过载；I帧 平滑调整模块4把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块5；I帧平滑调整模 块4把P帧丢弃值发送给视频自适应编码模块3。
视频帧平滑传输模块5：视频帧平滑传输模块5实际控制视频编码帧的平滑传输，视 频帧平滑传输模块5接收I帧平滑调整模块4的I帧占比值与P帧丢弃值；视频帧平滑传输模块5接收视频自适应编码模块3的视频编码流与视频帧率与I帧间隔周期GOP；视频帧平滑传输模块5计算帧平均传输时间,帧平均传输时间＝1/帧率；视频帧平滑传输模块5计算I帧的传输时间，I帧的传输时间为(1+I帧占比值+P帧丢弃值)*帧平均传输时间；视频帧平滑传输模块5计算P帧的传输时间，P帧的传输时间为((GOP-1-I帧占比值-P帧丢弃值)* 帧平均传输时间)/(GOP-1-P帧丢弃值)；视频帧平滑传输模块5对I帧与P帧按照传输时间 均衡发送，视频帧平滑传输模块5接受I帧与P帧的N字节长度的视频帧数据，按照1200 进行拆分为N/1200个视频包，每个包发送间隔为传输时间*1200/N；视频帧平滑传输模 块5把视频包发送视频帧接收时间差模块6，视频包携带发送时间。
视频帧接收时间差模块6：视频帧接收时间差模块6接收视频帧的网络包，并计算接收 与发送时间差；视频帧接收时间差模块6接收视频帧平滑传输模块5的视频包以及发送时 间；视频帧接收时间差模块6记录视频帧的接收时间；视频帧接收时间差模块6把接受时间 减去发送时间得到该数据的时间差；视频帧接收时间差模块6把传输视频流的I帧数据包的 时间差发送给视频帧平滑度探测模块8；视频帧接收时间差模块6把传输视频流的所有数据 包的时间差发送给视频帧间时延模块7。
视频帧间时延模块7:视频帧间时延模块7探测视频帧的时延变化，视频帧间时延模块7 对接收数据包进行按时间切片,10毫秒一个切片周期；视频帧间时延模块7把每个切片的尾 包的时间差减去首包的时间差得到时延变化值，时延变化值除以该分片的包数得到时延变化 均值，使用时延变化均值进行时延判断以去除视频帧发送时间维度不平衡引入的误差；视频 帧间时延模块7对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值的估计值，使用 卡尔曼滤波目的是过滤少量异常突变的时延变化均值；视频帧间时延模块7把时延变化均值 的估计值发送给带宽状态评估模块9。
视频帧平滑度探测模块8:视频帧平滑度探测模块8探测视频帧的平滑度，视频帧I帧 数据量远大于P帧的数据量，所以选取I帧来作为视频帧的平滑度参考；视频帧平滑度探测 模块8把每个I帧的尾包的时间差减去首包的时间差得到I帧时延变化值，使用I帧时延变 化值来探测视频帧在网络上传输的平滑度；视频帧平滑度探测模块8对I帧时延变化值进行 卡尔曼滤波去噪声，得到I帧时延偏差估计值，使用卡尔曼滤波的目的是过滤I帧传输异常 数据，包括H264/H265的视频编码量化值QP调节过大导致I帧变化过大引入误差、瞬时网 络的拥塞；视频帧平滑度探测模块8把I帧时延偏差估计值发送给I帧平滑调整模块4。
带宽状态评估模块9：带宽状态评估模块9判断视频帧网络传输是否带宽过载、带宽欠 载；带宽状态评估模块9接收视频帧间时延模块7的时延变化均值的估计值，带宽状态评估 模块9判断时延变化均值的估计值是否大于带宽阀值H，如果大于等于则带宽过载计数加 一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调节计数阀值C，此时说明视频 帧的传输时延持续变大传输效率持续变差、网络设备传输上有包累计，则通知AIMD码率控 制模块2带宽过载，带宽状态评估模块9给带宽阀值H增加带宽增量A，带宽阀值H增加带 宽增量A的目的是为网络已变差情况，降低带宽过载检查灵敏度、减少带宽状态反复切换可 能性，使得带宽切换变更加平顺；带宽状态评估模块9判断时延变化均值的估计值是否为负 值，如果出现负值说明网络传输设备能超过视频帧的带宽，如果为负值则带宽欠载计数加 一，如果大于等于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值C，则通知 AIMD码率控制模块2带宽欠载，带宽状态评估模块9给带宽阀值H减少带宽增量A，提高带 宽过载检查灵敏度；带宽状态评估模块9接收I帧平滑调整模块4的I帧平衡调节过载，说 明有视频帧传输可能产生过载，带宽状态评估模块9把带宽阀值H减少带宽增量A，提高带 宽过载检查灵敏度，尽早检查出带宽过载情况。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以 在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并 不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种基于视频帧时延检测的网络自适应传输方法，其特征在于，包括以下步骤：
S1、视频源模块(1)：视频源模块(1)产生固定帧率的YUV视频帧数据；
S2、AIMD码率控制模块(2)的码率自适应调整；
S21、AIMD码率控制模块(2)接收到带宽状态评估模块(9)的带宽过载信令、带宽欠载信令；
S22、AIMD码率控制模块(2)接受带宽过载信令，则新视频带宽等于原有视频带宽乘以二分一；
S23、AIMD码率控制模块(2)接受带宽欠载信令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分一；
S24、AIMD码率控制模块(2)把带宽调整发送给视频自适应编码模块(3)；
S3、视频自适应编码模块(3)内置H264/H265视频编码器，按照带宽进行自适应处理；
S4、I帧平滑调整模块(4)负责I帧平滑度调整；I帧平滑调整模块(4)把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块(5)；I帧平滑调整模块(4)把P帧丢弃值发送给视频自适应编码模块(3)；
S5、视频帧平滑传输模块(5)实际控制视频编码帧的平滑传输；
S6、视频帧接收时间差模块(6)接收视频帧的网络包，并计算接收与发送时间差；
S7、视频帧间时延模块(7)探测视频帧的时延变化，
S71、视频帧间时延模块(7)对接收数据包进行按时间切片,10毫秒一个切片周期；
S72、视频帧间时延模块(7)把每个切片的尾包的时间差减去首包的时间差得到时延变化值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断以去除视频帧发送时间维度不平衡引入误差；
S73、视频帧间时延模块(7)对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
S74、视频帧间时延模块(7)把时延变化均值的估计值发送给带宽状态评估模块(9)；
S8、视频帧平滑度探测模块(8)探测视频帧的平滑度；
S81、视频帧I帧数据量远大于P帧的数据量，视频帧平滑度探测模块(8)所以选取I帧来作为视频帧的平滑度参考；
S82、视频帧平滑度探测模块(8)把每个I帧的尾包的时间差减去首包的时间差得到I帧时延变化值，使用I帧时延变化值来探测视频帧在网络上传输的平滑度；
S83、视频帧平滑度探测模块(8)对I帧时延变化值进行卡尔曼滤波去噪声，得到I帧时延偏差估计值，使用卡尔曼滤波目的过滤I帧传输异常数据，包括H264/H265的视频编码量化值QP调节过大导致I帧变化过大引入误差、瞬时网络的拥塞；
S84、视频帧平滑度探测模块(8)把I帧时延偏差估计值发送给I帧平滑调整模块(4)；
S9、带宽状态评估模块(9)判断视频帧网络传输是否带宽过载、带宽欠载并通知AIMD码率控制模块(2)。
2.根据权利要求1所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S3中按照带宽进行自适应处理包括以下步骤：
S31、视频自适应编码模块(3)接收AIMD码率控制模块(2)的带宽调整与I帧平滑控制模块(4)的P帧丢弃值；
S32、视频自适应编码模块(3)接受AIMD码率控制模块(2)的带宽调整，把视频编码器的平均带宽的设置为调整后目标带宽；
S33、视频自适应编码模块(3)监测视频编码器的视频编码流的视频编码量化值，如果视频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质量下降过多；
S34、视频自适应编码模块(3)接收I帧平滑控制模块(4)的P帧丢弃值，P帧丢弃值为I帧占有几个P帧周期，I帧后丢，视频自适应编码模块(3)生成I帧后，视频自适应编码模块(3)根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码器。
3.根据权利要求1所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S4中I帧平滑度调整包括以下步骤：
S41、I帧平滑调整模块(4)接收视频帧平滑度探测模块(8)的I帧时延偏差估计值；
S42、I帧平滑调整模块(4)根据时延偏差估计值大于阀值A，则把I帧占比值增加一，I帧平滑调整模块(4)根据时延偏差估计值小与阀值B，则把I帧占比值减少一；
S43、I帧平滑调整模块(4)从视频自适应编码模块(3)获取I帧间隔周期GOP，视频帧组内I帧与P帧的数据量；
S44、视频自适应编码模块(3)计算P帧的归一值，P帧的归一值等于P帧的数据量*(GOP-1-P帧丢弃值)/(GOP-1-I帧占比值-P帧丢弃值)；
S45、视频自适应编码模块(3)计算I帧的归一值，I帧的归一值等于I帧数据量/(1+I帧占比值+P帧丢弃值)；P帧丢弃值初始值为0，如果视频自适应编码模块(3)的P帧的归一值大于I帧的归一值，则增大P帧丢弃值，重新计算P帧的归一值与I帧的归一值，直到P帧的归一值小于等于I帧的归一值；当P帧丢弃值大于阀值Q，则通知带宽状态评估模块(9)的I帧平衡调节过载。
4.根据权利要求1所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S5包括以下步骤：
S51、视频帧平滑传输模块(5)接收I帧平滑调整模块(4)的I帧占比值与P帧丢弃值；
S52、视频帧平滑传输模块(5)接收视频自适应编码模块(3)的视频编码流与视频帧率与I帧间隔周期GOP；
S53、视频帧平滑传输模块(5)计算帧平均传输时间,帧平均传输时间＝1/帧率；
S54、视频帧平滑传输模块(5)计算I帧的传输时间，I帧的传输时间为(1+I帧占比值+P帧丢弃值)*帧平均传输时间；
S55、视频帧平滑传输模块(5)计算P帧的传输时间，P帧的传输时间为((GOP-1-I帧占比值-P帧丢弃值)*帧平均传输时间)/(GOP-1-P帧丢弃值)；
S56、视频帧平滑传输模块(5)对I帧与P帧按照传输时间均衡发送，视频帧平滑传输模块(5)接受I帧与P帧的N字节长度的视频帧数据，按照1200进行拆分为N/1200个视频包，每个包发送间隔为传输时间*1200/N；
S57、视频帧平滑传输模块(5)把视频包发送视频帧接收时间差模块(6)，视频包携带发送时间。
5.根据权利要求4所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S6包括以下步骤：
S61、视频帧接收时间差模块(6)接收视频帧平滑传输模块(5)的视频包以及发送时间；视频帧接收时间差模块(6)记录视频帧的接收时间；
S62、视频帧接收时间差模块(6)把接收时间减去发送时间得到该数据的时间差；视频帧接收时间差模块(6)把传输视频流的I帧数据包的时间差发送给视频帧平滑度探测模块(8)；
S63、视频帧接收时间差模块(6)把传输视频流的所有数据包的时间差发送给视频帧间时延模块(7)。
6.根据权利要求5所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S9包括以下步骤：
S91、带宽状态评估模块(9)接收视频帧间时延模块(7)的时延变化均值的估计值；
S92、带宽状态评估模块(9)判断时延变化均值的估计值是否大于带宽阀值H，如果大与等于则带宽过载计数加一，如果小于则带宽过载计数清零，带宽过载计数大于带宽调节计数阀值C，此时说明视频帧的传输时延持续变大传输效率持续变差，网络设备传输上有包累计；
S93、带宽状态评估模块(9)通知AIMD码率控制模块(2)带宽过载；
S94、带宽状态评估模块(9)给带宽阀值H增加带宽增量A，带宽阀值H增加带宽增量A的目的是为网络已变差情况，减低带宽过载检查灵敏度，减少带宽状态反复切换可能性，使得带宽切换变更加平顺；
S95、带宽状态评估模块(9)判断时延变化均值的估计值是否为负值，如果出现负值说明网络传输设备能超过视频帧的带宽，为带宽欠载状态；
S96、带宽状态评估模块(9)判断时延变化均值为负值则带宽欠载计数加一，如果大于等于零，带宽欠载计数清零，带宽欠载计数大于带宽调节计数阀值C；
S97、带宽欠载计数大于带宽调节计数阀值C，带宽状态评估模块(9)则通知AIMD码率控制模块(2)带宽欠载；
S98、带宽状态评估模块(9)给带宽阀值H减少带宽增量A，提高带宽过载检查灵敏度；
S99、带宽状态评估模块(9)接收I帧平滑调整模块(4)的I帧平衡调节过载，说明有视频帧传输可能产生过载，带宽状态评估模块(9)把带宽阀值H减少带宽增量A，提高带宽过载检查灵敏度，尽早检查出带宽过载情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242577.XA CN114143614B (zh) | 2021-10-25 | 2021-10-25 | 一种基于视频帧时延检测的网络自适应传输方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242577.XA CN114143614B (zh) | 2021-10-25 | 2021-10-25 | 一种基于视频帧时延检测的网络自适应传输方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114143614A true CN114143614A (zh) | 2022-03-04 |
| CN114143614B CN114143614B (zh) | 2023-11-24 |
Family
ID=80395801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111242577.XA Active CN114143614B (zh) | 2021-10-25 | 2021-10-25 | 一种基于视频帧时延检测的网络自适应传输方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114143614B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115941573A (zh) * | 2022-12-07 | 2023-04-07 | 四川天邑康和通信股份有限公司 | 一种分析监控视频丢帧判断交换机性能的方法 |
| CN116578520A (zh) * | 2023-07-14 | 2023-08-11 | 江苏游隼微电子有限公司 | 一种适用于图像的编码计数型usb可靠传输方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007128234A1 (fr) * | 2006-04-30 | 2007-11-15 | Huawei Technologies Co., Ltd. | Procédé et noeud de filtrage de flux vidéo |
| CN110769277A (zh) * | 2019-10-25 | 2020-02-07 | 杭州叙简科技股份有限公司 | 执法记录仪基于加速度传感器的视频编码系统及编码方式 |
| CN113242469A (zh) * | 2021-04-21 | 2021-08-10 | 南京大学 | 一种自适应视频传输配置方法和系统 |
-
2021
- 2021-10-25 CN CN202111242577.XA patent/CN114143614B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007128234A1 (fr) * | 2006-04-30 | 2007-11-15 | Huawei Technologies Co., Ltd. | Procédé et noeud de filtrage de flux vidéo |
| CN110769277A (zh) * | 2019-10-25 | 2020-02-07 | 杭州叙简科技股份有限公司 | 执法记录仪基于加速度传感器的视频编码系统及编码方式 |
| CN113242469A (zh) * | 2021-04-21 | 2021-08-10 | 南京大学 | 一种自适应视频传输配置方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘天;张磊;黄华;: "即时全变差优化的低延时视频稳像方法", 中国图象图形学报, no. 02 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115941573A (zh) * | 2022-12-07 | 2023-04-07 | 四川天邑康和通信股份有限公司 | 一种分析监控视频丢帧判断交换机性能的方法 |
| CN116578520A (zh) * | 2023-07-14 | 2023-08-11 | 江苏游隼微电子有限公司 | 一种适用于图像的编码计数型usb可靠传输方法及装置 |
| CN116578520B (zh) * | 2023-07-14 | 2023-09-08 | 江苏游隼微电子有限公司 | 一种适用于图像的编码计数型usb可靠传输方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114143614B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111615006B (zh) | 基于网络状态自评估的视频编码转换传输控制系统 | |
| US11503307B2 (en) | System and method for automatic encoder adjustment based on transport data | |
| CN114143614B (zh) | 一种基于视频帧时延检测的网络自适应传输方法与装置 | |
| US8566662B2 (en) | Transmission apparatus, receiving apparatus, and method | |
| CN109729437B (zh) | 流媒体自适应传输方法、终端和系统 | |
| US20120307886A1 (en) | Adaptive Video Encoding Based on Predicted Wireless Channel Conditions | |
| US20120307885A1 (en) | Channel Condition Prediction Employing Transmit Queuing Model | |
| US8578436B2 (en) | Method for two time-scales video stream transmission control | |
| US10116715B2 (en) | Adapting encoded bandwidth | |
| US20050089092A1 (en) | Moving picture encoding apparatus | |
| AU2021200428C1 (en) | System and method for automatic encoder adjustment based on transport data | |
| Zhang et al. | Network-adaptive rate control with TCP-friendly protocol for multiple video objects | |
| US20160277467A1 (en) | Adapting Encoded Bandwidth | |
| JP3403683B2 (ja) | 画像符号化装置および方法 | |
| CN110971900A (zh) | 一种适用于4k、8k超高清运动平缓视频的码率控制方法 | |
| Chen et al. | Robust video streaming over wireless LANs using multiple description transcoding and prioritized retransmission | |
| CN111212308B (zh) | 一种无线网络自适应调节的方法 | |
| WO2016149227A1 (en) | Method, apparatus und computer program product for dynamically adapting the bandwidth based on channel conditions and bandwidth constraint | |
| KR100830965B1 (ko) | 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법 | |
| CN116896636A (zh) | 一种自适应可变码率的码率控制方法及装置 | |
| CN117014613A (zh) | 一种恒定视频质量的码率控制方法及装置 | |
| CN117938309A (zh) | 低延迟串流优化控制方法、装置及计算机可读存储介质 | |
| CN117956167A (zh) | 视频编码的码率控制方法、装置及计算机可读存储介质 | |
| Fan et al. | Rate Adaptation Transcoding Control Algorithm for Video Transmission over Wireless Channels | |
| Chen et al. | Industry track: adaptive wireless video streaming proxy for home entertainment networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |