CN112672153A - 融合视频特征分析的可伸缩编码视频码率自适应选择方法 - Google Patents

融合视频特征分析的可伸缩编码视频码率自适应选择方法 Download PDF

Info

Publication number
CN112672153A
CN112672153A CN202011453385.9A CN202011453385A CN112672153A CN 112672153 A CN112672153 A CN 112672153A CN 202011453385 A CN202011453385 A CN 202011453385A CN 112672153 A CN112672153 A CN 112672153A
Authority
CN
China
Prior art keywords
video
code rate
frame
block
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011453385.9A
Other languages
English (en)
Other versions
CN112672153B (zh
Inventor
鲍家坤
刘思培
高天成
曹玲玲
童安玲
张志虎
袁鸯
侯海婷
王娟
宋春林
杨磊
史玉龙
王磊
纪恩怀
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Information Control Institute Group Co ltd
Original Assignee
North Information Control Institute Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Information Control Institute Group Co ltd filed Critical North Information Control Institute Group Co ltd
Priority to CN202011453385.9A priority Critical patent/CN112672153B/zh
Publication of CN112672153A publication Critical patent/CN112672153A/zh
Application granted granted Critical
Publication of CN112672153B publication Critical patent/CN112672153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于频传输技术领域,具体涉及一种融合视频特征分析的可伸缩编码视频码率自适应选择方法,首先针对可伸缩编码视频进行特征信息离线分析与表达,然后从视频特征和观看体验两个维度构建视频质量评价模型,进而在感知吞吐量与缓存的基础上实现视频码率的在线自适应选择,最终实现自适应视频码率选择系统的构建。面向可伸缩编码视频的特征信息离线分析与表达;融合视频特征与观看体验的质量评价模型构建;吞吐量与缓存感知的视频码率在线自适应选择;自适应视频码率选择系统构建;本申请能够从空间、时间、质量三个维度对可伸缩编码视频进行联合特征分析与表达,最终实现面向扩展编码视频的码率自适应选择。

Description

融合视频特征分析的可伸缩编码视频码率自适应选择方法
技术领域
本发明属于视频传输技术领域,特别是一种融合视频特征分析的可伸缩编码视频码率自适应选择方法。
背景技术
视频自适应码率(Adaptive Bitrate,ABR)是提升视频传输及播放体验的一种有效方法,该方法能够根据网络状态、本地缓存量等因素,选择适当码率的视频块进行下载,实现提升视频质量、减少播放卡顿和码率切换频率之间的权衡和优化,包含面向高级视频编码(Advanced Video Coding,AVC)和可伸缩视频编码(Scalable Video Coding,SVC)两类编码方式的视频码率自适应选择方法。由于可伸缩视频编码在大幅节约视频服务器存储空间,以及在空间、时间、质量等维度精确控制视频质量等方面的优势,因此面向可伸缩编码视频码率自适应选择方法及系统具备广阔的应用前景。
当前面向SVC的码率自适应选择尚处于起步阶段,现有方法通常在面向AVC的码率自适应选择方法基础上,引入对编码方式、编码层数的选择,虽然能够在一定程度上提升码率选择方法的灵活性,但在提升视频综合观看体验,以及与SVC深度结合方面仍存在不足。现有面向SVC的码率自适方法尚未能从空间、时间、质量三个编码维度对可伸缩编码视频进行联合分析,突破单纯基于码率的视频质量评价标准的局限,并将其融入码率选择算法与系统的构建,实现视频编码优势到码率选择优势的转换。
发明内容
本发明的目的在于提供一种融合视频特征分析的可伸缩编码视频码率自适应选择方法,以实现自适应视频码率选择系统构建。
实现本发明目的的技术解决方案为:
一种融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,具体包括以下步骤:
步骤1、面向可伸缩编码视频的特征信息离线计算与表达:从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析,并将特征分析结果在改进的MPD文件中进行描述;
步骤2、融合视频特征与观看体验的质量评价模型构建:一方面对于短时区间视频片段,基于视频特征进行视频质量计算,另一方面在长时区间视频传输和播放过程中,基于观看体验进行视频质量计算,最终综合上述两个方面因素,构建视频质量综合评价模型;
步骤3、吞吐量与缓存感知的视频码率在线自适应选择:首先在步骤2优化目标基础上,结合视频传输与播放的约束,构建视频码率选择优化问题;其次通过带宽预测与缓存监控,获取优化问题求解需求知道的相关带宽与缓存条件;最后通过遍历可选择的视频块编码方式以及层数,求解最优的下载码率;
步骤4、自适应视频码率选择系统构建:基于步骤1~步骤3分析与设计结果进行构建,包括视频服务器和视频客户端两大部分,视频服务器与视频客户端之间基于HTTP协议通信和传输;其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块;视频客户端用于MPD文件解析、对下载每个视频块的编码方式及层数进行决策,以及对已下载的视频块进行解码和播放。
本发明与现有技术相比,其显著优点是:
(1)本发明提出的融合视频特征分析的可伸缩编码视频码率自适应选择方法,能够从空间、时间、质量三个维度对可伸缩编码视频进行联合特征分析与表达,突破单一视频质量评价方法的局限,并将这一创新融入视频码率自适应选择方法及系统的整体架构;
(2)本发明在构建视频质量评价模型以及码率选择优化方法,能够从视频特征与观看体验两个方面,对码率选择的优化问题进行分析和描述,并制定面向可行解空间的最优码方式及编码层数求解方法,可指导现有可伸缩视频编码选择算法的改进,具有很高的创新性;
(3)本发明提出的自适应视频码率选择系统,能够基于视频码率选择方法,设计出完善的视频服务器和客户端中处理和交互模块,可应用于现有视频点播平台的优化,具备很高的实用性。
附图说明
图1为本发明的视频码率选择方法的流程图。
图2为本发明的视频码率选择系统的组成图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的介绍。
结合图1,本发明的一种融合视频特征分析的可伸缩编码视频码率自适应选择方法,包括以下步骤:
步骤S1,面向可伸缩编码视频的特征信息离线计算与表达:
可伸视频缩编码(Scalable Video Coding,SVC)是视频编码标准H.264的扩展部分,能够在原有的视频编码基础上,实现空间域(分辨率)、时间域(帧率)和质量域(信噪比)三个维度的分层编码。对于SVC视频的每一帧,每一维度的基础层E0可支持单独解码,增强层Ei(i=1,2,…n)需要与之前的E0~Ei-1层联合解码。针对SVC的分层编码方式和空间、时间、质量上的渐进改善特性,本步骤从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析,并将其特征分析结果在改进的MPD文件中进行描述,以支持后续视频传过程的码率优化模型构建和码率选择问题求解。
步骤S101,编码前原视频逐帧基本特征计算:
针对编码前原视频的每一帧图像,从清晰度、运动性、高频性三个方面进行基本特征分析。清晰度反应了图像相邻区域像素的变化大小,清晰度较高的原视频帧对于分辨率的压缩敏感,而清晰度较低的原视频帧对于分辨率的压缩不敏感。运动性反映了视频内容随时间的变化大小,运动性较高的原视频帧对于帧率压缩敏感,而运动性较低的原视频帧对于帧率压缩不敏感。通过快速傅里叶变换等方法能够将图像转换到频域,对于给定的图像频率阈值,其中低于阈值的低频分量对应图像的轮廓信息,高于阈值的高频分量对应图像的细节信息,高频分量较多的原视频帧对于质量压缩敏感,高频分量较少的原视频帧对于质量压缩不敏感。根据上述分析,需要对编码前原视频的每一帧图像的清晰度、运动性、高频性进行计算和表征。
对于编码前原视频,其每一帧的图像Ii分辨率为M×N(M为图像像素行数,N为图像像素列数),fi(x,y)为原视频第i帧图像Ii的x行y列的像素的灰度值。
第i帧图像清晰度的特征值
Figure BDA0002832365430000031
采用本帧图像像素间的灰度变化度进行描述,其计算方法可使用但不限于下述方法:
Figure BDA0002832365430000033
Figure BDA0002832365430000032
其中μ为图像平均灰度值。
第i帧图像运动性的特征值
Figure BDA0002832365430000041
采用本帧图像与前一帧图像像素的灰度变化度进行描述,其计算方法可使用但不限于下述方法:
Figure BDA0002832365430000042
第i帧图像高频性的特征值
Figure BDA0002832365430000043
本帧图像与低通滤波后图像像素的灰度变化度进行描述,其计算方法可使用但不限于下述方法:
Figure BDA0002832365430000044
f'(x,y)=iFFT(H(FFT(f(x,y))))
Figure BDA0002832365430000045
其中FFT为快速傅里叶变换,将时域图像转换为频域图像(包含将频域图像中心点移动到中心位置,以及将复数的模映射为0~255);FiT快速傅里叶逆变换,将频域图像转换回时域图像;H(u,v)为低通滤波器,D(u,v)为输入的二维图像,D0为给定阈值。
步骤S102,可伸缩编码视频逐帧逐层质量特征计算:
本步骤对SVC视频的每一帧图像在空间、时间、质量可伸缩编码后的每一层及其依赖层联合解码,并对解码后图像进行质量特征分析。待分析的质量特征包括分辨率、帧率、信噪比三个方面。
原视频中的每一帧i经过空间、时间、质量可伸缩编码的基础层为Ei,0,空间伸缩编码的l个增强层为
Figure BDA0002832365430000046
时间伸缩编码的m个增强层为
Figure BDA0002832365430000047
质量伸缩编码的n个增强层为
Figure BDA0002832365430000048
则需要对每一个分层编码集合
Figure BDA0002832365430000049
解码后的图像
Figure BDA00028323654300000410
进行特征分析。其中X=S/T/Q(即X可取值S或T或Q),对应的max Y=l/m/n(即X=S时,Y可取0~l的整数;X=T时,Y可取0~m的整数;X=Q时,Y可取0~n的整数),且由于
Figure BDA00028323654300000411
(
Figure BDA00028323654300000412
对应的编码图像同为Ei,0),因此原视频中的第i帧经可伸缩编解码后图像共1+l+m+n幅。
解码后图像
Figure BDA00028323654300000413
的分辨率特征值
Figure BDA00028323654300000414
等于图像
Figure BDA00028323654300000415
的行像素数乘以列像素数。
帧率特征值
Figure BDA00028323654300000416
等于图像序列
Figure BDA00028323654300000417
构成视频的帧率。
信噪比特征值
Figure BDA0002832365430000051
等于:
Figure BDA0002832365430000052
其中原视频每一帧的图像Ii分辨率为M×N,fi(x,y)为原视频第i帧图像Ii的x行y列的像素的灰度值,
Figure BDA0002832365430000053
为图像
Figure BDA0002832365430000054
的x行y列的像素的灰度值。若
Figure BDA0002832365430000055
分辨率小于Ii,则通过双线性插值将
Figure BDA0002832365430000056
上采样为与Ii同分辨率。
步骤S103,基于MPD文件的可伸缩编码视频特征综合计算与表达:
MDP(Media Presentation Description)文件是一个XML文件,用于描述服务器上的媒体内容的各项信息和特征。MPD文件中的一些标签包括:Periods(区段)、AdaptationSet(AS,自适应子集)、Representation(表示)等。其中一个MPD中包含一个或多个Periods,每个Periods包含一个或多个AS(每个AS对应一组可供切换的码流),一个AS包含一组Representation(每个Representation对应不同的分辨率或码率,保持不变)。对于SVC视频的MPD文件,Representation标签内的id为本层ID,dependencyId为本层所依赖的基础层和增强层ID。
为了实现视频特征综合计算与表达,本步骤在原始MPD文件的基础上,在基础层Representation标签的下级增加Definition(清晰度)、Motion(运动性)、HF(高频性)、Resolution(分辨率)、FPS(帧率)、SNR(信噪比)6个标签;在增强层Representation标签的下级除原有BaseURL(视频文件地址)外,增加Resolution(分辨率)、FPS(帧率)、SNR(信噪比)3个标签。标签Definition、Motion、HF取值分别为步骤S101计算得到的编码前原视频第i帧的清晰度Fi definition、运动性Fi motion、高频性Fi HF。标签Resolution、FPS、SNR取值分别为步骤S102计算得到的分辨率RX i,Y、帧率FX i,Y、信噪比SX i,Y。改进后MPD文件的一个具体示例如下所述:
Figure BDA0002832365430000057
Figure BDA0002832365430000061
步骤S2,融合视频特征与观看体验的质量评价模型构建:
可伸缩视频编码能够视频在空间、时间、质量三个维度分层编码,并支持选择部分层进行解码,获取特定分辨率、帧率、信噪比的短时区间视频片段。对于给定时间阈值,当视频片段时长低于阈值,则为短时区间视频片段;当视频片段时长高于阈值,则为长时区间视频片段。对于短时区间视频片段,由于原视频清晰度、运动性、高频性特征的不同,分辨率、帧率、信噪比对视频质量的影响会有较大差异,需要基于视频特征进行视频质量分析。此外在长时区间视频传输和播放过程中,由于服务器、网络、客户端相关因素,可能出现视频卡顿、码率切换等问题,因此需要基于观看体验进行视频质量分析。最终需要综合视频特征与观看体验两个方面因素,构建视频质量综合评价模型。
步骤S201,基于视频特征的短时区间视频质量计算:
根据步骤S101中分析,原视频清晰度越高,分辨率对视频影响越大;原视频运动性越高,帧率对视频影响越大;原视高频性越显著,信噪比对视频影响越大。因此基于视频特征的短时区间视频质量函数
Figure BDA0002832365430000071
(视频实际传输时选定的第i帧,具有特定编码方式X、特定层Y)可表示为视频分辨率、帧率、信噪比的加权和,三者的权值分别与原视频清晰度、运动性、高频性正相关。即
Figure BDA0002832365430000072
其中α1,α2,α3分别与
Figure BDA0002832365430000073
正相关。α1,α2,α3可采用但不限于下述方式:
Figure BDA0002832365430000074
Figure BDA0002832365430000075
Figure BDA0002832365430000076
对于具有K帧的完整视频,基于视频特征的短时区间视频质量函数QC为视频质量函数
Figure BDA0002832365430000077
的累加值,即:
Figure BDA0002832365430000078
步骤S202,基于观看体验的长时区间视频质量计算:
在“服务器-客户端”的视频传输和播放模式中,一方面由于网络状况波动,可能造成视频播放卡顿;另一方面为避免卡顿并尽可能提升视频质量,会对根据网络带宽和剩余缓存调节下载视频帧的质量(选择不同的基础层和加强层进行下载)。对于观看者而言,在长时区间的视频播放过程中的卡顿与视频质量切换都会对观看体验造成负面影响。因此基于观看体验的长时区间视频质量QV可表示为视频质量函数
Figure BDA0002832365430000079
变化量平方以及缓存量与设定阈值偏差量的平方之和:
Figure BDA00028323654300000710
Figure BDA0002832365430000081
其中K为视频总帧数;b(i)为下载第i帧时客户端的剩余缓存量;
Figure BDA0002832365430000082
根据视频实际传输时第i帧选择的特定编码方式X、特定层Y,通过步骤S201计算获得;B为预设的理想缓存量,当实际缓存量小于预设的理想缓存量B较多时有卡顿风险,当实际缓存量大于预设的理想缓存量B有带宽利用率不足问题;β>0以及γ>0为预设的惩罚系数,同时保证QV与QC为相同数量级。
步骤S203,视频质量综合评价模型构建:
视频质量综合评价模型综合考虑视频质量QC和观看体验QV两方面因素,可采用但不限于QC与QV加权和的形式:
QE=QC+λQV
其中λ为用户设置的系数,用户调节QC与QV的影响权重。
步骤S3,吞吐量与缓存感知的视频码率在线自适应选择:
本步骤首先在步骤S203优化目标基础上,结合视频传输与播放的约束,构建了视频码率选择优化问题,并对优化问题的各组成部分进行了详细设计和说明;其次通过带宽预测与缓存监控,获取优化问题求解需求知道的相关带宽与缓存条件;最后通过遍历可选择的视频块编码方式以及层数,求解最优的下载码率。
步骤301,视频码率选择优化问题构建:
在实际视频传输中,通常将视频切分为等时长的视频块,在进行视频块码率选择时,块内的所有帧拥有相同的空间、时间、质量编码。因此步骤S1和S2中对视频帧i的计算结果对于视频帧i所属的视频块j同样适用。本步骤构建的视频码率选择优化问题如下:
Figure BDA0002832365430000083
Figure BDA0002832365430000084
其中L为每一个视频块的播放时长,b(j)为第j块下载完成时客户端剩余缓存时长,
Figure BDA0002832365430000091
为选定编码方式X、层数Y后下载的第j个视频块的码率,c(j)为下载第j块时的平均带宽,Bmax为预设的最大缓存量(当缓存量达到Bmax时暂停下载),β'=λ·β,γ'=λ·γ。
上述优化问题的含义为:①优化目标是对于每个给定的K,选择对于尚未下载的视频块,最优的编码方式X、层数Y进行下载,使得使视频质量综合评价QE达到最大。②第一个约束条件与步骤S201中
Figure BDA0002832365430000092
的定义相同。③第二个约束条件表示了剩余缓存量b(j)的演化规律,b(j-1)为第j-1完成下载时缓存剩余时长,
Figure BDA0002832365430000093
为下载第i个视频块消耗的时长,第j个视频块下载完成能够为缓存增加L时长。④第三个约束条件,对b(j)上下界进行约束,其中上界Bmax为预设值;当b(j-1)-r(j)L/c(j)>0,根据第二个约束必然有b(j)>L;当
Figure BDA0002832365430000094
缓存会被清空,并在第i块下载完成后恢复为L,即b(j)=L;因此有L≤b(j)≤Bmax。⑤第四个约束条件为b(j)初始化条件,在第一个视频块完成下载前不会播放视频,因此b(1)=L。
上述优化问题涉及的变量包括α1,
Figure BDA0002832365430000095
α2,
Figure BDA0002832365430000096
α3,
Figure BDA0002832365430000097
L,
Figure BDA0002832365430000098
b(j),c(j),其中α1,
Figure BDA0002832365430000099
α2,
Figure BDA00028323654300000910
α3,
Figure BDA00028323654300000911
可从步骤S103中改进MPD增加的对应标签中获取,L,
Figure BDA00028323654300000912
可从原始MPD文件的原有标签获取(具体字段需根据原始MPD文件结构确定),b(j),c(j)可通过步骤S302进行监控和预测。
步骤302,带宽预测与缓存监控:
带宽预测是根据客户端当前和历史的网络端口的吞吐量估计未来一小段时间(一个视频块的下载时间)内的平均带宽,可采用一阶指数平滑递推获得:
Figure BDA00028323654300000913
其中
Figure BDA00028323654300000914
为预测的下载第j块的平均带宽,c(j-1)为已完成的下载第j-1块过程中测量到的平均吞吐量,
Figure BDA00028323654300000915
为之前预测的下载第j块的平均带宽,σ为预设的0~1之间的平滑系数。这里得到的
Figure BDA00028323654300000916
即为步骤S301中c(j)的预测值,在求解上述优化问题时
Figure BDA00028323654300000917
缓存监控是根据缓存演化记录获得当前视频块开始下载时的剩余缓存量,可通过对下载和播放过程进行跟踪获得:
b(j)=(j-1)L-(t-t0)
其中t为当前时刻,也表示视频开始下载到当前的总时长,t0则表示在时间[0,t]内缓存清空的总时长,即播放卡顿的总时长。缓存监控模块持续实时跟踪t与t0的值,在下载第j块时,已下载的视频时长为(j-1)L,已播放视频时长为t-t0,相减即得到剩余缓存量。
步骤303,视频码率自适应选择:
在选择第K个视频块的编码方式X、层数Y时,前K-1的下载已经完成,因此
Figure BDA0002832365430000101
可以直接计算获得,因此根据步骤S301构建的优化问题可以得到:
Figure BDA0002832365430000102
其中β,γ,L,B为前述步骤已确定常量;
Figure BDA0002832365430000103
CK-1可以根据已完成的1~K-1个视频块下载情况计算得到;b(K-1),c(K)可以通过步骤S302得到。
Figure BDA0002832365430000104
随第K个视频块的编码方式X、层数Y选择确定。根据步骤S102,对于X=S/T/Q,对应的max Y=l/m/n,第K个视频块可选择的编码方式共有1+l+m+n种。具体地(X,Y)的可选组合包括:
(X,Y)∈{(S/T/Q,0),(S,1),...(S,l),(T,1),...(T,m),(Q,1),...(Q,n)}
因此将上述1+l+m+n种(X,Y)的可选组合带入(*)式,选择可令(*)式取到最大值的(X,Y)*,即为第K个视频块最优的编码方式X、层数Y。进而可以在第K个视频块下载完成后,同理进行第K+1个视频块编码方式X、层数Y的选择,直到完成视频播放。
步骤S4,自适应视频码率选择系统构建:
码率自适应选择系统基于步骤S1~步骤S3分析与设计结果进行构建,包括视频服务器和视频客户端两大部分,视频服务器与视频客户端之间基于HTTP协议通信和传输;其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块;视频客户端包括MPD文件解析、带宽预测、缓存监控、视频码率自适应选择、视频块下载、视频解码、视频播放模块。如图2所示。
对于视频服务器部分,改进后的MPD文件与步骤S103相同,视频块的编码及存储与遵循现有SVC编码及视频存储标准。对于视频客户端方面,视频解码模块和视频播放模块遵循现有SVC解码及视频播放标准;MPD文件解析模块根据改进后MDP文件的结构,获取编码后视频块α1,
Figure BDA0002832365430000111
α2,
Figure BDA0002832365430000112
α3,
Figure BDA0002832365430000113
L,
Figure BDA0002832365430000114
信息;带宽预测模块根据网络端口吞吐量记录预测当前视频块下载的平均带宽;缓存监控模块根据缓存演化记录获得当前视频块开始下载时的剩余缓存量;视频码率自适应选择模块基于步骤S3设计的优化问题以及求解方法,并根据MPD文件解析模块、带宽预测模块、缓存监控模块输出结果,决定在每个各视频块下载时,决定最优的编码方式和层数(X,Y)*;视频块下载模块根据视频码率自适应选择模块决策结果,向视频服务器发起对应视频块下载请求,完成视频块下载,添加进剩余缓存;视频解码模块持续从剩余缓存获取视频块,并进行SVC解码得到解码后视频流;视频播放模块面向用户进行最终的视频画面呈现。

Claims (5)

1.一种融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,具体包括以下步骤:
步骤1、面向可伸缩编码视频的特征信息离线计算与表达:从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析,并将特征分析结果在改进的MPD文件中进行描述;
步骤2、融合视频特征与观看体验的质量评价模型构建:一方面对于短时区间视频片段,基于视频特征进行视频质量计算,另一方面在长时区间视频传输和播放过程中,基于观看体验进行视频质量计算,最终综合上述两个方面因素,构建视频质量综合评价模型;
步骤3、吞吐量与缓存感知的视频码率在线自适应选择:首先在步骤2优化目标基础上,结合视频传输与播放的约束,构建视频码率选择优化问题;其次通过带宽预测与缓存监控,获取优化问题求解需求知道的相关带宽与缓存条件;最后通过遍历可选择的视频块编码方式以及层数,求解最优的下载码率;
步骤4、自适应视频码率选择系统构建:基于步骤1~步骤3分析与设计结果进行构建,包括视频服务器和视频客户端两大部分,视频服务器与视频客户端之间基于HTTP协议通信和传输;其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块;视频客户端用于MPD文件解析、对下载每个视频块的编码方式及层数进行决策,以及对已下载的视频块进行解码和播放。
2.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,步骤1面向可伸缩编码视频的特征信息离线计算与表达,具体步骤如下:
步骤S101,编码前原视频逐帧基本特征计算:包括原视频第i帧图像清晰度的特征值
Figure FDA0002832365420000011
运动性的特征值
Figure FDA0002832365420000012
高频性的特征值
Figure FDA0002832365420000013
分别为:
Figure FDA0002832365420000014
Figure FDA0002832365420000015
Figure FDA0002832365420000016
其中
Figure FDA0002832365420000017
f'(x,y)=iFFT(H(FFT(f(x,y)))),
Figure FDA0002832365420000021
M为图像像素行数,N为图像像素列数,fi(x,y)为原视频第i帧图像Ii的x行y列的像素的灰度值;H(u,v)为低通滤波器,D(u,v)为输入的二维图像,D0为给定阈值;
步骤S102,可伸缩编码视频逐帧逐层质量特征计算:包括分辨率、帧率、信噪比,
解码后图像的分辨率特征值
Figure FDA0002832365420000022
等于图像的行像素数乘以列像素数;帧率特征值
Figure FDA0002832365420000023
等于图像序列构成视频的帧率;信噪比特征值
Figure FDA0002832365420000024
等于:
Figure FDA0002832365420000025
3.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,步骤2融合视频特征与观看体验的质量评价模型构建,具体包括以下步骤:
步骤S201,基于视频特征的短时区间视频质量计算:
对于具有K帧的完整视频,基于视频特征的视频质量函数QC为视频质量函数
Figure FDA0002832365420000026
的累加值:
Figure FDA0002832365420000027
其中
Figure FDA0002832365420000028
RX i,Y、FX i,Y、SX i,Y分别为分辨率特征值、帧率特征值、信噪比特征值;α1,α2,α3分别为与清晰度Fi definition、运动性Fi motion、高频性Fi HF正相关的系数;
步骤S202,基于观看体验的长时区间视频质量计算:
基于观看体验的长时区间视频质量QV表示为视频质量函数
Figure FDA0002832365420000029
变化量平方以及缓存量与设定阈值偏差量的平方之和:
Figure FDA00028323654200000210
其中
Figure FDA00028323654200000211
b(i)为下载第i帧时客户端的剩余缓存量;
Figure FDA00028323654200000212
根据视频实际传输时第i帧选择的特定编码方式X、特定层Y,B为预设的理想缓存量,β以及γ为预设的惩罚系数;
步骤S203,视频质量综合评价模型构建:
采用但不限于QC与QV加权和的形式:
QE=QC+λQV
其中λ为设置的系数。
4.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,步骤3吞吐量与缓存感知的视频码率在线自适应选择,具体包括以下步骤:
步骤301,视频码率选择优化问题构建:
构建的视频码率选择优化问题如下:
Figure FDA0002832365420000031
Figure FDA0002832365420000032
b(j)为第j块下载完成时客户端剩余缓存时长,
Figure FDA0002832365420000033
为选定编码方式X、层数Y后下载的第j个视频块的码率,c(j)为下载第j块时的平均带宽,Bmax为预设的最大缓存量;
Figure FDA0002832365420000034
为视频质量函数;K为视频总帧数;α1,α2,α3分别为与清晰度Fi definition、运动性Fi motion、高频性Fi HF正相关的系数;β'=λ·β,γ'=λ·γ,λ为设置的系数,
步骤302,带宽预测与缓存监控:
带宽预测采用一阶指数平滑递推获得:
Figure FDA0002832365420000035
其中
Figure FDA0002832365420000036
为预测的下载第j块的平均带宽,c(j-1)为已完成的下载第j-1块过程中测量到的平均吞吐量,
Figure FDA0002832365420000037
为之前预测的下载第j块的平均带宽,σ为预设的平滑系数;
缓存监控通过对下载和播放过程进行跟踪获得:
b(j)=(j-1)L-(t-t0)
其中t为当前时刻,t0则表示在时间[0,t]内缓存清空的总时长;
步骤303,视频码率自适应选择:
根据步骤S301构建的优化问题可以得到:
Figure FDA0002832365420000041
其中β,γ,L,B为前述步骤已确定常量;
Figure FDA0002832365420000042
CK-1可以根据已完成的1~K-1个视频块下载情况计算得到;b(K-1),c(K)可以通过步骤S302得到。
Figure FDA0002832365420000043
随第K个视频块的编码方式X、层数Y选择确定。根据步骤S102,对于X=S/T/Q,对应的max Y=l/m/n,第K个视频块可选择的编码方式共有1+l+m+n种。具体地(X,Y)的可选组合包括:
具体地(X,Y)的可选组合包括:
(X,Y)∈{(S/T/Q,0),(S,1),...(S,l),(T,1),...(T,m),(Q,1),...(Q,n)}
将上述1+l+m+n种(X,Y)的可选组合带入(*)式,选择可令(*)式取到最大值的(X,Y)*,即为第K个视频块最优的编码方式X、层数Y;在第K个视频块下载完成后,进行第K+1个视频块编码方式X、层数Y的选择,直到完成视频播放。
5.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法,其特征在于,步骤4自适应视频码率选择系统构建,包括视频服务器和视频客户端两大部分;
其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块;
视频客户端包括MPD文件解析、带宽预测、缓存监控、视频码率自适应选择、视频块下载、视频解码、视频播放模块;视频解码模块和视频播放模块遵循现有SVC解码及视频播放标准;MPD文件解析模块根据改进后MDP文件的结构,获取编码后视频块分辨率特征值RX i,Y、帧率特征值FX i,Y、信噪比特征值SX i,Y信息以及与清晰度Fi definition、运动性Fi motion、高频性Fi HF正相关的系数对应的相关系数α1,α2,α3;带宽预测模块根据网络端口吞吐量记录预测当前视频块下载的平均带宽;缓存监控模块根据缓存演化记录获得当前视频块开始下载时的剩余缓存量;视频码率自适应选择模块基于步骤S3设计的优化问题以及求解方法,并根据MPD文件解析模块、带宽预测模块、缓存监控模块输出结果,决定在每个各视频块下载时,决定最优的编码方式和层数(X,Y)*;视频块下载模块根据视频码率自适应选择模块决策结果,向视频服务器发起对应视频块下载请求,完成视频块下载,添加进剩余缓存;视频解码模块持续从剩余缓存获取视频块,并进行SVC解码得到解码后视频流;视频播放模块面向用户进行最终的视频画面呈现。
CN202011453385.9A 2020-12-11 2020-12-11 融合视频特征分析的可伸缩编码视频码率自适应选择方法 Active CN112672153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011453385.9A CN112672153B (zh) 2020-12-11 2020-12-11 融合视频特征分析的可伸缩编码视频码率自适应选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011453385.9A CN112672153B (zh) 2020-12-11 2020-12-11 融合视频特征分析的可伸缩编码视频码率自适应选择方法

Publications (2)

Publication Number Publication Date
CN112672153A true CN112672153A (zh) 2021-04-16
CN112672153B CN112672153B (zh) 2022-06-24

Family

ID=75402452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011453385.9A Active CN112672153B (zh) 2020-12-11 2020-12-11 融合视频特征分析的可伸缩编码视频码率自适应选择方法

Country Status (1)

Country Link
CN (1) CN112672153B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810629A (zh) * 2021-11-19 2021-12-17 南京好先生智慧科技有限公司 一种融合平台多媒体信号的视频帧处理方法及装置
CN114040230A (zh) * 2021-11-08 2022-02-11 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质
CN114845119A (zh) * 2022-07-04 2022-08-02 光谷技术有限公司 一种物联网关验证及压缩系统
CN114900706A (zh) * 2022-04-18 2022-08-12 南京航空航天大学 基于扩展视频编码的直播视频流传输自适应调度方法
CN115379248A (zh) * 2022-07-14 2022-11-22 百果园技术(新加坡)有限公司 一种视频源流替换方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102237085A (zh) * 2010-04-26 2011-11-09 华为技术有限公司 音频信号的分类方法及装置
CN102595115A (zh) * 2011-01-13 2012-07-18 深圳信息职业技术学院 一种中粒度质量可伸缩视频编码优化方法、装置及信息终端
CN104270646A (zh) * 2014-09-22 2015-01-07 何震宇 一种基于移动流媒体的自适应传输方法和系统
CN104780375A (zh) * 2015-03-30 2015-07-15 康佳集团股份有限公司 一种可伸缩视频编码的码率控制方法及系统
US20200084254A1 (en) * 2016-12-27 2020-03-12 Telecom Italia S.P.A. Method and system for providing variable quality streaming video services in mobile communication networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102237085A (zh) * 2010-04-26 2011-11-09 华为技术有限公司 音频信号的分类方法及装置
CN102595115A (zh) * 2011-01-13 2012-07-18 深圳信息职业技术学院 一种中粒度质量可伸缩视频编码优化方法、装置及信息终端
CN104270646A (zh) * 2014-09-22 2015-01-07 何震宇 一种基于移动流媒体的自适应传输方法和系统
CN104780375A (zh) * 2015-03-30 2015-07-15 康佳集团股份有限公司 一种可伸缩视频编码的码率控制方法及系统
US20200084254A1 (en) * 2016-12-27 2020-03-12 Telecom Italia S.P.A. Method and system for providing variable quality streaming video services in mobile communication networks

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040230A (zh) * 2021-11-08 2022-02-11 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质
CN114040230B (zh) * 2021-11-08 2024-03-29 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质
CN113810629A (zh) * 2021-11-19 2021-12-17 南京好先生智慧科技有限公司 一种融合平台多媒体信号的视频帧处理方法及装置
CN114900706A (zh) * 2022-04-18 2022-08-12 南京航空航天大学 基于扩展视频编码的直播视频流传输自适应调度方法
CN114900706B (zh) * 2022-04-18 2023-03-03 南京航空航天大学 基于扩展视频编码的直播视频流传输自适应调度方法
CN114845119A (zh) * 2022-07-04 2022-08-02 光谷技术有限公司 一种物联网关验证及压缩系统
CN115379248A (zh) * 2022-07-14 2022-11-22 百果园技术(新加坡)有限公司 一种视频源流替换方法、系统、设备及存储介质
CN115379248B (zh) * 2022-07-14 2023-12-12 百果园技术(新加坡)有限公司 一种视频源流替换方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112672153B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN112672153B (zh) 融合视频特征分析的可伸缩编码视频码率自适应选择方法
CN106537923B (zh) 自适应视频流的技术
CN100512432C (zh) 视频数据传输系统
US9571827B2 (en) Techniques for adaptive video streaming
CN101518088B (zh) 针对有效速率控制和增强视频编码质量的ρ域帧级比特分配的方法
US9357210B2 (en) Systems and methods of encoding multiple video streams for adaptive bitrate streaming
JP6463264B2 (ja) ビデオデータの代替ストリームをエンコーディングすることにおけるエンコーディング情報の再使用のためのシステムおよび方法
US7760960B2 (en) Localized content adaptive filter for low power scalable image processing
CN104885455A (zh) 用于高效下一代视频编码的通过使用帧层次敏感的量化的内容自适应比特率和质量控制
JP2020537445A (ja) ブロック単位の画像符号化のためのイントラ予測モード概念
CN101461149A (zh) 用于视频编码器的可缩放速率控制系统
CN107211193A (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
US20070116124A1 (en) Regulation of decode-side processing based on perceptual masking
CN102349296B (zh) 用于处理编码比特流的方法和装置
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
US8542735B2 (en) Method and device for coding a scalable video stream, a data stream, and an associated decoding method and device
US7480332B2 (en) Bit rate control method and apparatus for MPEG-4 video coding
KR102129115B1 (ko) 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
Haouari et al. Transcoding resources forecasting and reservation for crowdsourced live streaming
US20070153891A1 (en) Method and apparatus for smoothing overall quality of video transported over a wireless medium
JP5956316B2 (ja) 主観画質推定装置、主観画質推定方法及びプログラム
Topiwala et al. Deep learning techniques in video coding and quality analysis
Zhou et al. Content-adaptive parameters estimation for multi-dimensional rate control
KR20030005222A (ko) 코딩
CN114900706B (zh) 基于扩展视频编码的直播视频流传输自适应调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant