CN103369349B - 一种数字视频质量控制方法及其装置 - Google Patents
一种数字视频质量控制方法及其装置 Download PDFInfo
- Publication number
- CN103369349B CN103369349B CN201210088123.6A CN201210088123A CN103369349B CN 103369349 B CN103369349 B CN 103369349B CN 201210088123 A CN201210088123 A CN 201210088123A CN 103369349 B CN103369349 B CN 103369349B
- Authority
- CN
- China
- Prior art keywords
- video
- thresholding
- video quality
- parameter
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
Abstract
本发明公开了一种数字视频质量控制方法及其装置,该方法包括:按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;将提取到的视频数据的特征参数输入神经网络,得到作为输出结果的视频质量评价参数;其中,视频质量评价参数值越大,表明视频质量越高;判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量。本发明可实现对数字视频质量进行客观评价,进而提高数字视频质量控制的有效性。
Description
技术领域
本发明涉及通信领域的数字视频技术,尤其涉及一种数字视频质量控制方法及其装置。
背景技术
近年来数字视频技术得到了蓬勃的发展。已经形成标准的H.264、MPEG-2(其中MPEG为MovingPicturesExpertsGroup/MotionPicturesExpertsGroup的英文简称,中文译名是动态图像专家组)、MPEG-4、JPEG2000、AVS等压缩编解码标准,在保持较好图像质量的前提下可以达到很高的压缩比。但在高压缩比情况下,都会引入不同程度的图像质量损伤。
目前视频质量的测量方法包括主观测量。主观测量是直接利用观察者对被测编解码系统质量的直接反映来确定系统的测量方法。主观评价方法需要大量人员参与到视频质量的监控当中,并且由于人眼识别视频质量的方法带有主观性,对于相同视频的相同损伤会给出较大差异的结论,准确性及实用性较差。主观测量方法耗时长、费用高、稳定性和可移植性差,不适合实时的视频质量的测量。
由于目前不具备及时有效的数字视频质量控制方案,造成广播或流媒体数字视频播放质量大面积恶化时,无法及时进行视频质量控制,进而影响数字视频业务的使用。
发明内容
本发明实施例提供了一种数字视频质量控制方法及其装置,用以实现对数字视频质量进行客观评价,进而提高数字视频质量控制的有效性。
本发明实施例提供的数字视频质量控制方法,包括:
按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;
将提取到的视频数据的特征参数输入训练得到的神经网络,得到作为输出结果的视频质量评价参数;其中,视频质量评价参数值越大,表明视频质量越高;
判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量。
本发明实施例提供的数字视频质量控制装置,包括:
监控模块,用于按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;
质量评价模块,用于将提取到的视频数据的特征参数输入训练得到的神经网络,并得到所述视频数据的视频质量评价参数;其中,所述神经网络根据输入的视频数据特征参数,输出所述视频数据的视频质量评价参数;
控制模块,用于判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量。
本发明的上述实施例,一方面,通过神经网络进行视频质量评价,从而与主观视频质量评价相比,提高了视频评价效率以及降低了主观因素的影响;另一方面,本发明实施例涵盖数字视频质量监控、反馈监控结构到业务前端设备,并最终调整编码参数,从而实现了动态优化视频质量,为视频业务质量提供了有效保证。
附图说明
图1为本发明实施例提供的神经网络训练流程示意图;
图2为本发明实施例中帧内、非帧内量化矩阵示意图;
图3为本发明实施例提供的视频质量控制流程示意图;
图4为本发明实施例提供的视频质量控制装置示意图。
具体实施方式
目前虽然已经有客观评价视频质量的方案,但现有客观评价视频质量的方案使用于高分辨率视频,而不适用于低分辨率视频(如手机电视视频)格式。现在的数字视频主观、客观评价方法,大部分针对标清视频(SD:720×540分辨率)或高清视频(HD:1920×1080分辨率);而目前主流手机电视视频压缩编码多采用H.264及AVS标准,压缩后为QVGA格式,分辨率仅为320×240,并且绝大部分视频评价方法无法做到实时,实现的过程费时间长、复杂度高,并且无法做到对于手机视频质量的即时监控。
另外,手机电视压缩视频损伤类型,与普通高、标清数字视频损伤类型不同。在基于DCT(DiscreteCosineTransform,离散余弦变换)的压缩编码系统中,采用的DCT变量都是基于块的,即首先将图像分成8×8的像素块,然后对每块进行DCT变换得到64个DCT系数,这样虽然大大减少了运算量,但是在DCT算法过程中,量化过程是有损的,因此可能带来多种图像质量损伤:块效应、图像模糊、噪声、色度失真、振铃等等。以上图像损伤类型在高、标清数字压缩视频中普遍存在。而目前现有的主、客观视频质量评价方法均致力于识别以上几种损伤,而对于手机电视视频格式分辨率,由于分辨率过低,因此主观质量评价中人眼很难识别这几种图像损伤类型,所以,有必要提出一种简单易行,而又具备良好效果的手机电视视频分析技术。
针对低分辨率视频,本发明实施例提出了一种视频质量评价方案以及基于该方案提供的一种视频质量控制方案。本发明实施例在考虑低码率视频编码特征的同时,考虑到人眼视觉特征,快速检验分析数字视频特征,使数字视频的评价结果准确度明显优于现有数字视频评价方案。
本发明实施例的视频质量客观评价方案,是基于神经网络的方案。即,通过训练方式得到合理的用于评价视频质量的神经网络,在进行数字视频质量控制过程中,实时提取数字视频的特征值,将其作为输入参数输入神经网络,输出结果即为该数字视频的质量评价参数,从而实现对数字视频快速和有效的评价,并进一步根据视频质量评价结果采取相应的控制措施以保证视频质量。
人工神经网络(ArtificialNeuralNetwork,简称ANN)是一种旨在模仿人脑结构及其功能的信息处理系统,实质是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统,其功能取决于网络的结构、连接强度以及各单元的处理方式。
神经网络具有以下几个特点,信息处理是在大量简单的处理单元(称为细胞元)之间进行的,通过它们之间的连接传送细胞元之间的信号,各连接具有一个相应的加权,其值通常与输入信号相乘,各细胞元利用“激励函数”(Activationfunction)来处理加权的输入信号之和,以产生它的输出信号。
神经网络在实现方式上采用并行处理,即对样本数据进行多目标学习,通过细胞元的相互作用实现控制。神经网络适用于非精确处理,可模拟并行处理多大规模数据。
神经网络通过样本训练得到数据处理模型,本发明实施例中的神经网络是指视频质量评价模型。为了进行神经网络训练,本发明实施例预先建立样本库,其中包含大量编码后的视频序列以及对应的视频质量评价参数,这些视频质量评价参数是通过对视频序列进行主观评价得到的。具体实施时,在建立样本库的过程中,首先对各个作为视频素材的视频序列进行主观评价,将主观评价的结果存入样本库中,并建立与相应视频序列的对应关系。进一步的,还可以对主观评价所使用的视频序列进行特征参数提取,并将提取的特征参数对应于相应视频序列存入样本库中。在神经网络训练的时候,这些特征参数将作为神经网络的输入,也就是说,神经网络的输入层上将有相应多个节点,以同一视频序列的主观评价结果作为对应的期望输出,使用学习算法对神经网络进行训练。对神经网络进行训练的目标是使视频质量的客观评价结果逼近主观评价结果。
参见图1,为本发明实施例提供的一种神经网络训练流程示意图,如图所示,该流程可包括:
步骤101,从样本库中提取视频序列的特征参数;
步骤102,将提取到的视频序列特征参数输入神经网络;
步骤103,从样本库中选择相应视频序列(该视频序列即为步骤101中的视频序列),并对其视频质量进行主观评价估测以得到视频质量评价参数(视频质量评价参数也可以事先估测出来并记录在样本库中,此种情况下可直接从样本库中得到该视频序列的视频质量评价参数);
步骤104,将所述视频序列的视频质量评价参数传输至神经网络;
步骤105,神经网络根据步骤102中获取到的视频序列特征参数,以及步骤104中获取到的视频质量评价参数,通过计算获得视频质量评价参数与其特征参数的关系,从而实现对神经网络的训练。
本发明实施例可根据需要,定时或不定时的对神经网络进行训练。
本发明实施例中,在进行神经网络训练时,提取何种特征参数,主要出于以下考虑:在压缩比率比较高的数字视频中,块效应是最主要的视频损伤。因为人眼对于块效应非常敏感,而且运动图像很容易产生块效应。
在图像域内,块效应的出现主要是由分块量化后的量化误差所引起的,随着图像内容的不同,“块效应”有着不同的表现,区分不同类型的块效应并相应地用不同的方法进行处理十分重要。
(1)梯形噪声:出现在图像的强边缘处,在低码率情况下,DCT的很多高阶系数被量化为零,结果与强边缘有关的高频分量在变换域内不能被完全体现,又因为每个块被分别处理,不能保证穿过块边界的强边缘的连续性,导致在图像边缘处出现锯齿状噪声,这种噪声称为“梯形噪声”。
(2)格形噪声:多出现在图像的平坦区域,在变换域内DC分量体现了该块的平均亮度,而这个分量包含了该块的大部分能量,所以在平坦区域亮度的变化很小。但是,如果在平坦区域有亮度的递增或递减,可能会导致DC分量越过相邻量化级的判决门限,造成在重建图像中块边界处出现亮度突变,表现为在平坦区域内出现的片状轮廓效应,这种噪声称为“格形噪声”。
针对视频高压缩与高运动频率两种特性,本发明实施例选取量化因子平均值及P帧平均运动矢量作为视频序列特征参数,它们能够很好的反应数字视频压缩质量。
(1)量化因子平均值
数字视频压缩的量化策略是一种比较成熟的量化技术,考虑了人类视觉的特点,它的量化分两步完成:首先采用视觉量化矩阵处理系数,然后采用量化因子对系数进行二次处理。首先,利用视觉量化矩阵,如图2所示,来处理DCT系数,目的是根据人类视觉对高频数据不敏感的特性,对视觉量化矩阵中的高频位置选择较大的参数值,以消除视觉上的冗余。
用x表示待量化的系数,y1表示一次量化的结果,量化处理可以表示为:
y1=32x/Q[i,j]......................................................[1]
其中,Q[i,j]表示视觉量化矩阵中i行j列的值。
然后,再利用量化因子Kq(通过位率控制算法获得)进行二次量化来控制输出位率,最终量化的结果y由下式2得到:
y=(y1+sign(x)(pKq//q))/(2Kq).................................[2]
其中,sign(x)表示取符号,p和q为修正参数。结合式1和式2,可以进行如等价变换:
y=32x/(2Q[i,j]Kq)=(2n+4x/(Q[i,j]Kq))>>n..................[3]
其中,“>>”为位右移运算符,n表示移位的位数。于是,对一个确定的量化因子Kq可以构造一个新的移位量化矩阵:
Q1=2n+4/(Q[i,j]Kq)................................................[4]
由于视觉量化矩阵是不变的,所以量化因子即成为影响高频系数的主要因素。如之前所述,块效应、图像模糊、蚊子噪声等压缩图像的损伤,均源自量化过程中采用可变量化步长,引起高频系数的丢失。所以在数字压缩视频流中提取出所有宏块条的量化因子,并求得平均值,如下式5:
average_of_quantister_scale=total_of_Q_S/Q_Snum......[5]
其中,total_of_Q_S=∑quantiser_scale[i],即量化因子之和,Q_Snum为量化因子总数。得到的average_of_quantister_scale即为量化因子平均值。一般意义上讲,视频的量化因子平均值越低,表示在量化过程中损失的DCT高频系数越少,相应的其压缩视频质量也越好。
(2)P帧平均运动矢量
“运动矢量”反映了当前图像相对于参考图像的运动程度,块匹配方法是运动估计中最常用的方法。
首先,定义给定P帧的“空间活性矩阵”Cmv为Cmv={v(i,j)},其中如式6所示:
其中,(Vxi,j,Vyi,j)代表了帧内位置为(i,j)宏块的运动矢量的大小。当宏块为帧内编码时,v(i,j)=0。
接下来,一个有M×N个宏块的P帧的平均运动矢量大小被定义为:
这样可得到但在这里存在一个问题,即,计算的是一帧内所有宏块的平均运动矢量的大小,这样如果帧内的运动是局部运动的话,那么通过计算局部运动会分散到整个帧内。例如镜头中部分运动比较剧烈,而背景是静止的,通过计算,变成了整帧运动缓慢了,大的局部运动矢量变成了小的全局运动矢量,这样显然和实际感觉不符。并且P帧运动矢量值会普遍偏小且没区分度,会产生较大的误差。因此本发明实施例做以下修改:只统计有效的宏块数,也就是说,只统计真正有运动矢量产生的宏块数,而运动矢量为0的宏块则不被记入其中。这样则可以避免上面提到的问题,提高计算的准确性。
由于运动估计中采用了块匹配的方法,运动估值的最小单位为宏块(16×16像素),所以在压缩编码过程中很容易造成图像宏块间相关性降低。特别是高频细节较为丰富的视频序列,若图像同时存在快速运动,则很容易出现块效应损伤。所以,P帧平均运动矢量也是反映压缩视频损伤程度的重要参数。
当神经网络训练好了以后,对编码后的视频序列采用同样方式提取特征参数,然后将这些特征参数输入到神经网络的输入层,在神经网络的输出节点上即可得到该视频序列的客观评价结果。
参见图3,为本发明实施例提供的基于神经网络实现的视频质量控制流程示意图,如图所示,该流程可包括:
步骤301,按照视频质量监控周期,提取视频编码器编码后的视频序列的特征参数。
具体实现时,视频质量监控周期的长度可根据需要预先设定,比如,当对视频质量要求高时,可将视频质量监控周期的长度设置得短一些,如1分钟,当对视频质量要求不高,且不希望视频质量控制操作占用太多资源开销时,可将视频质量监控周期的长度设置得长一些。此处所提取的特征参数,与进行神经网络训练时所提取的特征参数相同,包括量化因子平均值以及P帧平均运动矢量。
步骤302,将提取到的视频序列特征参数输入神经网络,得到作为输出结果的视频质量评价参数。
步骤303,判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量。
具体实施时,神经网络的输出结果通常为视频质量评分,比如按照视频质量从低到高,其分值范围为1~100。为了技术实现方便,可将视频质量评分量化为若干个视频质量等级,并针对每个视频质量等级制定相应的视频质量控制策略。本发明实施例优选的,通过设置的门限值40、60、80,将视频质量评分的分值范围[1,100]划分为4个等级,其中0-40分为1级,表示视频质量极差;41-60为2级,表示视频质量差;61-80分为3级,表示视频质量良好;81-100分为4级,表示视频质量优秀。由于人眼对于视频质量的评价具有不均匀性,所以视频质量等级划分也非均匀。以上门限值的取值仅为优选实例,本发明并不对此进行限制。
对应上述4个视频质量等级,可采用如下对应的控制策略:
A、当视频质量评价值低于40分,即视频质量为1级时,可向视频编码器报警,将当前视频的量化因子平均值及P帧平均运动矢量同步给视频编码器,并指示视频编码器调整相应编码参数以提升视频质量,具体的,可指示视频编码器降低压缩编码过程中的视频的量化因子平均值,并降低P帧平均运动矢量。此种情况下,视频编码器判断当前播放的视频发生重大质量问题,可立刻暂停当前数字视频的播放,并可根据指示调整相应编码参数以提升视频质量。
B、当视频质量评价值为41-60分,即视频质量为2级时,可向视频编码器报警,将当前视频的量化因子平均值及P帧平均运动矢量同步给视频编码器,并指示视频编码器调整相应编码参数以提升视频质量,具体的,可指示视频编码器降低P帧平均运动矢量值。此种情况下,视频编码器判断当前播放的视频存在较大质量问题,无需停止当前数字视频的播放,并可根据指示调整相应编码参数,以提升视频质量。
C、当视频质量评价值为61-80分,即视频质量为3级时,当前视频播出情况良好,因此无需向视频编码器报警,但存在质量劣化风险,因此可缩短视频质量监控周期长度,以高频率密切监控现网播放的数字视频质量等级。
D、当视频质量评价值为61-80分,即视频质量为4级时,当前视频播出情况优秀,无需向视频编码器报警,可延长视频质量监控周期长度。
当然,也可以仅设置门限值60,这样,当视频质量评价参数低于60时,向视频编码器报警,将当前视频的量化因子平均值及P帧平均运动矢量同步给视频编码器,指示视频编码器降低量化因子平均值或/和P帧平均运动矢量。还可以仅设门限40和60,当视频质量评价参数低于40,以及在40-60之间时,具体控制方式如前所述。
本发明实施例的上述方案可在移动终端设备上实现,可应用于手机电视业务,通过上述方式实现对手机电视视频质量的监控和反馈。具体的,当移动终端进行手机电视业务时,可将网络侧发送的视频序列进行缓存,一方面按照现有方式解码并播放缓存的视频数据,另一方面,按照视频质量监控周期提取当前播放的视频序列的特征值并输入到神经网络,利用神经网络得到视频质量评价结果,根据评价结果确定视频质量控制策略,并进一步将视频质量控制策略反馈给网络侧,以使网络侧的视频编码器根据移动终端的反馈调整编码参数,以保证视频质量。其中,移动终端上的神经网络即为视频质量评价模型,可从网络侧将训练好的神经网络下载到移动终端上,以减少移动终端上训练神经网络的开销。
本发明实施例的上述方案也可在网络侧的设备上实现,以手机电视业务为例,该网络侧设备将视频编码器编码后的手机电视视频序列进行缓存,按照视频质量监控周期提取视频序列的特征值并输入到神经网络,利用神经网络得到视频质量评价结果,根据评价结果确定视频质量控制策略,并进一步将视频质量控制策略反馈给视频编码器,以使视频编码器根据反馈调整编码参数,以保证视频质量。
基于相同的技术构思,本发明实施例还提供了一种视频质量控制装置,该视频质量控制装置可在终端设备上实现,也可在网络侧设备上实现,还可以为独立设置的装置。
参见图4,为本发明实施例提供的视频质量控制装置的结构示意图。如图所示,该视频质量控制装置可包括监控模块401、质量评价模块402和控制模块403,其中:
监控模块401,用于按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;具体的,特征参数包括量化因子平均值和P帧平均运动矢量,其具体含义同前所述;
质量评价模块402,用于将提取到的视频数据的特征参数输入神经网络,并得到所述视频数据的视频质量评价参数;其中,所述神经网络根据输入的视频数据特征参数,输出所述视频数据的视频质量评价参数;
控制模块403,用于判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量。
具体的,所述门限包括第一门限(如40)和第二门限(如60),其中第一门限低于第二门限。相应的,控制模块403具体用于:当视频质量评价参数低于第一门限时,将当前视频数据的量化因子平均值和P帧平均运动矢量同步给视频编码器,并指示视频编码器降低视频的量化因子平均值以及降低P帧平均运动矢量;当视频质量评价参数高于第一门限但低于第二门限时,将当前视频数据的P帧平均运动矢量同步给数字视频编码器,并指示视频编码器降低P帧平均运动矢量。
进一步的,所述门限还包括第三门限(如80),其中第三门限高于第二门限。相应的,控制模块还用于:当视频质量评价参数高于第二门限但低于第三门限时,缩短视频质量监控周期长度;当视频质量评价参数高于第三门限时,延长视频质量监控周期长度。
进一步的,该装置还可包括神经网络训练模块404,用于分别提取各训练用视频序列的特征参数,并获取相应训练用视频序列的视频质量评价参数;将各训练用视频序列的特征参数以及相应训练用视频序列的视频质量评价参数输入神经网络,并以训练用视频序列的特征参数作为输入参数时,期望的输出结果为该训练用视频序列的视频质量评价参数为目标,对神经网络进行训练。
在本发明的另一实施例所提供的视频质量控制装置中,可以不包含神经网络训练模块404,训练好的神经网络可通过下载方式下载到该装置中,相应的,该装置中提供有相应接口模块,以进行神经网络的下载。
通过以上描述可以看出,本发明实施例一方面,通过神经网络进行视频质量评价,从而与主观视频质量评价相比,提高了视频评价效率以及降低了主观因素的影响;另一方面,针对低分辨率视频的特点,基于视频数据的量化因子平均值和P帧平均运动矢量进行神经网络训练和视频质量评价,从而使本发明实施例适用于小屏幕的数字视频质量分析和控制,如手机电视、手机视频业务;再一方面,本发明实施例涵盖数字视频质量监控、将结果及时反馈回业务前端设备,并最终调整编码参数,动态优化视频质量,为视频业务质量提供了有效保证。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (8)
1.一种数字视频质量控制方法,其特征在于,该方法包括:
按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;
将提取到的视频数据的特征参数输入训练得到的神经网络,得到作为输出结果的视频质量评价参数;其中,视频质量评价参数值越大,表明视频质量越高;
判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量;
其中,所述特征参数包括量化因子平均值和P帧平均运动矢量;其中,所述量化因子平均值是指视频流中所有宏块的量化因子的平均值,所述P帧平均运动矢量是指P帧中运动矢量不为0的宏块的运动矢量平均值。
2.如权利要求1所述的方法,其特征在于,所述门限包括第一门限和第二门限,其中第一门限低于第二门限;
所述指示视频编码器调整视频数据的特征参数以提高视频质量,具体为:
当视频质量评价参数低于第一门限时,将当前视频数据的量化因子平均值和P帧平均运动矢量同步给视频编码器,并指示视频编码器降低视频的量化因子平均值以及降低P帧平均运动矢量;
当视频质量评价参数高于第一门限但低于第二门限时,将当前视频数据的P帧平均运动矢量同步给数字视频编码器,并指示视频编码器降低P帧平均运动矢量。
3.如权利要求2所述的方法,其特征在于,所述门限还包括第三门限,第三门限高于第二门限;该方法还包括:
当视频质量评价参数高于第二门限但低于第三门限时,缩短视频质量监控周期长度;
当视频质量评价参数高于第三门限时,延长视频质量监控周期长度。
4.如权利要求1所述的方法,其特征在于,所述神经网络通过以下方式训练得到:
分别提取各训练用视频序列的特征参数,并获取相应训练用视频序列的视频质量评价参数;
将各训练用视频序列的特征参数以及相应训练用视频序列的视频质量评价参数输入神经网络,并以训练用视频序列的特征参数作为输入参数时,期望的输出结果为该训练用视频序列的视频质量评价参数为目标,对神经网络进行训练。
5.一种数字视频质量控制装置,其特征在于,包括:
监控模块,用于按照视频质量监控周期,提取视频编码器编码后的视频数据的特征参数;
质量评价模块,用于将提取到的视频数据的特征参数输入训练得到的神经网络,并得到所述视频数据的视频质量评价参数;其中,所述神经网络根据输入的视频数据特征参数,输出所述视频数据的视频质量评价参数;
控制模块,用于判断视频质量评价参数是否低于门限,并在低于门限时指示视频编码器调整视频数据的特征参数以提高视频质量;
其中,所述特征参数包括量化因子平均值和P帧平均运动矢量;其中,所述量化因子平均值是指视频流中所有宏块的量化因子的平均值,所述P帧平均运动矢量是指P帧中运动矢量不为0的宏块的运动矢量平均值。
6.如权利要求5所述的装置,其特征在于,所述门限包括第一门限和第二门限,其中第一门限低于第二门限;
所述控制模块具体用于,当视频质量评价参数低于第一门限时,将当前视频数据的量化因子平均值和P帧平均运动矢量同步给视频编码器,并指示视频编码器降低视频的量化因子平均值以及降低P帧平均运动矢量;当视频质量评价参数高于第一门限但低于第二门限时,将当前视频数据的P帧平均运动矢量同步给数字视频编码器,并指示视频编码器降低P帧平均运动矢量。
7.如权利要求6所述的装置,其特征在于,所述门限还包括第三门限,第三门限高于第二门限;
所述控制模块还用于,当视频质量评价参数高于第二门限但低于第三门限时,缩短视频质量监控周期长度;当视频质量评价参数高于第三门限时,延长视频质量监控周期长度。
8.如权利要求5所述的装置,其特征在于,该装置还包括:
神经网络训练模块,用于分别提取各训练用视频序列的特征参数,并获取相应训练用视频序列的视频质量评价参数;将各训练用视频序列的特征参数以及相应训练用视频序列的视频质量评价参数输入神经网络,并以训练用视频序列的特征参数作为输入参数时,期望的输出结果为该训练用视频序列的视频质量评价参数为目标,对神经网络进行训练。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210088123.6A CN103369349B (zh) | 2012-03-28 | 2012-03-28 | 一种数字视频质量控制方法及其装置 |
PCT/CN2013/072580 WO2013143396A1 (zh) | 2012-03-28 | 2013-03-14 | 一种数字视频质量控制方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210088123.6A CN103369349B (zh) | 2012-03-28 | 2012-03-28 | 一种数字视频质量控制方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103369349A CN103369349A (zh) | 2013-10-23 |
CN103369349B true CN103369349B (zh) | 2016-04-27 |
Family
ID=49258195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210088123.6A Active CN103369349B (zh) | 2012-03-28 | 2012-03-28 | 一种数字视频质量控制方法及其装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103369349B (zh) |
WO (1) | WO2013143396A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103647963A (zh) * | 2013-12-04 | 2014-03-19 | 北京邮电大学 | 基于GoP场景复杂度的视频质量评价方法 |
CN104134091B (zh) * | 2014-07-25 | 2017-01-18 | 海信集团有限公司 | 一种神经网络训练方法 |
WO2016132152A1 (en) | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Interpolating visual data |
GB201603144D0 (en) | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
EP3278559B1 (en) | 2015-03-31 | 2021-05-05 | Magic Pony Technology Limited | Training end-to-end video processes |
GB201604672D0 (en) | 2016-03-18 | 2016-05-04 | Magic Pony Technology Ltd | Generative methods of super resolution |
CN105578185B (zh) * | 2015-12-14 | 2018-08-21 | 华中科技大学 | 一种网络视频流的无参考图像质量在线估计方法 |
WO2017178808A1 (en) | 2016-04-12 | 2017-10-19 | Magic Pony Technology Limited | Visual data processing using energy networks |
GB201607994D0 (en) | 2016-05-06 | 2016-06-22 | Magic Pony Technology Ltd | Encoder pre-analyser |
CN107046646B (zh) * | 2016-12-30 | 2020-05-22 | 上海寒武纪信息科技有限公司 | 基于深度自动编码器的视频编解码装置及方法 |
CN107295362B (zh) * | 2017-08-10 | 2020-02-21 | 上海六界信息技术有限公司 | 基于图像的直播内容筛选方法、装置、设备及存储介质 |
CN107493509A (zh) * | 2017-09-25 | 2017-12-19 | 中国联合网络通信集团有限公司 | 视频质量监测方法及装置 |
CN109168049B (zh) * | 2018-09-03 | 2021-03-23 | 广州虎牙信息科技有限公司 | 直播节目的等级评价方法、装置、存储介质及服务器 |
CN111797273B (zh) * | 2019-04-08 | 2024-04-23 | 百度时代网络技术(北京)有限公司 | 用于调整参数的方法和装置 |
CN110121110B (zh) * | 2019-05-07 | 2021-05-25 | 北京奇艺世纪科技有限公司 | 视频质量评估方法、设备、视频处理设备及介质 |
CN110278495B (zh) * | 2019-06-25 | 2020-02-07 | 重庆紫光华山智安科技有限公司 | 一种基于mpqm的视频传输网络控制方法及装置 |
CN110971784B (zh) * | 2019-11-14 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
CN111586413B (zh) * | 2020-06-05 | 2022-07-15 | 广州繁星互娱信息科技有限公司 | 视频调整方法、装置、计算机设备及存储介质 |
CN112351252B (zh) * | 2020-10-27 | 2023-10-20 | 重庆中星微人工智能芯片技术有限公司 | 监控视频编解码装置 |
WO2022167828A1 (en) * | 2021-02-08 | 2022-08-11 | Tencent Cloud Europe (France) Sas | Methods and systems for updating an objective quality score of a video flow and for processing a video flow |
CN114827617B (zh) * | 2022-06-27 | 2022-10-18 | 致讯科技(天津)有限公司 | 一种基于感知模型的视频编解码方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
CN101621351A (zh) * | 2008-06-30 | 2010-01-06 | 华为技术有限公司 | 一种调节多媒体编码速率的方法、装置及系统 |
CN101715146A (zh) * | 2008-10-08 | 2010-05-26 | 中国移动通信集团公司 | 压缩视频质量评价方法及评价系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2795147B2 (ja) * | 1993-12-24 | 1998-09-10 | 日本電気株式会社 | 画質評価装置 |
JP2008533937A (ja) * | 2005-03-25 | 2008-08-21 | アルゴリス インコーポレイテッド | Dctコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法 |
CN101808244B (zh) * | 2010-03-24 | 2012-03-14 | 北京邮电大学 | 一种视频传输控制方法及系统 |
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
-
2012
- 2012-03-28 CN CN201210088123.6A patent/CN103369349B/zh active Active
-
2013
- 2013-03-14 WO PCT/CN2013/072580 patent/WO2013143396A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
CN101621351A (zh) * | 2008-06-30 | 2010-01-06 | 华为技术有限公司 | 一种调节多媒体编码速率的方法、装置及系统 |
CN101715146A (zh) * | 2008-10-08 | 2010-05-26 | 中国移动通信集团公司 | 压缩视频质量评价方法及评价系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2013143396A1 (zh) | 2013-10-03 |
CN103369349A (zh) | 2013-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103369349B (zh) | 一种数字视频质量控制方法及其装置 | |
Jin et al. | Statistical study on perceived JPEG image quality via MCL-JCI dataset construction and analysis | |
US9282330B1 (en) | Method and apparatus for data compression using content-based features | |
Li et al. | A convolutional neural network-based approach to rate control in HEVC intra coding | |
US8320700B2 (en) | Apparatus and method of estimating scale ratio and noise strength of encoded image | |
Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
CN101478691B (zh) | Motion Jpeg2000视频客观质量的无参考评估方法 | |
JP2006507775A (ja) | 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置 | |
US20060115167A1 (en) | Image processing apparatus and method of the same | |
Lee et al. | A new image quality assessment method to detect and measure strength of blocking artifacts | |
CN104378636B (zh) | 一种视频图像编码方法及装置 | |
CN104219525A (zh) | 基于显著性和最小可察觉失真的感知视频编码方法 | |
CN101272489B (zh) | 视频图像质量增强的编解码装置与编解码方法 | |
WO2013078822A1 (en) | Texture masking for video quality measurement | |
CN106254868A (zh) | 视频编码码率控制方法、装置及系统 | |
CN100490537C (zh) | 一种降低图像方块效应的方法 | |
Feng et al. | Saliency based objective quality assessment of decoded video affected by packet losses | |
He et al. | Video quality assessment by compact representation of energy in 3D-DCT domain | |
CN101883284A (zh) | 基于背景建模和可选差分模式的视频编/解码方法及系统 | |
Yang et al. | Optimized-SSIM based quantization in optical remote sensing image compression | |
CN114598864A (zh) | 一种基于深度学习的全参考超高清视频质量客观评价方法 | |
CN106331730A (zh) | H.264视频同量化因子双重压缩检测方法 | |
Kondo et al. | Digital image compression using directional sub-block DCT | |
CN115665413A (zh) | 图像压缩最优量化参数的估计方法 | |
Wang et al. | Quality assessment for MPEG-2 video streams using a neural network model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |