CN111539948A - 视频质量评估的方法、装置、电子设备及存储介质 - Google Patents
视频质量评估的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111539948A CN111539948A CN202010394325.8A CN202010394325A CN111539948A CN 111539948 A CN111539948 A CN 111539948A CN 202010394325 A CN202010394325 A CN 202010394325A CN 111539948 A CN111539948 A CN 111539948A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- evaluated
- frame
- perception information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013441 quality evaluation Methods 0.000 title abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 68
- 238000011156 evaluation Methods 0.000 claims abstract description 53
- 230000002123 temporal effect Effects 0.000 claims abstract description 32
- 238000001303 quality assessment method Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请实施例公开了视频质量评估的方法、装置、电子设备及存储介质,涉及图像处理技术领域。其中方法包括:对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值;以及,根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重;根据待评视频的各个视频帧的客观评估指标值和参考视频的各个视频帧的权重,确定待评视频的质量值;其中,待评视频为对参考视频进行处理后得到的视频。本申请实施例能够提高视频质量评估的准确度。
Description
技术领域
本申请涉及图像处理领域,尤其涉及视频质量评估领域。
背景技术
近年来,视频用户呈现爆发式增长,视频类应用程序层出不穷。因此,准确评估视频质量,提升用户的观看体验,成为视频行业从业者重点关注的领域。
目前普遍采用的视频质量评估方案为对视频逐帧计算客观评估指标值,通过均值法来对视频进行客观评估,即逐帧累加求平均以评估视频质量。但是现有的评估方案所得到的结果往往无法和人眼看到的视觉品质完全一致,有可能质量分数较高的视频看起来反而比质量分数较低的视频差。
发明内容
为了解决现有技术中至少一个问题,本申请实施例提供一种视频质量评估的方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供一种视频质量评估的方法,包括:
对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值;以及,根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重;
根据待评视频的各个视频帧的客观评估指标值和参考视频的各个视频帧的权重,确定待评视频的质量值;
其中,待评视频为对参考视频进行处理后得到的视频。
第二方面,本申请实施例提供一种视频质量评估的装置,包括:
评估及权重确定模块,用于对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值;以及根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重;其中,待评视频为对参考视频进行处理后得到的视频;
质量确定模块,用于根据待评视频的各个视频帧的客观评估指标值和参考视频的各个视频帧的权重,确定待评视频的质量值。
第三方面,本申请实施例提出一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中任一项的方法。
第四方面,本申请实施例提出一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行第一方面中任一的方法。
上述申请中的一个实施例具有如下优点或有益效果:本申请实施例在基于各个视频帧的客观评估指标值计算待评视频的质量值时,引入各个视频帧由空间感知信息和时间感知信息所确定的权重值进行加权,考虑了不同帧之间的差异性对视频评估结果的影响,使得质量评估结果更加贴近人眼视觉对视频质量的评估,提高视频质量评估的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例的一种视频质量评估的方法的流程图一;
图2是根据本申请实施例的一种视频质量评估的方法的流程框图;
图3是根据本申请实施例的一种视频质量评估的方法的流程图二;
图4是根据本申请实施例的PSNR变化曲线的示例图;
图5是根据本申请实施例的SI变化曲线和TI变化曲线的示例图;
图6是根据本申请实施例的加权前后的PSNR变化曲线的示例图;
图7是根据本申请实施例的视频质量评估装置的结构示意图一;
图8是根据本申请实施例的视频质量评估装置的结构示意图二;
图9为用来实现本申请实施例的视频质量评估的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供一种视频质量评估的方法,参见图1,图1是视频质量评估的方法的流程图,该方法包括下述步骤:
S101、对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值;以及,根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重;
S102、根据待评视频的各个视频帧的客观评估指标值和参考视频的各个视频帧的权重,确定待评视频的质量值;
其中,待评视频为对参考视频进行处理后得到的视频。此方法适用于处理前后帧率(例如,帧率以fps为单位)和分辨率保持不变的处理场景。对待评视频的处理方式可以包括压缩、格式转换和模糊处理中的至少一种。
空间感知信息(Spatial perceptual Information,SI)可以表征图像的空间细节量;图像的空间细节越复杂,图像的SI值越高。时间感知信息(TI,Temporal perceptualInformation)表征图像的时间变化量,图像的运动程度较高,图像的TI值越高。
本申请实施例在基于各个视频帧的客观评估指标值计算待评视频的质量值时,引入各个视频帧由空间感知信息和时间感知信息所确定的权重值,提高了对不同帧之间的差异性的重视,使得质量评估结果更加贴近人眼视觉对视频品质的评估,提高视频质量评估的准确性。
参见图2,图2给出了本申请实施例如何进行视频质量评估的流程。首先,将参考视频X和待评视频Y分别解析为M帧视频帧;然后,基于参考视频X的M帧视频帧,计算SI时间序列(SI1,SI2,……,SIM)和TI时间序列(TI1,TI2,……,TIM),利用SI时间序列和TI时间序列计算帧维度权重;以及,确定待评视频Y的帧维度客观评估指标值;最后,利用帧维度权重加权帧维度客观评估指标值,计算最终的待评视频的质量值Qx,y。
在一种实施方式中,步骤S101可以采用全参考的图像质量评估方法评估各个视频帧。对应的,对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值,包括:
采用预设的客观指标,计算待评视频的各个视频帧和参考视频对应的视频帧的相似程度,得到待评视频的各个视频帧的客观评估指标值。
通过上述方式,将待评视频处理前的视频作为参考视频,计算待评视频的视频帧和参考视频的对应帧的相似程度,可以衡量视频帧图像失真或噪声水平,因此该相似程度可以有效体现图像质量结果。
在一种实施方式中,预设的客观指标为结构相似性(structural similarityindex,SSIM)、多尺度结构相似性(Multiple-scale structural similarity index,MS-SSIM)或峰值信噪比(Peak Signal to Noise Ratio,PSNR)。
上述实施方式中所采用的客观指标,便于计算,并且能够较大程度反映图像质量。一般情况下,客观指标的值高的图像质量相对较高。
在一种实施方式中,参见图3,参考视频的视频帧的空间感知信息的确定方式,包括:
S301、采用滤波器对参考视频的视频帧进行滤波,得到滤波后的视频帧;可选地,滤波器为索贝尔(sobel)滤波器。
S302、计算滤波后的视频帧中像素的亮度或灰度的标准差,得到参考视频的视频帧的空间感知信息。
上述实施方式,标准差能反映一个数据集的离散程度,通过计算各个视频帧中的亮度或灰度的标准差,可以有效体现各个视频帧中的空间的细节复杂程度。
一种示例,视频帧的空间感知信息的计算过程可以通过下述式子表示:
SIn={stdspace[Sobel(Fn)]}
式子1
其中,SIn表示第n帧视频帧的空间感知信息,Fn表示第n帧视频帧,n为整数且n∈[1,M],stdspace[Sobel(Fn)]表示计算经Sobel滤波器滤波后的视频帧中像素的标准差。
在一种实施方式中,参考视频的视频帧的时间感知信息的确定方式,包括:计算参考视频的视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差,得到参考视频的视频帧的时间感知信息。
上述实施方式,比较视频帧与前一两帧视频帧相同位置的像素差异,进而基于该像素差异的标准差来得到该视频帧的时间感知信息,可以有效体现视频帧的运动程度。
一种示例,视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差的计算如下述式子2和式子3所示:
Mn(i,j)=Fn(i,j)-Fn-1(i,j)
式子2
其中,(i,j)表示视频帧中第i行第j列的像素,Mn(i,j)为第n帧中像素(i,j)与前一个视频帧中像素(i,j)的亮度或灰度的差值,Fn(i,j)表示第n帧中像素(i,j)的亮度或灰度,Fn-1(i,j)表示第n-1帧中像素(i,j)的亮度或灰度;
TIn={stdtime[Mn(i,j)]}
式子3
其中,TIn表示第n帧的时间感知信息,stdtime[Mn(i,j)]表示视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差。
另外,考虑到第一帧视频帧没有前一个视频帧,第一帧视频帧的时间感知信息的取值可以取第二帧视频帧的时间感知信息。
在一种实施方式中,根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重,包括:
获取空间感知信息对应的第一比重调整值和时间感知信息对应的第二比重调整值;
根据第一比重调整值、第二比重调整值以及参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重。
上述实施方式中,引入第一比重调整值和第二比重调整值可以调整在权重计算过程中空间感知信息和时间感知信息的占比,可以使得权重的计算更加准确。另一方面,通过调整第一比重调整值和第二比重调整值以调整空间感知信息和时间感知信息在权重中的占比,可以满足不同视频的质量评估要求。
在一种实施方式中,根据第一比重调整值、第二比重调整值以及参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重,包括:
计算参考视频的各个视频帧的空间感知信息占参考视频的所有视频帧的空间感知信息总和的第一比重,以及计算参考视频的各个视频帧的时间感知信息占参考视频的各个视频帧的时间感知信息总和的第二比重;
根据第一比重调整值、第二比重调整值以及参考视频的各个视频帧的第一比重和第二比重,确定参考视频的各个视频帧的权重。
上述实施方式中,将视频帧在所有视频帧中的空间感知信息占比和时间感知信息占比分别作为第一比重和第二比重来计算权重,有利于空间感知信息和时间感知信息的归一化,使得该权重可以有效体现一帧视频帧的质量在整体视频质量评估的占比考虑。
一种示例,计算第一比重调整值和第一比重的乘积以及第二比重调整值和第二比重的乘积之和,得到视频帧的权重。因此,空间感知信息和时间感知信息复杂度越高的视频帧,在客观评估指标值计算中的占比越高,使得最终的视频质量值更加接近人眼视觉评估。
一种示例,参考视频的视频帧的权重的计算如下述式子4所示:
其中,wn为第n帧视频帧的权重,α表示第一比重调整值,β表示第二比重调整值。α和β的取值可以根据实际需求进行调整。
进一步的,本实施例应满足第一比重调整值α和第二比重调整值β之和为1,即α+β=1。
在一种实施方式中,步骤S102,包括:
采用参考视频的各个视频帧的权重对待评视频对应的各个视频帧的客观评估指标值进行加权,得到各个加权后的客观评估指标值;
计算各个加权后的客观评估指标值的总和,得到待评视频的质量值。
上述实施方式,采用各个视频帧的客观评估值加权求和的方式计算视频质量,计算方式简单,并且可以有效考虑到各个视频帧的差异性。
一种示例,计算待评视频的质量值如下述式子5所示:
其中,Qx,y表示待评视频的质量值,Qn表示待评视频的第n帧视频帧的客观评估指标值。
下述以采用PSNR作为客观指标为例给出本申请实施例的一应用实例:
第一步,获取待评视频Y对应的参考视频X,其中,参考视频X为待评视频Y为处理前的原始视频,待评视频Y和参考视频X的帧数量均为M帧,且分辨率相同。
采用客观指标PSNR,计算待评视频Y的视频帧的客观评估指标值如下述式子6所示:
其中,MSE为在指定通道下参考视频X的视频帧图像与待评视频Y的视频帧图像之间的均方误差,d为待评视频Y的视频帧图像中每个像素的采样值的比特数。指定通道可以包括Y通道、U通道和V通道中的至少一种,YUV是一种常运用于视频的颜色编码方法,Y表示亮度,UV分别为浓度偏移分量。
因此,以参考视频X为参考,计算待评视频Y的每一帧视频帧的PSNR值,可获得长度为M的PSNR数组Mx,y。
Mx,y=[PSNR1,PSNR2,…,PSNRM]
参考图4,图4为PSNR的变化曲线示例图。图4中包括psnr_y、psnr_u、psnr_v和psnr_avg四种PSNR变化曲线,其中,psnr_y、psnr_u和psnr_v分别对应表示视频帧Y、U和V三个通道的PSNR值,psnr_avg是由Y、U和V三个通道计算的MSE的均值所计算出的PSNR值。在此列出图4多条PSNR变化曲线仅作为参考。
第二步,计算参考视频X的各个视频帧的空间感知信息和时间感知信息,可以得到对应的SI时间序列和TI时间序列,参考图5所示的SI变化曲线和TI变化曲线。
第三步,假设取α=β=0.5,基于SI时间序列和TI时间序列计算得到各个视频帧的权重。
第四步,基于各个视频帧的权重,对第一步计算得到的待评视频Y的各个PSNR值进行加权,可以得到加权后的各个PSNR值,参考图6,图6出了加权前后的PSNR值对比,其中曲线psnr_y表示加权前的PSNR值曲线,psnr_y_w表示加权后的PSNR值曲线。
第五步,将待评视频Y的加权后的各个PSNR值进行相加求总和,将该总和作为待评视频Y的质量值。
例如,根据上述图4至图6的数据,如果通过现有技术基于均值法计算的视频帧的客观评评估指标值,得到视频质量Qx,y=35.4934;而基于本申请实施例的方法计算得到的视频质量Qx,y=33.9566。可见,本申请实施例对现有视频质量评估的结果起到了调整作用。
对应的,参见图7,本申请实施例提供一种视频质量评估的装置700,包括:
评估及权重确定模块701,用于对待评视频的各个视频帧进行图像质量客观评估,得到待评视频的各个视频帧的客观评估指标值;以及根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定参考视频的各个视频帧的权重;其中,待评视频为对参考视频进行处理得到的视频;
质量确定模块702,用于根据待评视频的各个视频帧的客观评估指标值和参考视频的各个视频帧的权重,确定待评视频的质量值。
在一种实施方式中,参见图8,评估及权重确定模块701包括:
滤波子模块801,用于采用滤波器对参考视频的视频帧进行滤波,得到滤波后的视频帧;可选地,滤波器为索贝尔滤波器;
空间确定子模块802,用于计算滤波后的视频帧中像素的亮度或灰度的标准差,得到参考视频的视频帧的空间感知信息。
在一种实施方式中,评估及权重确定模块701还包括:
时间确定子模块803,用于计算参考视频的视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差,得到参考视频的视频帧的时间感知信息。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图9所示,是根据本申请实施例的视频质量评估的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,该电子设备包括:一个或多个处理器901、存储器902,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的视频质量评估的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的视频质量评估的方法。
存储器902作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的视频质量评估的方法对应的程序指令/模块(例如,附图8所示的评估及权重确定模块701和质量确定模块702)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的视频质量评估的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据视频质量评估的电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至视频质量评估的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
视频质量评估的方法的电子设备还可以包括:输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接,图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息,以及产生与视频质量评估的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,在基于各个视频帧的客观评估指标值计算待评视频的质量值时,引入各个视频帧由空间感知信息和时间感知信息所确定的权重值,从而提高空间感知信息和时间感知信息复杂度高的视频帧在客观评估指标值计算中的占比,从而减少了因忽略视频帧之间的差异性所引入的视频质量评估误差,提高视频质量评估的准确性。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (13)
1.一种视频质量评估的方法,其特征在于,包括:
对待评视频的各个视频帧进行图像质量客观评估,得到所述待评视频的各个视频帧的客观评估指标值;以及,根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定所述参考视频的各个视频帧的权重;
根据所述待评视频的各个视频帧的客观评估指标值和所述参考视频的各个视频帧的权重,确定所述待评视频的质量值;
其中,所述待评视频为对所述参考视频进行处理后得到的视频。
2.根据权利要求1所述的方法,其特征在于,所述参考视频的视频帧的空间感知信息的确定方式,包括:
采用滤波器对所述参考视频的视频帧进行滤波,得到滤波后的视频帧;
计算所述滤波后的视频帧中像素的亮度或灰度的标准差,得到所述参考视频的视频帧的空间感知信息。
3.根据权利要求1所述的方法,其特征在于,所述参考视频的视频帧的时间感知信息的确定方式,包括:
计算所述参考视频的视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差,得到所述参考视频的视频帧的时间感知信息。
4.根据权利要求1所述的方法,其特征在于,所述根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定所述参考视频的各个视频帧的权重,包括:
获取所述空间感知信息对应的第一比重调整值和所述时间感知信息对应的第二比重调整值;
根据所述第一比重调整值、所述第二比重调整值以及所述参考视频的各个视频帧的空间感知信息和时间感知信息,确定所述参考视频的各个视频帧的权重。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一比重调整值、所述第二比重调整值以及所述参考视频的各个视频帧的空间感知信息和时间感知信息,确定所述参考视频的各个视频帧的权重,包括:
计算所述参考视频的各个视频帧的空间感知信息占所述参考视频的所有视频帧的空间感知信息总和的第一比重,以及计算所述参考视频的各个视频帧的时间感知信息占所述参考视频的各个视频帧的时间感知信息总和的第二比重;
根据所述第一比重调整值、所述第二比重调整值以及所述参考视频的各个视频帧的第一比重和第二比重,确定所述参考视频的各个视频帧的权重。
6.根据权利要求1所述的方法,其特征在于,所述对待评视频的各个视频帧进行图像质量客观评估,得到所述待评视频的各个视频帧的客观评估指标值,包括:
采用预设的客观指标,计算所述待评视频的各个视频帧和所述参考视频对应的视频帧的相似程度,得到所述待评视频的各个视频帧的客观评估指标值。
7.根据权利要求6所述的方法,其特征在于,所述预设的客观指标为结构相似性SSIM、多尺度结构相似性MS-SSIM或峰值信噪比PSNR。
8.根据权利要求1所述的方法,其特征在于,所述根据所述待评视频的各个视频帧的客观评估指标值和所述参考视频的各个视频帧的权重,确定所述待评视频的质量值,包括:
采用所述参考视频的各个视频帧的权重对所述待评视频对应的各个视频帧的客观评估指标值进行加权,得到各个加权后的客观评估指标值;
计算所述各个加权后的客观评估指标值的总和,得到所述待评视频的质量值。
9.一种视频质量评估的装置,其特征在于,包括:
评估及权重确定模块,用于对待评视频的各个视频帧进行图像质量客观评估,得到所述待评视频的各个视频帧的客观评估指标值;以及根据参考视频的各个视频帧的空间感知信息和时间感知信息,确定所述参考视频的各个视频帧的权重;其中,所述待评视频为对所述参考视频进行处理后得到的视频;
质量确定模块,用于根据所述待评视频的各个视频帧的客观评估指标值和所述参考视频的各个视频帧的权重,确定所述待评视频的质量值。
10.根据权利要求9所述的装置,其特征在于,所述评估及权重确定模块包括:
滤波子模块,用于采用滤波器对所述参考视频的视频帧进行滤波,得到滤波后的视频帧;
空间确定子模块,用于计算所述滤波后的视频帧中像素的亮度或灰度的标准差,得到所述参考视频的视频帧的空间感知信息。
11.根据权利要求9所述的装置,其特征在于,所述评估及权重确定模块包括时间确定子模块,用于计算所述参考视频的视频帧与前一个视频帧的相同位置上像素的亮度或灰度的差值的标准差,得到所述参考视频的视频帧的时间感知信息。
12.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394325.8A CN111539948B (zh) | 2020-05-11 | 2020-05-11 | 视频质量评估的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394325.8A CN111539948B (zh) | 2020-05-11 | 2020-05-11 | 视频质量评估的方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111539948A true CN111539948A (zh) | 2020-08-14 |
CN111539948B CN111539948B (zh) | 2023-06-02 |
Family
ID=71980406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010394325.8A Active CN111539948B (zh) | 2020-05-11 | 2020-05-11 | 视频质量评估的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111539948B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822876A (zh) * | 2021-11-12 | 2021-12-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频质量评估方法、装置及存储介质 |
CN113891069A (zh) * | 2021-10-21 | 2022-01-04 | 咪咕文化科技有限公司 | 一种视频质量的评估方法、装置及设备 |
CN114662897A (zh) * | 2022-03-17 | 2022-06-24 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN115278221A (zh) * | 2022-07-29 | 2022-11-01 | 重庆紫光华山智安科技有限公司 | 一种视频质量评估方法、装置、设备及介质 |
TWI842285B (zh) * | 2022-11-08 | 2024-05-11 | 瑞昱半導體股份有限公司 | 動態視訊偵測之超解析度網路視訊處理方法與電路系統 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
CN101742355A (zh) * | 2009-12-24 | 2010-06-16 | 厦门大学 | 基于空时域特征提取的无线视频部分参考测评方法 |
CN101835059A (zh) * | 2010-05-13 | 2010-09-15 | 王琳 | 一种无参考的网络电视服务质量评估模型 |
CN103731664A (zh) * | 2013-12-25 | 2014-04-16 | 华为技术有限公司 | 全参考视频质量评估方法、装置及视频质量测试仪 |
CN104023227A (zh) * | 2014-05-28 | 2014-09-03 | 宁波大学 | 一种基于空域和时域结构相似性的视频质量客观评价方法 |
CN104104966A (zh) * | 2013-04-08 | 2014-10-15 | 华为技术有限公司 | 视频块的划分方法和装置 |
US20160191967A1 (en) * | 2014-12-30 | 2016-06-30 | Videology, Inc. | Method and system for assessing viewing quality of media objects |
CN106303507A (zh) * | 2015-06-05 | 2017-01-04 | 江苏惠纬讯信息科技有限公司 | 基于时空联合信息的无参考视频质量评估方法 |
CN107018406A (zh) * | 2016-01-27 | 2017-08-04 | 华为技术有限公司 | 视频信息处理方法及装置 |
CN107027023A (zh) * | 2017-04-24 | 2017-08-08 | 北京理工大学 | 基于神经网络的VoIP无参考视频通信质量客观评价方法 |
CN107105224A (zh) * | 2017-03-24 | 2017-08-29 | 深圳信息职业技术学院 | 一种视频体验质量评估的方法、装置与系统 |
CN110166796A (zh) * | 2018-05-16 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 视频帧的处理方法、装置、计算机可读介质及电子设备 |
CN110751649A (zh) * | 2019-10-29 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 视频质量评估方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-11 CN CN202010394325.8A patent/CN111539948B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
CN101742355A (zh) * | 2009-12-24 | 2010-06-16 | 厦门大学 | 基于空时域特征提取的无线视频部分参考测评方法 |
CN101835059A (zh) * | 2010-05-13 | 2010-09-15 | 王琳 | 一种无参考的网络电视服务质量评估模型 |
CN104104966A (zh) * | 2013-04-08 | 2014-10-15 | 华为技术有限公司 | 视频块的划分方法和装置 |
CN103731664A (zh) * | 2013-12-25 | 2014-04-16 | 华为技术有限公司 | 全参考视频质量评估方法、装置及视频质量测试仪 |
CN104023227A (zh) * | 2014-05-28 | 2014-09-03 | 宁波大学 | 一种基于空域和时域结构相似性的视频质量客观评价方法 |
US20160191967A1 (en) * | 2014-12-30 | 2016-06-30 | Videology, Inc. | Method and system for assessing viewing quality of media objects |
CN106303507A (zh) * | 2015-06-05 | 2017-01-04 | 江苏惠纬讯信息科技有限公司 | 基于时空联合信息的无参考视频质量评估方法 |
CN107018406A (zh) * | 2016-01-27 | 2017-08-04 | 华为技术有限公司 | 视频信息处理方法及装置 |
CN107105224A (zh) * | 2017-03-24 | 2017-08-29 | 深圳信息职业技术学院 | 一种视频体验质量评估的方法、装置与系统 |
CN107027023A (zh) * | 2017-04-24 | 2017-08-08 | 北京理工大学 | 基于神经网络的VoIP无参考视频通信质量客观评价方法 |
CN110166796A (zh) * | 2018-05-16 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 视频帧的处理方法、装置、计算机可读介质及电子设备 |
CN110751649A (zh) * | 2019-10-29 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 视频质量评估方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
刘村;李元祥;周拥军;骆建华;: "基于卷积神经网络的视频图像超分辨率重建方法" * |
程德强;黄晓丽;刘洋;屠屹磊;: "基于帧损伤位置感知的GOP视频质量评价机制" * |
郑颖航;吴修权;钟其柱;: "关于VoLTE视频通话质量评估方法的概述" * |
饶文碧;李颖姝;: "无线传感器网络中视频质量评估方法" * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113891069A (zh) * | 2021-10-21 | 2022-01-04 | 咪咕文化科技有限公司 | 一种视频质量的评估方法、装置及设备 |
CN113822876A (zh) * | 2021-11-12 | 2021-12-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频质量评估方法、装置及存储介质 |
CN114662897A (zh) * | 2022-03-17 | 2022-06-24 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN115278221A (zh) * | 2022-07-29 | 2022-11-01 | 重庆紫光华山智安科技有限公司 | 一种视频质量评估方法、装置、设备及介质 |
CN115278221B (zh) * | 2022-07-29 | 2024-05-07 | 重庆紫光华山智安科技有限公司 | 一种视频质量评估方法、装置、设备及介质 |
TWI842285B (zh) * | 2022-11-08 | 2024-05-11 | 瑞昱半導體股份有限公司 | 動態視訊偵測之超解析度網路視訊處理方法與電路系統 |
Also Published As
Publication number | Publication date |
---|---|
CN111539948B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539948B (zh) | 视频质量评估的方法、装置、电子设备及存储介质 | |
CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
CA2958720C (en) | Method and system for objective perceptual video quality assessment | |
RU2603529C2 (ru) | Уменьшение шума в последовательностях изображений | |
CN111182303A (zh) | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 | |
EP3944603A1 (en) | Video denoising method and apparatus, and computer-readable storage medium | |
US12022096B2 (en) | Human visual system adaptive video coding | |
CN110166796B (zh) | 视频帧的处理方法、装置、计算机可读介质及电子设备 | |
CN112135140A (zh) | 视频清晰度识别方法、电子设备及存储介质 | |
WO2022000298A1 (en) | Reinforcement learning based rate control | |
CN110944176A (zh) | 图像帧降噪方法和计算机存储介质 | |
CN111784757A (zh) | 深度估计模型的训练方法、深度估计方法、装置及设备 | |
EP4046382A1 (en) | Method and apparatus in video coding for machines | |
Xue et al. | Mobile JND: Environment adapted perceptual model and mobile video quality enhancement | |
CN111768377A (zh) | 图像色彩评估方法、装置、电子设备及存储介质 | |
CN111866308A (zh) | 信噪比调节电路、信噪比调节方法和信噪比调节程序 | |
WO2024073515A1 (en) | Techniques for predicting video quality across different viewing parameters | |
JP5119740B2 (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体 | |
CN115225961A (zh) | 一种无参考网络视频质量评价方法和装置 | |
CN111754493A (zh) | 图像噪点强度评估方法、装置、电子设备及存储介质 | |
CN113132757B (zh) | 数据处理方法和装置 | |
CN114827583A (zh) | 轻量级实时视频通信中客观视频质量评估的系统和方法 | |
CN102948147A (zh) | 基于变换系数直方图的视频速率控制 | |
CN112822493A (zh) | 基于复杂度来适应性地对视频帧进行编码 | |
US20130335578A1 (en) | Ambient Adaptive Objective Image Metric |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |