CN111311584B - 视频质量评估方法及装置、电子设备、可读介质 - Google Patents
视频质量评估方法及装置、电子设备、可读介质 Download PDFInfo
- Publication number
- CN111311584B CN111311584B CN202010112646.4A CN202010112646A CN111311584B CN 111311584 B CN111311584 B CN 111311584B CN 202010112646 A CN202010112646 A CN 202010112646A CN 111311584 B CN111311584 B CN 111311584B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- peak signal
- processed image
- noise ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013441 quality evaluation Methods 0.000 title abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 92
- 238000001303 quality assessment method Methods 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 41
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供了一种视频质量评估方法,其包括:将原图像和处理图像分别分割为多个原图像块和处理图像块;其中,所述处理图像为所述原图像经压缩处理后得到的图像;计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵;将所述峰值信噪比矩阵转化为灰度值矩阵;依据所述灰度值矩阵对所述处理图像的质量进行评估。该视频质量评估方法不仅能提高质量评估的准确性,而且缩短了评估周期,降低了评估成本。本公开还提供了一种视频质量评估装置、电子设备及可读介质。
Description
技术领域
本公开实施例涉及视频处理技术领域,特别涉及一种视频质量评估方法及装置、电子设备、计算机可读介质。
背景技术
近年来,随着互联网技术的快速发展,视频用户呈现爆发式增长,视频类应用程序(Application,简称APP)层出不穷。如何对视频质量进行评价,以提升用户的观看体验成为视频行业从业人员的重点关注。
视频质量评估包括主观评价和客观评价。其中,主观评价是通过人眼观察分析视频的质量,这种方法需要耗费大量的人力资源和时间成本,而且,随着视频量的增加,越来越无法满足实际需求。
客观评价是通过计算机模拟人眼视觉系统来建模研究视频质量。峰值信噪比(Peak Signal to Noise Ratio,简称PSNR)、结构相似度(structural similarity index,简称SSIM)、均方误差(Mean-Squared Error,简称MSE)等是客观评价方法主要指标。其中,PSNR是基于对应像素点间的误差,即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等),因而经常出现评价结果与人的主观感觉不一致的情况。
而且,不同场景下其值与实际主管感受相差较大,无法对视频的体验质量(Quality of Experience,简称QoE)做出准确地评估。另外,对于窄带高清、动态码率(VBR)等新兴技术,由于这些新兴技术会对码率、图像区域分辨率会做一定的调整,图像上不同区域视频体验质量(QoE)存在波动,导致视频帧整帧的评估方法无法精确地判定视频质量。
公开内容
本公开实施例提供一种视频质量评估方法及装置、电子设备、计算机可读介质。
第一方面,本公开实施例提供一种视频质量评估方法,其包括:
将原图像和处理图像分别分割为多个原图像块和处理图像块;其中,所述处理图像为所述原图像经压缩处理后得到的图像;
计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵;
将所述峰值信噪比矩阵转化为灰度值矩阵;
依据所述灰度值矩阵对所述处理图像的质量进行评估。
在一些实施例中,通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
在一些实施例中,所述将原图像和处理图像分别分割为多个原图像块和处理图像块之前,还包括:
获得原视频流;
从所述原视频流中逐帧提取视频帧,获得原图像;
对所述原视频流进行处理,获得处理视频流;
从所述处理视频流中逐帧提取处理视频帧,获得处理图像。
在一些实施例中,从所述原视频流中逐帧提取视频帧之前,将所述原视频流转换为YUV格式;
从所述处理视频流中逐帧提取处理视频帧之前,将所述处理视频流转换为YUV格式。
在一些实施例中,所述计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵包括:
从所述原图像块和处理图像块中分离出各自的y/u/v通道参数;
根据所述y/u/v通道参数计算均方误差和平方误差和;
根据所述均方误差和平方误差和获得所述峰值信噪比。
在一些实施例中,所述依据所述灰度值矩阵对所述处理图像的质量进行评估,包括:
将所述灰度值矩阵可视化,获得灰度图像;
依据所述灰度图像对所述处理图像的质量进行评估。
第二方面,本公开实施例提供一种视频质量评估装置,其包括:
分割模块,用于将原图像和处理图像分别分割为多个原图像块和处理图像块;其中,所述处理图像为所述原图像经处理后得到的图像;
峰值信噪比计算模块,用于计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵;
矩阵转化模块,用于将所述峰值信噪比矩阵转化为灰度值矩阵;
评估模块,用于依据所述灰度值矩阵对所述处理图像进行评估。
在一些实施例中,所述分割模块通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
在一些实施例中,所述模块还包括:
获取模块,用于获得原视频流;
视频处理模块,用于对所述原视频流进行处理,获得处理视频流;
图像提取模块,用于从所述原视频流中逐帧提取视频帧,获得原图像,以及从所述处理视频流中逐帧提取处理视频帧,获得处理图像。
在一些实施例中,所述模块还包括:
格式转换模块,用于将所述原视频流转换为YUV格式,以及将所述处理视频流转换为YUV格式。
在一些实施例中,所述峰值信噪比计算模块包括:
参数分离单元,用于从所述原图像块和处理图像块中分离出各自的y/u/v通道参数;
误差计算单元,用于根据所述y/u/v通道参数计算均方误差和平方误差和;
峰值信噪比计算单元,用于根据所述均方误差和平方误差获得所述峰值信噪比。
在一些实施例中,所述装置还包括:
可视化模块,用于将所述灰度值矩阵可视化。
第三方面,本公开实施例提供一种电子设备,其包括:
一个或多个处理器;
存储器,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器上述任意一种视频质量评估方法;
一个或多个I/O接口,连接在所述处理器与存储器之间,配置为实现所述处理器与存储器的信息交互。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任意一种视频质量评估方法。
本公开实施例提供的视频质量评估方法对图像分割,再对分割后的图像块获得峰值信噪比矩阵,在将峰值信噪比矩阵转化为灰度值矩阵,最后依据灰度值矩阵对处理图像的质量进行评估,不仅能准确地评估图像质量,提高质量评估的准确性,而且不需要人工参与评估,缩短了评估周期,控制了评估成本。
附图说明
附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其它特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1为本公开实施例提供的一种视频质量评估方法的流程图;
图2为本公开实施例中分割原图像和处理图像的示意图;
图3为本公开实施例中8阶灰度图的示意图;
图4为本公开实施例提供的一种视频质量评估方法的流程图;
图5为本公开实施例提供的一种视频质量评估方法的流程图;
图6本公开实施例提供的一种原图像和压缩处理后的处理图像;
图7为本公开实施例图像处理前后的峰值信噪比的灰度图;
图8为本公开实施例提供的一种视频质量评估装置的原理框图;
图9为本公开实施例提供的一种视频质量评估装置的原理框图;
图10为本公开实施例提供的一种峰值信噪比计算模块的原理框图;
图11本公开实施例提供的一种电子设备的原理框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的视频质量评估方法及装置、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下,本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
本公开实施例主要针对窄带高清、动态码率(VBR)等新兴技术,由于这些新技术可对码率、图像区域分辨率进行一定程度的调整,因此。图像上不同区域视频体验质量(QoE)存在波动,但这种波动并不影响人眼的主管感受。例如,在一幅视频帧图像中存在河流、岸边的房子和天空,人眼对图像中河流和岸边的房子的关注度高,对天空的关注度较低,因此,即使对天空区域的像素采用较大程度的压缩,也不会影响人眼对图像整体的主管感受。如果仍然采用视频帧整帧评估视频质量,容易导致评价不准确。
第一方面,本公开实施例提供一种视频质量评估方法。图1为本公开实施例的视频质量评估方法的流程图。参照图1,视频质量评估方法包括:
101,将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中,处理图像为原图像经处理后得到的图像,而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时,原图像可以来自于视频流,即从视频流逐帧提取视频帧图像,获得原图像。类似地,处理图像来自于处理视频流,即从处理视频流逐帧提取视频帧图像,获得处理图像。
在一些实施例中,将原图像和处理图像分别分割为m×n块图像块,获得m×n块原图像块和处理图像块。另外,原图像和处理图像通过直方图分割、灰度阈值分割、区域分割或边缘分割方式被分割为多块原图像块和处理图像块。
图2为本公开实施例通过直方图分割方式分割原图像和处理图像的示意图。如图2所示,原图像被分割为3×4块图像块,即原图像被分割为12块原图像块,类似地,处理图像被分割为3×4块图像块,即处理图像被分割为12块处理图像块。
102,计算原图像块和对应的处理图像块的峰值信噪比,获得峰值信噪比矩阵。
计算每块原图像块和对应的处理图像块的峰值信噪比,峰值信噪比可以通过公式(1)计算。
在公式(1)中,MSE为原图像和处理图像之间的均方误差,n为图像中每个像素的采样值的比特数。
一般而言,PSNR值越大,表示原图像和处理图像的差异性越小,图像的失真也越小。由于人眼对图像中不同区域的关注度不同,对于不同区域处理前后的差异,感知度也不同。例如,在图2所示图像中,由于人眼对河流和岸边的房子的关注度较高,对天空的关注度较低,因此,即使对天空区域进行较大的压缩处理,对河流和岸边的房子区域进行较小的压缩处理,人眼不会因天空区域的较大压缩而感知图像整体视觉质量的下降。
利用每块图像块的峰值信噪比获得峰值信噪比矩阵,如公式(2)
在公式(2)中,j表示水平方向上图像块的数量,k表示竖直方向上图像块的数量。
当图像被分割为m×n,且m=n=1,即图像块为像素点时,j和k与被分割的图像的分辨率对应。即,如果被分割的图像的分辨率为M×N,那么,当图像块为像素点时,j=M,k=N。
103,将峰值信噪比矩阵转化为灰度值矩阵。
其中,灰度值矩阵采用8阶灰度图中的灰度值表示。图3为本公开实施例中8阶灰度图的示意图。如图3所示,灰度图由8阶灰度表示,每阶灰度对应一个灰度值。
将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括:将峰值信噪比转换为8进制矩阵,即利用8进制的PSNRkj表示像素块的峰值信噪比,然后将8阶灰度图中的灰度值与PSNRkj对应,从而得到图像的灰度矩阵。
104,依据灰度值矩阵对处理图像的质量进行评估。
利用灰度值矩阵对处理图像的质量进行评估,从而获得处理图像的质量。
当对原视频流和处理视频流逐帧提取获得原图像块和处理图像块,并依据步骤101至步骤104对处理视频流逐帧判断,获得视频时长t内的PSNR的灰度变化情况,从而完成对处理视频的质量评估。
本公开实施例提供的视频质量评估方法对图像分割,再对分割后的图像块获得峰值信噪比矩阵,在将峰值信噪比矩阵转化为灰度值矩阵,最后依据灰度值矩阵对处理图像的质量进行评估,不仅能准确地评估图像质量,提高质量评估的准确性,而且不需要人工参与评估,缩短了评估周期,控制了评估成本。
图4为本公开实施例提供的一种视频质量评估方法的流程图。如图4所示,视频质量评估方法包括:
401,将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中,处理图像为原图像经处理后得到的图像,而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时,原图像可以来自于视频流,即从视频流逐帧提取视频帧图像,获得原图像。类似地,处理图像来自于处理视频流,即从处理视频流逐帧提取视频帧图像,获得处理图像。
步骤401的更详细内容参见步骤101,在此不再赘述。
402,计算原图像块和对应的处理图像块的峰值信噪比,获得峰值信噪比矩阵。
峰值信噪比的计算方法以及峰值信噪比矩阵的获得方式参见步骤102,在此不再赘述。
403,将峰值信噪比矩阵转化为灰度值矩阵。
其中,灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括:将峰值信噪比转换为8进制矩阵,即利用8进制的PSNRkj表示像素块的峰值信噪比,然后将8阶灰度图中的灰度值与PSNRkj对应,从而得到图像的灰度矩阵。
峰值信噪比矩阵转化为灰度值矩阵的更具体方式与步骤103相同,在此不再赘述。
404,将灰度值矩阵可视化,获得灰度图像。
将处理图像根据灰度值可视化,获得灰度图像,以使人眼直观地观察处理图像的质量。
405,根据灰度图像对处理图像的质量进行评估。
通过人员观看灰度图像对处理后的图像的质量进行评估。
在本实施例中,将灰度值矩阵可视化后,可以量化展示各个图像块的峰值信噪比的动态变化,人眼可以直观地观察各图像块的质量,从而提升客观评估的准确度。
图5为本公开实施例提供的一种视频质量评估方法的流程图。如图5所示,视频质量评估方法包括:
501,获得原视频流和处理视频流。
其中,处理视频流是原视频流经压缩处理后获得的视频流。
502,将原视频流和处理视频流转换为YUV格式。
503,从原视频流中逐帧提取视频帧,获得原图像,以及从处理视频流中逐帧提取处理视频帧,获得处理图像。
图6本公开实施例提供的一种原图像和压缩处理后的处理图像。其中,(a)为本公开实施例提供的一种原图像,(b)为本公开实施例将原图像压缩处理后的处理图像。原图像和处理图像均无缩放,人眼观察两幅图像的差别不大。
在一些实施例中,逐帧提取视频流中的视频帧,然后逐帧进行后续步骤,以评估处理视频的质量。例如,从视频流中提取的原图像和处理图像的的分辨率为M×N。
504,将原图像和处理图像分别分割为多个原图像块和处理图像块。
在一些实施例中,将原图像和处理图像分别分割为m×n块图像块,获得m×n块原图像块和处理图像块。另外,原图像和处理图像通过直方图分割、灰度阈值分割、区域分割或边缘分割方式被分割为多块原图像块和处理图像块。
在一些实施例中,通过直方图分割方式分割原图像和处理图像分割为3×4块图像块。
505,从原图像块和处理图像块中分离出各自的y/u/v通道参数。
由于步骤502中将视频流转换为YUV格式,因此获得的原图像块和处理图像块也为YUV格式,从原图像块中可以分离出原图像块的y/u/v通道参数,同样,从处理图像块中可以分离出处理图像块的y/u/v通道参数。
506,根据y/u/v通道参数计算均方误差和平方误差和。
根据原图像块的y/u/v通道参数和处理图像块的y/u/v通道参数计算原图像块的均方误差以及平方误差和,即获得不同区域的均方误差和平方误差和。
需要说明的是,利用y/u/v通道参数算均方误差和平方误差和的方法可以采用目前已有的计算方法相同,在此不再赘述。
507,根据均方误差和平方误差和计算峰值信噪比,获得峰值信噪比矩阵。
利用不同区域的均方误差和平方误差和计算对应区域的峰值信噪比。例如,根据3×4的图像块获得的12个峰值信噪比,然后按照图像块的顺序获得3×4的峰值信噪比矩阵。
其中,计算峰值信噪比的方法可以采用目前已有的方法计算,在此不再赘述。
508,将峰值信噪比矩阵转化为灰度值矩阵。
其中,灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括:将峰值信噪比转换为8进制矩阵,即利用8进制的PSNRkj表示像素块的峰值信噪比,然后将8阶灰度图中的灰度值与PSNRkj对应,从而得到图像的灰度矩阵。
509,将灰度值矩阵可视化,获得灰度图像。
将处理图像根据灰度值可视化,获得灰度图像,以使人眼直观地了解处理图像的质量。
510,根据灰度图像对处理图像的质量进行评估。
通过人员观看灰度图像对处理后的图像的质量进行评估。
图7为本公开实施例图像处理前后的峰值信噪比的灰度图,其中,(a)为本公开实施例将图像分割为1×1的图像块时图像处理前后的峰值信噪比的灰度图,(b)为本公开实施例将图像分割为2×2的图像块时图像处理前后的峰值信噪比的灰度图,(c)为本公开实施例将图像分割为8×8的图像块时图像处理前后的峰值信噪比的灰度图,(d)为本公开实施例将图像分割为16×16的图像块时图像处理前后的峰值信噪比的灰度图。从图7的图像可大致判断,天空的峰值信噪比最大,河流的峰值信噪比次之,岸边的房子的轮廓最复杂,峰值信噪比最小。
第二方面,本公开实施例提供一种视频质量评估装置。图8为本公开实施例提供的一种视频质量评估装置的原理框图。参照图8,视频质量评估装置包括:
分割模块801,用于将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中,处理图像为原图像经处理后得到的图像,而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时,原图像可以来自于视频流,即从视频流逐帧提取视频帧图像,获得原图像。类似地,处理图像来自于处理视频流,即从处理视频流逐帧提取视频帧图像,获得处理图像。
在一些实施例中,分割模块801通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将原图像和处理图像分别分割为多个原图像块和处理图像块。
峰值信噪比计算模块802,用于计算原图像块和对应的处理图像块的峰值信噪比,获得峰值信噪比矩阵。
矩阵转化模块803,用于将峰值信噪比矩阵转化为灰度值矩阵。
其中,灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的步骤包括:将峰值信噪比转换为8进制矩阵,即利用8进制的PSNRkj表示像素块的峰值信噪比,然后将8阶灰度图中的灰度值与PSNRkj对应,从而得到图像的灰度矩阵。
评估模块804,用于依据灰度值矩阵对处理图像进行评估。
在一些实施例中,如图9所示,视频质量评估装置包括获取模块901、视频处理模块902、格式转换模块903、图像提取模块904、分割模块905、峰值信噪比计算模块906、矩阵转化模块907、评估模块908,其中,
获取模块901,用于获得原视频流。
视频处理模块902,用于对原视频流进行处理,获得处理视频流。在一些实施例中,视频处理模块902对原视频进行压缩处理,获得处理视频流。
格式转换模块903,用于将原视频流转换为YUV格式,以及将处理视频流转换为YUV格式。
图像提取模块904,用于从原视频流中逐帧提取视频帧,获得原图像,以及从处理视频流中逐帧提取处理视频帧,获得处理图像。
其中,分割模块905、峰值信噪比计算模块906、矩阵转化模块907、评估模块908与分割模块801、峰值信噪比计算模块802、矩阵转化模块803、评估模块804的功能和作用相同,在此不再赘述。
在一些实施例中,评估模块还进一步包括:可视化单元,用于将灰度值矩阵可视化。
其中,可视化单元将处理图像根据灰度值可视化,获得灰度图像,以使人眼直观地观察处理图像的质量。
在本实施例中,可视化单元将灰度值矩阵可视化后,可以量化展示各个图像块的峰值信噪比的动态变化,人眼可以直观地观察各图像块的质量,从而提升客观评估的准确度。
在一些实施例中,如图10所示,峰值信噪比计算模块包括:
参数分离单元1001,用于从原图像块和处理图像块中分离出各自的y/u/v通道参数,即,参数分离单元1001从原图像块中可以分离出原图像块的y/u/v通道参数,同样,从处理图像块中可以分离出处理图像块的y/u/v通道参数。
误差计算单元1002,用于根据y/u/v通道参数计算均方误差和平方误差和。具体地,误差计算单元1002根据原图像块的y/u/v通道参数和处理图像块的y/u/v通道参数计算原图像块的均方误差以及平方误差和,即获得不同区域的均方误差和平方误差和。
峰值信噪比计算单元1003,用于根据均方误差和平方误差获得峰值信噪比。
本公开实施例提供的视频质量评估装置,通过分割模块对图像分割,由峰值信噪比计算模块对分割后的图像块获得峰值信噪比矩阵,矩阵转化模块将峰值信噪比矩阵转化为灰度值矩阵,评估模块依据灰度值矩阵对处理图像的质量进行评估,不仅能准确地评估图像质量,提高质量评估的准确性,而且不需要人工参与评估,缩短了评估周期,控制了评估成本。
第三方面,参照图11,本公开实施例提供一种电子设备,其包括:
一个或多个处理器1101;
存储器1102,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任意一项的应用程序的分享方法;
一个或多个I/O接口1103,连接在处理器与存储器之间,配置为实现处理器与存储器的信息交互。
其中,处理器1101为具有数据处理能力的器件,其包括但不限于中央处理器(CPU)等;存储器1102为具有数据存储能力的器件,其包括但不限于随机存取存储器(RAM,更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH);I/O接口(读写接口)1103连接在处理器1101与存储器1102间,能实现处理器1101与存储器502的信息交互,其包括但不限于数据总线(Bus)等。
在一些实施例中,处理器1101、存储器1102和I/O接口1103通过总线相互连接,进而与计算设备的其它组件连接。
第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现上述任意一种应用程序的分享方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。
Claims (8)
1.一种视频质量评估方法,其包括:
将原图像和处理图像分别分割为多个原图像块和处理图像块;其中,所述处理图像为所述原图像经压缩处理后得到的图像;
计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵;
将所述峰值信噪比矩阵转化为灰度值矩阵;
依据所述灰度值矩阵对所述处理图像的质量进行评估;
所述将原图像和处理图像分别分割为多个原图像块和处理图像块之前,还包括:
获得原视频流;
将所述原视频流转换为YUV格式;从所述原视频流中逐帧提取视频帧,获得原图像;
对所述原视频流进行处理,获得处理视频流;
将所述处理视频流转换为YUV格式;
从所述处理视频流中逐帧提取处理视频帧,获得处理图像;
所述计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵包括:
从所述原图像块和处理图像块中分离出各自的y/u/v通道参数;
根据所述y/u/v通道参数计算均方误差和平方误差和;
根据所述均方误差和平方误差和获得所述峰值信噪比。
2.根据权利要求1所述的方法,其中,通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
3.根据权利要求1所述的方法,其中,所述依据所述灰度值矩阵对所述处理图像的质量进行评估,包括:
将所述灰度值矩阵可视化,获得灰度图像;
依据所述灰度图像对所述处理图像的质量进行评估。
4.一种视频质量评估装置,其包括:
分割模块,用于将原图像和处理图像分别分割为多个原图像块和处理图像块;其中,所述处理图像为所述原图像经处理后得到的图像;
峰值信噪比计算模块,用于计算所述原图像块和对应的所述处理图像块的峰值信噪比,获得峰值信噪比矩阵;
矩阵转化模块,用于将所述峰值信噪比矩阵转化为灰度值矩阵;
评估模块,用于依据所述灰度值矩阵对所述处理图像进行评估;
获取模块,用于获得原视频流;
视频处理模块,用于对所述原视频流进行处理,获得处理视频流;
格式转换模块,用于将所述原视频流转换为YUV格式,以及将所述处理视频流转换为YUV格式;
图像提取模块,用于从所述原视频流中逐帧提取视频帧,获得原图像,以及从所述处理视频流中逐帧提取处理视频帧,获得处理图像;
所述峰值信噪比计算模块包括:
参数分离单元,用于从所述原图像块和处理图像块中分离出各自的y/u/v通道参数;
误差计算单元,用于根据所述y/u/v通道参数计算均方误差和平方误差和;
峰值信噪比计算单元,用于根据所述均方误差和平方误差获得所述峰值信噪比。
5.根据权利要求4所述的装置,其中,所述分割模块通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
6.根据权利要求4所述的装置,其中,所述装置还包括:
可视化模块,用于将所述灰度值矩阵可视化。
7.一种电子设备,其包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据权利要求1-3任意一项所述的方法;
一个或多个I/O接口,连接在所述处理器与存储器之间,配置为实现所述处理器与存储器的信息交互。
8.一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现根据权利要求1-3任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010112646.4A CN111311584B (zh) | 2020-02-24 | 2020-02-24 | 视频质量评估方法及装置、电子设备、可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010112646.4A CN111311584B (zh) | 2020-02-24 | 2020-02-24 | 视频质量评估方法及装置、电子设备、可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311584A CN111311584A (zh) | 2020-06-19 |
CN111311584B true CN111311584B (zh) | 2023-06-23 |
Family
ID=71154795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010112646.4A Active CN111311584B (zh) | 2020-02-24 | 2020-02-24 | 视频质量评估方法及装置、电子设备、可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311584B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112729554B (zh) * | 2020-12-18 | 2022-07-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种应用于线列探测器的自判别变频抽样多采样方法 |
CN113709453B (zh) * | 2021-09-13 | 2023-09-08 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102202227A (zh) * | 2011-06-21 | 2011-09-28 | 珠海世纪鼎利通信科技股份有限公司 | 一种无参考视频质量客观评估方法 |
CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
CN105163106A (zh) * | 2015-07-22 | 2015-12-16 | 天津科技大学 | 一种多重数据处理的视频质量评价系统 |
CN107948649A (zh) * | 2016-10-12 | 2018-04-20 | 北京金山云网络技术有限公司 | 一种基于主观质量模型的视频编码方法及装置 |
CN110312124A (zh) * | 2019-07-31 | 2019-10-08 | 中国矿业大学 | 一种基于显著性多特征融合的移动巡检视频质量修正方法 |
CN110752968A (zh) * | 2019-10-16 | 2020-02-04 | 北京百度网讯科技有限公司 | 性能基准测试方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8395666B1 (en) * | 2011-09-04 | 2013-03-12 | Videoq, Inc. | Automated measurement of video quality parameters |
US8780210B1 (en) * | 2013-02-01 | 2014-07-15 | Videoq, Inc. | Video quality analyzer |
CN104010189B (zh) * | 2014-05-28 | 2015-11-04 | 宁波大学 | 一种基于色度共生矩阵加权的视频质量客观评价方法 |
CN105118053B (zh) * | 2015-08-06 | 2018-02-23 | 浙江科技学院 | 一种基于压缩感知的全参考图像质量客观评价方法 |
CN110248189B (zh) * | 2019-06-14 | 2021-07-27 | 北京字节跳动网络技术有限公司 | 一种视频质量预测方法、装置、介质和电子设备 |
CN110505472B (zh) * | 2019-07-15 | 2021-01-15 | 武汉大学 | 一种h.265超高清视频质量评价方法 |
-
2020
- 2020-02-24 CN CN202010112646.4A patent/CN111311584B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102202227A (zh) * | 2011-06-21 | 2011-09-28 | 珠海世纪鼎利通信科技股份有限公司 | 一种无参考视频质量客观评估方法 |
CN105100789A (zh) * | 2015-07-22 | 2015-11-25 | 天津科技大学 | 一种视频质量评价方法 |
CN105163106A (zh) * | 2015-07-22 | 2015-12-16 | 天津科技大学 | 一种多重数据处理的视频质量评价系统 |
CN107948649A (zh) * | 2016-10-12 | 2018-04-20 | 北京金山云网络技术有限公司 | 一种基于主观质量模型的视频编码方法及装置 |
CN110312124A (zh) * | 2019-07-31 | 2019-10-08 | 中国矿业大学 | 一种基于显著性多特征融合的移动巡检视频质量修正方法 |
CN110752968A (zh) * | 2019-10-16 | 2020-02-04 | 北京百度网讯科技有限公司 | 性能基准测试方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111311584A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
CN107483920B (zh) | 一种基于多层级质量因子的全景视频评估方法及系统 | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
CN103152600A (zh) | 一种立体视频质量评价方法 | |
US11310475B2 (en) | Video quality determination system and method | |
CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
CN111311584B (zh) | 视频质量评估方法及装置、电子设备、可读介质 | |
Zhou et al. | Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks | |
CN111369548A (zh) | 一种基于生成对抗网络的无参考视频质量评价方法及装置 | |
US20220067417A1 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
CN108513132B (zh) | 一种视频质量评价方法及装置 | |
CN113743378B (zh) | 一种基于视频的火情监测方法和装置 | |
Nezhivleva et al. | Comparing of Modern Methods Used to Assess the Quality of Video Sequences During Signal Streaming with and Without Human Perception | |
US10096116B2 (en) | Method and apparatus for segmentation of 3D image data | |
Chu et al. | Saliency structure stereoscopic image quality assessment method | |
CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
CN112634278B (zh) | 基于超像素的恰可察觉失真方法 | |
CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
Gao et al. | Spatio-temporal salience based video quality assessment | |
CN113038129A (zh) | 一种用于机器学习的数据样本获取的方法及设备 | |
Wang et al. | Spatio-temporal ssim index for video quality assessment | |
CN115278189A (zh) | 图像色调映射方法及装置、计算机可读介质和电子设备 | |
CN112581461A (zh) | 基于生成网络的无参考图像质量评价方法及装置 | |
KR20110087859A (ko) | 양자화 계수 조절 방법, 장치 및 컴퓨터 판독가능 매체 | |
Bondzulic et al. | Gradient-based image quality assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |