CN111311584A - 视频质量评估方法及装置、电子设备、可读介质 - Google Patents

视频质量评估方法及装置、电子设备、可读介质 Download PDF

Info

Publication number
CN111311584A
CN111311584A CN202010112646.4A CN202010112646A CN111311584A CN 111311584 A CN111311584 A CN 111311584A CN 202010112646 A CN202010112646 A CN 202010112646A CN 111311584 A CN111311584 A CN 111311584A
Authority
CN
China
Prior art keywords
image
processed
noise ratio
original
peak signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010112646.4A
Other languages
English (en)
Other versions
CN111311584B (zh
Inventor
王伟
刘一卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010112646.4A priority Critical patent/CN111311584B/zh
Publication of CN111311584A publication Critical patent/CN111311584A/zh
Application granted granted Critical
Publication of CN111311584B publication Critical patent/CN111311584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种视频质量评估方法，其包括：将原图像和处理图像分别分割为多个原图像块和处理图像块；其中，所述处理图像为所述原图像经压缩处理后得到的图像；计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵；将所述峰值信噪比矩阵转化为灰度值矩阵；依据所述灰度值矩阵对所述处理图像的质量进行评估。该视频质量评估方法不仅能提高质量评估的准确性，而且缩短了评估周期，降低了评估成本。本公开还提供了一种视频质量评估装置、电子设备及可读介质。

Description

视频质量评估方法及装置、电子设备、可读介质
技术领域
本公开实施例涉及视频处理技术领域，特别涉及一种视频质量评估方法及装置、电子设备、计算机可读介质。
背景技术
近年来，随着互联网技术的快速发展，视频用户呈现爆发式增长，视频类应用程序(Application，简称APP)层出不穷。如何对视频质量进行评价，以提升用户的观看体验成为视频行业从业人员的重点关注。
视频质量评估包括主观评价和客观评价。其中，主观评价是通过人眼观察分析视频的质量，这种方法需要耗费大量的人力资源和时间成本，而且，随着视频量的增加，越来越无法满足实际需求。
客观评价是通过计算机模拟人眼视觉系统来建模研究视频质量。峰值信噪比(Peak Signal to Noise Ratio，简称PSNR)、结构相似度(structural similarity index，简称SSIM)、均方误差(Mean-Squared Error，简称MSE)等是客观评价方法主要指标。其中，PSNR是基于对应像素点间的误差，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等)，因而经常出现评价结果与人的主观感觉不一致的情况。
而且，不同场景下其值与实际主管感受相差较大，无法对视频的体验质量(Quality of Experience，简称QoE)做出准确地评估。另外，对于窄带高清、动态码率(VBR)等新兴技术，由于这些新兴技术会对码率、图像区域分辨率会做一定的调整，图像上不同区域视频体验质量(QoE)存在波动，导致视频帧整帧的评估方法无法精确地判定视频质量。
公开内容
本公开实施例提供一种视频质量评估方法及装置、电子设备、计算机可读介质。
第一方面，本公开实施例提供一种视频质量评估方法，其包括：
将原图像和处理图像分别分割为多个原图像块和处理图像块；其中，所述处理图像为所述原图像经压缩处理后得到的图像；
计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵；
将所述峰值信噪比矩阵转化为灰度值矩阵；
依据所述灰度值矩阵对所述处理图像的质量进行评估。
在一些实施例中，通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
在一些实施例中，所述将原图像和处理图像分别分割为多个原图像块和处理图像块之前，还包括：
获得原视频流；
从所述原视频流中逐帧提取视频帧，获得原图像；
对所述原视频流进行处理，获得处理视频流；
从所述处理视频流中逐帧提取处理视频帧，获得处理图像。
在一些实施例中，从所述原视频流中逐帧提取视频帧之前，将所述原视频流转换为YUV格式；
从所述处理视频流中逐帧提取处理视频帧之前，将所述处理视频流转换为YUV格式。
在一些实施例中，所述计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵包括：
从所述原图像块和处理图像块中分离出各自的y/u/v通道参数；
根据所述y/u/v通道参数计算均方误差和平方误差和；
根据所述均方误差和平方误差和获得所述峰值信噪比。
在一些实施例中，所述依据所述灰度值矩阵对所述处理图像的质量进行评估，包括：
将所述灰度值矩阵可视化，获得灰度图像；
依据所述灰度图像对所述处理图像的质量进行评估。
第二方面，本公开实施例提供一种视频质量评估装置，其包括：
分割模块，用于将原图像和处理图像分别分割为多个原图像块和处理图像块；其中，所述处理图像为所述原图像经处理后得到的图像；
峰值信噪比计算模块，用于计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵；
矩阵转化模块，用于将所述峰值信噪比矩阵转化为灰度值矩阵；
评估模块，用于依据所述灰度值矩阵对所述处理图像进行评估。
在一些实施例中，所述分割模块通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
在一些实施例中，所述模块还包括：
获取模块，用于获得原视频流；
视频处理模块，用于对所述原视频流进行处理，获得处理视频流；
图像提取模块，用于从所述原视频流中逐帧提取视频帧，获得原图像，以及从所述处理视频流中逐帧提取处理视频帧，获得处理图像。
在一些实施例中，所述模块还包括：
格式转换模块，用于将所述原视频流转换为YUV格式，以及将所述处理视频流转换为YUV格式。
在一些实施例中，所述峰值信噪比计算模块包括：
参数分离单元，用于从所述原图像块和处理图像块中分离出各自的y/u/v通道参数；
误差计算单元，用于根据所述y/u/v通道参数计算均方误差和平方误差和；
峰值信噪比计算单元，用于根据所述均方误差和平方误差获得所述峰值信噪比。
在一些实施例中，所述装置还包括：
可视化模块，用于将所述灰度值矩阵可视化。
第三方面，本公开实施例提供一种电子设备，其包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器上述任意一种视频质量评估方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一种视频质量评估方法。
本公开实施例提供的视频质量评估方法对图像分割，再对分割后的图像块获得峰值信噪比矩阵，在将峰值信噪比矩阵转化为灰度值矩阵，最后依据灰度值矩阵对处理图像的质量进行评估，不仅能准确地评估图像质量，提高质量评估的准确性，而且不需要人工参与评估，缩短了评估周期，控制了评估成本。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种视频质量评估方法的流程图；
图2为本公开实施例中分割原图像和处理图像的示意图；
图3为本公开实施例中8阶灰度图的示意图；
图4为本公开实施例提供的一种视频质量评估方法的流程图；
图5为本公开实施例提供的一种视频质量评估方法的流程图；
图6本公开实施例提供的一种原图像和压缩处理后的处理图像；
图7为本公开实施例图像处理前后的峰值信噪比的灰度图；
图8为本公开实施例提供的一种视频质量评估装置的原理框图；
图9为本公开实施例提供的一种视频质量评估装置的原理框图；
图10为本公开实施例提供的一种峰值信噪比计算模块的原理框图；
图11本公开实施例提供的一种电子设备的原理框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的视频质量评估方法及装置、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
本公开实施例主要针对窄带高清、动态码率(VBR)等新兴技术，由于这些新技术可对码率、图像区域分辨率进行一定程度的调整，因此。图像上不同区域视频体验质量(QoE)存在波动，但这种波动并不影响人眼的主管感受。例如，在一幅视频帧图像中存在河流、岸边的房子和天空，人眼对图像中河流和岸边的房子的关注度高，对天空的关注度较低，因此，即使对天空区域的像素采用较大程度的压缩，也不会影响人眼对图像整体的主管感受。如果仍然采用视频帧整帧评估视频质量，容易导致评价不准确。
第一方面，本公开实施例提供一种视频质量评估方法。图1为本公开实施例的视频质量评估方法的流程图。参照图1，视频质量评估方法包括：
101，将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中，处理图像为原图像经处理后得到的图像，而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时，原图像可以来自于视频流，即从视频流逐帧提取视频帧图像，获得原图像。类似地，处理图像来自于处理视频流，即从处理视频流逐帧提取视频帧图像，获得处理图像。
在一些实施例中，将原图像和处理图像分别分割为m×n块图像块，获得m×n块原图像块和处理图像块。另外，原图像和处理图像通过直方图分割、灰度阈值分割、区域分割或边缘分割方式被分割为多块原图像块和处理图像块。
图2为本公开实施例通过直方图分割方式分割原图像和处理图像的示意图。如图2所示，原图像被分割为3×4块图像块，即原图像被分割为12块原图像块，类似地，处理图像被分割为3×4块图像块，即处理图像被分割为12块处理图像块。
102，计算原图像块和对应的处理图像块的峰值信噪比，获得峰值信噪比矩阵。
计算每块原图像块和对应的处理图像块的峰值信噪比，峰值信噪比可以通过公式(1)计算。
Figure BDA0002390557540000061
在公式(1)中，MSE为原图像和处理图像之间的均方误差，n为图像中每个像素的采样值的比特数。
一般而言，PSNR值越大，表示原图像和处理图像的差异性越小，图像的失真也越小。由于人眼对图像中不同区域的关注度不同，对于不同区域处理前后的差异，感知度也不同。例如，在图2所示图像中，由于人眼对河流和岸边的房子的关注度较高，对天空的关注度较低，因此，即使对天空区域进行较大的压缩处理，对河流和岸边的房子区域进行较小的压缩处理，人眼不会因天空区域的较大压缩而感知图像整体视觉质量的下降。
利用每块图像块的峰值信噪比获得峰值信噪比矩阵，如公式(2)
Figure BDA0002390557540000071
在公式(2)中，j表示水平方向上图像块的数量，k表示竖直方向上图像块的数量。
当图像被分割为m×n，且m＝n＝1，即图像块为像素点时，j和k与被分割的图像的分辨率对应。即，如果被分割的图像的分辨率为M×N，那么，当图像块为像素点时，j＝M，k＝N。
103，将峰值信噪比矩阵转化为灰度值矩阵。
其中，灰度值矩阵采用8阶灰度图中的灰度值表示。图3为本公开实施例中8阶灰度图的示意图。如图3所示，灰度图由8阶灰度表示，每阶灰度对应一个灰度值。
将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括：将峰值信噪比转换为8进制矩阵，即利用8进制的PSNRkj表示像素块的峰值信噪比，然后将8阶灰度图中的灰度值与PSNRkj对应，从而得到图像的灰度矩阵。
104，依据灰度值矩阵对处理图像的质量进行评估。
利用灰度值矩阵对处理图像的质量进行评估，从而获得处理图像的质量。
当对原视频流和处理视频流逐帧提取获得原图像块和处理图像块，并依据步骤101至步骤104对处理视频流逐帧判断，获得视频时长t内的PSNR的灰度变化情况，从而完成对处理视频的质量评估。
本公开实施例提供的视频质量评估方法对图像分割，再对分割后的图像块获得峰值信噪比矩阵，在将峰值信噪比矩阵转化为灰度值矩阵，最后依据灰度值矩阵对处理图像的质量进行评估，不仅能准确地评估图像质量，提高质量评估的准确性，而且不需要人工参与评估，缩短了评估周期，控制了评估成本。
图4为本公开实施例提供的一种视频质量评估方法的流程图。如图4所示，视频质量评估方法包括：
401，将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中，处理图像为原图像经处理后得到的图像，而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时，原图像可以来自于视频流，即从视频流逐帧提取视频帧图像，获得原图像。类似地，处理图像来自于处理视频流，即从处理视频流逐帧提取视频帧图像，获得处理图像。
步骤401的更详细内容参见步骤101，在此不再赘述。
402，计算原图像块和对应的处理图像块的峰值信噪比，获得峰值信噪比矩阵。
峰值信噪比的计算方法以及峰值信噪比矩阵的获得方式参见步骤102，在此不再赘述。
403，将峰值信噪比矩阵转化为灰度值矩阵。
其中，灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括：将峰值信噪比转换为8进制矩阵，即利用8进制的PSNRkj表示像素块的峰值信噪比，然后将8阶灰度图中的灰度值与PSNRkj对应，从而得到图像的灰度矩阵。
峰值信噪比矩阵转化为灰度值矩阵的更具体方式与步骤103相同，在此不再赘述。
404，将灰度值矩阵可视化，获得灰度图像。
将处理图像根据灰度值可视化，获得灰度图像，以使人眼直观地观察处理图像的质量。
405，根据灰度图像对处理图像的质量进行评估。
通过人员观看灰度图像对处理后的图像的质量进行评估。
在本实施例中，将灰度值矩阵可视化后，可以量化展示各个图像块的峰值信噪比的动态变化，人眼可以直观地观察各图像块的质量，从而提升客观评估的准确度。
图5为本公开实施例提供的一种视频质量评估方法的流程图。如图5所示，视频质量评估方法包括：
501，获得原视频流和处理视频流。
其中，处理视频流是原视频流经压缩处理后获得的视频流。
502，将原视频流和处理视频流转换为YUV格式。
503，从原视频流中逐帧提取视频帧，获得原图像，以及从处理视频流中逐帧提取处理视频帧，获得处理图像。
图6本公开实施例提供的一种原图像和压缩处理后的处理图像。其中，(a)为本公开实施例提供的一种原图像，(b)为本公开实施例将原图像压缩处理后的处理图像。原图像和处理图像均无缩放，人眼观察两幅图像的差别不大。
在一些实施例中，逐帧提取视频流中的视频帧，然后逐帧进行后续步骤，以评估处理视频的质量。例如，从视频流中提取的原图像和处理图像的的分辨率为M×N。
504，将原图像和处理图像分别分割为多个原图像块和处理图像块。
在一些实施例中，将原图像和处理图像分别分割为m×n块图像块，获得m×n块原图像块和处理图像块。另外，原图像和处理图像通过直方图分割、灰度阈值分割、区域分割或边缘分割方式被分割为多块原图像块和处理图像块。
在一些实施例中，通过直方图分割方式分割原图像和处理图像分割为3×4块图像块。
505，从原图像块和处理图像块中分离出各自的y/u/v通道参数。
由于步骤502中将视频流转换为YUV格式，因此获得的原图像块和处理图像块也为YUV格式，从原图像块中可以分离出原图像块的y/u/v通道参数，同样，从处理图像块中可以分离出处理图像块的y/u/v通道参数。
506，根据y/u/v通道参数计算均方误差和平方误差和。
根据原图像块的y/u/v通道参数和处理图像块的y/u/v通道参数计算原图像块的均方误差以及平方误差和，即获得不同区域的均方误差和平方误差和。
需要说明的是，利用y/u/v通道参数算均方误差和平方误差和的方法可以采用目前已有的计算方法相同，在此不再赘述。
507，根据均方误差和平方误差和计算峰值信噪比，获得峰值信噪比矩阵。
利用不同区域的均方误差和平方误差和计算对应区域的峰值信噪比。例如，根据3×4的图像块获得的12个峰值信噪比，然后按照图像块的顺序获得3×4的峰值信噪比矩阵。
其中，计算峰值信噪比的方法可以采用目前已有的方法计算，在此不再赘述。
508，将峰值信噪比矩阵转化为灰度值矩阵。
其中，灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的具体过程包括：将峰值信噪比转换为8进制矩阵，即利用8进制的PSNRkj表示像素块的峰值信噪比，然后将8阶灰度图中的灰度值与PSNRkj对应，从而得到图像的灰度矩阵。
509，将灰度值矩阵可视化，获得灰度图像。
将处理图像根据灰度值可视化，获得灰度图像，以使人眼直观地了解处理图像的质量。
510，根据灰度图像对处理图像的质量进行评估。
通过人员观看灰度图像对处理后的图像的质量进行评估。
图7为本公开实施例图像处理前后的峰值信噪比的灰度图，其中，(a)为本公开实施例将图像分割为1×1的图像块时图像处理前后的峰值信噪比的灰度图，(b)为本公开实施例将图像分割为2×2的图像块时图像处理前后的峰值信噪比的灰度图，(c)为本公开实施例将图像分割为8×8的图像块时图像处理前后的峰值信噪比的灰度图，(d)为本公开实施例将图像分割为16×16的图像块时图像处理前后的峰值信噪比的灰度图。从图7的图像可大致判断，天空的峰值信噪比最大，河流的峰值信噪比次之，岸边的房子的轮廓最复杂，峰值信噪比最小。
第二方面，本公开实施例提供一种视频质量评估装置。图8为本公开实施例提供的一种视频质量评估装置的原理框图。参照图8，视频质量评估装置包括：
分割模块801，用于将原图像和处理图像分别分割为多个原图像块和处理图像块。
其中，处理图像为原图像经处理后得到的图像，而且处理图像是对原图像压缩处理后的图像。
当对视频质量进行评估时，原图像可以来自于视频流，即从视频流逐帧提取视频帧图像，获得原图像。类似地，处理图像来自于处理视频流，即从处理视频流逐帧提取视频帧图像，获得处理图像。
在一些实施例中，分割模块801通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将原图像和处理图像分别分割为多个原图像块和处理图像块。
峰值信噪比计算模块802，用于计算原图像块和对应的处理图像块的峰值信噪比，获得峰值信噪比矩阵。
矩阵转化模块803，用于将峰值信噪比矩阵转化为灰度值矩阵。
其中，灰度值矩阵采用8阶灰度图中的灰度值表示。将峰值信噪比矩阵转化为灰度值矩阵的步骤包括：将峰值信噪比转换为8进制矩阵，即利用8进制的PSNRkj表示像素块的峰值信噪比，然后将8阶灰度图中的灰度值与PSNRkj对应，从而得到图像的灰度矩阵。
评估模块804，用于依据灰度值矩阵对处理图像进行评估。
在一些实施例中，如图9所示，视频质量评估装置包括获取模块901、视频处理模块902、格式转换模块903、图像提取模块904、分割模块905、峰值信噪比计算模块906、矩阵转化模块907、评估模块908，其中，
获取模块901，用于获得原视频流。
视频处理模块902，用于对原视频流进行处理，获得处理视频流。在一些实施例中，视频处理模块902对原视频进行压缩处理，获得处理视频流。
格式转换模块903，用于将原视频流转换为YUV格式，以及将处理视频流转换为YUV格式。
图像提取模块904，用于从原视频流中逐帧提取视频帧，获得原图像，以及从处理视频流中逐帧提取处理视频帧，获得处理图像。
其中，分割模块905、峰值信噪比计算模块906、矩阵转化模块907、评估模块908与分割模块801、峰值信噪比计算模块802、矩阵转化模块803、评估模块804的功能和作用相同，在此不再赘述。
在一些实施例中，评估模块还进一步包括：可视化单元，用于将灰度值矩阵可视化。
其中，可视化单元将处理图像根据灰度值可视化，获得灰度图像，以使人眼直观地观察处理图像的质量。
在本实施例中，可视化单元将灰度值矩阵可视化后，可以量化展示各个图像块的峰值信噪比的动态变化，人眼可以直观地观察各图像块的质量，从而提升客观评估的准确度。
在一些实施例中，如图10所示，峰值信噪比计算模块包括：
参数分离单元1001，用于从原图像块和处理图像块中分离出各自的y/u/v通道参数，即，参数分离单元1001从原图像块中可以分离出原图像块的y/u/v通道参数，同样，从处理图像块中可以分离出处理图像块的y/u/v通道参数。
误差计算单元1002，用于根据y/u/v通道参数计算均方误差和平方误差和。具体地，误差计算单元1002根据原图像块的y/u/v通道参数和处理图像块的y/u/v通道参数计算原图像块的均方误差以及平方误差和，即获得不同区域的均方误差和平方误差和。
峰值信噪比计算单元1003，用于根据均方误差和平方误差获得峰值信噪比。
本公开实施例提供的视频质量评估装置，通过分割模块对图像分割，由峰值信噪比计算模块对分割后的图像块获得峰值信噪比矩阵，矩阵转化模块将峰值信噪比矩阵转化为灰度值矩阵，评估模块依据灰度值矩阵对处理图像的质量进行评估，不仅能准确地评估图像质量，提高质量评估的准确性，而且不需要人工参与评估，缩短了评估周期，控制了评估成本。
第三方面，参照图11，本公开实施例提供一种电子设备，其包括：
一个或多个处理器1101；
存储器1102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的应用程序的分享方法；
一个或多个I/O接口1103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器1101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器1102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)1103连接在处理器1101与存储器1102间，能实现处理器1101与存储器502的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器1101、存储器1102和I/O接口1103通过总线相互连接，进而与计算设备的其它组件连接。
第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种应用程序的分享方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (14)

1.一种视频质量评估方法，其包括：
将原图像和处理图像分别分割为多个原图像块和处理图像块；其中，所述处理图像为所述原图像经压缩处理后得到的图像；
计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵；
将所述峰值信噪比矩阵转化为灰度值矩阵；
依据所述灰度值矩阵对所述处理图像的质量进行评估。
2.根据权利要求1所述的方法，其中，通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
3.根据权利要求1或2所述的方法，其中，所述将原图像和处理图像分别分割为多个原图像块和处理图像块之前，还包括：
获得原视频流；
从所述原视频流中逐帧提取视频帧，获得原图像；
对所述原视频流进行处理，获得处理视频流；
从所述处理视频流中逐帧提取处理视频帧，获得处理图像。
4.根据权利要求3所述的方法，其中，从所述原视频流中逐帧提取视频帧之前，将所述原视频流转换为YUV格式；
从所述处理视频流中逐帧提取处理视频帧之前，将所述处理视频流转换为YUV格式。
5.根据权利要求4所述的方法，其中，所述计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵包括：
从所述原图像块和处理图像块中分离出各自的y/u/v通道参数；
根据所述y/u/v通道参数计算均方误差和平方误差和；
根据所述均方误差和平方误差和获得所述峰值信噪比。
6.根据权利要求1所述的方法，其中，所述依据所述灰度值矩阵对所述处理图像的质量进行评估，包括：
将所述灰度值矩阵可视化，获得灰度图像；
依据所述灰度图像对所述处理图像的质量进行评估。
7.一种视频质量评估装置，其包括：
分割模块，用于将原图像和处理图像分别分割为多个原图像块和处理图像块；其中，所述处理图像为所述原图像经处理后得到的图像；
峰值信噪比计算模块，用于计算所述原图像块和对应的所述处理图像块的峰值信噪比，获得峰值信噪比矩阵；
矩阵转化模块，用于将所述峰值信噪比矩阵转化为灰度值矩阵；
评估模块，用于依据所述灰度值矩阵对所述处理图像进行评估。
8.根据权利要求7所述的装置，其中，所述分割模块通过直方图分割、灰度阈值分割、区域分割或边缘分割方式将所述原图像和所述处理图像分别分割为多个所述原图像块和所述处理图像块。
9.根据权利要求7或8所述的装置，其中，所述模块还包括：
获取模块，用于获得原视频流；
视频处理模块，用于对所述原视频流进行处理，获得处理视频流；
图像提取模块，用于从所述原视频流中逐帧提取视频帧，获得原图像，以及从所述处理视频流中逐帧提取处理视频帧，获得处理图像。
10.根据权利要求9所述的装置，其中，所述模块还包括：
格式转换模块，用于将所述原视频流转换为YUV格式，以及将所述处理视频流转换为YUV格式。
11.根据权利要求10所述的装置，其中，所述峰值信噪比计算模块包括：
参数分离单元，用于从所述原图像块和处理图像块中分离出各自的y/u/v通道参数；
误差计算单元，用于根据所述y/u/v通道参数计算均方误差和平方误差和；
峰值信噪比计算单元，用于根据所述均方误差和平方误差获得所述峰值信噪比。
12.根据权利要求7所述的装置，其中，所述装置还包括：
可视化模块，用于将所述灰度值矩阵可视化。
13.一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-6任意一项所述的方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
14.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-6任意一项所述的方法。
CN202010112646.4A 2020-02-24 2020-02-24 视频质量评估方法及装置、电子设备、可读介质 Active CN111311584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112646.4A CN111311584B (zh) 2020-02-24 2020-02-24 视频质量评估方法及装置、电子设备、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112646.4A CN111311584B (zh) 2020-02-24 2020-02-24 视频质量评估方法及装置、电子设备、可读介质

Publications (2)

Publication Number Publication Date
CN111311584A true CN111311584A (zh) 2020-06-19
CN111311584B CN111311584B (zh) 2023-06-23

Family

ID=71154795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112646.4A Active CN111311584B (zh) 2020-02-24 2020-02-24 视频质量评估方法及装置、电子设备、可读介质

Country Status (1)

Country Link
CN (1) CN111311584B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112729554A (zh) * 2020-12-18 2021-04-30 中国航空工业集团公司洛阳电光设备研究所 一种应用于线列探测器的自判别变频抽样多采样方法
CN113709453A (zh) * 2021-09-13 2021-11-26 北京车和家信息技术有限公司 视频质量评估方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202227A (zh) * 2011-06-21 2011-09-28 珠海世纪鼎利通信科技股份有限公司 一种无参考视频质量客观评估方法
US20130057706A1 (en) * 2011-09-04 2013-03-07 Victor Steinberg Video quality analyzer
US20140218543A1 (en) * 2013-02-01 2014-08-07 Victor Steinberg Video quality analyzer
CN104010189A (zh) * 2014-05-28 2014-08-27 宁波大学 一种基于色度共生矩阵加权的视频质量客观评价方法
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105118053A (zh) * 2015-08-06 2015-12-02 浙江科技学院 一种基于压缩感知的全参考图像质量客观评价方法
CN105163106A (zh) * 2015-07-22 2015-12-16 天津科技大学 一种多重数据处理的视频质量评价系统
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN110248189A (zh) * 2019-06-14 2019-09-17 北京字节跳动网络技术有限公司 一种视频质量预测方法、装置和电子设备
CN110312124A (zh) * 2019-07-31 2019-10-08 中国矿业大学 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN110505472A (zh) * 2019-07-15 2019-11-26 武汉大学 一种h.265超高清视频质量评价方法
CN110752968A (zh) * 2019-10-16 2020-02-04 北京百度网讯科技有限公司 性能基准测试方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202227A (zh) * 2011-06-21 2011-09-28 珠海世纪鼎利通信科技股份有限公司 一种无参考视频质量客观评估方法
US20130057706A1 (en) * 2011-09-04 2013-03-07 Victor Steinberg Video quality analyzer
US20140218543A1 (en) * 2013-02-01 2014-08-07 Victor Steinberg Video quality analyzer
CN104010189A (zh) * 2014-05-28 2014-08-27 宁波大学 一种基于色度共生矩阵加权的视频质量客观评价方法
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105163106A (zh) * 2015-07-22 2015-12-16 天津科技大学 一种多重数据处理的视频质量评价系统
CN105118053A (zh) * 2015-08-06 2015-12-02 浙江科技学院 一种基于压缩感知的全参考图像质量客观评价方法
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN110248189A (zh) * 2019-06-14 2019-09-17 北京字节跳动网络技术有限公司 一种视频质量预测方法、装置和电子设备
CN110505472A (zh) * 2019-07-15 2019-11-26 武汉大学 一种h.265超高清视频质量评价方法
CN110312124A (zh) * 2019-07-31 2019-10-08 中国矿业大学 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN110752968A (zh) * 2019-10-16 2020-02-04 北京百度网讯科技有限公司 性能基准测试方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112729554A (zh) * 2020-12-18 2021-04-30 中国航空工业集团公司洛阳电光设备研究所 一种应用于线列探测器的自判别变频抽样多采样方法
CN113709453A (zh) * 2021-09-13 2021-11-26 北京车和家信息技术有限公司 视频质量评估方法、装置、设备及介质
CN113709453B (zh) * 2021-09-13 2023-09-08 北京车和家信息技术有限公司 视频质量评估方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111311584B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Min et al. A metric for light field reconstruction, compression, and display quality evaluation
Li et al. No-reference quality assessment of deblocked images
Ma et al. Objective quality assessment for color-to-gray image conversion
US20130336582A1 (en) Image processing apparatus, image processing method, and storage medium
CN105049838B (zh) 一种用于压缩立体视频质量的客观评价方法
CN108876756B (zh) 图像相似性的度量方法和装置
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN103152600A (zh) 一种立体视频质量评价方法
CN102572502B (zh) 一种用于视频质量评价的关键帧的选取方法
CN110505472A (zh) 一种h.265超高清视频质量评价方法
US11310475B2 (en) Video quality determination system and method
CN102036098B (zh) 一种基于视觉信息量差异的全参考型图像质量评价方法
CN111311584B (zh) 视频质量评估方法及装置、电子设备、可读介质
CN113743378B (zh) 一种基于视频的火情监测方法和装置
Nezhivleva et al. Comparing of Modern Methods Used to Assess the Quality of Video Sequences During Signal Streaming with and Without Human Perception
Liu et al. Recognizable or not: Towards image semantic quality assessment for compression
Lin et al. Recent advances and challenges of visual signal quality assessment
Narwaria et al. An objective method for high dynamic range source content selection
Nur Yilmaz A no reference depth perception assessment metric for 3D video
CN110251076B (zh) 融合视觉注意力基于对比度的显著性检测方法及装置
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
O’Byrne et al. Impact of video compression on the performance of object detection systems for surveillance applications
CN113038129A (zh) 一种用于机器学习的数据样本获取的方法及设备
CN108776958A (zh) 混合降质图像的图像质量评价方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant