CN110443800A - 视频图像质量的评价方法 - Google Patents

视频图像质量的评价方法 Download PDF

Info

Publication number
CN110443800A
CN110443800A CN201910780898.1A CN201910780898A CN110443800A CN 110443800 A CN110443800 A CN 110443800A CN 201910780898 A CN201910780898 A CN 201910780898A CN 110443800 A CN110443800 A CN 110443800A
Authority
CN
China
Prior art keywords
video image
brightness
coloration
vision
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910780898.1A
Other languages
English (en)
Other versions
CN110443800B (zh
Inventor
王妙辉
林家欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910780898.1A priority Critical patent/CN110443800B/zh
Publication of CN110443800A publication Critical patent/CN110443800A/zh
Application granted granted Critical
Publication of CN110443800B publication Critical patent/CN110443800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种视频图像质量的评价方法,包括:将待评价视频图像转换为Lab视频图像,Lab视频图像包括表示亮度的亮度分量、表示第一色度的第一色度分量以及表示第二色度的第二色度分量,第二色度与第一色度不同;基于亮度分量获得符合人眼视觉效果的亮度视觉显著视频图像;将亮度分量进行视频图像分割,获得亮度分割视频图像,基于亮度分割视频图像获得局部亮度变化视频图像;根据局部亮度变化视频图像和亮度视觉显著视频图像确定亮度相似度;根据亮度相似度计算待评价视频图像的评价分数。本方法计算复杂度低,所获得的评价结果与人眼视觉具有较高的一致性、同时具有较好的普适性和鲁棒性。

Description

视频图像质量的评价方法
技术领域
本公开大体涉及视频图像质量评价领域,具体涉及一种视频图像质量的评价方法。
背景技术
屏幕内容编码的标准化和多媒体通信技术的发展推动了众多基于屏幕内容视频图像的应用场景的拓展,如:卡通动画、远程桌面、在线教育等。在视频图像的获取、处理、传输和记录的过程中,由于成像系统、处理方法、传输介质和记录设备等不完善,加之物体运动、噪声污染、压缩等原因,不可避免地带来某些视频图像失真和降质,影响人眼的视觉感受。因此,针对视频图像(特别是屏幕内容视频图像)的视频图像质量评价越来越受到人们的重视。视频图像质量评价(Image Quality Assessment,IQA)是指通过使用一定的主观或客观方法对视频图像进行特性分析研究,然后评估出视频图像优劣(视频图像失真程度)。
目前,视频图像质量的评价方法根据是否有人参与可以分为主观评价和客观评价。主观评价是以人作为评价主题,对待评价视频图像进行观察并给出评价,希望由此能够真实地反映人的视觉感知效果;客观评价方法则借助于客观计算模型,给出基于数字计算的结果,并希望结果能够接近人眼的主观感知。由于视频图像的最终的接收者是人,所以主观质量评价相对客观质量评价更为准确,但是主观质量评价往往受评测者的知识水平、心理因素和评测环境的影响,实现起来较为困难,具有很大的局限性,因此视频图像的客观质量评价更具有使用价值。
客观质量评价可以根据对参考视频图像的依赖程度分为:全参考视频图像质量评价、半参考视频图像质量评价和无参考视频图像质量评价。全参考视频图像质量评价是在能得到参考视频图像的情况下,根据参考视频图像和失真视频图像之间的差异衡量来失真视频图像的质量。经典的全参考视频图像质量评价例如均方误差(MSE)方法和峰值信噪比(PSNR)方法。半参考视频图像是在只能得到部分参考视频图像的信息的情况下来衡量失真视频图像的质量。无参考视频图像质量评价是在只有失真视频图像的情况下来衡量其质量。虽然根据应用情况不同,这三种客观评价方法都有其研究的意义和价值,但在大部分实际应用场景中往往无法获取参考视频图像的信息。因此,无参考视频图像质量评价是能够适应更多场景下的视频图像质量的评价方法,其具有更高的实用价值与研究价值。
无参考视频图像质量评价中一类典型的方法是对自然场景的统计进行建模。该类方法基于的假设是自然场景的统计分布满足某些统计规律,当视频图像产生失真后,统计规律会发生改变。因此,可以通过衡量视频图像的统计规律变化程度来预测失真视频图像的质量。Moorthy等人在文章“Blind image quality assessment:From natural scenestatistics to perceptual quality,”IEEE Trans.ImageProcess.,vol.20,no.12,pp.3350–3364,Dec.2011中提出通过回归的统计规律参数偏差来判断视频图像的失真类型,然后对不同的失真类型使用不同的失真回归方案来估计视频图像质量。
无参考视频图像质量评价的另一类方法是基于机器学习的模型,这类方法通常使用卷积神经网络(CNN)和支持向量机(SVM)对视频图像特征和人眼主观分数建立训练模型,再进行训练得到模型来预测失真视频图像的质量分数。L.Kang等人在文章“Convolutionalneuralnetworks for no-reference image quality assessment,”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2014,pp.1733–1740中使用一个卷积层、一个池化层、和两个全连接层组成的CNN网络,对视频图像做对比度归一化然后分块采样,对每一个视频图像块评估其质量然后求平均得到最终视频图像的预测质量。Ghadiyaram等人在文章“Massive online crowdsourced studyof subjective andobjective picture quality,”IEEE Trans.Image Process.,vol.25,no.1,pp.372–387,Jan.2016中使用4层的贝叶斯网络对10种失真范围进行分类,然后用网络最后隐藏层上的特征输入SVR中得到失真视频图像的质量预测结果。
另外,在专利文献(公告号:CN108428232A)中,提供了一种卡通视频图像的盲评估方法,其通过计算卡通视频图像两种特征(边缘锐度特征和纹理特征)直方图,然后与1000幅高质量卡通视频图像对应特征的平均值直方图的距离获取卡通视频图像质量得分。
然而上述的几类无参考视频图像质量评价方法存在一定的局限性:例如基于机器学习的无参考视频图像质量评价方法还需要预知人眼主观分数数据,并不完全是一个客观的评价方法。另外,上述提及的卡通视频图像的盲评估方法虽然使用1000幅卡通视频图像的平均特征作为参照标准,然后计算两者间的距离作为最终的质量分数以进行视频图像质量的评价,但是由于卡通视频图像风格的多样特性,该方法的评价的结果准确度波动也较大。
发明内容
本公开是有鉴于上述的状况而提出的,其目的在于提供一种没有参考视频图像信息、计算复杂度低且所获得的评价结果与人眼视觉具有较高的一致性的视频图像质量的评价方法。
为此,本公开提供了一种视频图像质量的评价方法,其特征在于,包括:将待评价视频图像转换为Lab视频图像,所述Lab视频图像包括亮度分量、第一色度分量以及第二色度分量,所述第二色度分量与所述第一色度分量不同;将所述亮度分量进行视频图像分割,获得亮度分割视频图像,基于所述亮度分割视频图像获得局部亮度变化视频图像;基于所述亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像;根据所述局部亮度变化视频图像和所述亮度视觉显著视频图像确定亮度相似度;根据所述亮度相似度计算所述待评价视频图像的评价分数。
在本公开中,将卡通视频图像从RGB空间转换到Lab空间,由此,能够更符合人类的视觉感知。分割亮度分量获得亮度分割视频图像进而获得局部亮度变化视频图像,根据局部亮度变化视频图像和亮度视觉显著视频图像确定亮度相似度进而获得待评价视频图像的评价分数。基于亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像。由此,能够用于模拟人眼视觉特性,且能够在没有参考视频图像信息下,对待评价视频图像进行质量评估,使得所获得的评价结果与人眼视觉具有较高的一致性,同时具有较好的普适性和鲁棒性。
在本公开所涉及的视频图像质量的评价方法中,可选地,在将所述亮度分量进行所述视频图像分割之前,对所述亮度分量进行滤波处理,获得平滑亮度视频图像,对所述平滑亮度视频图像进行视频图像分割获得亮度分割视频图像。在这种情况下,能够去除亮度分量的噪声,使分割效果更加接近失真前的视频图像,由此,能够提高后续计算的准确性。
在本公开所涉及的视频图像质量的评价方法中,可选地,基于所述亮度分割视频图像和所述第一色度分量获得第一色度分割视频图像,根据所述第一色度分割视频图像获得第一局部色度变化视频图像;基于所述第一色度分割视频图像获得符合人眼视觉效果的第一色度视觉显著视频图像;基于所述第一局部色度变化视频图像和所述第一色度视觉显著视频图像确定第一色度相似度;并且根据所述亮度相似度和所述第一色度相似度计算所述待评价视频图像的评价分数。由此,能够获得更全面的评价结果。
在本公开所涉及的视频图像质量的评价方法中,可选地,基于所述亮度分割视频图像和和所述第二色度分量获得第二色度分割视频图像,根据所述第二色度分割视频图像获得第二局部色度变化视频图像;基于所述第二色度分割视频图像获得符合人眼视觉效果的第二色度视觉显著视频图像;根据所述第二局部色度变化视频图像和所述第二色度视觉显著视频图像确定第二色度相似度;并且根据所述亮度相似度、所述第一色度相似度和所述第二色度相似度计算所述待评价视频图像的评价分数。由此,能够进一步获得更全面的评价结果。
在本公开所涉及的视频图像质量的评价方法中,可选地,利用边缘检测算法检测所述亮度分量的边缘,获得指示边缘像素点的二值视频图像;基于所述亮度分量确定所述边缘像素点的边缘宽度,并获得所述亮度分量的边缘宽度分布,根据所述边缘宽度分布计算所述亮度分量的边缘宽度概率分布;根据所述边缘宽度概率分布确定边缘相似度;根据所述亮度相似度、所述第一色度相似度、所述第二色度相似度和所述边缘相似度计算所述待评价视频图像的评价分数。由此,能够进一步获得更全面的评价结果。
在本公开所涉及的视频图像质量的评价方法中,可选地,所述亮度视觉显著视频图像由以下方法获得,包括:当满足时,所述亮度视觉显著视频图像的像素点由式(Ⅰ)获得:否则,所述亮度视觉显著视频图像的像素点由式(Ⅱ)获得:其中,Ldif表示差值视频图像,且满足Ldif=L-LSmooth,L为亮度分量,LSmooth为经过高斯滤波的亮度分量,(x,y)表示所述亮度视觉显著视频图像的像素点位置,(u,v)表示亮度分割视频图像中局部对比度最大的超像素分割块的中心点,表示向下取整操作符,H表示差值视频图像的高度,W表示差值视频图像的宽度,min{}表示取最小值,max{}表示取最大值,mean{}表示取平均值。由此,能够提高评价结果与主观感受的一致性。
在本公开所涉及的视频图像质量的评价方法中,可选地,所述亮度相似度由式(Ⅲ)获得:SLS=1-mean(SV·SM)(Ⅲ),其中,SLS表示所述亮度相似度,SV为所述亮度视觉显著视频图像,SM为所述局部亮度变化视频图像,mean()表示取平均值。由此,能够获得亮度相似度。
在本公开所涉及的视频图像质量的评价方法中,可选地,基于所述亮度分量确定所述边缘像素点的边缘宽度,包括:基于所述亮度分量确定所述边缘像素点的边缘宽度,包括:将所述边缘像素点同一列上侧最接近所述边缘像素点的亮度极值点作为上极值点,将所述边缘像素点同一列下侧最接近所述边缘像素点的亮度极值点作为下极值点,将所述边缘像素点同一行左侧最接近所述边缘像素点的亮度极值点作为左极值点,将所述边缘像素点同一行右侧最接近所述边缘像素点的亮度极值点作为右极值点;基于所述上极值点、所述下极值点、所述左极值点、所述右极值点与所述边缘像素点的梯度方向,获得所述边缘像素点的边缘宽度。由此,可以获得更准确的边缘宽度。
在本公开所涉及的视频图像质量的评价方法中,可选地,所述视频图像分割为简易线性迭代聚类(SLIC)超像素分割。由此,能够基于超像素进行后续处理。
在本公开所涉及的视频图像质量的评价方法中,可选地,所述边缘检测算法为坎尼(Canny)边缘检测算法。在这种情况下,能够更加准确检测视频图像的边缘。
根据本公开,提供一种没有参考视频图像信息、计算复杂度低且所获得的评价结果与人眼视觉具有较高的一致性的视频图像质量的评价方法。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1是示出了本公开示例所涉及的视频图像质量的评价方法流程示意图。
图2a是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的亮度分量。
图2b是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的第一色度分量。
图2c是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的第二色度分量。
图3是示出了基于图2a的亮度分割视频图像。
图4是示出了本公开示例所涉及的视频图像质量的评价方法变形例1流程示意图。
图5是示出了本公开示例所涉及的视频图像质量的评价方法变形例2流程示意图。
图6是示出了本公开示例所涉及的视频图像质量的评价方法变形例3流程示意图。
图7是示出了本公开示例所涉及的视频图像质量的评价方法中边缘宽度的计算示意图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开引用的所有参考文献全文引入作为参考,如同完全阐述的那样。除非另有定义,本公开所使用的技术和科学术语具有与本公开所属领域的普通技术人员通常理解相同的含义。
另外,在本公开的下面描述中涉及的小标题等并不是为了限制本公开的内容或范围,其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容,也不应将小标题下的内容仅仅限制在小标题的范围内。
本公开涉及一种视频图像质量的评价方法。视频图像质量的评价方法也可以简称为评价方法。本公开的评价方法特别能够适用于卡通视频图像的视频图像质量评价。本公开的视频图像质量的评价方法在没有参考视频图像信息的情况下,计算复杂度低且所获得的评价结果与人眼视觉具有较高的一致性。
图1是示出了本公开示例所涉及的视频图像质量的评价方法流程示意图。图2a是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的亮度分量。图2b是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的第一色度分量。图2c是示出了本公开示例所涉及的视频图像质量的评价方法的Lab视频图像的第二色度分量。图3是示出了基于图2a的亮度分割视频图像。
在本实施方式中,如图1所示,视频图像质量的评价方法包括将待评价视频图像转换为Lab视频图像(步骤S10);将亮度分量进行视频图像分割,获得亮度分割视频图像,基于亮度分割视频图像获得局部亮度变化视频图像(步骤S20);基于亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像(步骤S30);根据局部亮度变化视频图像和亮度视觉显著视频图像确定亮度相似度(步骤S40)和根据亮度相似度计算待评价视频图像的评价分数(步骤S50)。
在步骤S10中,待评价视频图像可以是RGB空间、XYZ空间或Lab空间中的一种。若待评价视频图像是RGB空间,则需要先将RGB空间转换到XYZ空间,再从XYZ空间转换到Lab空间。若待评价视频图像是XYZ空间,则可以直接将XYZ空间转换到Lab空间。若待评价视频图像是Lab空间则不需要进行转换。当待评价视频图像为Lab空间时,待评价视频图像也称为Lab视频图像。Lab视频图像可以包括亮度分量(参见图2a)、第一色度分量(参见图2b)以及第二色度分量(参见图2c)。其中,第二色度分量与第一色度分量不同。
在一些示例中,待评价视频图像可以是屛幕内容视频图像。例如待评价视频图像可以是卡通视频图像。但本公开的示例不限于此,待评价视频图像可以是风景视频图像或人物视频图像等。
在一些示例中,将RGB空间转换到XYZ空间可以由式(1)获得:
将XYZ空间转换到Lab空间可以由式(2)获得:
其中,Xn=95.047,Yn=100.0,Zn=108.883,L表示亮度通道(或亮度分量),a表示第一色度通道(第一色度分量),b表示第二色度通道(第二色度分量)。在这种情况下,获得的Lab视频图像相较于RGB视频图像或XYZ视频图像更加匹配人类的视觉感知。
在一些示例中,可以对Lab视频图像中的亮度分量进行滤波处理。具体而言,可以通过高斯低通滤波器对亮度分量进行低通滤波获得平滑亮度视频图像。平滑亮度视频图像(也即平滑亮度分量)可以用LSmooth表示。在这种情况下,对亮度分量进行低通滤波处理能够在一定程度上降低失真对后续的超像素分割效果的影响。
在步骤S20中,可以对亮度分量进行视频图像分割,获得亮度分割视频图像(参见图3)。其中,视频图像分割可以为简易线性迭代聚类(SLIC)超像素分割。在这种情况下,能够基于超像素进行后续处理。
在另一些示例中,在将亮度分量进行视频图像分割之前,对亮度分量进行滤波处理获得平滑亮度视频图像LSmooth。对平滑亮度视频图像LSmooth进行视频图像分割获得亮度分割视频图像L1。换而言之,在步骤S20中可以对平滑亮度视频图像LSmooth进行视频图像分割(例如超像素分割)获得亮度分割视频图像L1。
在步骤S20中,可以基于亮度分割视频图像获得局部亮度变化视频图像。具体而言,计算亮度分割视频图像的第K个视频图像块(也可以称为像素块)的标准差σK,将第K个像素块内的所有像素值替换为该标准差,K∈[1,N],N为像素块的个数。由此,获得局部亮度变化视频图像SM
在一些示例中,可以对亮度分割视频图像L1进行二值化处理获得亮度二值视频图像L1Bin。基于亮度二值视频图像L1Bin和亮度分量L获得目标亮度分割视频图像LSeg。目标亮度分割视频图像满足LSeg=L1Bin·L。在这种情况下,能够去除亮度分量的噪声,使分割效果更加接近失真前的视频图像,由此,能够利于后续计算的准确性。基于亮度分割视频图像获得目标亮度分割视频图像LSeg,局部亮度变化视频图像的每个视频图像块SM(i)满足其中,NK表示目标亮度分割视频图像的第K个视频图像块(也称为像素块)的像素点的个数。当目标亮度分割视频图像是经过超像素分割处理获得时,由于超像素分割是非均匀的,因此NK是一个不定值。表示目标亮度分割视频图像的每个视频图像块的亮度值。表示目标亮度分割视频图像的第K个视频图像块的亮度平均值,且满足在这种情况下,能够基于超像素提取视频图像的特征,相比于传统的从正方形的局部视频图像块中提取特征的方法,本公开中涉及的基于超像素提取视频图像的特征的方法更加具有视觉意义,且能够降低计算复杂度,由此,能够获得更好地反映局部亮度结构变化的局部亮度变化视频图像。
在步骤S30中,可以基于亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像。
在一些示例中,对亮度分量进行高斯滤波处理,获得平滑亮度视频图像LSmooth。在这种情况下,具有更大的局部对比度的显著像素点通过高斯滤波器比非显著点有更强的衰减。基于平滑亮度视频图像获得符合人眼视觉效果的亮度视觉显著视频图像。具体而言,基于平滑亮度视频图像和亮度分量获得差值视频图像Ldif,Ldif=L-LSmooth。基于差值视频图像Ldif获得符合人眼视觉效果的亮度视觉显著视频图像SV。亮度视觉显著视频图像可以由以下方法获得,包括:
当满足时,亮度视觉显著视频图像的像素点由式(3)获得:
否则,亮度视觉显著视频图像的像素点由式(4)获得:
其中,Ldif表示差值视频图像,且满足Ldif=L-LSmooth,L为亮度分量,LSmooth为经过高斯滤波的亮度分量,(x,y)表示亮度视觉显著视频图像的像素点位置,(u,v)表示亮度分割视频图像中局部对比度最大的超像素分割块(即超像素视频图像块)的中心点,表示向下取整操作符。H表示差值视频图像的高度,W表示差值视频图像的宽度,min{}表示取最小值,max{}表示取最大值,mean{}表示取平均值。在这种情况下,亮度视觉显著视频图像能够模拟人眼视觉特性,用来对局部亮度结构变化视频图像进行加权。由此,能够提高评价结果与主观感受的一致性。
本公开的示例不限于此,在一些示例中,在步骤S20中,根据差值视频图像的宽高比例,计算亮度视觉显著视频图像所涉及的代数式式子中可以被替代,例如,在视频图像宽高比例为16:9时,分别用替代。
在步骤S40中,可以根据亮度视觉显著图和局部亮度变化视频图像,计算出亮度相似度。例如亮度相似度可以满足式(5):
SLS=1-mean(SV·SM) (5),
其中,SLS表示亮度相似度,SV为亮度视觉显著视频图像,SM为局部亮度结构变化视频图像,mean()为对视频图像的所有像素点求平均值。由此,能够获得亮度相似度。其中,SV与SM做点乘操作能够突出显著权重。
在步骤S50中,可以根据亮度相似度计算待评价视频图像的评价分数。例如评价分数可以满足式(6):
S=SLS (6),
其中,S为评价分数,SLS为亮度相似度。
图4是示出了本公开示例所涉及的视频图像质量的评价方法变形例1流程示意图。
在一些示例中,如图4所示,本公开的视频图像质量评价方法还可以包括基于亮度分割视频图像和第一色度分量获得第一色度分割视频图像,根据第一色度分割视频图像获得第一局部色度变化视频图像(步骤S21),基于第一色度分割视频图像获得符合人眼视觉效果的第一色度视觉显著视频图像(步骤S31);基于第一局部色度变化视频图像和第一色度视觉显著视频图像确定第一色度相似度(步骤S41),根据亮度相似度和第一色度相似度计算待评价视频图像的评价分数(步骤S51),由此,能够获得更全面的评价结果。
在步骤S21中,可以基于亮度分割视频图像和第一色度分量获得第一色度分割视频图像。也即可以通过亮度分割视频图像携带的分割信息,移植到第一色度视频图像从而获得第一色度分割视频图像。具体而言,可以对亮度分割视频图像进行二值化处理,二值化后的亮度分割视频图像与第一色度视频图像点乘获得第一色度分割视频图像。
在一些示例中,当亮度分割视频图像是由亮度分量经过滤波处理和视频图像分割获得时,第一色度分割视频图像aSeg可以满足式(7):
aSeg=L1Bin·a (7),
其中,“·”表示矩阵的点积(也称为点乘)运算符号,L1Bin表示亮度二值视频图像,a表示第一色度分量,aSeg表示第一色度分割视频图像。
但本公开的示例不限于此,在另一些示例中,第一色度分割视频图像可以不借助亮度分割视频图像获得。例如对第一色度分量进行视频图像分割以获得第一色度分割视频图像。视频图像分割可以通过超视频图像分割算法实现。具体而言,对第一色度分量进行视频图像分割以及二值化处理获得第一色度二值视频图像。将第一色度二值视频图像与第一色度分量进行点乘运算获得第一色度分割视频图像。由此,能够在不借助亮度分割视频图像的情况下获得第一色度分割视频图像。在一些示例中,可以先对第一色度分量进行滤波处理再进行视频图像分割处理。
在步骤S21中可以根据第一色度分割视频图像获得第一局部色度变化视频图像。第一局部色度变化视频图像的获取方法可以类比上述步骤S20中的局部亮度变化视频图像的获取方法。
在步骤S31中,基于第一色度分割视频图像获得符合人眼视觉效果的第一色度视觉显著视频图像。第一色度视觉显著视频图像的获得方法可以类比上述步骤S30中的亮度视觉显著视频图像的获得方法。
在步骤S41中可以基于第一局部色度变化视频图像和第一色度视觉显著视频图像确定第一色度相似度。第一色度相似度SC1的计算方法可以类比上述步骤S40中的亮度相似度的计算方法。
在步骤S51中可以根据亮度相似度和第一色度相似度计算待评价视频图像的评价分数。例如评价分数可以满足式(8):
S=α·SLS+β·SC1 (8),
其中,α,β均为权重,S为评价分数,SLS为亮度相似度,SC1为第一色度相似度。
在一些示例中,优选地,α,β分别取0.7,0.3。
图5是示出了本公开示例所涉及的视频图像质量的评价方法变形例2流程示意图。
在一些示例中,如图5所示,本公开的视频图像质量评价方法还可以包括基于亮度分割视频图像和第二色度分量获得第二色度分割视频图像,根据第二色度分割视频图像获得第二局部色度变化视频图像(步骤S22);基于第二色度分割视频图像获得符合人眼视觉效果的第二色度视觉显著视频图像(步骤S32);根据第二局部色度变化视频图像和第二色度视觉显著视频图像确定第二色度相似度(步骤S42),根据亮度相似度、第一色度相似度和第二色度相似度计算待评价视频图像的评价分数(步骤S52),由此,能够进一步获得更全面的评价结果。
在步骤S22中,可以基于亮度分割视频图像和第二色度分量获得第二色度分割视频图像。也即可以通过亮度分割视频图像携带的分割信息,移植到第二色度视频图像从而获得第二色度分割视频图像。具体而言,对亮度分割视频图像进行二值化处理,二值化后的亮度分割视频图像与第二色度视频图像点积获得第二色度分割视频图像。
在一些示例中,当亮度分割视频图像是由亮度分量经过滤波处理和视频图像分割获得时,第二色度分割视频图像bSeg可以满足式(9):
bSeg=L1Bin·b (9),
其中,“·”表示矩阵的点积运算符号,L1Bin表示亮度二值视频图像,b表示第二色度分量,bSeg表示第二色度分割视频图像。
但本公开的示例不限于此,在另一些示例中,第二色度分割视频图像可以不借助亮度分割视频图像获得。例如对第二色度分量进行视频图像分割以获得第二色度分割视频图像。视频图像分割可以通过超视频图像分割算法实现。具体而言,对第二色度分量进行视频图像分割以及二值化处理获得第二色度二值视频图像。将第二色度二值视频图像与第二色度分量进行点乘运算获得第二色度分割视频图像。由此,能够在不借助亮度分割视频图像的情况下获得第二色度分割视频图像。在一些示例中,可以先对第二色度分量进行滤波处理再进行视频图像分割处理。
在步骤S22中可以根据第二色度分割视频图像获得第二局部色度变化视频图像。第二局部色度变化视频图像的获取方法可以类比上述步骤S20中的局部亮度变化视频图像的获取方法。
在步骤S22中可以基于第二色度分割视频图像获得符合人眼视觉效果的第二色度视觉显著视频图像。第二色度视觉显著视频图像的获得方法可以类比上述步骤S30中的亮度视觉显著视频图像的获得方法。
在步骤S42中可以基于第二局部色度变化视频图像和第二色度视觉显著视频图像确定第二色度相似度。第二色度相似度SC2的计算方法可以类比上述步骤S40中的亮度相似度的计算方法。
在步骤S52中可以根据亮度相似度、第一色度相似度和第二色度相似度计算待评价视频图像的评价分数。例如评价分数可以满足式(10):
S=α·SLS+β·SC1+γ·SC2 (10),
其中,α,β,γ均为权重,S为评价分数,SLS为亮度相似度,SC1为第一色度相似度,SC2为第二色度相似度。
在步骤S52中,优选地,α,β,γ分别取0.6,0.2,0.2。
图6是示出了本公开示例所涉及的视频图像质量的评价方法变形例3流程示意图。
在一些示例中,如图6所示,本公开的视频图像质量评价方法还可以包括利用边缘检测算法检测亮度分量的边缘,获得指示边缘像素点的二值视频图像(步骤S23);基于亮度分量确定边缘像素点的边缘宽度,并获得亮度分量的边缘宽度分布,根据边缘宽度分布计算亮度分量的边缘宽度概率分布(步骤S33);根据边缘宽度概率分布确定边缘相似度(步骤S43),根据亮度相似度、第一色度相似度、第二色度相似度和边缘相似度计算待评价视频图像的评价分数(步骤S53)。由此,能够再进一步获得更全面的评价结果。
在步骤S23中可以使用坎尼(Canny)边缘检测算法检测亮度分量的边缘像素点。在这种情况下,能够准确检测视频图像的边缘。由此,能够获得更准确的边缘相似度。
在步骤S33中可以基于亮度分量确定边缘像素点的边缘宽度。确定边缘宽度的步骤具体包括:将边缘像素点同一列上侧最接近边缘像素点的亮度极值点作为上极值点,将边缘像素点同一列下侧最接近边缘像素点的亮度极值点作为下极值点,将边缘像素点同一行左侧最接近边缘像素点的亮度极值点作为左极值点,将边缘像素点同一行右侧最接近边缘像素点的亮度极值点作为右极值点;基于上极值点、下极值点、左极值点、右极值点与边缘像素点的梯度方向,获得边缘像素点的边缘宽度。其中,Wup可以表示边缘像素点与上极值点的距离。Wlow可以表示边缘像素点与下极值点的距离。Wl可以表示边缘像素点与左极值点的距离。Wr可以表示边缘像素点与右极值点的距离。
图7是示出了本公开示例所涉及的视频图像质量的评价方法中边缘宽度计算示意图。以下结合附图7说明确定边缘边缘的方法。
如图7所示,基于边缘像素点(如图7中点P)的同一列的最接近边缘像素点的两个亮度值极值点与边缘像素点梯度方向,获得边缘像素点的水平边缘宽度。其中,两个亮度值极值点(即上极值点和下极值点)分别位于边缘像素点的两端。以附图7的边缘宽度计算示意图为例,图中像素值为39为上极值点、像素值为14为上极值点。
基于边缘像素点(如图7中点P)同一行上最接近边缘像素点的另外两个亮度值极值点与边缘像素点梯度方向,获得边缘像素点的垂直边缘宽度。其中,另外的两个亮度值极值点分别位于边缘像素点的两端,以附图7的边缘宽度计算示意图为例。图中像素值为24为左极值点、像素值为30为右极值点。取水平边缘宽度和垂直边缘宽度中较大的一个为边缘宽度。由此,可以获得更准确的边缘宽度。
具体而言,在步骤S33中,设亮度分量的某一边缘像素点记为P,边缘像素点P的梯度方向为θ。若θ满足边缘宽度W满足式(11):若θ满足边缘宽度W满足式(12):若θ满足边缘宽度W满足式(13):若θ满足边缘宽度W满足式(14):
在一些示例中,基于上述的边缘宽度的计算方法可以获得包括各个边缘像素点的边缘宽度的边缘宽度集合。在边缘宽度集合中,有n种边缘宽度值。每种边缘宽度值可以有1个或多个。
在步骤S33中可以构建边缘宽度概率权重模型,进而获得边缘宽度概率分布。边缘宽度概率分布满足P(W=wi)=pi,i=1,2,...,n,其中,wi是第i种边缘宽度值,pi是第i种边缘宽度值的概率,n表示边缘宽度值的种类数量。Ni表示第i种边缘宽度值对应的边缘像素点的数量,N表示边缘像素点的总数量。
在步骤S43中,根据边缘宽度概率分布确定边缘相似度。边缘相似度SEW可以满足(15):在这种情况下,能够基于边缘宽度概率分布模型构造边缘失真衡量模型。由此,能够使得评价结果与人类视觉效果具有较高一致性。
在步骤S53中可以根据亮度相似度、第一色度相似度、第二色度相似度和边缘相似度计算待评价视频图像的评价分数。例如评价分数可以满足式(16):
S=α·SLS+β·SC1+γ·SC2+θ·SEW (16),
其中,α,β,γ,θ均为权重,S为评价分数,SLS为亮度相似度,SC1为第一色度相似度,SC2为第二色度相似度,SEW为边缘相似度。
在一些示例中,优选地,α,β,γ,θ分别取0.6,0.1,0.1,0.2。由此,能够提供一种没有参考视频图像信息、计算复杂度低且所获得的评价结果与人眼视觉具有较高的一致性的视频图像质量的评价方法。且本公开的视频图像质量的评价方法具有较好的普适性和鲁棒性。
在本公开中,将卡通视频图像从RGB空间转换到Lab空间,由此,能够更符合人类的视觉感知。分割亮度分量获得亮度分割视频图像进而获得局部亮度变化视频图像,根据局部亮度变化视频图像和亮度视觉显著视频图像确定亮度相似度进而获得待评价视频图像的评价分数。基于亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像。由此,能够用于模拟人眼视觉特性,且能够在没有参考视频图像信息下,对待评价视频图像进行质量评估,使得所获得的评价结果与人眼视觉具有较高的一致性,同时具有较好的普适性和鲁棒性。
虽然以上结合附图和示例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种视频图像质量的评价方法,其特征在于,
包括:
将待评价视频图像转换为Lab视频图像,所述Lab视频图像包括亮度分量、第一色度分量以及第二色度分量,所述第二色度分量与所述第一色度分量不同;
将所述亮度分量进行视频图像分割,获得亮度分割视频图像,基于所述亮度分割视频图像获得局部亮度变化视频图像;
基于所述亮度分割视频图像获得符合人眼视觉效果的亮度视觉显著视频图像;
根据所述局部亮度变化视频图像和所述亮度视觉显著视频图像确定亮度相似度;
根据所述亮度相似度计算所述待评价视频图像的评价分数。
2.根据权利要求1所述的视频图像质量的评价方法,其特征在于,
在将所述亮度分量进行所述视频图像分割之前,对所述亮度分量进行滤波处理,获得平滑亮度视频图像,对所述平滑亮度视频图像进行视频图像分割获得亮度分割视频图像。
3.根据权利要求1或2所述的视频图像质量的评价方法,其特征在于,
基于所述亮度分割视频图像和所述第一色度分量获得第一色度分割视频图像,根据所述第一色度分割视频图像获得第一局部色度变化视频图像;
基于所述第一色度分割视频图像获得符合人眼视觉效果的第一色度视觉显著视频图像;
基于所述第一局部色度变化视频图像和所述第一色度视觉显著视频图像确定第一色度相似度;并且
根据所述亮度相似度和所述第一色度相似度计算所述待评价视频图像的评价分数。
4.根据权利要求3所述的视频图像质量的评价方法,其特征在于,
基于所述亮度分割视频图像和和所述第二色度分量获得第二色度分割视频图像,根据所述第二色度分割视频图像获得第二局部色度变化视频图像;
基于所述第二色度分割视频图像获得符合人眼视觉效果的第二色度视觉显著视频图像;
根据所述第二局部色度变化视频图像和所述第二色度视觉显著视频图像确定第二色度相似度;并且
根据所述亮度相似度、所述第一色度相似度和所述第二色度相似度计算所述待评价视频图像的评价分数。
5.根据权利要求4所述的视频图像质量的评价方法,其特征在于,
利用边缘检测算法检测所述亮度分量的边缘,获得指示边缘像素点的二值视频图像;
基于所述亮度分量确定所述边缘像素点的边缘宽度,并获得所述亮度分量的边缘宽度分布,根据所述边缘宽度分布计算所述亮度分量的边缘宽度概率分布;
根据所述边缘宽度概率分布确定边缘相似度;
根据所述亮度相似度、所述第一色度相似度、所述第二色度相似度和所述边缘相似度计算所述待评价视频图像的评价分数。
6.根据权利要求1所述的视频图像质量的评价方法,其特征在于,
所述亮度视觉显著视频图像由以下方法获得,包括:
当满足时,所述亮度视觉显著视频图像的像素点由式(Ⅰ)获得:
否则,所述亮度视觉显著视频图像的像素点由式(Ⅱ)获得:
其中,Ldif表示差值视频图像,且满足Ldif=L-LSmooth,L为亮度分量,LSmooth为经过高斯滤波的亮度分量,(x,y)表示所述亮度视觉显著视频图像的像素点位置,(u,v)表示亮度分割视频图像中局部对比度最大的超像素分割块的中心点,表示向下取整操作符,H表示差值视频图像的高度,W表示差值视频图像的宽度,min{}表示取最小值,max{}表示取最大值,mean{}表示取平均值。
7.根据权利要求1所述的视频图像质量的评价方法,其特征在于,
所述亮度相似度由式(Ⅲ)获得:
SLS=1-mean(SV·SM) (Ⅲ),
其中,SLS表示所述亮度相似度,SV为所述亮度视觉显著视频图像,SM为所述局部亮度变化视频图像,mean()表示取平均值。
8.根据权利要求5所述的视频图像质量的评价方法,其特征在于,
基于所述亮度分量确定所述边缘像素点的边缘宽度,包括:
将所述边缘像素点同一列上侧最接近所述边缘像素点的亮度极值点作为上极值点,将所述边缘像素点同一列下侧最接近所述边缘像素点的亮度极值点作为下极值点,将所述边缘像素点同一行左侧最接近所述边缘像素点的亮度极值点作为左极值点,将所述边缘像素点同一行右侧最接近所述边缘像素点的亮度极值点作为右极值点;
基于所述上极值点、所述下极值点、所述左极值点、所述右极值点与所述边缘像素点的梯度方向,获得所述边缘像素点的边缘宽度。
9.根据权利要求1所述的视频图像质量的评价方法,其特征在于,
所述视频图像分割为简易线性迭代聚类(SLIC)超像素分割。
10.根据权利要求5所述的视频图像质量的评价方法,其特征在于,
所述边缘检测算法为坎尼(Canny)边缘检测算法。
CN201910780898.1A 2019-08-22 2019-08-22 视频图像质量的评价方法 Active CN110443800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780898.1A CN110443800B (zh) 2019-08-22 2019-08-22 视频图像质量的评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780898.1A CN110443800B (zh) 2019-08-22 2019-08-22 视频图像质量的评价方法

Publications (2)

Publication Number Publication Date
CN110443800A true CN110443800A (zh) 2019-11-12
CN110443800B CN110443800B (zh) 2022-02-22

Family

ID=68437349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780898.1A Active CN110443800B (zh) 2019-08-22 2019-08-22 视频图像质量的评价方法

Country Status (1)

Country Link
CN (1) CN110443800B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034403A (zh) * 2021-04-16 2021-06-25 重庆飞唐网景科技有限公司 医学影像数据通过高斯滤波进行降噪的工作方法
CN113160167A (zh) * 2021-04-16 2021-07-23 重庆飞唐网景科技有限公司 通过深度学习网络模型进行医学影像数据提取工作方法
CN114219992A (zh) * 2021-12-14 2022-03-22 杭州古伽船舶科技有限公司 一种基于图像识别技术的无人船避障系统
CN115082508A (zh) * 2022-08-18 2022-09-20 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
CN115994904A (zh) * 2023-03-22 2023-04-21 山东万重山电子有限公司 基于计算机视觉的挂烫机面板生产质量检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663747A (zh) * 2012-03-23 2012-09-12 宁波大学 一种基于视觉感知的立体图像客观质量评价方法
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
CN105354835A (zh) * 2015-10-16 2016-02-24 浙江工业大学 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法
CN106296695A (zh) * 2016-08-12 2017-01-04 西安理工大学 基于显著性的自适应阈值自然目标图像分割抽取算法
US20180278957A1 (en) * 2015-09-25 2018-09-27 Sisvel Technology S.R.L. Methods and Apparatuses for Encoding and Decoding Digital Images Through Superpixels
CN110084782A (zh) * 2019-03-27 2019-08-02 西安电子科技大学 基于图像显著性检测的全参考图像质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
CN102663747A (zh) * 2012-03-23 2012-09-12 宁波大学 一种基于视觉感知的立体图像客观质量评价方法
US20180278957A1 (en) * 2015-09-25 2018-09-27 Sisvel Technology S.R.L. Methods and Apparatuses for Encoding and Decoding Digital Images Through Superpixels
CN105354835A (zh) * 2015-10-16 2016-02-24 浙江工业大学 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法
CN106296695A (zh) * 2016-08-12 2017-01-04 西安理工大学 基于显著性的自适应阈值自然目标图像分割抽取算法
CN110084782A (zh) * 2019-03-27 2019-08-02 西安电子科技大学 基于图像显著性检测的全参考图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENJIN HU 等: "No reference quality assessment for Thangka color image based on superpixel", 《ELSEVIER》 *
宋 超 等: "基于图像质量评价的显示器色域映射", 《液晶与显示》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034403A (zh) * 2021-04-16 2021-06-25 重庆飞唐网景科技有限公司 医学影像数据通过高斯滤波进行降噪的工作方法
CN113160167A (zh) * 2021-04-16 2021-07-23 重庆飞唐网景科技有限公司 通过深度学习网络模型进行医学影像数据提取工作方法
CN113160167B (zh) * 2021-04-16 2022-01-14 深圳市铱硙医疗科技有限公司 通过深度学习网络模型进行医学影像数据提取工作方法
CN114219992A (zh) * 2021-12-14 2022-03-22 杭州古伽船舶科技有限公司 一种基于图像识别技术的无人船避障系统
CN114219992B (zh) * 2021-12-14 2022-06-03 杭州古伽船舶科技有限公司 一种基于图像识别技术的无人船避障系统
CN115082508A (zh) * 2022-08-18 2022-09-20 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
CN115082508B (zh) * 2022-08-18 2022-11-22 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
CN115994904A (zh) * 2023-03-22 2023-04-21 山东万重山电子有限公司 基于计算机视觉的挂烫机面板生产质量检测方法

Also Published As

Publication number Publication date
CN110443800B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110443800A (zh) 视频图像质量的评价方法
CN103996192B (zh) 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN104008538B (zh) 基于单张图像超分辨率方法
CN106600597B (zh) 一种基于局部二值模式的无参考彩色图像质量评价方法
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
CN108010024B (zh) 一种盲参考色调映射图像质量评价方法
CN108074239B (zh) 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN109389591A (zh) 基于彩色描述子的彩色图像质量评价方法
CN109829924B (zh) 一种基于主体特征分析的图像质量评价方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109191460B (zh) 一种对于色调映射图像的质量评价方法
CN106651829B (zh) 一种基于能量和纹理分析的无参考图像客观质量评价方法
CN107464222B (zh) 基于张量空间的无参考高动态范围图像客观质量评价方法
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN107343196A (zh) 一种混合失真无参考图像质量评价方法
CN109598681A (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN109685772A (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法
CN110717892B (zh) 一种色调映射图像质量评价方法
CN111047618A (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN112132774A (zh) 一种色调映射图像的质量评价方法
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant