CN106023152A - 一种无参考立体图像质量客观评价方法 - Google Patents

一种无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106023152A
CN106023152A CN201610301295.5A CN201610301295A CN106023152A CN 106023152 A CN106023152 A CN 106023152A CN 201610301295 A CN201610301295 A CN 201610301295A CN 106023152 A CN106023152 A CN 106023152A
Authority
CN
China
Prior art keywords
dis
picture
stereo
image
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610301295.5A
Other languages
English (en)
Other versions
CN106023152B (zh
Inventor
周武杰
潘婷
张爽爽
蔡星宇
顾鹏笠
郑飘飘
岑岗
王中鹏
周扬
吴茗蔚
邱薇薇
陈芳妮
郑卫红
陈寿法
陶坚
葛丁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Zhixu Information Technology Co ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201610301295.5A priority Critical patent/CN106023152B/zh
Publication of CN106023152A publication Critical patent/CN106023152A/zh
Application granted granted Critical
Publication of CN106023152B publication Critical patent/CN106023152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无参考立体图像质量客观评价方法，其在训练阶段，通过获取每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，得到视觉字典质量对照表；在测试阶段，对于任意一幅失真立体图像，先获取该失真立体图像对应的直方图特征向量，然后根据已构造的视觉字典质量对照表，获取该失真立体图像的客观质量评价预测值；优点是降低了计算复杂度，且由于充分考虑了立体视觉感知特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

Description

一种无参考立体图像质量客观评价方法
技术领域
本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种无参考立体图像质量客观评价方法。
背景技术
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。
目前，研究人员提出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现有的无参考质量客观评价方法一般分为训练阶段和测试阶段，训练阶段中一般需要被训练图像的主观评价值，然而在实际应用中主观评价值的得到比较复杂，需要组织观察者对被训练图像进行打分，在一定程度上不利于实际应用，因此，如何在训练阶段中不需要主观评价值，同时使系统的性能不降低，是立体图像进行无参考客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种无参考立体图像质量客观评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种无参考立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段的具体步骤为：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg，k(x，y)}和{Rorg，k(x，y)}，其中，K≥1，1≤k≤K，1≤x≤W，1≤y≤H，Lorg，k(x，y)表示{Lorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值，Rorg，k(x，y)表示{Rorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值；
①_2、对于每幅原始的无失真立体图像，取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的失真立体图像，每幅原始的无失真立体图像对应的失真立体图像共16幅，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的左视点图像和右视点图像对应记为{Ldis，k，n(x，y)}和{Rdis，k，n(x，y)}，其中，1≤n≤16，Ldis，k，n(x，y)表示{Ldis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis，k，n(x，y)表示{Rdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值；
①_3、对每幅原始的无失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{Lorg，k(x，y)}的幅值图像记为{GL_org，k(x，y)}；并对每幅原始的无失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{Rorg，k(x，y)}的幅值图像记为{GR_org，k(x，y)}；其中，GL_org，k(x，y)表示{GL_org，k(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_org，k(x，y)表示{GR_org，k(x，y)}中坐标位置为(x，y)的像素点的像素值；
同样，对每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像，将{Ldis，k，n(x，y)}的幅值图像记为{GL_dis，k，n(x，y)}；并对每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像的幅值图像，将{Rdis，k，n(x，y)}的幅值图像记为{GR_dis，k，n(x，y)}；其中，GL_dis，k，n(x，y)表示{GL_dis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_dis，k，n(x，y)表示{GR_dis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值；
①_4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像的双目竞争响应特征图记为{Gorg，k(x，y)}，其中，Gorg，k(x，y)表示{Gorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值；
同样，根据每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图记为{Gdis，k，n(x，y)}，其中，Gdis，k，n(x，y)表示{Gdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值；
①_5、计算每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，将{Gorg，k(x，y)}与{Gdis，k，n(x，y)}之间的相似度图像记为{Sdis，k，n(x，y)}，将{Sdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值记为Sdis，k，n(x，y)，其中，C为控制参数；
①_6、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，计算每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的特征调制图像记为{Mdis，k，n(x，y)}，将{Mdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值记为Mdis，k，n(x，y)，Mdis，k，n(x，y)＝max(Gorg，k(x，y)，Gdis，k，n(x，y))，其中，max()为取最大值函数；
①_7、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，计算每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的质量客观评价预测值记为Qdis，k，n， Q d i s , k , n = Σ x = 1 W Σ y = 1 H S d i s , k , n ( x , y ) × M d i s , k , n ( x , y ) Σ x = 1 W Σ y = 1 H M d i s , k , n ( x , y ) ;
①_8、根据每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，采用局部二值化模式操作，求取每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量记为Hdis，k，n，将Hdis，k，n中的第m个元素记为Hdis，k，n(m)，其中，Hdis，k，n的维数为1×m'维，m'＝P+2，P表示局部二值化模式操作中的领域参数，1≤m≤m'；
①_9、使每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值与双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应，构成视觉字典质量对照表，该视觉字典质量对照表中有16K个一一对应关系；
所述的测试阶段的具体步骤为：
②_1、对于任意一幅宽度为W且高度为H的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x，y)}和{Rdis(x，y)}，其中，1≤x≤W，1≤y≤H，Ldis(x，y)表示{Ldis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x，y)表示{Rdis(x，y)}中坐标位置为(x，y)的像素点的像素值；
②_2、对{Ldis(x，y)}实施DoG滤波，得到{Ldis(x，y)}的幅值图像，记为{GL_dis(x，y)}；并对{Rdis(x，y)}实施DoG滤波，得到{Rdis(x，y)}的幅值图像，记为{GR_dis(x，y)}；其中，GL_dis(x，y)表示{GL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_dis(x，y)表示{GR_dis(x，y)}中坐标位置为(x，y)的像素点的像素值；
②_3、根据{GL_dis(x，y)}和{GR_dis(x，y)}，采用双目竞争模型，得到Sdis的双目竞争响应特征图，记为{Gdis(x，y)}，其中，Gdis(x，y)表示{Gdis(x，y)}中坐标位置为(x，y)的像素点的像素值；
②_4、根据{Gdis(x，y)}，采用局部二值化模式操作，求取Sdis的双目竞争响应特征图的局部二值化模式的直方图特征向量，记为Hdis，将Hdis中的第m个元素记为Hdis(m)，其中，Hdis的维数为1×m'维，1≤m≤m'；
②_5、计算Hdis与训练阶段构成的视觉字典质量对照表中的每个双目竞争响应特征图的局部二值化模式的直方图特征向量之间的距离，将Hdis与Hdis，k，n之间的距离记为Ddis，k，n，Ddis，k，n＝|Hdis-Hdis，k，n|；然后将计算得到的16K个距离构成的集合记为{Ddis，k，n}；接着对{Ddis，k，n}中的所有距离按从小到大的顺序排列，将排列后形成的集合记为{D'dis，k，n}；之后从训练阶段构成的视觉字典质量对照表中，提取出与{D'dis，k，n}中的前T个距离各自对应的双目竞争响应特征图的局部二值化模式的直方图特征向量；再从训练阶段构成的视觉字典质量对照表中，找出与提取出的T个双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应的质量客观评价预测值；最后将找出的T个质量客观评价预测值构成的集合记为{Qdis，1，Qdis，2，…，Qdis，t，…，Qdis，T}；其中，符号“||”为取绝对值符号，1≤T≤16K，1≤t≤T，Qdis，1，Qdis，2，…，Qdis，t，…，Qdis，T对应表示找出的第1个质量客观评价预测值、第2个质量客观评价预测值、…、第t个质量客观评价预测值、…、第T个质量客观评价预测值；
②_6、计算Sdis的客观质量评价预测值，记为Qdis，其中，D'dis，t表示{D'dis，k，n}中的第t个距离。
所述的步骤①_8和所述的步骤②_4中的局部二值化模式操作中的领域参数P取值为8。
与现有技术相比，本发明的优点在于：
1)本发明方法在训练阶段，通过模拟双目视觉特性，采用全参考的方法求得失真立体图像的质量客观评价预测值，然后采用局部二值化模式操作求取失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，再根据失真立体图像的质量客观评价预测值与双目竞争响应特征图的局部二值化模式的直方图特征向量，采用无监督学习方法构造视觉字典质量对照表，这样避免了复杂的机器学习训练过程，并且本发明方法在训练阶段不需要预知各失真立体图像的主观评价值，因此更加适用于实际的应用场合。
2)本发明方法在测试阶段，只需要通过简单的视觉字典质量对照表搜索过程就能预测得到待评价的失真立体图像的客观质量评价预测值，不仅降低了计算复杂度，而且由于充分考虑了立体视觉感知特性，因此能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考立体图像质量客观评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程。所述的训练阶段的具体步骤为：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg，k(x，y)}和{Rorg，k(x，y)}，其中，K≥1，在本实施例中取K＝10，1≤k≤K，1≤x≤W，1≤y≤H，Lorg，k(x，y)表示{Lorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值，Rorg，k(x，y)表示{Rorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值。
①_2、对于每幅原始的无失真立体图像，取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的失真立体图像，每幅原始的无失真立体图像对应的失真立体图像共16幅，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的左视点图像和右视点图像对应记为{Ldis，k，n(x，y)}和{Rdis，k，n(x，y)}，其中，1≤n≤16，Ldis，k，n(x，y)表示{Ldis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis，k，n(x，y)表示{Rdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值。
①_3、对每幅原始的无失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{Lorg，k(x，y)}的幅值图像记为{GL_org，k(x，y)}；并对每幅原始的无失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{Rorg，k(x，y)}的幅值图像记为{GR_org，k(x，y)}；其中，GL_org，k(x，y)表示{GL_org，k(x，y)}中坐标位置为(x，y)的像素点的像素值，GL_org，k(x，y)亦表示{Lorg，k(x，y)}中坐标位置为(x，y)的像素点的幅值，GR_org，k(x，y)表示{GR_org，k(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_org，k(x，y)亦表示{Rorg，k(x，y)}中坐标位置为(x，y)的像素点的幅值。
同样，对每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像，将{Ldis，k，n(x，y)}的幅值图像记为{GL_dis，k，n(x，y)}；并对每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像的幅值图像，将{Rdis，k，n(x，y)}的幅值图像记为{GR_dis，k，n(x，y)}；其中，GL_dis，k，n(x，y)表示{GL_dis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值，GL_dis，k，n(x，y)亦表示{Ldis，k，n(x，y)}中坐标位置为(x，y)的像素点的幅值，GR_dis，k，n(x，y)表示{GR_dis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_dis，k，n(x，y)亦表示{Rdis，k，n(x，y)}中坐标位置为(x，y)的像素点的幅值。
①_4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用现有的双目竞争模型，得到每幅原始的无失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像的双目竞争响应特征图记为{Gorg，k(x，y)}，{Gorg，k(x，y)}根据{GL_org，k(x，y)}和{GR_org，k(x，y)}得到，其中，Gorg，k(x，y)表示{Gorg，k(x，y)}中坐标位置为(x，y)的像素点的像素值。
同样，根据每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用现有的双目竞争模型，得到每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图记为{Gdis，k，n(x，y)}，{Gdis，k，n(x，y)}根据{GL_dis，k，n(x，y)}和{GR_dis，k，n(x，y)}得到，其中，Gdis，k，n(x，y)表示{Gdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值。
①_5、计算每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，将{Gorg，k(x，y)}与{Gdis，k，n(x，y)}之间的相似度图像记为{Sdis，k，n(x，y)}，将{Sdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值记为Sdis，k，n(x，y)，其中，C为控制参数，在本实施例中取C＝0.85。
①_6、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，计算每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的特征调制图像记为{Mdis，k，n(x，y)}，将{Mdis，k，n(x，y)}中坐标位置为(x，y)的像素点的像素值记为Mdis，k，n(x，y)，Mdis，k，n(x，y)＝max(Gorg，k(x，y)，Gdis，k，n(x，y))，其中，max()为取最大值函数。
①_7、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，计算每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的质量客观评价预测值记为Qdis，k，n， Q d i s , k , n = Σ x = 1 W Σ y = 1 H S d i s , k , n ( x , y ) × M d i s , k , n ( x , y ) Σ x = 1 W Σ y = 1 H M d i s , k , n ( x , y ) .
①_8、根据每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，采用现有的局部二值化模式操作，求取每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量记为Hdis，k，n，Hdis，k，n根据{Gdis，k，n(x，y)}得到，将Hdis，k，n中的第m个元素记为Hdis，k，n(m)，其中，Hdis，k，n的维数为1×m'维，m'＝P+2，P表示局部二值化模式操作中的领域参数，1≤m≤m'。
在本实施例中，步骤①_8中的局部二值化模式操作中的领域参数P取值为8。
①_9、使每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值与双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应，构成视觉字典质量对照表，该视觉字典质量对照表中有16K个一一对应关系。
所述的测试阶段的具体步骤为：
②_1、对于任意一幅宽度为W且高度为H的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x，y)}和{Rdis(x，y)}，其中，1≤x≤W，1≤y≤H，Ldis(x，y)表示{Ldis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x，y)表示{Rdis(x，y)}中坐标位置为(x，y)的像素点的像素值。
②_2、对{Ldis(x，y)}实施DoG滤波，得到{Ldis(x，y)}的幅值图像，记为{GL_dis(x，y)}；并对{Rdis(x，y)}实施DoG滤波，得到{Rdis(x，y)}的幅值图像，记为{GR_dis(x，y)}；其中，GL_dis(x，y)表示{GL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，GL_dis(x，y)亦表示{Ldis(x，y)}中坐标位置为(x，y)的像素点的幅值，GR_dis(x，y)表示{GR_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_dis(x，y)亦表示{Rdis(x，y)}中坐标位置为(x，y)的像素点的幅值。
②_3、根据{GL_dis(x，y)}和{GR_dis(x，y)}，采用现有的双目竞争模型，得到Sdis的双目竞争响应特征图，记为{Gdis(x，y)}，其中，Gdis(x，y)表示{Gdis(x，y)}中坐标位置为(x，y)的像素点的像素值。
②_4、根据{Gdis(x，y)}，采用现有的局部二值化模式操作，求取Sdis的双目竞争响应特征图的局部二值化模式的直方图特征向量，记为Hdis，将Hdis中的第m个元素记为Hdis(m)，其中，Hdis的维数为1×m'维，1≤m≤m'。
在本实施例中，步骤②_4中的局部二值化模式操作中的领域参数P取值为8。
②_5、计算Hdis与训练阶段构成的视觉字典质量对照表中的每个双目竞争响应特征图的局部二值化模式的直方图特征向量之间的距离，将Hdis与Hdis，k，n之间的距离记为Ddis，k，n，Ddis，k，n＝|Hdis-Hdis，k，n|；然后将计算得到的16K个距离构成的集合记为{Ddis，k，n}；接着对{Ddis，k，n}中的所有距离按从小到大的顺序排列，将排列后形成的集合记为{D'dis，k，n}；之后从训练阶段构成的视觉字典质量对照表中，提取出与{D'dis，k，n}中的前T个距离各自对应的双目竞争响应特征图的局部二值化模式的直方图特征向量；再从训练阶段构成的视觉字典质量对照表中，找出与提取出的T个双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应的质量客观评价预测值；最后将找出的T个质量客观评价预测值构成的集合记为{Qdis，1，Qdis，2，…，Qdis，t，…，Qdis，T}；其中，符号“||”为取绝对值符号，1≤T≤16K，1≤t≤T，Qdis，1，Qdis，2，…，Qdis，t，…，Qdis，T对应表示找出的第1个质量客观评价预测值、第2个质量客观评价预测值、…、第t个质量客观评价预测值、…、第T个质量客观评价预测值。
②_6、计算Sdis的客观质量评价预测值，记为Qdis，其中，D'dis，t表示{D'dis，k，n}中的第t个距离。
为验证本发明方法的可行性和有效性，进行实验。
在此，采用LIVE立体图像库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像的客观评价结果的准确性，SROCC反映其单调性。
利用本发明方法计算LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观评价方法获得LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性

Claims (2)

1.一种无参考立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段的具体步骤为：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_2、对于每幅原始的无失真立体图像，取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的失真立体图像，每幅原始的无失真立体图像对应的失真立体图像共16幅，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的左视点图像和右视点图像对应记为{Ldis,k,n(x,y)}和{Rdis,k,n(x,y)}，其中，1≤n≤16，Ldis,k,n(x,y)表示{Ldis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis,k,n(x,y)表示{Rdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_3、对每幅原始的无失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{Lorg,k(x,y)}的幅值图像记为{GL_org,k(x,y)}；并对每幅原始的无失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{Rorg,k(x,y)}的幅值图像记为{GR_org,k(x,y)}；其中，GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，对每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像，将{Ldis,k,n(x,y)}的幅值图像记为{GL_dis,k,n(x,y)}；并对每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像的幅值图像，将{Rdis,k,n(x,y)}的幅值图像记为{GR_dis,k,n(x,y)}；其中，GL_dis,k,n(x,y)表示{GL_dis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis,k,n(x,y)表示{GR_dis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像的双目竞争响应特征图记为{Gorg,k(x,y)}，其中，Gorg,k(x,y)表示{Gorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图记为{Gdis,k,n(x,y)}，其中，Gdis,k,n(x,y)表示{Gdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_5、计算每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，将{Gorg,k(x,y)}与{Gdis,k,n(x,y)}之间的相似度图像记为{Sdis,k,n(x,y)}，将{Sdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值记为Sdis,k,n(x,y)，其中，C为控制参数；
①_6、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，计算每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的特征调制图像记为{Mdis,k,n(x,y)}，将{Mdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值记为Mdis,k,n(x,y)，Mdis,k,n(x,y)＝max(Gorg,k(x,y),Gdis,k,n(x,y))，其中，max()为取最大值函数；
①_7、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，计算每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的质量客观评价预测值记为Qdis,k,n，
①_8、根据每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，采用局部二值化模式操作，求取每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量记为Hdis,k,n，将Hdis,k,n中的第m个元素记为Hdis,k,n(m)，其中，Hdis,k,n的维数为1×m'维，m'＝P+2，P表示局部二值化模式操作中的领域参数，1≤m≤m'；
①_9、使每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值与双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应，构成视觉字典质量对照表，该视觉字典质量对照表中有16K个一一对应关系；
所述的测试阶段的具体步骤为：
②_1、对于任意一幅宽度为W且高度为H的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_2、对{Ldis(x,y)}实施DoG滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；并对{Rdis(x,y)}实施DoG滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_3、根据{GL_dis(x,y)}和{GR_dis(x,y)}，采用双目竞争模型，得到Sdis的双目竞争响应特征图，记为{Gdis(x,y)}，其中，Gdis(x,y)表示{Gdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_4、根据{Gdis(x,y)}，采用局部二值化模式操作，求取Sdis的双目竞争响应特征图的局部二值化模式的直方图特征向量，记为Hdis，将Hdis中的第m个元素记为Hdis(m)，其中，Hdis的维数为1×m'维，1≤m≤m'；
②_5、计算Hdis与训练阶段构成的视觉字典质量对照表中的每个双目竞争响应特征图的局部二值化模式的直方图特征向量之间的距离，将Hdis与Hdis,k,n之间的距离记为Ddis,k,n，Ddis,k,n＝|Hdis-Hdis,k,n|；然后将计算得到的16K个距离构成的集合记为{Ddis,k,n}；接着对{Ddis,k,n}中的所有距离按从小到大的顺序排列，将排列后形成的集合记为{D'dis,k,n}；之后从训练阶段构成的视觉字典质量对照表中，提取出与{D'dis,k,n}中的前T个距离各自对应的双目竞争响应特征图的局部二值化模式的直方图特征向量；再从训练阶段构成的视觉字典质量对照表中，找出与提取出的T个双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应的质量客观评价预测值；最后将找出的T个质量客观评价预测值构成的集合记为{Qdis,1,Qdis,2,…,Qdis,t,…,Qdis,T}；其中，符号“||”为取绝对值符号，1≤T≤16K，1≤t≤T，Qdis,1,Qdis,2,…,Qdis,t,…,Qdis,T对应表示找出的第1个质量客观评价预测值、第2个质量客观评价预测值、…、第t个质量客观评价预测值、…、第T个质量客观评价预测值；
②_6、计算Sdis的客观质量评价预测值，记为Qdis，其中，D'dis,t表示{D'dis,k,n}中的第t个距离。
2.根据权利要求1所述的一种无参考立体图像质量客观评价方法，其特征在于所述的步骤①_8和所述的步骤②_4中的局部二值化模式操作中的领域参数P取值为8。
CN201610301295.5A 2016-05-09 2016-05-09 一种无参考立体图像质量客观评价方法 Active CN106023152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610301295.5A CN106023152B (zh) 2016-05-09 2016-05-09 一种无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610301295.5A CN106023152B (zh) 2016-05-09 2016-05-09 一种无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106023152A true CN106023152A (zh) 2016-10-12
CN106023152B CN106023152B (zh) 2018-06-26

Family

ID=57098855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610301295.5A Active CN106023152B (zh) 2016-05-09 2016-05-09 一种无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN106023152B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN108241868A (zh) * 2016-12-26 2018-07-03 浙江宇视科技有限公司 图像客观相似度到主观相似度的映射方法及装置
CN109167996A (zh) * 2018-09-21 2019-01-08 浙江科技学院 一种基于卷积神经网络的无参考立体图像质量评价方法
CN111695643A (zh) * 2020-06-24 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304948A (ja) * 2006-05-12 2007-11-22 Kowa Co 映像品質客観評価装置、及び映像品質客観評価方法
CN105069794A (zh) * 2015-08-12 2015-11-18 浙江科技学院 一种基于双目竞争的全盲立体图像质量评价方法
CN105282543A (zh) * 2015-10-26 2016-01-27 浙江科技学院 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105488792A (zh) * 2015-11-26 2016-04-13 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304948A (ja) * 2006-05-12 2007-11-22 Kowa Co 映像品質客観評価装置、及び映像品質客観評価方法
CN105069794A (zh) * 2015-08-12 2015-11-18 浙江科技学院 一种基于双目竞争的全盲立体图像质量评价方法
CN105282543A (zh) * 2015-10-26 2016-01-27 浙江科技学院 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105488792A (zh) * 2015-11-26 2016-04-13 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241868A (zh) * 2016-12-26 2018-07-03 浙江宇视科技有限公司 图像客观相似度到主观相似度的映射方法及装置
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN108074239B (zh) * 2017-12-30 2021-12-17 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN109167996A (zh) * 2018-09-21 2019-01-08 浙江科技学院 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109167996B (zh) * 2018-09-21 2019-10-29 浙江科技学院 一种基于卷积神经网络的无参考立体图像质量评价方法
CN111695643A (zh) * 2020-06-24 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN111695643B (zh) * 2020-06-24 2023-07-25 北京金山云网络技术有限公司 图像处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN106023152B (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN105979253A (zh) 基于广义回归神经网络的无参考立体图像质量评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN109410261A (zh) 基于金字塔池化模块的单目图像深度估计方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN104658001A (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN102333233A (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN106023152A (zh) 一种无参考立体图像质量客观评价方法
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN105574901A (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105894522A (zh) 一种多失真立体图像质量客观评价方法
CN105069794B (zh) 一种基于双目竞争的全盲立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210926

Address after: 510670 room 517, No. 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220916

Address after: 314500 02, No. 4, South Zaoqiang street, No. 1, Nanmen Gongnong Road, Chongfu Town, Tongxiang City, Jiaxing City, Zhejiang Province

Patentee after: Jiaxing Zhixu Information Technology Co.,Ltd.

Address before: 510670 room 517, No. 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.

TR01 Transfer of patent right