CN105915883A - 基于极限学习和双目融合的盲参考立体图像质量评价方法 - Google Patents

基于极限学习和双目融合的盲参考立体图像质量评价方法 Download PDF

Info

Publication number
CN105915883A
CN105915883A CN201610352510.4A CN201610352510A CN105915883A CN 105915883 A CN105915883 A CN 105915883A CN 201610352510 A CN201610352510 A CN 201610352510A CN 105915883 A CN105915883 A CN 105915883A
Authority
CN
China
Prior art keywords
dis
dog
log
image
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610352510.4A
Other languages
English (en)
Other versions
CN105915883B (zh
Inventor
周武杰
张爽爽
邱薇薇
潘婷
岑岗
王中鹏
周扬
吴茗蔚
陈芳妮
郑卫红
陈寿法
孙丽慧
葛丁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Qiyuan Network Information Technology Co ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201610352510.4A priority Critical patent/CN105915883B/zh
Publication of CN105915883A publication Critical patent/CN105915883A/zh
Application granted granted Critical
Publication of CN105915883B publication Critical patent/CN105915883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其获取待评价的失真立体图像的左右视点双目融合图像及左右视点双目融合图像的LoG、DoG和GM滤波图像；接着获取LoG、DoG和GM滤波图像各自的旋转不变性局部二值化模式图像及直方图统计特征向量；对于训练集，以相同方式获取每幅失真立体图像对应的三个直方图统计特征向量，采用极限学习机对所有直方图统计特征向量进行训练，利用得到的极限学习机训练模型对待评价的失真立体图像对应的三个直方图统计特征向量进行测试，预测得到客观质量评价预测值；优点是能够充分考虑到立体视觉感知特性，并采用高效的机器学习方法，从而能够有效地提高客观评价结果与主观感知之间的相关性。

Description

基于极限学习和双目融合的盲参考立体图像质量评价方法
技术领域
本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于极限学习和双目融合的盲参考立体图像质量评价方法。
背景技术
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。
由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。现有的方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中进行左右视点的双目结合，如何在在评价过程中有效地提取图像特征信息，如何在预测的过程中使用更有效的机器学习方法，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，并采用高效的机器学习方法，从而能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其特征在于包括以下步骤：
①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
③采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；
④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用对比度增益控制理论，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值；
⑤采用拉普拉斯高斯滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用高斯差分滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用梯度幅值滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥采用局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑦采用直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数；
⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”＞1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维；
⑨将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。
所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。
与现有技术相比，本发明的优点在于：
1)本发明方法采用对比度增益控制理论对失真立体图像的左视点图像和右视点图像、左视点图像的幅值图像和右视点图像的幅值图像、左视点图像与右视点图像之间的视差图像进行融合得到失真立体图像的左右视点双目融合图像，很好地模拟了双目视觉融合特性，能有效地提高客观评价结果与主观感知之间的相关性。
2)本发明方法采用多种视觉特征提取方法，最终提取得到失真立体图像的左右视点双目融合图像对应的三个直方图统计特征向量，这些直方图统计特征向量能很好地反应双目视觉质量变化情况。
3)本发明方法在训练阶段，采用了高效的机器学习方法(极限学习机)，很好地模拟了人眼视觉特性，因此能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。
③采用现有的块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值。
④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用现有的对比度增益控制理论(Constrast Gain-Contorl Theory)，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值。
⑤采用现有的拉普拉斯高斯滤波器(LoG)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用现有的高斯差分滤波器(DoG)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用现有的梯度幅值滤波器(GM)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
⑥采用现有的局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用现有的局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用现有的局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤⑥中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。
⑦采用现有的直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用现有的直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用现有的直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数，在本实施例中取P的值为8。
⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用现有的主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”＞1，如取n”＝10，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维。
⑨极限学习机(ELM)是针对半监督学习方法存在的学习速度缓慢、不确定性递增等问题，提出的一种基于极端学习机的半监督学习方法。将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。
为了进一步验证本发明方法的可行性和有效性，进行实验。
在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。
利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与主观评分相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性

Claims (2)

1.一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其特征在于包括以下步骤：
①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
③采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；
④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用对比度增益控制理论，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值；
⑤采用拉普拉斯高斯滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用高斯差分滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用梯度幅值滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥采用局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑦采用直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数；
⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维；
⑨将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。
2.根据权利要求1所述的基于极限学习和双目融合的盲参考立体图像质量评价方法，其特征在于所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。
CN201610352510.4A 2016-05-25 2016-05-25 基于极限学习和双目融合的盲参考立体图像质量评价方法 Active CN105915883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610352510.4A CN105915883B (zh) 2016-05-25 2016-05-25 基于极限学习和双目融合的盲参考立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610352510.4A CN105915883B (zh) 2016-05-25 2016-05-25 基于极限学习和双目融合的盲参考立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN105915883A true CN105915883A (zh) 2016-08-31
CN105915883B CN105915883B (zh) 2017-10-24

Family

ID=56741548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610352510.4A Active CN105915883B (zh) 2016-05-25 2016-05-25 基于极限学习和双目融合的盲参考立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN105915883B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN110517308A (zh) * 2019-07-12 2019-11-29 重庆邮电大学 一种无参考非对称失真立体图像质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
KR20140148080A (ko) * 2013-06-21 2014-12-31 한국과학기술원 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
KR20140148080A (ko) * 2013-06-21 2014-12-31 한국과학기술원 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN105376563A (zh) * 2015-11-17 2016-03-02 浙江科技学院 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WUJIE ZHOU ET AL.: "PMFS: A Perceptual Modulated Feature Similarity Metric for Stereoscopic Image Quality Assessment", 《IEEE SIGNAL PROCESSING LETTERS》 *
周武杰等: "基于小波图像融合的非对称失真立体图像质量评价方法", 《光电工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578403B (zh) * 2017-08-22 2019-11-08 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN109523513B (zh) * 2018-10-18 2023-08-25 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN110517308A (zh) * 2019-07-12 2019-11-29 重庆邮电大学 一种无参考非对称失真立体图像质量评价方法

Also Published As

Publication number Publication date
CN105915883B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN105979253B (zh) 基于广义回归神经网络的无参考立体图像质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN110148104B (zh) 基于显著性分析与低秩表示的红外与可见光图像融合方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104658002B (zh) 一种无参考图像客观质量评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN107330873B (zh) 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN104581143A (zh) 一种基于机器学习的无参考立体图像质量客观评价方法
CN104811693A (zh) 一种立体图像视觉舒适度客观评价方法
CN105574901A (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN105915883B (zh) 基于极限学习和双目融合的盲参考立体图像质量评价方法
CN103914835B (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN105069794B (zh) 一种基于双目竞争的全盲立体图像质量评价方法
CN106023152A (zh) 一种无参考立体图像质量客观评价方法
CN107590804A (zh) 基于通道特征和卷积神经网络的屏幕图像质量评价方法
CN102999911B (zh) 一种基于能量图的立体图像质量客观评价方法
CN106780432B (zh) 一种基于稀疏特征相似度的立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 510670 room 517, No. 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220908

Address after: 314500 01, No. 4, South Zaoqiang street, No. 1, Nanmen Gongnong Road, Chongfu Town, Tongxiang City, Jiaxing City, Zhejiang Province

Patentee after: Jiaxing Qiyuan Network Information Technology Co.,Ltd.

Address before: 510670 room 517, No. 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.

TR01 Transfer of patent right