CN108848365B - 一种重定位立体图像质量评价方法 - Google Patents

一种重定位立体图像质量评价方法 Download PDF

Info

Publication number
CN108848365B
CN108848365B CN201810543553.XA CN201810543553A CN108848365B CN 108848365 B CN108848365 B CN 108848365B CN 201810543553 A CN201810543553 A CN 201810543553A CN 108848365 B CN108848365 B CN 108848365B
Authority
CN
China
Prior art keywords
stereo
picture
ret
pixel
reorientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810543553.XA
Other languages
English (en)
Other versions
CN108848365A (zh
Inventor
邵枫
富振奇
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daqin Culture and Tourism Engineering Design (Xi'an) Group Co.,Ltd.
Shenzhen Dragon Totem Technology Achievement Transformation Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810543553.XA priority Critical patent/CN108848365B/zh
Publication of CN108848365A publication Critical patent/CN108848365A/zh
Application granted granted Critical
Publication of CN108848365B publication Critical patent/CN108848365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开了一种重定位立体图像质量评价方法，其计算重定位立体图像的左、右视点图像之间的视差图像中的所有遮挡像素点的相对宽度特征、所有匹配像素点的深度差特征和视差幅值特征及视差梯度特征，及计算左视点图像的长宽比相似性和右视点图像的长宽比相似性，得到重定位立体图像的特征矢量；在训练阶段利用支持向量回归对训练集中的特征矢量进行训练；在测试阶段利用构造的支持向量回归训练模型，得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映重定位立体图像的深度感、舒适度和图像质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

Description

一种重定位立体图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种重定位立体图像质量评价方法。
背景技术
随着终端显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位(retargeting)问题。当前解决重定位问题的方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。
传统的平面重定位方法，如裁剪、均匀缩放等，在调整图像的分辨率的同时，将图像的重要区域的几何形变和内容缺失最小化。然而，立体图像的质量不仅包含图像内容本身，而且过大的双目视差、双目不对称以及双眼调节和辐辏冲突等都会严重影响立体图像的观看舒适度；另外，立体图像的深度信息使观看者能够获得更加逼真的临场感，深度失真将会严重影响立体图像的观看效果。因此，相比于平面重定位方法，立体图像重定位技术需要考虑的图像失真因素更多，这也大大增加了立体图像重定位技术的复杂度。因此，如何在评价过程中有效地提取出舒适度和深度等信息，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种重定位立体图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；然后计算{dL(x',y)}中的所有遮挡像素点的相对宽度特征，记为f1， 其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标；
采用K均值聚类方法对{Lret(x',y)}中的所有像素点进行聚类分割，得到{Lret(x',y)}的前景分割对象和背景分割对象，将由{Lret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为ΩF，将由{Lret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为ΩB；然后计算{dL(x',y)}中的所有匹配像素点的深度差特征，记为f2，其中，符号“||”为取绝对值符号，MF表示{Lret(x',y)}的前景分割对象中的像素点的总个数，MB表示{Lret(x',y)}的背景分割对象中的像素点的总个数；
采用分层显著性检测模型提取出{Lret(x',y)}的视觉显著图，记为{SO(x',y)}；然后计算{dL(x',y)}中的所有匹配像素点的视差幅值特征，记为f3，并计算{dL(x',y)}中的所有匹配像素点的视差梯度特征，记为f4，其中，SO(x',y)表示{SO(x',y)}中坐标位置为(x',y)的像素点的像素值，Ω＝ΩF∪ΩB，如果x'+1≤W，则dL(x'+1,y)表示{dL(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令dL(x'+1,y)＝dL(W,y)，dL(W,y)表示{dL(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'-1≥1，则dL(x'-1,y)表示{dL(x',y)}中坐标位置为(x'-1,y)的像素点的像素值；如果x'-1＜1，则令dL(x'-1,y)＝dL(1,y)，dL(1,y)表示{dL(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则dL(x',y+1)表示{dL(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令dL(x',y+1)＝dL(x',H)，dL(x',H)表示{dL(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y-1≥1，则dL(x',y-1)表示{dL(x',y)}中坐标位置为(x',y-1)的像素点的像素值；如果y-1＜1，则令dL(x',y-1)＝dL(x',1)，dL(x',1)表示{dL(x',y)}中坐标位置为(x',1)的像素点的像素值；
步骤三：采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的客观评价预测值，记为f5，f5＝G(Lorg,Lret)；同样，采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的客观评价预测值，记为f6，f6＝G(Rorg,Rret)；其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性；
步骤四：根据f1、f2、f3、f4、f5和f6，获取Sret的特征矢量，记为F，F＝[f1,f2,f3,f4,f5,f6]；其中，F的维数为6×1，[f1,f2,f3,f4,f5,f6]表示将f1,f2,f3,f4,f5,f6连接起来形成一个特征矢量；
步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g1幅重定位立体图像的平均主观评分差值记为并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g1幅重定位立体图像的特征矢量记为其中，n'＞1，n≥n'，g1为正整数，1≤g1≤n， 的维数为6×1；
步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位立体图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m＜n，f()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量Fq的线性函数；
步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。
与现有技术相比，本发明的优点在于：
本发明方法考虑了深度感、舒适度和图像质量对立体图像重定位的影响，通过计算重定位立体图像的左视点图像与右视点图像之间的视差图像中的所有遮挡像素点的相对宽度特征、所有匹配像素点的深度差特征、所有匹配像素点的视差幅值特征、所有匹配像素点的视差梯度特征，及计算原始的立体图像和重定位立体图像各自的左视点图像的长宽比相似性、原始的立体图像和重定位立体图像各自的右视点图像的长宽比相似性，得到重定位立体图像的特征矢量，然后在训练阶段利用支持向量回归对训练集中的特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段利用构造的支持向量回归训练模型，预测得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位立体图像的深度感、舒适度和图像质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种重定位立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：采用现有的基于光流的视差估计算法计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；然后计算{dL(x',y)}中的所有遮挡像素点的相对宽度特征，记为f1，其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标，即{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的坐标位置为(x'*,y)；
采用现有的K均值聚类方法对{Lret(x',y)}中的所有像素点进行聚类分割，得到{Lret(x',y)}的前景分割对象和背景分割对象，将由{Lret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为ΩF，将由{Lret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为ΩB；然后计算{dL(x',y)}中的所有匹配像素点的深度差特征，记为f2，其中，符号“||”为取绝对值符号，MF表示{Lret(x',y)}的前景分割对象中的像素点的总个数，MB表示{Lret(x',y)}的背景分割对象中的像素点的总个数；
采用现有的分层显著性检测(Hierarchical saliency detection)模型提取出{Lret(x',y)}的视觉显著图，记为{SO(x',y)}；然后计算{dL(x',y)}中的所有匹配像素点的视差幅值特征，记为f3，并计算{dL(x',y)}中的所有匹配像素点的视差梯度特征，记为f4，其中，SO(x',y)表示{SO(x',y)}
中坐标位置为(x',y)的像素点的像素值，亦表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视觉显著值，Ω＝ΩF∪ΩB，如果x'+1≤W，则dL(x'+1,y)表示{dL(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令dL(x'+1,y)＝dL(W,y)，dL(W,y)表示{dL(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'-1≥1，则dL(x'-1,y)表示{dL(x',y)}中坐标位置为(x'-1,y)的像素点的像素值；如果x'-1＜1，则令dL(x'-1,y)＝dL(1,y)，dL(1,y)表示{dL(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则dL(x',y+1)表示{dL(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令dL(x',y+1)＝dL(x',H)，dL(x',H)表示{dL(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y-1≥1，则dL(x',y-1)表示{dL(x',y)}中坐标位置为(x',y-1)的像素点的像素值；如果y-1＜1，则令dL(x',y-1)＝dL(x',1)，dL(x',1)表示{dL(x',y)}中坐标位置为(x',1)的像素点的像素值；
步骤三：采用现有的长宽比相似性(Aspect Ratio Similarity)评价方法获取{Lorg(x,y)}和{Lret(x',y)}的客观评价预测值，记为f5，f5＝G(Lorg,Lret)；同样，采用现有的长宽比相似性(Aspect Ratio Similarity)评价方法获取{Rorg(x,y)}和{Rret(x',y)}的客观评价预测值，记为f6，f6＝G(Rorg,Rret)；其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性；
步骤四：根据f1、f2、f3、f4、f5和f6，获取Sret的特征矢量，记为F，F＝[f1,f2,f3,f4,f5,f6]；其中，F的维数为6×1，[f1,f2,f3,f4,f5,f6]表示将f1,f2,f3,f4,f5,f6连接起来形成一个特征矢量；
步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用现有的主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g1幅重定位立体图像的平均主观评分差值记为并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g1幅重定位立体图像的特征矢量记为其中，n'＞1，如取n'＝45，n≥n'，如取n＝720，g1为正整数，1≤g1≤n， 的维数为6×1；
步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位立体图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m＜n，f()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量Fq的线性函数；
步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对宁波大学建立的重定位立体图像数据库进行测试，该重定位立体图像数据库包含45幅原始的立体图像，采用8种不同重定位方法对每幅原始的立体图像进行50％和75％两种比例的重定位操作，这样该重定位立体图像数据库共有720幅重定位立体图像，并给出了每幅重定位立体图像的平均主观评分差值。这里，利用评估图像质量评价方法的3个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、均方误差(root meansquared error，RMSE)，PLCC和RMSE反映重定位立体图像的客观评价结果的准确性，SROCC反映其单调性。
将采用本发明方法计算得到的720幅重定位立体图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性，从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
表1采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性
方法 PLCC SROCC RMSE
本发明方法 0.8237 0.8153 8.4338

Claims (1)

1.一种重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；然后计算{dL(x',y)}中的所有遮挡像素点的相对宽度特征，记为f1， 其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标；
采用K均值聚类方法对{Lret(x',y)}中的所有像素点进行聚类分割，得到{Lret(x',y)}的前景分割对象和背景分割对象，将由{Lret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为ΩF，将由{Lret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为ΩB；然后计算{dL(x',y)}中的所有匹配像素点的深度差特征，记为f2，其中，符号“||”为取绝对值符号，MF表示{Lret(x',y)}的前景分割对象中的像素点的总个数，MB表示{Lret(x',y)}的背景分割对象中的像素点的总个数；
采用分层显著性检测模型提取出{Lret(x',y)}的视觉显著图，记为{SO(x',y)}；然后计算{dL(x',y)}中的所有匹配像素点的视差幅值特征，记为f3，并计算{dL(x',y)}中的所有匹配像素点的视差梯度特征，记为f4，其中，SO(x',y)表示{SO(x',y)}中坐标位置为(x',y)的像素点的像素值，Ω＝ΩF∪ΩB，如果x'+1≤W，则dL(x'+1,y)表示{dL(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令dL(x'+1,y)＝dL(W,y)，dL(W,y)表示{dL(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'-1≥1，则dL(x'-1,y)表示{dL(x',y)}中坐标位置为(x'-1,y)的像素点的像素值；如果x'-1＜1，则令dL(x'-1,y)＝dL(1,y)，dL(1,y)表示{dL(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则dL(x',y+1)表示{dL(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令dL(x',y+1)＝dL(x',H)，dL(x',H)表示{dL(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y-1≥1，则dL(x',y-1)表示{dL(x',y)}中坐标位置为(x',y-1)的像素点的像素值；如果y-1＜1，则令dL(x',y-1)＝dL(x',1)，dL(x',1)表示{dL(x',y)}中坐标位置为(x',1)的像素点的像素值；
步骤三：采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的客观评价预测值，记为f5，f5＝G(Lorg,Lret)；同样，采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的客观评价预测值，记为f6，f6＝G(Rorg,Rret)；其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性；
步骤四：根据f1、f2、f3、f4、f5和f6，获取Sret的特征矢量，记为F，F＝[f1,f2,f3,f4,f5,f6]；其中，F的维数为6×1，[f1,f2,f3,f4,f5,f6]表示将f1,f2,f3,f4,f5,f6连接起来形成一个特征矢量；
步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g1幅重定位立体图像的平均主观评分差值记为；并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g1幅重定位立体图像的特征矢量记为；其中，n'＞1，n≥n'，g1为正整数，1≤g1≤n， 的维数为6×1；
步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位立体图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m＜n，f()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量Fq的线性函数；
步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。
CN201810543553.XA 2018-05-31 2018-05-31 一种重定位立体图像质量评价方法 Active CN108848365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810543553.XA CN108848365B (zh) 2018-05-31 2018-05-31 一种重定位立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810543553.XA CN108848365B (zh) 2018-05-31 2018-05-31 一种重定位立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN108848365A CN108848365A (zh) 2018-11-20
CN108848365B true CN108848365B (zh) 2019-09-10

Family

ID=64211161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543553.XA Active CN108848365B (zh) 2018-05-31 2018-05-31 一种重定位立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN108848365B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944165B (zh) * 2019-11-13 2021-02-19 宁波大学 一种结合感知深度质量的立体图像视觉舒适度提升方法
CN111641822B (zh) * 2020-05-06 2021-08-24 宁波大学 一种重定位立体图像质量评价方法
CN112770105B (zh) * 2020-12-07 2022-06-03 宁波大学 一种基于结构特征的重定位立体图像质量评价方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030530B2 (en) * 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
CN104243976B (zh) * 2014-09-23 2016-04-20 浙江科技学院 一种立体图像客观质量评价方法
CN104394403B (zh) * 2014-11-04 2016-04-27 宁波大学 一种面向压缩失真的立体视频质量客观评价方法
CN106162162B (zh) * 2016-08-01 2017-10-31 宁波大学 一种基于稀疏表示的重定位图像质量客观评价方法
CN107945151B (zh) * 2017-10-26 2020-01-21 宁波大学 一种基于相似性变换的重定位图像质量评价方法

Also Published As

Publication number Publication date
CN108848365A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN103347196B (zh) 一种基于机器学习的立体图像视觉舒适度评价方法
US8953873B2 (en) Method for objectively evaluating quality of stereo image
Xing et al. Assessment of stereoscopic crosstalk perception
Shao et al. QoE-guided warping for stereoscopic image retargeting
CN103780895B (zh) 一种立体视频质量评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN102663747B (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN102750695A (zh) 一种基于机器学习的立体图像质量客观评价方法
CN104754322B (zh) 一种立体视频舒适度评价方法及装置
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN109345502A (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN104394403A (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN104902268A (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN108805825A (zh) 一种重定位图像质量评价方法
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN100583145C (zh) 基于内容相关图像尺寸调整的保真度评测方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN114648482A (zh) 立体全景图像的质量评价方法、系统
CN104581141A (zh) 一种立体图像视觉舒适度评价方法
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法
CN103745457B (zh) 一种立体图像客观质量评价方法
JP2013073598A (ja) 画像処理装置、画像処理方法、及びプログラム
CN105898279B (zh) 一种立体图像质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230612

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

Effective date of registration: 20230612

Address after: Room 2205, Building A, Huixin IBC Building, No.1 Zhangbayi Road, High tech Zone, Xi'an City, Shaanxi Province, 710000

Patentee after: Daqin Culture and Tourism Engineering Design (Xi'an) Group Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

TR01 Transfer of patent right