CN112770105A - 一种基于结构特征的重定位立体图像质量评价方法 - Google Patents

一种基于结构特征的重定位立体图像质量评价方法 Download PDF

Info

Publication number
CN112770105A
CN112770105A CN202011416906.3A CN202011416906A CN112770105A CN 112770105 A CN112770105 A CN 112770105A CN 202011416906 A CN202011416906 A CN 202011416906A CN 112770105 A CN112770105 A CN 112770105A
Authority
CN
China
Prior art keywords
ret
org
coordinate position
pixel
sift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011416906.3A
Other languages
English (en)
Other versions
CN112770105B (zh
Inventor
邵枫
王雪津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202011416906.3A priority Critical patent/CN112770105B/zh
Publication of CN112770105A publication Critical patent/CN112770105A/zh
Application granted granted Critical
Publication of CN112770105B publication Critical patent/CN112770105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于结构特征的重定位立体图像质量评价方法，其计算重定位虚拟视点图像的局部信息保持特征、原始虚拟视点图像的前向信息损失、从原始虚拟视点图像中重构的虚拟视点图像的后向信息损失，获得重定位虚拟视点图像的空间结构特征矢量，计算重定位立体图像的左、右视点图像之间的视差图像中的所有各属于匹配区域、属于视觉舒适区域、属于交叉视差区域的像素点的视差幅值特征及所有属于遮挡区域的像素点的相对宽度特征，获得深度结构特征矢量，最终得到重定位立体图像的结构特征矢量；然后利用支持向量回归对所有结构特征矢量进行训练，得到支持向量回归训练模型；优点是提高了客观评价结果与人眼主观感知之间的相关性。

Description

一种基于结构特征的重定位立体图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于结构特征的重定位立体图像质量评价方法。
背景技术
随着具有不同分辨率和屏幕高宽比的智能手机、平板电脑、电视等终端显示设备的应用普及，当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是适配显示问题。当前典型的适配显示方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些适配显示方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同适配显示方法的性能进行客观评价是十分必要的。
传统的平面重定位方法，如裁剪、均匀缩放等，其在调整图像的分辨率的同时，将图像的重要区域的几何形变和信息损失最小化。然而，立体图像的质量不仅包含图像内容本身，而且过大的双目视差、双目不对称以及双眼调节和辐辏冲突等因素都会严重影响立体图像的观看舒适度。因此，相比于平面重定位方法，立体图像重定位技术需要考虑的几何失真因素更多，这也大大增加了立体图像重定位技术的复杂度。因此，在客观评价过程中如何有效地提取出结构失真信息，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于结构特征的重定位立体图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于结构特征的重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：根据{Lorg(x,y)}与{Rorg(x,y)}之间的双向匹配关系，获得Sorg的虚拟视点图像，记为{Vorg(x,y)}；同样，根据{Lret(x',y)}与{Rret(x',y)}之间的双向匹配关系，获得Sret的虚拟视点图像，记为{Vret(x',y)}；其中，Vorg(x,y)表示{Vorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Vret(x',y)表示{Vret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤三：采用SIFT-Flow方法建立{Vorg(x,y)}与{Vret(x',y)}之间的匹配关系，得到{Vorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Vorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vo(x,y)，
Figure BDA0002820406420000021
然后根据{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Vorg(x,y)}中重构得到虚拟视点图像，记为
Figure BDA0002820406420000022
将
Figure BDA0002820406420000023
中坐标位置为
Figure BDA0002820406420000024
的像素点的像素值记为
Figure BDA0002820406420000025
再找出
Figure BDA0002820406420000026
中的所有空洞像素点，并将值0作为
Figure BDA0002820406420000027
中的每个空洞像素点的像素值；其中，
Figure BDA0002820406420000028
用于表示水平方向，
Figure BDA0002820406420000029
用于表示垂直方向，
Figure BDA00028204064200000210
表示vo(x,y)的水平偏移量，
Figure BDA00028204064200000211
表示vo(x,y)的垂直偏移量，
Figure BDA00028204064200000212
表示
Figure BDA00028204064200000213
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00028204064200000214
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Vret(x',y)}与{Vorg(x,y)}之间的匹配关系，得到{Vret(x',y)}中的每个像素点的SIFT-Flow向量，将{Vret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vr(x',y)，
Figure BDA0002820406420000031
然后根据{Vret(x',y)}中的所有像素点的SIFT-Flow向量，从{Vret(x',y)}中重构得到虚拟视点图像，记为
Figure BDA0002820406420000032
将
Figure BDA0002820406420000033
中坐标位置为
Figure BDA0002820406420000034
的像素点的像素值记为
Figure BDA0002820406420000035
再找出
Figure BDA0002820406420000036
中的所有空洞像素点，并将值0作为
Figure BDA0002820406420000037
中的每个空洞像素点的像素值；其中，
Figure BDA0002820406420000038
表示vr(x',y)的水平偏移量，
Figure BDA0002820406420000039
表示vr(x',y)的垂直偏移量，
Figure BDA00028204064200000310
表示
Figure BDA00028204064200000311
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00028204064200000312
中的“＝”为赋值符号；
步骤四：采用超像素分割技术将{Vorg(x,y)}分割成Num个互不重叠的六边形网格，将{Vorg(x,y)}中的第h个六边形网格构成的区域记为SPorg,h，SPorg,h以其6个网格顶点构成的集合来描述，
Figure BDA00028204064200000313
其中，Num≥1，1≤h≤Num，
Figure BDA00028204064200000314
对应表示SPorg,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure BDA00028204064200000315
以
Figure BDA00028204064200000316
的水平坐标位置
Figure BDA00028204064200000317
和垂直坐标位置
Figure BDA00028204064200000318
来描述，
Figure BDA00028204064200000319
Figure BDA00028204064200000320
以
Figure BDA00028204064200000321
的水平坐标位置
Figure BDA00028204064200000322
和垂直坐标位置
Figure BDA00028204064200000323
来描述，
Figure BDA00028204064200000324
Figure BDA00028204064200000325
以
Figure BDA00028204064200000326
的水平坐标位置
Figure BDA00028204064200000327
和垂直坐标位置
Figure BDA00028204064200000328
来描述，
Figure BDA00028204064200000329
Figure BDA00028204064200000330
以
Figure BDA00028204064200000331
的水平坐标位置
Figure BDA00028204064200000332
和垂直坐标位置
Figure BDA00028204064200000333
来描述，
Figure BDA00028204064200000334
Figure BDA00028204064200000335
以
Figure BDA00028204064200000336
的水平坐标位置
Figure BDA00028204064200000337
和垂直坐标位置
Figure BDA00028204064200000338
来描述，
Figure BDA00028204064200000339
Figure BDA00028204064200000340
以
Figure BDA00028204064200000341
的水平坐标位置
Figure BDA00028204064200000342
和垂直坐标位置
Figure BDA00028204064200000343
来描述，
Figure BDA00028204064200000344
然后根据{Vorg(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格，将{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域记为SPret,h，SPret,h以其6个网格顶点构成的集合来描述，
Figure BDA0002820406420000041
其中，
Figure BDA0002820406420000042
对应表示SPret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure BDA0002820406420000043
以
Figure BDA0002820406420000044
的水平坐标位置
Figure BDA0002820406420000045
和垂直坐标位置
Figure BDA0002820406420000046
来描述，
Figure BDA0002820406420000047
Figure BDA0002820406420000048
以
Figure BDA0002820406420000049
的水平坐标位置
Figure BDA00028204064200000410
和垂直坐标位置
Figure BDA00028204064200000411
来描述，
Figure BDA00028204064200000412
Figure BDA00028204064200000413
Figure BDA00028204064200000414
以
Figure BDA00028204064200000415
的水平坐标位置
Figure BDA00028204064200000416
和垂直坐标位置
Figure BDA00028204064200000417
来描述，
Figure BDA00028204064200000418
Figure BDA00028204064200000419
Figure BDA00028204064200000420
以
Figure BDA00028204064200000421
的水平坐标位置
Figure BDA00028204064200000422
和垂直坐标位置
Figure BDA00028204064200000423
来描述，
Figure BDA00028204064200000424
Figure BDA00028204064200000425
Figure BDA00028204064200000426
以
Figure BDA00028204064200000427
的水平坐标位置
Figure BDA00028204064200000428
和垂直坐标位置
Figure BDA00028204064200000429
来描述，
Figure BDA00028204064200000430
Figure BDA00028204064200000431
以
Figure BDA00028204064200000432
的水平坐标位置
Figure BDA00028204064200000433
和垂直坐标位置
Figure BDA00028204064200000434
来描述，
Figure BDA00028204064200000435
Figure BDA00028204064200000436
Figure BDA00028204064200000437
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000438
的像素点的SIFT-Flow向量
Figure BDA00028204064200000439
的水平偏移量，
Figure BDA00028204064200000440
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000441
的像素点的SIFT-Flow向量
Figure BDA00028204064200000442
的垂直偏移量，
Figure BDA00028204064200000443
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000444
的像素点的SIFT-Flow向量
Figure BDA00028204064200000445
的水平偏移量，
Figure BDA00028204064200000446
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000447
的像素点的SIFT-Flow向量
Figure BDA00028204064200000448
的垂直偏移量，
Figure BDA0002820406420000051
表示{Vorg(x,y)}中坐标位置为
Figure BDA0002820406420000052
的像素点的SIFT-Flow向量
Figure BDA0002820406420000053
的水平偏移量，
Figure BDA0002820406420000054
表示{Vorg(x,y)}中坐标位置为
Figure BDA0002820406420000055
的像素点的SIFT-Flow向量
Figure BDA0002820406420000056
的垂直偏移量，
Figure BDA0002820406420000057
表示{Vorg(x,y)}中坐标位置为
Figure BDA0002820406420000058
的像素点的SIFT-Flow向量
Figure BDA0002820406420000059
的水平偏移量，
Figure BDA00028204064200000510
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000511
的像素点的SIFT-Flow向量
Figure BDA00028204064200000512
的垂直偏移量，
Figure BDA00028204064200000513
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000514
的像素点的SIFT-Flow向量
Figure BDA00028204064200000515
的水平偏移量，
Figure BDA00028204064200000516
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000517
的像素点的SIFT-Flow向量
Figure BDA00028204064200000518
的垂直偏移量，
Figure BDA00028204064200000519
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000520
的像素点的SIFT-Flow向量
Figure BDA00028204064200000521
的水平偏移量，
Figure BDA00028204064200000522
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200000523
的像素点的SIFT-Flow向量
Figure BDA00028204064200000524
的垂直偏移量；
步骤五：采用基于图论的视觉显著模型提取出{Vorg(x,y)}的显著图，记为{Zorg(x,y)}；其中，Zorg(x,y)表示{Zorg(x,y)}中坐标位置为(x,y)的像素点的像素值；
然后根据{Zorg(x,y)}和{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Zorg(x,y)}中重构得到{Vret(x',y)}的显著图，记为{Zret(x',y)}，将{Zret(x',y)}中坐标位置为
Figure BDA00028204064200000525
的像素点的像素值记为
Figure BDA00028204064200000526
Figure BDA00028204064200000527
其中，Zret(x',y)表示{Zret(x',y)}中坐标位置为(x',y)的像素点的像素值，
Figure BDA00028204064200000528
中的“＝”为赋值符号；
步骤六：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图；然后根据两幅重要性区域掩码图，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，进而计算{Vret(x',y)}的局部信息保持特征；通过计算{Vret(x',y)}和
Figure BDA0002820406420000061
各自中的所有像素点的亮度分量的直方图，计算{Vorg(x,y)}的前向信息损失；并通过计算{Vorg(x,y)}和
Figure BDA0002820406420000062
各自中的所有像素点的亮度分量的直方图，计算
Figure BDA0002820406420000063
的后向信息损失；再根据{Vret(x',y)}的局部信息保持特征、{Vorg(x,y)}的前向信息损失、
Figure BDA0002820406420000064
的后向信息损失，获得{Vret(x',y)}的空间结构特征矢量，记为FG；其中，FG的维数为1×3；
步骤七：根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}中的每个像素点的深度值；然后根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征；并根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像及{Lret(x',y)}中的所有像素点的深度值，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征和所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征；再根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征、所有属于遮挡区域的像素点的相对宽度特征，获得{Vret(x',y)}的深度结构特征矢量，记为FD；其中，FD的维数为1×4；
步骤八：根据FG和FD，获取Sret的结构特征矢量，记为F，F＝[FG,FD]；其中，F的维数为1×7，[FG,FD]表示将FG和FD连接起来形成一个特征矢量；
步骤九：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤八的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的结构特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的结构特征矢量记为Fj；其中，n'为正整数，n'＞1，n为正整数，n≥n'，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×7；
步骤十：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的结构特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有结构特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002820406420000071
和最优的偏置项
Figure BDA0002820406420000072
再利用得到的最优的权重矢量
Figure BDA0002820406420000073
和最优的偏置项
Figure BDA0002820406420000074
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure BDA0002820406420000075
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的结构特征矢量，Finp的维数为1×7，
Figure BDA0002820406420000076
为
Figure BDA0002820406420000077
的转置，
Figure BDA0002820406420000078
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤十一：将测试集中的所有重定位立体图像的结构特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个结构特征矢量进行测试，预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个结构特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure BDA0002820406420000079
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个结构特征矢量，Fη的维数为1×7，
Figure BDA00028204064200000710
表示Fη的线性函数；
步骤十二：重复执行步骤十至步骤十一共Number次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Number为正整数，Number≥100。
所述的步骤二中，{Vorg(x,y)}的获取过程为：
步骤A1：采用SIFT-Flow方法建立{Lorg(x,y)}与{Rorg(x,y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000081
Figure BDA0002820406420000082
其中，
Figure BDA0002820406420000083
用于表示水平方向，
Figure BDA0002820406420000084
用于表示垂直方向，
Figure BDA0002820406420000085
表示
Figure BDA0002820406420000086
的水平偏移量，
Figure BDA0002820406420000087
表示
Figure BDA0002820406420000088
的垂直偏移量；
步骤A2：采用SIFT-Flow方法建立{Rorg(x,y)}与{Lorg(x,y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000089
Figure BDA00028204064200000810
其中，
Figure BDA00028204064200000811
表示
Figure BDA00028204064200000812
的水平偏移量，
Figure BDA00028204064200000813
表示
Figure BDA00028204064200000814
的垂直偏移量；
步骤A3：根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量和{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，获得Sorg的虚拟视点图像{Vorg(x,y)}，
Figure BDA00028204064200000815
其中，
Figure BDA00028204064200000827
Figure BDA00028204064200000828
Figure BDA00028204064200000816
Figure BDA00028204064200000817
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200000818
的像素点的SIFT-Flow向量
Figure BDA00028204064200000819
的水平偏移量，
Figure BDA00028204064200000820
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200000821
的像素点的SIFT-Flow向量
Figure BDA00028204064200000822
的垂直偏移量，
Figure BDA00028204064200000823
表示{Lorg(x,y)}中坐标位置为
Figure BDA00028204064200000824
的像素点的像素值，
Figure BDA00028204064200000825
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200000826
的像素点的像素值；
所述的步骤二中，{Vret(x',y)}的获取过程为：
步骤B1：采用SIFT-Flow方法建立{Lret(x',y)}与{Rret(x',y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000091
Figure BDA0002820406420000092
其中，
Figure BDA0002820406420000093
用于表示水平方向，
Figure BDA0002820406420000094
用于表示垂直方向，
Figure BDA0002820406420000095
表示
Figure BDA0002820406420000096
的水平偏移量，
Figure BDA0002820406420000097
表示
Figure BDA0002820406420000098
的垂直偏移量；
步骤B2：采用SIFT-Flow方法建立{Rret(x',y)}与{Lret(x',y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000099
Figure BDA00028204064200000910
其中，
Figure BDA00028204064200000911
表示
Figure BDA00028204064200000912
的水平偏移量，
Figure BDA00028204064200000913
表示
Figure BDA00028204064200000914
的垂直偏移量；
步骤B3：根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量和{Rret(x',y)}中的所有像素点的SIFT-Flow向量，获得Sret的虚拟视点图像{Vret(x',y)}，
Figure BDA00028204064200000915
其中，
Figure BDA00028204064200000916
Figure BDA00028204064200000917
Figure BDA00028204064200000918
Figure BDA00028204064200000919
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200000920
的像素点的SIFT-Flow向量
Figure BDA00028204064200000921
的水平偏移量，
Figure BDA00028204064200000922
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200000923
的像素点的SIFT-Flow向量
Figure BDA00028204064200000924
的垂直偏移量，
Figure BDA00028204064200000925
表示{Lret(x',y)}中坐标位置为
Figure BDA00028204064200000926
的像素点的像素值，
Figure BDA00028204064200000927
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200000928
的像素点的像素值。
所述的步骤六中，FG的获取过程为：
步骤C1：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，记为{Borg(x,y)}，将{Borg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Borg(x,y)，
Figure BDA0002820406420000101
并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图，记为{Bret(x',y)}，将{Bret(x',y)}中坐标位置为(x',y)的像素点的像素值记为Bret(x',y)，
Figure BDA0002820406420000102
其中，th表示阈值；
步骤C2：根据{Borg(x,y)}和{Bret(x',y)}，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，将SPret,h的局部信息保持特征记为gh，
Figure BDA0002820406420000103
其中，
Figure BDA0002820406420000104
表示计算{Borg(x,y)}中与SPorg,h对应的区域中像素值为1的所有像素点占该区域的面积大小，
Figure BDA0002820406420000105
表示计算{Bret(x',y)}中与SPret,h对应的区域中像素值为1的所有像素点占该区域的面积大小，C为控制参数；
步骤C3：计算{Vret(x',y)}的局部信息保持特征，记为f1，
Figure BDA0002820406420000106
步骤C4：计算{Vorg(x,y)}中的所有像素点的亮度分量的直方图，记为qorg；同样，计算
Figure BDA0002820406420000107
中的所有像素点的亮度分量的直方图，记为
Figure BDA0002820406420000108
计算{Vret(x',y)}中的所有像素点的亮度分量的直方图，记为qret；同样，计算
Figure BDA0002820406420000109
中的所有像素点的亮度分量的直方图，记为
Figure BDA00028204064200001010
其中，qorg、
Figure BDA00028204064200001011
qret和
Figure BDA00028204064200001012
的维数均为1×256；
步骤C5：计算{Vorg(x,y)}的前向信息损失，记为f2，
Figure BDA00028204064200001013
并计算
Figure BDA00028204064200001014
的后向信息损失，记为f3，
Figure BDA00028204064200001015
其中，χ()为求卡方距离函数；
步骤C6：根据f1、f2和f3，获得{Vret(x',y)}的空间结构特征矢量FG，FG＝[f1,f2,f3]；其中，FG的维数为1×3，[f1,f2,f3]表示将f1、f2和f3连接起来形成一个特征矢量。
所述的步骤七中，FD的获取过程为：
步骤D1：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；再将{dL(x',y)}中的所有匹配像素点构成匹配区域，将{dL(x',y)}中的所有遮挡像素点构成遮挡区域；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中找到的匹配的像素点的横坐标；
步骤D2：根据{dL(x',y)}，计算{Lret(x',y)}中的每个像素点的深度值，将{Lret(x',y)}中坐标位置为(x',y)的像素点的深度值记为depthL(x',y)，
Figure BDA0002820406420000111
其中，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，J表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wdisplay表示显示器的水平宽度，Rdisplay表示显示器的水平分辨率；
步骤D3：计算{dL(x',y)}中的所有属于匹配区域的像素点的视差幅值特征，记为f4，
Figure BDA0002820406420000112
其中，符号“||”为取绝对值符号，
Figure BDA0002820406420000113
步骤D4：计算{dL(x',y)}中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征，记为f5，
Figure BDA0002820406420000121
其中，匹配区域中的视觉舒适区域满足条件
Figure BDA0002820406420000122
CVZmin表示最小舒适观看区域范围，
Figure BDA0002820406420000123
η1表示最小舒适观看视角，CVZmax表示最大舒适观看区域范围，
Figure BDA0002820406420000124
η2表示最大舒适观看视角；
步骤D5：计算{dL(x',y)}中的所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征，记为f6，
Figure BDA0002820406420000125
其中，匹配区域中的交叉视差区域满足条件
Figure BDA0002820406420000126
步骤D6：计算{dL(x',y)}中的所有属于遮挡区域的像素点的相对宽度特征，记为f7，
Figure BDA0002820406420000127
其中，
Figure BDA0002820406420000128
步骤D7：根据f4、f5、f6和f7，获得{Vret(x',y)}的深度结构特征矢量FD，FD＝[f4,f5,f6,f7]；其中，FD的维数为1×4，[f4,f5,f6,f7]表示将f4、f5、f6和f7连接起来形成一个特征矢量。
与现有技术相比，本发明的优点在于：
本发明方法考虑了结构失真对立体图像重定位的影响，通过从原始的立体图像和重定位立体图像中获得对应的虚拟视点图像，计算重定位的虚拟视点图像的局部信息保持特征、原始的虚拟视点图像的前向信息损失、从原始的虚拟视点图像中重构得到的虚拟视点图像的后向信息损失，获得重定位的虚拟视点图像的空间结构特征矢量，计算重定位立体图像的左视点图像与右视点图像之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征，获得重定位的虚拟视点图像的深度结构特征矢量，最终得到重定位立体图像的结构特征矢量；然后在训练阶段利用支持向量回归对训练样本数据集合中的所有结构特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段利用构造的支持向量回归训练模型，预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的结构特征矢量具有较强的稳定性且能够较好地反映重定位立体图像的结构失真情况，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于结构特征的重定位立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值。
步骤二：根据{Lorg(x,y)}与{Rorg(x,y)}之间的双向匹配关系，获得Sorg的虚拟视点图像，记为{Vorg(x,y)}；同样，根据{Lret(x',y)}与{Rret(x',y)}之间的双向匹配关系，获得Sret的虚拟视点图像，记为{Vret(x',y)}；其中，Vorg(x,y)表示{Vorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Vret(x',y)表示{Vret(x',y)}中坐标位置为(x',y)的像素点的像素值。
在此具体实施例中，步骤二中，{Vorg(x,y)}的获取过程为：
步骤A1：采用现有的SIFT-Flow方法建立{Lorg(x,y)}与{Rorg(x,y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000141
Figure BDA0002820406420000142
其中，
Figure BDA0002820406420000143
用于表示水平方向，
Figure BDA0002820406420000144
用于表示垂直方向，
Figure BDA0002820406420000145
表示
Figure BDA0002820406420000146
的水平偏移量，
Figure BDA0002820406420000147
表示
Figure BDA0002820406420000148
的垂直偏移量。
步骤A2：采用现有的SIFT-Flow方法建立{Rorg(x,y)}与{Lorg(x,y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000149
Figure BDA00028204064200001410
其中，
Figure BDA00028204064200001411
表示
Figure BDA00028204064200001412
的水平偏移量，
Figure BDA00028204064200001413
表示
Figure BDA00028204064200001414
的垂直偏移量。
步骤A3：根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量和{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，获得Sorg的虚拟视点图像{Vorg(x,y)}，
Figure BDA00028204064200001415
其中，
Figure BDA00028204064200001416
Figure BDA00028204064200001417
Figure BDA00028204064200001418
Figure BDA00028204064200001419
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200001420
的像素点的SIFT-Flow向量
Figure BDA00028204064200001421
的水平偏移量，
Figure BDA00028204064200001422
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200001423
的像素点的SIFT-Flow向量
Figure BDA00028204064200001424
的垂直偏移量，
Figure BDA00028204064200001425
表示{Lorg(x,y)}中坐标位置为
Figure BDA00028204064200001426
的像素点的像素值，
Figure BDA00028204064200001427
表示{Rorg(x,y)}中坐标位置为
Figure BDA00028204064200001428
的像素点的像素值。
在此具体实施例中，步骤二中，{Vret(x',y)}的获取过程为：
步骤B1：采用现有的SIFT-Flow方法建立{Lret(x',y)}与{Rret(x',y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000151
Figure BDA0002820406420000152
其中，
Figure BDA0002820406420000153
用于表示水平方向，
Figure BDA0002820406420000154
用于表示垂直方向，
Figure BDA0002820406420000155
表示
Figure BDA0002820406420000156
的水平偏移量，
Figure BDA0002820406420000157
表示
Figure BDA0002820406420000158
的垂直偏移量。
步骤B2：采用现有的SIFT-Flow方法建立{Rret(x',y)}与{Lret(x',y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA0002820406420000159
Figure BDA00028204064200001510
其中，
Figure BDA00028204064200001511
表示
Figure BDA00028204064200001512
的水平偏移量，
Figure BDA00028204064200001513
表示
Figure BDA00028204064200001514
的垂直偏移量。
步骤B3：根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量和{Rret(x',y)}中的所有像素点的SIFT-Flow向量，获得Sret的虚拟视点图像{Vret(x',y)}，
Figure BDA00028204064200001515
其中，
Figure BDA00028204064200001516
Figure BDA00028204064200001517
Figure BDA00028204064200001518
Figure BDA00028204064200001519
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200001520
的像素点的SIFT-Flow向量
Figure BDA00028204064200001521
的水平偏移量，
Figure BDA00028204064200001522
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200001523
的像素点的SIFT-Flow向量
Figure BDA00028204064200001524
的垂直偏移量，
Figure BDA00028204064200001525
表示{Lret(x',y)}中坐标位置为
Figure BDA00028204064200001526
的像素点的像素值，
Figure BDA00028204064200001527
表示{Rret(x',y)}中坐标位置为
Figure BDA00028204064200001528
的像素点的像素值。
步骤三：采用现有的SIFT-Flow方法建立{Vorg(x,y)}与{Vret(x',y)}之间的匹配关系，得到{Vorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Vorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vo(x,y)，
Figure BDA00028204064200001529
然后根据{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Vorg(x,y)}中重构得到虚拟视点图像，记为
Figure BDA0002820406420000161
将
Figure BDA0002820406420000162
中坐标位置为
Figure BDA0002820406420000163
的像素点的像素值记为
Figure BDA0002820406420000164
再找出
Figure BDA0002820406420000165
中的所有空洞像素点，并将值0作为
Figure BDA0002820406420000166
中的每个空洞像素点的像素值；其中，
Figure BDA0002820406420000167
用于表示水平方向，
Figure BDA0002820406420000168
用于表示垂直方向，
Figure BDA0002820406420000169
表示vo(x,y)的水平偏移量，
Figure BDA00028204064200001610
表示vo(x,y)的垂直偏移量，
Figure BDA00028204064200001611
表示
Figure BDA00028204064200001612
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00028204064200001613
中的“＝”为赋值符号。
同样，采用现有的SIFT-Flow方法建立{Vret(x',y)}与{Vorg(x,y)}之间的匹配关系，得到{Vret(x',y)}中的每个像素点的SIFT-Flow向量，将{Vret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vr(x',y)，
Figure BDA00028204064200001614
然后根据{Vret(x',y)}中的所有像素点的SIFT-Flow向量，从{Vret(x',y)}中重构得到虚拟视点图像，记为
Figure BDA00028204064200001615
将
Figure BDA00028204064200001616
中坐标位置为
Figure BDA00028204064200001617
的像素点的像素值记为
Figure BDA00028204064200001618
再找出
Figure BDA00028204064200001619
中的所有空洞像素点，并将值0作为
Figure BDA00028204064200001620
中的每个空洞像素点的像素值；其中，
Figure BDA00028204064200001621
表示vr(x',y)的水平偏移量，
Figure BDA00028204064200001622
表示vr(x',y)的垂直偏移量，
Figure BDA00028204064200001623
表示
Figure BDA00028204064200001624
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00028204064200001625
中的“＝”为赋值符号。
步骤四：采用现有的超像素分割技术将{Vorg(x,y)}分割成Num个互不重叠的六边形网格，将{Vorg(x,y)}中的第h个六边形网格构成的区域记为SPorg,h，可将{Vorg(x,y)}表示为Num个区域的集合，记为{SPorg,h|1≤h≤Num}，SPorg,h以其6个网格顶点构成的集合来描述，
Figure BDA00028204064200001626
其中，Num≥1，在本实施例中取Num＝400，1≤h≤Num，
Figure BDA0002820406420000171
对应表示SPorg,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure BDA0002820406420000172
以
Figure BDA0002820406420000173
的水平坐标位置
Figure BDA0002820406420000174
和垂直坐标位置
Figure BDA0002820406420000175
来描述，
Figure BDA0002820406420000176
Figure BDA0002820406420000177
以
Figure BDA0002820406420000178
的水平坐标位置
Figure BDA0002820406420000179
和垂直坐标位置
Figure BDA00028204064200001710
来描述，
Figure BDA00028204064200001711
Figure BDA00028204064200001712
以
Figure BDA00028204064200001713
的水平坐标位置
Figure BDA00028204064200001714
和垂直坐标位置
Figure BDA00028204064200001715
来描述，
Figure BDA00028204064200001716
Figure BDA00028204064200001717
以
Figure BDA00028204064200001718
的水平坐标位置
Figure BDA00028204064200001719
和垂直坐标位置
Figure BDA00028204064200001720
来描述，
Figure BDA00028204064200001721
Figure BDA00028204064200001722
以
Figure BDA00028204064200001723
的水平坐标位置
Figure BDA00028204064200001724
和垂直坐标位置
Figure BDA00028204064200001725
来描述，
Figure BDA00028204064200001726
Figure BDA00028204064200001727
以
Figure BDA00028204064200001728
的水平坐标位置
Figure BDA00028204064200001729
和垂直坐标位置
Figure BDA00028204064200001730
来描述，
Figure BDA00028204064200001731
然后根据{Vorg(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格，将{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域记为SPret,h，可将{Vret(x',y)}表示为Num个区域的集合，记为{SPret,h|1≤h≤Num}，SPret,h以其6个网格顶点构成的集合来描述，
Figure BDA00028204064200001732
其中，
Figure BDA00028204064200001733
对应表示SPret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure BDA00028204064200001734
以
Figure BDA00028204064200001735
的水平坐标位置
Figure BDA00028204064200001736
和垂直坐标位置
Figure BDA00028204064200001737
来描述，
Figure BDA00028204064200001738
Figure BDA00028204064200001739
Figure BDA00028204064200001740
以
Figure BDA00028204064200001741
的水平坐标位置
Figure BDA00028204064200001742
和垂直坐标位置
Figure BDA00028204064200001743
来描述，
Figure BDA00028204064200001744
Figure BDA00028204064200001745
Figure BDA00028204064200001746
以
Figure BDA00028204064200001747
的水平坐标位置
Figure BDA00028204064200001748
和垂直坐标位置
Figure BDA00028204064200001749
来描述，
Figure BDA00028204064200001750
Figure BDA00028204064200001751
Figure BDA00028204064200001752
以
Figure BDA00028204064200001753
的水平坐标位置
Figure BDA00028204064200001754
和垂直坐标位置
Figure BDA00028204064200001755
来描述，
Figure BDA0002820406420000181
Figure BDA0002820406420000182
以
Figure BDA0002820406420000183
的水平坐标位置
Figure BDA0002820406420000184
和垂直坐标位置
Figure BDA0002820406420000185
来描述，
Figure BDA0002820406420000186
Figure BDA0002820406420000187
Figure BDA0002820406420000188
以
Figure BDA0002820406420000189
的水平坐标位置
Figure BDA00028204064200001810
和垂直坐标位置
Figure BDA00028204064200001811
来描述，
Figure BDA00028204064200001812
Figure BDA00028204064200001813
Figure BDA00028204064200001814
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001815
的像素点的SIFT-Flow向量
Figure BDA00028204064200001816
的水平偏移量，
Figure BDA00028204064200001817
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001818
的像素点的SIFT-Flow向量
Figure BDA00028204064200001819
的垂直偏移量，
Figure BDA00028204064200001820
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001821
的像素点的SIFT-Flow向量
Figure BDA00028204064200001822
的水平偏移量，
Figure BDA00028204064200001823
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001824
的像素点的SIFT-Flow向量
Figure BDA00028204064200001825
的垂直偏移量，
Figure BDA00028204064200001826
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001827
的像素点的SIFT-Flow向量
Figure BDA00028204064200001828
的水平偏移量，
Figure BDA00028204064200001829
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001830
的像素点的SIFT-Flow向量
Figure BDA00028204064200001831
的垂直偏移量，
Figure BDA00028204064200001832
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001833
的像素点的SIFT-Flow向量
Figure BDA00028204064200001834
的水平偏移量，
Figure BDA00028204064200001835
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001836
的像素点的SIFT-Flow向量
Figure BDA00028204064200001837
的垂直偏移量，
Figure BDA00028204064200001838
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001839
的像素点的SIFT-Flow向量
Figure BDA00028204064200001840
的水平偏移量，
Figure BDA00028204064200001841
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001842
的像素点的SIFT-Flow向量
Figure BDA00028204064200001843
的垂直偏移量，
Figure BDA00028204064200001844
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001845
的像素点的SIFT-Flow向量
Figure BDA00028204064200001846
的水平偏移量，
Figure BDA00028204064200001847
表示{Vorg(x,y)}中坐标位置为
Figure BDA00028204064200001848
的像素点的SIFT-Flow向量
Figure BDA00028204064200001849
的垂直偏移量。
步骤五：采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{Vorg(x,y)}的显著图，记为{Zorg(x,y)}；其中，Zorg(x,y)表示{Zorg(x,y)}中坐标位置为(x,y)的像素点的像素值。
然后根据{Zorg(x,y)}和{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Zorg(x,y)}中重构得到{Vret(x',y)}的显著图，记为{Zret(x',y)}，将{Zret(x',y)}中坐标位置为
Figure BDA0002820406420000191
的像素点的像素值记为
Figure BDA0002820406420000192
Figure BDA0002820406420000193
其中，Zret(x',y)表示{Zret(x',y)}中坐标位置为(x',y)的像素点的像素值，
Figure BDA0002820406420000194
中的“＝”为赋值符号。
步骤六：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图；然后根据两幅重要性区域掩码图，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，进而计算{Vret(x',y)}的局部信息保持特征；通过计算{Vret(x',y)}和
Figure BDA0002820406420000195
各自中的所有像素点的亮度分量的直方图，计算{Vorg(x,y)}的前向信息损失；并通过计算{Vorg(x,y)}和
Figure BDA0002820406420000196
各自中的所有像素点的亮度分量的直方图，计算
Figure BDA0002820406420000197
的后向信息损失；再根据{Vret(x',y)}的局部信息保持特征、{Vorg(x,y)}的前向信息损失、
Figure BDA0002820406420000199
的后向信息损失，获得{Vret(x',y)}的空间结构特征矢量，记为FG；其中，FG的维数为1×3。
在此具体实施例中，步骤六中，FG的获取过程为：
步骤C1：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，记为{Borg(x,y)}，将{Borg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Borg(x,y)，
Figure BDA0002820406420000198
并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图，记为{Bret(x',y)}，将{Bret(x',y)}中坐标位置为(x',y)的像素点的像素值记为Bret(x',y)，
Figure BDA0002820406420000201
其中，th表示阈值，在本实施例中取th＝0.25。
步骤C2：根据{Borg(x,y)}和{Bret(x',y)}，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，将SPret,h的局部信息保持特征记为gh，
Figure BDA0002820406420000202
其中，
Figure BDA0002820406420000203
表示计算{Borg(x,y)}中与SPorg,h对应的区域中像素值为1的所有像素点占该区域的面积大小，
Figure BDA0002820406420000204
表示计算{Bret(x',y)}中与SPret,h对应的区域中像素值为1的所有像素点占该区域的面积大小，C为控制参数，在本实施例中取C＝10-6。
步骤C3：计算{Vret(x',y)}的局部信息保持特征，记为f1，
Figure BDA0002820406420000205
步骤C4：计算{Vorg(x,y)}中的所有像素点的亮度分量的直方图，记为qorg；同样，计算
Figure BDA0002820406420000206
中的所有像素点的亮度分量的直方图，记为
Figure BDA0002820406420000207
计算{Vret(x',y)}中的所有像素点的亮度分量的直方图，记为qret；同样，计算
Figure BDA0002820406420000208
中的所有像素点的亮度分量的直方图，记为
Figure BDA0002820406420000209
其中，qorg、
Figure BDA00028204064200002010
qret和
Figure BDA00028204064200002011
的维数均为1×256。
步骤C5：计算{Vorg(x,y)}的前向信息损失，记为f2，
Figure BDA00028204064200002012
并计算
Figure BDA00028204064200002013
的后向信息损失，记为f3，
Figure BDA00028204064200002014
其中，χ()为求卡方距离(Chi-distance measure)函数。
步骤C6：根据f1、f2和f3，获得{Vret(x',y)}的空间结构特征矢量FG，FG＝[f1,f2,f3]；其中，FG的维数为1×3，[f1,f2,f3]表示将f1、f2和f3连接起来形成一个特征矢量。
步骤七：根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}中的每个像素点的深度值；然后根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征；并根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像及{Lret(x',y)}中的所有像素点的深度值，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征和所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征；再根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征、所有属于遮挡区域的像素点的相对宽度特征，获得{Vret(x',y)}的深度结构特征矢量，记为FD；其中，FD的维数为1×4。
在此具体实施例中，步骤七中，FD的获取过程为：
步骤D1：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；再将{dL(x',y)}中的所有匹配像素点构成匹配区域，将{dL(x',y)}中的所有遮挡像素点构成遮挡区域；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中找到的匹配的像素点的横坐标。
步骤D2：根据{dL(x',y)}，计算{Lret(x',y)}中的每个像素点的深度值，将{Lret(x',y)}中坐标位置为(x',y)的像素点的深度值记为depthL(x',y)，
Figure BDA0002820406420000221
其中，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，J表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wdisplay表示显示器的水平宽度，Rdisplay表示显示器的水平分辨率，在本实施例中的e、J、Wdisplay和Rdisplay的值根据具体的立体图像和观看条件确定。
步骤D3：计算{dL(x',y)}中的所有属于匹配区域的像素点的视差幅值特征，记为f4，
Figure BDA0002820406420000222
其中，符号“||”为取绝对值符号，
Figure BDA0002820406420000223
步骤D4：计算{dL(x',y)}中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征，记为f5，
Figure BDA0002820406420000224
其中，匹配区域中的视觉舒适区域满足条件
Figure BDA0002820406420000225
CVZmin表示最小舒适观看区域范围，
Figure BDA0002820406420000226
η1表示最小舒适观看视角，在本实施例中取η1＝-1°，CVZmax表示最大舒适观看区域范围，
Figure BDA0002820406420000227
η2表示最大舒适观看视角，在本实施例中取η2＝1°。
步骤D5：计算{dL(x',y)}中的所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征，记为f6，
Figure BDA0002820406420000231
其中，匹配区域中的交叉视差区域满足条件
Figure BDA0002820406420000232
步骤D6：计算{dL(x',y)}中的所有属于遮挡区域的像素点的相对宽度特征，记为f7，
Figure BDA0002820406420000233
其中，
Figure BDA0002820406420000234
步骤D7：根据f4、f5、f6和f7，获得{Vret(x',y)}的深度结构特征矢量FD，FD＝[f4,f5,f6,f7]；其中，FD的维数为1×4，[f4,f5,f6,f7]表示将f4、f5、f6和f7连接起来形成一个特征矢量。
步骤八：根据FG和FD，获取Sret的结构特征矢量，记为F，F＝[FG,FD]；其中，F的维数为1×7，[FG,FD]表示将FG和FD连接起来形成一个特征矢量。
步骤九：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用现有的主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤八的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的结构特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的结构特征矢量记为Fj；其中，n'为正整数，n'＞1，如取n'＝45，n为正整数，n≥n'，如取n＝720，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×7。
步骤十：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的结构特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有结构特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002820406420000241
和最优的偏置项
Figure BDA0002820406420000242
再利用得到的最优的权重矢量
Figure BDA0002820406420000243
和最优的偏置项
Figure BDA0002820406420000244
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure BDA0002820406420000245
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的结构特征矢量，Finp的维数为1×7，
Figure BDA0002820406420000246
为
Figure BDA0002820406420000247
的转置，
Figure BDA0002820406420000248
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数。
步骤十一：将测试集中的所有重定位立体图像的结构特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个结构特征矢量进行测试，预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个结构特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure BDA0002820406420000249
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个结构特征矢量，Fη的维数为1×7，
Figure BDA00028204064200002410
表示Fη的线性函数。
步骤十二：重复执行步骤十至步骤十一共Number次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Number为正整数，Number≥100。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对宁波大学建立的重定位立体图像数据库进行测试，该重定位立体图像数据库包含45幅原始的立体图像，采用8种不同重定位方法对每幅原始的立体图像进行50％和75％两种比例的重定位操作，这样该重定位立体图像数据库共有720幅重定位立体图像，并给出了每幅重定位立体图像的平均主观评分差值。这里，利用评估图像质量评价方法的3个常用客观参量作为客观评价结果的评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、均方误差(root meansquared error，RMSE)，PLCC和RMSE反映重定位立体图像的客观评价结果的准确性，SROCC反映其单调性。
将采用本发明方法计算得到的720幅重定位立体图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性。
表1采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性
方法 PLCC SROCC RMSE
本发明方法 0.8076 0.7986 8.7806
从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

Claims (4)

1.一种基于结构特征的重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：根据{Lorg(x,y)}与{Rorg(x,y)}之间的双向匹配关系，获得Sorg的虚拟视点图像，记为{Vorg(x,y)}；同样，根据{Lret(x',y)}与{Rret(x',y)}之间的双向匹配关系，获得Sret的虚拟视点图像，记为{Vret(x',y)}；其中，Vorg(x,y)表示{Vorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Vret(x',y)表示{Vret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤三：采用SIFT-Flow方法建立{Vorg(x,y)}与{Vret(x',y)}之间的匹配关系，得到{Vorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Vorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vo(x,y)，
Figure FDA0002820406410000011
然后根据{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Vorg(x,y)}中重构得到虚拟视点图像，记为
Figure FDA0002820406410000012
将
Figure FDA0002820406410000013
中坐标位置为
Figure FDA0002820406410000014
的像素点的像素值记为
Figure FDA0002820406410000015
再找出
Figure FDA0002820406410000016
中的所有空洞像素点，并将值0作为
Figure FDA0002820406410000017
中的每个空洞像素点的像素值；其中，
Figure FDA0002820406410000018
用于表示水平方向，
Figure FDA0002820406410000019
用于表示垂直方向，
Figure FDA00028204064100000110
表示vo(x,y)的水平偏移量，
Figure FDA00028204064100000111
表示vo(x,y)的垂直偏移量，
Figure FDA00028204064100000112
表示
Figure FDA00028204064100000113
中坐标位置为(x',y)的像素点的像素值，
Figure FDA0002820406410000021
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Vret(x',y)}与{Vorg(x,y)}之间的匹配关系，得到{Vret(x',y)}中的每个像素点的SIFT-Flow向量，将{Vret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vr(x',y)，
Figure FDA0002820406410000022
然后根据{Vret(x',y)}中的所有像素点的SIFT-Flow向量，从{Vret(x',y)}中重构得到虚拟视点图像，记为
Figure FDA0002820406410000023
将
Figure FDA0002820406410000024
中坐标位置为
Figure FDA0002820406410000025
的像素点的像素值记为
Figure FDA0002820406410000026
再找出
Figure FDA0002820406410000027
中的所有空洞像素点，并将值0作为
Figure FDA0002820406410000028
中的每个空洞像素点的像素值；其中，
Figure FDA0002820406410000029
表示vr(x',y)的水平偏移量，
Figure FDA00028204064100000210
表示vr(x',y)的垂直偏移量，
Figure FDA00028204064100000211
表示
Figure FDA00028204064100000212
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00028204064100000213
中的“＝”为赋值符号；
步骤四：采用超像素分割技术将{Vorg(x,y)}分割成Num个互不重叠的六边形网格，将{Vorg(x,y)}中的第h个六边形网格构成的区域记为SPorg,h，SPorg,h以其6个网格顶点构成的集合来描述，
Figure FDA00028204064100000214
其中，Num≥1，1≤h≤Num，
Figure FDA00028204064100000215
对应表示SPorg,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure FDA00028204064100000216
以
Figure FDA00028204064100000217
的水平坐标位置
Figure FDA00028204064100000218
和垂直坐标位置
Figure FDA00028204064100000219
来描述，
Figure FDA00028204064100000220
Figure FDA00028204064100000221
以
Figure FDA00028204064100000222
的水平坐标位置
Figure FDA00028204064100000223
和垂直坐标位置
Figure FDA00028204064100000224
来描述，
Figure FDA00028204064100000225
Figure FDA00028204064100000226
以
Figure FDA00028204064100000227
的水平坐标位置
Figure FDA00028204064100000228
和垂直坐标位置
Figure FDA00028204064100000229
来描述，
Figure FDA00028204064100000230
Figure FDA00028204064100000231
以
Figure FDA00028204064100000232
的水平坐标位置
Figure FDA00028204064100000233
和垂直坐标位置
Figure FDA00028204064100000234
来描述，
Figure FDA00028204064100000235
Figure FDA00028204064100000236
以
Figure FDA00028204064100000237
的水平坐标位置
Figure FDA00028204064100000238
和垂直坐标位置
Figure FDA00028204064100000239
来描述，
Figure FDA00028204064100000240
Figure FDA00028204064100000241
以
Figure FDA00028204064100000242
的水平坐标位置
Figure FDA00028204064100000243
和垂直坐标位置
Figure FDA00028204064100000244
来描述，
Figure FDA00028204064100000245
然后根据{Vorg(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格，将{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域记为SPret,h，SPret,h以其6个网格顶点构成的集合来描述，
Figure FDA0002820406410000031
其中，
Figure FDA0002820406410000032
对应表示SPret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，
Figure FDA0002820406410000033
以
Figure FDA0002820406410000034
的水平坐标位置
Figure FDA0002820406410000035
和垂直坐标位置
Figure FDA0002820406410000036
来描述，
Figure FDA0002820406410000037
Figure FDA0002820406410000038
以
Figure FDA0002820406410000039
的水平坐标位置
Figure FDA00028204064100000310
和垂直坐标位置
Figure FDA00028204064100000311
来描述，
Figure FDA00028204064100000312
Figure FDA00028204064100000313
Figure FDA00028204064100000314
以
Figure FDA00028204064100000315
的水平坐标位置
Figure FDA00028204064100000316
和垂直坐标位置
Figure FDA00028204064100000317
来描述，
Figure FDA00028204064100000318
Figure FDA00028204064100000319
Figure FDA00028204064100000320
以
Figure FDA00028204064100000321
的水平坐标位置
Figure FDA00028204064100000322
和垂直坐标位置
Figure FDA00028204064100000323
来描述，
Figure FDA00028204064100000324
Figure FDA00028204064100000325
Figure FDA00028204064100000326
以
Figure FDA00028204064100000327
的水平坐标位置
Figure FDA00028204064100000328
和垂直坐标位置
Figure FDA00028204064100000329
来描述，
Figure FDA00028204064100000330
Figure FDA00028204064100000331
以
Figure FDA00028204064100000332
的水平坐标位置
Figure FDA00028204064100000333
和垂直坐标位置
Figure FDA00028204064100000334
来描述，
Figure FDA00028204064100000335
Figure FDA00028204064100000336
Figure FDA00028204064100000337
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000338
的像素点的SIFT-Flow向量
Figure FDA00028204064100000339
的水平偏移量，
Figure FDA00028204064100000340
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000341
的像素点的SIFT-Flow向量
Figure FDA00028204064100000342
的垂直偏移量，
Figure FDA00028204064100000343
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000344
的像素点的SIFT-Flow向量
Figure FDA00028204064100000345
的水平偏移量，
Figure FDA00028204064100000346
表示{Vorg(x,y)}中坐标位置为
Figure FDA0002820406410000041
的像素点的SIFT-Flow向量
Figure FDA0002820406410000042
的垂直偏移量，
Figure FDA0002820406410000043
表示{Vorg(x,y)}中坐标位置为
Figure FDA0002820406410000044
的像素点的SIFT-Flow向量
Figure FDA0002820406410000045
的水平偏移量，
Figure FDA0002820406410000046
表示{Vorg(x,y)}中坐标位置为
Figure FDA0002820406410000047
的像素点的SIFT-Flow向量
Figure FDA0002820406410000048
的垂直偏移量，
Figure FDA0002820406410000049
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000410
的像素点的SIFT-Flow向量
Figure FDA00028204064100000411
的水平偏移量，
Figure FDA00028204064100000412
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000413
的像素点的SIFT-Flow向量
Figure FDA00028204064100000414
的垂直偏移量，
Figure FDA00028204064100000415
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000416
的像素点的SIFT-Flow向量
Figure FDA00028204064100000417
的水平偏移量，
Figure FDA00028204064100000418
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000419
的像素点的SIFT-Flow向量
Figure FDA00028204064100000420
的垂直偏移量，
Figure FDA00028204064100000421
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000422
的像素点的SIFT-Flow向量
Figure FDA00028204064100000423
的水平偏移量，
Figure FDA00028204064100000424
表示{Vorg(x,y)}中坐标位置为
Figure FDA00028204064100000425
的像素点的SIFT-Flow向量
Figure FDA00028204064100000426
的垂直偏移量；
步骤五：采用基于图论的视觉显著模型提取出{Vorg(x,y)}的显著图，记为{Zorg(x,y)}；其中，Zorg(x,y)表示{Zorg(x,y)}中坐标位置为(x,y)的像素点的像素值；
然后根据{Zorg(x,y)}和{Vorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Zorg(x,y)}中重构得到{Vret(x',y)}的显著图，记为{Zret(x',y)}，将{Zret(x',y)}中坐标位置为
Figure FDA00028204064100000427
的像素点的像素值记为
Figure FDA00028204064100000428
Figure FDA00028204064100000429
其中，Zret(x',y)表示{Zret(x',y)}中坐标位置为(x',y)的像素点的像素值，
Figure FDA00028204064100000430
中的“＝”为赋值符号；
步骤六：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图；然后根据两幅重要性区域掩码图，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，进而计算{Vret(x',y)}的局部信息保持特征；通过计算{Vret(x',y)}和
Figure FDA0002820406410000051
各自中的所有像素点的亮度分量的直方图，计算{Vorg(x,y)}的前向信息损失；并通过计算{Vorg(x,y)}和
Figure FDA0002820406410000052
各自中的所有像素点的亮度分量的直方图，计算
Figure FDA0002820406410000053
的后向信息损失；再根据{Vret(x',y)}的局部信息保持特征、{Vorg(x,y)}的前向信息损失、
Figure FDA0002820406410000054
的后向信息损失，获得{Vret(x',y)}的空间结构特征矢量，记为FG；其中，FG的维数为1×3；
步骤七：根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}中的每个像素点的深度值；然后根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征；并根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像及{Lret(x',y)}中的所有像素点的深度值，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征和所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征；再根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征、所有属于遮挡区域的像素点的相对宽度特征，获得{Vret(x',y)}的深度结构特征矢量，记为FD；其中，FD的维数为1×4；
步骤八：根据FG和FD，获取Sret的结构特征矢量，记为F，F＝[FG,FD]；其中，F的维数为1×7，[FG,FD]表示将FG和FD连接起来形成一个特征矢量；
步骤九：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤八的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的结构特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的结构特征矢量记为Fj；其中，n'为正整数，n'＞1，n为正整数，n≥n'，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×7；
步骤十：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的结构特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有结构特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure FDA0002820406410000061
和最优的偏置项
Figure FDA0002820406410000062
再利用得到的最优的权重矢量
Figure FDA0002820406410000063
和最优的偏置项
Figure FDA0002820406410000064
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure FDA0002820406410000065
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的结构特征矢量，Finp的维数为1×7，
Figure FDA0002820406410000066
为
Figure FDA0002820406410000067
的转置，
Figure FDA0002820406410000068
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤十一：将测试集中的所有重定位立体图像的结构特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个结构特征矢量进行测试，预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个结构特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure FDA0002820406410000069
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个结构特征矢量，Fη的维数为1×7，
Figure FDA00028204064100000610
表示Fη的线性函数；
步骤十二：重复执行步骤十至步骤十一共Number次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Number为正整数，Number≥100。
2.根据权利要求1所述的一种基于结构特征的重定位立体图像质量评价方法，其特征在于所述的步骤二中，{Vorg(x,y)}的获取过程为：
步骤A1：采用SIFT-Flow方法建立{Lorg(x,y)}与{Rorg(x,y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA0002820406410000071
其中，
Figure FDA0002820406410000072
用于表示水平方向，
Figure FDA0002820406410000073
用于表示垂直方向，
Figure FDA0002820406410000074
表示
Figure FDA0002820406410000075
的水平偏移量，
Figure FDA0002820406410000076
表示
Figure FDA0002820406410000077
的垂直偏移量；
步骤A2：采用SIFT-Flow方法建立{Rorg(x,y)}与{Lorg(x,y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA0002820406410000078
其中，
Figure FDA0002820406410000079
表示
Figure FDA00028204064100000710
的水平偏移量，
Figure FDA00028204064100000711
表示
Figure FDA00028204064100000712
的垂直偏移量；
步骤A3：根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量和{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，获得Sorg的虚拟视点图像{Vorg(x,y)}，
Figure FDA00028204064100000713
其中，
Figure FDA00028204064100000714
Figure FDA00028204064100000715
Figure FDA00028204064100000716
Figure FDA00028204064100000717
表示{Rorg(x,y)}中坐标位置为
Figure FDA00028204064100000718
的像素点的SIFT-Flow向量
Figure FDA00028204064100000719
的水平偏移量，
Figure FDA00028204064100000720
表示{Rorg(x,y)}中坐标位置为
Figure FDA00028204064100000721
的像素点的SIFT-Flow向量
Figure FDA00028204064100000722
的垂直偏移量，
Figure FDA00028204064100000723
表示{Lorg(x,y)}中坐标位置为
Figure FDA00028204064100000724
的像素点的像素值，
Figure FDA00028204064100000725
表示{Rorg(x,y)}中坐标位置为
Figure FDA00028204064100000726
的像素点的像素值；
所述的步骤二中，{Vret(x',y)}的获取过程为：
步骤B1：采用SIFT-Flow方法建立{Lret(x',y)}与{Rret(x',y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure FDA0002820406410000081
其中，
Figure FDA0002820406410000082
用于表示水平方向，
Figure FDA0002820406410000083
用于表示垂直方向，
Figure FDA0002820406410000084
表示
Figure FDA0002820406410000085
的水平偏移量，
Figure FDA0002820406410000086
表示
Figure FDA0002820406410000087
的垂直偏移量；
步骤B2：采用SIFT-Flow方法建立{Rret(x',y)}与{Lret(x',y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure FDA0002820406410000088
其中，
Figure FDA0002820406410000089
表示
Figure FDA00028204064100000810
的水平偏移量，
Figure FDA00028204064100000811
表示
Figure FDA00028204064100000812
的垂直偏移量；
步骤B3：根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量和{Rret(x',y)}中的所有像素点的SIFT-Flow向量，获得Sret的虚拟视点图像{Vret(x',y)}，
Figure FDA00028204064100000813
其中，
Figure FDA00028204064100000814
Figure FDA00028204064100000815
Figure FDA00028204064100000816
Figure FDA00028204064100000817
表示{Rret(x',y)}中坐标位置为
Figure FDA00028204064100000818
的像素点的SIFT-Flow向量
Figure FDA00028204064100000819
的水平偏移量，
Figure FDA00028204064100000820
表示{Rret(x',y)}中坐标位置为
Figure FDA00028204064100000821
的像素点的SIFT-Flow向量
Figure FDA00028204064100000822
的垂直偏移量，
Figure FDA00028204064100000823
表示{Lret(x',y)}中坐标位置为
Figure FDA00028204064100000824
的像素点的像素值，
Figure FDA00028204064100000825
表示{Rret(x',y)}中坐标位置为
Figure FDA00028204064100000826
的像素点的像素值。
3.根据权利要求1或2所述的一种基于结构特征的重定位立体图像质量评价方法，其特征在于所述的步骤六中，FG的获取过程为：
步骤C1：根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图，记为{Borg(x,y)}，将{Borg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Borg(x,y)，
Figure FDA0002820406410000091
并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图，记为{Bret(x',y)}，将{Bret(x',y)}中坐标位置为(x',y)的像素点的像素值记为Bret(x',y)，
Figure FDA0002820406410000092
其中，th表示阈值；
步骤C2：根据{Borg(x,y)}和{Bret(x',y)}，计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征，将SPret,h的局部信息保持特征记为gh，
Figure FDA0002820406410000093
其中，
Figure FDA0002820406410000094
表示计算{Borg(x,y)}中与SPorg,h对应的区域中像素值为1的所有像素点占该区域的面积大小，
Figure FDA0002820406410000095
表示计算{Bret(x',y)}中与SPret,h对应的区域中像素值为1的所有像素点占该区域的面积大小，C为控制参数；
步骤C3：计算{Vret(x',y)}的局部信息保持特征，记为f1，
Figure FDA0002820406410000096
步骤C4：计算{Vorg(x,y)}中的所有像素点的亮度分量的直方图，记为qorg；同样，计算
Figure FDA0002820406410000097
中的所有像素点的亮度分量的直方图，记为
Figure FDA0002820406410000098
计算{Vret(x',y)}中的所有像素点的亮度分量的直方图，记为qret；同样，计算
Figure FDA0002820406410000099
中的所有像素点的亮度分量的直方图，记为
Figure FDA00028204064100000910
其中，qorg、
Figure FDA00028204064100000911
qret和
Figure FDA00028204064100000912
的维数均为1×256；
步骤C5：计算{Vorg(x,y)}的前向信息损失，记为f2，
Figure FDA00028204064100000913
并计算
Figure FDA00028204064100000914
的后向信息损失，记为f3，
Figure FDA00028204064100000915
其中，χ()为求卡方距离函数；
步骤C6：根据f1、f2和f3，获得{Vret(x',y)}的空间结构特征矢量FG，FG＝[f1,f2,f3]；其中，FG的维数为1×3，[f1,f2,f3]表示将f1、f2和f3连接起来形成一个特征矢量。
4.根据权利要求3所述的一种基于结构特征的重定位立体图像质量评价方法，其特征在于所述的步骤七中，FD的获取过程为：
步骤D1：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；再将{dL(x',y)}中的所有匹配像素点构成匹配区域，将{dL(x',y)}中的所有遮挡像素点构成遮挡区域；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中找到的匹配的像素点的横坐标；
步骤D2：根据{dL(x',y)}，计算{Lret(x',y)}中的每个像素点的深度值，将{Lret(x',y)}中坐标位置为(x',y)的像素点的深度值记为depthL(x',y)，
Figure FDA0002820406410000101
其中，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，J表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wdisplay表示显示器的水平宽度，Rdisplay表示显示器的水平分辨率；
步骤D3：计算{dL(x',y)}中的所有属于匹配区域的像素点的视差幅值特征，记为f4，
Figure FDA0002820406410000102
其中，符号“||”为取绝对值符号，
Figure FDA0002820406410000111
步骤D4：计算{dL(x',y)}中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征，记为f5，
Figure FDA0002820406410000112
其中，匹配区域中的视觉舒适区域满足条件
Figure FDA0002820406410000113
CVZmin表示最小舒适观看区域范围，
Figure FDA0002820406410000114
η1表示最小舒适观看视角，CVZmax表示最大舒适观看区域范围，
Figure FDA0002820406410000115
η2表示最大舒适观看视角；
步骤D5：计算{dL(x',y)}中的所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征，记为f6，
Figure FDA0002820406410000116
其中，匹配区域中的交叉视差区域满足条件
Figure FDA0002820406410000117
步骤D6：计算{dL(x',y)}中的所有属于遮挡区域的像素点的相对宽度特征，记为f7，
Figure FDA0002820406410000118
其中，
Figure FDA0002820406410000119
步骤D7：根据f4、f5、f6和f7，获得{Vret(x',y)}的深度结构特征矢量FD，FD＝[f4,f5,f6,f7]；其中，FD的维数为1×4，[f4,f5,f6,f7]表示将f4、f5、f6和f7连接起来形成一个特征矢量。
CN202011416906.3A 2020-12-07 2020-12-07 一种基于结构特征的重定位立体图像质量评价方法 Active CN112770105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416906.3A CN112770105B (zh) 2020-12-07 2020-12-07 一种基于结构特征的重定位立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416906.3A CN112770105B (zh) 2020-12-07 2020-12-07 一种基于结构特征的重定位立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN112770105A true CN112770105A (zh) 2021-05-07
CN112770105B CN112770105B (zh) 2022-06-03

Family

ID=75693534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416906.3A Active CN112770105B (zh) 2020-12-07 2020-12-07 一种基于结构特征的重定位立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN112770105B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2525812A1 (en) * 2003-08-22 2005-03-03 Nippon Telegraph And Telephone Corporation Video quality assessing apparatus, video quality assessing method, video quality assessing program, video aligning apparatus, video aligning method, and video aligning program
CA2762848A1 (en) * 2009-05-21 2010-11-25 Visiongate, Inc. System and method for detecting poor quality in 3d reconstructions
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102930528A (zh) * 2012-09-24 2013-02-13 宁波大学 一种基于三维结构相似度的立体图像质量客观评价方法
CN103136748A (zh) * 2013-01-21 2013-06-05 宁波大学 一种基于特征图的立体图像质量客观评价方法
CN105049838A (zh) * 2015-07-10 2015-11-11 天津大学 一种用于压缩立体视频质量的客观评价方法
CN107862678A (zh) * 2017-10-19 2018-03-30 宁波大学 一种眼底图像无参考质量评价方法
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN111641822A (zh) * 2020-05-06 2020-09-08 宁波大学 一种重定位立体图像质量评价方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2525812A1 (en) * 2003-08-22 2005-03-03 Nippon Telegraph And Telephone Corporation Video quality assessing apparatus, video quality assessing method, video quality assessing program, video aligning apparatus, video aligning method, and video aligning program
CA2762848A1 (en) * 2009-05-21 2010-11-25 Visiongate, Inc. System and method for detecting poor quality in 3d reconstructions
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN102930528A (zh) * 2012-09-24 2013-02-13 宁波大学 一种基于三维结构相似度的立体图像质量客观评价方法
CN103136748A (zh) * 2013-01-21 2013-06-05 宁波大学 一种基于特征图的立体图像质量客观评价方法
CN105049838A (zh) * 2015-07-10 2015-11-11 天津大学 一种用于压缩立体视频质量的客观评价方法
CN107862678A (zh) * 2017-10-19 2018-03-30 宁波大学 一种眼底图像无参考质量评价方法
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN111641822A (zh) * 2020-05-06 2020-09-08 宁波大学 一种重定位立体图像质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SALAH ADDIN MOHAMMED MAHYOUB MOHAMMED: "《立体图像重定向及其质量评价研究》", 《中国博士学位论文》 *
Y. LIU, L. SUN, W. ZHU AND S. YANG: "《A metric of stereoscopic image retargeting quality assessment》", 《2015 IEEE CHINA SUMMIT AND INTERNATIONAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING (CHINASIP)》 *
富振奇等: "三维重定向图像主观和客观质量评价方法", 《计算机应用》 *
段芬芳，邵枫，蒋刚毅，郁梅，李福翠: "《基于三维结构张量的立体图像质量客观评价方法》", 《光电子.激光》 *
毛香英等: "基于结构失真分析的立体图像质量客观评价模型", 《计算机辅助设计与图形学学报》 *

Also Published As

Publication number Publication date
CN112770105B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN108805825B (zh) 一种重定位图像质量评价方法
CN107481236A (zh) 一种屏幕图像的质量评价方法
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN102595185A (zh) 一种立体图像质量客观评价方法
CN108053396B (zh) 一种多失真图像质量的无参考评价方法
CN107146220B (zh) 一种通用型无参考图像质量评价方法
CN111709914B (zh) 一种基于hvs特性的无参考图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN107945151B (zh) 一种基于相似性变换的重定位图像质量评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN110691236B (zh) 一种全景视频质量评价方法
CN105898279B (zh) 一种立体图像质量客观评价方法
Liu et al. Blind stereoscopic image quality assessment accounting for human monocular visual properties and binocular interactions
CN103745457B (zh) 一种立体图像客观质量评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN103914835A (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN105488792A (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN112770105B (zh) 一种基于结构特征的重定位立体图像质量评价方法
CN104820988B (zh) 一种无参考立体图像质量客观评价方法
CN113192003B (zh) 一种拼接图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant