CN111641822B - 一种重定位立体图像质量评价方法 - Google Patents

一种重定位立体图像质量评价方法 Download PDF

Info

Publication number
CN111641822B
CN111641822B CN202010371925.2A CN202010371925A CN111641822B CN 111641822 B CN111641822 B CN 111641822B CN 202010371925 A CN202010371925 A CN 202010371925A CN 111641822 B CN111641822 B CN 111641822B
Authority
CN
China
Prior art keywords
org
ret
coordinate position
pixel
repositioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010371925.2A
Other languages
English (en)
Other versions
CN111641822A (zh
Inventor
邵枫
王雪津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Lezhengxin Technology Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202010371925.2A priority Critical patent/CN111641822B/zh
Publication of CN111641822A publication Critical patent/CN111641822A/zh
Application granted granted Critical
Publication of CN111641822B publication Critical patent/CN111641822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种重定位立体图像质量评价方法，其考虑了几何失真、信息损失和视觉舒适度对立体图像重定位的影响，通过计算原始的立体图像和重定位立体图像的长宽比相似性、网格相似度、前向信息损失、后向信息损失、信息保持特征、视觉舒适度，得到重定位立体图像的特征矢量，然后在训练阶段利用支持向量回归对训练集中的特征矢量进行训练，构造支持向量回归训练模型；在测试阶段利用支持向量回归训练模型，预测得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映重定位立体图像的几何失真、信息损失和视觉舒适度，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。

Description

一种重定位立体图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种重定位立体图像质量评价方法。
背景技术
随着具有不同分辨率和屏幕高宽比的智能手机、平板电脑、电视等终端显示设备的应用普及，当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是适配显示问题。当前典型的适配显示方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些适配显示方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同适配显示方法的性能进行客观评价十分必要。
传统的平面重定位方法，如裁剪、均匀缩放等，在调整图像的分辨率的同时，将图像的重要区域的几何形变和信息损失最小化。然而，立体图像的质量不仅包含图像内容本身，而且过大的双目视差、双目不对称以及双眼调节和辐辏冲突等因素都会严重影响立体图像的观看舒适度。因此，相比于平面重定位方法，立体图像重定位技术需要考虑的图像失真因素更多，这也大大增加了立体图像重定位技术的复杂度。因此，在评价过程中如何有效地提取出几何失真、信息损失、视觉舒适度等信息，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种重定位立体图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}；同样，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dret(x',y)}；其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视差值，dret(x',y)表示{dret(x',y)}中坐标位置为(x',y)的像素点的像素值，也即表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视差值；
步骤三：计算Sorg和Sret的几何失真，记为FGD，
Figure BDA0002478642150000021
其中，
Figure BDA0002478642150000022
表示Sorg和Sret的长宽比相似性，
Figure BDA0002478642150000023
表示Sorg和Sret的网格相似度，符号“[]”为矢量表示符号，
Figure BDA0002478642150000024
表示将
Figure BDA0002478642150000025
和
Figure BDA0002478642150000026
连接起来形成一个矢量；
步骤四：计算Sorg和Sret的信息损失，记为FIL，
Figure BDA0002478642150000027
其中，
Figure BDA0002478642150000028
表示Sorg和Sret的前向信息损失，
Figure BDA0002478642150000029
表示Sorg和Sret的后向信息损失，
Figure BDA00024786421500000210
表示Sorg和Sret的信息保持特征，符号“[]”为矢量表示符号，
Figure BDA00024786421500000211
表示将
Figure BDA00024786421500000212
和
Figure BDA00024786421500000213
连接起来形成一个矢量；
步骤五：计算Sorg和Sret的视觉舒适度，记为FVC，FVC＝JGL×JLO；其中，JGL表示Sorg和Sret的全局视觉舒适度，JGL根据{dret(x',y)}获取，JLO表示Sorg和Sret的局部视觉舒适度，JLO根据{Lorg(x,y)}、{Lret(x',y)}、{dorg(x,y)}和{dret(x',y)}获取；
步骤六：根据FGD、FIL和FVC，获取Sret的特征矢量，记为F，F＝[FGD,FIL,FVC]；其中，F的维数为1×6，[FGD,FIL,FVC]表示将FGD、FIL和FVC连接起来形成一个特征矢量；
步骤七：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤六的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的特征矢量记为Fj；其中，n'为正整数，n'＞1，n为正整数，n≥n'，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×6；
步骤八：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002478642150000031
和最优的偏置项
Figure BDA0002478642150000032
再利用得到的最优的权重矢量
Figure BDA0002478642150000033
和最优的偏置项
Figure BDA0002478642150000034
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure BDA0002478642150000035
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为1×6，
Figure BDA0002478642150000036
为
Figure BDA0002478642150000037
的转置，
Figure BDA0002478642150000038
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤九：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure BDA0002478642150000041
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×6，
Figure BDA0002478642150000042
表示Fη的线性函数；
步骤十：重复执行步骤八至步骤九共V次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过V次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，V为正整数，V≥100。
所述的步骤二中，dorg(x,y)和dret(x',y)的获取过程为：
如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为匹配像素点，并令dorg(x,y)＝x*-x；如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中不能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为遮挡像素点，并令dorg(x,y)＝255；其中，x*表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点的横坐标；
如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dret(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dret(x',y)＝255；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标。
所述的步骤三中，
Figure BDA0002478642150000051
的获取过程为：
步骤A1、采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，记为
Figure BDA0002478642150000052
Figure BDA0002478642150000053
同样，采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，记为
Figure BDA0002478642150000054
Figure BDA0002478642150000055
其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，G(Lorg,Lret)中的Lorg代表{Lorg(x,y)}、Lret代表{Lret(x',y)}，G(Rorg,Rret)中的Rorg代表{Rorg(x,y)}、Rret代表{Rret(x',y)}；
步骤A2、根据
Figure BDA0002478642150000056
和
Figure BDA0002478642150000057
计算得到Sorg和Sret的长宽比相似性
Figure BDA0002478642150000058
Figure BDA0002478642150000059
所述的步骤三中，
Figure BDA00024786421500000510
的获取过程为：
步骤B1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500000511
Figure BDA00024786421500000512
其中，
Figure BDA00024786421500000513
用于表示水平方向，
Figure BDA00024786421500000514
用于表示垂直方向，
Figure BDA00024786421500000515
表示
Figure BDA00024786421500000516
的水平偏移量，
Figure BDA00024786421500000517
表示
Figure BDA00024786421500000518
的垂直偏移量；
同样，采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500000519
Figure BDA00024786421500000520
其中，
Figure BDA00024786421500000521
表示
Figure BDA00024786421500000522
的水平偏移量，
Figure BDA00024786421500000523
表示
Figure BDA00024786421500000524
的垂直偏移量；
步骤B2、将{Lorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Lorg(x,y)}中的第k个四边形网格记为
Figure BDA00024786421500000525
Figure BDA00024786421500000526
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA0002478642150000061
其中，M为正整数，
Figure BDA0002478642150000062
符号
Figure BDA0002478642150000063
为向下取整运算符号，k为正整数，1≤k≤M，
Figure BDA0002478642150000064
对应表示
Figure BDA0002478642150000065
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA0002478642150000066
以
Figure BDA0002478642150000067
的水平坐标位置
Figure BDA0002478642150000068
和垂直坐标位置
Figure BDA0002478642150000069
来描述，
Figure BDA00024786421500000610
Figure BDA00024786421500000611
以
Figure BDA00024786421500000612
的水平坐标位置
Figure BDA00024786421500000613
和垂直坐标位置
Figure BDA00024786421500000614
来描述，
Figure BDA00024786421500000615
Figure BDA00024786421500000616
以
Figure BDA00024786421500000617
的水平坐标位置
Figure BDA00024786421500000618
和垂直坐标位置
Figure BDA00024786421500000619
来描述，
Figure BDA00024786421500000620
Figure BDA00024786421500000621
以
Figure BDA00024786421500000622
的水平坐标位置
Figure BDA00024786421500000623
和垂直坐标位置
Figure BDA00024786421500000624
来描述，
Figure BDA00024786421500000625
同样，将{Rorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Rorg(x,y)}中的第k个四边形网格记为
Figure BDA00024786421500000626
Figure BDA00024786421500000627
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500000628
其中，
Figure BDA00024786421500000629
对应表示
Figure BDA00024786421500000630
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500000631
以
Figure BDA00024786421500000632
的水平坐标位置
Figure BDA00024786421500000633
和垂直坐标位置
Figure BDA00024786421500000634
来描述，
Figure BDA00024786421500000635
Figure BDA00024786421500000636
以
Figure BDA00024786421500000637
的水平坐标位置
Figure BDA00024786421500000638
和垂直坐标位置
Figure BDA00024786421500000639
来描述，
Figure BDA00024786421500000640
Figure BDA00024786421500000641
以
Figure BDA00024786421500000642
的水平坐标位置
Figure BDA00024786421500000643
和垂直坐标位置
Figure BDA00024786421500000644
来描述，
Figure BDA00024786421500000645
Figure BDA00024786421500000646
以
Figure BDA00024786421500000647
的水平坐标位置
Figure BDA00024786421500000648
和垂直坐标位置
Figure BDA00024786421500000649
来描述，
Figure BDA00024786421500000650
步骤B3、根据{Lorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Lorg(x,y)}中的每个四边形网格在{Lret(x',y)}中匹配的四边形网格，将
Figure BDA00024786421500000651
在{Lret(x',y)}中匹配的四边形网格记为
Figure BDA00024786421500000652
Figure BDA00024786421500000653
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500000654
其中，
Figure BDA00024786421500000655
对应表示
Figure BDA00024786421500000656
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500000657
亦表示
Figure BDA00024786421500000658
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA0002478642150000071
亦表示
Figure BDA0002478642150000072
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA0002478642150000073
亦表示
Figure BDA0002478642150000074
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA0002478642150000075
亦表示
Figure BDA0002478642150000076
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA0002478642150000077
以
Figure BDA0002478642150000078
的水平坐标位置
Figure BDA0002478642150000079
和垂直坐标位置
Figure BDA00024786421500000710
来描述，
Figure BDA00024786421500000711
Figure BDA00024786421500000712
以
Figure BDA00024786421500000713
的水平坐标位置
Figure BDA00024786421500000714
和垂直坐标位置
Figure BDA00024786421500000715
来描述，
Figure BDA00024786421500000716
Figure BDA00024786421500000717
以
Figure BDA00024786421500000718
的水平坐标位置
Figure BDA00024786421500000719
和垂直坐标位置
Figure BDA00024786421500000720
来描述，
Figure BDA00024786421500000721
Figure BDA00024786421500000722
以
Figure BDA00024786421500000723
的水平坐标位置
Figure BDA00024786421500000724
和垂直坐标位置
Figure BDA00024786421500000725
来描述，
Figure BDA00024786421500000726
Figure BDA00024786421500000727
Figure BDA00024786421500000728
Figure BDA00024786421500000729
和
Figure BDA00024786421500000730
对应表示
Figure BDA00024786421500000731
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000732
和
Figure BDA00024786421500000733
对应表示
Figure BDA00024786421500000734
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000735
和
Figure BDA00024786421500000736
对应表示
Figure BDA00024786421500000737
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000738
和
Figure BDA00024786421500000739
对应表示
Figure BDA00024786421500000740
的SIFT-Flow向量的水平偏移量和垂直偏移量；
同样，根据{Rorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Rorg(x,y)}中的每个四边形网格在{Rret(x',y)}中匹配的四边形网格，将
Figure BDA00024786421500000741
在{Rret(x',y)}中匹配的四边形网格记为
Figure BDA00024786421500000742
Figure BDA00024786421500000743
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500000744
其中，
Figure BDA00024786421500000745
对应表示
Figure BDA00024786421500000746
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500000747
亦表示
Figure BDA00024786421500000748
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500000749
亦表示
Figure BDA00024786421500000750
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500000751
亦表示
Figure BDA00024786421500000752
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500000753
亦表示
Figure BDA00024786421500000754
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA0002478642150000081
以
Figure BDA0002478642150000082
的水平坐标位置
Figure BDA0002478642150000083
和垂直坐标位置
Figure BDA0002478642150000084
来描述，
Figure BDA0002478642150000085
Figure BDA0002478642150000086
以
Figure BDA0002478642150000087
的水平坐标位置
Figure BDA0002478642150000088
和垂直坐标位置
Figure BDA0002478642150000089
来描述，
Figure BDA00024786421500000810
Figure BDA00024786421500000811
以
Figure BDA00024786421500000812
的水平坐标位置
Figure BDA00024786421500000813
和垂直坐标位置
Figure BDA00024786421500000814
来描述，
Figure BDA00024786421500000815
Figure BDA00024786421500000816
以
Figure BDA00024786421500000817
的水平坐标位置
Figure BDA00024786421500000818
和垂直坐标位置
Figure BDA00024786421500000819
来描述，
Figure BDA00024786421500000820
Figure BDA00024786421500000821
Figure BDA00024786421500000822
Figure BDA00024786421500000823
和
Figure BDA00024786421500000824
对应表示
Figure BDA00024786421500000825
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000826
和
Figure BDA00024786421500000827
对应表示
Figure BDA00024786421500000828
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000829
和
Figure BDA00024786421500000830
对应表示
Figure BDA00024786421500000831
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500000832
和
Figure BDA00024786421500000833
对应表示
Figure BDA00024786421500000834
的SIFT-Flow向量的水平偏移量和垂直偏移量；
步骤B4、计算{Lorg(x,y)}中的每个四边形网格的网格相似度，将
Figure BDA00024786421500000835
的网格相似度记为
Figure BDA00024786421500000836
Figure BDA00024786421500000837
其中，
Figure BDA00024786421500000838
表示
Figure BDA00024786421500000839
与
Figure BDA00024786421500000840
之间的距离，
Figure BDA00024786421500000841
Figure BDA00024786421500000842
表示
Figure BDA00024786421500000843
与
Figure BDA00024786421500000844
之间的距离，
Figure BDA00024786421500000845
Figure BDA00024786421500000846
表示
Figure BDA00024786421500000847
与
Figure BDA00024786421500000848
之间的距离，
Figure BDA00024786421500000849
Figure BDA00024786421500000850
表示
Figure BDA00024786421500000851
与
Figure BDA00024786421500000852
之间的距离，
Figure BDA00024786421500000853
Figure BDA00024786421500000854
表示
Figure BDA00024786421500000855
与
Figure BDA00024786421500000856
之间的距离，
Figure BDA0002478642150000091
γ为控制参数，C1为控制参数，符号“||”为取绝对值符号，e表示指数函数的基数；
同样，计算{Rorg(x,y)}中的每个四边形网格的网格相似度，将
Figure BDA0002478642150000092
的网格相似度记为
Figure BDA0002478642150000093
Figure BDA0002478642150000094
其中，
Figure BDA0002478642150000095
表示
Figure BDA0002478642150000096
与
Figure BDA0002478642150000097
之间的距离，
Figure BDA0002478642150000098
Figure BDA0002478642150000099
表示
Figure BDA00024786421500000910
与
Figure BDA00024786421500000911
之间的距离，
Figure BDA00024786421500000912
Figure BDA00024786421500000913
表示
Figure BDA00024786421500000914
与
Figure BDA00024786421500000915
之间的距离，
Figure BDA00024786421500000916
Figure BDA00024786421500000917
表示
Figure BDA00024786421500000918
与
Figure BDA00024786421500000919
之间的距离，
Figure BDA00024786421500000920
Figure BDA00024786421500000921
表示
Figure BDA00024786421500000922
与
Figure BDA00024786421500000923
之间的距离，
Figure BDA00024786421500000924
步骤B5、采用基于图论的视觉显著模型提取出{Lorg(x,y)}的视觉显著图，记为
Figure BDA00024786421500000925
然后根据{Lorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure BDA00024786421500000926
计算得到{Lorg(x,y)}的网格相似度，记为
Figure BDA00024786421500000927
Figure BDA00024786421500000928
其中，
Figure BDA00024786421500000929
表示
Figure BDA00024786421500000930
中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure BDA00024786421500000931
表示
Figure BDA00024786421500000932
中的所有像素点的视觉显著值的均值，也即表示
Figure BDA00024786421500000933
中与
Figure BDA00024786421500000934
对应的区域中的所有像素点的像素值的均值；
同样，采用基于图论的视觉显著模型提取出{Rorg(x,y)}的视觉显著图，记为
Figure BDA00024786421500000935
然后根据{Rorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure BDA0002478642150000101
计算得到{Rorg(x,y)}的网格相似度，记为
Figure BDA0002478642150000102
Figure BDA0002478642150000103
其中，
Figure BDA0002478642150000104
表示
Figure BDA0002478642150000105
中坐标位置为(x,y)的像素点的像素值，也即表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure BDA0002478642150000106
表示
Figure BDA0002478642150000107
中的所有像素点的视觉显著值的均值，也即表示
Figure BDA0002478642150000108
中与
Figure BDA0002478642150000109
对应的区域中的所有像素点的像素值的均值；
步骤B6、根据
Figure BDA00024786421500001010
和
Figure BDA00024786421500001011
计算得到Sorg和Sret的网格相似度
Figure BDA00024786421500001012
Figure BDA00024786421500001013
所述的步骤四中，
Figure BDA00024786421500001014
的获取过程为：
步骤C1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500001015
Figure BDA00024786421500001016
然后根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Lorg(x,y)}中重构得到重定位图像，记为
Figure BDA00024786421500001017
将
Figure BDA00024786421500001018
中坐标位置为
Figure BDA00024786421500001019
的像素点的像素值记为
Figure BDA00024786421500001020
再找出
Figure BDA00024786421500001021
中的所有空洞像素点，并将值0作为
Figure BDA00024786421500001022
中的每个空洞像素点的像素值；其中，
Figure BDA00024786421500001023
用于表示水平方向，
Figure BDA00024786421500001024
用于表示垂直方向，
Figure BDA00024786421500001025
表示
Figure BDA00024786421500001026
的水平偏移量，
Figure BDA00024786421500001027
表示
Figure BDA00024786421500001028
的垂直偏移量，
Figure BDA00024786421500001029
表示
Figure BDA00024786421500001030
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00024786421500001031
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500001032
Figure BDA00024786421500001033
然后根据{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Rorg(x,y)}中重构得到重定位图像，记为
Figure BDA0002478642150000111
将
Figure BDA0002478642150000112
中坐标位置为
Figure BDA0002478642150000113
的像素点的像素值记为
Figure BDA0002478642150000114
再找出
Figure BDA0002478642150000115
中的所有空洞像素点，并将值0作为
Figure BDA0002478642150000116
中的每个空洞像素点的像素值；其中，
Figure BDA0002478642150000117
表示
Figure BDA0002478642150000118
的水平偏移量，
Figure BDA0002478642150000119
表示
Figure BDA00024786421500001110
的垂直偏移量，
Figure BDA00024786421500001111
表示
Figure BDA00024786421500001112
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00024786421500001113
中的“＝”为赋值符号；
步骤C2、计算{Lret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001114
同样，计算
Figure BDA00024786421500001115
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001116
计算{Rret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001117
计算
Figure BDA00024786421500001118
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001119
其中，
Figure BDA00024786421500001120
的维数均为1×256；
步骤C3、计算{Lorg(x,y)}的前向信息损失，记为
Figure BDA00024786421500001121
Figure BDA00024786421500001122
同样，计算{Rorg(x,y)}的前向信息损失，记为
Figure BDA00024786421500001123
Figure BDA00024786421500001124
其中，χ()为求卡方距离函数；
步骤C4、根据
Figure BDA00024786421500001125
和
Figure BDA00024786421500001126
计算得到Sorg和Sret的前向信息损失
Figure BDA00024786421500001127
Figure BDA00024786421500001128
所述的步骤四中，
Figure BDA00024786421500001129
的获取过程为：
步骤D1、采用SIFT-Flow方法建立{Lret(x',y)}与{Lorg(x,y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500001130
Figure BDA00024786421500001131
然后根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量，从{Lret(x',y)}中重构得到重定位图像，记为
Figure BDA00024786421500001132
将
Figure BDA00024786421500001133
中坐标位置为
Figure BDA00024786421500001134
的像素点的像素值记为
Figure BDA0002478642150000121
再找出
Figure BDA0002478642150000122
中的所有空洞像素点，并将值0作为
Figure BDA0002478642150000123
中的每个空洞像素点的像素值；其中，
Figure BDA0002478642150000124
用于表示水平方向，
Figure BDA0002478642150000125
用于表示垂直方向，
Figure BDA0002478642150000126
表示
Figure BDA0002478642150000127
的水平偏移量，
Figure BDA0002478642150000128
表示
Figure BDA0002478642150000129
的垂直偏移量，
Figure BDA00024786421500001210
表示
Figure BDA00024786421500001211
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001212
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Rret(x',y)}与{Rorg(x,y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500001213
Figure BDA00024786421500001214
然后根据{Rret(x',y)}中的所有像素点的SIFT-Flow向量，从{Rret(x',y)}中重构得到重定位图像，记为
Figure BDA00024786421500001215
将
Figure BDA00024786421500001216
中坐标位置为
Figure BDA00024786421500001217
的像素点的像素值记为
Figure BDA00024786421500001218
再找出
Figure BDA00024786421500001219
中的所有空洞像素点，并将值0作为
Figure BDA00024786421500001220
中的每个空洞像素点的像素值；其中，
Figure BDA00024786421500001221
表示
Figure BDA00024786421500001222
的水平偏移量，
Figure BDA00024786421500001223
表示
Figure BDA00024786421500001224
的垂直偏移量，
Figure BDA00024786421500001225
表示
Figure BDA00024786421500001226
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001227
中的“＝”为赋值符号；
步骤D2、计算{Lorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001228
同样，计算
Figure BDA00024786421500001229
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001230
计算{Rorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001231
计算
Figure BDA00024786421500001232
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500001233
其中，
Figure BDA00024786421500001234
的维数均为1×256；
步骤D3、计算{Lret(x',y)}的后向信息损失，记为
Figure BDA00024786421500001235
Figure BDA00024786421500001236
同样，计算{Rret(x',y)}的后向信息损失，记为
Figure BDA00024786421500001237
Figure BDA00024786421500001238
其中，χ()为求卡方距离函数；
步骤D4、根据
Figure BDA0002478642150000131
和
Figure BDA0002478642150000132
计算得到Sorg和Sret的后向信息损失
Figure BDA0002478642150000133
Figure BDA0002478642150000134
所述的步骤四中，
Figure BDA0002478642150000135
的获取过程为：
步骤E1、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure BDA0002478642150000136
采用最大类间方差法提取出
Figure BDA0002478642150000137
的重要性区域掩码图，记为
Figure BDA0002478642150000138
其中，
Figure BDA0002478642150000139
表示
Figure BDA00024786421500001310
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001311
表示
Figure BDA00024786421500001312
中坐标位置为(x,y)的像素点的像素值；
同样，采用最大类间方差法提取出{Rorg(x,y)}的重要性区域掩码图，记为
Figure BDA00024786421500001313
采用最大类间方差法提取出
Figure BDA00024786421500001314
的重要性区域掩码图，记为
Figure BDA00024786421500001315
其中，
Figure BDA00024786421500001316
表示
Figure BDA00024786421500001317
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001318
表示
Figure BDA00024786421500001319
中坐标位置为(x,y)的像素点的像素值；
步骤E2、根据
Figure BDA00024786421500001320
和
Figure BDA00024786421500001321
计算{Lorg(x,y)}的信息保持特征，记为
Figure BDA00024786421500001322
Figure BDA00024786421500001323
其中，
Figure BDA00024786421500001324
代表
Figure BDA00024786421500001325
Figure BDA00024786421500001326
代表
Figure BDA00024786421500001327
Figure BDA00024786421500001328
代表
Figure BDA00024786421500001329
Figure BDA00024786421500001330
表示计算
Figure BDA00024786421500001331
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500001332
表示计算
Figure BDA00024786421500001333
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500001334
表示计算
Figure BDA00024786421500001335
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500001336
表示
Figure BDA00024786421500001337
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001338
符号
Figure BDA00024786421500001339
为点乘操作符号；
同样，根据
Figure BDA00024786421500001340
和
Figure BDA00024786421500001341
计算{Rorg(x,y)}的信息保持特征，记为
Figure BDA00024786421500001342
Figure BDA00024786421500001343
其中，
Figure BDA00024786421500001344
代表
Figure BDA00024786421500001345
Figure BDA00024786421500001346
代表
Figure BDA00024786421500001347
Figure BDA00024786421500001348
代表
Figure BDA0002478642150000141
Figure BDA0002478642150000142
表示计算
Figure BDA0002478642150000143
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA0002478642150000144
表示计算
Figure BDA0002478642150000145
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA0002478642150000146
表示计算
Figure BDA0002478642150000147
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA0002478642150000148
表示
Figure BDA0002478642150000149
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001410
步骤E3、根据
Figure BDA00024786421500001411
和
Figure BDA00024786421500001412
计算得到Sorg和Sret的信息保持特征
Figure BDA00024786421500001413
Figure BDA00024786421500001414
所述的步骤五中，JGL和JLO的计算过程为：
步骤F1、计算Sorg和Sret的全局视觉舒适度JGL，
Figure BDA00024786421500001415
其中，e表示指数函数的基数，
Figure BDA00024786421500001416
表示Sret的平均视差，即{dret(x',y)}中的所有像素点的像素值的平均值，thd为阈值，λ1、λ2、λ3和τ均为控制参数；
步骤F2、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure BDA00024786421500001417
采用最大类间方差法提取出{Lret(x',y)}的重要性区域掩码图，记为
Figure BDA00024786421500001418
其中，
Figure BDA00024786421500001419
表示
Figure BDA00024786421500001420
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001421
表示
Figure BDA00024786421500001422
中坐标位置为(x',y)的像素点的像素值；
步骤F3、采用Canny边缘检测算子提取出{Lorg(x,y)}的边缘图，记为
Figure BDA00024786421500001423
采用Canny边缘检测算子提取出{Lret(x',y)}的边缘图，记为
Figure BDA00024786421500001424
其中，
Figure BDA00024786421500001425
表示
Figure BDA00024786421500001426
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500001427
表示
Figure BDA00024786421500001428
中坐标位置为(x',y)的像素点的像素值；
步骤F4、计算Sorg的视差重要性图，记为
Figure BDA00024786421500001429
将
Figure BDA00024786421500001430
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002478642150000151
Figure BDA0002478642150000152
其中，
Figure BDA0002478642150000153
符号
Figure BDA0002478642150000154
为点乘操作符号；
同样，计算Sret的视差重要性图，记为
Figure BDA0002478642150000155
将
Figure BDA0002478642150000156
中坐标位置为(x',y)的像素点的像素值记为
Figure BDA0002478642150000157
其中，
Figure BDA0002478642150000158
步骤F5、计算Sorg和Sret的局部视觉舒适度JLO，
Figure BDA0002478642150000159
其中，
Figure BDA00024786421500001510
代表
Figure BDA00024786421500001511
Figure BDA00024786421500001512
代表
Figure BDA00024786421500001513
Figure BDA00024786421500001514
表示计算
Figure BDA00024786421500001515
中的所有像素点的像素值的标准差，
Figure BDA00024786421500001516
表示计算
Figure BDA00024786421500001517
中的所有像素点的像素值的标准差，log()表示以10为底的对数操作函数。
与现有技术相比，本发明的优点在于：本发明方法考虑了几何失真、信息损失和视觉舒适度对立体图像重定位的影响，通过计算原始的立体图像和重定位立体图像的长宽比相似性、网格相似度、前向信息损失、后向信息损失、信息保持特征、视觉舒适度，得到重定位立体图像的特征矢量，然后在训练阶段利用支持向量回归对训练集中的特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段利用构造的支持向量回归训练模型，预测得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位立体图像的几何失真、信息损失和视觉舒适度情况，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种重定位立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值。
步骤二：采用现有的基于光流的视差估计算法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}；同样，采用现有的基于光流的视差估计算法计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dret(x',y)}；其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视差值，dret(x',y)表示{dret(x',y)}中坐标位置为(x',y)的像素点的像素值，也即表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视差值。
在此具体实施例中，步骤二中，dorg(x,y)和dret(x',y)的获取过程为：
如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为匹配像素点，并令dorg(x,y)＝x*-x；如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中不能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为遮挡像素点，并令dorg(x,y)＝255；其中，x*表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点的横坐标，即{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点的坐标位置为(x*,y)。
如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dret(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dret(x',y)＝255；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标，即{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的坐标位置为(x'*,y)。
步骤三：计算Sorg和Sret的几何失真，记为FGD，
Figure BDA0002478642150000171
其中，
Figure BDA0002478642150000172
表示Sorg和Sret的长宽比相似性，
Figure BDA0002478642150000173
表示Sorg和Sret的网格相似度，符号“[]”为矢量表示符号，
Figure BDA0002478642150000174
表示将
Figure BDA0002478642150000175
和
Figure BDA0002478642150000176
连接起来形成一个矢量。
在此具体实施例中，步骤三中，
Figure BDA0002478642150000177
的获取过程为：
步骤A1、采用现有的长宽比相似性(Aspect Ratio Similarity)评价方法获取{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，记为
Figure BDA0002478642150000178
Figure BDA0002478642150000179
同样，采用现有的长宽比相似性(Aspect Ratio Similarity)评价方法获取{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，记为
Figure BDA00024786421500001710
Figure BDA00024786421500001711
其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，G(Lorg,Lret)中的Lorg代表{Lorg(x,y)}、Lret代表{Lret(x',y)}，G(Rorg,Rret)中的Rorg代表{Rorg(x,y)}、Rret代表{Rret(x',y)}。
步骤A2、根据
Figure BDA0002478642150000181
和
Figure BDA0002478642150000182
计算得到Sorg和Sret的长宽比相似性
Figure BDA0002478642150000183
Figure BDA0002478642150000184
在此具体实施例中，步骤三中，
Figure BDA0002478642150000185
的获取过程为：
步骤B1、采用现有的SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002478642150000186
Figure BDA0002478642150000187
其中，
Figure BDA0002478642150000188
用于表示水平方向，
Figure BDA0002478642150000189
用于表示垂直方向，
Figure BDA00024786421500001810
表示
Figure BDA00024786421500001811
的水平偏移量，
Figure BDA00024786421500001812
表示
Figure BDA00024786421500001813
的垂直偏移量。
同样，采用现有的SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500001814
Figure BDA00024786421500001815
其中，
Figure BDA00024786421500001816
表示
Figure BDA00024786421500001817
的水平偏移量，
Figure BDA00024786421500001818
表示
Figure BDA00024786421500001819
的垂直偏移量。
步骤B2、将{Lorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Lorg(x,y)}中的第k个四边形网格记为
Figure BDA00024786421500001820
Figure BDA00024786421500001821
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500001822
其中，M为正整数，
Figure BDA00024786421500001823
符号
Figure BDA00024786421500001824
为向下取整运算符号，k为正整数，1≤k≤M，
Figure BDA00024786421500001825
对应表示
Figure BDA00024786421500001826
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500001827
以
Figure BDA00024786421500001828
的水平坐标位置
Figure BDA00024786421500001829
和垂直坐标位置
Figure BDA00024786421500001830
来描述，
Figure BDA00024786421500001831
Figure BDA00024786421500001832
以
Figure BDA00024786421500001833
的水平坐标位置
Figure BDA00024786421500001834
和垂直坐标位置
Figure BDA00024786421500001835
来描述，
Figure BDA00024786421500001836
Figure BDA00024786421500001837
以
Figure BDA00024786421500001838
的水平坐标位置
Figure BDA00024786421500001839
和垂直坐标位置
Figure BDA00024786421500001840
来描述，
Figure BDA0002478642150000191
Figure BDA0002478642150000192
以
Figure BDA0002478642150000193
的水平坐标位置
Figure BDA0002478642150000194
和垂直坐标位置
Figure BDA0002478642150000195
来描述，
Figure BDA0002478642150000196
同样，将{Rorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Rorg(x,y)}中的第k个四边形网格记为
Figure BDA0002478642150000197
Figure BDA0002478642150000198
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA0002478642150000199
其中，
Figure BDA00024786421500001910
对应表示
Figure BDA00024786421500001911
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500001912
以
Figure BDA00024786421500001913
的水平坐标位置
Figure BDA00024786421500001914
和垂直坐标位置
Figure BDA00024786421500001915
来描述，
Figure BDA00024786421500001916
Figure BDA00024786421500001917
以
Figure BDA00024786421500001918
的水平坐标位置
Figure BDA00024786421500001919
和垂直坐标位置
Figure BDA00024786421500001920
来描述，
Figure BDA00024786421500001921
Figure BDA00024786421500001922
以
Figure BDA00024786421500001923
的水平坐标位置
Figure BDA00024786421500001924
和垂直坐标位置
Figure BDA00024786421500001925
来描述，
Figure BDA00024786421500001926
Figure BDA00024786421500001927
以
Figure BDA00024786421500001928
的水平坐标位置
Figure BDA00024786421500001929
和垂直坐标位置
Figure BDA00024786421500001930
来描述，
Figure BDA00024786421500001931
步骤B3、根据{Lorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Lorg(x,y)}中的每个四边形网格在{Lret(x',y)}中匹配的四边形网格，将
Figure BDA00024786421500001932
在{Lret(x',y)}中匹配的四边形网格记为
Figure BDA00024786421500001933
Figure BDA00024786421500001934
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500001935
其中，
Figure BDA00024786421500001936
对应表示
Figure BDA00024786421500001937
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500001938
亦表示
Figure BDA00024786421500001939
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500001940
亦表示
Figure BDA00024786421500001941
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500001942
亦表示
Figure BDA00024786421500001943
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500001944
亦表示
Figure BDA00024786421500001945
在{Lret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500001946
以
Figure BDA00024786421500001947
的水平坐标位置
Figure BDA00024786421500001948
和垂直坐标位置
Figure BDA00024786421500001949
来描述，
Figure BDA00024786421500001950
Figure BDA00024786421500001951
以
Figure BDA00024786421500001952
的水平坐标位置
Figure BDA00024786421500001953
和垂直坐标位置
Figure BDA00024786421500001954
来描述，
Figure BDA00024786421500001955
Figure BDA00024786421500001956
以
Figure BDA00024786421500001957
的水平坐标位置
Figure BDA00024786421500001958
和垂直坐标位置
Figure BDA00024786421500001959
来描述，
Figure BDA00024786421500001960
Figure BDA00024786421500001961
以
Figure BDA00024786421500001962
的水平坐标位置
Figure BDA00024786421500001963
和垂直坐标位置
Figure BDA00024786421500001964
来描述，
Figure BDA0002478642150000201
Figure BDA0002478642150000202
Figure BDA0002478642150000203
Figure BDA0002478642150000204
和
Figure BDA0002478642150000205
对应表示
Figure BDA0002478642150000206
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA0002478642150000207
和
Figure BDA0002478642150000208
对应表示
Figure BDA0002478642150000209
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500002010
和
Figure BDA00024786421500002011
对应表示
Figure BDA00024786421500002012
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500002013
和
Figure BDA00024786421500002014
对应表示
Figure BDA00024786421500002015
的SIFT-Flow向量的水平偏移量和垂直偏移量。
同样，根据{Rorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Rorg(x,y)}中的每个四边形网格在{Rret(x',y)}中匹配的四边形网格，将
Figure BDA00024786421500002016
在{Rret(x',y)}中匹配的四边形网格记为
Figure BDA00024786421500002017
Figure BDA00024786421500002018
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure BDA00024786421500002019
其中，
Figure BDA00024786421500002020
对应表示
Figure BDA00024786421500002021
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure BDA00024786421500002022
亦表示
Figure BDA00024786421500002023
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500002024
亦表示
Figure BDA00024786421500002025
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500002026
亦表示
Figure BDA00024786421500002027
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500002028
亦表示
Figure BDA00024786421500002029
在{Rret(x',y)}中匹配的网格顶点，
Figure BDA00024786421500002030
以
Figure BDA00024786421500002031
的水平坐标位置
Figure BDA00024786421500002032
和垂直坐标位置
Figure BDA00024786421500002033
来描述，
Figure BDA00024786421500002034
Figure BDA00024786421500002035
以
Figure BDA00024786421500002036
的水平坐标位置
Figure BDA00024786421500002037
和垂直坐标位置
Figure BDA00024786421500002038
来描述，
Figure BDA00024786421500002039
Figure BDA00024786421500002040
以
Figure BDA00024786421500002041
的水平坐标位置
Figure BDA00024786421500002042
和垂直坐标位置
Figure BDA00024786421500002043
来描述，
Figure BDA00024786421500002044
Figure BDA00024786421500002045
以
Figure BDA00024786421500002046
的水平坐标位置
Figure BDA00024786421500002047
和垂直坐标位置
Figure BDA00024786421500002048
来描述，
Figure BDA00024786421500002049
Figure BDA00024786421500002050
Figure BDA0002478642150000211
Figure BDA0002478642150000212
和
Figure BDA0002478642150000213
对应表示
Figure BDA0002478642150000214
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA0002478642150000215
和
Figure BDA0002478642150000216
对应表示
Figure BDA0002478642150000217
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA0002478642150000218
和
Figure BDA0002478642150000219
对应表示
Figure BDA00024786421500002110
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure BDA00024786421500002111
和
Figure BDA00024786421500002112
对应表示
Figure BDA00024786421500002113
的SIFT-Flow向量的水平偏移量和垂直偏移量。
步骤B4、计算{Lorg(x,y)}中的每个四边形网格的网格相似度，将
Figure BDA00024786421500002114
的网格相似度记为
Figure BDA00024786421500002115
Figure BDA00024786421500002116
其中，
Figure BDA00024786421500002117
表示
Figure BDA00024786421500002118
与
Figure BDA00024786421500002119
之间的距离，
Figure BDA00024786421500002120
Figure BDA00024786421500002121
表示
Figure BDA00024786421500002122
与
Figure BDA00024786421500002123
之间的距离，
Figure BDA00024786421500002124
Figure BDA00024786421500002125
表示
Figure BDA00024786421500002126
与
Figure BDA00024786421500002127
之间的距离，
Figure BDA00024786421500002128
Figure BDA00024786421500002129
表示
Figure BDA00024786421500002130
与
Figure BDA00024786421500002131
之间的距离，
Figure BDA00024786421500002132
Figure BDA00024786421500002133
表示
Figure BDA00024786421500002134
与
Figure BDA00024786421500002135
之间的距离，
Figure BDA00024786421500002136
γ为控制参数，在本实施例中取γ＝0.3，C1为控制参数，在本实施例中取C1＝10-6，符号“||”为取绝对值符号，e表示指数函数的基数。
同样，计算{Rorg(x,y)}中的每个四边形网格的网格相似度，将
Figure BDA00024786421500002137
的网格相似度记为
Figure BDA0002478642150000221
Figure BDA0002478642150000222
其中，
Figure BDA0002478642150000223
表示
Figure BDA0002478642150000224
与
Figure BDA0002478642150000225
之间的距离，
Figure BDA0002478642150000226
Figure BDA0002478642150000227
表示
Figure BDA0002478642150000228
与
Figure BDA0002478642150000229
之间的距离，
Figure BDA00024786421500002210
Figure BDA00024786421500002211
表示
Figure BDA00024786421500002212
与
Figure BDA00024786421500002213
之间的距离，
Figure BDA00024786421500002214
Figure BDA00024786421500002215
表示
Figure BDA00024786421500002216
与
Figure BDA00024786421500002217
之间的距离，
Figure BDA00024786421500002218
Figure BDA00024786421500002219
表示
Figure BDA00024786421500002220
与
Figure BDA00024786421500002221
之间的距离，
Figure BDA00024786421500002222
步骤B5、采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{Lorg(x,y)}的视觉显著图，记为
Figure BDA00024786421500002223
然后根据{Lorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure BDA00024786421500002224
计算得到{Lorg(x,y)}的网格相似度，记为
Figure BDA00024786421500002225
Figure BDA00024786421500002226
其中，
Figure BDA00024786421500002227
表示
Figure BDA00024786421500002228
中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure BDA00024786421500002229
表示
Figure BDA00024786421500002230
中的所有像素点的视觉显著值的均值，也即表示
Figure BDA00024786421500002231
中与
Figure BDA00024786421500002232
对应的区域中的所有像素点的像素值的均值。
同样，采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{Rorg(x,y)}的视觉显著图，记为
Figure BDA00024786421500002233
然后根据{Rorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure BDA00024786421500002234
计算得到{Rorg(x,y)}的网格相似度，记为
Figure BDA0002478642150000231
Figure BDA0002478642150000232
其中，
Figure BDA0002478642150000233
表示
Figure BDA0002478642150000234
中坐标位置为(x,y)的像素点的像素值，也即表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure BDA0002478642150000235
表示
Figure BDA0002478642150000236
中的所有像素点的视觉显著值的均值，也即表示
Figure BDA0002478642150000237
中与
Figure BDA0002478642150000238
对应的区域中的所有像素点的像素值的均值。
步骤B6、根据
Figure BDA0002478642150000239
和
Figure BDA00024786421500002310
计算得到Sorg和Sret的网格相似度
Figure BDA00024786421500002311
Figure BDA00024786421500002312
步骤四：计算Sorg和Sret的信息损失，记为FIL，
Figure BDA00024786421500002313
其中，
Figure BDA00024786421500002314
表示Sorg和Sret的前向信息损失，
Figure BDA00024786421500002315
表示Sorg和Sret的后向信息损失，
Figure BDA00024786421500002316
表示Sorg和Sret的信息保持特征，符号“[]”为矢量表示符号，
Figure BDA00024786421500002317
表示将
Figure BDA00024786421500002318
和
Figure BDA00024786421500002319
连接起来形成一个矢量。
在此具体实施例中，步骤四中，
Figure BDA00024786421500002320
的获取过程为：
步骤C1、采用现有的SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500002321
Figure BDA00024786421500002322
然后根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Lorg(x,y)}中重构得到重定位图像，记为
Figure BDA00024786421500002323
将
Figure BDA00024786421500002324
中坐标位置为
Figure BDA00024786421500002325
的像素点的像素值记为
Figure BDA00024786421500002326
再找出
Figure BDA00024786421500002327
中的所有空洞像素点，并将值0作为
Figure BDA00024786421500002328
中的每个空洞像素点的像素值；其中，
Figure BDA00024786421500002329
用于表示水平方向，
Figure BDA00024786421500002330
用于表示垂直方向，
Figure BDA00024786421500002331
表示
Figure BDA00024786421500002332
的水平偏移量，
Figure BDA00024786421500002333
表示
Figure BDA00024786421500002334
的垂直偏移量，
Figure BDA00024786421500002335
表示
Figure BDA00024786421500002336
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00024786421500002337
中的“＝”为赋值符号。
同样，采用现有的SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure BDA0002478642150000241
Figure BDA0002478642150000242
然后根据{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Rorg(x,y)}中重构得到重定位图像，记为
Figure BDA0002478642150000243
将
Figure BDA0002478642150000244
中坐标位置为
Figure BDA0002478642150000245
的像素点的像素值记为
Figure BDA0002478642150000246
再找出
Figure BDA0002478642150000247
中的所有空洞像素点，并将值0作为
Figure BDA0002478642150000248
中的每个空洞像素点的像素值；其中，
Figure BDA0002478642150000249
表示
Figure BDA00024786421500002410
的水平偏移量，
Figure BDA00024786421500002411
表示
Figure BDA00024786421500002412
的垂直偏移量，
Figure BDA00024786421500002413
表示
Figure BDA00024786421500002414
中坐标位置为(x',y)的像素点的像素值，
Figure BDA00024786421500002415
中的“＝”为赋值符号。
步骤C2、计算{Lret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002416
同样，计算
Figure BDA00024786421500002417
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002418
计算{Rret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002419
计算
Figure BDA00024786421500002420
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002421
其中，
Figure BDA00024786421500002422
的维数均为1×256。
步骤C3、计算{Lorg(x,y)}的前向信息损失，记为
Figure BDA00024786421500002423
Figure BDA00024786421500002424
同样，计算{Rorg(x,y)}的前向信息损失，记为
Figure BDA00024786421500002425
Figure BDA00024786421500002426
其中，χ()为求卡方距离(Chi-distance measure)函数。
步骤C4、根据
Figure BDA00024786421500002427
和
Figure BDA00024786421500002428
计算得到Sorg和Sret的前向信息损失
Figure BDA00024786421500002429
Figure BDA00024786421500002430
在此具体实施例中，步骤四中，
Figure BDA00024786421500002431
的获取过程为：
步骤D1、采用现有的SIFT-Flow方法建立{Lret(x',y)}与{Lorg(x,y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA0002478642150000251
Figure BDA0002478642150000252
然后根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量，从{Lret(x',y)}中重构得到重定位图像，记为
Figure BDA0002478642150000253
将
Figure BDA0002478642150000254
中坐标位置为
Figure BDA0002478642150000255
的像素点的像素值记为
Figure BDA0002478642150000256
再找出
Figure BDA0002478642150000257
中的所有空洞像素点，并将值0作为
Figure BDA0002478642150000258
中的每个空洞像素点的像素值；其中，
Figure BDA0002478642150000259
用于表示水平方向，
Figure BDA00024786421500002510
用于表示垂直方向，
Figure BDA00024786421500002511
表示
Figure BDA00024786421500002512
的水平偏移量，
Figure BDA00024786421500002513
表示
Figure BDA00024786421500002514
的垂直偏移量，
Figure BDA00024786421500002515
表示
Figure BDA00024786421500002516
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002517
中的“＝”为赋值符号。
同样，采用现有的SIFT-Flow方法建立{Rret(x',y)}与{Rorg(x,y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure BDA00024786421500002518
Figure BDA00024786421500002519
然后根据{Rret(x',y)}中的所有像素点的SIFT-Flow向量，从{Rret(x',y)}中重构得到重定位图像，记为
Figure BDA00024786421500002520
将
Figure BDA00024786421500002521
中坐标位置为
Figure BDA00024786421500002522
的像素点的像素值记为
Figure BDA00024786421500002523
再找出
Figure BDA00024786421500002524
中的所有空洞像素点，并将值0作为
Figure BDA00024786421500002525
中的每个空洞像素点的像素值；其中，
Figure BDA00024786421500002526
表示
Figure BDA00024786421500002527
的水平偏移量，
Figure BDA00024786421500002528
表示
Figure BDA00024786421500002529
的垂直偏移量，
Figure BDA00024786421500002530
表示
Figure BDA00024786421500002531
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002532
中的“＝”为赋值符号。
步骤D2、计算{Lorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002533
同样，计算
Figure BDA00024786421500002534
中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002535
计算{Rorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure BDA00024786421500002536
计算
Figure BDA00024786421500002537
中的所有像素点的亮度分量的直方图，记为
Figure BDA0002478642150000261
其中，
Figure BDA0002478642150000262
的维数均为1×256。
步骤D3、计算{Lret(x',y)}的后向信息损失，记为
Figure BDA0002478642150000263
Figure BDA0002478642150000264
同样，计算{Rret(x',y)}的后向信息损失，记为
Figure BDA0002478642150000265
Figure BDA0002478642150000266
其中，χ()为求卡方距离(Chi-distance measure)函数。
步骤D4、根据
Figure BDA0002478642150000267
和
Figure BDA0002478642150000268
计算得到Sorg和Sret的后向信息损失
Figure BDA0002478642150000269
Figure BDA00024786421500002610
在此具体实施例中，步骤四中，
Figure BDA00024786421500002611
的获取过程为：
步骤E1、采用现有的最大类间方差法(OTSU)提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure BDA00024786421500002612
采用现有的最大类间方差法(OTSU)提取出
Figure BDA00024786421500002613
的重要性区域掩码图，记为
Figure BDA00024786421500002614
其中，
Figure BDA00024786421500002615
表示
Figure BDA00024786421500002616
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002617
表示
Figure BDA00024786421500002645
中坐标位置为(x,y)的像素点的像素值。
同样，采用现有的最大类间方差法(OTSU)提取出{Rorg(x,y)}的重要性区域掩码图，记为
Figure BDA00024786421500002618
采用现有的最大类间方差法(OTSU)提取出
Figure BDA00024786421500002619
的重要性区域掩码图，记为
Figure BDA00024786421500002620
其中，
Figure BDA00024786421500002621
表示
Figure BDA00024786421500002622
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002623
表示
Figure BDA00024786421500002624
中坐标位置为(x,y)的像素点的像素值。
步骤E2、根据
Figure BDA00024786421500002625
和
Figure BDA00024786421500002626
计算{Lorg(x,y)}的信息保持特征，记为
Figure BDA00024786421500002627
Figure BDA00024786421500002628
其中，
Figure BDA00024786421500002629
代表
Figure BDA00024786421500002630
Figure BDA00024786421500002631
代表
Figure BDA00024786421500002632
Figure BDA00024786421500002633
代表
Figure BDA00024786421500002634
Figure BDA00024786421500002635
表示计算
Figure BDA00024786421500002636
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002637
表示计算
Figure BDA00024786421500002638
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002639
表示计算
Figure BDA00024786421500002640
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002641
表示
Figure BDA00024786421500002642
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002643
符号
Figure BDA00024786421500002644
为点乘操作符号。
同样，根据
Figure BDA0002478642150000271
和
Figure BDA0002478642150000272
计算{Rorg(x,y)}的信息保持特征，记为
Figure BDA0002478642150000273
Figure BDA0002478642150000274
其中，
Figure BDA0002478642150000275
代表
Figure BDA0002478642150000276
Figure BDA0002478642150000277
代表
Figure BDA0002478642150000278
Figure BDA0002478642150000279
代表
Figure BDA00024786421500002710
Figure BDA00024786421500002711
表示计算
Figure BDA00024786421500002712
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002713
表示计算
Figure BDA00024786421500002714
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002715
表示计算
Figure BDA00024786421500002716
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure BDA00024786421500002717
表示
Figure BDA00024786421500002718
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00024786421500002719
步骤E3、根据
Figure BDA00024786421500002720
和
Figure BDA00024786421500002721
计算得到Sorg和Sret的信息保持特征
Figure BDA00024786421500002722
Figure BDA00024786421500002723
步骤五：计算Sorg和Sret的视觉舒适度，记为FVC，FVC＝JGL×JLO；其中，JGL表示Sorg和Sret的全局视觉舒适度，JGL根据{dret(x',y)}获取，JLO表示Sorg和Sret的局部视觉舒适度，JLO根据{Lorg(x,y)}、{Lret(x',y)}、{dorg(x,y)}和{dret(x',y)}获取。
在此具体实施例中，步骤五中，JGL和JLO的计算过程为：
步骤F1、计算Sorg和Sret的全局视觉舒适度JGL，
Figure BDA00024786421500002724
其中，e表示指数函数的基数，
Figure BDA00024786421500002725
表示Sret的平均视差，即{dret(x',y)}中的所有像素点的像素值的平均值，thd为阈值，在本实施例中取thd＝60，λ1、λ2、λ3和τ均为控制参数，在本实施例中取λ1＝1、λ2＝1、λ3＝0.08、τ＝187。
步骤F2、采用现有的最大类间方差法(OTSU)提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure BDA00024786421500002729
采用现有的最大类间方差法(OTSU)提取出{Lret(x',y)}的重要性区域掩码图，记为
Figure BDA00024786421500002726
其中，
Figure BDA00024786421500002727
表示
Figure BDA00024786421500002728
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002478642150000281
表示
Figure BDA0002478642150000282
中坐标位置为(x',y)的像素点的像素值。
步骤F3、采用现有的Canny边缘检测算子提取出{Lorg(x,y)}的边缘图，记为
Figure BDA0002478642150000283
采用现有的Canny边缘检测算子提取出{Lret(x',y)}的边缘图，记为
Figure BDA0002478642150000284
其中，
Figure BDA00024786421500002828
表示
Figure BDA0002478642150000285
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002478642150000286
表示
Figure BDA0002478642150000287
中坐标位置为(x',y)的像素点的像素值。
步骤F4、计算Sorg的视差重要性图，记为
Figure BDA0002478642150000288
将
Figure BDA0002478642150000289
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00024786421500002810
Figure BDA00024786421500002811
其中，
Figure BDA00024786421500002812
符号
Figure BDA00024786421500002813
为点乘操作符号。
同样，计算Sret的视差重要性图，记为
Figure BDA00024786421500002814
将
Figure BDA00024786421500002815
中坐标位置为(x',y)的像素点的像素值记为
Figure BDA00024786421500002816
Figure BDA00024786421500002817
其中，
Figure BDA00024786421500002818
步骤F5、计算Sorg和Sret的局部视觉舒适度JLO，
Figure BDA00024786421500002819
其中，
Figure BDA00024786421500002820
代表
Figure BDA00024786421500002821
Figure BDA00024786421500002822
代表
Figure BDA00024786421500002823
Figure BDA00024786421500002824
表示计算
Figure BDA00024786421500002825
中的所有像素点的像素值的标准差，
Figure BDA00024786421500002826
表示计算
Figure BDA00024786421500002827
中的所有像素点的像素值的标准差，log()表示以10为底的对数操作函数。
步骤六：根据FGD、FIL和FVC，获取Sret的特征矢量，记为F，F＝[FGD,FIL,FVC]；其中，F的维数为1×6，[FGD,FIL,FVC]表示将FGD、FIL和FVC连接起来形成一个特征矢量。
步骤七：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用现有的主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤六的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的特征矢量记为Fj；其中，n'为正整数，n'＞1，如取n'＝45，n为正整数，n≥n'，如取n＝720，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×6。
步骤八：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002478642150000291
和最优的偏置项
Figure BDA0002478642150000292
再利用得到的最优的权重矢量
Figure BDA0002478642150000293
和最优的偏置项
Figure BDA0002478642150000294
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure BDA0002478642150000295
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为1×6，
Figure BDA0002478642150000296
为
Figure BDA00024786421500002910
的转置，
Figure BDA0002478642150000297
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数。
步骤九：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure BDA0002478642150000298
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×6，
Figure BDA0002478642150000299
表示Fη的线性函数。
步骤十：重复执行步骤八至步骤九共V次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过V次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，V为正整数，V≥100。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对宁波大学建立的重定位立体图像数据库进行测试，该重定位立体图像数据库包含45幅原始的立体图像，采用8种不同重定位方法对每幅原始的立体图像进行50％和75％两种比例的重定位操作，这样该重定位立体图像数据库共有720幅重定位立体图像，并给出了每幅重定位立体图像的平均主观评分差值。这里，利用评估图像质量评价方法的3个常用客观参量作为客观评价结果的评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、均方误差(root meansquared error，RMSE)，PLCC和RMSE反映重定位立体图像的客观评价结果的准确性，SROCC反映其单调性。
将采用本发明方法计算得到的720幅重定位立体图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性。
表1采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相
关性
方法 PLCC SROCC RMSE
本发明方法 0.8483 0.8411 7.8890
从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

Claims (8)

1.一种重定位立体图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；
步骤二：计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}；同样，计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dret(x',y)}；其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视差值，dret(x',y)表示{dret(x',y)}中坐标位置为(x',y)的像素点的像素值，也即表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视差值；
步骤三：计算Sorg和Sret的几何失真，记为FGD，
Figure FDA0002478642140000011
其中，
Figure FDA0002478642140000012
表示Sorg和Sret的长宽比相似性，
Figure FDA0002478642140000013
表示Sorg和Sret的网格相似度，符号“[]”为矢量表示符号，
Figure FDA0002478642140000014
表示将
Figure FDA0002478642140000015
和
Figure FDA0002478642140000016
连接起来形成一个矢量；
步骤四：计算Sorg和Sret的信息损失，记为FIL，
Figure FDA0002478642140000017
其中，
Figure FDA0002478642140000018
表示Sorg和Sret的前向信息损失，
Figure FDA0002478642140000019
表示Sorg和Sret的后向信息损失，
Figure FDA00024786421400000110
表示Sorg和Sret的信息保持特征，符号“[]”为矢量表示符号，
Figure FDA00024786421400000111
表示将
Figure FDA00024786421400000112
和
Figure FDA00024786421400000113
连接起来形成一个矢量；
步骤五：计算Sorg和Sret的视觉舒适度，记为FVC，FVC＝JGL×JLO；其中，JGL表示Sorg和Sret的全局视觉舒适度，JGL根据{dret(x',y)}获取，JLO表示Sorg和Sret的局部视觉舒适度，JLO根据{Lorg(x,y)}、{Lret(x',y)}、{dorg(x,y)}和{dret(x',y)}获取；
步骤六：根据FGD、FIL和FVC，获取Sret的特征矢量，记为F，F＝[FGD,FIL,FVC]；其中，F的维数为1×6，[FGD,FIL,FVC]表示将FGD、FIL和FVC连接起来形成一个特征矢量；
步骤七：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj；并按照步骤一至步骤六的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第j幅重定位立体图像的特征矢量记为Fj；其中，n'为正整数，n'＞1，n为正整数，n≥n'，j为正整数，1≤j≤n，DMOSj∈[0,100]，Fj的维数为1×6；
步骤八：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量
Figure FDA0002478642140000021
和最优的偏置项
Figure FDA0002478642140000022
再利用得到的最优的权重矢量
Figure FDA0002478642140000023
和最优的偏置项
Figure FDA0002478642140000024
构造重定位立体图像的支持向量回归训练模型，记为s(Finp)，
Figure FDA0002478642140000025
其中，m为正整数，1≤m＜n，s()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为1×6，
Figure FDA0002478642140000026
为
Figure FDA0002478642140000027
的转置，
Figure FDA0002478642140000028
表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤九：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη，Qη＝s(Fη)，
Figure FDA0002478642140000031
其中，η为正整数，1≤η≤n-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×6，
Figure FDA0002478642140000032
表示Fη的线性函数；
步骤十：重复执行步骤八至步骤九共V次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过V次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，V为正整数，V≥100。
2.根据权利要求1所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤二中，dorg(x,y)和dret(x',y)的获取过程为：
如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为匹配像素点，并令dorg(x,y)＝x*-x；如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中不能找到匹配的像素点，则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为遮挡像素点，并令dorg(x,y)＝255；其中，x*表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点的横坐标；
如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dret(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dret(x',y)＝255；其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标。
3.根据权利要求1或2所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤三中，
Figure FDA0002478642140000041
的获取过程为：
步骤A1、采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，记为
Figure FDA0002478642140000042
Figure FDA0002478642140000043
同样，采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，记为
Figure FDA0002478642140000044
Figure FDA0002478642140000045
其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性，G(Lorg,Lret)中的Lorg代表{Lorg(x,y)}、Lret代表{Lret(x',y)}，G(Rorg,Rret)中的Rorg代表{Rorg(x,y)}、Rret代表{Rret(x',y)}；
步骤A2、根据
Figure FDA0002478642140000046
和
Figure FDA0002478642140000047
计算得到Sorg和Sret的长宽比相似性
Figure FDA0002478642140000048
Figure FDA0002478642140000049
4.根据权利要求3所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤三中，
Figure FDA00024786421400000410
的获取过程为：
步骤B1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA00024786421400000411
Figure FDA00024786421400000412
其中，
Figure FDA00024786421400000413
用于表示水平方向，
Figure FDA00024786421400000414
用于表示垂直方向，
Figure FDA00024786421400000415
表示
Figure FDA00024786421400000416
的水平偏移量，
Figure FDA00024786421400000417
表示
Figure FDA00024786421400000418
的垂直偏移量；
同样，采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA00024786421400000419
Figure FDA00024786421400000420
其中，
Figure FDA00024786421400000421
表示
Figure FDA00024786421400000422
的水平偏移量，
Figure FDA00024786421400000423
表示
Figure FDA00024786421400000424
的垂直偏移量；
步骤B2、将{Lorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Lorg(x,y)}中的第k个四边形网格记为
Figure FDA0002478642140000051
Figure FDA0002478642140000052
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure FDA0002478642140000053
其中，M为正整数，
Figure FDA0002478642140000054
符号
Figure FDA0002478642140000055
为向下取整运算符号，k为正整数，1≤k≤M，
Figure FDA0002478642140000056
对应表示
Figure FDA0002478642140000057
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure FDA0002478642140000058
以
Figure FDA0002478642140000059
的水平坐标位置
Figure FDA00024786421400000510
和垂直坐标位置
Figure FDA00024786421400000511
来描述，
Figure FDA00024786421400000512
Figure FDA00024786421400000513
以
Figure FDA00024786421400000514
的水平坐标位置
Figure FDA00024786421400000515
和垂直坐标位置
Figure FDA00024786421400000516
来描述，
Figure FDA00024786421400000517
Figure FDA00024786421400000518
以
Figure FDA00024786421400000519
的水平坐标位置
Figure FDA00024786421400000520
和垂直坐标位置
Figure FDA00024786421400000521
来描述，
Figure FDA00024786421400000522
Figure FDA00024786421400000523
以
Figure FDA00024786421400000524
的水平坐标位置
Figure FDA00024786421400000525
和垂直坐标位置
Figure FDA00024786421400000526
来描述，
Figure FDA00024786421400000527
同样，将{Rorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格，将{Rorg(x,y)}中的第k个四边形网格记为
Figure FDA00024786421400000528
Figure FDA00024786421400000529
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure FDA00024786421400000530
其中，
Figure FDA00024786421400000531
对应表示
Figure FDA00024786421400000532
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure FDA00024786421400000533
以
Figure FDA00024786421400000534
的水平坐标位置
Figure FDA00024786421400000535
和垂直坐标位置
Figure FDA00024786421400000536
来描述，
Figure FDA00024786421400000537
Figure FDA00024786421400000538
以
Figure FDA00024786421400000539
的水平坐标位置
Figure FDA00024786421400000540
和垂直坐标位置
Figure FDA00024786421400000541
来描述，
Figure FDA00024786421400000542
Figure FDA00024786421400000543
以
Figure FDA00024786421400000544
的水平坐标位置
Figure FDA00024786421400000545
和垂直坐标位置
Figure FDA00024786421400000546
来描述，
Figure FDA00024786421400000547
Figure FDA00024786421400000548
以
Figure FDA00024786421400000549
的水平坐标位置
Figure FDA00024786421400000550
和垂直坐标位置
Figure FDA00024786421400000551
来描述，
Figure FDA00024786421400000552
步骤B3、根据{Lorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Lorg(x,y)}中的每个四边形网格在{Lret(x',y)}中匹配的四边形网格，将
Figure FDA00024786421400000553
在{Lret(x',y)}中匹配的四边形网格记为
Figure FDA00024786421400000554
Figure FDA00024786421400000555
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure FDA0002478642140000061
其中，
Figure FDA0002478642140000062
对应表示
Figure FDA0002478642140000063
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure FDA0002478642140000064
亦表示
Figure FDA0002478642140000065
在{Lret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000066
亦表示
Figure FDA0002478642140000067
在{Lret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000068
亦表示
Figure FDA0002478642140000069
在{Lret(x',y)}中匹配的网格顶点，
Figure FDA00024786421400000610
亦表示
Figure FDA00024786421400000611
在{Lret(x',y)}中匹配的网格顶点，
Figure FDA00024786421400000612
以
Figure FDA00024786421400000613
的水平坐标位置
Figure FDA00024786421400000614
和垂直坐标位置
Figure FDA00024786421400000615
来描述，
Figure FDA00024786421400000616
Figure FDA00024786421400000617
以
Figure FDA00024786421400000618
的水平坐标位置
Figure FDA00024786421400000619
和垂直坐标位置
Figure FDA00024786421400000620
来描述，
Figure FDA00024786421400000621
Figure FDA00024786421400000622
以
Figure FDA00024786421400000623
的水平坐标位置
Figure FDA00024786421400000624
和垂直坐标位置
Figure FDA00024786421400000625
来描述，
Figure FDA00024786421400000626
Figure FDA00024786421400000627
以
Figure FDA00024786421400000628
的水平坐标位置
Figure FDA00024786421400000629
和垂直坐标位置
Figure FDA00024786421400000630
来描述，
Figure FDA00024786421400000631
Figure FDA00024786421400000632
Figure FDA00024786421400000633
Figure FDA00024786421400000634
Figure FDA00024786421400000635
和
Figure FDA00024786421400000636
对应表示
Figure FDA00024786421400000637
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000638
和
Figure FDA00024786421400000639
对应表示
Figure FDA00024786421400000640
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000641
和
Figure FDA00024786421400000642
对应表示
Figure FDA00024786421400000643
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000644
和
Figure FDA00024786421400000645
对应表示
Figure FDA00024786421400000646
的SIFT-Flow向量的水平偏移量和垂直偏移量；
同样，根据{Rorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定{Rorg(x,y)}中的每个四边形网格在{Rret(x',y)}中匹配的四边形网格，将
Figure FDA00024786421400000647
在{Rret(x',y)}中匹配的四边形网格记为
Figure FDA00024786421400000648
Figure FDA00024786421400000649
以其左上、左下、右上和右下4个网格顶点的集合来描述，
Figure FDA00024786421400000650
其中，
Figure FDA00024786421400000651
对应表示
Figure FDA00024786421400000652
的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，
Figure FDA00024786421400000653
亦表示
Figure FDA0002478642140000071
在{Rret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000072
亦表示
Figure FDA0002478642140000073
在{Rret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000074
亦表示
Figure FDA0002478642140000075
在{Rret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000076
亦表示
Figure FDA0002478642140000077
在{Rret(x',y)}中匹配的网格顶点，
Figure FDA0002478642140000078
以
Figure FDA0002478642140000079
的水平坐标位置
Figure FDA00024786421400000710
和垂直坐标位置
Figure FDA00024786421400000711
来描述，
Figure FDA00024786421400000712
Figure FDA00024786421400000713
以
Figure FDA00024786421400000714
的水平坐标位置
Figure FDA00024786421400000715
和垂直坐标位置
Figure FDA00024786421400000716
来描述，
Figure FDA00024786421400000717
Figure FDA00024786421400000718
以
Figure FDA00024786421400000719
的水平坐标位置
Figure FDA00024786421400000720
和垂直坐标位置
Figure FDA00024786421400000721
来描述，
Figure FDA00024786421400000722
Figure FDA00024786421400000723
以
Figure FDA00024786421400000724
的水平坐标位置
Figure FDA00024786421400000725
和垂直坐标位置
Figure FDA00024786421400000726
来描述，
Figure FDA00024786421400000727
Figure FDA00024786421400000728
Figure FDA00024786421400000729
Figure FDA00024786421400000730
Figure FDA00024786421400000731
和
Figure FDA00024786421400000732
对应表示
Figure FDA00024786421400000733
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000734
和
Figure FDA00024786421400000735
对应表示
Figure FDA00024786421400000736
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000737
和
Figure FDA00024786421400000738
对应表示
Figure FDA00024786421400000739
的SIFT-Flow向量的水平偏移量和垂直偏移量，
Figure FDA00024786421400000740
和
Figure FDA00024786421400000741
对应表示
Figure FDA00024786421400000742
的SIFT-Flow向量的水平偏移量和垂直偏移量；
步骤B4、计算{Lorg(x,y)}中的每个四边形网格的网格相似度，将
Figure FDA00024786421400000743
的网格相似度记为
Figure FDA00024786421400000744
Figure FDA00024786421400000745
其中，
Figure FDA00024786421400000746
表示
Figure FDA00024786421400000747
与
Figure FDA00024786421400000748
之间的距离，
Figure FDA00024786421400000749
Figure FDA00024786421400000750
表示
Figure FDA00024786421400000751
与
Figure FDA00024786421400000752
之间的距离，
Figure FDA00024786421400000753
Figure FDA00024786421400000754
表示
Figure FDA00024786421400000755
与
Figure FDA00024786421400000756
之间的距离，
Figure FDA0002478642140000081
Figure FDA0002478642140000082
表示
Figure FDA0002478642140000083
与
Figure FDA0002478642140000084
之间的距离，
Figure FDA0002478642140000085
Figure FDA0002478642140000086
表示
Figure FDA0002478642140000087
与
Figure FDA0002478642140000088
之间的距离，
Figure FDA0002478642140000089
γ为控制参数，C1为控制参数，符号“| |”为取绝对值符号，e表示指数函数的基数；
同样，计算{Rorg(x,y)}中的每个四边形网格的网格相似度，将
Figure FDA00024786421400000810
的网格相似度记为
Figure FDA00024786421400000811
Figure FDA00024786421400000812
其中，
Figure FDA00024786421400000813
表示
Figure FDA00024786421400000814
与
Figure FDA00024786421400000815
之间的距离，
Figure FDA00024786421400000816
Figure FDA00024786421400000817
表示
Figure FDA00024786421400000818
与
Figure FDA00024786421400000819
之间的距离，
Figure FDA00024786421400000820
Figure FDA00024786421400000821
表示
Figure FDA00024786421400000822
与
Figure FDA00024786421400000823
之间的距离，
Figure FDA00024786421400000824
Figure FDA00024786421400000825
表示
Figure FDA00024786421400000826
与
Figure FDA00024786421400000827
之间的距离，
Figure FDA00024786421400000828
Figure FDA00024786421400000829
表示
Figure FDA00024786421400000830
与
Figure FDA00024786421400000831
之间的距离，
Figure FDA00024786421400000832
步骤B5、采用基于图论的视觉显著模型提取出{Lorg(x,y)}的视觉显著图，记为
Figure FDA00024786421400000833
然后根据{Lorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure FDA00024786421400000834
计算得到{Lorg(x,y)}的网格相似度，记为
Figure FDA00024786421400000835
Figure FDA00024786421400000836
其中，
Figure FDA00024786421400000837
表示
Figure FDA00024786421400000838
中坐标位置为(x,y)的像素点的像素值，也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure FDA00024786421400000839
表示
Figure FDA00024786421400000840
中的所有像素点的视觉显著值的均值，也即表示
Figure FDA00024786421400000841
中与
Figure FDA00024786421400000842
对应的区域中的所有像素点的像素值的均值；
同样，采用基于图论的视觉显著模型提取出{Rorg(x,y)}的视觉显著图，记为
Figure FDA0002478642140000091
然后根据{Rorg(x,y)}中的所有四边形网格的网格相似度，并结合
Figure FDA0002478642140000092
计算得到{Rorg(x,y)}的网格相似度，记为
Figure FDA0002478642140000093
Figure FDA0002478642140000094
其中，
Figure FDA0002478642140000095
表示
Figure FDA0002478642140000096
中坐标位置为(x,y)的像素点的像素值，也即表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值，
Figure FDA0002478642140000097
表示
Figure FDA0002478642140000098
中的所有像素点的视觉显著值的均值，也即表示
Figure FDA0002478642140000099
中与
Figure FDA00024786421400000910
对应的区域中的所有像素点的像素值的均值；
步骤B6、根据
Figure FDA00024786421400000911
和
Figure FDA00024786421400000912
计算得到Sorg和Sret的网格相似度
Figure FDA00024786421400000913
Figure FDA00024786421400000914
5.根据权利要求4所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤四中，
Figure FDA00024786421400000915
的获取过程为：
步骤C1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系，得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA00024786421400000916
Figure FDA00024786421400000917
然后根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Lorg(x,y)}中重构得到重定位图像，记为
Figure FDA00024786421400000918
将
Figure FDA00024786421400000919
中坐标位置为
Figure FDA00024786421400000920
的像素点的像素值记为
Figure FDA00024786421400000921
再找出
Figure FDA00024786421400000922
中的所有空洞像素点，并将值0作为
Figure FDA00024786421400000923
中的每个空洞像素点的像素值；其中，
Figure FDA00024786421400000924
用于表示水平方向，
Figure FDA00024786421400000925
用于表示垂直方向，
Figure FDA00024786421400000926
表示
Figure FDA00024786421400000927
的水平偏移量，
Figure FDA00024786421400000928
表示
Figure FDA00024786421400000929
的垂直偏移量，
Figure FDA00024786421400000930
表示
Figure FDA00024786421400000931
中坐标位置为(x',y)的像素点的像素值，
Figure FDA00024786421400000932
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系，得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量，将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为
Figure FDA0002478642140000101
Figure FDA0002478642140000102
然后根据{Rorg(x,y)}中的所有像素点的SIFT-Flow向量，从{Rorg(x,y)}中重构得到重定位图像，记为
Figure FDA0002478642140000103
将
Figure FDA0002478642140000104
中坐标位置为
Figure FDA0002478642140000105
的像素点的像素值记为
Figure FDA0002478642140000106
再找出
Figure FDA0002478642140000107
中的所有空洞像素点，并将值0作为
Figure FDA0002478642140000108
中的每个空洞像素点的像素值；其中，
Figure FDA0002478642140000109
表示
Figure FDA00024786421400001010
的水平偏移量，
Figure FDA00024786421400001011
表示
Figure FDA00024786421400001012
的垂直偏移量，
Figure FDA00024786421400001013
表示
Figure FDA00024786421400001014
中坐标位置为(x',y)的像素点的像素值，
Figure FDA00024786421400001015
中的“＝”为赋值符号；
步骤C2、计算{Lret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001016
同样，计算
Figure FDA00024786421400001017
中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001018
计算{Rret(x',y)}中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001019
计算
Figure FDA00024786421400001020
中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001021
其中，
Figure FDA00024786421400001022
的维数均为1×256；
步骤C3、计算{Lorg(x,y)}的前向信息损失，记为
Figure FDA00024786421400001023
Figure FDA00024786421400001024
同样，计算{Rorg(x,y)}的前向信息损失，记为
Figure FDA00024786421400001025
Figure FDA00024786421400001026
其中，χ()为求卡方距离函数；
步骤C4、根据
Figure FDA00024786421400001027
和
Figure FDA00024786421400001028
计算得到Sorg和Sret的前向信息损失
Figure FDA00024786421400001029
Figure FDA00024786421400001030
6.根据权利要求5所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤四中，
Figure FDA00024786421400001031
的获取过程为：
步骤D1、采用SIFT-Flow方法建立{Lret(x',y)}与{Lorg(x,y)}之间的匹配关系，得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量，将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure FDA0002478642140000111
Figure FDA0002478642140000112
然后根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量，从{Lret(x',y)}中重构得到重定位图像，记为
Figure FDA0002478642140000113
将
Figure FDA0002478642140000114
中坐标位置为
Figure FDA0002478642140000115
的像素点的像素值记为
Figure FDA0002478642140000116
再找出
Figure FDA0002478642140000117
中的所有空洞像素点，并将值0作为
Figure FDA0002478642140000118
中的每个空洞像素点的像素值；其中，
Figure FDA0002478642140000119
用于表示水平方向，
Figure FDA00024786421400001110
用于表示垂直方向，
Figure FDA00024786421400001111
表示
Figure FDA00024786421400001112
的水平偏移量，
Figure FDA00024786421400001113
表示
Figure FDA00024786421400001114
的垂直偏移量，
Figure FDA00024786421400001115
表示
Figure FDA00024786421400001116
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001117
中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立{Rret(x',y)}与{Rorg(x,y)}之间的匹配关系，得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量，将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为
Figure FDA00024786421400001118
Figure FDA00024786421400001119
然后根据{Rret(x',y)}中的所有像素点的SIFT-Flow向量，从{Rret(x',y)}中重构得到重定位图像，记为
Figure FDA00024786421400001120
将
Figure FDA00024786421400001121
中坐标位置为
Figure FDA00024786421400001122
的像素点的像素值记为
Figure FDA00024786421400001123
再找出
Figure FDA00024786421400001124
中的所有空洞像素点，并将值0作为
Figure FDA00024786421400001125
中的每个空洞像素点的像素值；其中，
Figure FDA00024786421400001126
表示
Figure FDA00024786421400001127
的水平偏移量，
Figure FDA00024786421400001128
表示
Figure FDA00024786421400001129
的垂直偏移量，
Figure FDA00024786421400001130
表示
Figure FDA00024786421400001131
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001132
中的“＝”为赋值符号；
步骤D2、计算{Lorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001133
同样，计算
Figure FDA00024786421400001134
中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001135
计算{Rorg(x,y)}中的所有像素点的亮度分量的直方图，记为
Figure FDA00024786421400001136
计算
Figure FDA00024786421400001137
中的所有像素点的亮度分量的直方图，记为
Figure FDA0002478642140000121
其中，
Figure FDA0002478642140000122
的维数均为1×256；
步骤D3、计算{Lret(x',y)}的后向信息损失，记为
Figure FDA0002478642140000123
Figure FDA0002478642140000124
同样，计算{Rret(x',y)}的后向信息损失，记为
Figure FDA0002478642140000125
Figure FDA0002478642140000126
其中，χ()为求卡方距离函数；
步骤D4、根据
Figure FDA0002478642140000127
和
Figure FDA0002478642140000128
计算得到Sorg和Sret的后向信息损失
Figure FDA0002478642140000129
Figure FDA00024786421400001210
7.根据权利要求6所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤四中，
Figure FDA00024786421400001211
的获取过程为：
步骤E1、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure FDA00024786421400001212
采用最大类间方差法提取出
Figure FDA00024786421400001213
的重要性区域掩码图，记为
Figure FDA00024786421400001214
其中，
Figure FDA00024786421400001215
表示
Figure FDA00024786421400001216
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001217
表示
Figure FDA00024786421400001218
中坐标位置为(x,y)的像素点的像素值；
同样，采用最大类间方差法提取出{Rorg(x,y)}的重要性区域掩码图，记为
Figure FDA00024786421400001219
采用最大类间方差法提取出
Figure FDA00024786421400001220
的重要性区域掩码图，记为
Figure FDA00024786421400001221
其中，
Figure FDA00024786421400001222
表示
Figure FDA00024786421400001223
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001224
表示
Figure FDA00024786421400001225
中坐标位置为(x,y)的像素点的像素值；
步骤E2、根据
Figure FDA00024786421400001226
和
Figure FDA00024786421400001227
计算{Lorg(x,y)}的信息保持特征，记为
Figure FDA00024786421400001228
Figure FDA00024786421400001229
其中，
Figure FDA00024786421400001230
代表
Figure FDA00024786421400001231
Figure FDA00024786421400001232
代表
Figure FDA00024786421400001233
Figure FDA00024786421400001234
代表
Figure FDA00024786421400001235
Figure FDA00024786421400001236
表示计算
Figure FDA00024786421400001237
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001238
表示计算
Figure FDA00024786421400001239
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001240
表示计算
Figure FDA00024786421400001241
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001242
表示
Figure FDA00024786421400001243
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002478642140000131
符号
Figure FDA0002478642140000132
为点乘操作符号；
同样，根据
Figure FDA0002478642140000133
和
Figure FDA0002478642140000134
计算{Rorg(x,y)}的信息保持特征，记为
Figure FDA0002478642140000135
Figure FDA0002478642140000136
其中，
Figure FDA0002478642140000137
代表
Figure FDA0002478642140000138
Figure FDA0002478642140000139
代表
Figure FDA00024786421400001310
Figure FDA00024786421400001311
代表
Figure FDA00024786421400001312
Figure FDA00024786421400001313
表示计算
Figure FDA00024786421400001314
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001315
表示计算
Figure FDA00024786421400001316
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001317
表示计算
Figure FDA00024786421400001318
中的所有落在重要性区域的像素点所占的区域面积大小，
Figure FDA00024786421400001319
表示
Figure FDA00024786421400001320
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001321
步骤E3、根据
Figure FDA00024786421400001322
和
Figure FDA00024786421400001323
计算得到Sorg和Sret的信息保持特征
Figure FDA00024786421400001324
Figure FDA00024786421400001325
8.根据权利要求7所述的一种重定位立体图像质量评价方法，其特征在于所述的步骤五中，JGL和JLO的计算过程为：
步骤F1、计算Sorg和Sret的全局视觉舒适度JGL，
Figure FDA00024786421400001326
其中，e表示指数函数的基数，
Figure FDA00024786421400001327
表示Sret的平均视差，即{dret(x',y)}中的所有像素点的像素值的平均值，thd为阈值，λ1、λ2、λ3和τ均为控制参数；
步骤F2、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图，记为
Figure FDA00024786421400001328
采用最大类间方差法提取出{Lret(x',y)}的重要性区域掩码图，记为
Figure FDA00024786421400001329
其中，
Figure FDA00024786421400001330
表示
Figure FDA00024786421400001331
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024786421400001332
表示
Figure FDA00024786421400001333
中坐标位置为(x',y)的像素点的像素值；
步骤F3、采用Canny边缘检测算子提取出{Lorg(x,y)}的边缘图，记为
Figure FDA0002478642140000141
采用Canny边缘检测算子提取出{Lret(x',y)}的边缘图，记为
Figure FDA0002478642140000142
其中，
Figure FDA0002478642140000143
表示
Figure FDA0002478642140000144
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002478642140000145
表示
Figure FDA0002478642140000146
中坐标位置为(x',y)的像素点的像素值；
步骤F4、计算Sorg的视差重要性图，记为
Figure FDA0002478642140000147
将
Figure FDA0002478642140000148
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002478642140000149
Figure FDA00024786421400001410
其中，
Figure FDA00024786421400001411
符号
Figure FDA00024786421400001412
为点乘操作符号；
同样，计算Sret的视差重要性图，记为
Figure FDA00024786421400001413
将
Figure FDA00024786421400001414
中坐标位置为(x',y)的像素点的像素值记为
Figure FDA00024786421400001415
Figure FDA00024786421400001416
其中，
Figure FDA00024786421400001417
步骤F5、计算Sorg和Sret的局部视觉舒适度JLO，
Figure FDA00024786421400001418
其中，
Figure FDA00024786421400001419
代表
Figure FDA00024786421400001420
Figure FDA00024786421400001421
代表
Figure FDA00024786421400001422
Figure FDA00024786421400001423
表示计算
Figure FDA00024786421400001424
中的所有像素点的像素值的标准差，
Figure FDA00024786421400001425
表示计算
Figure FDA00024786421400001426
中的所有像素点的像素值的标准差，log()表示以10为底的对数操作函数。
CN202010371925.2A 2020-05-06 2020-05-06 一种重定位立体图像质量评价方法 Active CN111641822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010371925.2A CN111641822B (zh) 2020-05-06 2020-05-06 一种重定位立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371925.2A CN111641822B (zh) 2020-05-06 2020-05-06 一种重定位立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111641822A CN111641822A (zh) 2020-09-08
CN111641822B true CN111641822B (zh) 2021-08-24

Family

ID=72330971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371925.2A Active CN111641822B (zh) 2020-05-06 2020-05-06 一种重定位立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111641822B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419234B (zh) * 2020-10-21 2023-04-25 宁波大学 一种基于几何特征的重定位立体图像质量评价方法
CN112770105B (zh) * 2020-12-07 2022-06-03 宁波大学 一种基于结构特征的重定位立体图像质量评价方法
CN113920115B (zh) * 2021-12-13 2022-03-04 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276595A (ja) * 1999-03-25 2000-10-06 Ricoh Co Ltd 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN107945151A (zh) * 2017-10-26 2018-04-20 宁波大学 一种基于相似性变换的重定位图像质量评价方法
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276595A (ja) * 1999-03-25 2000-10-06 Ricoh Co Ltd 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN107945151A (zh) * 2017-10-26 2018-04-20 宁波大学 一种基于相似性变换的重定位图像质量评价方法
CN108805825A (zh) * 2018-05-03 2018-11-13 宁波大学 一种重定位图像质量评价方法
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法

Also Published As

Publication number Publication date
CN111641822A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
Li et al. Depth-preserving warping for stereo image retargeting
CN108805825B (zh) 一种重定位图像质量评价方法
CN107481236A (zh) 一种屏幕图像的质量评价方法
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN111709914B (zh) 一种基于hvs特性的无参考图像质量评价方法
CN107146220B (zh) 一种通用型无参考图像质量评价方法
CN102595185A (zh) 一种立体图像质量客观评价方法
TWI457853B (zh) 提供深度資訊之影像處理方法及其影像處理系統
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
JP2019204193A (ja) 画像処理装置、画像処理方法及びプログラム
US20210044791A1 (en) Video quality determination system and method
CN107945151B (zh) 一种基于相似性变换的重定位图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN111179242B (zh) 图像处理方法及其装置
CN105898279B (zh) 一种立体图像质量客观评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN109523590B (zh) 一种基于样例的3d图像深度信息视觉舒适度评估方法
CN108682005B (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
CN111062895A (zh) 一种基于多视场分割的显微图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220909

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221202

Address after: Room 403-4, No. 370, Chengyi Street, Phase III, Torch High tech Zone, Xiamen, Fujian 361000

Patentee after: Xiamen Lezhengxin Technology Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.