CN107945151A - 一种基于相似性变换的重定位图像质量评价方法 - Google Patents

一种基于相似性变换的重定位图像质量评价方法 Download PDF

Info

Publication number
CN107945151A
CN107945151A CN201711017210.1A CN201711017210A CN107945151A CN 107945151 A CN107945151 A CN 107945151A CN 201711017210 A CN201711017210 A CN 201711017210A CN 107945151 A CN107945151 A CN 107945151A
Authority
CN
China
Prior art keywords
coordinate position
represent
ret
org
sift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711017210.1A
Other languages
English (en)
Other versions
CN107945151B (zh
Inventor
邵枫
富振奇
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Benxi Steel Group Information Automation Co ltd
Dragon Totem Technology Hefei Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201711017210.1A priority Critical patent/CN107945151B/zh
Publication of CN107945151A publication Critical patent/CN107945151A/zh
Application granted granted Critical
Publication of CN107945151B publication Critical patent/CN107945151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相似性变换的重定位图像质量评价方法，其通过建立原始图像与重定位图像之间的匹配关系，得到重构的重定位图像；并通过建立重定位图像与原始图像之间的匹配关系，得到重构的原始图像；然后获取原始图像和重定位图像各自中的每个四边形网格的相似性变换矩阵；接着获取原始图像和重定位图像各自的视觉显著图；再根据上述信息，得到前向几何失真、后向几何失真、前向信息损失、后向信息损失；最后融合前向几何失真、后向几何失真、前向信息损失和后向信息损失得到重定位图像的客观质量评价预测值；优点是能够有效地提高客观评价结果与主观感知之间的相关性。

Description

一种基于相似性变换的重定位图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于相似性变换的重定位图像质量评价方法。
背景技术
随着终端显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位(retargeting)问题。当前解决重定位问题的方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。
现有的重定位方法大多以像素点匹配为基础，建立原始图像和重定位图像之间的映射关系，并基于像素点匹配提取相应特征评价重定位图像质量。然而，重定位图像由不同的重定位操作得到，现有的重定位图像质量评价方法并不能很好地揭示两者之间的关系。因此，如何建立原始图像和重定位图像之间的映射关系，如何根据映射关系对图像分辨率、场景几何、语义内容等因素进行量化以反映质量退化程度，使得客观评价结果更加感觉符合人类视觉系统，都是在对重定位图像进行质量客观评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于相似性变换的重定位图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于相似性变换的重定位图像质量评价方法，其特征在于包括以下步骤：
①令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg或Iret的高度；
②采用SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中得到重构的重定位图像，记为将中坐标位置为的像素点的像素值记为再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x',y)的像素点，若中坐标位置为(x',y)的像素点为空洞像素点，则令其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立Iret与Iorg之间的匹配关系，得到Iret中的每个像素点的SIFT-Flow向量，将Iret中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vR(x',y)，然后根据Iret中的所有像素点的SIFT-Flow向量，从Iret中得到重构的原始图像，记为将中坐标位置为的像素点的像素值记为再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x,y)的像素点，若中坐标位置为(x,y)的像素点为空洞像素点，则令其中，表示vR(x',y)的水平偏移量，表示vR(x',y)的垂直偏移量，中的“＝”为赋值符号；
③将Iorg分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iorg中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iorg中的每个四边形网格，将Iorg中的第k个四边形网格记为UO,k，其中，符号为向下取整运算符号，k为正整数，1≤k≤M， 对应表示UO,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
同样，将Iret分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iret中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iret中的每个四边形网格，将Iret中的第k'个四边形网格记为UR,k'，其中，k'为正整数，1≤k'≤M'， 对应表示UR,k'的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
④根据Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iorg中的每个四边形网格在Iret中匹配的四边形网格，将UO,k在Iret中匹配的四边形网格记为 然后计算Iorg中的每个四边形网格的相似性变换矩阵，将UO,k的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AO,k)T为AO,k的转置，((AO,k)TAO,k)-1为 的维数为6×1；
同样，根据Iret中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iret中的每个四边形网格在Iorg中匹配的四边形网格，将UR,k'在Iorg中匹配的四边形网格记为 然后计算Iret中的每个四边形网格的相似性变换矩阵，将UR,k'的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AR,k')T为AR,k'的转置，((AR,k')TAR,k')-1为(AR,k')TAR,k'的逆， 的维数为6×1；
⑤采用分层显著性检测模型提取出Iorg的视觉显著图，记为{SO(x,y)}；其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用分层显著性检测模型提取出Iret的视觉显著图，记为{SR(x,y)}；其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥根据Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算Iorg的前向几何失真，记为fFGD；
同样，根据Iret中的所有四边形网格的相似性变换矩阵，并结合{SR(x,y)}，计算Iret的后向几何失真，记为fBGD；
⑦根据{SO(x,y)}、及Iorg中的所有四边形网格在Iret中匹配的四边形网格，计算Iorg的前向信息损失，记为fFIL；
同样，根据{SR(x,y)}、及Iret中的所有四边形网格在Iorg中匹配的四边形网格，计算Iret的后向信息损失，记为fBIL；
⑧根据fFGD、fBGD、fFIL和fBIL，计算Iret的客观质量评价预测值，记为Q，Q＝λ1×(α1×fFGD+β1×fBGD)+λ2×(α2×fFIL+β2×fBIL)，其中，α1和β1、α2和β2、λ1和λ2均为权重系数。
所述的步骤⑥中的fFGD和fBGD的计算过程为：
⑥_1、根据Iorg中的每个四边形网格的相似性变换矩阵，计算Iorg中的每个四边形网格的几何失真，将UO,k的几何失真记为ζO,k，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；
同样，根据Iret中的每个四边形网格的相似性变换矩阵，计算Iret中的每个四边形网格的几何失真，将UR,k'的几何失真记为ζR,k'，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；
⑥_2、根据Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算Iorg的前向几何失真fFGD，其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值；
同样，根据Iret中的每个四边形网格的几何失真，并结合{SR(x,y)}，计算Iret的后向几何失真fBGD，其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值。
所述的步骤⑦中的fFIL和fBIL的计算过程为：其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小；其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。
与现有技术相比，本发明的优点在于：
1)本发明方法利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵估计四边形网格形变得到的重定位图像的几何失真，并根据四边形网格的面积变化计算重定位图像的信息损失，这样能够用统一的相似性变换来模拟各种重定位操作。
2)本发明方法考虑到重定位图像相对于原始图像的信息损失及原始图像相对于重定位图像的信息保持，分别计算前向几何失真、后向几何失真、前向信息损失及后向信息损失，这样能够有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于相似性变换的重定位图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg或Iret的高度。
②采用现有的SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中得到重构的重定位图像，记为将中坐标位置为的像素点的像素值记为 再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x',y)的像素点，若中坐标位置为(x',y)的像素点为空洞像素点，则令其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；
同样，采用现有的SIFT-Flow方法建立Iret与Iorg之间的匹配关系，得到Iret中的每个像素点的SIFT-Flow向量，将Iret中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vR(x',y)，然后根据Iret中的所有像素点的SIFT-Flow向量，从Iret中得到重构的原始图像，记为将中坐标位置为的像素点的像素值记为 再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x,y)的像素点，若中坐标位置为(x,y)的像素点为空洞像素点，则令其中，表示vR(x',y)的水平偏移量，表示vR(x',y)的垂直偏移量，中的“＝”为赋值符号。
③将Iorg分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iorg中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iorg中的每个四边形网格，将Iorg中的第k个四边形网格记为UO,k，其中，符号为向下取整运算符号，k为正整数，1≤k≤M， 对应表示UO,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
同样，将Iret分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iret中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iret中的每个四边形网格，将Iret中的第k'个四边形网格记为UR,k'，其中，k'为正整数，1≤k'≤M'， 对应表示UR,k'的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
④根据Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iorg中的每个四边形网格在Iret中匹配的四边形网格，将UO,k在Iret中匹配的四边形网格记为 然后计算Iorg中的每个四边形网格的相似性变换矩阵，将UO,k的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AO,k)T为AO,k的转置，((AO,k)TAO,k)-1为(AO,k)TAO,k的逆， 的维数为6×1；
同样，根据Iret中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iret中的每个四边形网格在Iorg中匹配的四边形网格，将UR,k'在Iorg中匹配的四边形网格记为 然后计算Iret中的每个四边形网格的相似性变换矩阵，将UR,k'的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AR,k')T为AR,k'的转置，((AR,k')TAR,k')-1为(AR,k')TAR,k'的逆， 的维数为6×1。
⑤采用现有的分层显著性检测(Hierarchical saliency detection)模型提取出Iorg的视觉显著图，记为{SO(x,y)}；其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用现有的分层显著性检测(Hierarchical saliency detection)模型提取出Iret的视觉显著图，记为{SR(x,y)}；其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值。
⑥根据Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算Iorg的前向几何失真，记为fFGD；
同样，根据Iret中的所有四边形网格的相似性变换矩阵，并结合{SR(x,y)}，计算Iret的后向几何失真，记为fBGD。
在此具体实施例中，步骤⑥中的fFGD和fBGD的计算过程为：
⑥_1、根据Iorg中的每个四边形网格的相似性变换矩阵，计算Iorg中的每个四边形网格的几何失真，将UO,k的几何失真记为ζO,k，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；
同样，根据Iret中的每个四边形网格的相似性变换矩阵，计算Iret中的每个四边形网格的几何失真，将UR,k'的几何失真记为ζR,k'，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素。
⑥_2、根据Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算Iorg的前向几何失真fFGD，其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值；
同样，根据Iret中的每个四边形网格的几何失真，并结合{SR(x,y)}，计算Iret的后向几何失真fBGD，其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值。
⑦根据{SO(x,y)}、及Iorg中的所有四边形网格在Iret中匹配的四边形网格，计算Iorg的前向信息损失，记为fFIL；
同样，根据{SR(x,y)}、及Iret中的所有四边形网格在Iorg中匹配的四边形网格，计算Iret的后向信息损失，记为fBIL。
在此具体实施例中，步骤⑦中的fFIL和fBIL的计算过程为：其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小；其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。
⑧根据fFGD、fBGD、fFIL和fBIL，计算Iret的客观质量评价预测值，记为Q，Q＝λ1×(α1×fFGD+β1×fBGD)+λ2×(α2×fFIL+β2×fBIL)，其中，α1和β1、α2和β2、λ1和λ2均为权重系数，在本实施例中取α1＝0.71、β1＝-0.29、α2＝0.25、β2＝-0.75、λ1＝0.4、λ2＝0.6。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对香港中文大学建立的重定位图像数据库进行测试，该重定位图像数据库包含57幅原始图像，每幅原始图像对应有由10种不同重定位方法得到的重定位图像，这样该重定位图像数据库共有570幅重定位图像，并给出了每幅重定位图像的平均主观评分均值。这里，利用评估图像质量评价方法的4个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlationcoefficient，PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient，SROCC)、Kendall相关系数(Kendall rank-order correlationcoefficient，KROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映重定位图像的客观评价结果的准确性，SROCC和KROCC反映其单调性。
将利用本发明方法计算得到的570幅重定位图像各自的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的客观评价结果与平均主观评分均值的相关性越好。表1给出了本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
表1本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性
方法 PLCC SROCC KROCC RMSE
本发明方法 0.7056 0.7108 9.566 0.0117

Claims (3)

1.一种基于相似性变换的重定位图像质量评价方法，其特征在于包括以下步骤：
①令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg或Iret的高度；
②采用SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中得到重构的重定位图像，记为将中坐标位置为的像素点的像素值记为再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x',y)的像素点，若中坐标位置为(x',y)的像素点为空洞像素点，则令其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；
同样，采用SIFT-Flow方法建立Iret与Iorg之间的匹配关系，得到Iret中的每个像素点的SIFT-Flow向量，将Iret中坐标位置为(x',y)的像素点的SIFT-Flow向量记为vR(x',y)，然后根据Iret中的所有像素点的SIFT-Flow向量，从Iret中得到重构的原始图像，记为将中坐标位置为的像素点的像素值记为再判断中的每个像素点是否为空洞像素点，对于中坐标位置为(x,y)的像素点，若中坐标位置为(x,y)的像素点为空洞像素点，则令其中，表示vR(x',y)的水平偏移量，表示vR(x',y)的垂直偏移量，中的“＝”为赋值符号；
③将Iorg分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iorg中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iorg中的每个四边形网格，将Iorg中的第k个四边形网格记为UO,k，其中，符号为向下取整运算符号，k为正整数，1≤k≤M， 对应表示UO,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
同样，将Iret分割成个互不重叠的尺寸大小为16×16的四边形网格；然后以Iret中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述Iret中的每个四边形网格，将Iret中的第k'个四边形网格记为UR,k'，其中，k'为正整数，1≤k'≤M'， 对应表示UR,k'的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
④根据Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iorg中的每个四边形网格在Iret中匹配的四边形网格，将UO,k在Iret中匹配的四边形网格记为 然后计算Iorg中的每个四边形网格的相似性变换矩阵，将UO,k的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点、在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AO,k)T为AO,k的转置，((AO,k)TAO,k)-1为(AO,k)TAO,k的逆， 的维数为6×1；
同样，根据Iret中的每个四边形网格的所有网格顶点的SIFT-Flow向量，得到Iret中的每个四边形网格在Iorg中匹配的四边形网格，将UR,k'在Iorg中匹配的四边形网格记为 然后计算Iret中的每个四边形网格的相似性变换矩阵，将UR,k'的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即对应表示在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点、在Iorg中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，表示的SIFT-Flow向量的水平偏移量，表示的SIFT-Flow向量的垂直偏移量，(AR,k')T为AR,k'的转置，((AR,k')TAR,k')-1为(AR,k')TAR,k'的逆， 的维数为6×1；
⑤采用分层显著性检测模型提取出Iorg的视觉显著图，记为{SO(x,y)}；其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用分层显著性检测模型提取出Iret的视觉显著图，记为{SR(x,y)}；其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥根据Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算Iorg的前向几何失真，记为fFGD；
同样，根据Iret中的所有四边形网格的相似性变换矩阵，并结合{SR(x,y)}，计算Iret的后向几何失真，记为fBGD；
⑦根据{SO(x,y)}、及Iorg中的所有四边形网格在Iret中匹配的四边形网格，计算Iorg的前向信息损失，记为fFIL；
同样，根据{SR(x,y)}、及Iret中的所有四边形网格在Iorg中匹配的四边形网格，计算Iret的后向信息损失，记为fBIL；
⑧根据fFGD、fBGD、fFIL和fBIL，计算Iret的客观质量评价预测值，记为Q，Q＝λ1×(α1×fFGD+β1×fBGD)+λ2×(α2×fFIL+β2×fBIL)，其中，α1和β1、α2和β2、λ1和λ2均为权重系数。
2.根据权利要求1所述的一种基于相似性变换的重定位图像质量评价方法，其特征在于所述的步骤⑥中的fFGD和fBGD的计算过程为：
⑥_1、根据Iorg中的每个四边形网格的相似性变换矩阵，计算Iorg中的每个四边形网格的几何失真，将UO,k的几何失真记为ζO,k，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；
同样，根据Iret中的每个四边形网格的相似性变换矩阵，计算Iret中的每个四边形网格的几何失真，将UR,k'的几何失真记为ζR,k'，其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；
⑥_2、根据Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算Iorg的前向几何失真fFGD，其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值；
同样，根据Iret中的每个四边形网格的几何失真，并结合{SR(x,y)}，计算Iret的后向几何失真fBGD，其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值。
3.根据权利要求1或2所述的一种基于相似性变换的重定位图像质量评价方法，其特征在于所述的步骤⑦中的fFIL和fBIL的计算过程为：其中，SO(k)表示UO,k中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与UO,k对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小；其中，SR(k')表示UR,k'中的所有像素点的视觉显著值的均值，也即表示{SR(x,y)}中与UR,k'对应的区域中的所有像素点的像素值的均值，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。
CN201711017210.1A 2017-10-26 2017-10-26 一种基于相似性变换的重定位图像质量评价方法 Active CN107945151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711017210.1A CN107945151B (zh) 2017-10-26 2017-10-26 一种基于相似性变换的重定位图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711017210.1A CN107945151B (zh) 2017-10-26 2017-10-26 一种基于相似性变换的重定位图像质量评价方法

Publications (2)

Publication Number Publication Date
CN107945151A true CN107945151A (zh) 2018-04-20
CN107945151B CN107945151B (zh) 2020-01-21

Family

ID=61935679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711017210.1A Active CN107945151B (zh) 2017-10-26 2017-10-26 一种基于相似性变换的重定位图像质量评价方法

Country Status (1)

Country Link
CN (1) CN107945151B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法
CN111598878A (zh) * 2020-05-18 2020-08-28 中国医学科学院生物医学工程研究所 用于电阻抗成像的图像空间分辨能力的确定方法及装置
CN111641822A (zh) * 2020-05-06 2020-09-08 宁波大学 一种重定位立体图像质量评价方法
CN112702590A (zh) * 2020-12-07 2021-04-23 宁波大学 一种立体图像变焦方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137516B2 (ja) * 2002-05-20 2008-08-20 株式会社東芝 超音波診断装置
CN102073985A (zh) * 2010-12-23 2011-05-25 清华大学 基于像素点匹配的缩放图像的客观质量评价方法和装置
CN102903107A (zh) * 2012-09-24 2013-01-30 宁波大学 一种基于特征融合的立体图像质量客观评价方法
CN103218827A (zh) * 2013-03-21 2013-07-24 上海交通大学 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN104992403A (zh) * 2015-07-07 2015-10-21 方玉明 一种基于视觉相似度度量的混合操作算子图像重定向方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137516B2 (ja) * 2002-05-20 2008-08-20 株式会社東芝 超音波診断装置
CN102073985A (zh) * 2010-12-23 2011-05-25 清华大学 基于像素点匹配的缩放图像的客观质量评价方法和装置
CN102903107A (zh) * 2012-09-24 2013-01-30 宁波大学 一种基于特征融合的立体图像质量客观评价方法
CN103218827A (zh) * 2013-03-21 2013-07-24 上海交通大学 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN104992403A (zh) * 2015-07-07 2015-10-21 方玉明 一种基于视觉相似度度量的混合操作算子图像重定向方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848365A (zh) * 2018-05-31 2018-11-20 宁波大学 一种重定位立体图像质量评价方法
CN111641822A (zh) * 2020-05-06 2020-09-08 宁波大学 一种重定位立体图像质量评价方法
CN111641822B (zh) * 2020-05-06 2021-08-24 宁波大学 一种重定位立体图像质量评价方法
CN111598878A (zh) * 2020-05-18 2020-08-28 中国医学科学院生物医学工程研究所 用于电阻抗成像的图像空间分辨能力的确定方法及装置
CN111598878B (zh) * 2020-05-18 2023-06-27 中国医学科学院生物医学工程研究所 用于电阻抗成像的图像空间分辨能力的确定方法及装置
CN112702590A (zh) * 2020-12-07 2021-04-23 宁波大学 一种立体图像变焦方法
CN112702590B (zh) * 2020-12-07 2022-07-22 宁波大学 一种立体图像变焦方法

Also Published As

Publication number Publication date
CN107945151B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
CN107945151A (zh) 一种基于相似性变换的重定位图像质量评价方法
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
CN102902961B (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
US20100124383A1 (en) Systems and methods for resolution-invariant image representation
CN104157010A (zh) 一种3d人脸重建的方法及其装置
JP2012521708A (ja) 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置
CN101303772A (zh) 一种基于单幅图像的非线性三维人脸建模方法
CN108805825B (zh) 一种重定位图像质量评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN107105214B (zh) 一种三维视频图像重定位方法
US20210166476A1 (en) Automatic 3D Image Reconstruction Process from Real-World 2D Images
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN111641822B (zh) 一种重定位立体图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN109409380A (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN106570900A (zh) 一种立体图像重定位方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN104822030A (zh) 一种基于图像变形的不规则视频矩形化矫正方法
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN110751026B (zh) 视频处理方法及相关装置
CN110399886B (zh) 一种屏幕图像jnd模型构建方法
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN112449170B (zh) 一种立体视频重定位方法
CN113240573A (zh) 一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231124

Address after: 117000 No. 130, Guangyu Road, Pingshan District, Benxi City, Liaoning Province

Patentee after: BENXI STEEL (GROUP) INFORMATION AUTOMATION CO.,LTD.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20231124

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University