CN108805825A - 一种重定位图像质量评价方法 - Google Patents
一种重定位图像质量评价方法 Download PDFInfo
- Publication number
- CN108805825A CN108805825A CN201810412492.3A CN201810412492A CN108805825A CN 108805825 A CN108805825 A CN 108805825A CN 201810412492 A CN201810412492 A CN 201810412492A CN 108805825 A CN108805825 A CN 108805825A
- Authority
- CN
- China
- Prior art keywords
- org
- image
- scale
- repositioning
- coordinate position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 99
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000013441 quality evaluation Methods 0.000 claims description 27
- 230000008901 benefit Effects 0.000 claims description 26
- 238000006386 neutralization reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 6
- 241000287196 Asthenes Species 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- UHDGCWIWMRVCDJ-CCXZUQQUSA-N Cytarabine Chemical compound O=C1N=C(N)C=CN1[C@H]1[C@@H](O)[C@H](O)[C@@H](CO)O1 UHDGCWIWMRVCDJ-CCXZUQQUSA-N 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种重定位图像质量评价方法，其考虑了结构失真和内容损失对重定位的影响，利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵计算出多尺度下的结构失真，并根据四边形网格的面积变化计算出多尺度下的内容损失，然后利用支持向量回归对训练集中的由多尺度下的结构失真和内容损失构成的特征矢量进行训练，构造支持向量回归训练模型；在测试阶段，通过计算测试集中的重定位图像的特征矢量，并根据支持向量回归训练模型，预测得到测试集中的重定位图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映重定位图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。
Description
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种重定位图像质量评价方法。
背景技术
随着终端显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位(retargeting)问题。当前解决重定位问题的方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。
现有的重定位方法大多以像素点匹配为基础，建立原始图像和重定位图像之间的映射关系，并基于像素点匹配提取出相应特征来评价重定位图像质量。然而，重定位图像由不同的重定位操作得到，现有的重定位图像质量评价方法并不能很好地揭示两者之间的关系。因此，如何在评价过程中有效地提取出特征，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种重定位图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种重定位图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg和Iret的高度；
步骤二：采用SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；
步骤三：在3个不同尺度下将Iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Iorg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤Mj，Mj表示在第j个尺度下Iorg中的四边形网格的总个数， 表示在第j个尺度下Iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
步骤四：根据在每个尺度下Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为 然后计算在每个尺度下Iorg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 和v对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量， 为的转置，为的逆， 的维数为6×1；
步骤五：采用分层显著性检测模型提取出Iorg的视觉显著图，记为{SO(x,y)}；然后根据在每个尺度下Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算在每个尺度下Iorg的结构失真，将在第j个尺度下Iorg的结构失真记为并根据在每个尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，并结合{SO(x,y)}和计算在每个尺度下Iorg的内容损失，将在第j个尺度下Iorg的内容损失记为其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值；
步骤六：根据在3个尺度下Iorg的结构失真和内容损失，获取Iret的特征矢量，记为F，其中，F的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下Iorg的结构失真、在第2个尺度下Iorg的结构失真、在第3个尺度下Iorg的结构失真，对应表示在第1个尺度下Iorg的内容损失、在第2个尺度下Iorg的内容损失、在第3个尺度下Iorg的内容损失；
步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'>1，n>1，1≤g1≤n， 的维数为6×1；
步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m<n，f()为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数；
步骤十：重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，X的取值大于或等于100。
所述的步骤五中的的计算过程为：
A1、根据在第j个尺度下Iorg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下Iorg中的每个四边形网格的几何失真，将的几何失真记为 ；其中，对应表示中的第1个元素、第2个元素、第4个元素、第5个元素；
A2、根据在第j个尺度下Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算得到 其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，exp()表示以自然基数e为底的指数函数。
所述的步骤五中的的计算过程为：其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，表示计算Iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。
与现有技术相比，本发明的优点在于：
本发明方法考虑了结构失真和内容损失对重定位的影响，利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵计算出多尺度下的结构失真，并根据四边形网格的面积变化计算出多尺度下的内容损失，然后利用支持向量回归对训练集中的由多尺度下的结构失真和内容损失构成的特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段，通过计算测试集中的重定位图像的特征矢量，并根据构造的支持向量回归训练模型，预测得到测试集中的重定位图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种重定位图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg和Iret的高度。
步骤二：采用现有的SIFT-Flow(Scale-Invariant Feature Transform Flow，尺度不变特征变换流)方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；在此，中的所有空洞像素点的确定采用现有技术。
步骤三：在3个不同尺度下将Iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Iorg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤Mj，Mj表示在第j个尺度下Iorg中的四边形网格的总个数， 表示在第j个尺度下Iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
步骤四：根据在每个尺度下Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为 然后计算在每个尺度下Iorg中的每个四边形网格的相似性变换矩阵，将Uk Oj的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量， 为的转置，为的逆， 的维数为6×1。
步骤五：采用现有的分层显著性检测(Hierarchical saliency detection)模型提取出Iorg的视觉显著图，记为{SO(x,y)}；然后根据在每个尺度下Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算在每个尺度下Iorg的结构失真，将在第j个尺度下Iorg的结构失真记为并根据在每个尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，并结合{SO(x,y)}和计算在每个尺度下Iorg的内容损失，将在第j个尺度下Iorg的内容损失记为其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤五中的的计算过程为：
A1、根据在第j个尺度下Iorg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下Iorg中的每个四边形网格的几何失真，将的几何失真记为 ；其中，对应表示中的第1个元素、第2个元素、第4个元素、第5个元素。
A2、根据在第j个尺度下Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算得到 其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，exp()表示以自然基数e为底的指数函数，e＝2.71828183…。
在此具体实施例中，步骤五中的fCjL的计算过程为：其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，表示计算Iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，即为计算Iorg中与对应的区域中的所有非空洞像素点与Iorg中与对应的区域中的所有像素点的比例大小，Iorg中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小，即为计算中与对应的区域中的所有非空洞像素点与中与对应的区域中的所有像素点的比例大小，中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点。
步骤六：根据在3个尺度下Iorg的结构失真和内容损失，获取Iret的特征矢量，记为F，其中，F的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下Iorg的结构失真、在第2个尺度下Iorg的结构失真、在第3个尺度下Iorg的结构失真，对应表示在第1个尺度下Iorg的内容损失、在第2个尺度下Iorg的内容损失、在第3个尺度下Iorg的内容损失。
步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用现有的主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'>1，在本实施例中取n'＝57，n>1，在本实施例中取n＝171，1≤g1≤n， 的维数为6×1。
步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m<n，f()为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数。
步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数。
步骤十：重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，X的取值大于或等于100。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在本实施例中，采用本发明方法对香港中文大学建立的重定位图像数据库进行测试，该重定位图像数据库包含57幅原始图像，从10种不同重定位方法中随机选择3种方法对每幅原始图像进行重定位操作，这样该重定位图像数据库共有171幅重定位图像，并给出了每幅重定位图像的主观评分差值。这里，利用评估图像质量评价方法的4个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient，SROCC)、均方误差(root mean squared error，RMSE)、异常值比率指标(Outlier Ratio，OR)，PLCC和RMSE反映重定位图像的客观评价结果的准确性，SROCC反映其单调性，OR反映其离散程度。
将采用本发明方法计算得到的570幅重定位图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE和OR值越小说明客观评价方法与主观评分差值相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性，从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
表1采用本发明方法得到的客观质量评价预测值与主观评分差值之间的相关性
| 方法 | PLCC | SROCC | RMSE | OR |
| 本发明方法 | 0.7123 | 0.7056 | 9.2357 | 0.0107 |
Claims (3)
1.一种重定位图像质量评价方法，其特征在于包括以下步骤：
步骤一：令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Iret中坐标位置为(x',y)的像素点的像素值记为Iret(x',y)；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg和Iret的高度；
步骤二：采用SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；
步骤三：在3个不同尺度下将Iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Iorg中的第kj个四边形网格记为 以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤Mj，Mj表示在第j个尺度下Iorg中的四边形网格的总个数， 表示在第j个尺度下Iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
步骤四：根据在每个尺度下Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为 然后计算在每个尺度下Iorg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为 其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量， 为的转置，为的逆， 的维数为6×1；
步骤五：采用分层显著性检测模型提取出Iorg的视觉显著图，记为{SO(x,y)}；然后根据在每个尺度下Iorg中的所有四边形网格的相似性变换矩阵，并结合{SO(x,y)}，计算在每个尺度下Iorg的结构失真，将在第j个尺度下Iorg的结构失真记为并根据在每个尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，并结合{SO(x,y)}和计算在每个尺度下Iorg的内容损失，将在第j个尺度下Iorg的内容损失记为其中，SO(x,y)表示{SO(x,y)}中坐标位置为(x,y)的像素点的像素值；
步骤六：根据在3个尺度下Iorg的结构失真和内容损失，获取Iret的特征矢量，记为F，其中，F的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下Iorg的结构失真、在第2个尺度下Iorg的结构失真、在第3个尺度下Iorg的结构失真，对应表示在第1个尺度下Iorg的内容损失、在第2个尺度下Iorg的内容损失、在第3个尺度下Iorg的内容损失；
步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'>1，n>1，1≤g1≤n， 的维数为6×1；
步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m<n，f()为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数；
步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数；
步骤十：重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，X的取值大于或等于100。
2.根据权利要求1所述的一种重定位图像质量评价方法，其特征在于所述的步骤五中的的计算过程为：
A1、根据在第j个尺度下Iorg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下Iorg中的每个四边形网格的几何失真，将的几何失真记为 其中，对应表示中的第1个元素、第2个元素、第4个元素、第5个元素；
A2、根据在第j个尺度下Iorg中的每个四边形网格的几何失真，并结合{SO(x,y)}，计算得到 其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，exp()表示以自然基数e为底的指数函数。
3.根据权利要求1或2所述的一种重定位图像质量评价方法，其特征在于所述的步骤五中的的计算过程为：其中，SO(kj)表示中的所有像素点的视觉显著值的均值，也即表示{SO(x,y)}中与对应的区域中的所有像素点的像素值的均值，表示计算Iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810412492.3A CN108805825B (zh) | 2018-05-03 | 2018-05-03 | 一种重定位图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810412492.3A CN108805825B (zh) | 2018-05-03 | 2018-05-03 | 一种重定位图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805825A true CN108805825A (zh) | 2018-11-13 |
| CN108805825B CN108805825B (zh) | 2021-04-27 |
Family
ID=64093327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810412492.3A Active CN108805825B (zh) | 2018-05-03 | 2018-05-03 | 一种重定位图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805825B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223268A (zh) * | 2019-04-24 | 2019-09-10 | 宁波大学 | 一种绘制图像质量评价方法 |
| CN111641822A (zh) * | 2020-05-06 | 2020-09-08 | 宁波大学 | 一种重定位立体图像质量评价方法 |
| CN112419234A (zh) * | 2020-10-21 | 2021-02-26 | 宁波大学 | 一种基于几何特征的重定位立体图像质量评价方法 |
| CN112435231A (zh) * | 2020-11-20 | 2021-03-02 | 深圳市慧鲤科技有限公司 | 图像质量标尺生成方法、评测图像质量的方法及装置 |
| CN112770105A (zh) * | 2020-12-07 | 2021-05-07 | 宁波大学 | 一种基于结构特征的重定位立体图像质量评价方法 |
| CN113192003A (zh) * | 2021-03-26 | 2021-07-30 | 宁波大学 | 一种拼接图像质量评价方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120121204A1 (en) * | 2010-11-11 | 2012-05-17 | Yuanyuan Ding | Importance filtering for image retargeting |
| US20120260223A1 (en) * | 2009-12-03 | 2012-10-11 | International Business Machines Corporation | Retargeting for Electrical Yield Enhancement |
| CN103077514A (zh) * | 2012-12-17 | 2013-05-01 | 西南科技大学 | 一种基于全变分的视觉感知图像质量评价方法 |
| CN105981384A (zh) * | 2013-09-06 | 2016-09-28 | 王舟 | 用于客观感知视频质量评估的方法和系统 |
| CN107105214A (zh) * | 2017-03-16 | 2017-08-29 | 宁波大学 | 一种三维视频图像重定位方法 |
| CN107481250A (zh) * | 2017-08-30 | 2017-12-15 | 吉林大学 | 一种图像分割方法及其评价方法和图像融合方法 |
-
2018
- 2018-05-03 CN CN201810412492.3A patent/CN108805825B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120260223A1 (en) * | 2009-12-03 | 2012-10-11 | International Business Machines Corporation | Retargeting for Electrical Yield Enhancement |
| US20120121204A1 (en) * | 2010-11-11 | 2012-05-17 | Yuanyuan Ding | Importance filtering for image retargeting |
| CN103077514A (zh) * | 2012-12-17 | 2013-05-01 | 西南科技大学 | 一种基于全变分的视觉感知图像质量评价方法 |
| CN105981384A (zh) * | 2013-09-06 | 2016-09-28 | 王舟 | 用于客观感知视频质量评估的方法和系统 |
| CN107105214A (zh) * | 2017-03-16 | 2017-08-29 | 宁波大学 | 一种三维视频图像重定位方法 |
| CN107481250A (zh) * | 2017-08-30 | 2017-12-15 | 吉林大学 | 一种图像分割方法及其评价方法和图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| LIN MA ET.AL: "Image Retargeting Quality Assessment: A Study of Subjective Scores and Objective Metrics", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 * |
| QIUPING JIANG ET.AL: "Learning Sparse Representation for Objective Image Retargeting Quality Assessment", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
| 富振奇: "结合双向相似性变换的重定向图像质量评价", 《中国图像图形学报》 * |
| 曹连超: "基于内容的图像/视频重定向方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223268A (zh) * | 2019-04-24 | 2019-09-10 | 宁波大学 | 一种绘制图像质量评价方法 |
| CN110223268B (zh) * | 2019-04-24 | 2021-06-11 | 宁波大学 | 一种绘制图像质量评价方法 |
| CN111641822A (zh) * | 2020-05-06 | 2020-09-08 | 宁波大学 | 一种重定位立体图像质量评价方法 |
| CN111641822B (zh) * | 2020-05-06 | 2021-08-24 | 宁波大学 | 一种重定位立体图像质量评价方法 |
| CN112419234A (zh) * | 2020-10-21 | 2021-02-26 | 宁波大学 | 一种基于几何特征的重定位立体图像质量评价方法 |
| CN112419234B (zh) * | 2020-10-21 | 2023-04-25 | 宁波大学 | 一种基于几何特征的重定位立体图像质量评价方法 |
| CN112435231A (zh) * | 2020-11-20 | 2021-03-02 | 深圳市慧鲤科技有限公司 | 图像质量标尺生成方法、评测图像质量的方法及装置 |
| CN112770105A (zh) * | 2020-12-07 | 2021-05-07 | 宁波大学 | 一种基于结构特征的重定位立体图像质量评价方法 |
| CN112770105B (zh) * | 2020-12-07 | 2022-06-03 | 宁波大学 | 一种基于结构特征的重定位立体图像质量评价方法 |
| CN113192003A (zh) * | 2021-03-26 | 2021-07-30 | 宁波大学 | 一种拼接图像质量评价方法 |
| CN113192003B (zh) * | 2021-03-26 | 2023-04-28 | 宁波大学 | 一种拼接图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805825B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805825B (zh) | 一种重定位图像质量评价方法 | |
| Liu et al. | Image retargeting quality assessment | |
| CN103996192B (zh) | 基于高质量自然图像统计量模型的无参考图像质量评价方法 | |
| CN103581661B (zh) | 一种立体图像视觉舒适度评价方法 | |
| CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
| CN108428227A (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
| CN108363604A (zh) | 一种分辨率适配方法、装置及业务系统 | |
| CN106162162B (zh) | 一种基于稀疏表示的重定位图像质量客观评价方法 | |
| CN105357519B (zh) | 基于自相似度特征的无参考立体图像质量客观评价方法 | |
| CN109978854A (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
| CN107945151B (zh) | 一种基于相似性变换的重定位图像质量评价方法 | |
| CN111292336B (zh) | 基于分段式球面投影格式的全向图像无参考质量评价方法 | |
| CN111641822B (zh) | 一种重定位立体图像质量评价方法 | |
| CN104103064A (zh) | 基于梯度相似度的无参考噪声图像质量评价方法 | |
| CN110691236B (zh) | 一种全景视频质量评价方法 | |
| CN103914835B (zh) | 一种针对模糊失真立体图像的无参考质量评价方法 | |
| CN111179242A (zh) | 图像处理方法及其装置 | |
| CN107018410A (zh) | 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 | |
| CN112132774A (zh) | 一种色调映射图像的质量评价方法 | |
| CN107292331B (zh) | 基于无监督特征学习的无参考屏幕图像质量评价方法 | |
| CN103996188A (zh) | 一种基于Gabor加权特征的全参考型图像质量评价方法 | |
| CN108848365A (zh) | 一种重定位立体图像质量评价方法 | |
| CN107274388A (zh) | 一种基于全局信息的无参考屏幕图像质量评价方法 | |
| CN113192003B (zh) | 一种拼接图像质量评价方法 | |
| CN106780452B (zh) | 一种结合小波和角点特征的全参考屏幕图像质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220622 Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd. Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221208 Address after: B702, Building 2, Dingtai Fenghua, No. 1085, Qianhai Road, Fenghua Community, Nanshan Street, Nanshan District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Wuxin Tongde Enterprise Management Consulting Partnership (L.P.) Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230412 Address after: Building 1003, Building 3, Chongwen Park, Nanshan Zhiyuan, No. 3370 Liuxian Avenue, Fuguang Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518000 Patentee after: Shenzhen Lingkun Information Technology Co.,Ltd. Address before: B702, Building 2, Dingtai Fenghua, No. 1085, Qianhai Road, Fenghua Community, Nanshan Street, Nanshan District, Shenzhen, Guangdong 518000 Patentee before: Shenzhen Wuxin Tongde Enterprise Management Consulting Partnership (L.P.) |
|
| TR01 | Transfer of patent right |