CN112801950A - 一种基于几何失真度量的图像适配质量评价方法 - Google Patents

一种基于几何失真度量的图像适配质量评价方法 Download PDF

Info

Publication number
CN112801950A
CN112801950A CN202110055744.3A CN202110055744A CN112801950A CN 112801950 A CN112801950 A CN 112801950A CN 202110055744 A CN202110055744 A CN 202110055744A CN 112801950 A CN112801950 A CN 112801950A
Authority
CN
China
Prior art keywords
image
vector
edge
local
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110055744.3A
Other languages
English (en)
Other versions
CN112801950B (zh
Inventor
姜求平
彭振宇
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202110055744.3A priority Critical patent/CN112801950B/zh
Publication of CN112801950A publication Critical patent/CN112801950A/zh
Application granted granted Critical
Publication of CN112801950B publication Critical patent/CN112801950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种基于几何失真度量的图像适配质量评价方法，其采用预训练的边缘形状分类器对原始图像和适配图像中的每个图像块进行分类，得到图像块对应的类别概率分布向量作为局部几何特征向量；计算匹配图像块的局部几何特征向量的JS散度，采用边缘强弱值加权得到局部几何失真分数；利用分类概率最大的边缘来表示图像块的边缘形状，统计每类边缘表示的图像块的个数并归一化，得到全局几何特征向量，计算原始图像与适配图像的全局几何特征向量的JS散度，得到全局几何失真分数；利用支持向量回归模型融合显著区域保持分数得到客观质量评价预测值；优点是从局部和全局两个角度对几何失真进行度量，能更加准确地预测适配图像的客观质量。

Description

一种基于几何失真度量的图像适配质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于几何失真度量的图像适配质量评价方法。
背景技术
随着不同的工业和消费电子设备的出现，将图像调整为不同宽高比进而适配各种显示器的需求越来越广泛。为了满足该需求，在过去的十年中已经提出了多种图像适配(Image Retargeting，IR)算法。然而，图像适配可能会导致图像内容的信息丢失和图像结构的几何变化，例如挤压、拉伸、不均匀形变和几何不连续等，因此适配图像的视觉质量会不可避免地降低。因此，有必要进行图像适配质量评价(Image Retargeting QualityAssessment，IRQA)以选择高质量的适配图像。
传统的图像适配质量评价方法主要度量场景中显著目标的信息损失和几何形变。然而，根据人眼视觉特性，人眼对于非显著区域的几何失真同样十分敏感，如果仅以显著目标的特征来预测适配图像的视觉质量，则会导致无法精确预测得到客观评价值。因此，如何在视觉质量评价过程中有效地度量适配图像的几何失真程度，使得客观评价结果更加感觉符合人类视觉系统，是在对适配图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于几何失真度量的图像适配质量评价方法，其能够很好地度量图像适配过程中图像产生的几何形变，进而能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于几何失真度量的图像适配质量评价方法，其特征在于包括以下步骤：
步骤一：将原始的图像记为{IO(x,y)}，将{IO(x,y)}对应的适配图像记为{IR(x',y')}；其中，(x,y)表示{IO(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IO(x,y)}的宽度，H表示{IO(x,y)}的高度，IO(x,y)表示{IO(x,y)}中坐标位置为(x,y)的像素点的像素值，(x',y')表示{IR(x',y')}中的像素点的坐标位置，1≤x'≤W'，1≤y'≤H'，W'表示{IR(x',y')}的宽度，H'表示{IR(x',y')}的高度，IR(x',y')表示{IR(x',y')}中坐标位置为(x',y')的像素点的像素值；
步骤二：对{IO(x,y)}的四周边界扩展17个像素点；然后以{IO(x,y)}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W×H个图像块，将{IO(x,y)}中以坐标位置为(x,y)的像素点为中心的图像块记为p(x,y)；接着采用预训练的基于Sketch Token的边缘形状分类器对{IO(x,y)}中的每个图像块进行分类，得到{IO(x,y)}中的每个图像块对应的类别概率分布向量；再将{IO(x,y)}中的每个图像块对应的类别概率分布向量作为{IO(x,y)}中的每个图像块的局部几何特征向量，将p(x,y)的局部几何特征向量记为vp(x,y)，vp(x,y)即为p(x,y)对应的类别概率分布向量，
Figure BDA0002900543570000021
同样，对{IR(x',y')}的四周边界扩展17个像素点；然后以{IR(x',y')}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W'×H'个图像块，将{IR(x',y')}中以坐标位置为(x',y')的像素点为中心的图像块记为
Figure BDA0002900543570000022
接着采用预训练的基于SketchToken的边缘形状分类器对{IR(x',y')}中的每个图像块进行分类，得到{IR(x',y')}中的每个图像块对应的类别概率分布向量；再将{IR(x',y')}中的每个图像块对应的类别概率分布向量作为{IR(x',y')}中的每个图像块的局部几何特征向量，将
Figure BDA0002900543570000023
的局部几何特征向量记为
Figure BDA0002900543570000031
即为
Figure BDA0002900543570000032
对应的类别概率分布向量，
Figure BDA0002900543570000033
其中，vp(x,y)的维数为(K+1)×1，K表示预训练的基于Sketch Token的边缘形状分类器中确定的边缘类别总数，
Figure BDA0002900543570000034
表示p(x,y)属于第1类边缘的概率值，
Figure BDA0002900543570000035
表示p(x,y)属于第k类边缘的概率值，
Figure BDA0002900543570000036
表示p(x,y)属于第K类边缘的概率值，
Figure BDA0002900543570000037
表示p(x,y)属于非边缘类的概率值，
Figure BDA0002900543570000038
1≤k≤K，
Figure BDA0002900543570000039
表示
Figure BDA00029005435700000310
属于第1类边缘的概率值，
Figure BDA00029005435700000311
表示
Figure BDA00029005435700000312
属于第k类边缘的概率值，
Figure BDA00029005435700000313
表示
Figure BDA00029005435700000314
属于第K类边缘的概率值，
Figure BDA00029005435700000315
表示
Figure BDA00029005435700000316
属于非边缘类的概率值，
Figure BDA00029005435700000317
步骤三：计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，进而确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块；然后计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；接着计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure BDA00029005435700000318
的局部几何特征向量
Figure BDA00029005435700000319
与
Figure BDA00029005435700000320
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；之后计算{IR(x',y')}中的每个图像块的边缘性强弱值；再利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真分数，记为QLGD；
步骤四：记录从{IO(x,y)}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从vp(x,y)中的前K个元素中找出的最大值对应的索引值记为sp(x,y),max，若从vp(x,y)中的前K个元素中找出的最大值为第k个元素即
Figure BDA0002900543570000041
则sp(x,y),max等于k；然后利用第sp(x,y),max类边缘来表示p(x,y)的边缘形状；接着在{IO(x,y)}中统计K类边缘中每类边缘表示的图像块的个数，将在{IO(x,y)}中第k类边缘表示的图像块的个数记为num(k)；再针对{IO(x,y)}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IO(x,y)}的全局几何特征向量，记为
Figure BDA0002900543570000042
Figure BDA0002900543570000043
同样，记录从{IR(x',y')}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从
Figure BDA0002900543570000044
中的前K个元素中找出的最大值对应的索引值记为
Figure BDA0002900543570000045
若从
Figure BDA0002900543570000046
中的前K个元素中找出的最大值为第k个元素即
Figure BDA0002900543570000047
则
Figure BDA0002900543570000048
等于k；然后利用第
Figure BDA0002900543570000049
类边缘来表示
Figure BDA00029005435700000410
的边缘形状；接着在{IR(x',y')}中统计K类边缘中每类边缘表示的图像块的个数，将在{IR(x',y')}中第k类边缘表示的图像块的个数记为num'(k)；再针对{IR(x',y')}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IR(x',y')}的全局几何特征向量，记为
Figure BDA00029005435700000411
Figure BDA00029005435700000412
其中，
Figure BDA00029005435700000413
等于W×H，cIO的维数为K×1，num(1)表示在{IO(x,y)}中第1类边缘表示的图像块的个数，num(K)表示在{IO(x,y)}中第K类边缘表示的图像块的个数，
Figure BDA00029005435700000414
等于W'×H'，cIR的维数为K×1，num'(1)表示在{IR(x',y')}中第1类边缘表示的图像块的个数，num'(K)表示在{IR(x',y')}中第K类边缘表示的图像块的个数；
步骤五：计算
Figure BDA00029005435700000415
与
Figure BDA00029005435700000416
之间的JS散度；然后将
Figure BDA00029005435700000417
与
Figure BDA00029005435700000418
之间的JS散度作为{IR(x',y')}的全局几何失真分数，记为QGGD；
步骤六：计算{IR(x',y')}的网格长宽比相似度；然后将{IR(x',y')}的网格长宽比相似度作为{IR(x',y')}的显著区域保持分数，记为QSRP；
步骤七：从一个适配图像集中随机选取一部分适配图像，将这些适配图像及其客观分数向量和平均主观评分构成训练集，将剩余适配图像及其客观分数向量和平均主观评分构成测试集，其中，适配图像的客观分数向量为由按照步骤一至步骤六的过程以相同的方式计算得到的局部几何失真分数、全局几何失真分数、显著区域保持分数按序构成的向量；然后采用支持向量回归作为机器学习的方法，对训练集中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量和最优的偏置项，进而构造得到支持向量回归模型；再采用支持向量回归模型对测试集中的每幅适配图像的客观分数向量进行测试，得到测试集中的每幅适配图像的客观质量评价预测值；经多次训练和测试后，将测试集中的每幅适配图像的多个客观质量评价预测值的平均值作为最终客观质量评价预测值。
所述的步骤二中，围绕{IO(x,y)}的四周边界以镜像反射的方式对{IO(x,y)}的四周边界扩展17个像素点；围绕{IR(x',y')}的四周边界以镜像反射的方式对{IR(x',y')}的四周边界扩展17个像素点。
所述的步骤三的具体过程为：
步骤A1：计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点；然后根据{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块，若{IR(x',y')}中坐标位置为(x',y')的像素点在{IO(x,y)}中的匹配像素点为{IO(x,y)}中坐标位置为(x,y)的像素点，那么确定
Figure BDA0002900543570000051
在{IO(x,y)}中的匹配图像块为p(x,y)；
步骤A2：计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度，将
Figure BDA0002900543570000052
与
Figure BDA0002900543570000061
在{IO(x,y)}中的匹配图像块p(x,y)的局部几何特征向量vp(x,y)之间的JS散度记为
Figure BDA0002900543570000062
其中，dJS()表示JS散度运算，
Figure BDA0002900543570000063
表示vp(x,y)和
Figure BDA0002900543570000064
的均值向量，
Figure BDA0002900543570000065
dKL()表示KL散度运算，
Figure BDA0002900543570000066
Figure BDA0002900543570000067
表示
Figure BDA0002900543570000068
中的第k个元素，
Figure BDA0002900543570000069
Figure BDA00029005435700000610
表示
Figure BDA00029005435700000611
中的第K+1个元素，
Figure BDA00029005435700000612
步骤A3：计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure BDA00029005435700000613
的局部几何特征向量
Figure BDA00029005435700000614
与
Figure BDA00029005435700000615
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；
步骤A4：计算{IR(x',y')}中的每个图像块的边缘性强弱值，将
Figure BDA00029005435700000616
的边缘性强弱值记为
Figure BDA00029005435700000617
Figure BDA00029005435700000618
步骤A5：利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真分数QLGD，
Figure BDA00029005435700000619
其中，
Figure BDA00029005435700000620
作为
Figure BDA00029005435700000621
的加权值，β为控制参数。
所述的步骤五中，计算
Figure BDA00029005435700000622
与
Figure BDA00029005435700000623
之间的JS散度的具体过程为：将
Figure BDA00029005435700000624
与
Figure BDA00029005435700000625
之间的JS散度记为
Figure BDA00029005435700000626
Figure BDA00029005435700000627
其中，dJS()表示JS散度运算，
Figure BDA00029005435700000628
表示
Figure BDA00029005435700000629
和
Figure BDA00029005435700000630
的均值向量，
Figure BDA00029005435700000631
dKL()表示KL散度运算，
Figure BDA0002900543570000071
Figure BDA0002900543570000072
表示
Figure BDA0002900543570000073
中的第k个元素，
Figure BDA0002900543570000074
Figure BDA0002900543570000075
所述的步骤七的具体过程为：
步骤B1：选取set组共M幅适配图像构成适配图像集，其中，每组包含由同一幅原始的图像生成的m幅适配图像，set≥1，m≥1，M＝set×m且M≥100；然后从适配图像集中随机选取J幅适配图像，将随机选取的J幅适配图像及其客观分数向量和平均主观评分构成训练集，记为ΩJ，将ΩJ中的第j幅适配图像的客观分数向量和平均主观评分对应记为Q1,j和S1,j；并将剩余的N幅适配图像及其客观分数向量和平均主观评分构成测试集，记为ΩN，将ΩN中的第n幅适配图像的客观分数向量和平均主观评分对应记为Q2,n和S2,n；其中，
Figure BDA0002900543570000076
符号
Figure BDA0002900543570000077
为向上取整符号，1≤j≤J，Q1,j＝[QLGD,1,j,QGGD,1,j,QSRP,1,j]，QLGD,1,j表示ΩJ中的第j幅适配图像的局部几何失真分数，QGGD,1,j表示ΩJ中的第j幅适配图像的全局几何失真分数，QSRP,1,j表示ΩJ中的第j幅适配图像的显著区域保持分数，N＝M-J，1≤n≤N，Q2,n＝[QLGD,2,n,QGGD,2,n,QSRP,2,n]，QLGD,2,n表示ΩN中的第j幅适配图像的局部几何失真分数，QGGD,2,n表示ΩN中的第j幅适配图像的全局几何失真分数，QSRP,2,n表示ΩN中的第j幅适配图像的显著区域保持分数，QLGD,1,j、QGGD,1,j、QSRP,1,j、QLGD,2,n、QGGD,2,n、QSRP,2,n为按照步骤一至步骤六的过程以相同的方式计算得到，下标“1”表示训练集，下标“2”表示测试集；
步骤B2：构造ΩJ中的每幅适配图像的客观分数向量的回归函数，将Q1,j的回归函数记为f(Q1,j)，
Figure BDA0002900543570000078
其中，f()为函数表示形式，
Figure BDA0002900543570000079
为权重矢量，
Figure BDA00029005435700000710
为
Figure BDA00029005435700000711
的转置矢量，
Figure BDA00029005435700000712
为偏置项，
Figure BDA00029005435700000713
为Q1,j的线性函数；
步骤B3：采用支持向量回归作为机器学习的方法，对ΩJ中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002900543570000081
和最优的偏置项
Figure BDA0002900543570000082
然后将最优的权重矢量
Figure BDA0002900543570000083
和最优的偏置项
Figure BDA0002900543570000084
的组合记为
Figure BDA0002900543570000085
再利用最优的权重矢量
Figure BDA0002900543570000086
和最优的偏置项
Figure BDA0002900543570000087
构造支持向量回归模型，记为
Figure BDA0002900543570000088
其中，Ψ表示对ΩJ中的所有适配图像的客观分数向量进行训练的所有的权重矢量和偏置项的组合的集合，
Figure BDA0002900543570000089
表示求使得
Figure BDA00029005435700000810
最小时
Figure BDA00029005435700000811
和
Figure BDA00029005435700000812
的值，Qin表示支持向量回归模型的输入向量，即为适配图像的客观分数向量，
Figure BDA00029005435700000813
为
Figure BDA00029005435700000814
的转置矢量，
Figure BDA00029005435700000815
为Qin的线性函数；
步骤B4：采用支持向量回归模型对ΩN中的每幅适配图像的客观分数向量进行测试，得到ΩN中的每幅适配图像的客观质量评价预测值，将ΩN中的第n幅适配图像的客观质量评价预测值记为Qpredict,n，Qpredict,n＝f(Q2,n)，
Figure BDA00029005435700000816
其中，
Figure BDA00029005435700000817
为Q2,n的线性函数；
步骤B5：重复执行步骤B2至步骤B4共number次，得到ΩN中的每幅适配图像的number个客观质量评价预测值；然后将ΩN中的每幅适配图像的number个客观质量评价预测值的平均值作为最终客观质量评价预测值；其中，number≥100。
与现有技术相比，本发明的优点在于：
1)本发明方法采用预训练的基于Sketch Token(手绘类标)的边缘形状分类器对原始的图像和对应的适配图像中的每个图像块进行分类，得到每个图像块对应的类别概率分布向量，再将每个图像块对应的类别概率分布向量作为其局部几何特征向量，因此有效地对图像几何特性进行了描述。
2)本发明方法计算适配图像中的每个图像块与原始图像中对应的匹配图像块的局部几何特征向量之间的JS散度，进而得到适配图像的局部边缘几何形变图，然后计算适配图像中的每个图像块的边缘性强弱值，再利用边缘性强弱值对局部边缘几何形变图进行加权融合，得到局部几何失真分数；另一方面利用分类概率最大的边缘来表示图像块的边缘形状，统计每类边缘表示的图像块的个数并归一化，得到全局几何特征向量，计算原始的图像与对应的适配图像的全局几何特征向量之间的JS散度，得到全局几何失真分数。因此从局部和全局两个角度能够更加全面地对适配图像的几何形变进行度量，有效地提高了客观质量评价预测值与平均主观评分的相关性。
附图说明
图1为本发明方法的总体实现框图；
图2为150类边缘的示意图；
图3a为源图像“Brasserie_L_Aficion”；
图3b为“Brasserie_L_Aficion”经过Shift-map算法生成的适配图像；
图3c为Shift-map适配图像的局部边缘几何形变图；
图3d为“Brasserie_L_Aficion”经过Warping算法生成的适配图像；
图3e为Warping适配图像的局部边缘几何形变图；
图3f为“Brasserie_L_Aficion”经过Seam-carving算法生成的适配图像；
图3g为Seam-carving适配图像的局部边缘几何形变图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于几何失真度量的图像适配质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：将原始的图像记为{IO(x,y)}，将{IO(x,y)}对应的适配图像(即重定向图像)记为{IR(x',y')}；其中，(x,y)表示{IO(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IO(x,y)}的宽度，H表示{IO(x,y)}的高度，IO(x,y)表示{IO(x,y)}中坐标位置为(x,y)的像素点的像素值，(x',y')表示{IR(x',y')}中的像素点的坐标位置，1≤x'≤W'，1≤y'≤H'，W'表示{IR(x',y')}的宽度，H'表示{IR(x',y')}的高度，IR(x',y')表示{IR(x',y')}中坐标位置为(x',y')的像素点的像素值，W'与W相等而H'与H不相等，或W'与W不相等而H'与H相等，或W'与W不相等且H'与H也不相等。
步骤二：对{IO(x,y)}的四周边界扩展17个像素点；然后以{IO(x,y)}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W×H个图像块，将{IO(x,y)}中以坐标位置为(x,y)的像素点为中心的图像块记为p(x,y)；接着采用预训练的基于Sketch Token(手绘类标)的边缘形状分类器对{IO(x,y)}中的每个图像块进行分类，得到{IO(x,y)}中的每个图像块对应的类别概率分布向量；再将{IO(x,y)}中的每个图像块对应的类别概率分布向量作为{IO(x,y)}中的每个图像块的局部几何特征向量，将p(x,y)的局部几何特征向量记为vp(x,y)，vp(x,y)即为p(x,y)对应的类别概率分布向量，
Figure BDA0002900543570000101
同样，对{IR(x',y')}的四周边界扩展17个像素点；然后以{IR(x',y')}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W'×H'个图像块，将{IR(x',y')}中以坐标位置为(x',y')的像素点为中心的图像块记为
Figure BDA0002900543570000102
接着采用预训练的基于SketchToken(手绘类标)的边缘形状分类器对{IR(x',y')}中的每个图像块进行分类，得到{IR(x',y')}中的每个图像块对应的类别概率分布向量；再将{IR(x',y')}中的每个图像块对应的类别概率分布向量作为{IR(x',y')}中的每个图像块的局部几何特征向量，将
Figure BDA0002900543570000103
的局部几何特征向量记为
Figure BDA0002900543570000104
Figure BDA0002900543570000105
即为
Figure BDA0002900543570000106
对应的类别概率分布向量，
Figure BDA0002900543570000107
其中，vp(x,y)的维数为(K+1)×1，K表示预训练的基于Sketch Token的边缘形状分类器中确定的边缘类别总数，
Figure BDA0002900543570000108
表示p(x,y)属于第1类边缘的概率值，
Figure BDA0002900543570000109
表示p(x,y)属于第k类边缘的概率值，
Figure BDA00029005435700001010
表示p(x,y)属于第K类边缘的概率值，
Figure BDA00029005435700001011
表示p(x,y)属于非边缘类的概率值，
Figure BDA0002900543570000111
1≤k≤K，在本实施例中取K＝150，
Figure BDA0002900543570000112
表示
Figure BDA0002900543570000113
属于第1类边缘的概率值，
Figure BDA0002900543570000114
表示
Figure BDA0002900543570000115
属于第k类边缘的概率值，
Figure BDA0002900543570000116
表示
Figure BDA0002900543570000117
属于第K类边缘的概率值，
Figure BDA0002900543570000118
表示
Figure BDA0002900543570000119
属于非边缘类的概率值，
Figure BDA00029005435700001110
在本实施例中，步骤二中，围绕{IO(x,y)}的四周边界以镜像反射的方式对{IO(x,y)}的四周边界扩展17个像素点；围绕{IR(x',y')}的四周边界以镜像反射的方式对{IR(x',y')}的四周边界扩展17个像素点。
在此，基于Sketch Token(手绘类标)的边缘形状分类器引用自文献“Lim J J,Zitnick C L,Dollár P.Sketch Tokens:A Learned Mid-level Representation forContour and Object Detection[C].//2013IEEE Conference on Computer Vision andPattern Recognition,2013:3158-3165.”(手绘类标：用于边缘和目标检测的一种基于学习的中层表征[C])，其提出了一种基于手工类标的分类器用于边缘检测，首先对人工手绘标定了边缘的图像按照35×35划分图像块，再对这些图像块利用K-means算法聚类得到K个手绘类标(Sketch Token)，最后在BSDS数据集上训练随机森林分类器，分类的目标是得到图像块属于K类手绘类标的概率以及不包含边缘的概率，本发明使用了文献提出的预训练分类器用于特征提取，150类边缘如图2所示。
步骤三：计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，进而确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块；然后计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度(Jensen-Shannon散度)；接着计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure BDA00029005435700001111
的局部几何特征向量
Figure BDA00029005435700001112
与
Figure BDA00029005435700001113
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；之后计算{IR(x',y')}中的每个图像块的边缘性强弱值；再利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真(Local Geometric Distortion)分数，记为QLGD。
在本实施例中，步骤三的具体过程为：
步骤A1：采用现有技术计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点；然后根据{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块，若{IR(x',y')}中坐标位置为(x',y')的像素点在{IO(x,y)}中的匹配像素点为{IO(x,y)}中坐标位置为(x,y)的像素点，那么确定
Figure BDA00029005435700001218
在{IO(x,y)}中的匹配图像块为p(x,y)。
步骤A2：计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度，将
Figure BDA0002900543570000121
与
Figure BDA0002900543570000122
在{IO(x,y)}中的匹配图像块p(x,y)的局部几何特征向量vp(x,y)之间的JS散度记为
Figure BDA0002900543570000123
其中，dJS()表示JS散度运算，
Figure BDA0002900543570000124
表示vp(x,y)和
Figure BDA0002900543570000125
的均值向量，
Figure BDA0002900543570000126
dKL()表示KL散度运算，
Figure BDA0002900543570000127
Figure BDA0002900543570000128
表示
Figure BDA0002900543570000129
中的第k个元素，
Figure BDA00029005435700001210
Figure BDA00029005435700001211
表示
Figure BDA00029005435700001212
中的第K+1个元素，
Figure BDA00029005435700001213
步骤A3：计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure BDA00029005435700001214
的局部几何特征向量
Figure BDA00029005435700001215
与
Figure BDA00029005435700001216
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度。
步骤A4：计算{IR(x',y')}中的每个图像块的边缘性强弱值，将
Figure BDA00029005435700001217
的边缘性强弱值记为
Figure BDA0002900543570000131
Figure BDA0002900543570000132
步骤A5：利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真分数QLGD，
Figure BDA0002900543570000133
其中，
Figure BDA0002900543570000134
作为
Figure BDA0002900543570000135
的加权值，β为控制参数，在本实施例中取β＝3。
在此，截取三种典型的适配图像来说明本发明方法中局部几何失真分数计算的效果。图3a给出了源图像即原始的图像“Brasserie_L_Aficion”，图3b给出了“Brasserie_L_Aficion”经过Shift-map算法生成的适配图像，图3c给出了Shift-map适配图像的局部边缘几何形变图，图3d给出了“Brasserie_L_Aficion”经过Warping算法生成的适配图像，图3e给出了Warping适配图像的局部边缘几何形变图，图3f给出了“Brasserie_L_Aficion”经过Seam-carving算法生成的适配图像，图3g给出了Seam-carving适配图像的局部边缘几何形变图。在图3c、图3e和图3g中，颜色越亮表示形变越严重，从图3c、图3e和图3g中可以看出，采用本发明方法得到的局部边缘几何形变图能够很好地反映适配图像的局部边缘失真程度。
步骤四：记录从{IO(x,y)}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从vp(x,y)中的前K个元素中找出的最大值对应的索引值记为sp(x,y),max，若从vp(x,y)中的前K个元素中找出的最大值为第k个元素即
Figure BDA0002900543570000136
则sp(x,y),max等于k；然后利用第sp(x,y),max类边缘来表示p(x,y)的边缘形状；接着在{IO(x,y)}中统计K类边缘中每类边缘表示的图像块的个数，将在{IO(x,y)}中第k类边缘表示的图像块的个数记为num(k)；再针对{IO(x,y)}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IO(x,y)}的全局几何特征向量，记为
Figure BDA0002900543570000137
Figure BDA0002900543570000141
同样，记录从{IR(x',y')}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从
Figure BDA0002900543570000142
中的前K个元素中找出的最大值对应的索引值记为
Figure BDA0002900543570000143
若从
Figure BDA0002900543570000144
中的前K个元素中找出的最大值为第k个元素即
Figure BDA0002900543570000145
则
Figure BDA0002900543570000146
等于k；然后利用第
Figure BDA0002900543570000147
类边缘来表示
Figure BDA0002900543570000148
的边缘形状；接着在{IR(x',y')}中统计K类边缘中每类边缘表示的图像块的个数，将在{IR(x',y')}中第k类边缘表示的图像块的个数记为num'(k)；再针对{IR(x',y')}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IR(x',y')}的全局几何特征向量，记为
Figure BDA0002900543570000149
Figure BDA00029005435700001410
其中，
Figure BDA00029005435700001411
等于W×H，cIO的维数为K×1，num(1)表示在{IO(x,y)}中第1类边缘表示的图像块的个数，num(K)表示在{IO(x,y)}中第K类边缘表示的图像块的个数，
Figure BDA00029005435700001412
等于W'×H'，
Figure BDA00029005435700001413
的维数为K×1，num'(1)表示在{IR(x',y')}中第1类边缘表示的图像块的个数，num'(K)表示在{IR(x',y')}中第K类边缘表示的图像块的个数。
步骤五：计算
Figure BDA00029005435700001414
与
Figure BDA00029005435700001415
之间的JS散度；然后将
Figure BDA00029005435700001416
与
Figure BDA00029005435700001417
之间的JS散度作为{IR(x',y')}的全局几何失真(Global Geometric Distortion)分数，记为QGGD。
在本实施例中，步骤五中，计算
Figure BDA00029005435700001418
与
Figure BDA00029005435700001419
之间的JS散度的具体过程为：将
Figure BDA00029005435700001420
与
Figure BDA00029005435700001421
之间的JS散度记为
Figure BDA00029005435700001422
其中，dJS()表示JS散度运算，
Figure BDA00029005435700001423
表示
Figure BDA00029005435700001424
和
Figure BDA00029005435700001425
的均值向量，
Figure BDA00029005435700001426
dKL()表示KL散度运算，
Figure BDA00029005435700001427
Figure BDA00029005435700001428
表示
Figure BDA00029005435700001429
中的第k个元素，
Figure BDA00029005435700001430
Figure BDA0002900543570000151
步骤六：计算{IR(x',y')}的网格长宽比相似度(Aspect Ratio Similarity)；然后将{IR(x',y')}的网格长宽比相似度作为{IR(x',y')}的显著区域保持(Salient RegionPreservation)分数，记为QSRP。
在此，网格长宽比相似度(Aspect Ratio Similarity)引用自文献“Zhang Y,FangY,Lin W,et al.Backward Registration-Based Aspect Ratio Similarity for ImageRetargeting Quality Assessment[J].IEEE Transactions on Image Processing,2016,25(9):4286-4297.”(用于图像适配质量评价的基于后向配准的长宽比相似度计算[J].)。
步骤七：从一个适配图像集中随机选取一部分适配图像，将这些适配图像及其客观分数向量和平均主观评分构成训练集，将剩余适配图像及其客观分数向量和平均主观评分构成测试集，其中，适配图像的客观分数向量为由按照步骤一至步骤六的过程以相同的方式计算得到的局部几何失真分数、全局几何失真分数、显著区域保持分数按序构成的向量；然后采用支持向量回归作为机器学习的方法，对训练集中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量和最优的偏置项，进而构造得到支持向量回归模型；再采用支持向量回归模型对测试集中的每幅适配图像的客观分数向量进行测试，得到测试集中的每幅适配图像的客观质量评价预测值；经多次训练和测试后，将测试集中的每幅适配图像的多个客观质量评价预测值的平均值作为最终客观质量评价预测值。
在本实施例中，步骤七的具体过程为：
步骤B1：选取set组共M幅适配图像构成适配图像集，其中，每组包含由同一幅原始的图像生成的m幅适配图像，set≥1，m≥1，M＝set×m且M≥100；然后从适配图像集中随机选取J幅适配图像，将随机选取的J幅适配图像及其客观分数向量和平均主观评分构成训练集，记为ΩJ，将ΩJ中的第j幅适配图像的客观分数向量和平均主观评分对应记为Q1,j和S1,j；并将剩余的N幅适配图像及其客观分数向量和平均主观评分构成测试集，记为ΩN，将ΩN中的第n幅适配图像的客观分数向量和平均主观评分对应记为Q2,n和S2,n；其中，
Figure BDA0002900543570000161
符号
Figure BDA0002900543570000162
为向上取整符号，1≤j≤J，Q1,j＝[QLGD,1,j,QGGD,1,j,QSRP,1,j]，QLGD,1,j表示ΩJ中的第j幅适配图像的局部几何失真分数，QGGD,1,j表示ΩJ中的第j幅适配图像的全局几何失真分数，QSRP,1,j表示ΩJ中的第j幅适配图像的显著区域保持分数，N＝M-J，1≤n≤N，Q2,n＝[QLGD,2,n,QGGD,2,n,QSRP,2,n]，QLGD,2,n表示ΩN中的第j幅适配图像的局部几何失真分数，QGGD,2,n表示ΩN中的第j幅适配图像的全局几何失真分数，QSRP,2,n表示ΩN中的第j幅适配图像的显著区域保持分数，QLGD,1,j、QGGD,1,j、QSRP,1,j、QLGD,2,n、QGGD,2,n、QSRP,2,n为按照步骤一至步骤六的过程以相同的方式计算得到，下标“1”表示训练集，下标“2”表示测试集。
步骤B2：构造ΩJ中的每幅适配图像的客观分数向量的回归函数，将Q1,j的回归函数记为f(Q1,j)，
Figure BDA0002900543570000163
其中，f()为函数表示形式，
Figure BDA0002900543570000164
为权重矢量，
Figure BDA0002900543570000165
为
Figure BDA0002900543570000166
的转置矢量，
Figure BDA0002900543570000167
为偏置项，
Figure BDA0002900543570000168
为Q1,j的线性函数。
步骤B3：采用支持向量回归作为机器学习的方法，对ΩJ中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量
Figure BDA0002900543570000169
和最优的偏置项
Figure BDA00029005435700001610
然后将最优的权重矢量
Figure BDA00029005435700001611
和最优的偏置项
Figure BDA00029005435700001612
的组合记为
Figure BDA00029005435700001613
再利用最优的权重矢量
Figure BDA00029005435700001614
和最优的偏置项
Figure BDA00029005435700001615
构造支持向量回归模型，记为
Figure BDA00029005435700001616
其中，Ψ表示对ΩJ中的所有适配图像的客观分数向量进行训练的所有的权重矢量和偏置项的组合的集合，
Figure BDA00029005435700001617
表示求使得
Figure BDA00029005435700001618
最小时
Figure BDA00029005435700001619
和
Figure BDA00029005435700001620
的值，Qin表示支持向量回归模型的输入向量，即为适配图像的客观分数向量，
Figure BDA00029005435700001621
为
Figure BDA00029005435700001622
的转置矢量，
Figure BDA00029005435700001623
为Qin的线性函数。
步骤B4：采用支持向量回归模型对ΩN中的每幅适配图像的客观分数向量进行测试，得到ΩN中的每幅适配图像的客观质量评价预测值，将ΩN中的第n幅适配图像的客观质量评价预测值记为Qpredict,n，Qpredict,n＝f(Q2,n)，
Figure BDA0002900543570000171
其中，
Figure BDA0002900543570000172
为Q2,n的线性函数。
步骤B5：重复执行步骤B2至步骤B4共number次，得到ΩN中的每幅适配图像的number个客观质量评价预测值；然后将ΩN中的每幅适配图像的number个客观质量评价预测值的平均值作为最终客观质量评价预测值；其中，number≥100。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
采用香港中文大学提供的图像适配质量评价数据库作为验证集合，该图像适配质量评价数据库包含57幅源图像(即原始的图像)以及每幅源图像对应的3幅采用不同适配算法得到的适配图像，并给出了每幅适配图像的平均主观评分(Mean Opinion Score，MOS)。香港中文大学数据库来自于L.Ma,W.Lin,C.Deng,and K.N.Ngan,“Image retargetingquality assessment:A study of subjective scores and objective metrics,”IEEEJournal of Selected Topics in Signal Processing,vol.6,no.6,pp.626–639,2012.(图像适配质量评价：主观评分以及客观方法)。
利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、均方误差(root meansquared error，RMSE)，PLCC和RMSE反映客观质量评价预测值的准确性，SROCC反映其单调性。将图像适配质量评价数据库中的每幅适配图像按本发明方法计算得到的最终客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明本发明方法的客观评价结果与平均主观评分的相关性越好。表1给出了由局部几何失真分数、全局几何失真分数、显著区域保持分数中的至少一个构成客观分数向量时得到的最终客观质量评价预测值与平均主观评分之间的相关性。表2给出了本发明方法与其他算法的预测值相关性比较的结果。表2中的EMD方法是指推土距离(Earth-mover’s distance，EMD)(引用自O.Pele and M.Werman,“Fast and robust earth mover's distances,”in IEEEInternational Conference on Computer Vision,2009,pp.460–467.(快速鲁棒的推土机距离度量))；SIFT-flow方法是指尺度不变特征变换流(Scale-invariant featuretransform flow，SIFT-flow)(引用自C.Liu,J.Yuen,and A.Torralba,“SIFT-flow:Densecorrespondence across scenes and its applications,”IEEE Transactions onPattern Analysis and Machine Intelligence,vol.33,no.5,pp.978–994,2011.(尺度不变特征变换流：场景间稠密匹配及其应用))；ARS方法是指网格长宽比相似度(AspectRatio Similarity，ARS)(引用自Y.Zhang,Y.Fang,W.Lin,X.Zhang,and L.Li,“Backwardregistration-based aspect ratio similarity for image retargeting qualityassessment,"IEEE Transactions on Image Processing,vol.25,no.9,pp.4286–4297,2016.(用于图像适配质量评价的基于后向配准的长宽比相似度计算))。
表1由局部几何失真分数、全局几何失真分数、显著区域保持分数中的至少一个构成客观分数向量时得到的最终客观质量评价预测值与平均主观评分之间的相关性
Figure BDA0002900543570000181
表2本发明方法与其他算法的预测值相关性比较的结果
方法 PLCC SROCC RMSE
EMD 0.276 0.290 12.977
SIFT-flow 0.314 0.290 12.977
ARS 0.684 0.669 9.855
本发明方法 0.729 0.692 9.009
从表1中可以看出，只采用局部几何失真分数、全局几何失真分数、显著区域保持分数中的两个构成客观分数向量时得到的最终客观质量评价预测值与平均主观评分之间的相关性均不是最优的，但相比只采用局部几何失真分数、全局几何失真分数、显著区域保持分数中的一个构成客观分数向量时得到的最终客观质量评价预测值与平均主观评分之间的相关性要大，而本发明方法中的客观分数向量由局部几何失真分数、全局几何失真分数、显著区域保持分数构成，得到的最终客观质量评价预测值与平均主观评分之间的相关性最好，这说明了本发明方法提取的局部几何失真分数和全局几何失真分数是有效的，使得得到的最终客观质量评价预测值与平均主观评分之间的相关性更强，从表2中可以看出，本发明方法得到的最终客观质量评价预测值相关性高于其他算法，这足以说明本发明方法是有效的。

Claims (5)

1.一种基于几何失真度量的图像适配质量评价方法，其特征在于包括以下步骤：
步骤一：将原始的图像记为{IO(x,y)}，将{IO(x,y)}对应的适配图像记为{IR(x',y')}；其中，(x,y)表示{IO(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IO(x,y)}的宽度，H表示{IO(x,y)}的高度，IO(x,y)表示{IO(x,y)}中坐标位置为(x,y)的像素点的像素值，(x',y')表示{IR(x',y')}中的像素点的坐标位置，1≤x'≤W'，1≤y'≤H'，W'表示{IR(x',y')}的宽度，H'表示{IR(x',y')}的高度，IR(x',y')表示{IR(x',y')}中坐标位置为(x',y')的像素点的像素值；
步骤二：对{IO(x,y)}的四周边界扩展17个像素点；然后以{IO(x,y)}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W×H个图像块，将{IO(x,y)}中以坐标位置为(x,y)的像素点为中心的图像块记为p(x,y)；接着采用预训练的基于Sketch Token的边缘形状分类器对{IO(x,y)}中的每个图像块进行分类，得到{IO(x,y)}中的每个图像块对应的类别概率分布向量；再将{IO(x,y)}中的每个图像块对应的类别概率分布向量作为{IO(x,y)}中的每个图像块的局部几何特征向量，将p(x,y)的局部几何特征向量记为vp(x,y)，vp(x,y)即为p(x,y)对应的类别概率分布向量，
Figure FDA0002900543560000011
同样，对{IR(x',y')}的四周边界扩展17个像素点；然后以{IR(x',y')}中的每个像素点为中心取尺寸大小为35×35的图像块，共得到W'×H'个图像块，将{IR(x',y')}中以坐标位置为(x',y')的像素点为中心的图像块记为
Figure FDA0002900543560000012
接着采用预训练的基于Sketch Token的边缘形状分类器对{IR(x',y')}中的每个图像块进行分类，得到{IR(x',y')}中的每个图像块对应的类别概率分布向量；再将{IR(x',y')}中的每个图像块对应的类别概率分布向量作为{IR(x',y')}中的每个图像块的局部几何特征向量，将
Figure FDA0002900543560000013
的局部几何特征向量记为
Figure FDA0002900543560000021
Figure FDA0002900543560000022
即为
Figure FDA0002900543560000023
对应的类别概率分布向量，
Figure FDA0002900543560000024
其中，vp(x,y)的维数为(K+1)×1，K表示预训练的基于Sketch Token的边缘形状分类器中确定的边缘类别总数，
Figure FDA0002900543560000025
表示p(x,y)属于第1类边缘的概率值，
Figure FDA0002900543560000026
表示p(x,y)属于第k类边缘的概率值，
Figure FDA0002900543560000027
表示p(x,y)属于第K类边缘的概率值，
Figure FDA0002900543560000028
表示p(x,y)属于非边缘类的概率值，
Figure FDA0002900543560000029
Figure FDA00029005435600000210
表示
Figure FDA00029005435600000211
属于第1类边缘的概率值，
Figure FDA00029005435600000212
表示
Figure FDA00029005435600000213
属于第k类边缘的概率值，
Figure FDA00029005435600000214
表示
Figure FDA00029005435600000215
属于第K类边缘的概率值，
Figure FDA00029005435600000216
表示
Figure FDA00029005435600000217
属于非边缘类的概率值，
Figure FDA00029005435600000218
步骤三：计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，进而确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块；然后计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；接着计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure FDA00029005435600000219
的局部几何特征向量
Figure FDA00029005435600000220
与
Figure FDA00029005435600000221
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；之后计算{IR(x',y')}中的每个图像块的边缘性强弱值；再利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真分数，记为QLGD；
步骤四：记录从{IO(x,y)}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从vp(x,y)中的前K个元素中找出的最大值对应的索引值记为sp(x,y),max，若从vp(x,y)中的前K个元素中找出的最大值为第k个元素即
Figure FDA0002900543560000031
则sp(x,y),max等于k；然后利用第sp(x,y),max类边缘来表示p(x,y)的边缘形状；接着在{IO(x,y)}中统计K类边缘中每类边缘表示的图像块的个数，将在{IO(x,y)}中第k类边缘表示的图像块的个数记为num(k)；再针对{IO(x,y)}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IO(x,y)}的全局几何特征向量，记为
Figure FDA0002900543560000032
Figure FDA0002900543560000033
同样，记录从{IR(x',y')}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值，将从
Figure FDA0002900543560000034
中的前K个元素中找出的最大值对应的索引值记为
Figure FDA0002900543560000035
若从
Figure FDA0002900543560000036
中的前K个元素中找出的最大值为第k个元素即
Figure FDA0002900543560000037
则
Figure FDA0002900543560000038
等于k；然后利用第
Figure FDA0002900543560000039
类边缘来表示
Figure FDA00029005435600000310
的边缘形状；接着在{IR(x',y')}中统计K类边缘中每类边缘表示的图像块的个数，将在{IR(x',y')}中第k类边缘表示的图像块的个数记为num'(k)；再针对{IR(x',y')}，对K类边缘中每类边缘表示的图像块的个数进行归一化处理，得到{IR(x',y')}的全局几何特征向量，记为
Figure FDA00029005435600000311
Figure FDA00029005435600000312
其中，
Figure FDA00029005435600000313
等于W×H，
Figure FDA00029005435600000314
的维数为K×1，num(1)表示在{IO(x,y)}中第1类边缘表示的图像块的个数，num(K)表示在{IO(x,y)}中第K类边缘表示的图像块的个数，
Figure FDA00029005435600000315
等于W'×H'，
Figure FDA00029005435600000316
的维数为K×1，num'(1)表示在{IR(x',y')}中第1类边缘表示的图像块的个数，num'(K)表示在{IR(x',y')}中第K类边缘表示的图像块的个数；
步骤五：计算
Figure FDA00029005435600000317
与
Figure FDA00029005435600000318
之间的JS散度；然后将
Figure FDA00029005435600000319
与
Figure FDA00029005435600000320
之间的JS散度作为{IR(x',y')}的全局几何失真分数，记为QGGD；
步骤六：计算{IR(x',y')}的网格长宽比相似度；然后将{IR(x',y')}的网格长宽比相似度作为{IR(x',y')}的显著区域保持分数，记为QSRP；
步骤七：从一个适配图像集中随机选取一部分适配图像，将这些适配图像及其客观分数向量和平均主观评分构成训练集，将剩余适配图像及其客观分数向量和平均主观评分构成测试集，其中，适配图像的客观分数向量为由按照步骤一至步骤六的过程以相同的方式计算得到的局部几何失真分数、全局几何失真分数、显著区域保持分数按序构成的向量；然后采用支持向量回归作为机器学习的方法，对训练集中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量和最优的偏置项，进而构造得到支持向量回归模型；再采用支持向量回归模型对测试集中的每幅适配图像的客观分数向量进行测试，得到测试集中的每幅适配图像的客观质量评价预测值；经多次训练和测试后，将测试集中的每幅适配图像的多个客观质量评价预测值的平均值作为最终客观质量评价预测值。
2.根据权利要求1所述的一种基于几何失真度量的图像适配质量评价方法，其特征在于所述的步骤二中，围绕{IO(x,y)}的四周边界以镜像反射的方式对{IO(x,y)}的四周边界扩展17个像素点；围绕{IR(x',y')}的四周边界以镜像反射的方式对{IR(x',y')}的四周边界扩展17个像素点。
3.根据权利要求1或2所述的一种基于几何失真度量的图像适配质量评价方法，其特征在于所述的步骤三的具体过程为：
步骤A1：计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点；然后根据{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点，确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块，若{IR(x',y')}中坐标位置为(x',y')的像素点在{IO(x,y)}中的匹配像素点为{IO(x,y)}中坐标位置为(x,y)的像素点，那么确定
Figure FDA0002900543560000041
在{IO(x,y)}中的匹配图像块为p(x,y)；
步骤A2：计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度，将
Figure FDA0002900543560000051
与
Figure FDA0002900543560000052
在{IO(x,y)}中的匹配图像块p(x,y)的局部几何特征向量vp(x,y)之间的JS散度记为
Figure FDA0002900543560000053
其中，dJS()表示JS散度运算，
Figure FDA0002900543560000054
表示vp(x,y)和
Figure FDA0002900543560000055
的均值向量，
Figure FDA0002900543560000056
dKL()表示KL散度运算，
Figure FDA0002900543560000057
表示
Figure FDA0002900543560000058
中的第k个元素，
Figure FDA0002900543560000059
Figure FDA00029005435600000510
表示
Figure FDA00029005435600000511
中的第K+1个元素，
Figure FDA00029005435600000512
步骤A3：计算{IR(x',y')}的局部边缘几何形变图，{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于
Figure FDA00029005435600000513
的局部几何特征向量
Figure FDA00029005435600000514
与
Figure FDA00029005435600000515
在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度；
步骤A4：计算{IR(x',y')}中的每个图像块的边缘性强弱值，将
Figure FDA00029005435600000516
的边缘性强弱值记为
Figure FDA00029005435600000517
步骤A5：利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合，得到{IR(x',y')}的局部几何失真分数QLGD，
Figure FDA00029005435600000518
其中，
Figure FDA00029005435600000519
作为
Figure FDA00029005435600000520
的加权值，β为控制参数。
4.根据权利要求3所述的一种基于几何失真度量的图像适配质量评价方法，其特征在于所述的步骤五中，计算
Figure FDA00029005435600000521
与
Figure FDA00029005435600000522
之间的JS散度的具体过程为：将
Figure FDA00029005435600000523
与
Figure FDA00029005435600000524
之间的JS散度记为
Figure FDA0002900543560000061
其中，dJS()表示JS散度运算，
Figure FDA0002900543560000062
表示
Figure FDA0002900543560000063
和
Figure FDA0002900543560000064
的均值向量，
Figure FDA0002900543560000065
dKL()表示KL散度运算，
Figure FDA0002900543560000066
Figure FDA0002900543560000067
表示
Figure FDA0002900543560000068
中的第k个元素，
Figure FDA0002900543560000069
Figure FDA00029005435600000610
5.根据权利要求4所述的一种基于几何失真度量的图像适配质量评价方法，其特征在于所述的步骤七的具体过程为：
步骤B1：选取set组共M幅适配图像构成适配图像集，其中，每组包含由同一幅原始的图像生成的m幅适配图像，set≥1，m≥1，M＝set×m且M≥100；然后从适配图像集中随机选取J幅适配图像，将随机选取的J幅适配图像及其客观分数向量和平均主观评分构成训练集，记为ΩJ，将ΩJ中的第j幅适配图像的客观分数向量和平均主观评分对应记为Q1,j和S1,j；并将剩余的N幅适配图像及其客观分数向量和平均主观评分构成测试集，记为ΩN，将ΩN中的第n幅适配图像的客观分数向量和平均主观评分对应记为Q2,n和S2,n；其中，
Figure FDA00029005435600000611
符号
Figure FDA00029005435600000612
为向上取整符号，1≤j≤J，Q1,j＝[QLGD,1,j,QGGD,1,j,QSRP,1,j]，QLGD,1,j表示ΩJ中的第j幅适配图像的局部几何失真分数，QGGD,1,j表示ΩJ中的第j幅适配图像的全局几何失真分数，QSRP,1,j表示ΩJ中的第j幅适配图像的显著区域保持分数，N＝M-J，1≤n≤N，Q2,n＝[QLGD,2,n,QGGD,2,n,QSRP,2,n]，QLGD,2,n表示ΩN中的第j幅适配图像的局部几何失真分数，QGGD,2,n表示ΩN中的第j幅适配图像的全局几何失真分数，QSRP,2,n表示ΩN中的第j幅适配图像的显著区域保持分数，QLGD,1,j、QGGD,1,j、QSRP,1,j、QLGD,2,n、QGGD,2,n、QSRP,2,n为按照步骤一至步骤六的过程以相同的方式计算得到，下标“1”表示训练集，下标“2”表示测试集；
步骤B2：构造ΩJ中的每幅适配图像的客观分数向量的回归函数，将Q1,j的回归函数记为f(Q1,j)，
Figure FDA0002900543560000071
其中，f()为函数表示形式，
Figure FDA0002900543560000072
为权重矢量，
Figure FDA0002900543560000073
为
Figure FDA0002900543560000074
的转置矢量，
Figure FDA0002900543560000075
为偏置项，
Figure FDA0002900543560000076
为Q1,j的线性函数；
步骤B3：采用支持向量回归作为机器学习的方法，对ΩJ中的所有适配图像的客观分数向量进行训练，使得经过训练得到的回归函数值与平均主观评分之间的误差最小，拟合得到最优的权重矢量
Figure FDA0002900543560000077
和最优的偏置项
Figure FDA0002900543560000078
然后将最优的权重矢量
Figure FDA0002900543560000079
和最优的偏置项
Figure FDA00029005435600000710
的组合记为
Figure FDA00029005435600000711
再利用最优的权重矢量
Figure FDA00029005435600000712
和最优的偏置项
Figure FDA00029005435600000713
构造支持向量回归模型，记为
Figure FDA00029005435600000714
其中，Ψ表示对ΩJ中的所有适配图像的客观分数向量进行训练的所有的权重矢量和偏置项的组合的集合，
Figure FDA00029005435600000715
表示求使得
Figure FDA00029005435600000716
最小时
Figure FDA00029005435600000717
和
Figure FDA00029005435600000718
的值，Qin表示支持向量回归模型的输入向量，即为适配图像的客观分数向量，
Figure FDA00029005435600000719
为
Figure FDA00029005435600000720
的转置矢量，
Figure FDA00029005435600000721
为Qin的线性函数；
步骤B4：采用支持向量回归模型对ΩN中的每幅适配图像的客观分数向量进行测试，得到ΩN中的每幅适配图像的客观质量评价预测值，将ΩN中的第n幅适配图像的客观质量评价预测值记为Qpredict,n，Qpredict,n＝f(Q2,n)，
Figure FDA00029005435600000722
其中，
Figure FDA00029005435600000723
为Q2,n的线性函数；
步骤B5：重复执行步骤B2至步骤B4共number次，得到ΩN中的每幅适配图像的number个客观质量评价预测值；然后将ΩN中的每幅适配图像的number个客观质量评价预测值的平均值作为最终客观质量评价预测值；其中，number≥100。
CN202110055744.3A 2021-01-15 2021-01-15 一种基于几何失真度量的图像适配质量评价方法 Active CN112801950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055744.3A CN112801950B (zh) 2021-01-15 2021-01-15 一种基于几何失真度量的图像适配质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055744.3A CN112801950B (zh) 2021-01-15 2021-01-15 一种基于几何失真度量的图像适配质量评价方法

Publications (2)

Publication Number Publication Date
CN112801950A true CN112801950A (zh) 2021-05-14
CN112801950B CN112801950B (zh) 2023-06-09

Family

ID=75809699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055744.3A Active CN112801950B (zh) 2021-01-15 2021-01-15 一种基于几何失真度量的图像适配质量评价方法

Country Status (1)

Country Link
CN (1) CN112801950B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793327A (zh) * 2021-09-18 2021-12-14 北京中科智眼科技有限公司 一种基于token的高铁异物检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658002A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考图像客观质量评价方法
US20170177975A1 (en) * 2015-12-21 2017-06-22 Ningbo University Image quality objective evaluation method based on manifold feature similarity
CN110223268A (zh) * 2019-04-24 2019-09-10 宁波大学 一种绘制图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658002A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考图像客观质量评价方法
US20170177975A1 (en) * 2015-12-21 2017-06-22 Ningbo University Image quality objective evaluation method based on manifold feature similarity
CN110223268A (zh) * 2019-04-24 2019-09-10 宁波大学 一种绘制图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周武杰[1,2];蒋刚毅[2];郁梅[2]: "基于块内容和支持向量回归的图像质量客观评价模型" *
姜求平;邵枫;蒋刚毅;郁梅;: "基于视差空间图的立体图像质量客观评价方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793327A (zh) * 2021-09-18 2021-12-14 北京中科智眼科技有限公司 一种基于token的高铁异物检测方法
CN113793327B (zh) * 2021-09-18 2023-12-26 北京中科智眼科技有限公司 一种基于token的高铁异物检测方法

Also Published As

Publication number Publication date
CN112801950B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
EP3333768A1 (en) Method and apparatus for detecting target
US8718380B2 (en) Representing object shapes using radial basis function support vector machine classification
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
WO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
KR101786754B1 (ko) 나이 추정 장치 및 방법
Deshpande et al. Super resolution and recognition of long range captured multi‐frame iris images
Zhang et al. An objective quality of experience (QoE) assessment index for retargeted images
CN113610862A (zh) 一种屏幕内容图像质量评估方法
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
Singh et al. Digit recognition system using back propagation neural network
CN110766657A (zh) 一种激光干扰图像质量评价方法
Yi et al. Illumination normalization of face image based on illuminant direction estimation and improved retinex
CN112801950A (zh) 一种基于几何失真度量的图像适配质量评价方法
Rotem et al. Combining region and edge cues for image segmentation in a probabilistic gaussian mixture framework
Feng et al. A weighted-ROC graph based metric for image segmentation evaluation
Jena et al. Elitist TLBO for identification and verification of plant diseases
Li et al. Research on hybrid information recognition algorithm and quality of golf swing
Mahmood Defocus Blur Segmentation Using Genetic Programming and Adaptive Threshold.
Xie et al. An optimal orientation certainty level approach for fingerprint quality estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant