CN111028195B - 一种基于实例分割的重定向图像质量信息处理方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于实例分割的重定向图像质量信息处理方法及系统，利用实例分割的方法将图像中主要影响视觉质量的实例附带其对应的语义标签分割出来，对每个实例进行形状扭曲度测量、形状绝对压缩测量、损失信息量测量、绝对位置测量。融合图像中的所有实例的同一种测量值，依次得到图像的四种实例测量值。对于实例之外的全局部分使用图像分块的长宽比变化的加权和作为补充，最后利用支持向量回归融合得到重定向图像的质量分数，以质量分数大小评价质量。本发明更加符合人脑倾向于中高层语义来理解图像的特点，与人的主观感受一致性更契合，性能比目前主流的重定向图像质量评价方法更好。

Description

一种基于实例分割的重定向图像质量信息处理方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于实例分割的重定向图像质量信息处理方法及系统。

背景技术

目前，最接近的现有技术：随着终端显示设备的快速发展，屏幕尺寸也大有不同，因此同一个图像需要改变尺寸以在不同分辨率的屏幕上显示。近年来，已有多个学者提出了几种内容感知的图像重定向算子以用作图像尺寸调整，然而评价重定向图像的质量的客观测量方法却不够准确有效，限制了图像重定向技术的进一步发展。不同于传统的图像质量评估(IQA)，重定向图像所包含的失真为重定向调整所引入的人工失真，失真类型难以界定、程度难以评估。其次，重定向图像与原始图像的分辨率不同，导致无法和传统质量评价一样，通过直接做差得到图像的变化量。同时，图像重定向所引入的失真并非为加性，即未直接改变像素的值，而是主要表现为几何变化和信息丢失。

目前，图像质量评价方法分为主观评价和客观评价两类：主观评价方法是准确、可靠的图像质量评价方法，但其影响因素较多且结果不稳定，不适用于实时系统；客观评价方法具有简单、实时、可重复和易集成等特点，但评价结果仍须具有客观与主观的一致性。根据对原始图像信息的需求程度，客观质量评价一般分为全参考型、部分参考型和无参考型。全参考方法就是利用原始图像全部信息，通过计算原始图像与失真图像之间的感知误差，并综合这些误差得到失真图像的质量评价分数。无参考质量评价方法是仅仅使用待评测图像本身的信息来进行质量评价。目前无参考图像质量评价主要集中在对图像中特定失真的客观评价，但重定向图像失真类型多样且难以界定，传统失真测量值与人眼感知质量一致性差，因此针对重定向图像质量评价方法一般为全参考型。本发明是针对图像重定向的一种全参考客观质量评价方法。

重定向图像的失真可大致分为几何失真和信息丢失两方面。为了衡量重定向图像的质量，今年来出现了一些方法，文献：M.Rubinstein,D.Gutierrez,O.Sorkine,andA.Shamir,“A comparativestudy of image retargeting,”ACM Trans.Graph.,vol.29,no.6,p.160,2010.对六种像重定向算子进行了对比研究，提供了BidirectionalSimilarity(BDS),Bidirectional Warping(BDW),Edge Histogram(EH),Color Layout(CL),SIFT flow and Earth-Mover Distance(EMD)六种客观质量评价方法。文献：J.Zhangand C.-C.J.Kuo,“An objective quality of experience(QoE)assessment index forretargeted images,”in Proc.22nd ACM Int.Conf.Multimedia,2014,pp.257–266.在图像SIFT特征点上进行狄洛尼三角剖分，将原始图像与重定向图像划分成三角区域，将区域内部和形状的变化作为评判质量的依据。文献：Y.Zhang,Y.Fang,W.Lin,X.Zhang,andL.Li,“Backward registration basedaspect ratio similarity for imageretargeting quality assessment,”IEEE Trans.Image Process.,vol.25,no.9,pp.4286–4297,Sep.2016.将原始图像分块，计算所有分块在重定向图像与原始图像中的长宽比相似度，使用显著性图加权后得到质量分数。文献：A.Liu,W.Lin,H.Chen,andP.Zhang,“Image retargeting quality assessment based on support vectorregression,”Signal Process.,ImageCommun.,vol.39,pp.444–456,Nov.2015.从形状失真和全局内容失真的角度提取四个特征，经SVR融合后作为质量分数。文献：L.Ma,L.Xu,Y.Zhang,Y.Yan,and K.N.Ngan,“No-reference retargeted image quality assessmentbased on pairwise rank learning,”IEEE Trans.Multimedia,vol.18,no.11,pp.2228–2237,Nov.2016.通过成对图像秩的学习进行无参考质量评价。

目前，针对重定向学习的质量评价技术相对不是很成熟，现有主流技术主要存在的不足是：对局部失真的衡量一般基于图像块，然而从人类视觉系统的角度出发，图像块几乎不包含高阶视觉意义，因此从图像块获取的特征不够符合人类视觉系统的特点。图像重定向技术的主要目标是在改变图像尺寸的同时尽量保留图像的主要内容，现有技术一般使用显著图(这里主要指bottom-up)来标定视觉系统对不同部分的着重程度，然而显著图不具有直接语义特征，而更偏向是一种具有视觉性质的“统计特性”，且其所包含的像素级的显著性信息对人类视觉系统来说过于复杂，存在大量的信息冗余。以往的技术大量采用图像的低阶特征，例如：梯度、灰度分布等；有部分技术考虑了中层次的语义，例如：超像素区域，边缘聚类等；但上述技术均没有充分描述高阶语义层次的失真。

综上所述，现有技术存在的问题是：

(1)现有技术存在对局部失真的衡量一般基于图像块，从人类视觉系统的角度出发，图像块几乎不包含高阶视觉意义，从图像块获取的特征不够符合人类视觉系统的特点，质量评价结果不够接近人的主观质量感受。

(2)图像重定向技术的主要目标是在改变图像尺寸的同时尽量保留图像的主要内容，现有技术一般使用显著图标定视觉系统对不同部分的着重程度，然而显著图不具有直接语义特征，而更偏向是一种具有视觉性质的“统计特性”，且其所包含的像素级的显著性信息对人类视觉系统来说过于复杂，存在大量的信息冗余。

(3)以往的技术大量采用图像的低阶特征，例如：梯度、灰度分布等；有部分技术考虑了中层次的语义，例如：超像素区域，边缘聚类等；但上述技术均没有充分描述高阶语义层次的失真，没有充分贴近人类视觉系统特性，预测结果不够准确和有意义。

解决上述技术问题的难度：

(1)与传统失真图像不同，重定向图像在图像尺寸、分辨率上的改变使得对原始图像和失真图像之间的差异比较变得极为困难，一般需要计算得到图像像素间的匹配关系，存在计算量大、准确率低的困难。

(2)图像重定向过程引入的失真是一种人工失真，失真类型复杂且程度难以界定，衡量标准难以统一，传统的基于自然分布的方法效果较差。

(3)提取图像中的语义一直是一个困难但又被持续注意的问题，图像语义如何影响图像质量，如何在重定向图像质量评价中应用还未有解决方案。

解决上述技术问题的意义：

(1)准确地评价重定向图像的质量，选择的重定向图像更加内容感知，更符合人类视觉偏好，能够更多更快的促进图像重定向技术的发展。

(2)以实例为单位考虑图像质量的变化，可以计算量更少的情况下获得更贴近人类视觉系统特点的特征，得到更加准确的质量预测结果。

发明内容

针对现有技术存在的问题，本发明提供了一种基于实例分割的重定向图像质量信息处理方法及系统。

本发明是这样实现的，一种基于实例分割的重定向图像质量信息处理方法，所述基于实例分割的重定向图像质量信息处理方法包括以下步骤：

第一步，对原始图像使用深度神经网络进行实例分割，得到每幅图像所包含的实例蒙版及其对应语义标签；

第二步，进行实例过滤，去掉不显著实例，保留显著实例，作为衡量对象；

第三步，计算重定向图像到原始图像的像素配准关系，恢复重定向图像中的实例；

第四步，对每对图像中各实例进行形状扭曲度测量、形状压缩形测量、信息损失测量和绝对位置测量，得到基于单个实例的形状扭曲度，形状压缩，信息损失和绝对位置变化；

第五步，对同一图像中多个实例的各分数根据语义标签类型赋权处理，得到重定向图像的形状扭曲度，形状压缩，信息损失和绝对位置变化；

第六步，使用支持向量回归将形状扭曲度，形状压缩，信息损失和绝对位置变化融合，得到重定向图像的质量分数；对于无实例图像，使用图像分块长宽比变化的加权和作为其质量分数；

第七步，以重定向图像的质量分数大小评价图像质量。

进一步，所述第二步的过滤的方法包括：

(1)根据显著图，计算每个实例中显著像素数目占整个实例像素数目的比值，设置阈值τ，比值大于τ时认定为显著实例，否则滤除；

(2)阈值τ为调优参数，在之后使用调优过程确定最优值。

进一步，所述第四步的单个实例的形状扭曲度a测量的具体步骤为：

(1)计算实例蒙版的边缘，作为该实例的形状：

边缘算子为Sobel算子：

对获得的一阶边缘进行非极大值抑制和双阈值法细化处理，得到实例轮廓

其中k表示图像中的第k个实例，ref表示原始图像；根据像素配准结果，对应恢复出重定向图像中对应的第k个实例轮廓/>

其中dist表示重定向图像；

(2)对于重定向图像中的实例k^dist，i^dist是其轮廓上的一像素点，i^ref是原图中对应像素；计算i^dist与i^ref为中心的p*p图像块的(p-1)+(p-1)阶切比雪夫矩，第k个实例轮廓上第i个像素的切比雪夫矩计算公式为：

形状权值

为：

其中，c₀为有理偏置量，一般设为10^-5，且：

(3)对原始实例轮廓

进行chamfer距离变换，得到距离图像D_chamfer，变换公式为：

其中，T表示距离变换蒙版；

(4)将距离变换图像与重定向实例轮廓以形心为基准对齐，计算边缘形态加权后的Chamferdistance，计算公式为：

其中i为实例k轮廓上的像素点，rms为均方根运算，ALPHA_chamfer，为调节参数；

进一步，所述第四步单个实例的形状压缩b测量的具体步骤为：

(1)求取原始实例k的最小外接矩形，其四个顶点的坐标表示为：

M(x₁，y₁)；N(x₂，y₁)；P(x₁，y₂)；Q(x₂，y₂)；

根据像素配准关系，重定向实例的最小外接矩形的四个顶点坐标表示为：

M′(x₁′，y₁′)；N(x₂′，y₁′)；P′(x₁′，y₂′)；Q′(x₂′，y₂′)；

(2)实例k的形状压缩b的计算公式为：

其中，γ为绝对大小变化贡献度系数，c₀为有理偏置量，且：

进一步，所述第四步单个实例k的信息损失c的具体步骤为：

(1)计算重定向实例保留的像素数目和原始实例的像素数目比值，作为基本信息保留比IR_k，计算公式为：

将原始实例进行超像素分割，并在重定向实例中恢复出各个超像素区域，计算重定向实例各超像素区域内像素的均值与标准差，构成信息量特征向量，均值与标准差计算公式为：

其中，i∈[1，N]，N为实例中的超像素区域数目，n_i为重定向实例中的第i个超像素区域内的像素数目，s_i为实例中的第i个超像素区域；

(2)对每个超像素区域，将其灰度均值、灰度标准差和像素数量作为三个特征值构成一维特征向量，将实例内所有超像素区域的特征向量依次连接，构成一个1×3N大小的特征向量IN，实例信息损失量c由原始图像和重定向图像的特征向量的相似度定义，计算公式如下：

c＝exp(ALPHA_info*IR_k)*SP_k；

其中，IN_ref表示原始实例的特征向量，IN_dist表示重定向实例的特征向量；

所述第四步单个实例的绝对位置变化d测量的具体步骤为：

(1)计算实例k的形心，在原图和重定向图像中分别表示为(x_m，y_m)h和(x′_m，y′_m)；

(2)以原图左下角顶点为坐标原点(0，0)建立坐标系，其他三个顶点的坐标表示为(0，h_ref)，(w_ref，0)，(w_ref，h_ref)；同样以重定向图像左下角顶点为坐标原点(0，0)建立坐标系其他三个顶点的坐标表示为(0，h_dist)，(w_dist，0)，(w_dist，h_dist)；其中原图尺寸为h_ref*w_ref，重定向图像尺寸为h_dist*w_dist；

(3)实例k的绝对位置变化d计算公式为：

且：

其中：

进一步，所述第五步基于语义加权得到整幅图像的形状扭曲度A，形状压缩B，信息损失C和绝对位置变化D的具体步骤为：

(1)对图像中实例语义标签进行分类：生物类与非生物类；

(2)将所有生物类实例的总权重设置为ALPHA，所有非生物类实例的总权重设置为BETA，各实例的权重计算公式为：

其中，ALPHA+BETA＝1，ALPHA与BETA的值由优化计算寻优得到，且始终ALPHA＞0.5；j为属于实例k的像素，K为图像内实例个数；Sal为图像的显著性图(bottom-up)；

(3)加权融合得到整张图像的实例失真测量分数，计算公式为：

其中pk为所得的各实例权重，score依次为a，b，c，d，SCORE依次为A，B，C，D；

重定向图像质量分数的计算公式为：

Q＝SVR(A，B，C，D，G)。

本发明的另一目的在于提供一种实施所述基于实例分割的重定向图像质量信息处理方法的基于实例分割的重定向图像质量信息处理系统，所述基于实例分割的重定向图像质量信息处理系统包括：

图像对输入单元，将原图与对应的重定向图像成对输入；

像素配准单元，计算重定向图像到参考图像的像素配准关系，得到重定向图像所有像素在原图中匹配像素的位置；

实例分割单元，分割出图像的实例，得到实例蒙版与其对应的语义标签；

实例质量测量单元，得到图像中各实例的各类质量分数，包括形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值；

全局质量测量单元，用于测量无实例图像的全局失真程度；

图像质量分数单元，将重定向图像中各实例的形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值根据语义标签进行自适应池化，融合得到整幅图像的四个实例质量分数；将实例质量和全局质量测量值进行支持向量回归处理，融合得到重定向图像的质量分数；

评价单元，用于根据所述待评价图像的质量分数评价重定向图像的质量。

进一步，所述实例质量测量单元包括：

形状扭曲度测量模块，计算实例的形状扭曲程度；

形状压缩测量模块，计算实例的形状压缩程度

信息损失测量模块，计算实例损失的信息量；

实例位置变化测量模块，测量实例在图像中的位置变化程度，反映背景部分信息丢失的均匀度。

本发明的另一目的在于提供一种实现所述基于实例分割的重定向图像质量信息处理方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于实例分割的重定向图像质量信息处理方法。

综上所述，本发明的优点及积极效果为：与现有技术相比，本发明充分利用图像中的语义信息，使用较少的像素数量获得更为高阶的特征，直接衡量了实例的失真变化，并根据语义标签进行特征融合，更加符合人类视觉系统的特点，与主观感知质量更为接近，且实例质量评价部分具有可嵌入性，对任何现有重定向质量评价技术均有优化作用。

本发明与以往的一些仅在空间域或频域中提取图像梯度、灰度等低层次特征的重定向图像质量评价方法相比，本发明充分利用了图像中的语义信息，使用较少的像素数量获得更为高阶的特征，直接衡量了实例的失真，并根据语义标签融合，更加符合人类视觉系统的特点；因为人脑在分析和理解图像时往往会首先抽象出含有更多语义的中高层次特征，所以本发明方法更符合人脑对图像的分析与理解，与主观感知质量更为接近，且具有可嵌入性，对任何现有重定向质量评价技术均有优化作用。

附图说明

图1是本发明实施例提供的基于实例分割的重定向图像质量信息处理方法流程图。

图2是本发明实施例提供的基于实例分割的重定向图像质量信息处理系统的结构示意图；

图中：1、图像对输入单元；2、像素配准单元；3、实例分割单元；4、实例质量测量单元；5、全局质量测量单元；6、图像质量分数单元；7、评价单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于实例分割的重定向图像质量信息处理方法及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于实例分割的重定向图像质量信息处理方法包括以下步骤：

S101：对原始图像使用深度神经网络进行实例分割，得到每幅图像所包含的实例蒙版及其对应语义标签；

S102：进行实例过滤，去掉不显著实例，保留显著实例，作为衡量对象；

S103：计算重定向图像到原始图像的像素配准关系，恢复重定向图像中的实例；

S104：对每对图像中各实例进行形状扭曲度测量、形状压缩形测量、信息损失测量和绝对位置测量，得到基于单个实例的形状扭曲度，形状压缩，信息损失和绝对位置变化；

S105：对同一图像中多个实例的各分数根据语义标签类型赋权处理，得到重定向图像的形状扭曲度，形状压缩，信息损失和绝对位置变化；

S106：使用支持向量回归将形状扭曲度，形状压缩，信息损失和绝对位置变化融合，得到重定向图像的质量分数；对于无实例图像，使用图像分块长宽比变化的加权和作为其质量分数；

S107：以重定向图像的质量分数大小评价图像质量。

在本发明的优选实施例中，步骤S202过滤的方法包括：

根据显著图，计算每个实例中显著像素数目占整个实例像素数目的比值，设置阈值τ，比值大于τ时认定为显著实例，否则滤除；阈值τ为调优参数，在之后使用调优过程确定最优值。

在本发明的优选实施例中，步骤S203计算重定向图像到原始图像的像素配准关系，恢复重定向图像中的实例的方法包括：

图像重表达。将原始图像视作采样域，重定向图像视作重映射域，其中每个像素视为离散样本点。

使用Hybrid-SIFT描述子，提取采样域和重映射域内每个像素的特征向量，根据能量最小化目标函数得到最终匹配结果。

最终优化匹配的结果为大小与重映射域相同的矩阵，元素为每个重定向图像像素在原始图像中匹配像素的位置坐标。

在本发明的优选实施例中，步骤S204中对每对图像中各实例进行形状扭曲度测量、形状压缩，信息损失和绝对位置变化的方法包括：

对实例边缘的每个像素点的周围方块邻域计算切比雪夫离散矩相似度，作为局部形变系数；计算原始实例轮廓的倒角距离，对每个像素点使用局部形变系数加权后计算所有轮廓像素点距离变换的均方根，作为实例形状扭曲度。

计算原始实例和重定向实例水平垂直方向的最小外接矩形，对两个矩形的长宽比计算相似度，作为实例形状压缩。

计算重定向实例保留的像素数目和原始实例的像素数目比值，作为信息保留比；将原始实例进行超像素分割，并在重定向实例中恢复出各个超像素区域，计算重定向实例各超像素区域内像素的均值、标准差和像素数目，构成信息量特征向量。

对每个超像素区域，将其灰度均值、灰度标准差和像素数量作为三个特征值构成一维特征向量，将实例内所有超像素区域的特征向量依次连接，构成特征向量IN，计算实例信息损失量。

分别计算原始实例与重定向实例的形心，定义形心与图像左上顶点和右下顶点形成的两个角度为特征角，根据特征角计算实例绝对位置变化和相对位置变化的乘积，作为实例位置相似度，描述实例背景信息丢失均匀度。

在本发明的优选实施例中，步骤S205中对同一图像中多个实例的各分数根据语义标签类型赋权处理，得到重定向图像的形状扭曲度，形状压缩，信息损失和绝对位置变化的方法包括：

根据获得的实例蒙版及对应语义标签，将每张图像中所含实例分成生物类和非生物类两类。

设置两类实例的初始权重，再根据显著图计算分配每个实例的权重，得到实例的语义优化权值。

对于一张图像中所有实例的同一类实例质量分数，使用语义优化权值进行加权融合，得到整幅图像的该类质量分数，再以此方法进一步得到图像所有类别的实例质量分数。

在本发明的优选实施例中，得到重定向图像的质量分数的方法包括：

对于含实例图像，将基于实例的四个特征，包括形状扭曲度，形状压缩，信息损失和绝对位置变化作为图像的四个质量特征指标，使用支持向量回归机进行特征融合，所得结果作为待评价重定向图像的质量分数；对于无实例图像，使用图像分块长宽比变化的加权和作为其质量分数。

在本发明的优选实施例中，过滤的具体步骤为：

(1)根据显著图，计算每个实例中显著像素数目占整个实例像素数目的比值，设置阈值τ，比值大于τ时认定为显著实例，否则滤除；

(2)阈值τ为调优参数，在之后使用调优过程确定最优值。

在本发明的优选实施例中，单个实例的形状扭曲度a测量的具体步骤为：

(1)计算实例蒙版的边缘，作为该实例的形状：

边缘算子为Sobel算子：

对获得的一阶边缘进行非极大值抑制和双阈值法细化处理，得到实例轮廓

其中k表示图像中的第k个实例，ref表示原始图像；根据像素配准结果，对应恢复出重定向图像中对应的第k个实例轮廓/>

其中dist表示重定向图像；

(2)对于重定向图像中的实例k^dist，i^dist是其轮廓上的一像素点，i^ref是原图中对应像素。计算i^dist与i^ref为中心的p*p图像块的(p-1)+(p-1)阶切比雪夫矩，第k个实例轮廓上第i个像素的切比雪夫矩计算公式为：

形状权值

为：

/>

其中，c₀为有理偏置量，一般设为10^-5，且：

(3)对原始实例轮廓

进行chamfer距离变换，得到距离图像D_chamfer，变换公式为：

其中，T表示距离变换蒙版。

(4)将距离变换图像与重定向实例轮廓以形心为基准对齐，计算边缘形态加权后的Chamferdistance，计算公式为：

其中i为实例k轮廓上的像素点，rms为均方根运算，ALPHA_chamfer，为调节参数；

在本发明的优选实施例中，单个实例的形状压缩b测量的具体步骤为：

(1)求取原始实例k的最小外接矩形，其四个顶点的坐标表示为：

M(x₁，y₁)；N(x₂，y₁)；P(x₁，y₂)；Q(x₂，y₂)；

根据像素配准关系，重定向实例的最小外接矩形的四个顶点坐标表示为：

M′(x₁′，y₁′)；N(x₂′，y₁′)；P′(x₁′，y₂′)；Q′(x₂′，y₂′)；

(2)实例k的形状压缩b的计算公式为：

其中，γ为绝对大小变化贡献度系数，c₀为有理偏置量，且：

在本发明的优选实施例中，单个实例k的信息损失c的具体步骤为：

(1)计算重定向实例保留的像素数目和原始实例的像素数目比值，作为基本信息保留比IR_k，计算公式为：

将原始实例进行超像素分割，并在重定向实例中恢复出各个超像素区域，计算重定向实例各超像素区域内像素的均值与标准差，构成信息量特征向量，均值与标准差计算公式为：

/>

其中，i∈[1，N]，N为实例中的超像素区域数目，n_i为重定向实例中的第i个超像素区域内的像素数目，s_i为实例中的第i个超像素区域。

(2)对每个超像素区域，将其灰度均值、灰度标准差和像素数量作为三个特征值构成一维特征向量，将实例内所有超像素区域的特征向量依次连接，构成一个1×3N大小的特征向量IN，实例信息损失量c由原始图像和重定向图像的特征向量的相似度定义，计算公式如下：

c＝exp(ALPHA_info*IR_k)*SP_k；

其中，IN_ref表示原始实例的特征向量，IN_dist表示重定向实例的特征向量。

在本发明的优选实施例中，单个实例的绝对位置变化d测量的具体步骤为：

(1)计算实例k的形心，在原图和重定向图像中分别表示为(x_m，y_m)h和(x′_m，y′_m)；

(2)以原图左下角顶点为坐标原点(0，0)建立坐标系，其他三个顶点的坐标表示为(0，h_ref)，(w_ref，0)，(w_ref，h_ref)；同样以重定向图像左下角顶点为坐标原点(0，0)建立坐标系其他三个顶点的坐标表示为(0，h_dist)，(w_dist，0)，(w_dist，h_dist)；其中原图尺寸为h_ref*w_ref，重定向图像尺寸为h_dist*w_dist；

(3)实例k的绝对位置变化d计算公式为：

且：

其中：

在本发明的优选实施例中，基于语义加权得到整幅图像的形状扭曲度A，形状压缩B，信息损失C和绝对位置变化D的具体步骤为：

(1)对图像中实例语义标签进行分类：生物类与非生物类；

(2)将所有生物类实例的总权重设置为ALPHA，所有非生物类实例的总权重设置为BETA，各实例的权重计算公式为：

其中，ALPHA+BETA＝1，ALPHA与BETA的值由优化计算寻优得到，且始终ALPHA＞0.5；j为属于实例k的像素，K为图像内实例个数；Sal为图像的显著性图(bottom-up)。

(3)加权融合得到整张图像的实例失真测量分数，计算公式为：

其中p_k为所得的各实例权重，score依次为a，b，c，d，SCORE依次为A，B，C，D。

在本发明的优选实施例中，无实例图像的全局质量计算方法为“Y.Zhang，Y.Fang，W.Lin，X.Zhang，and L.Li，“Backward registration based aspect ratio similarityfor image retargeting quality assessment，”IEEE Trans.Image Process.，vol.25，no.9，pp.4286-4297，Sep.2016.”中所述方法。

所述重定向图像质量分数的计算公式为：

Q＝SVR(A，B，C，D，G)。

如图2所示，本发明实施例提供的基于实例分割的重定向图像质量信息处理系统包括：

图像对输入单元1，将原图与对应的重定向图像成对输入；

像素配准单元2，计算重定向图像到参考图像的像素配准关系，得到重定向图像所有像素在原图中匹配像素的位置；

实例分割单元3，分割出图像的实例，得到实例蒙版与其对应的语义标签；

实例质量测量单元4，得到图像中各实例的各类质量分数，包括形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值；

全局质量测量单元5，用于测量无实例图像的全局失真程度；

图像质量分数单元6，将重定向图像中各实例的形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值根据语义标签进行自适应池化，融合得到整幅图像的四个实例质量分数；将实例质量和全局质量测量值进行支持向量回归处理，融合得到重定向图像的质量分数；

评价单元7，用于根据所述待评价图像的质量分数评价重定向图像的质量。

所述实例质量测量单元5包括：

形状扭曲度测量模块，计算实例的形状扭曲程度；

形状压缩测量模块，计算实例的形状压缩程度

信息损失测量模块，计算实例损失的信息量；

实例位置变化测量模块，测量实例在图像中的位置变化程度，反映背景部分信息丢失的均匀度。

下面结合性能测试和实验分析对本发明的技术效果作进一步的描述。

为了验证本发明的效果，对不同重定向算子处理得到的重定向图像进行质量评价，并与其他重定向图像质量评价的方法进行对比。

为了更好地验证本发明评价图像质量的准确性，将本发明方法与其他方法在三个图像数据库上进行测试，这三个图像数据库分别是MIT(网址：http://people.csail.mit.edu/mrub/retargetme/)、CUHK(网址：http://ivp.ee.cuhk.edu.hk/projects/demo/retargeting/index.html)和NRID(网址：https://www.ee.nthu.edu.tw/cwlin/Retargeting_Quality/NRID.html)。其中，MIT数据库使用37*8幅，NRID使用35*5幅，CUHK使用171幅，其中CUHK数据库的主观质量评价方式为MOS，当图像质量越好，MOS值越高，图像质量越差，MOS值越低；NRID和MIT主观质量评价方式为pair-wise，图像质量越好，组内rank越靠前，图像质量越差，组内rank越靠后。

文献：(1)Y.-J.Liu,X.Luo,Y.-M.Xuan,W.-F.Chen,and X.-L.Fu,“Imageretargeting quality assessment,”Comput.Graph.Forum,vol.30,no.2,pp.583–592,Apr.2011.记这种方法为IRQA；

(2)J.Zhang and C.-C.J.Kuo,“An objective quality of experience(QoE)assessment index for retargeted images,”in Proc.22nd ACM Int.Conf.Multimedia,2014,pp.257–266,记这种方法为GLS；

(3)Y.Liang,Y.-J.Liu,and D.Gutierrez,“Objective quality predictionofimage retargeting algorithms,”IEEE Trans.Vis.Comput.Graphics,vol.23,no.2,pp.1099–1110,Feb.2016.记这种方法为Liang；

(4)C.-C.Hsu,C.-W.Lin,Y.Fang,and W.Lin,“Objective quality assessmentfor image retargeting based on perceptual geometric distortion andinformationloss,”IEEEJ.Sel.Topics Signal Process.,vol.8,no.3,pp.377–389,Jun.2014.记这种方法为PGDIL；

(5)Y.Zhang,Y.Fang,W.Lin,X.Zhang,and L.Li,“Backward registration basedaspect ratio similarity for image retargeting quality assessment,”IEEETrans.Image Process.,vol.25,no.9,pp.4286–4297,Sep.2016.记这种方法为ARS；

(6)C.Liu,J.Yuen,and A.Torralba,“SIFT flow:Dense correspondenceacrossscenes and its applications,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.33,no.5,pp.978–994,2011.记这种方法为SIFT-flow；

(7)O.Pele and M.Werman,“Fast and robust earth mover’s distances,”inIEEE 12th International Conference on Computer Vision,ICCV,Kyoto,Japan,September 27-October 4,2009,pp.460–467.记这种方法为EMD；

(8)Zhang,Y.,Lin,W.,Li,Q.,Cheng,W.,&Zhang,X..(2018).Multiple-levelfeature-based measure for retargeted image quality.IEEE Transactions on ImageProcessing,27(1),451-463.记这种方法为MLF。

下面将本发明与上述方法在三个图像数据集上进行实验对比。

一般地，图像客观质量评价分数与图像主观质量分数之间呈现非线性关系，所以本发明采用的下面Logistic非线性回归方程对主客观评价进行非线性回归：

其中，x代表客观质量评价分数，选择合适的τ₁τ、₂τ、₃和τ₄使得f(x)与主观质量评价分数的误差最小。用回归曲线与客观分的统计指标作为评价客观评价方法性能的指标,包括：1)相关系数(Correlation Coefficient,LCC)为非线性回归后的线性相关系数，用于定量度量客观分数与主观分数的一致性程度；2)均方误差根(Root Mean Squared Error,RMSE)为非线性回归后的标准差，也用于定量度量客观分数与主观分数的一致性程度；3)Spearman相关系数(Spearman Rank Order Correlation Coefficient,SROCC)，用于衡量方法的单调性。

以下分别为在MIT、CUHK、NRID三个图像重定向公开数据集上的性能指标表，可以看出，本发明在三个数据库的效果均好于其他方法，说明本发明在评价图像质量上有很高的准确性。

/>

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于实例分割的重定向图像质量信息处理方法，其特征在于，所述基于实例分割的重定向图像质量信息处理方法包括以下步骤：

第一步，对原始图像使用深度神经网络进行实例分割，得到每幅图像所包含的实例蒙版及其对应语义标签；

第二步，进行实例过滤，去掉不显著实例，保留显著实例，作为衡量对象；

第三步，计算重定向图像到原始图像的像素配准关系，恢复重定向图像中的实例；

第四步，对每对图像中各实例进行形状扭曲度测量、形状压缩形测量、信息损失测量和绝对位置测量，得到基于单个实例的形状扭曲度，形状压缩，信息损失和绝对位置变化；

第五步，对同一图像中多个实例的各分数根据语义标签类型赋权处理，得到重定向图像的形状扭曲度，形状压缩，信息损失和绝对位置变化；

第六步，使用支持向量回归将形状扭曲度，形状压缩，信息损失和绝对位置变化融合，得到重定向图像的质量分数；对于无实例图像，使用图像分块长宽比变化的加权和作为其质量分数；

第七步，以重定向图像的质量分数大小评价图像质量。

2.如权利要求1所述的基于实例分割的重定向图像质量信息处理方法，其特征在于，所述第二步的过滤的方法包括：

(1)根据显著图，计算每个实例中显著像素数目占整个实例像素数目的比值，设置阈值τ，比值大于τ时认定为显著实例，否则滤除；

(2)阈值τ为调优参数，在之后使用调优过程确定最优值。

3.如权利要求1所述的基于实例分割的重定向图像质量信息处理方法，其特征在于，所述第四步的单个实例的形状扭曲度a测量的具体步骤为：

(1)计算实例蒙版的边缘，作为该实例的形状：

边缘算子为Sobel算子：

对获得的一阶边缘进行非极大值抑制和双阈值法细化处理，得到实例轮廓

其中k表示图像中的第k个实例，ref表示原始图像；根据像素配准结果，对应恢复出重定向图像中对应的第k个实例轮廓

其中dist表示重定向图像；

(2)对于重定向图像中的实例k^dist，i^dist是其轮廓上的一像素点，i^ref是原图中对应像素；计算i^dist与i^ref为中心的p*p图像块的(p-1)+(p-1)阶切比雪夫矩,第k个实例轮廓上第i个像素的切比雪夫矩计算公式为：

形状权值

为：

其中，C₀为有理偏置量，一般设为10^-5，且：

(3)对原始实例轮廓

进行chamfer距离变换，得到距离图像D_chamfer，变换公式为：

其中，T表示距离变换蒙版；

(4)将距离变换图像与重定向实例轮廓以形心为基准对齐，计算边缘形态加权后的Chamferdistance，计算公式为：

其中i为实例k轮廓上的像素点，rms为均方根运算，ALPHA_chamfer，为调节参数。

4.如权利要求1所述的基于实例分割的重定向图像质量信息处理方法，其特征在于，所述第四步单个实例的形状压缩b测量的具体步骤为：

(1)求取原始实例k的最小外接矩形，其四个顶点的坐标表示为：

M(x₁，y₁)；N(x₂，y₁)；P(x₁，y₂)；Q(x₂，y₂)；

根据像素配准关系，重定向实例的最小外接矩形的四个顶点坐标表示为：

M′(x₁′，y₁′)；N(x₂′，y₁′)；P′(x₁′，y₂′)；Q′(x₂′，y₂′)；

(2)实例k的形状压缩b的计算公式为：

其中，γ为绝对大小变化贡献度系数，C₀为有理偏置量，且：

5.如权利要求1所述的基于实例分割的重定向图像质量信息处理方法，其特征在于，所述第四步单个实例k的信息损失c的具体步骤为：

(1)计算重定向实例保留的像素数目和原始实例的像素数目比值，作为基本信息保留比IR_k，计算公式为：

将原始实例进行超像素分割，并在重定向实例中恢复出各个超像素区域，计算重定向实例各超像素区域内像素的均值与标准差，构成信息量特征向量，均值与标准差计算公式为：

其中，i∈[1，N],N为实例中的超像素区域数目，n_i为重定向实例中的第i个超像素区域内的像素数目，s_i为实例中的第i个超像素区域；

(2)对每个超像素区域，将其灰度均值、灰度标准差和像素数量作为三个特征值构成一维特征向量，将实例内所有超像素区域的特征向量依次连接，构成一个1×3N大小的特征向量IN，实例信息损失量c由原始图像和重定向图像的特征向量的相似度定义，计算公式如下：

c＝exp(ALPHA_info*IR_k)*SP_k；

其中，IN_ref表示原始实例的特征向量，IN_dist表示重定向实例的特征向量；

所述第四步单个实例的绝对位置变化d测量的具体步骤为：

(1)计算实例k的形心，在原图和重定向图像中分别表示为(x_m，y_m)和(x′_m，y′_m)；

(2)以原图左下角顶点为坐标原点(0,0)建立坐标系，其他三个顶点的坐标表示为(0，h_ref)，(w_ref，0)，(w_ref，h_ref)；同样以重定向图像左下角顶点为坐标原点(0,0)建立坐标系其他三个顶点的坐标表示为(0，h_dist)，(w_dist，0)，(w_dist，h_dist)；其中原图尺寸为h_ref*w_ref，重定向图像尺寸为h_dist*w_dist；

(3)实例k的绝对位置变化d计算公式为：

且：

其中：

6.如权利要求1所述的基于实例分割的重定向图像质量信息处理方法，其特征在于，所述第五步基于语义加权得到整幅图像的形状扭曲度A，形状压缩B，信息损失C和绝对位置变化D的具体步骤为：

(1)对图像中实例语义标签进行分类：生物类与非生物类；

(2)将所有生物类实例的总权重设置为ALPHA，所有非生物类实例的总权重设置为BETA，各实例的权重计算公式为：

其中，ALPHA+BETA＝1，ALPHA与BETA的值由优化计算寻优得到，且始终ALPHA>0.5；j为属于实例k的像素，K为图像内实例个数；Sal为图像的显著性图(bottom-up)；

(3)加权融合得到整张图像的实例失真测量分数，计算公式为：

其中p_k为所得的各实例权重，score依次为a,b,c,d，SCORE依次为A,B,C,D；

重定向图像质量分数的计算公式为：

Q＝SVR(A，B，C，D，G)。

7.一种实施权利要求1～6任意一项所述基于实例分割的重定向图像质量信息处理方法的基于实例分割的重定向图像质量信息处理系统，其特征在于，所述基于实例分割的重定向图像质量信息处理系统包括：

图像对输入单元，将原图与对应的重定向图像成对输入；

像素配准单元，计算重定向图像到参考图像的像素配准关系，得到重定向图像所有像素在原图中匹配像素的位置；

实例分割单元，分割出图像的实例，得到实例蒙版与其对应的语义标签；

实例质量测量单元，得到图像中各实例的各类质量分数，包括形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值；

全局质量测量单元，用于测量无实例图像的全局失真程度；

图像质量分数单元，将重定向图像中各实例的形状扭曲度测量值、形状压缩测量值、信息损失测量值、绝对位置变化测量值根据语义标签进行自适应池化，融合得到整幅图像的四个实例质量分数；将实例质量和全局质量测量值进行支持向量回归处理，融合得到重定向图像的质量分数；

评价单元，用于根据待评价图像的质量分数评价重定向图像的质量。

8.如权利要求7所述的基于实例分割的重定向图像质量信息处理系统，其特征在于，所述实例质量测量单元包括：

形状扭曲度测量模块，计算实例的形状扭曲程度；

形状压缩测量模块，计算实例的形状压缩程度

信息损失测量模块，计算实例损失的信息量；

实例位置变化测量模块，测量实例在图像中的位置变化程度，反映背景部分信息丢失的均匀度。

9.一种实现权利要求1～6任意一项所述基于实例分割的重定向图像质量信息处理方法的信息数据处理终端。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的基于实例分割的重定向图像质量信息处理方法。

Images