CN109685772B - 一种基于配准失真表示的无参照立体图像质量评估方法 - Google Patents

Abstract

本发明涉及一种基于配准失真表示的无参照立体图像质量评估方法。包括：对训练图像和待预测图像集合中的图像，计算配准图和左视图的差分图像作为图像的配准失真表示；对训练图像和待预测图像集合中的左视图和右视图进行局部归一化处理，左视图、右视图和配准失真表示划分成有重叠的图像块；训练图像集合中的左视图、右视图和配准失真表示的特征，并输入到全连接层来学习图像块的质量评估分数和失真类型识别；预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为最终的质量评估分数。本发明方法解决了左右视图的场景差异问题，能显著提高无参照立体图像质量评估的性能。

Description

一种基于配准失真表示的无参照立体图像质量评估方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种基于配准失真表示的无参照立体图像质量评估方法。

背景技术

数字图像在采集、传输、压缩、存储或其它图像处理过程中，通常会受到不同程度的、不同类型的图像失真影响。为了确保图像质量满足用户的需求，图像质量评估被提出并且应用到许多图像处理系统中，比如图像超分辨、图像去模糊和图像去噪。随着多媒体技术的快速发展，立体图像为观众提供了身临其境的体验和生动的视觉效果。与平面图像相比，立体图像包含深度信息，由左视图和右视图组成，因此立体图像的质量评估比平面图像的质量评估更加复杂。立体图像的质量评估不仅仅是左视图和右视图的质量评价，还包括了双目竞争、视觉舒适度和图像深度感知等因素。

近几年，卷积神经网络在许多计算机视觉任务中取得了较大的进展，并且逐渐被应用在图像质量评估算法中。2014年Kang等人第一次提出基于卷积神经网络的图像质量评估算法。2016年Zhang等人出了一个基于卷积神经网络的无参照立体图像质量评估模型，与许多立体图像评价指标不同的是，该法使用左视图和右视图之间的差分图像来表示图像的失真，然后使用卷积神经网络来学习左视图，右视图和差分图像的特征，利用训练好的模型来预测图像的质量分数。由于左视图和右视图之间存在着场景差异，所以左视图和右视图之间的差分图像不能非常准确地表示图像的失真情况。

本发明提出了一种基于图像配准的失真表示的无参照立体图像质量评估方法，通过图像配准来解决左视图和右视图之间的场景差异，然后计算配准的右视图和左视图的差分图像来表示图像的失真情况，最后设计一个三通道的多任务卷积神经网络模型来进行图像质量评估。

发明内容

有鉴于此，本发明的目的在于提供一种基于配准失真表示的无参照立体图像质量评估方法，该方法有利于提高无参照立体图像质量评估的性能。

为实现上述目的，本发明的技术方案是：一种基于配准失真表示的无参照立体图像质量评估方法，包括如下步骤：

步骤S1、对训练图像集合和待预测图像集合中的每幅立体图像，通过图像配准得到配准图，计算配准图和左视图的差分图像作为图像的配准失真表示；

步骤S2、对训练图像集合和待预测图像集合中的左视图和右视图进行局部归一化处理，将左视图、右视图和配准失真表示划分成有重叠的图像块；

步骤S3、使用多任务卷积神经网络学习训练图像集合中图像的左视图、右视图和配准失真表示的特征，并将三个特征集输入到全连接层来学习图像块的质量评估分数和失真类型识别；

步骤S4、利用训练好的卷积神经网络预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为图像最终的质量评估分数。

在本发明一实施例中，所述步骤S1中，通过图像配准得到配准图，计算配准图和左视图的差分图像作为图像的配准失真表示，包括以下步骤：

步骤S11、使用SIFT flow算法，将立体图像的右视图配准到左视图上，得到一张像素和结构分别来自于右视图和左视图的配准图；配准图中不存在匹配区域的所有区域中的像素用左视图中的原始像素代替；

步骤S12、用掩码图来表示匹配区域和不匹配区域，分别表示为白色区域和黑色区域；

步骤S13、计算配准图和左视图的差分图像作为基于配准的失真表示，计算公式为：

其中，(x,y)表示像素的位置，

和

分别为配准图和左视图的灰度图像，I_d是计算得到的配准失真表示。

在本发明一实施例中，所述步骤S2中，对训练图像集合和待预测图像集合中的左视图和右视图进行局部归一化处理，将左视图、右视图和配准失真表示划分成有重叠的图像块，包括以下步骤：

步骤S21、对立体图像的左视图，计算每个像素点的局部加权平均值μ(x,y)和局部加权标准差σ(x,y)，计算公式为：

其中，U和V用于定义局部归一化处理过程中窗口的高度和宽度大小，(x,y)表示像素的位置，u和v是像素点在窗口的相对空间位置，ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}表示一个二维高斯加权函数，

是失真的立体图像的左视图的灰度图像；

步骤S22、对图像中的每个像素点进行局部归一化处理：

其中，c是一个常数，用于避免因分母为0而导致不可计算，

是归一化的左视图；

同理，可以计算归一化的右视图

步骤S23、将配准失真表示、左视图和右视图按照统一的方式有重叠的划分成k×k尺度的图像块，然后利用掩码图中的黑色区域去掉所有包含不匹配区域的配准失真表示图像块和对应的左视图、右视图图像块；将剩余的配准失真表示、左视图和右视图在相同位置得到三个图像块作为模型的输入。

在本发明一实施例中，所述步骤S3中，使用多任务卷积神经网络学习左视图、右视图和配准失真表示的特征，并将三个特征集输入到全连接层来学习图像块的质量评估分数和失真类型识别，包括以下步骤：

步骤S31、设计一个三通道的多任务卷积神经网络，选取左视图、右视图和基于配准的失真表示的相同位置的三个图像块作为输入，每个通道对不同输入进行特征提取；然后将三组特征连接后通过多个全连接层来进行回归训练；每个通道上都有多组堆叠的卷积层；卷积层和池化层的计算公式为：

其中，w^k和b^k分别表示卷积核和第k个特征映射的偏置参数，x_ij表示在(i,j)位置的局部图像块，

表示在(i,j)位置的特征映射；Ω表示在(i,j)位置处局部池化区域，

表示第k个特征映射图的(i,j)位置处的最大池化的输出；

步骤S32、经过多个卷积层和次化层后得到图像块最终的特征表示，将三组特征合并后，利用两个全连接层将特征回归到一个特征向量，用于图像质量评价和失真类型预测；两个全连接层的计算公式为：

f_n＝ω_l(σ(ω_h(r_n)+b_h))+b_l

其中，ω_l、ω_h、b_l和b_h分别是两个全连接层的权重和偏置参数，σ(.)是一个非线性激活函数，r_n是第n个图像块的最终的特征表示，f_n是第n个图像块进行回归运算后得到的特征向量；

步骤S33、在全连接层的顶部使用两个子网络来同时学习图像质量分数和失真类型：

第一个子网络是具有一个单元的全连接层，用于图像质量分数的评估；在训练时使用欧氏距离作为损失函数，计算公式为：

其中，l₁是第一个子网络的损失，N是训练阶段的图像块的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数，f_n(x_n)是模型预测的质量评估分数；

第二个子网络是具有C个单元的全连接层，对应C种失真类型，使用softmax用于失真识别，使用交叉熵作为损失函数，计算公式为：

其中，l₂为第二个子网络的损失，

为C类的独热编码，仅激活一个条件为真正的失真类型，

为C维的概率向量，

为x_n属于第C类失真类型的概率；

最终的损失函数是图像质量评估和失真类型识别两种不同损失的线性组合，计算公式为：

L＝λ₁·l₁+λ₂·l₂

其中，λ₁和λ₂分别是l₁和l₂的权重。

在本发明一实施例中，所述步骤S4中，利用训练好的卷积神经网络预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为图像最终的质量评估分数，包括以下步骤：

步骤S41、将划分好的待预测图像的配准失真表示、左视图和右视图在每个相同位置得到的三个图像块输入步骤S3训练得到的卷积神经网络模型进行预测，得到多个图像块对应的失真类型和质量分数；然后选择待预测图像的所有图像块的最多数的预测类型作为图像的失真类型，计算公式为：

其中，C是候选的图像失真类型的数量，num(j)表示预测为失真类型j的图像块的数量；

步骤S42、选择加权平均方法作为待预测图像的最终质量分数，放弃所有预测的失真类型不同于最多数投票类型的图像块，计算公式如下：

其中，M是待预测的图像块属于图像I的数量，D_i和S_i分别是第i个图像块预测的失真类型和质量分数，δ{.}是一个当括号中的条件满足时值为1和不满足时值为0的指示函数。

相较于现有技术，本发明具有以下有益效果：本发明通过图像配准算法解决了立体图像左右视图间的场景差异问题，其次通过计算配准图和左视图之间的差分图像来表示立体图形的失真情况，最后将失真表示、左视图和右视图输入到三通道的多任务卷积神经网络来同时进行图像质量评估和失真类型预测，该方法计算得到的质量评估分数能够与人的主观评估分数保持较高的一致性，可用于立体图像的质量评估，图像分类和图像增强等领域。

附图说明

图1为本发明图1是本发明的算法流程图。

图2是本发明实施例中卷积神经网络模型的结构图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于图像配准的失真表示的无参照立体图像质量评估方法，如图1所示，包括以下步骤：

步骤S1、对训练图像集合和待预测图像集合中的每幅立体图像，通过图像配准得到配准图，计算配准图和左视图的差分图像作为图像的配准失真表示。具体包括以下步骤：

步骤S11、使用SIFT flow算法，将立体图像的右视图配准到左视图上，得到一张像素和结构分别来自于右视图和左视图的配准图；配准图中不存在匹配区域的所有区域中的像素用左视图中的原始像素代替；

步骤S12、用掩码图来表示匹配区域和不匹配区域，分别表示为白色区域和黑色区域；

步骤S13、计算配准图和左视图的差分图像作为基于配准的失真表示，计算公式为：

其中，(x,y)表示像素的位置，

和

分别为配准图和左视图的灰度图像，I_d是计算得到的配准失真表示。

步骤S2、对训练图像集合和待预测图像集合中的左视图和右视图进行局部归一化处理，将左视图、右视图和配准失真表示划分成有重叠的图像块。具体包括以下步骤：

步骤S21、对立体图像的左视图，计算每个像素点的局部加权平均值μ(x,y)和局部加权标准差σ(x,y)，计算公式为：

其中，U和V用于定义局部归一化处理过程中窗口的高度和宽度大小(本实例中，设置为“3”)，(x,y)表示像素的位置，u和v是像素点在窗口的相对空间位置，ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}表示一个二维高斯加权函数，

是失真的立体图像的左视图的灰度图像；

步骤S22、对图像中的每个像素点进行局部归一化处理：

其中，c是一个常数，用于避免因分母为0而导致不可计算(本实施例中，C取0.01)，

是归一化的左视图；同理，可以计算归一化的右视图

步骤S23、将配准失真表示、左视图和右视图按照统一的方式有重叠的划分成k×k尺度的图像块(本实例中，k取32)，然后利用掩码图中的黑色区域去掉所有包含不匹配区域的配准失真表示图像块和对应的左视图、右视图图像块；将剩余的配准失真表示、左视图和右视图在相同位置得到三个图像块作为模型的输入。

步骤S3、使用多任务卷积神经网络学习训练图像集合中图像的左视图、右视图和配准失真表示的特征，并将三个特征集输入到全连接层来学习图像块的质量评估分数和失真类型识别。具体包括以下步骤：

步骤S31、设计一个三通道的多任务卷积神经网络，选取左视图、右视图和基于配准的失真表示的相同位置的三个图像块作为输入，每个通道对不同输入进行特征提取；然后将三组特征连接后通过多个全连接层来进行回归训练；每个通道上都有五组堆叠的卷积层(由16个卷积层和5个池化层组成)：对于前两组堆叠的卷积层，每一组由两个重复3×3大小的卷积层和一个步长为“1”的2×2最大池化层组成，剩下三组堆叠的卷积层，每一组由四个重复3×3大小的卷积层和一个步长为“2”的2×2最大池化层组成。卷积层和池化层的计算公式为：

其中，w^k和b^k分别表示卷积核和第k个特征映射的偏置参数，x_ij表示在(i,j)位置的局部图像块，

表示在(i,j)位置的特征映射；Ω表示在(i,j)位置处局部池化区域，

表示第k个特征映射图的(i,j)位置处的最大池化的输出；

步骤S32、经过多个卷积层和次化层后得到图像块最终的特征表示，将三组特征合并后，利用两个全连接层将特征回归到一个特征向量，用于图像质量评价和失真类型预测；两个全连接层的计算公式为：

f_n＝ω_l(σ(ω_h(r_n)+b_h))+b_l

其中，ω_l、ω_h、b_l和b_h分别是两个全连接层的权重和偏置参数，σ(.)是一个非线性激活函数，r_n是第n个图像块的最终的特征表示，f_n是第n个图像块进行回归运算后得到的特征向量；

步骤S33、在全连接层的顶部使用两个子网络来同时学习图像质量分数和失真类型：

第一个子网络是具有一个单元的全连接层，用于图像质量分数的评估；在训练时使用欧氏距离作为损失函数，计算公式为：

其中，l₁是第一个子网络的损失，N是训练阶段的图像块的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数，f_n(x_n)是模型预测的质量评估分数；

第二个子网络是具有C个单元的全连接层，对应C种失真类型，使用softmax用于失真识别，使用交叉熵作为损失函数，计算公式为：

其中，l₂为第二个子网络的损失，

为C类的独热编码，仅激活一个条件为真正的失真类型，

为C维的概率向量，

为x_n属于第C类失真类型的概率；

最终的损失函数是图像质量评估和失真类型识别两种不同损失的线性组合，计算公式为：

L＝λ₁·l₁+λ₂·l₂

其中，λ₁和λ₂分别是l₁和l₂的权重，在本实例中，λ₁为1，λ₂为100。

步骤S4、利用训练好的卷积神经网络预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为图像最终的质量评估分数。具体包括以下步骤：

步骤S41、将待预测的基于配准的失真表示、左视图和右视图有重叠的分成32×32尺度的图像块，然后把图像块输入步骤S3训练得到的卷积神经网络模型进行预测，得到多个图像块对应的失真类型和质量分数；然后选择待预测图像的所有图像块的最多数的预测类型作为图像的失真类型，计算公式为：

其中，C是候选的图像失真类型的数量，num(j)表示预测为失真类型j的图像块的数量；

步骤S42、选择加权平均方法作为待预测图像的最终质量分数，放弃所有预测的失真类型不同于最多数投票类型的图像块，计算公式如下：

其中，M是待预测的图像块属于图像I的数量，D_i和S_i分别是第i个图像块预测的失真类型和质量分数，δ{.}是一个当括号中的条件满足时值为1和不满足时值为0的指示函数。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于配准失真表示的无参照立体图像质量评估方法，其特征在于，包括如下步骤：

步骤S1、对训练图像集合和待预测图像集合中的每幅立体图像，通过图像配准得到配准图，计算配准图和左视图的差分图像作为图像的配准失真表示；

步骤S2、对训练图像集合和待预测图像集合中的左视图和右视图进行局部归一化处理，将左视图、右视图和配准失真表示划分成有重叠的图像块；

步骤S3、使用多任务卷积神经网络学习训练图像集合中图像的左视图、右视图和配准失真表示的特征，并将三个特征集输入到全连接层来学习图像块的质量评估分数和失真类型识别；

步骤S4、利用训练好的卷积神经网络预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为图像最终的质量评估分数；

所述步骤S3中，使用多任务卷积神经网络学习左视图、右视图和配准失真表示的特征，并将三个特征集输入到全连接层来学习图像块的质量评估分数和失真类型识别，包括以下步骤：

步骤S31、设计一个三通道的多任务卷积神经网络，选取左视图、右视图和基于配准的失真表示的相同位置的三个图像块作为输入，每个通道对不同输入进行特征提取；然后将三组特征连接后通过多个全连接层来进行回归训练；每个通道上都有多组堆叠的卷积层；卷积层和池化层的计算公式为：

其中，w^k和b^k分别表示卷积核和第k个特征映射的偏置参数，x_ij表示在(i,j)位置的局部图像块，

表示在(i,j)位置的特征映射；Ω表示在(i,j)位置处局部池化区域，

表示第k个特征映射图的(i,j)位置处的最大池化的输出；

步骤S32、经过多个卷积层和池化层后得到图像块最终的特征表示，将三组特征合并后，利用两个全连接层将特征回归到一个特征向量，用于图像质量评价和失真类型预测；两个全连接层的计算公式为：

f_n＝ω_l(σ(ω_h(r_n)+b_h))+b_l

其中，ω_l、ω_h、b_l和b_h分别是两个全连接层的权重和偏置参数，σ(.)是一个非线性激活函数，r_n是第n个图像块的最终的特征表示，f_n是第n个图像块进行回归运算后得到的特征向量；

步骤S33、在全连接层的顶部使用两个子网络来同时学习图像质量分数和失真类型：

第一个子网络是具有一个单元的全连接层，用于图像质量分数的评估；在训练时使用欧氏距离作为损失函数，计算公式为：

其中，l₁是第一个子网络的损失，N是训练阶段的图像块的数量，x_n表示第n个图像块，S_n是x_n对应的主观评估分数，f_n(x_n)是模型预测的质量评估分数；

第二个子网络是具有C个单元的全连接层，对应C种失真类型，使用softmax用于失真识别，使用交叉熵作为损失函数，计算公式为：

其中，l₂为第二个子网络的损失，

为C类的独热编码，仅激活一个条件为真正的失真类型，

为C维的概率向量，其中

为x_n属于第C类失真类型的概率；

最终的损失函数是图像质量评估和失真类型识别两种不同损失的线性组合，计算公式为：

L＝λ₁·l₁+λ₂·l₂

其中，λ₁和λ₂分别是l₁和l₂的权重。

2.根据权利要求1所述的一种基于配准失真表示的无参照立体图像质量评估方法，其特征在于，所述步骤S1中，通过图像配准得到配准图，计算配准图和左视图的差分图像作为图像的配准失真表示，包括以下步骤：

步骤S11、使用SIFTflow算法，将立体图像的右视图配准到左视图上，得到一张像素和结构分别来自于右视图和左视图的配准图；配准图中不存在匹配区域的所有区域中的像素用左视图中的原始像素代替；

步骤S12、用掩码图来表示匹配区域和不匹配区域，分别表示为白色区域和黑色区域；

步骤S13、计算配准图和左视图的差分图像作为基于配准的失真表示，计算公式为：

其中，(x,y)表示像素的位置，

和

分别为配准图和左视图的灰度图像，I_d是计算得到的配准失真表示。

3.根据权利要求1所述的一种基于配准失真表示的无参照立体图像质量评估方法，其特征在于，所述步骤S2中，对训练图像集合和待预测图像集合中的左视图和右视图进行局部归一化处理，将左视图、右视图和配准失真表示划分成有重叠的图像块，包括以下步骤：

步骤S21、对立体图像的左视图，计算每个像素点的局部加权平均值μ(x,y)和局部加权标准差σ(x,y)，计算公式为：

其中，U和V用于定义局部归一化处理过程中窗口的高度和宽度大小，(x,y)表示像素的位置，u和v是像素点在窗口的相对空间位置，ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}表示一个二维高斯加权函数，

是失真的立体图像的左视图的灰度图像；

步骤S22、对图像中的每个像素点进行局部归一化处理：

其中，c是一个常数，用于避免因分母为0而导致不可计算，

是归一化的左视图；

同理，计算归一化的右视图

步骤S23、将配准失真表示、左视图和右视图按照统一的方式有重叠的划分成k×k尺度的图像块，然后利用掩码图中的黑色区域去掉所有包含不匹配区域的配准失真表示图像块和对应的左视图、右视图图像块；将剩余的配准失真表示、左视图和右视图在相同位置得到三个图像块作为模型的输入。

4.根据权利要求1所述的一种基于配准失真表示的无参照立体图像质量评估方法，其特征在于，所述步骤S4中，利用训练好的卷积神经网络预测待预测图像的所有图像块的质量评估分数，计算待预测图像块的最多数投票失真类型作为图像最终的失真类型和加权平均质量分数作为图像最终的质量评估分数，包括以下步骤：

步骤S41、将划分好的待预测图像的配准失真表示、左视图和右视图在每个相同位置得到的三个图像块输入步骤S3训练得到的卷积神经网络模型进行预测，得到多个图像块对应的失真类型和质量分数；然后选择待预测图像的所有图像块的最多数的预测类型作为图像的失真类型，计算公式为：

其中，C是候选的图像失真类型的数量，num(j)表示预测为失真类型j的图像块的数量；

步骤S42、选择加权平均方法作为待预测图像的最终质量分数，放弃所有预测的失真类型不同于最多数投票类型的图像块，计算公式如下：

其中，M是待预测的图像块属于图像I的数量，D_i和S_i分别是第i个图像块预测的失真类型和质量分数，δ{.}是一个当括号中的条件满足时值为1和不满足时值为0的指示函数。

Images