CN112163609A - 一种基于深度学习的图像块相似度计算方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的图像块相似度计算方法，包括S1，根据使用者所给出的训练图像集，加入噪声并划分图像块集合，以获得训练图像块集合X_train；S2，选择待测试的对象，也加入噪声并划分图像块集合，以得到测试图像块集合X_test；S3，建立孪生自编码器网络模型；S4，向孪生自编码器网络模型中输入训练图像块集合X_train以对孪生自编码器网络模型进行训练；S5，将测试图像块集合X_test输入完成训练后的孪生自编码器网络模型，根据训练完成的网络权重，得到测试图像块集合对应的特征信息数据集；S6，在得到特征信息数据集后，根据特征信息数据集计算每对图像块的相似度。本发明通过获取的图像块的相似度来对图像块进行比较，可以得到较高的准确率，而且参数调试简便。

Description

一种基于深度学习的图像块相似度计算方法

技术领域

本发明涉及图像处理技术领域，具体为一种基于深度学习的图像块相似度计算方法。

背景技术

图像块是包含细节纹理和结构信息的图像部分，尽管它是基础的图像特征的描述，但是目前在很多图像领域，基于图像块的方法总能够实现很好的效果。例如在图像滤波、计算机视觉、图像建模等方面均有出色的成果。而在图像处理领域中，图像块的比较也是一项重要的任务，往往带有噪声的图像块更不容易进行比较。

发明内容

本发明的目的在于提供一种基于深度学习的图像块相似度计算方法，至少可以解决现有技术中的部分缺陷。

为实现上述目的，本发明实施例提供如下技术方案：一种基于深度学习的图像块相似度计算方法，包括如下步骤：

S1，根据使用者所给出的训练图像集，加入噪声并划分图像块集合，以获得训练图像块集合X_train；

S2，选择待测试的对象，也加入噪声并划分图像块集合，以得到测试图像块集合X_test；

S3，建立孪生自编码器网络模型；

S4，向孪生自编码器网络模型中输入训练图像块集合X_train以对孪生自编码器网络模型进行训练；

S5，将测试图像块集合X_test输入完成训练后的孪生自编码器网络模型，根据训练完成的网络权重，得到测试图像块集合对应的特征信息数据集；

S6，在得到特征信息数据集后，根据特征信息数据集计算每对图像块的相似度。

进一步，在S3步骤中，建立的孪生自编码器网络模型包含了七种超参数，分别为有学习率、迭代次数、激活函数的类型、输入数据尺寸、编码层神经节点个数、反编码层神经节点个数以及输出数据的尺寸。

进一步，在S4步骤中，对孪生自编码器网络模型进行训练的方式是调整七种超参数，最终得到基于训练图像块集合X_train的孪生自编码器网络模型的代价函数为：

其中，M表示训练集的有效数据的个数，W表示孪生自编码器网络模型的权重，X_train表示训练集中有效数据集，X_1i表示训练集X_train分成相同数量的两组数据集中第1组数据，X_2i表示训练集X_train分成相同数量的两组数据集中第2组数据，F_1i表示训练集第一组数据X_1i经过编码层所提取出的特征信息数据集，F_2i表示训练集第二组数据X_2i经过编码层所提取出的特征信息数据集，β表示训练过程中的正则化因数，i表示训练集X_train分成相同数量的两组的数据集中每组中数据集序数。

进一步，利用自适应梯度下降算法对孪生自编码器网络模型进行训练，使网络训练模型的代价函数J(W；X_train)最小化，得到孪生自编码器网络模型最小化后的代价函数。

进一步，在S5步骤中的输入前，将测试图像块集合X_test分成相同数量的两组测试图像块集合X_{test_1k}和X_{test_2k}，其中，k表示每组测试图像块集合中数据的序号，k为自然数；然后再将X_{test_1k}和X_{test_2k}同时输入完成训练后的孪生自编码器网络模型，以得到与二者对应的特征信息数据集F_{test_1k}和F_{test_2k}。

进一步，在S6步骤中，根据特征信息数据集F_{test_1k}和F_{test_2k}，计算每对图像块的相似度：

其中，k表示测试集X_test分成相同数量的两组的数据集中每组中数据集序数。

进一步，在S3步骤中，建立的孪生自编码器网络模型为双通道孪生自编码器网络模型，其包括双输入层、编码层、反编码层、双输出层。

进一步，在S3步骤中，建立的孪生自编码器网络模型的学习率为α，迭代次数为t次，编码层有J(j×j)个神经节点，反编码层有个J神经节点，输入层接收图像块数据的尺寸为1×J，编码层输出的特征信息数据尺寸为1×J，输出层输出数据的尺寸为1×J，两个输入层每次同时接收两个图像块数据，两个输出层每次同时输出两个数据，两个输入层均使用Relu函数作为激活函数。

进一步，在S1步骤和S2步骤中，均采用噪声强度为σ的高斯噪声，且在S1步骤中，划分的方式是将每张图片按照尺寸为j×j分割为数量为n的图像块集合，并对图像块集合进行(0～1)标准化，而在S2步骤中，划分的方式是将每张图片按照尺寸为j×j分割为数量为m的图像块集合，并对图像块集合进行(0～1)标准化。

与现有技术相比，本发明的有益效果是：

1、通过所获取的图像块的相似度来对图像块进行比较，可以得到较高的准确率，而且参数调试简便。

2、充分利用双通道孪生自编码器网络模型参数共享和自动提取图像特征信息的优点，显著降低了人工提取图像特征的复杂度，从而使得基于深度学习的图像块相似度计算的学习方法的最优模型结构简单。

3、将数量为n的训练图像块集合输入到双通道孪生自编码器网络，通过调整7种超参数得到训练集的双通道孪生自编码器网络模型的代价函数，在多次实验中选择代价函数最小的模型为最优模型，最优模型是双通道孪生自编码器网络模型对数据泛化能力最好的模型，从而使得学习方法的最优模型稳定性好。

4、通过多次的迭代最小化代价函数，降低最优模型的误差，从而使得学习方法的准确性高，并且得到的图像块相似度计算结果更准确。

5、最优模型结构简单、最优模型稳定性好和基于深度学习的图像块相似度计算的学习方法相似关系更准确的特点，得到的图像块相似度能更好的描述两个图像块的关系。

附图说明

图1为本发明实施例提供的一种基于深度学习的图像块相似度计算方法的步骤流程图；

图2为本发明实施例提供的一种基于深度学习的图像块相似度计算方法的双通道孪生自编码器网络模型的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1和图2，本发明实施例提供一种基于深度学习的图像块相似度计算方法，包括如下步骤：S1，根据使用者所给出的训练图像集，加入噪声并划分图像块集合，以获得训练图像块集合X_train；S2，选择待测试的对象，也加入噪声并划分图像块集合，以得到测试图像块集合X_test；S3，建立孪生自编码器网络模型；S4，向孪生自编码器网络模型中输入训练图像块集合X_train以对孪生自编码器网络模型进行训练；S5，将测试图像块集合X_test输入完成训练后的孪生自编码器网络模型，根据训练完成的网络权重，得到测试图像块集合对应的特征信息数据集；S6，在得到特征信息数据集后，根据特征信息数据集计算每对图像块的相似度。在本实施例中，通过对建立的孪生自编码器网络模型进行训练，然后再将测试的图像块集合X_test输入该训练好的模型中，根据训练完成的网络权重，得到测试图像块集合对应的特征信息数据集，然后再根据该特征信息数据集计算每对图像块的相似度，进而能够通过所获取的图像块的相似度来对图像块进行比较，可以得到较高的准确率，而且参数调试简便。优选的，建立的孪生自编码器网络模型的学习率为α，迭代次数为t次，编码层有J(j×j)个神经节点，反编码层有个J神经节点，输入层接收图像块数据的尺寸为1×J，编码层输出的特征信息数据尺寸为1×J，输出层输出数据的尺寸为1×J，两个输入层每次同时接收两个图像块数据，两个输出层每次同时输出两个数据，两个输入层均使用Relu函数作为激活函数。具体地：

根据PASCALVocdevkit数据集的1000张训练图像集，加入噪声强度为20的高斯噪声，将每张图片按照尺寸为5×5分割，即每个图像块有25个特征，训练图像集分割为数量为7131304的图像块集合，并对图像块集合进行(0～1)标准化，由7131304个量测有效图像块数据构成的数据集称为训练图像块集合X_train(详见表1)。

表1 7131304个有效数据组

然后选择待测试的图像Boat、Fingerprint、Flowers、House、Lena，并加入噪声强度为20的高斯噪声，将每张图片按照尺寸为5×5分割，即每个图像块有25个特征，并对图像块集合进行(0～1)标准化，由872784个量测有效图像块数据构成的数据集称为测试图像块集合X_test(详见表2)。

表2 872784个有效数据组

作为本发明实施例的优化方案，请参阅图2，建立的孪生自编码器网络模型为双通道孪生自编码器网络模型，其包括双输入层、编码层、反编码层、双输出层。且建立的孪生自编码器网络模型包含了七种超参数，分别为有学习率、迭代次数、激活函数的类型、输入数据尺寸、编码层神经节点个数、反编码层神经节点个数以及输出数据的尺寸。对孪生自编码器网络模型进行训练的方式是调整七种超参数，最终得到基于训练图像块集合X_train的孪生自编码器网络模型的代价函数为：

其中，M表示训练集的有效数据的个数，W表示孪生自编码器网络模型的权重，X_train表示训练集中有效数据集，X_1i表示训练集X_train分成相同数量的两组数据集中第1组数据，X_2i表示训练集X_train分成相同数量的两组数据集中第2组数据，F_1i表示训练集第一组数据X_1i经过编码层所提取出的特征信息数据集，F_2i表示训练集第二组数据X_2i经过编码层所提取出的特征信息数据集，β表示训练过程中的正则化因数，i表示训练集X_train分成相同数量的两组的数据集中每组中数据集序数。

具体地，向双通道孪生自编码器网络模型输入训练图像块集合X_train，通过调整7种超参数(详见表3)。

表3调整双通道孪生自编码器网络模型所对应的7种超参数

得到训练集的双通道孪生自编码器网络模型的代价函数J(W；X_train)：

上式中：

M表示训练集的有效数据的个数，M＝7131304；

W表示双通道孪生自编码器网络模型的权重，W是通过对双通道孪生自编码器网络模型的迭代优化得到；

X_train表示训练集中有效数据集(详见表1)；

X_1i表示训练集X_train分成相同数量的两组数据集中第1组数据(详见表1中1～3565652行)；

X_2i表示训练集X_train分成相同数量的两组数据集中第2组数据(详见表1中3565653～7131304行)；

F_1i表示训练集第一组数据X_1i经过编码层所提取出的特征信息数据集(详见表4)；F_2i表示训练集第二组数据X_2i经过编码层所提取出的特征信息数据集(详见表5)；

β表示训练过程中的正则化因数，β＝0.01；

i表示训练集X_train分成相同数量的两组的数据集中每组中数据集序数，i为从1～3565652的自然数；

利用自适应梯度下降算法对训练集双通道孪生自编码器网络模型的代价函数J(W；X_train)最小化；相应地，得到双通道孪生自编码器网络模型最小化后的代价函数：

J(W；X_train)＝0.0012。

训练集数据X_1i和X_2i经过编码层所提取出的特征信息数据集详见表4、表5。其中：表4为训练集第一组数据X_1i经过编码层所提取出的特征信息数据集，

表4特征信息数据集F_1i

表5为训练集第二组数据X_2i经过编码层所提取出的特征信息数据集，

表5特征信息数据集F_2i

作为本发明实施例的优化方案，在S5步骤中的输入前，线将测试图像块集合X_test分成相同数量的两组测试图像块集合X_{test_1k}和X_{test_2k}，其中，k表示每组测试图像块集合中数据的序号，k为自然数，k为1～436392的自然数(详见表2)，表2中1～436392行数据为测试图像块集合X_{test_1k}，436393～872784行数据为测试图像块集合X_{test_2k}；然后再将X_{test_1k}和X_{test_2k}同时输入完成训练后的孪生自编码器网络模型，以得到与二者对应的特征信息数据集F_{test_1k}和F_{test_2k}。训练集数据X_1i和X_2i经过编码层所提取出的特征信息数据集详见表6、表7。

其中：

表6为训练集第一组数据X_{test_1k}经过编码层所提取出的特征信息数据集

表6特征信息数据集F_{test_1k}

表7为训练集第二组数据X_{test_2k}经过编码层所提取出的特征信息数据集表7特征信息数据集F_{test_2k}

进一步优化上述方案，根据特征信息数据集F_{test_1k}和F_{test_2k}，计算每对图像块的相似度：

其中，k表示测试集X_test分成相同数量的两组的数据集中每组中数据集序数，k为1～436392的自然数。

S(F_{test_1k},F_{test_2k})即为所计算的图像块的相似度(详见表8)

表8相似度S(F_{test_1k}，F_{test_2k})

作为本发明实施例的优化方案，表9显示了各个算法的图像去噪性能，NLM表示非局部均值去噪算法(Non-Local Means)，NLM-AE表示利用基于深度学习的图像块相似度计算方法的NLM算法，利用峰值信噪比PSNR(Peak signal-to-noise ratio)来比较算法性能。

表9各算法去噪性能比较表(噪声强度为20)

由表9也可看出利用基于深度学习的图像块相似度计算方法的NLM算法在相同的噪声强度下，对同一张图像去噪效果提高，去噪性能更优。实验可证明本发明的一种基于深度学习的图像块相似度计算的学习方法提高了图像块相似度计算的准确度。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于深度学习的图像块相似度计算方法，其特征在于，包括如下步骤：

S1，根据使用者所给出的训练图像集，加入噪声并划分图像块集合，以获得训练图像块集合X_train；

S2，选择待测试的对象，也加入噪声并划分图像块集合，以得到测试图像块集合X_test；

S3，建立孪生自编码器网络模型；

S4，向孪生自编码器网络模型中输入训练图像块集合X_train以对孪生自编码器网络模型进行训练；

S5，将测试图像块集合X_test输入完成训练后的孪生自编码器网络模型，根据训练完成的网络权重，得到测试图像块集合对应的特征信息数据集；

S6，在得到特征信息数据集后，根据特征信息数据集计算每对图像块的相似度。

2.如权利要求1的一种基于深度学习的图像块相似度计算方法，其特征在于：在S3步骤中，建立的孪生自编码器网络模型包含了七种超参数，分别为学习率、迭代次数、激活函数的类型、输入数据尺寸、编码层神经节点个数、反编码层神经节点个数以及输出数据的尺寸。

3.如权利要求2的一种基于深度学习的图像块相似度计算方法，其特征在于，在S4步骤中，对孪生自编码器网络模型进行训练的方式是调整七种超参数，最终得到基于训练图像块集合X_train的孪生自编码器网络模型的代价函数为：

其中，M表示训练集的有效数据的个数，W表示孪生自编码器网络模型的权重，X_train表示训练集中有效数据集，X_1i表示训练集X_train分成相同数量的两组数据集中第1组数据，X_2i表示训练集X_train分成相同数量的两组数据集中第2组数据，F_1i表示训练集第一组数据X_1i经过编码层所提取出的特征信息数据集，F_2i表示训练集第二组数据X_2i经过编码层所提取出的特征信息数据集，β表示训练过程中的正则化因数，i表示训练集X_train分成相同数量的两组的数据集中每组中数据集序数。

4.如权利要求3的一种基于深度学习的图像块相似度计算方法，其特征在于：利用自适应梯度下降算法对孪生自编码器网络模型进行训练，使网络训练模型的代价函数J(W；X_train)最小化，得到孪生自编码器网络模型最小化后的代价函数。

5.如权利要求1的一种基于深度学习的图像块相似度计算方法，其特征在于：在S5步骤中的输入前，将测试图像块集合X_test分成相同数量的两组测试图像块集合X_{test_1k}和X_{test_2k}，其中，k表示每组测试图像块集合中数据的序号，k为自然数；然后再将X_{test_1k}和X_{test_2k}同时输入完成训练后的孪生自编码器网络模型，以得到与二者对应的特征信息数据集F_{test_1k}和F_{test_2k}。

6.如权利要求5的一种基于深度学习的图像块相似度计算方法，其特征在于，在S6步骤中，根据特征信息数据集F_{test_1k}和F_{test_2k}，计算每对图像块的相似度：

其中，k表示测试集X_test分成相同数量的两组的数据集中每组中数据集序数。

7.如权利要求1的一种基于深度学习的图像块相似度计算方法，其特征在于：在S3步骤中，建立的孪生自编码器网络模型为双通道孪生自编码器网络模型，其包括双输入层、编码层、反编码层、双输出层。

8.如权利要求7的一种基于深度学习的图像块相似度计算方法，其特征在于：在S3步骤中，建立的孪生自编码器网络模型的学习率为α，迭代次数为t次，编码层有J(j×j)个神经节点，反编码层有个J神经节点，输入层接收图像块数据的尺寸为1×J，编码层输出的特征信息数据尺寸为1×J，输出层输出数据的尺寸为1×J，两个输入层每次同时接收两个图像块数据，两个输出层每次同时输出两个数据，两个输入层均使用Relu函数作为激活函数。

9.如权利要求1的一种基于深度学习的图像块相似度计算方法，其特征在于：在S1步骤和S2步骤中，均采用噪声强度为σ的高斯噪声，且在S1步骤中，划分的方式是将每张图片按照尺寸为j×j分割为数量为n的图像块集合，并对图像块集合进行(0～1)标准化，而在S2步骤中，划分的方式是将每张图片按照尺寸为j×j分割为数量为m的图像块集合，并对图像块集合进行(0～1)标准化。

Images