CN111046953B - 一种基于相似度比较的图像评价方法 - Google Patents

Abstract

本发明公开了一种基于相似度比较的图像评价方法，其主要包括两大部分：处理图像生成部分和相似性比较部分；处理图像生成部分是根据输入图像生成对应的处理图像，或对于特定的输入一类对象生成对应的处理图像。相似性比较部分是比较输入图像与处理图像的匹配度或相似性，以相似性来评价图像的美学质量高低。这种评价方法是与现有的直接根据输入图像来评价的方法是不同的，现有的方法是根据输入图像的某些特征来评价图像美学质量高低的，本发明是根据输入图像与对应的处理图像的相似性来评价图像美学质量高低的，这是图像美学质量评价技术实施方案上的一个创新，并且与之前方法相比降低了模型训练数据的规模。

Description

一种基于相似度比较的图像评价方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于相似度比较的图像评价方法。

背景技术

图像美学质量评价探索的是如何用可计算技术来预测人类对视觉刺激产生的情绪反应，使计算机模仿人类的审美过程，用可计算方法来自动预测图像的美学质量。图像美学质量评价是一个非常主观的任务，会因为个人的品味和情感等等的不同，对于同一幅图像有着不同的评价。这就加大了这一问题的研究难度，但是对于美丽的事物大家都是有着大体上相同的认知的，存在的也只是一些小的差异，因此研究一个评价图像美学评估方法是可行的。

图像美学质量评价有许多应用的场景，如在图片搜索中，人们可以对搜索得到的结果中的匹配度相同的图片按照美学质量得分进行排序，让更具美学价值的图像排在前面，以便带给用户更好的体验；也可以使用在相机中，自动地美化拍摄的图片，使我们拍摄后就可以得到美学质量更高的图片。现有的工具如Adobe Photoshop，其通常需要用户对设计概念和摄影理论有很好的了解，需要有一定的基础才能制作出好看的照片。因为对普通用户来说，他们不清楚图像的哪些元素需要编辑，以及如何编辑它们以使图像更具吸引力。在这种情况下，自动增强图像美学质量的自动照片编辑工具是非常有用的。也可以使用在无人机航拍中，使用图像美学质量评价技术，自动的检测无人机拍摄的图片的美学得分，保存得分高的图片。省去了对大量的原始的视频数据的操作，只需要处理保存的图片，极大的减少了工作人员的工作量和提高了效率。同时，随着5G技术和无人机行业的规范化，不久的将来会有着大量的无人机服务于我们的生活，其中使用无人机来航拍图像或视频，并从一个不同的视角来拍摄风景这一用途将会得到广泛的应用。而使用图像美学质量评价技术可以让无人机自主的完成这一功能，极大的减少了人工的工作量，极大的提高了效率，因此基于机器学习方法的图像美学质量评价方法的研究具有广阔的应用前景。

现有的图像美学质量评价研究主要是采用深度学习网络来提取图像特征，然后利用全连接网络对各个特征进行加权得出最后的美学分数。我们提出了图像美学质量评价的方案为：先求出输入图像对应的处理图像，然后对比输入图像与处理图像两者之间的相似性来得出其美学质量的高低。本发明于图像美学质量评价提出了一个新的实施思路，对于图像美学质量评价这一技术的发展有着重要意义。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于相似度比较的图像评价方法解决了现有图像评价技术所需样本多，难以获得较好的评估问题，并对图像评价提供了一种新的思路。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于相似度比较的图像评价方法，包括以下步骤：

S1、输入图像，并根据所述输入的图像生成其对应的处理图像；

S2、将所述输入图像与所述处理图像进行相似度比较，并根据比较结果得到图像的评价信息。

进一步地，所述步骤S1中根据所述输入的图像基于人脸关键点生成处理图像包括以下步骤：

A1、判断是否已有预训练的人脸关键点，若有，则进入步骤A4，否则，进入步骤A2；

A2、利用人脸照片构成数据集，并根据所述数据集得到人脸的关键点；

A3、根据所述人脸的关键点将人脸照片进行对齐处理，得到人脸的关键点轮廓；

A4、提取所述输入图像中人脸的68个关键点，并根据所述68个关键点以及所述人脸的关键点轮廓进行图像对齐处理，从而生成处理图像。

再进一步地，所述步骤A3中图像对齐处理包括以下步骤：

B1、将所述输入图像的大小调至512×512，并且将图像中的左右两个眼角的坐标调至(154,171)和(358,171)；

B2、计算与所述左右眼角的两个点构成等边三角形的第三个点及其坐标；

B3、根据步骤B1与步骤B2中的坐标计算得到坐标变换的参数，并根据所述坐标变换的参数更新输入图像；

B4、分别将(0,0)，(256,0)，(511,0)，(0,256)，(0,511)，(256,511)，(511,256)和(511,511)坐标添加至更新后图像中人脸的关键点中，并对人脸的关键点进行Delaunay三角剖分；

B5、将所述剖分结果进行仿射变换，完成图像的对齐处理。

再进一步地，所述步骤B3中坐标变换的表达式如下：

其中，x_new、y_new表示变换后的坐标，s_x表示x方向上输入图像的缩放比例，s_y表示y方向上输入图像的缩放比例，θ表示输入图像的旋转角度，x_old、y_old表示左右两个眼角的坐标，d_x表示x方向上输入图像的平移距离，d_y表示y方向上输入图像的平移距离。

再进一步地，所述步骤S1中根据所述输入的图像基于对抗生成网络生成处理图像包括以下步骤：

C1、判断是否已有训练好的StyleGan网络模型，若有，则进入步骤C4，否则，进入步骤C2；

C2、根据所述输入图像随机生成latent码，并将所述latent码输入至生成器，得到生成图像；

C3、将所述生成图像输入至判别器，并利用损失函数调节参数训练StyleGan网络模型；

C4、利用深度学习网络模型提取所述输入图像的latent码，并将所述输入图像的latent码输入至所述StyleGan网络模型，生成图像；

C5、以所述输入图像和步骤C4生成的图像差异为损失函数，训练latent码提取网络模型；

C6、利用所述输入图像的latent码训练latent码混合网络模型；

C7、利用所述latent码提取网络模型提取各图像中的人脸latent码，并根据所述各图像中的人脸latent码计算得到人脸的latent码；

C8、利用latentnet提取网络提取输入图像的latent码，并将其与所述人脸的latent码利用latent码混合网络模型进行融合，得到融合后的latent码；

C9、将所述融合后的latent码输入至StyleGan网络模型，并由StyleGan网络模型输出处理图像。

再进一步地，所述步骤S2中将所述输入图像与处理图像进行基于图像几何轮廓的相似度和图像均方误差的相似性比较，包括以下步骤：

D1、根据输入图像以及其对应的处理图像分别计算得到输入图像以及其对应的处理图像中人脸关键点构成的几何轮廓g1和g2；

D2、根据所述几何轮廓g1和g2分别计算得到几何轮廓的不变矩，以及输入图像和其对应的处理图像的像素均方差的加权和，并根据所述不变矩和像素均方差的加权和得到输入图像与处理图像的相似度比较。

再进一步地，所述步骤所述输入图像与处理图像的相似度比较y的表达式如下：

y＝a×GeometricCost(g₁,g₂)+(1-a)×MSE(img₁,img₂)

其中，a表示加权系数，GeometricCost(·)表示比较两个图像的几何轮廓的不变矩，g₁表示输入图像img1中关键点构成的几何轮廓，g₂表示处理图像img2中关键点构成的几何轮廓，MSE(·)表示比较两个图像的像素均方差的加权和。

再进一步地，所述步骤S2中将所述输入图像与处理图像进行基于图像相似性比较网络模型的相似性比较，包括以下步骤：

E1、将所述输入图像以及其对应的处理图像进行合并，生成2通道的图像；

E2、利用下采样模块降低所述2通道图像的像素，以及利用区域检测模块提取所述2通道图像的显著区域；

E3、利用卷积神经网络分别对所述经下采样模块处理后的图像以及所述提取的图像的显著区域对进行特征提取；

E4、将经步骤E3进行特征提取后的图像输入至空间金字塔池化层，得到固定大小的输出；

E5、利用全连接层对所述固定大小的输出进行特征拟合，并根据拟合的结果得到相似度比较的结果。

再进一步地，所述图像相似性比较网络模型的损失函数表达式为：

其中，cost_j表示第j次训练输入图像的损失函数值，

表示网络系数的L2正则项，j表示训练的次数，N表示一次训练所选取的样本数，o_i表示深度学习网络模型中第i对训练图像的输出神经元，y_i表示两个输入图像的匹配度，其取值为1或-1。

再进一步地，所述图像相似性比较网络模型包括：数据通道、分别与所述数据通道连接的下采样模块和区域检测模块、与所述下采样模块连接的第一卷积模块、与所述区域检测模块连接的第二卷积模块、分别与所述第一卷积模块和第二卷积模块连接的空间金字塔池化层，以及与所述空间金字塔池化层连接的全连接层；

所述数据通道用于合并输入图像以及其对应的处理图像，并将合并后的图像分别输入至下采样模块和区域检测模块；

所述下采样模块用于将降低合并后图像的像素，并将处理后的图像输入至空间金字塔池化层；

所述区域检测模块用于提取合并后图像信息，并将处理后的图像输入至空间金字塔池化层；

所述空间金字塔池化层用于根据所述下采样模块和区域检测模块所传输的图像信息，得到固定大小的图像，以适应不同尺寸的输入；

所述全连接层用于对所述固定大小的图像进行特征拟合。

本发明的有益效果：

(1)本发明公开了一种基于相似度比较的图像评价方法，其主要包括两大部分：处理图像生成部分和相似性比较部分；处理图像生成部分是根据输入图像生成对应的处理图像，或对于特定的输入一类对象生成对应的处理图像。相似性比较部分是比较输入图像与处理图像的匹配度或相似性，以相似性来评价图像的美学质量高低。这种评价方法是与现有的直接根据输入图像来评价的方法是不同的，现有的方法是根据输入图像的某些特征来评价图像美学质量高低的，本发明是根据输入图像与对应的“处理图像”的相似性来评价图像美学质量高低的，这是图像美学质量评价技术实施方案上的一个创新，并且与之前方法相比降低了模型训练数据的规模；

(2)本发明中通过图像相似性比较网络模型的损失函数使得网络能够向着匹配度高的图像输出大的数值，不匹配或匹配度低的图像输出小的数值的方向收敛；

(3)本发明通过与输入图像对应的处理图像做比较然后得到图像美学质量分数，与直接根据输入图像来给出分数相比，本方法更具有说服力，且结果更优。即在结果相同或更优的情况下，使用另一种思路实现了图像美学质量评价。

附图说明

图1为本发明的方法流程图。

图2为本发明中生成的平均脸及几何轮廓的示意图。

图3为本发明中人脸68个关键点的示意图。

图4为本发明中图像相似性比较网络模型的结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

本发明的主要目的是对于输入图像给出其对应的美学质量评价，适用范围为一些我们已知道或已有对应处理图像的图像进行评分的场景，如在一些景点的照片中，我们可以把无人机采集的照片与已有对应的处理图像进行对比选择相似性高的图像，以相似性的高低给出其美学评价，最终实现无人机的自动拍照；如在人像照片中，我们对于大众公认的好看面容进行学习，可以得知其大众普遍喜欢的脸部关键点部位的轮廓，然后把要评分的图像与脸部关键点部位的轮廓，进行相似性比较来给出待评价图像的美学质量评价或自动美容等。基于上述分析，如图1所示，本发明提供了一种基于相似度比较的图像评价方法，包括以下步骤：

S1、输入图像，并根据所述输入的图像生成其对应的处理图像。

所述步骤S1中生成处理图像包括以下两种方式：

第一种方式：

根据所述输入的图像基于人脸关键点生成处理图像；

第二种方式：

根据所述输入的图像基于对抗生成网络生成处理图像。

本实施例中，第一种方式只是求出人脸的关键点，并把输入图像的关键点和人脸的关键点进行对齐，即使得图像中人脸的大小和方向一致。

所述第一种方式包括以下步骤：

A1、判断是否已有预训练的人脸关键点，若有，则进入步骤A4，否则，进入步骤A2；

A2、利用人脸照片构成数据集，并根据所述数据集得到人脸的关键点；

A3、根据所述人脸的关键点将人脸照片进行对齐处理，得到人脸的关键点轮廓。

本实施例中，人脸的关键点轮廓即平均脸。

所述步骤A3中图像对齐处理包括以下步骤：

B1、将所述输入图像的大小调至512×512，并且将图像中的左右两个眼角的坐标调至(154,171)和(358,171)；

B2、计算与所述左右眼角的两个点构成等边三角形的第三个点及其坐标；

B3、根据步骤B1与步骤B2中的坐标计算得到坐标变换的参数，并根据所述坐标变换的参数更新输入图像；

所述坐标变换的表达式如下：

其中，x_new、y_new表示变换后的坐标，s_x表示x方向上输入图像的缩放比例，s_y表示y方向上输入图像的缩放比例，θ表示输入图像的旋转角度，x_old、y_old表示左右两个眼角的坐标，d_x表示x方向上输入图像的平移距离，d_y表示y方向上输入图像的平移距离

B4、分别将(0,0)，(256,0)，(511,0)，(0,256)，(0,511)，(256,511)，(511,256)和(511,511)坐标添加至更新后图像中人脸的关键点中，并对人脸的关键点进行Delaunay三角剖分；

B5、将所述剖分结果进行仿射变换，完成图像的对齐处理；

A4、如图3所示，提取所述输入图像中人脸的68个关键点，并根据所述68个关键点以及所述人脸的关键点轮廓进行图像对齐处理，从而生成处理图像；

所述第二种方式包括以下步骤：

C1、判断是否已有训练好的StyleGan网络模型，若有，则进入步骤C4，否则，进入步骤C2；

C2、根据所述输入图像随机生成latent码，并将所述latent码输入至生成器，得到生成图像；

C3、将所述生成图像输入至判别器，并利用损失函数调节参数训练StyleGan网络模型；

本实施例中，整个网络训练完成以后，我们只使用生成器网络；

C4、利用深度学习网络模型提取所述输入图像的latent码，并将所述输入图像的latent码输入至所述StyleGan网络模型，生成图像；

C5、以所述输入图像和步骤C4生成的图像差异为损失函数，训练latent码提取网络模型；

C6、利用所述输入图像的latent码训练latent码混合网络模型；

C7、利用所述latent码提取网络模型提取各图像中的人脸latent码，并根据所述各图像中的人脸latent码计算得到人脸的latent码；

C8、利用latentnet提取网络提取输入图像的latent码，并将其与所述人脸的latent码利用latent码混合网络模型进行融合，得到融合后的latent码；

C9、将所述融合后的latent码输入至StyleGan网络模型，并由StyleGan网络模型输出处理图像；

S2、将所述输入图像与所述处理图像进行相似度比较，并根据比较结果得到图像的评价信息；

所述步骤S2中的相似度比较包括以下两种方式：

第一种方式：

将所述输入图像与处理图像进行基于图像几何轮廓的相似度和图像均方误差的相似性比较；

第二种方式：

将所述输入图像与处理图像进行基于图像相似性比较网络模型的相似性比较；

所述第一种方式包括如下步骤：

D1、根据输入图像以及其对应的处理图像分别计算得到输入图像以及其对应的处理图像中人脸关键点构成的几何轮廓g1和g2；

D2、根据所述几何轮廓g1和g2分别计算得到几何轮廓的不变矩，以及输入图像和其对应的处理图像的像素均方差的加权和，并根据所述不变矩和像素均方差的加权和得到输入图像与处理图像的相似度比较；

所述输入图像与处理图像的相似度比较y的表达式如下：

y＝a×GeometricCost(g₁,g₂)+(1-a)×MSE(img₁,img₂)

其中，a表示加权系数，GeometricCost(·)表示比较两个图像的几何轮廓的不变矩，g₁表示输入图像img1中关键点构成的几何轮廓，g₂表示处理图像img2中关键点构成的几何轮廓，MSE(·)表示比较两个图像的像素均方差的加权和；

所述第二种方式包括如下步骤：

E1、将所述输入图像以及其对应的处理图像进行合并，生成2通道的图像；

E2、利用下采样模块降低所述2通道图像的像素，以及利用区域检测模块提取所述2通道图像的显著区域；

本实施例中，合并后的数据分别输入下采样模块和区域检测模块。下采样模块用于对输入图像进行下采样，降低图像的像素即在降低处理的数据量的同时保持图像的主要特征；区域检测模块用于提取图像中的主要信息，把握关键信息；

E3、利用卷积神经网络分别对所述经下采样模块处理后的图像以及所述提取的图像的显著区域对进行特征提取；

E4、将经步骤E3进行特征提取后的图像输入至空间金字塔池化层，得到固定大小的输出；

本实施例中，考虑到区域的大小可能不同，以及图像本身尺寸的不同，加入空间金字塔池化层，以适应不同尺寸的输入；

E5、利用全连接层对所述固定大小的输出进行特征拟合，并根据拟合的结果得到相似度比较的结果。

其中，cost_j表示第j次训练输入图像的损失函数值，

表示网络系数的L2正则项，j表示训练的次数，N表示一次训练所选取的样本数，o_i表示深度学习网络模型中第i对训练图像的输出神经元，y_i表示两个输入图像的匹配度，其取值为1或-1。

如图4所示，所述图像相似性比较网络模型包括：数据通道、分别与所述数据通道连接的下采样模块和区域检测模块、与所述下采样模块连接的第一卷积模块、与所述区域检测模块连接的第二卷积模块、分别与所述第一卷积模块和第二卷积模块连接的空间金字塔池化层，以及与所述空间金字塔池化层连接的全连接层；

所述数据通道用于合并输入图像以及其对应的处理图像，并将合并后的图像分别输入至下采样模块和区域检测模块；

所述下采样模块用于将降低合并后图像的像素，并将处理后的图像输入至空间金字塔池化层；

所述区域检测模块用于提取合并后图像信息，并将处理后的图像输入至空间金字塔池化层；

所述空间金字塔池化层用于根据所述下采样模块和区域检测模块所传输的图像信息，得到固定大小的图像，以适应不同尺寸的输入；

所述全连接层用于对所述固定大小的图像进行特征拟合。

本实施例中，提供了一种基于相似度比较的图像评价方法，其包括“处理图像”生成部分和相似性比较部分。具体为输入图像生成处理图像，然后对比两个图像相似性，根据相似性的高低给出图像美学质量的评价。

本实施例中，“处理图像”生成部分是可以是先根据现有的处理图像，训练深度学习网络模型，然后对于每一个输入图像生成其对应的处理图像；也可以是先根据已有的处理图像生成这一类图像的处理图像。如对于人脸可以以平均脸来替代人脸，也可以以平均脸为参考，利用对抗生成网络对输入图像进行美化来生成对应的人脸。

本实施例中，相似性比较部分是用于比较输入图像与处理图像两者之间的差异性和相似性。如图2所示，可以是先提取两幅图像中的几何轮廓，然后比较其相似性，具体为提取关键点构成的几何形状，然后比较两个图像几何形状的相似性，以及两个图像的像素差异，再加权输出其得分值。如以人脸为例，我们先根据一些漂亮的面部图像提取出人脸关键点(脸，眼睛，嘴，鼻子等)的几何形状构成人脸的简图，然后比较输入图像与处理图像两个人脸的脸，眼睛，鼻子，眉毛等脸部关键点轮廓的几何相似性来比较两个图像的相似性，同时考虑到图像色彩对于美学评价的影响，因此我们判断图像的相似性可以同时考虑图像中关键点几何形状的相似性和图中值的均方差，给二者一个加权来输出结果，给几何形状的相似性一个大的加权值，给均方误差一个小的加权值；也可以是利用深度学习网络来提取图像特征然后判断相似性等。

本发明相较于现有的直接根据输入图像来评价的方法是不同的，现有的方法是根据输入图像的某些特征来评价图像美学质量高低的，本发明是根据输入图像与对应的“处理图像”的相似性来评价图像美学质量高低的，与现有方法相比降低了模型训练的规模。

Claims (9)

1.一种基于相似度比较的图像评价方法，其特征在于，包括以下步骤：

S1、输入图像，并根据所述输入的图像生成其对应的处理图像；

所述步骤S1中根据所述输入的图像基于人脸关键点生成处理图像包括以下步骤：

A1、判断是否已有预训练的人脸关键点，若有，则进入步骤A4，否则，进入步骤A2；

A2、利用人脸照片构成数据集，并根据所述数据集得到人脸的关键点；

A3、根据所述人脸的关键点将人脸照片进行对齐处理，得到人脸的关键点轮廓；

A4、提取所述输入图像中人脸的68个关键点，并根据所述68个关键点以及所述人脸的关键点轮廓进行图像对齐处理，从而生成处理图像；

S2、将所述输入图像与所述处理图像进行相似度比较，并根据比较结果得到图像的评价信息。

2.根据权利要求1所述的基于相似度比较的图像评价方法，其特征在于，所述步骤A3中图像对齐处理包括以下步骤：

B1、将人脸照片的大小调至512×512，并且将图像中的左右两个眼角的坐标调至(154,171)和(358,171)；

B2、计算与所述左右眼角的两个点构成等边三角形的第三个点及其坐标；

B3、根据步骤B1与步骤B2中的坐标计算得到坐标变换的参数，并根据所述坐标变换的参数更新输入图像；

B4、分别将(0,0)，(256,0)，(511,0)，(0,256)，(0,511)，(256,511)，(511,256)和(511,511)坐标添加至更新后图像中人脸的关键点中，并对人脸的关键点进行Delaunay三角剖分；

B5、将所述剖分结果进行仿射变换，完成图像的对齐处理。

3.根据权利要求2所述的基于相似度比较的图像评价方法，其特征在于，所述步骤B3中坐标变换的表达式如下：

其中，x_new、y_new表示变换后的坐标，s_x表示x方向上输入图像的缩放比例，s_y表示y方向上输入图像的缩放比例，θ表示输入图像的旋转角度，x_old、y_old表示左右两个眼角的坐标，d_x表示x方向上输入图像的平移距离，d_y表示y方向上输入图像的平移距离。

4.根据权利要求1所述的基于相似度比较的图像评价方法，其特征在于，所述步骤S1中根据所述输入的图像基于对抗生成网络生成处理图像包括以下步骤：

C1、判断是否已有训练好的StyleGan网络模型，若有，则进入步骤C4，否则，进入步骤C2；

C2、根据所述输入图像随机生成latent码，并将所述latent码输入至生成器，得到生成图像；

C3、将所述生成图像输入至判别器，并利用损失函数调节参数训练StyleGan网络模型；

C4、利用深度学习网络模型提取所述输入图像的latent码，并将所述输入图像的latent码输入至所述StyleGan网络模型，生成图像；

C5、以所述输入图像和步骤C4生成的图像差异为损失函数，训练latent码提取网络模型；

C6、利用所述输入图像的latent码训练latent码混合网络模型；

C7、利用所述latent码提取网络模型提取各图像中的人脸latent码，并根据所述各图像中的人脸latent码计算得到人脸的latent码；

C8、利用latentnet提取网络提取输入图像的latent码，并将其与所述人脸的latent码利用latent码混合网络模型进行融合，得到融合后的latent码；

C9、将所述融合后的latent码输入至StyleGan网络模型，并由StyleGan网络模型输出处理图像。

5.根据权利要求1所述的基于相似度比较的图像评价方法，其特征在于，所述步骤S2中将所述输入图像与处理图像进行基于图像几何轮廓的相似度和图像均方误差的相似性比较，包括以下步骤：

D1、根据输入图像以及其对应的处理图像分别计算得到输入图像以及其对应的处理图像中人脸关键点构成的几何轮廓g1和g2；

D2、根据所述几何轮廓g1和g2分别计算得到几何轮廓的不变矩，以及输入图像和其对应的处理图像的像素均方差的加权和，并根据所述不变矩和像素均方差的加权和得到输入图像与处理图像的相似度比较。

6.根据权利要求5所述的基于相似度比较的图像评价方法，其特征在于，所述步骤所述输入图像与处理图像的相似度比较y的表达式如下：

y＝a×GeometricCost(g₁,g₂)+(1-a)×MSE(img₁,img₂)

其中，a表示加权系数，GeometricCost(·)表示比较两个图像的几何轮廓的不变矩，g₁表示输入图像img1中关键点构成的几何轮廓，g₂表示处理图像img2中关键点构成的几何轮廓，MSE(·)表示比较两个图像的像素均方差的加权和。

7.根据权利要求1所述的基于相似度比较的图像评价方法，其特征在于，所述步骤S2中将所述输入图像与处理图像进行基于图像相似性比较网络模型的相似性比较，包括以下步骤：

E1、将所述输入图像以及其对应的处理图像进行合并，生成2通道的图像；

E2、利用下采样模块降低所述2通道图像的像素，以及利用区域检测模块提取所述2通道图像的显著区域；

E3、利用卷积神经网络分别对所述经下采样模块处理后的图像以及所述提取的图像的显著区域对进行特征提取；

E4、将经步骤E3进行特征提取后的图像输入至空间金字塔池化层，得到固定大小的输出；

E5、利用全连接层对所述固定大小的输出进行特征拟合，并根据拟合的结果得到相似度比较的结果。

8.根据权利要求7所述的基于相似度比较的图像评价方法，其特征在于，所述图像相似性比较网络模型的损失函数表达式为：

其中，cost_j表示第j次训练输入图像的损失函数值，

表示网络系数的L2正则项，j表示训练的次数，N表示一次训练所选取的样本数，o_i表示深度学习网络模型中第i对训练图像的输出神经元，y_i表示两个输入图像的匹配度，其取值为1或-1。

9.根据权利要求8所述的基于相似度比较的图像评价方法，其特征在于，所述图像相似性比较网络模型包括：数据通道、分别与所述数据通道连接的下采样模块和区域检测模块、与所述下采样模块连接的第一卷积模块、与所述区域检测模块连接的第二卷积模块、分别与所述第一卷积模块和第二卷积模块连接的空间金字塔池化层，以及与所述空间金字塔池化层连接的全连接层；

所述数据通道用于合并输入图像以及其对应的处理图像，并将合并后的图像分别输入至下采样模块和区域检测模块；

所述下采样模块用于将降低合并后图像的像素，并将处理后的图像输入至空间金字塔池化层；

所述区域检测模块用于提取合并后图像信息，并将处理后的图像输入至空间金字塔池化层；

所述空间金字塔池化层用于根据所述下采样模块和区域检测模块所传输的图像信息，得到固定大小的图像，以适应不同尺寸的输入；

所述全连接层用于对所述固定大小的图像进行特征拟合。

Images