CN108492290B - 图像评价方法及系统 - Google Patents

Abstract

本发明公开了一种图像评价方法及系统，其中图像评价方法包括：S1、对若干图像进行配对得到配对图像，对图像设置评价分数；S2、利用配对图像和评价分数训练一孪生网络得到图像评价模型；S3、输入评价图像至图像评价模型得到评分。本发明的图像评价方法利用孪生网络训练后得到的图像评价模型对评价图像评价，评价后的评分与真实环境的评价分数之间的均方误差低于1.6，相比于直接利用卷积神经网络进行评价的评分与真实环境的评价分数之间的均方误差为2.53相比，本发明的图像评价方法的评价结果与真实环境的评价差别明显减少，评价更加合理可靠。

Description

图像评价方法及系统

技术领域

本发明属于图像处理领域，尤其涉及一种图像评价方法及系统。

背景技术

随着近年来互联网和信息技术的迅速发展，OTA(在线旅游商)为用户带来了实时的多样化旅游产品和服务，无疑已经成为服务业当中最热门的领域之一。它推动旅游业的创新整合，并作为在线旅游业的缩影成为人们生活不可或缺的一部分。

当客户通过在线OTA平台获得旅游服务和预订旅游产品时，会产生大量的交互式数据。如何防止信息超载问题，帮助客户在越来越多的旅游产品和服务中及时发现自己的需求成为一项值得研究的工作。通过向用户推荐更满意的产品和服务，能够有效地提高用户体验和销售率。

在线预订过程中顾客行为受到多方面因素的影响。对于酒店预订，它们可以是特定酒店的属性，如位置、图像、星级、价格、附加服务等。在这些影响因素中，酒店图片作为一种非常直观的反映酒店质量的信息，对客户的决策起着重要作用。酒店图片作为一种过滤机制，美感度越高的图片意味着酒店的潜在被选择属性也越大，同样会进一步令顾客对酒店的满意度和偏好度有所提升。基于这些原因，将美感度评价较高的酒店图像进行展示是获得顾客忠诚度的重要环节。

特征提取是图像美感评价的关键过程，多年来，尽管已经出现了大量的相关研究成果，但是由于图像信息的复杂多样性以及图像分析处理本身的理论和技术难题，使得对图像美感分析还存在着很多问题：

(1)现有方法大多会对输入图像进行诸如裁剪，调整大小等操作使所有图像归一化至相同尺寸，但对于美感分析来说，图像内容与尺度的变化会严重影响主观美感程度，造成在用由此生成的特征进行美感评价时与真实感受产生较大差异性。

(2)现有美感特征在训练样本不足的情况下效果受到限制，而且并没有针对酒店图片本身的特点及展示环境进行设计。

现有的图像美感评价方法大多将其转化为分类问题，然而图像审美具有很强的主观性，没有统一的评价标准。直接分类法可以较好地区分美感差异比较大的图像，而在美感水平相近的图像上表现较差。

发明内容

本发明要解决的技术问题是为了克服现有技术中的图像评价与环境的评价相差较大的缺陷，提供一种图像评价方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

一种图像评价方法，所述图像评价方法包括：

S1、对若干图像进行配对得到配对图像，对所述图像设置评价分数；

S2、利用所述配对图像和所述评价分数训练一孪生网络得到图像评价模型；

S3、输入评价图像至所述图像评价模型得到评分。

较佳地，所述图像评价方法还包括：

S1’、将所述配对图像中的图像分别进行等比例多尺度转换，并将所述孪生网络的最末端的池化层设置为空间金字塔池化层；

所述步骤S2包括：

将转换后的配对图像的所述评价分数分别对应代入所述孪生网络的子网络得到所述图像评价模型。

较佳地，所述孪生网络包括多个池化层，所述步骤S1’包括：

预设所述图像的长宽转换比例，将所述配对图像中的两张图像以所述长宽转换比例为固定的比例，分别将两张所述图像变换为不同的尺寸。

较佳地，所述步骤S1包括：

从若干所述图像中选取部分图像两两配对得到所述配对图像，每对所述配对图像中的图像的所述评价分数的差值均大于一阈值分数，所述配对图像设置相对评分标签，所述相对评分签用于记录所述配对图像中的两张图像的相对评分。

和/或，

所述步骤S1之前还包括：S01、设置若干所述图像的类别，所述类别包括待评价类；S02、根据若干所述图像以及所述类别训练一卷积神经网络得到图像类别判断模型；所述步骤S2之后还包括：S21、所述图像类别判断模型接收评价图像并判断所述评价图像是否属于所述待评价类的图像，若是，则调用步骤S3；

和/或，

所述图像评价方法还包括：

S4、根据所述评分及预设评分规则显示所述评价图像。

较佳地，所述孪生网络为VGG19模型，所述孪生网络用于根据损失函数通过随机梯度下降法迭代训练所述孪生网络得到图像评价模型，所述损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid函数。

一种图像评价系统，所述图像评价系统包括：

预设模块，所述预设模块用于对若干图像进行配对得到配对图像，对所述图像设置评价分数；

评价模型训练模块，所述评价模型训练模块用于利用所述配对图像和所述评价分数训练一孪生网络得到图像评价模型；

评分模块，所述评分模块用于输入评价图像至所述图像评价模型得到评分。

较佳地，所述图像评价系统还包括转换模块，所述转换模块用于将所述配对图像中的图像分别进行等比例多尺度转换，并将所述孪生网络的最末端的池化层设置为空间金字塔池化层；

所述评价模型训练模块还用于将转换后的配对图像的所述评价分数分别对应代入所述孪生网络的子网络得到所述图像评价模型。

较佳地，所述孪生网络包括多个池化层，所述转换模块还用于预设所述图像的长宽转换比例，将所述配对图像中的两张图像以所述长宽转换比例为固定的比例，分别将两张所述图像变换为不同的尺寸。

较佳地，所述预设模块还用于从若干所述图像中选取部分图像两两配对得到所述配对图像，每对所述配对图像中的图像的所述评价分数的差值均大于一阈值分数，所述配对图像设置相对评分标签，所述相对评分签用于记录所述配对图像中的两张图像的相对评分。

和/或，

所述图像评价系统还包括类别训练模块，所述类别训练模块用于设置若干所述图像的类别，所述类别包括待评价类；还用于根据若干所述图像以及所述类别训练一卷积神经网络得到图像类别判断模型；

所述评价模型训练模块所述图像类别判断模型接收评价图像并判断所述评价图像是否属于所述待评价类的图像，若是，则调用所述评分模块；

和/或，

所述图像评价系统还包括显示模块，所述显示模块用于根据所述评分及预设评分规则显示所述评价图像。

较佳地，所述孪生网络为VGG19模型，所述孪生网络用于根据损失函数通过随机梯度下降法迭代训练所述孪生网络得到图像评价模型，所述损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid函数。

本发明的积极进步效果在于：

本发明的图像评价方法利用若干图像以及评价分数训练孪生网络得到图像评价模型，将评价图像通过图像评价模型进行评价得到评分。本发明的图像评价方法利用孪生网络训练后得到的图像评价模型对评价图像评价，评价后的评分与真实环境的评价分数之间的均方误差低于1.6，相比于直接利用卷积神经网络进行评价的评分与真实环境的评价分数之间的均方误差为2.53相比，本发明的图像评价方法的评价结果与真实环境的评价差别明显减少，评价更加合理可靠。

附图说明

图1为本发明实施例1的图像评价方法的流程图。

图2为本发明实施例2的图像评价系统的模块示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种图像评价方法，图像评价方法可应用于任何类别的图像评价，本实施例应用于酒店图像的评价，图像评价方法可以对任意被判断为酒店类别的图像进行美感度评分。

样本图像库包含了OTA(在线旅行社)网站中的一些酒店图像和公共美学数据集(AADB)中的一些其他类别图像。

如图1所示，图像评价方法包括：

步骤101、设置若干图像的类别，类别包括待评价类；

从样本图像库中选取若干图像，本实施例中的若干图像包括酒店类和非酒店类的图像，每张图像均设置类别标签，类别标签用于标记图像所属的类别，属于酒店图像则设置类别标签为1，反之为0。

步骤102、根据若干图像以及类别训练一卷积神经网络得到图像类别判断模型。

卷积神经网络为一种深度前馈神经网络，利用卷积和池化操作减少了需要训练的参数数目和网络复杂度，通过逐层提取特征具有很强的学习能力和泛化能力，在图片分类、目标检测、图像检索等图像处理领域的研究中都展现了良好的应用前景。

在CNN(卷积神经网络)模型结构设计方面，采用已经在大规模图像分类任务上取得优异效果的VGG19模型来进行图像的相关的特征提取和分类(参考文献：Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale ImageRecognition[J].Computer Science,2014)。使用获得的若干图像和类别标签将已经在ImageNet(一个计算机视觉系统识别项目名称)数据集上训练好的VGG19模型进行微调，即可得到图像类别判断模型。

VGG19包括输入层，相互交替的卷积层和池化层，全连接层，相互交替的卷积层包括了三个卷积层，每个卷积层由多个3X3的卷积核进行叠加。相互交替的卷积层后都跟一个池化层进行下采样。

步骤103、对若干图像进行配对得到配对图像，对图像设置评价分数。

上面步骤选出的若干图像中，每张图像均评价分数标签，评价分数标签用于标记根据图像内容、清晰度、色彩搭配，位置角度等美学法则对图像进行综合美感度的评价分数，可预先设置评价分数的范围，比如评价分数的范围设置为0-10分。

更具体地，从若干图像中选取部分图像两两配对得到配对图像，每对配对图像中的图像的评价分数的差值均大于一阈值分数，配对图像设置相对评分标签，相对评分签用于记录配对图像中的两张图像的相对评分。

对若干图像中的图像进行成对采样，本实施例中，采样选取20对图像，可根据实际需要自由配置配对图像数目。从若干图像中随机选择20张图像，随机再在剩余图像中选取20张与前面已选择的20张图像评价分数相差大于2分的图像构成20组图像对。图像对设置相对评分标签，用于标记两张图像的相对评分，对采样后的每组图像对计算相对评分，比如，若第一张图像评分大于第二张图像则设置相对评分标签为1，反之设置为0。

步骤104、将配对图像中的图像分别进行等比例多尺度转换，并将孪生网络的最末端的池化层设置为空间金字塔池化层。

多尺度转换指固定输入图像的长宽比例，分别将配对图像中的两张图像的一边尺寸变换多种不同的尺寸，比如说，将较短一边的尺寸分别变换为100，300，500后得到转换的图像。

孪生网络为包含两个或者多个相同子网络的神经网络框架，其中相同子网络是指具有相同参数设置的卷积神经网络(Convolutional Neural Network,CNN)，训练过程中的参数更新在两个子网络上共同进行。

本实施例中，孪生网络为VGG19模型，VGG19模型包括多个池化层，为了使VGG19能够适应各种比例的输入图像，VGG19的最末端的池化层设置为空间金字塔池化层。

步骤105、将转换后的配对图像的评价分数分别对应代入孪生网络的子网络得到图像评价模型。

孪生网络为VGG19模型，孪生网络根据损失函数通过随机梯度下降法来迭代训练，逐渐学习到图像与评价分数之间的映射关系。其中损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid(在生物学中常见的S型的函数)函数。

当孪生网络训练完成后，便将其中的VGG19模型作为图像评价模型进行保存。

步骤106、图像类别判断模型接收评价图像并判断评价图像是否属于待评价类的图像，若是，则执行步骤108；若否，则执行步骤107。

步骤107、不对评价图像进行评价。以去除与酒店图像无关的图像。

步骤108、输入评价图像至图像评价模型得到评分。

步骤109、根据评分及预设评分规则显示评价图像。

评分规则可以根据具体使用需求进行预设，可以只显示高于预设评分的图像，或者按照评分大小进行顺序排列。

只显示高于预设评分的图像，可将评分较高的酒店图像在酒店的显示列表页中进行展示，更贴心的考虑用户需求，加快了用户预订酒店的决策过程，提升用户体验。

本实施例的图像评价方法，通过配对评价分数相差较大的图像，并将配对图像经过等比例多尺度转换，能够获得多尺度深层次的特征，相比通用的图像评价方法应用更少的图像样本，就可以获得多尺度深层次的特征，具有更高的运算性能。

本实施例在若干酒店图像上预测的评分与真实环境的美感度的评价分数之间的均方误差为1.56，相比于直接利用CNN网络进行评分预测的2.53有了明显下降。表明本实施例的图像评价方法能够更加充分地利用已有信息来学习更有效的特征，使生成的美感度评分更加合理可靠。

采用图像评价方法能够以酒店自身的较高美感图像为依托，对酒店进行更为有效地展示，从而有效提升了对用户选择酒店的吸引度，节省了用户的筛选时间，从而有效提升了用户OTA网站使用感受，最终对酒店整体的住房率和营收带来了积极的改善。

实施例2

本实施例提供一种图像评价系统，图像评价系统可应用于任何类别的图像评价，本实施例应用于酒店图像的评价，图像评价方法可以对任意被判断为酒店类别的图像进行美感度评分。

样本图像库包含了OTA(在线旅行社)网站中的一些酒店图像和公共美学数据集(AADB)中的一些其他类别图像。

如图2所示，图像评价系统包括：类别训练模块200、预设模块201、转换模块202、评价模型训练模块203、评分模块204、显示模块205。

类别训练模块200用于设置若干图像的类别，类别包括待评价类；还用于根据若干图像以及类别训练一卷积神经网络得到图像类别判断模型。

从样本图像库中选取若干图像，本实话例中的若干图像包括酒店类和非酒店类的图像，每张图像均设置类别标签类别标签用于标记图像所属的类别，属于酒店图像则设置类别标签为1，反之为0。

卷积神经网络为一种深度前馈神经网络，利用卷积和池化操作减少了需要训练的参数数目和网络复杂度，通过逐层提取特征具有很强的学习能力和泛化能力，在图片分类、目标检测、图像检索等图像处理领域的研究中都展现了良好的应用前景。

在CNN(卷积神经网络)模型结构设计方面，采用已经在大规模图像分类任务上取得优异效果的VGG19模型来进行图像的相关的特征提取和分类(参考文献：Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale ImageRecognition[J].Computer Science,2014)。使用获得的若干图像和类别标签将已经在ImageNet(一个计算机视觉系统识别项目名称)数据集上训练好的VGG19模型进行微调，即可得到图像类别判断模型。

VGG19包括输入层，相互交替的卷积层和池化层，全连接层，相互交替的卷积层包括了三个卷积层，每个卷积层由多个3X3的卷积核进行叠加。相互交替的卷积层后都跟一个池化层进行下采样。

预设模块201用于对若干图像进行配对得到配对图像，对图像设置评价分数。

预设模块201还用于从若干图像中选取部分图像两两配对得到配对图像，每对配对图像中的图像的评价分数的差值均大于一阈值分数，配对图像设置相对评分标签，相对评分签用于记录配对图像中的两张图像的相对评分。

上面步骤选出的若干图像中，每张图像均评价分数标签，评价分数标签用于标记根据图像内容、清晰度、色彩搭配，位置角度等美学法则对图像进行综合美感度的评价分数，可预先设置评价分数的范围，比如评价分数的范围设置为0-10分。

对若干图像中的图像进行成对采样，本实施例中，采样选取20对图像，可根据实际需要自由配置配对图像数目。从若干图像中随机选择20张图像，随机再在剩余图像中选取20张与前面已选择的20张图像评价分数相差大于2分的图像构成20组图像对。图像对设置相对评分标签，用于标记两张图像的相对评分，对采样后的每组图像对计算相对评分，比如，若第一张图像评分大于第二张图像则设置相对评分标签为1，反之设置为0。

转换模块202用于将配对图像中的图像分别进行等比例多尺度转换；转换模块还用于202将孪生网络的最末端的池化层设置为空间金字塔池化层。孪生网络包括多个池化层，转换模块还用于预设图像的长宽转换比例，将配对图像中的两张图像以长宽转换比例为固定的比例，分别将两张图像变换为不同的尺寸。

多尺度转换指固定输入图像的长宽比例，分别将图像的一边尺寸变换多种不同的尺寸，比如说，将较短一边的尺寸分别变换为100，300，500后得到转换的图像。

孪生网络为包含两个或者多个相同子网络的神经网络框架，其中相同子网络是指具有相同参数设置的卷积神经网络(Convolutional Neural Network,CNN)，训练过程中的参数更新在两个子网络上共同进行。

本实施例中，孪生网络为VGG19模型，VGG19模型包括多个池化层，为了使VGG19能够适应各种比例的输入图像，VGG19的最末端的池化层设置为空间金字塔池化层。

评价模型训练模块203用于利用配对图像和评价分数训练一孪生网络得到图像评价模型；

更具体地，评价模型训练模块203还用于将转换后的配对图像的评价分数分别对应代入孪生网络的子网络得到图像评价模型。

孪生网络为VGG19模型，孪生网络根据损失函数通过随机梯度下降法来迭代训练，逐渐学习到图像与评价分数之间的映射关系。其中损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid(在生物学中常见的S型的函数)函数。

当孪生网络训练完成后，便将其中的VGG19模型作为图像评价模型进行保存。

评价模型训练模块203图像类别判断模型接收评价图像并判断评价图像是否属于待评价类的图像，若是，则调用评分模块204；若否则不对评价图像进行评价。以去除与酒店图像无关的图像。

评分模块204用于输入评价图像至图像评价模型得到评分。

显示模块205用于对经过评价模块评价得到评分的图像，根据评分及预设评分规则显示评价图像。

评分规则可以根据具体使用需求进行预设，可以只显示高于预设评分的图像，或者按照评分大小进行顺序排列。

只显示高于预设评分的图像，可将评分较高的酒店图像在酒店的显示列表页中进行展示，更贴心的考虑用户需求，加快了用户预订酒店的决策过程，提升用户体验。

本实施例的图像评价系统，通过配对评价分数相差较大的图像，并将配对图像经过等比例多尺度转换，能够获得多尺度深层次的特征，相比通用的图像评价方法应用更少的图像样本，就可以获得多尺度深层次的特征，具有更高的运算性能。

本实施例在若干酒店图像上预测的评分与真实环境的美感度的评价分数之间的均方误差为1.56，相比于直接利用CNN网络进行评分预测的2.53有了明显下降。表明本实施例的图像评价方法能够更加充分地利用已有信息来学习更有效的特征，使生成的美感度评分更加合理可靠。

采用图像评价系统能够以酒店自身的较高美感图像为依托，对酒店进行更为有效地展示，从而有效提升了对用户选择酒店的吸引度，节省了用户的筛选时间，从而有效提升了用户OTA网站使用感受，最终对酒店整体的住房率和营收带来了积极的改善。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种图像评价方法，其特征在于，所述图像评价方法包括：

S1、对若干图像进行配对得到配对图像，对所述图像设置评价分数；

S2、利用所述配对图像和所述评价分数训练一孪生网络得到图像评价模型；

S3、输入评价图像至所述图像评价模型得到评分；

步骤S1包括：从若干所述图像中选取部分图像两两配对得到所述配对图像，每对所述配对图像中的图像的所述评价分数的差值均大于一阈值分数，所述配对图像设置相对评分标签，所述相对评分签用于记录所述配对图像中的两张图像的相对评分。

2.如权利要求1所述的图像评价方法，其特征在于，所述图像评价方法还包括：

S1’、将所述配对图像中的图像分别进行等比例多尺度转换，并将所述孪生网络的最末端的池化层设置为空间金字塔池化层；

所述步骤S2包括：

将转换后的配对图像的所述评价分数分别对应代入所述孪生网络的子网络得到所述图像评价模型。

3.如权利要求2所述的图像评价方法，其特征在于，所述孪生网络包括多个池化层，所述步骤S1’包括：

预设所述图像的长宽转换比例，将所述配对图像中的两张图像以所述长宽转换比例为固定的比例，分别将两张所述图像变换为不同的尺寸。

4.如权利要求1所述的图像评价方法，其特征在于，所述步骤S1之前还包括：S01、设置若干所述图像的类别，所述类别包括待评价类；S02、根据若干所述图像以及所述类别训练一卷积神经网络得到图像类别判断模型；所述步骤S2之后还包括：S21、所述图像类别判断模型接收评价图像并判断所述评价图像是否属于所述待评价类的图像，若是，则调用步骤S3；

和/或，

所述图像评价方法还包括：

S4、根据所述评分及预设评分规则显示所述评价图像。

5.如权利要求1所述的图像评价方法，其特征在于，所述孪生网络为VGG19模型，所述孪生网络用于根据损失函数通过随机梯度下降法迭代训练所述孪生网络得到图像评价模型，所述损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

yⁱ分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid函数。

6.一种图像评价系统，其特征在于，所述图像评价系统包括：

预设模块，所述预设模块用于对若干图像进行配对得到配对图像，对所述图像设置评价分数；

评价模型训练模块，所述评价模型训练模块用于利用所述配对图像和所述评价分数训练一孪生网络得到图像评价模型；

评分模块，所述评分模块用于输入评价图像至所述图像评价模型得到评分；

预设模块还用于从若干所述图像中选取部分图像两两配对得到所述配对图像，每对所述配对图像中的图像的所述评价分数的差值均大于一阈值分数，所述配对图像设置相对评分标签，所述相对评分签用于记录所述配对图像中的两张图像的相对评分。

7.如权利要求6所述的图像评价系统，其特征在于，所述图像评价系统还包括转换模块，所述转换模块用于将所述配对图像中的图像分别进行等比例多尺度转换，并将所述孪生网络的最末端的池化层设置为空间金字塔池化层

所述评价模型训练模块还用于将转换后的配对图像的所述评价分数分别对应代入所述孪生网络的子网络得到所述图像评价模型。

8.如权利要求7所述的图像评价系统，其特征在于，所述孪生网络包括多个池化层，所述转换模块还用于预设所述图像的长宽转换比例，将所述配对图像中的两张图像以所述长宽转换比例为固定的比例，分别将两张所述图像变换为不同的尺寸。

9.如权利要求6所述的图像评价系统，其特征在于，所述图像评价系统还包括类别训练模块，所述类别训练模块用于设置若干所述图像的类别，所述类别包括待评价类；还用于根据若干所述图像以及所述类别训练一卷积神经网络得到图像类别判断模型；

所述评价模型训练模块所述图像类别判断模型接收评价图像并判断所述评价图像是否属于所述待评价类的图像，若是，则调用所述评分模块；

和/或，

所述图像评价系统还包括显示模块，所述显示模块用于根据所述评分及预设评分规则显示所述评价图像。

10.如权利要求6所述的图像评价系统，其特征在于，所述孪生网络为VGG19模型，所述孪生网络用于根据损失函数通过随机梯度下降法迭代训练所述孪生网络得到图像评价模型，所述损失函数为：

其中：m为训练孪生网络配对图像的配对数目，

yⁱ分别为第i个配对图像中的第一张图像、第二张图像的评价分数和配对图像的相对评分，

分别为两个VGG19模型输出的第i个配对图像的评价分数，

计算方法如下：

其中f(·)为激活函数，此处设置为sigmoid函数。

Images