CN108492294B - 一种图像色彩和谐程度的评估方法及装置 - Google Patents

Abstract

本发明实施例提供了一种图像色彩和谐程度的评估方法及装置，其中方法包括：通过预设的无向图建立初始条件随机场；根据预设样本图像和预设训练算法，对初始神经网络进行训练；利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数；根据关联势函数和所述交互势函数，确定初始条件随机场对应的条件随机场模型；当获取到待评估图像时，将待评估图像切分为多个图像块并输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。本发明实施例提供的图像色彩和谐程度的评估方法，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。

Description

一种图像色彩和谐程度的评估方法及装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像色彩和谐程度的评估方法及装置。

背景技术

从人类历史开始时，在大自然中寻找美丽就吸引了人们的兴趣。如今，作为发现、欣赏、创造美的基本步骤之一，图像美学评估已经得到了研究界和工业界的广泛关注。例如，在图像检索领域，首选的系统除了能返回语义相关性外，还可以返回美观的图像。同样，在图像推荐系统中，人们希望得到具有迷人的构图和和谐色彩的高美学质量照片。

现有技术中，技术人员根据经验选取一些与图像美学评价相关的图像特征描述图像美学质量。例如将光照和色彩、饱和度和色调、三分法、区域组成等多重特征引入到SVM(Support Vector Machine，支持向量机)等相关工具中进行训练，并对目标图像的美学价值进行分类评估。

然而，经验性地提取图像特征来进行美学评估是一项繁琐的工作，严重依赖于技术人员对照相领域知识的理解，技术人员难以选择合适的图像美学评价的图像特征。目前还没有一种通过神经网络对图像的色彩和谐程度进行评估的模型。

发明内容

本发明实施例的目的在于提供一种图像色彩和谐程度的评估方法及装置，以实现自动对图像的色彩的和谐程度进行评估的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种图像色彩和谐程度的评估方法，包括：

通过预设的无向图建立初始条件随机场；

根据预设样本图像和预设训练算法，对初始神经网络进行训练，所述预设样本图像包括高质量预设样本图像和低质量预设样本图像；

利用训练后的神经网络确定所述初始条件随机场的关联势函数及交互势函数；

根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

当获取到待评估图像时，将所述待评估图像切分为多个图像块并输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

可选地，所述根据预设样本图像和预设训练算法，对初始神经网络进行训练，并利用训练后的神经网络确定所述初始条件随机场对应的关联势函数及交互势函数之前，所述方法还包括：

获取多张高质量样本图像和多张低质量样本图像，将所述多张高质量样本图像和所述多张低质量样本图像中的每张图像切分为多个样本图像块；

将所述多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；

将所述多张低质量样本图像对应的样本图像块归类至第二样本图像块集合。

可选地，所述根据预设样本图像和预设训练算法，对初始神经网络进行训练，包括：

从所述第一样本图像块集合中，选取一个样本图像块并标注第一类别标签后，输入初始残差神经网络；或者，从所述第二样本图像块集合中，选取一个样本图像块并标注第二类别标签后，输入至所述初始残差神经网络，对所述初始残差神经网络进行训练，所述第一类别标签和所述第二类别标签不同；

从所述第一样本图像块集合中，选取两个样本图像块并标注第三类别标签后，输入至所述初始孪生神经网络；或者，从所述第二样本图像块集合中，选取两个样本图像块并标注第四类别标签后，输入至所述初始孪生神经网络，对所述初始残差神经网络进行训练；所述第三类别标签和所述第四类别标签不同；所述两个样本图像块属于同一幅样本图像且相邻。

可选地，所述利用训练后的神经网络确定所述初始条件随机场的关联势函数及交互势函数，包括：

利用训练后的残差神经网络，确定所述初始条件随机场的关联势函数，所述关联势函数用于表示一幅图像的其中一个图像块为高质量的置信度；

利用训练后的孪生神经网络，确定所述初始条件随机场的交互势函数；所述交互势函数用于表示一幅图像中，其中一个图像块与其相邻图像块之间的和谐程度；

根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型。

可选地，所述当获取到待评估图像时，根据所述条件随机场模型，计算所述待评估图像的色彩和谐评估值，包括：

当获取到待评估图像时，将所述待评估图像切分为具有均匀大小的多个图像块，将所述具有均匀大小的多个图像块输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

可选地，所述条件随机场模型表示为：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,x_i,x_j)为交互势函数，表示图像块i与邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重。

第二方面，本发明实施例提供了一种图像色彩和谐程度的评估装置，包括：

随机场建立模块，用于通过预设的无向图建立初始条件随机场；

神经网络训练模块，用于根据预设样本图像和预设训练算法，对初始神经网络进行训练；

函数确定模块，用于利用训练后的神经网络确定所述初始条件随机场的关联势函数及交互势函数；

模型确定模块，根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

分数评估模块，用于当获取到待评估图像时，将所述待评估图像切分为多个图像块并输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

可选地，所述装置还包括：

图像切分模块，用于获取多张高质量样本图像和多张低质量样本图像，将所述多张高质量样本图像和所述多张低质量样本图像中的每张图像切分为多个样本图像块；

图像块归类模块，用于将所述多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；以及，将所述多张低质量样本图像对应的样本图像块归类至第二样本图像块集合。

可选地，所述神经网络训练模块，具体用于：

从所述第一样本图像块集合中，选取一个样本图像块并标注第一类别标签后，输入初始残差神经网络；或者，从所述第二样本图像块集合中，选取一个样本图像块并标注第二类别标签后，输入至所述初始残差神经网络，对所述初始残差神经网络进行训练，所述第一类别标签和所述第二类别标签不同；

从所述第一样本图像块集合中，选取两个样本图像块并标注第三类别标签后，输入至所述初始孪生神经网络；或者，从所述第二样本图像块集合中，选取两个样本图像块并标注第四类别标签后，输入至所述初始孪生神经网络，对所述初始残差神经网络进行训练；所述第三类别标签和所述第四类别标签不同；所述两个样本图像块属于同一幅样本图像且相邻。

可选地，所述模型确定模块，具体用于：

利用训练后的残差神经网络，确定所述初始条件随机场的关联势函数；

利用训练后的孪生神经网络，确定所述初始条件随机场的交互势函数；所述关联势函数用于表示一幅图像的其中一个图像块为高质量的置信度；所述交互势函数用于表示一幅图像中，其中一个图像块与其相邻图像块之间的和谐程度；

根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型。

可选地，所述分数评估模块，具体用于：

当获取到待评估图像时，将所述待评估图像切分为多个图像块并输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

可选地，所述条件随机场模型表示为：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重。

本发明实施例提供的一种图像色彩和谐程度的评估方法及装置，建立初始条件随机场，对初始神经网络进行训练，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数，进而根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型，即色彩和谐模型，当需要对图像的和谐程度进行评估时，只需将该图像切分后输入至色彩和谐模型，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像色彩和谐程度的评估方法的一种流程示意图；

图2为本发明实施例中建立无向图的示意图；

图3为基于ResNet卷积神经网络所构建的初始残差神经网络的结构示意图；

图4为基于ResNet卷积神经网络所构建的初始孪生神经网络的结构示意图；

图5为本发明实施例提供的图像色彩和谐程度的评估装置的一种结构示意图；

图6为本发明实施例提供的图像色彩和谐程度的评估装置的另一种结构示意图；

图7为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

现有技术中，技术人员根据经验选取一些与图像美学评价相关的图像特征描述图像美学质量。例如将光照和色彩、饱和度和色调、三分法、区域组成等多重特征引入到SVM(Support Vector Machine，支持向量机)等相关工具中进行训练，并对目标图像的美学价值进行分类评估。然而，经验性地提取图像特征来进行美学评估是一项繁琐的工作，严重依赖于技术人员对照相领域知识的理解，技术人员难以选择合适的图像美学评价的图像特征，致使图像美学评估的准确度不高

色彩是图像的重要特征，色彩和谐程度直接影响着人们对于照片质量的感受。传统的色彩和谐模型大都来自于人工经验，不适用于颜色复杂度高的照片的色彩评估任务。利用机器方法从大量的图片中学习色彩和谐关系是一种更为有效的图像色彩和谐度计算方法。

直接评估一副图像的色彩和谐程度，由于颜色的组合空间过大，通常难以直接建立机器学习建模。但是，一副图像可以看做是图像局部区域的集合，此时，图像的和谐度可以通过这些局部图像区域的和谐程度来表示。而图像局部区域的色彩质量不仅取决于区域内颜色的和谐程度，还取决于其与邻域图像块之间的色彩和谐关系。基于上述分析，本发明提出了一种基于条件随机场的色彩和谐模型，同时考虑影响局部区域色彩和谐度的两种因素。

总体上来说，本发明提供了一种图像色彩和谐程度的评估方法、装置、电子设备及计算机可读存储介质。上述方法可以应用于可以计算处理图像的终端，例如计算机。

利用本发明实施例提供的方法，终端可以将图像划分成多个图像块确定无向图，终端根据无向图建立条件随机场，并用训练后的神经网络确定条件随机场的关联势函数和条件势函数，得到色彩和谐模型。终端根据得到的色彩模型来评估图像美学得分。终端通过表示条件随机场关联势函数的神经网络提取图像块的RGB(Red，Green，Blue，红，绿，蓝)色彩值，计算图像块的色彩和谐性，通过表示条件随机场关联势函数的神经网络提取相邻图像块的RGB(Red，Green，Blue，红，绿，蓝)色彩值，计算相邻图像块的色彩和谐性，再通过条件随机场将图像的多个图像块的色彩和谐性整合在一起，得到图像的美学评估。相比于现有技术，本发明实施例提供的方法，提取图像特征简单，利用神经网络计算准确，可以提高图像美学评估的准确性。

参见图1，图1为本发明实施例的一种图像色彩和谐程度的评估方法流程图，包括如下步骤：

S101，通过预设的无向图建立初始条件随机场。

预设的无向图可以通过一幅预设图片得到，具体地，可以将一幅预设图像划分成多个图像块，每个图像块作为无向图的顶点，顶点的集合作为顶点集，将与其中一个顶点相邻的点确定为该顶点的相邻顶点，一个顶点和一个相邻顶点组成一个无序对，再确定顶点集合中的无序对，将所确定的无序对的集合作为预设无向图的边集。

示例性的，如图2所示将，给定一幅预设图像I，它被大小为K＝m×n的网格划分成小块，每个图像块用i表示，该预设图像对应的无向图可以由G(V，E)表示，其中V表示顶点集，E表示边集，∥V∥＝K。具体地，预设图像通过3×3的网格划分为9个图像块，即∥V∥＝9。边集中的各元素可以由(i，j)表示，表示边集E的每条边(i，j)连接了顶点集V中的2元子集。

假设X＝{x₁,…,x_k}是由集合V索引的一组隐含随机变量，其中每个x_i是色彩和谐质量的标签，表示该集合中的元素具有高美学质量或低美学质量。假设Y＝{y₁,…,y_k}是集合V的观察值，其中每个y_i是顶点i的特征，则可以构建关于G(V，E)的初始随机场来模拟X和Y之间的关系。

S102，根据预设样本图像和预设训练算法，对初始神经网络进行训练。

本发明实施例中，预设样本图像可以为已经被评估过和谐程度的图像，例如该图像为高质量预设样本图像或低质量预设样本图像，然后将预设样本图像输入初始神经网络，利用预设算法对初始神经网络进行训练。初始神经网络可以包括初始残差神经网络和初始孪生神经网络。

本发明实施例中，可以采用ResNet卷积神经网络，如图3所示，其中网络输入的大小是32×32，该神经网络可以由一系列基本构造块构成，每个基本构造块包括一个卷积层和4个残差网络块。网络中的基本构造块重复3次，其中最后两个基本构造块的卷积层的步长为2，其目的是用于下采样。每个基本构造块中的卷积层的输出滤波器数量分别是64，128和256。在最后一个基本构造块之后，再堆叠平均池化层和Softmax层。初始残差神经网络可以基于现有的ResNet卷积神经网络构造，在此不再赘述。

作为本发明实施例一种可选的实施方式，可以在获取多张高质量样本图像和多张低质量样本图像后，将多张高质量样本图像和多张低质量样本图像中的每张图像切分为多个样本图像块，然后将多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；将多张低质量样本图像对应的样本图像块归类至第二样本图像块集合。这样，第一样本图像块集合中的图像块被标注为第一类别标签，例如1；第二样本图像块集合中的图像块被标注为第二类别标签，例如0；然后从两个样本图像块集合中，随机选取一个图像块并将该图像块和气对应的标签输入初始神经网络，初始残差神经网络输出该图像块色彩和谐概率或色彩不和谐概率，从而可以不断对该初始神经网络进行训练。

具体地，终端随机从第一样本图像块集合或者第二样本图像块集合中抽取图像块，输入到初始残差神经网络，训练初始残差神经网络，通过残差神经网络的损失函数，调整残差神经网络的权值，得到训练后的残差神经网络。

本发明实施例中，如图4所示，可以采用两个与图3相同架构的ResNet卷积神经网络构造初始孪生神经网络。该神经网络是一种具有多个相同子网络的神经网络结构，子网络之间的权重彼此共享。在这个架构中，可以将相同的子网络视为多个输入的特征提取器，并且基于所提取的特征值来计算输入之间的相似度。

作为本发明实施例一种可选的实施方式，可以从第一样本图像块集合或第二样本图像块集合中，随机选取一个图像块以及与其相邻的图像块，标注类别标签后，将这两个图像块分别输入初始孪生神经网络的子网络中。标注类别标签可以为第三类别标签，例如1，即表示这两个图像块之间色彩和谐；标注类别标签可以为第四类别标签，例如0，即表示这两个图像块之间色彩不和谐。初始孪生神经网络输出这两个图像块为色彩和谐或不和谐的概率，从而可以不断对该初始孪生神经网络进行训练。

终端随机从正类子集或者负类子集中抽取相同图像的图像块对，输入到初始的孪生神经，训练初始的孪生神经网络，通过孪生神经网络的损失函数调整孪生神经网络中的权值，得到训练后的孪生神经网络。

S103，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数。

终端向训练后的残差神经网络输入图像的图像块i，可以输出该图像块i的色彩和谐概率或色彩不和谐概率，用得到的色彩和谐概率表示该图像块i对应的条件随机场的关联势函数A(x_i,y_i)的值。

终端向训练后的孪生神经网络输入图像中相邻的图像块i和图像块j，计算孪生神经网络的损失函数的值，用孪生神经网络损失函数的值表示图像块i和图像块j对应的条件随机场的交互势函数I(x_i,x_j,y_i,y_j)的值。孪生神经网络的损失函数如下：

式中，l是输入的一对图像块的类别标签；f_i是将y_i作为输入值输入孪生神经网络后得到的输出值；f_j是将y_j作为输入值输入孪生神经网络后得到的输出值；D(f_i,f_j)是f_i与f_j之间的距离，该距离指的是欧氏距离；m是超参数，用于控制不和谐的两个图像块在孪生神经网络输出向量撑起的空间里的最小距离。

本发明实施例的目的之一是确定一幅图像中各图像块为高质量(即色彩和谐)的概率，各图像块为高质量的概率可以用来衡量整张图像的色彩和谐程度。各图像块为高质量的概率可以表示为：

式中，P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率，其由两方面因素决定，即图像块i自身的和谐程度以及其与近邻图像块之间的和谐关系；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，可以是图像块的原始像素，也可以是像素经过特征变换或提取而得到的特征；N(i)表示与第i个图像块相邻的其它图像块，可以为四邻域或者八邻域；x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重。

S104，根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型。

在条件随机场中，给定图像I的观察值Y，其色彩和谐的概率可以通过其所有图像块的概率确定，一幅图像的色彩和谐程度可以用下式表示：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重。

终端通过上述色彩和谐概率和联合分布式计算，得到的计算结果为图像色彩和谐评分，其中联合分布式中，关联势函数的值和交互势函数的值是通过向训练后的残差神经网络和孪生神经网络输入图像相应的图像块得到的。上述图像色彩和谐评分计算的方法为初始条件随机场对应的条件随机场模型，即，色彩和谐模型。

需要说明的是，本发明实施例中，还可以通过对循环神经网络或者其他深度神经网络进行训练，确定关联势函数的值和交互势函数，进而确定初始条件随机场对应的条件随机场模型。

S105，当获取到待评估图像时，将待评估图像切分为多个图像块并输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。

本发明实施例中，当需要对待评估图像的和谐程度进行评估时，可以将该图像切分为多个图像块并输入至上述条件随机场模型，即可得到该图像的色彩和谐评估值，也即，该图像的色彩和谐度分数。

作为本发明实施例一种可选的实施方式，可以将该图像平均切分为多个图像块，各图像块具有均匀大小，然后输入随机条件随机场模型。

本发明实施例提供的一种图像色彩和谐程度的评估方法，建立初始条件随机场，对初始神经网络进行训练，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数，进而根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型，即色彩和谐模型，当需要对图像的和谐程度进行评估时，只需将该图像切分后输入至色彩和谐模型，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。

本发明实施例提供的图像色彩和谐程度的评估装置的一种具体实施例，与图1所示流程相对应，参考图5，图5为本发明实施例的图像色彩和谐程度的评估装置的一种结构示意图，包括：

随机场建立模块201，用于通过预设的无向图建立初始条件随机场。

神经网络训练模块202，用于根据预设样本图像和预设训练算法，对初始神经网络进行训练。

函数确定模块203，用于利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数。

模型确定模块204，根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型。

分数评估模块205，用于当获取到待评估图像时，将待评估图像切分为多个图像块并输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。

可选地，如图6所示，上述装置还包括：

图像切分模块206，用于获取多张高质量样本图像和多张低质量样本图像，将多张高质量样本图像和多张低质量样本图像中的每张图像切分为多个样本图像块。

图像块归类模块207，用于将多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；以及，将多张低质量样本图像对应的样本图像块归类至第二样本图像块集合。

可选地，神经网络训练模块202，具体用于：

从第一样本图像块集合中，选取一个样本图像块并标注第一类别标签后，输入初始残差神经网络；或者，从第二样本图像块集合中，选取一个样本图像块并标注第二类别标签后，输入至初始残差神经网络，对初始残差神经网络进行训练，第一类别标签和第二类别标签不同；

从第一样本图像块集合中，选取两个样本图像块并标注第三类别标签后，输入至初始孪生神经网络；或者，从第二样本图像块集合中，选取两个样本图像块并标注第四类别标签后，输入至初始孪生神经网络，对初始残差神经网络进行训练；第三类别标签和第四类别标签不同；两个样本图像块属于同一幅样本图像且相邻。

可选地，模型确定模块204，具体用于：

利用训练后的残差神经网络，确定初始条件随机场的关联势函数；

利用训练后的孪生神经网络，确定初始条件随机场的交互势函数；关联势函数用于表示一幅图像的其中一个图像块为高质量的置信度；交互势函数用于表示一幅图像中，其中一个图像块与其相邻图像块之间的和谐程度；

根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型。

可选地，分数评估模块205，具体用于：

当获取到待评估图像时，将待评估图像切分为具有均匀大小的多个图像块，将具有均匀大小的多个图像块输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。

可选地，条件随机场模型表示为：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重。

本发明实施例提供的一种图像色彩和谐程度的评估装置，建立初始条件随机场，对初始神经网络进行训练，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数，进而根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型，即色彩和谐模型，当需要对图像的和谐程度进行评估时，只需将该图像切分后输入至色彩和谐模型，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：

通过预设的无向图建立初始条件随机场；

根据预设样本图像和预设训练算法，对初始神经网络进行训练，预设样本图像包括高质量预设样本图像和低质量预设样本图像；

利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数；

根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型；

当获取到待评估图像时，将待评估图像切分为多个图像块并输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。

本发明实施例提供的一种电子设备，建立初始条件随机场，对初始神经网络进行训练，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数，进而根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型，即色彩和谐模型，当需要对图像的和谐程度进行评估时，只需将该图像切分后输入至色彩和谐模型，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，用以执行如下步骤：

通过预设的无向图建立初始条件随机场；

根据预设样本图像和预设训练算法，对初始神经网络进行训练，预设样本图像包括高质量预设样本图像和低质量预设样本图像；

利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数；

根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型；

当获取到待评估图像时，将待评估图像切分为多个图像块并输入至条件随机场模型，计算得到待评估图像的色彩和谐评估值。

本发明实施例提供的一种计算机可读存储介质，建立初始条件随机场，对初始神经网络进行训练，利用训练后的神经网络确定初始条件随机场的关联势函数及交互势函数，进而根据关联势函数和交互势函数，确定初始条件随机场对应的条件随机场模型，即色彩和谐模型，当需要对图像的和谐程度进行评估时，只需将该图像切分后输入至色彩和谐模型，无需人工评估即可计算得到对应的色彩和谐评估值，从而实现自动对图像的色彩和谐程度进行评估。

对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述图像色彩和谐程度的评估方法的装置、电子设备及存储介质，则上述图像色彩和谐程度的评估方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (3)

1.一种图像色彩和谐程度的评估方法，其特征在于，所述方法包括：

通过预设的无向图建立初始条件随机场；

获取多张高质量样本图像和多张低质量样本图像，将所述多张高质量样本图像和所述多张低质量样本图像中的每张图像切分为多个样本图像块；

将所述多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；

将所述多张低质量样本图像对应的样本图像块归类至第二样本图像块集合；

从所述第一样本图像块集合中，选取一个样本图像块并标注第一类别标签后，输入初始残差神经网络；或者，从所述第二样本图像块集合中，选取一个样本图像块并标注第二类别标签后，输入至所述初始残差神经网络，对所述初始残差神经网络进行训练，所述第一类别标签和所述第二类别标签不同；

从所述第一样本图像块集合中，选取两个样本图像块并标注第三类别标签后，输入至初始孪生神经网络；或者，从第二样本图像块集合中，选取两个样本图像块并标注第四类别标签后，输入至所述初始孪生神经网络，对所述初始残差神经网络进行训练；所述第三类别标签和所述第四类别标签不同；所述两个样本图像块属于同一幅样本图像且相邻；

利用训练后的残差神经网络，确定所述初始条件随机场的关联势函数，所述关联势函数用于表示一幅图像的其中一个图像块为高质量的置信度；

利用训练后的孪生神经网络，确定所述初始条件随机场的交互势函数；所述交互势函数用于表示一幅图像中，其中一个图像块与其相邻图像块之间的和谐程度；

根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

所述条件随机场模型表示为：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与其邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重；

根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

当获取到待评估图像时，将所述待评估图像切分为多个图像块并输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

2.根据权利要求1所述的方法，其特征在于，所述当获取到待评估图像时，根据所述条件随机场模型，计算所述待评估图像的色彩和谐评估值，包括：

当获取到待评估图像时，将所述待评估图像切分为具有均匀大小的多个图像块，将所述具有均匀大小的多个图像块输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

3.一种图像色彩和谐程度的评估装置，其特征在于，所述装置包括：

随机场建立模块，用于通过预设的无向图建立初始条件随机场；

图像切分模块，用于获取多张高质量样本图像和多张低质量样本图像，将所述多张高质量样本图像和所述多张低质量样本图像中的每张图像切分为多个样本图像块；

图像块归类模块，用于将所述多张高质量样本图像对应的样本图像块归类至第一样本图像块集合；将所述多张低质量样本图像对应的样本图像块归类至第二样本图像块集合；

神经网络训练模块，用于从所述第一样本图像块集合中，选取一个样本图像块并标注第一类别标签后，输入初始残差神经网络；或者，从所述第二样本图像块集合中，选取一个样本图像块并标注第二类别标签后，输入至所述初始残差神经网络，对所述初始残差神经网络进行训练，所述第一类别标签和所述第二类别标签不同；

从所述第一样本图像块集合中，选取两个样本图像块并标注第三类别标签后，输入至初始孪生神经网络；或者，从所述第二样本图像块集合中，选取两个样本图像块并标注第四类别标签后，输入至初始孪生神经网络，对所述初始残差神经网络进行训练；所述第三类别标签和所述第四类别标签不同；所述两个样本图像块属于同一幅样本图像且相邻；

模型确定模块，用于利用训练后的残差神经网络，确定所述初始条件随机场的关联势函数，所述关联势函数用于表示一幅图像的其中一个图像块为高质量的置信度；

利用训练后的孪生神经网络，确定所述初始条件随机场的交互势函数；所述交互势函数用于表示一幅图像中，其中一个图像块与其相邻图像块之间的和谐程度；

分数评估模块，用于根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

所述条件随机场模型表示为：

式中，P(X|Y)表示一幅图像色彩和谐的概率，X＝{x₁,x₂,…x_Q}，表示Q个图像块的质量标签，其中，Q表示一幅图像中图像块的个数；Y＝{y₁,y₂,…y_Q}，表示Q个图像块的观测特征；x_i表示第i个图像块的质量标签，y_i表示第i个图像块的观测特征，N(i)表示与第i个图像块相邻的其它图像块，x_N(i)表示与第i个图像块相邻的其它图像块的质量标签；P(x_i|y_i,x_N(i))表示图像块i的色彩和谐概率；

P(x_i|y_i,x_N(i))的近似计算方法通过下式得到：

式中，A(x_i,y_i)为关联势函数，表示图像块i自身的和谐程度；I(x_i,x_j,y_i,y_j)为交互势函数，表示图像块i与其邻域图像块j之间的和谐程度；μ表示超参数，表示交互势的权值，用于控制交互势在图像块i的总体色彩和谐度分数中所占的比重；

模型确定模块，具体用于根据所述关联势函数和所述交互势函数，确定所述初始条件随机场对应的条件随机场模型；

分数评估模块，具体用于当获取到待评估图像时，将所述待评估图像切分为多个图像块并输入至所述条件随机场模型，计算得到所述待评估图像的色彩和谐评估值。

Images