CN105894025A - 基于多任务深度学习的自然图像美感质量评估方法 - Google Patents

Abstract

本发明公开了一种基于多任务深度学习的自然图像美感质量评估方法。其中，该方法包括步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对自然图像的美感质量评估。本发明利用语义信息来辅助美感特征的表达学习，从而更加有效地进行美感质量评估，并且设计多种多任务深度学习网络结构来有效地利用美感和语义信息来获得高准确率的图像美感分类。本发明能应用于涉及图像美感质量评估的众多领域，包括图像检索、摄影学及相册管理等。

Description

基于多任务深度学习的自然图像美感质量评估方法

技术领域

本发明涉及模式识别、机器学习及计算机视觉技术领域，特别涉及一种基于多任务深度学习的自然图像美感质量评估方法。

背景技术

随着数字媒体技术和计算机技术的快速发展，人们对计算机视觉、人工智能、机器感知等领域的需求与期盼也越来越高。人们不仅希望计算机能够识别出图像中的物体，给出物体的精确定位等经典的计算机视觉问题，而且开始期望计算机能够像人类视觉系统一样具有更高层次的感知能力。目前，图像美感分析已经引起了越来越多的关注，尤其是图像的美感质量评估。图像美感质量评估就是利用计算机进行智能分析进而判断图像的美感质量。传统的图像美感质量评估方法一般仅仅将图像美感质量评估当作一个孤立的任务去手工设计或使用深度网络学习特征来进行质量评估。这些特征都受到美感这一主观性因素的影响，精度也很难达到用户需求。

对于人类视觉系统，图像的美感质量评估很难作为一个独立的任务，经常伴随着一些其他的视觉感知任务。比如，当人们准备去评价一张图片的美感质量的时候，他们已经理解了这张图片的内容，也就是说他们能够说出他们正在观看的语义信息。同时，多任务学习能够同时学习几个相关的任务，而且已经有大量研究表明多任务学习能够提高部分或全部任务的效果。

有鉴于此，特提出本发明。

发明内容

本发明提供一种基于多任务深度学习的自然图像美感质量评估方法，以解决如何提高自然图像美感质量评估的鲁棒性和精度。

为了实现上述目的，提供以下技术方案：

一种基于多任务深度学习的自然图像美感质量评估方法，所述方法包括：

步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；

步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对所述自然图像的美感质量评估。

本发明利用多任务学习去挖掘更有效的美感特征入手，提出了一种基于多任务深度学习并利用语义信息来辅助美感质量评估的方法，很好地弥补了美感特征表达的缺陷，得到了一种更加鲁棒并且精度更高的美感质量评估结果。本发明还能应用于涉及图像美感质量评估的众多领域，包括图像检索、摄影学及相册管理等。

附图说明

图1为根据本发明实施例的基于多任务深度学习的自然图像美感质量评估方法的流程示意图；

图2为根据本发明实施例的多任务深度卷积神经网络的四种具体实现结构示意图；

图3为根据本发明实施例的具有美感和语义标注的示意图；

图4a为根据本发明实施例的基于多任务深度学习的自然图像美感质量评估结果中分类正确的高质量美感图像示意图；

图4b为根据本发明实施例的基于多任务深度学习的自然图像美感质量评估结果中分类正确的低质量美感图像示意图；

图5为根据本发明一实施例的基于多任务深度学习的自然图像美感质量评估方法的训练和测试阶段的流程示意图。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在不冲突的情况下，本申请实施例及其技术特征可以相互组合而形成技术方案。

本发明实施例的思想要点是：1)本发明实施例提出语义信息的识别是美感评估的一种相关任务，来辅助学习有效的图像美感特征表达；2)本发明实施例提出的多任务深度学习美感质量评估方法以及保持任务间平衡的策略，能够有效利用所有任务的有效信息，提升美感质量评估的精度和鲁棒性；3)本发明实施例提出通过语义信息的辅助和多任务深度学习的方法，说明语义信息在美感质量评估任务中的有效性，更加说明美感质量评估在人类视觉系统中并不是一个孤立的任务。

图1示例性地示出了基于多任务深度学习的自然图像美感质量评估方法的流程。如图1所示，该方法包括：

S101：对自然图像进行基于多任务深度学习的美感和语义特征的自动学习。

S102：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对自然图像的美感质量评估。

本发明实施例基于多任务深度学习并利用语义信息来辅助美感质量评估的方法，很好地弥补了美感特征表达的缺陷，得到了一种更加鲁棒并且精度更高的美感质量评估结果。

下面上述方法进行详细说明。该方法包括步骤S201至步骤S204。

S201：训练数据的美感和语义标注。

大规模的可用数据是采用深度学习的前提条件。本发明实施例中采用的是同时具有美感和语义标签的大规模数据集。由于美感是一个主观性很强的属性，存在明显的个体差异。因此，对于美感的标注，一般采用多人对同一幅图像进行标注，之后取所有人的平均标注作为图像的最终标签。语义是客观的属性，所以标签是比较一致的。如图3所示，其为具有美感和语义标注的示例图像。其中，高表示高美感质量，低表示低美感质量。

S202：对图像进行预处理。

其中，将所有标注的图像采用深度学习神经网络训练之前，需要进行预处理。首先将图像归一化到统一的尺寸(比如256×256)，然后将图像的减去所有图像的均值(这样可以去除光照等的影响)，最后每次训练从图像中随机截取固定大小(比如227×227)的一块区域送入深度学习神经网络。随机截取图像区域的策略可以增加训练样本。其中，所有图像的均值指的是将所有归一化到统一大小的图像在每个像素上的RGB值分别求平均得到的结果。

S203：进行基于多任务深度学习的特征学习和模型训练。

在本步骤中，基于多任务深度学习的特征学习和模型训练是通过深度卷积神经网络来实现的。本发明提出利用语义信息来帮助美感质量评估任务，并将此问题建模为一个多任务深度学习概率模型。

设定X表示预处理后的图像，Y表示图像对应的美感类别标记，Z表示图像对应的语义信息的标记，θ代表多任务深度学习网络底层中美感分类和语义识别任务共有的参数，W代表多任务深度学习网络高层中美感分类和语义识别任务分别的参数W＝[W_a,W_s]，W_a表示多任务深度学习网络中美感分类任务特有的参数，W_s表示多任务深度学习网络中语义识别任务特有的参数。

目标就是通过对参数θ,W,λ寻找求取最优估计值从而使后验概率最大化。

目标函数如下：

$\stackrel{\mathrm{\Λ}}{\mathrm{\θ}},\stackrel{\mathrm{\Λ}}{W},\stackrel{\mathrm{\Λ}}{\mathrm{\λ}}=\underset{\mathrm{\θ},W,\mathrm{\λ}}{\mathrm{argmax}}p(\mathrm{\θ},W,\mathrm{\λ}|X,Y,Z)---\left(1\right)$

其中，λ表示语义识别任务在联合学习过程中的权重系数。p(θ,W,λ|X,Y,Z)表示后验概率。

根据贝叶斯理论，公式(1)中的后验概率p(θ,W,λ|X,Y,Z)可以转换为如下公式：

p(θ,W,λ|X,Y,Z)∝p(Y|X,θ,W_a)p(Z|X,θ,W_s,λ)p(θ)p(W)p(λ) (2)

其中，表示对应美感分类任务的条件概率，表示对应语义识别任务的条件概率，p(θ)、p(W)和p(λ)分别为先验概率。

下面以示例的方式分别介绍公式(2)中的每一项。

1)条件概率p(Y|X,θ,W_a)

在多任务深度学习网络中利用如下公式来求解美感分类任务的条件概率：

$p\left(Y\right|X,\mathrm{\θ},W_a)=\underset{n=1}{\overset{N}{\mathrm{\Π}}}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}1\{y_n=c\}p(y_n=c|x_n,\mathrm{\θ},W_a)---\left(3\right)$

其中，N表示全部的训练样本的个数，n表示第n个样本，n＝1,2,...N，C表示美感质量的类别数，c表示第c种类别，c＝1,2,...C，1{·}为指示函数，当为真时取值为1，当为假时取值为0，y_n表示第n个样本的美感类别标记。x_n表示第n个样本的图像数据。

第n个样本的条件概率p(y_n＝c|x_n,θ,W_a)在多任务深度学习的网络中使用softmax函数来求得，即：

$p(y_n=c|x_n,\mathrm{\θ},W_a)=\frac{\exp \left(W_a^{cT}\right({\mathrm{\θ}}^T{x}_n\left)\right)}{{\mathrm{\Σ}}_{l=1}^C\exp \left(W_a^{lT}\right({\mathrm{\θ}}^T{x}_n\left)\right)}---\left(4\right)$

其中，l表示第l种类别，l＝1,2,...C，表示第c种美感类别对应的网络参数，表示第l种美感类别对应的网络参数，和θ^Τ分别指和θ的转置。

2)条件概率p(Z|X,θ,W_s,λ)

在多任务深度学习网络中利用如下公式来求解语义识别任务的条件概率：

$p\left(Z\right|X,\mathrm{\θ},W_S,\mathrm{\λ})=\underset{n=1}{\overset{N}{\mathrm{\Π}}}\underset{m=1}{\overset{M}{\mathrm{\Π}}}{\left(p{\left(z_n^m=1|x_n,\mathrm{\θ},W_s^m\right)}^{z_n^m}{\left(1-p\left(z_n^m=1|x_n,\mathrm{\θ},W_s^m\right)\right)}^{1-z_n^m}\right)}^{\mathrm{\λ}}---\left(5\right)$

其中，M表示全部的语义属性的个数，m表示第m个语义属性，m＝1,2,...M，表示第n个样本的第m个语义属性的标记，取值为0或1。表示第m个语义属性对应的网络参数。

第n个样本的条件概率在多任务深度学习的网络中使用Sigmoid函数σ(x)＝1/(1+exp(-x))(其中)来求得。

3)先验概率p(θ)、p(W)和p(λ)

与常见的卷积神经网络相同，本发明将参数θ,W都初始化为标准的正态分布，将参数λ初始化为均值为μ，方差为σ²的正态分布。

最后将公式(2)中每一项的公式代入公式(2)中，并取负对数，省略常数项，可得最终的目标函数：

$\begin{array}{c}\underset{\mathrm{\θ},W,\mathrm{\λ}}{\arg \min }\{-\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}1\{y_n=c\}\log \frac{\exp \left(W_a^{cT}\right({\mathrm{\θ}}^T{x}_n\left)\right)}{{\mathrm{\Σ}}_{l=1}^C\exp \left(W_a^{lT}\right({\mathrm{\θ}}^T{x}_n\left)\right)}\\ -\mathrm{\λ}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\left(z_n^m\log \mathrm{\σ}\right(W_s^{mT}\left({\mathrm{\θ}}^T{x}_n\right))+(1-z_n^m\left)\right(1-\log \mathrm{\σ}\left(W_s^{mT}\left({\mathrm{\θ}}^T{x}_n\right)\right)\left)\right)\\ +{\mathrm{\θ}}^T\mathrm{\θ}+W^{T}W+{(\mathrm{\λ}-\mathrm{\μ})}^2\}\end{array}---\left(6\right)$

为了更有效地学习美感特征的表达，本发明提出一种保持目标函数(公式(6))内两个任务间平衡的策略，该策略是通过来实现的。

公式(6)中的第一项是由公式(4)代入的，对应着美感评估任务，是通过softmax函数实现的，而softmax函数的特点是对于每个样本只计算分类正确的那一类的损失。公式(6)中的第二项是由公式(5)代入的，对应着语义识别任务，由于每个样本都有M种语义标注，每种语义识别的任务是通过sigmoid函数实现的，所以对每个样本需要计算M个损失。

为了使两种任务的损失在目标函数的优化中保持平衡，所以将

上述目标函数的优化可以通过多种多任务的卷积神经网络结构来实现，如图2所示。图2中提出了4种(MTCNN#1至MTCNN#3和增强的MTCNN)可以实现的多任务卷积神经网络。其中，MTCNN表示多任务卷积神经网络的缩写。深灰色表示卷积层，浅灰色表示全连接层。MTCNN#1包括美感和语义任务共享的4层卷积层和2层全连接层，还有分别任务独立的一层全连接层；MTCNN#2包括美感和语义任务共享的4层卷积层和任务分别独立的3层全连接层；MTCNN#3包括美感和语义任务共享的2层卷积层，美感任务独立的2层全连接层，和语义任务独立的2层卷积层和3层全连接层；增强的MTCNN美感和语义任务共享的2层卷积层，其中一个美感任务独立的2层全连接层，另一美感任务和语义任务共享的2层卷积层和2层全连接层，和美感和语义任务分别独立的一层全连接层。以图2中的第一种网络MTCNN#1为例来优化目标函数(公式(6))。它包含的由底向上的4层卷积层和2层全连接层是两种任务共享参数的，其中参数由θ表示，最上层的两层全连接层由左向右分别表示美感和语义的特有参数，美感和语义的特有参数分别由W_a和W_s表示。此网络的训练是通过反向传播算法实现的。

S204：将测试图像输入训练好的网络进行美感质量预测。

在测试过程中，将测试图像输入上一步骤训练好的神经网络中，最后输出美感质量的预测和语义类别的预测。由于语义识别只是辅助任务，所以我们在测试的时候只关注美感质量的评估结果。图4a栏表示测试为高美感质量的图像，图4b栏表示测试为低美感质量的图像。

图5示例性地示出了根据本发明一实施例的训练和测试阶段的流程示意图。如图5所示，在训练阶段首先对训练图像进行美感和语义的标注，然后进行图像的预处理，最后将预处理后的图像输入多任务深度卷积神经网络进行特征学习和模型训练；在测试阶段测试图像不需要进行标注，然后进行图像预处理，接着将预处理的测试图像输入在训练阶段已训练好的多任务深度卷积神经网络进行特征提取和美感质量评估和语义识别，最后输出结果。

下面再以一优选实施例来更好地说明本发明。

步骤S301：采集训练数据，并对每幅图像进行美感和语义的标注。

步骤S302：图像预处理。

具体的是将每幅图像归一化到统一大小，比如256×256，并减去均值图像(均值图像指的是将所有归一化到统一大小的图像在每个像素上的RGB值分别求平均得到的结果)，然后随机截取固定大小(比如227×227)的图像区域送入要训练的神经网络。

步骤S303：基于多任务深度学习的特征学习和模型训练。将预处理好的图像，送入事先定义好的卷积神经网络。

步骤S304：将测试图像(如图4)输入训练好的网络进行美感质量预测。

在测试过程中，将测试图像输入上一步骤训练好的神经网络中，最后输出美感质量的预测。

总之，本发明实施例提出了一种新的基于多任务深度学习以及利用语义信息的自然图像美感质量评估方法。本发明实施例很好地利用了语义信息来辅助美感特征的表达学习，得到更加鲁棒，精度更高的美感质量评估性能，进而说明了语义信息对于美感特征学习的有效性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于多任务深度学习的自然图像美感质量评估方法，其特征在于，所述方法包括：

步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；

步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对所述自然图像的美感质量评估。

2.根据权利1所述的方法，其特征在于，所述步骤1包括：利用所述自然图像的语义信息，来进行基于多任务深度学习的美感特征的自动学习。

3.根据权利2所述的方法，其特征在于，所述步骤2包括：

利用以下第一公式对所述自然图像进行基于多任务深度学习的美感分类和语义识别：

$\stackrel{\mathrm{\Λ}}{\mathrm{\θ}},\stackrel{\mathrm{\Λ}}{W},\stackrel{\mathrm{\Λ}}{\mathrm{\λ}}=\underset{\mathrm{\θ},W,\mathrm{\λ}}{\mathrm{argmax}}p(\mathrm{\θ},W,\mathrm{\λ}|X,Y,Z)$

其中，X表示自然图像；Y表示图像对应的美感类别标记；Z表示图像对应的语义信息的标记；θ代表多任务深度学习网络底层中美感分类和语义识别任务共有的参数；W代表多任务深度学习网络高层中美感分类和语义识别任务分别的参数W＝[W_a,W_s]；W_a表示多任务深度学习网络中美感分类任务特有的参数；W_s表示多任务深度学习网络中语义识别任务特有的参数；λ表示语义识别任务在联合学习过程中的权重系数；p(θ,W,λ|X,Y,Z)表示后验概率。

4.根据权利3所述的方法，其特征在于，所述方法还包括：

根据贝叶斯理论，将所述第一公式转换为以下第二公式：

p(θ,W,λ|X,Y,Z)∝p(Y|X,θ,W_a)p(Z|X,θ,W_s,λ)p(θ)p(W)p(λ)

其中，表示对应美感分类任务的条件概率，表示对应语义识别任务的条件概率，p(θ)，p(W)和p(λ)分别为先验概率。

5.根据权利4所述的方法，其特征在于，所述美感分类任务的条件概率通过以下公式来求解：

$p\left(Y\right|X,\mathrm{\θ},W_a)=\underset{n=1}{\overset{N}{\Π}}\underset{c=1}{\overset{C}{\Σ}}1\{y_n=c\}p(y_n=c|x_n,\mathrm{\θ},W_a)$

其中，N表示全部的训练样本的个数，n表示第n个样本，n＝1,2,...N，C表示美感质量的类别数，c表示第c种类别，c＝1,2,...C，1{·}为指示函数，当括号内变量为真时取值为1，当为假时取值为0，y_n表示第n个样本的美感类别标记，x_n表示第n个样本的图像数据；

并且，第n个样本的所述条件概率p(y_n＝c|x_n,θ,W_a)在所述多任务深度学习的网络中使用softmax函数来求得。

6.根据权利4所述的方法，其特征在于，所述语义识别任务的条件概率通过以下公式来求解：

$p\left(Z\right|X,\mathrm{\θ},W_S,\mathrm{\λ})=\underset{n=1}{\overset{N}{\Π}}\underset{m=1}{\overset{M}{\Π}}{\left(p{(z_n^m=1|x_n,\mathrm{\θ},W_s^m)}^{z_n^m}{(1-p(z_n^m=1|x_n,\mathrm{\θ},W_s^m))}^{1-z_n^m}\right)}^{\mathrm{\λ}}$

其中，M表示全部的语义属性的个数；m表示第m个语义属性，m＝1,2,...M；表示第n个样本的第m个语义属性的标记，取值为0或1；表示第m个语义属性的对应的网络参数；

并且，第n个样本的所述条件概率在所述多任务深度学习的网络中使用Sigmoid函数来求得。

7.根据权利3所述的方法，其特征在于，所述方法还包括：

利用以下策略对所述第一公式进行优化：

$\mathrm{\λ}=\frac{1}{M}$

其中，M表示语义标注种类数量。