CN111488915A - 一种用于中国画分类的端到端的多任务特征融合方法 - Google Patents

Abstract

本发明公开了一种用于中国画分类的端到端的多任务特征融合方法，所述方法包括：构建一个多任务特征融合网络模型，该模型由顶层RGB图像特征学习和底层笔触特征学习两个分支组成，两个分支均以稠密连接网络作为骨干网络；顶层RGB图像特征学习分支以国画的原始图像作为输入，底层笔触特征学习分支以灰度共生矩阵的特征图作为输入，均已端到端的方式学习不同的模态特征；选择多核学习SVM作为最终分类器。本发明解决了中国画分类缺乏大量多样的培训数据，容易出现信息丢失和泛化能力差的问题，且从图像中提取特征需要更多的专业知识。

Description

一种用于中国画分类的端到端的多任务特征融合方法

技术领域

本发明涉及机器学习的计算机领域，尤其涉及一种用于中国画分类的端到端的多任务特征融合方法，通过对图像低级(如边缘、纹理等)信息以及高级(如语义信息等)信息的特征学习，对中国画进行分类。

背景技术

中国艺术，尤其是中国画，作为最古老艺术形式的代表，为世界文化遗产做出了巨大的贡献。然而，如何对这些绘画作品进行有效保护是一个亟待解决的问题。幸运的是，近年来数字媒体和智能信息处理技术的发展，为我们提供了另一种方式，将这些珍贵的古画数字化在互联网上展出。然而，如何有效地管理和进行国画分类一直都是一个具有挑战性的问题。

中国画的分类研究已有几十年的历史，一些研究已经解决了哪些特征应该用在中国画分类中编码信息的问题。大多数关于绘画分类的研究都是利用低层次的特征来编码，比如颜色、阴影、纹理和边缘。经典的关于中国画分类的工作主要有：

1、混合的二维多分辨率隐马尔可夫模型(MHMM)方法。针对图像分块之间的相互依赖关系，Jia等人提出MHMM方法对黑白中国画进行分类。该算法将一维隐马尔可夫模型扩展成二维隐马尔可夫模型，模型中相邻的图像分块在平面两个方向上按条件转移概率进行状态转换，反应出两个维度上的依赖关系，利用二维Viterbi算法，在训练隐马尔可夫模型的基础上，实现对图像进行最优分类。

2、基于颜色和纹理相结合的国画特征提取方法。Berezhnoy等人利用颜色和纹理分析技术设计了一个真实性识别系统。首先通过对收集的国画样本进行预处理；其次，利用人眼对颜色的划分特点，把RGB(红绿蓝)模式图像转化为HSV(色调饱和值)模式，对其H、S、V分量进行非等间隔量化，组成一维特征向量；同时结合惯性比形成图像颜色特征信息，使用灰度共生矩阵算法获取纹理特征信息；最后，通过对比网格搜索、遗传算法(GA)、粒子群算法(PSO)的参数寻优方法，应用网格搜索法对国画图像进行分类。

3、基于底层特征和SVM(支持向量机)分类器的分类算法。Jiang等人提出了一种基于底层特征和SVM分类器的中国画真实感和写意性分类算法。对于一幅图画作品，先利用每个单独的底层特征训练出一个SVM分类器，然后用粒子群优化(Particle SwarmOptimization,PSO)来确定每个分类器的权重，找到最优的参数设置，最后进行投票，对国画图像进行分类。

4、基于笔触特征的国画分类方法。Johnson等人将笔触分析引入到艺术家的识别技术中，因为不同的艺术家通常都有自己的绘画风格。Li等人用统计学方法比较了梵高和他同时代的人，分析了大量自动提取的笔触。

然而，上述方法所获得的识别结果并不令人满意，因为所提取的手工特征用于描绘绘画的内容或笔法信息的表达能力是有限的。这些方法仅仅利用了中国画的一小部分表现属性，并不能完全反映绘画的内在特征。

发明内容

本发明提供了一种用于中国画分类的端到端的多任务特征融合方法，本发明解决了中国画分类缺乏大量多样的培训数据，容易出现信息丢失和泛化能力差的问题，且从图像中提取特征需要更多的专业知识，主要包括以下三点：

一种用于中国画分类的端到端的多任务特征融合方法，所述方法包括：

构建一个多任务特征融合网络模型，该模型由顶层RGB图像特征学习和底层笔触特征学习两个分支组成，两个分支均以稠密连接网络作为骨干网络；

顶层RGB图像特征学习分支以国画的原始图像作为输入，底层笔触特征学习分支以灰度共生矩阵的特征图作为输入，均已端到端的方式学习不同的模态特征；

选择多核学习SVM作为最终分类器。

进一步地，所述顶层RGB图像特征学习分支学习从RGB的角度描述国画特征的高级语义信息。

进一步地，所述底层笔触特征学习分支从灰度共生矩阵的角度描绘对比度、能量、熵和同质性四种纹理特征图；

根据各自的权值将四个特征图线性加权融合，将生成的融合的纹理图像送入以稠密连接为主干网络的笔触信息分支，得到一个1024维的向量。

本发明提供的技术方案的有益效果是：

1、本发明构建了一个新的近现代中国画(MCPs)数据集，这个数据集包含5000幅传统中国画，并附有来自10位著名艺术家的等级注释；

2、本发明提出了一个端到端的多任务体系结构，即MTFFNet来执行分类，两个分支都使用设计良好的DenseNet(Densely Connected Convolutional Networks，稠密连接网络)作为骨干来学习不同的模式特征；

3、本发明首次将GLCM(灰度共生矩阵)模式纳入基于深度学习的绘画分类框架，有助于挖掘纹理特征；

4、本发明使用SVM代替原有的softmax(柔性最大值传输函数)结构，提高了网络的过拟合性和分类精度；

5、本发明进行了全面的实验来验证方法的可行性和有效性。

附图说明

图1为一种用于中国画分类的端到端的多任务特征融合方法的流程图；

图2为齐白石和范曾的画及其对应的GLCM特征图像；

其中，从左到右是依次是原画、对比度、能量、熵、同质性以及特征融合后GLCM特征图像。

图3为在数据集中随机选择的五名艺术家的画作。

其中，每一行代表一位画家的作品，画家有陆俨少、吴昌硕、李晓明、齐白石、范曾。

图4为画家曹简楼和吴昌硕在四种基本网络骨架下的预测概率分布条形图。

其中，网络从左到右为DenseNet169，ResNet50,VGG16,VGG19。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

近年来，随着深度学习的复兴，图像分类领域迅速发展，特别是CNN(卷积神经网络)的出现，极大地提高了分类精准度。然而，由于中国画自身的保存方法和珍贵性，目前还没有适合中国传统绘画的数据集。由于缺乏大量多样的训练数据，这给深度学习技术向中国画分类领域的转移带来了困难。其次，由于中国画的非写实性特点和许多中国画家的艺术作品中所呈现的类似的技法，因此，研究人员通常很难从每一位画家的作品中充分提取出其独特的特征，并进行准确的分类。传统的基于低层结构特征学习算法的图像分类虽然能够提取出一定的图像属性，但在中国画中容易出现信息丢失和泛化能力差的问题。

为了解决上述问题，本发明首先从故宫博物院和天津博物院收集了东晋(公元317年)至今的一万多幅近现代中国画(MCPs)，这个新建立的数据集使得基于深度学习的中国画分类算法成为可能。因为在中国画，尤其是水墨画中，它的纹理承载着笔触信息，能够反映不同画家之间的风格差异，而GLCM是一种能够充分捕捉图像纹理信息的算法。另一方面，DenseNet在大多数图像分类任务中表现卓越。因此，本方法以DenseNet为骨干网络，设计了一种新型的多任务特征融合网络MTFFNet。在这个架构中，两个分支分别以国画的原始图像和GLCM特征图像作为输入，以端到端的方式学习不同的模态特征。这些特征的融合增强了最终描述符的判别能力。然后，为了避免神经网络出现局部极值和过拟合问题，本发明选择SVM代替softmax作为最终分类器，以获得更好的泛化能力。最后，对所提出的MTFFNet方法在所构造的基准数据集上进行了评估。综合实验结果表明，该方法具有较好的准确率，在国画分类任务中取得了较好的效果。

实施例1

本发明实施例提供了一种用于中国画分类的端到端的多任务特征融合方法，参见图1，该方法包括以下步骤：

一、多任务特征融合(MTFFNet)体系结构

一种用于国画分类的多任务特征融合(MTFFNet)体系结构，所提模型MTFFNet如图1所示。

可以看出，整个网络主要由两个任务分支组成，即RGB图像特征学习和笔触特征学习，两者都集成了DenseNet作为骨干网络组成部分。顶层为RGB图像特征学习分支，该任务以国画原始图像为输入，学习从RGB角度描述绘画特征的高级语义信息。底层为笔触信息学习分支，该任务以灰度共生矩阵(GLCM)图像为输入，学习从GLCM角度描绘的图像纹理信息。由于GLCM图像是描述绘画中所包含的笔触的常用方法，因此在笔触信息学习任务中，首先在对绘画的分析基础上生成四种纹理特征图，分别是对比度、能量、熵和同质性特征图，然后，根据分配给它们的各自权值，将这四个特征图线性加权融合在一起。最后，将最终融合结果特征图输入到笔触信息学习分支中。

图2给出两位代表性画家的的原始图像及GLCM特征图和融合后的纹理特征图像。上下两层分支分别经过DenseNet网络堆叠的稠密块(Dense Block)和过渡层(TransitionBlock)充分提取多层特征，然后生成均是1024维的RGB特征向量以及Brush Stroke(笔触)特征向量，经过concat(连接操作)函数得到一个1024维的特征向量，最后将其送入SVM分类器输出画作分类结果。

值得指出的是，相同长度的学习特征可以方便地融合在一起，还可以对这两种特征赋予不同的权重，以强调它们在分类任务中的重要性。在体系结构的最后，使用多核学习SVM作为分类器进行最终的中国画分类。与以往将多核方法应用于图像分类研究的工作不同，本方法得到的是多任务的分类器，而不是二元任务的分类器，因此分类器的最终输出是向量的形式。

二、RGB图像特征学习任务

如前所述，RGB图像特征学习任务利用国画原始图像作为输入来学习高级语义特征。这个任务分支的输出是一个1024维的向量。在本文中，按照He等人之前的工作来设置构建块，堆叠块的数量，以及向下采样的阶段。实验中使用的DenseNet都有四个稠密块，每一个block(块)都有相同的层数。在进入第一个稠密块之前，输入图像先经过了16个卷积。对于3x3的卷积层，使用一个像素的零填充来保证特征图尺寸不变。在两个稠密块之间的过渡层中，在2x2的平均池化层之后增加了1x1的卷积。在最后一个dense block之后，使用全局平均池化和softmax分类器。三个稠密块的特征图的尺寸分别是32x32，16x16，8x8。DenseNet在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层。DenseNet的优点主要包括减轻了梯度消失，更有效地利用了特征并加强了特征的传递，一定程度上较少了参数数量。DenseNet的连接方式使得特征和梯度的传递更加有效，网络也就更加容易训练。每一层都可以直接利用损失函数的梯度以及最开始的输入信息，相当于是一种隐形的深度监督，这有助于训练更深的网络。梯度消失问题在网络深度越深的时候越容易出现，原因就是输入信息和梯度信息在很多层之间传递导致的，而现在这种密集连接相当于每一层都直接连接输入和损失，因此就可以减轻梯度消失现象，这样构建更深的网络不是问题。每层的输出特征图都是之后所有层的输入，因此DenseNet充分提取了图像的特征信息。另外，稠密块的一个优点是它比传统的卷积网络有更少的参数，因为它不需要再重新学习多余的特征图。传统的前馈结构可以被看成一种层与层之间状态传递的算法。每一层接收前一层的状态，然后将新的状态传递给下一层。它改变了状态，但也传递了需要保留的信息。ResNet(Deep Residual Learning for ImageRecognition，残差网络)将这种信息保留的更明显，因为它加入了自身变换。最近很多关于ResNet的研究都表明ResNet的很多层是几乎没有起作用的，可以在训练时随机的丢掉。DenseNet结构中，增加到网络中的信息与保留的信息有着明显的不同。DenseNet的稠密块中每个卷积层都很窄(例如每一层有12个滤波器)，仅仅增加小数量的特征图到网络的“集体知识”(collective knowledge)，并且保持这些特征图不变——最后的分类器基于网络中的所有特征图进行预测。

三、笔触信息学习任务

笔触作为绘画作品的基本组成部分，承载着有关纹理的信息，在绘画分析和分类中起着重要的作用。为了提取纹理信息，使用GLCM生成的特征图作为笔触信息学习任务的输入。

GLCM提供图像灰度方向、间隔和变化幅度的信息。利用GLCM计算对应的特征值，可以反映图像的纹理信息。本方法只提取了四个描述性更强的参数，包括：对比度、能量、熵和同质性。

(1)对比度

对比度反映了图像的清晰度和纹理的深度。灰度差越大表示对比度大的像素对越多，CON(对比度)越大。

其中，Ng为每个像素的灰度量化级别，本实验中Ng取8。P(i,j)为灰度级之间联合概率密度。n为从0到Ng-1的灰度量化级别。

(2)能量

能量是GLCM中所有元素的平方和，反映了灰度分布的均匀性和纹理的厚度。当GLCM中的元素分布比较集中时，ASM(Angular Second Moment，角二阶矩)的值比较大。

(3)熵

熵是图像信息的度量，代表图像纹理的不均匀性或复杂性。当GLCM中的元素分布越离散时，ENT(熵)越大。

(4)同质性

图像纹理的同质性和局部变化均通过以下公式反映。较大的IDM(InverseDifference Moment，逆差距)值表示图像纹理的不同区域之间没有较大变化，局部区域比较均匀。

其中，将每个像素的灰度量化为Ng级别，本实验中Ng取8。灰度级之间联合概率密度P(i,j)，即在给定空间距离和方向时，灰度以i(行)为起始点，出现灰度级j(列)的概率(对频数进行归一化，即除以所有频数之和)。

这四个特征值从不同角度反映了图像的灰度分布和纹理信息。因此，在笔触信息学习任务中，首先生成这四个特征值，形成四种纹理特征图像。然后将这四幅不同权重的图像线性融合成一张纹理特征融合图像。最后，将生成的纹理图像送入以DenseNet为主干网络的笔触信息分支，得到一个1024维的向量。

实施例2

下面结合具体的实验，对实施例1中的方案进行可行性验证，详见下文描述：

1、实验设置

使用深度学习框架tensorflow和keras来实现本发明的模型。MTFFNet使用批处理大小为64张图像的随机梯度下降(SGD)进行训练。按照AlexNet(ImageNet Classificationwith Deep Convolutional Neural Networks)的设置，当前训练迭代次数i的学习率设置为：

其中，p为总迭代次数，保证模型收敛，p设置为100，这样当已经设定好学习速率并训练模型时，只有等学习速率随着时间的推移而下降，模型才能最终收敛。使用LIBSVM(ALibrary for Support Vector Machines)工具箱来实现SVM分类器，使用高斯核函数和梯度优化在参数空间中找到最优值。已经有研究表明，迁移学习在进行绘画作品分类时的表现很好。因此，为了克服样本数量的限制，将在ImageNet数据集上预先训练的DenseNet用于分类实验，然后在数据集上进行微调。

2、数据集

在深度学习时代，训练数据在很大程度上会影响分类模型的性能。由于没有合适的数据集包含大规模和多样性的中国画图像，本发明决定构建一个数据集来评估提出的模型。故宫博物院、天津博物院收藏了曹简楼、范曾、李晓明、陆俨少、潘天寿、齐白石、吴昌硕、徐悲鸿、曾孝廉、朱耷等10位中国著名画家的近5000幅国画，展示了不同的艺术风格。本方法手动标记这些图像，以匹配分类任务。

使用8种数据增强方法来扩充数据集，按照比例7:1:2将数据集分为训练集、验证集和测试集。

3、实验性能比较

在本节中，对提出的模型进行了评估，并与目前最先进的方法进行了比较，其中包括基于深度学习的方法如Saleh等人提出来算法，Tan等人提出的方法，Huang Xingshen的方法，Qian W H的方法和Sheng J C.的方法，传统的基于机器学习的方法Sparse groupLASSO、Decision Tree C4.5和SVM。实验是在建立的中国画数据集上进行的。

表3为8种方法的对比实验结果。可以看出，MTFFNet模型显著优于之前的所有方法，分类准确率达到94.93％。在对比的过程中，使用了与之前实验相同的数据集，并进行了10次随机抽样，得到了最终的结果。

表1 9种方法的对比实验结果

Names	Accuracy(％)
		Saleh et al.	63.06
Tan et al.	76.11
		Huang X	81.87
Qian W H.	82.15
		Sheng J C.	83.32
Sparse group LASSO	82.63
		Decision Tree C4.5	65.52
SVM	74.17
		Our Two-channel DenseNet	94.93

为了验证DenseNet相较于其他骨干网络的优越性，本发明选择了不同层数的DenseNet、ResNet和VGG对不同画家作品进行分类，进一步彰显了DenseNet强大的特征提取能力。所有这些深度学习模型都使用ImageNet进行预处理，以获得更高的精度。表2显示了这些方法用于中国画分类任务所获得的准确率、召回率、F1-score和宏观准确率。

表2不同网络在准确率、召回率、F1-score、宏观准确率方面的性能比较

图4以直方图的形式展示了预测结果。第一行是曹简楼的画和对应的网络预测直方图，第二行是吴昌硕的画和对应的网络预测直方图。这个实验进一步证明了在处理相似外观的图像时，DenseNet比其他网络有能力学习更多的描述特征。

一个重要的问题是是否真的需要笔触信息输入来进行中国画的分类，而SVM是否比softmax更适合这项任务。表3直接比较了本方法以不同网络为骨干和使用不同分类器的多任务体系结构与完全相同而不使用笔触信息输入的单任务体系结构。本方法选择的网络是VGG16,ResNet50和DenseNet169。表3在多任务和单任务上不同网络的精度比较以及同一网络与Softmax或SVM作为分类器在中国画分类任务中的精度比较

Top1 Accuracy	Two-task	RGB task
			VGG16+SVM	94％	93％
VGG16+Softmax	82.9％	80.9％
			VGG19+SVM	92％	90％
VGG19+Softmax	80.2％	78.3％
			ResNet50+SVM	93％	92％
ResNet50+Softmax	82.3％	81.6％
			DenseNet169+SVM	96％	94％
DenseNet169+Softmax	93.4％	92.1％

从表3可以得出以下结论：

(1)无论在两种任务情况下，还是在单一任务情况下，与SVM结合的准确率都明显高于与softmax结合的准确率，这说明SVM在国画分类任务中起到了重要的作用。例如，以VGG16为骨干网络的多任务SVM的准确率为94％，仅比相同条件下的DenseNet低1％。

(2)在相同的实验设置下，与其他网络相比，基于SVM的DenseNet169和Softmax的DenseNet169都获得了最好的性能，这进一步证明了DenseNet学习的底层特征具有更加强大的判别能力。

(3)对于笔触信息对中国画分类的影响，与仅使用RGB图像作为输入的单任务网络相比，融合笔触信息学习的多任务网络的整体准确率更高。笔触信息的整合有助于提高国画分类的性能。多任务网络的整体准确率高于单任务网络，说明本方法提出的笔触信息通道具有一定的作用，整体提升约2％。

综上所述，在中国传统绘画分类任务中，笔触信息是理解绘画纹理特征的重要而有力的工具。然而，目前还没有研究作品考虑到将笔触信息与深度学习相结合来进行中国画的分类。本方法提出了一个端到端的多任务特征融合网络，称为MTFFNet，用于中国画作品分类。该框架由RGB特征信息学习和笔触信息学习两个分支组成，在笔触信息学习分支以GLCM特征图像作为输入来反映纹理特征。此外，使用SVM代替softmax作为分类器，以获得更好的性能。通过与多种最先进的方法进行比较和一系列分解实验，可以说本模型能够达到最先进的水平。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于中国画分类的端到端的多任务特征融合方法，其特征在于，所述方法包括：

构建一个多任务特征融合网络模型，该模型由顶层RGB图像特征学习和底层笔触特征学习两个分支组成，两个分支均以稠密连接网络作为骨干网络；

顶层RGB图像特征学习分支以国画的原始图像作为输入，底层笔触特征学习分支以灰度共生矩阵的特征图作为输入，均已端到端的方式学习不同的模态特征；

选择多核学习SVM作为最终分类器。

2.根据权利要求1所述的一种用于中国画分类的端到端的多任务特征融合方法，其特征在于，所述顶层RGB图像特征学习分支学习从RGB的角度描述国画特征的高级语义信息。

3.根据权利要求1所述的一种用于中国画分类的端到端的多任务特征融合方法，其特征在于，所述底层笔触特征学习分支从灰度共生矩阵的角度描绘对比度、能量、熵和同质性四种纹理特征图；

根据各自的权值将四个特征图线性加权融合，将生成的融合的纹理图像送入以稠密连接为主干网络的笔触信息分支，得到一个1024维的向量。

Images