CN101556652A - 一种基于机器学习的中国书画颜色分层分析方法 - Google Patents

Abstract

本发明涉及一种基于机器学习的中国书画颜色分层分析方法，其特征在于：对同类图像样本进行像素级别的颜色分类，建立一组关于颜色集的先验知识；利用所述先验知识对图像进行基于所述颜色集的分层；将图像中包含的语义信息，以各图像区域为载体，层析到各所述颜色层上；实现所述图像的各要素的分割提取；其步骤包括：1)获取数字图像的颜色先验知识；2)用机器学习方法建立颜色分层的原始颜色描述模型；3)对所述原始颜色描述模型进行反馈学习，得到颜色描述模型；4)利用所述颜色描述模型，对输入的书画数字图像进行颜色分层。本发明的方法为实现中国书画作品的各要素的分割提取，如技法、分类、构图、主题，甚至意境等中、高层语义的研究奠定了基础。

Description

一种基于机器学习的中国书画颜色分层分析方法

技术领域

本发明涉及一种模式分析领域，特别是关于一种基于机器学习的中国书画颜色分层分析方法。

背景技术

中国书画作品是中国文化中的重要组成部分，具有独特的艺术创作形式，在世界美术领域中自成体系，独树一帜。20世纪90年代以来，随着计算机技术和图像处理技术的迅速发展，中国书画作品的数字图像获得广泛应用，因此对中国书画作品数字图像的处理和使用受到越来越广泛的关注。

目前对图像的研究主要集中在自然图像领域，且技术相对成熟。其主要研究领域包括基于图像语义的标注和分类，图像分割，图像识别与检索等。这些研究主要是利用图像的全局特征，但考虑到中国书画作品采用“散点透视”的构图方法，且大多使用毛笔作画，具有“以形写神”、“随类赋彩”的艺术特点，即通过色块能表现出图像的结构特征。因此使用对自然图像的全局分析处理方法处理中国书画，其效果受到了一定的限制。

机器学习是研究计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，主要使用归纳、综合的方法。其主要算法包括决策树算法，随机森林算法，人工神经网络(ArtificialNeural Networks-ANN)，SVM(支持向量机)算法，贝叶斯学习算法等。近年来，国内外对有关机器学习的研究和应用取得了长足发展，在国内如泛化能力的研究；监督学习算法向多示例学习算法转化一般准则的研究；在工作流模型设定中的应用；在数据挖掘中的商业应用；基于机器学习的入侵检测技术；人工智能原理在人类学习中的应用等。国外如搜索引擎；PAL计划；汽车自动驾驶；对天文物体的分类等。

在与颜色有关的书画数字图像处理领域，Tang Li于2006年发表的论文“Developing a Shape-and-Composition CBIR Thesaurus for the Traditional ChineseLandscape”中提出的利用中国山水画颜色图表对中国书画中CBIR的应用进行改进。2007年姜磊，钱谦等在论文“中国国画计算机色彩还原系统的研究”中提出的利用国画常用颜色谱在HSV色彩空间上建立国画色彩还原模型。

目前，在中国书画数字图像领域的研究，主要集中在中国书画的色彩还原，山水画布局构图的分析以及书画的分类等方面，而利用机器学习实现的中国书画颜色分层分析方面的研究尚无人涉足。

发明内容

针对上述问题，本发明的目的是提供一种基于机器学习的中国书画颜色分层分析方法。

为实现上述目的，本发明采取以下技术方案：一种基于机器学习的中国书画颜色分层分析方法，其特征在于：对同类图像样本进行像素级别的颜色分类，建立一组关于颜色集的先验知识；利用所述先验知识对图像进行基于所述颜色集的分层；将图像中包含的语义信息，以各图像区域为载体，层析到各所述颜色层上；实现所述图像的各要素的分割提取；其步骤包括：1)获取数字图像的颜色先验知识；2)用机器学习方法建立颜色分层的原始颜色描述模型；3)对所述原始颜色描述模型进行反馈学习，得到颜色描述模型；4)利用所述颜色描述模型，对输入的书画数字图像进行颜色分层。

所述步骤1)分为：a)利用HSV颜色空间的饱和度描述非彩色颜色集；b)利用CIE Lab颜色空间描述彩色颜色集。

所述步骤2)分为：c)利用所述先验知识建立训练样本集；d)基于机器学习方法设计原始颜色描述模型；e)训练所述原始颜色描述模型。

所述步骤3)分为：f)对数字图像进行基于先验知识的聚类分析；g)利用所述聚类分析的数据结果，对所述原始颜色描述模型进行反馈学习。

所述步骤c)中，对于所述非彩色颜色集，先从HSV颜色空间中选取样本数据，再借助RGB颜色空间转换到CIE Lab颜色空间，之后用极坐标(C^*，hab)表示a、b分量；对于所述彩色颜色集，在CIE Lab颜色空间直接用极坐标(C^*，hab)表示a、b分量。

本发明由于采取以上技术方案，其具有以下优点：1、本发明提供了一种能够将整幅书画作品或书画作品局部图像准确地按颜色分层分割的基于机器学习的中国书画颜色分层分析方法，可以实现半监督的反馈学习，从而不断改进优化模型；通过该模型对书画数字图像进行分层描述，符合中国书画的构图特点，相对全局的特征描述子，能更有效的提取书画作品中，包括技法、用色、构图等的高层语义特征。2、本发明提供了一个基于一般书画作品的先验知识建立的原模型，可以利用这种设计思路，进一步结合各类书画作品，逐渐完善颜色分类和颜色集的范围设置，其颜色种类可以根据书画作品的种类进行调整，为书画作品的分类和高层语义的标注奠定了基础。3、本发明通过对书画图像进行分层，可以将图像中包含的色彩、结构，甚至绘画技法等语义信息，以各图像区域为载体，层析到各颜色层上，因此在特定色层上包含同质语义信息的图像区域相对集中，这使得运用传统的图像处理和分析方法即可提取和研究这些特征信息，因此较之现有的书画图像分析方法更加简单。本发明的方法为实现中国书画作品的各要素的分割提取，如技法、分类、构图、主题，甚至意境等中、高层语义的研究奠定了基础；为书画作品的图像检索、分类和自动语义标注等提供了一种全新的研究思路。

附图说明

图1是本发明的流程示意图

图2是本发明的三层BP神经网络的结构图

图3是本发明的分层处理前的样本图像

图4是本发明基于先验知识分割后的红色色层的二值图像

图5是本发明基于先验知识分割后的黄色色层的二值图像

图6是本发明基于先验知识分割后的蓝色色层的二值图像

图7是本发明基于先验知识分割后的绿色色层的二值图像

图8是本发明基于先验知识分割后的白色色层的二值图像

图9是本发明基于先验知识分割后的黑色色层的二值图像

图10是本发明基于先验知识分割后的杂色色层的二值图像

图11是本发明基于先验知识分割后的红色色层图像

图12是本发明基于先验知识分割后的黄色色层图像

图13是本发明基于先验知识分割后的蓝色色层图像

图14是本发明基于先验知识分割后的绿色色层图像

图15是本发明基于先验知识分割后的白色色层图像

图16是本发明基于先验知识分割后的黑色色层图像

图17是本发明基于先验知识分割后的杂色色层图像

图18是本发明聚类分割后的红色色层图像

图19是本发明聚类分割后的黄色色层图像

图20是本发明聚类分割后的蓝色色层图像

图21是本发明聚类分割后的绿色色层图像

图22是本发明选取的图像基于书画颜色模型分层分割前的效果

图23是本发明选取的图像基于书画颜色模型分层分割后红色分层的二值图

图24是本发明选取的图像基于书画颜色模型分层分割后黄色分层的二值图

图25是本发明选取的图像基于书画颜色模型分层分割后蓝色分层的二值图

图26是本发明选取的图像基于书画颜色模型分层分割后绿色分层的二值图

图27是本发明选取的图像基于书画颜色模型分层分割后白色分层的二值图

图28是本发明选取的图像基于书画颜色模型分层分割后黑色分层的二值图

图29是本发明选取的图像基于书画颜色模型分层分割后杂色分层的二值图

图30是本发明选取的图像基于书画颜色模型分层分割后红色分层图像

图31是本发明选取的图像基于书画颜色模型分层分割后黄色分层图像

图32是本发明选取的图像基于书画颜色模型分层分割后蓝色分层图像

图33是本发明选取的图像基于书画颜色模型分层分割后绿色分层图像

图34是本发明选取的图像基于书画颜色模型分层分割后白色分层图像

图35是本发明选取的图像基于书画颜色模型分层分割后黑色分层图像

图36是本发明选取的图像基于书画颜色模型分层分割后杂色分层图像

图37是本发明选取的一幅花鸟画数字图像

图38是本发明选取的图像基于先验知识分层分割后红色分层图像

图39是本发明选取的图像基于先验知识分层分割后黄色分层图像

图40是本发明选取的图像基于先验知识分层分割后蓝色分层图像

图41是本发明选取的图像基于先验知识分层分割后绿色分层图像

图42是本发明选取的图像基于先验知识分层分割后白色分层图像

图43是本发明选取的图像基于先验知识分层分割后黑色分层图像

图44是本发明选取的图像基于先验知识分层分割后杂色分层图像

图45是本发明选取的图像基于书画颜色模型分层分割后红色分层图像

图46是本发明选取的图像基于书画颜色模型分层分割后黄色分层图像

图47是本发明选取的图像基于书画颜色模型分层分割后蓝色分层图像

图48是本发明选取的图像基于书画颜色模型分层分割后绿色分层图像

图49是本发明选取的图像基于书画颜色模型分层分割后白色分层图像

图50是本发明选取的图像基于书画颜色模型分层分割后黑色分层图像

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

目前对于书画数字图像处理领域主要是借助了自然图像处理领域的相关研究方法和思路。对于中国书画数字图像的特征描述子的提取，目前主要集中于图像的全局特征描述，而缺少同质区域粒度级别的视觉特征描述信息。但由于中国书画的绘画技法、构图、用色等的相似性，以及文化历史的传承等因素，使得全局特征的应用受到了一定的限制。而从人眼视觉感知的分析角度出发，区域级别的描述信息可以较好地区分中国书画主体与相应的题跋、印章等语义区域。利用这种语义区域的划分又可以提取更加具有判别力的信息——如印章，辅助中国书画数字图像的语义分类。于是，提取具有高语义概念区分能力的低层视觉特征成为提高中国书画作品数字图像自动分类和标注性能的关键所在。现有的视觉信息处理领域中众多研究成果表明，颜色是描述图像内容的重要特征，在各种图像特征的对比分析中，颜色对于图像分类及标注也是最为有效的一种特征描述，在基于内容的图像检索技术中得到了广泛的应用。因此，建立利用颜色分层描述的模型对于构建区域级的图像特征描述具有重要的研究意义。

在几大类低层视觉特征中，颜色特征占有重要的地位，因为颜色特征具有直观，区分度强等特性，因此在描述中国书画数字图像的语义概念时，颜色特征起到关键作用。而中国书画作品的颜色是有限的，且发展的趋势从“有色走向无色”的。据王绎在《写像秘诀》“采绘章”中记载，唐朝时期颜料的品种达七十二种之多，而到元朝时中国画的颜料就只剩三十多种，而到了二十世纪六七十年代，中国画中常使用的颜色就只有十多种。基于颜色的有限性，可以考虑通过对一定数量的样本书画数字图像进行分析，寻找中国书画作品的基本颜色分类，构造颜色分层的先验性知识。对一幅书画数字图像进行分层。

为便于分类研究，本发明首先将中国书画的色彩大致分为六类，即红色类，绿色类，蓝色类，黄色类，白色类和黑色类，作为机器学习(Machine Learning)的先验知识，其中白色类中包括浅色和纯白色。之后根据颜色先验知识建立基于机器学习的原始颜色描述模型，对书画数字图像进行基于先验知识的聚类分析，利用聚类分析提供的数据，进行学习反馈。通过不断改进原始颜色描述模型，进而得到不断完善的基于机器学习的中国书画颜色分层的颜色描述模型，实现对中国书画数字图像中包含的颜色信息进行精确的分层。

本发明利用统计学的方法，结合CIE Lab颜色空间和HSV颜色空间的分布以及中国书画色彩运用和颜料使用演进的调查分析，通过对836幅不同时期、不同类型的中国书画作品进行统计分析，将中国书画作品的颜色分成如下六个颜色集：红色颜色集，主要为书画作品的印章以及红色颜料所绘对象，如鸟嘴、红花等。绿色颜色集，主要为书画作品中绿颜色对象，如树叶等。蓝色颜色集，主要为书画作品中蓝颜色的对象，如羽毛等。黄色颜色集，主要为书画作品中黄颜色的对象，如石山等。白色颜色集，主要为书画作品的浅色背景，如花鸟画和山水画的浅色背景、留白等。黑色颜色集，主要为书画作品的书法、题跋、水墨对象以及水墨勾画的对象轮廓等。也可以根据不同的书画种类，如花鸟、人物或工笔和写意等重新划分，且颜色集的数目也不一定为6。

本发明方法的总体思路如下：

首先，基于一定数量的同类书画数字图像样本进行像素级别的颜色分类，建立相应的一组关于颜色集的先验知识。利用上述先验知识对书画数字图像进行基于颜色集的分层，即将属于同一颜色集的图像像素层析到相应的色层中。

其次，考虑到中国书画的绘画技法，以及颜色运用等的特点，如上述先验知识设计合理，则在各色层上会形成一些位置相邻的像素集，即图像区域，且这些图像区域对于整幅图像而言，孤立且闭合。则通过上述方法对书画数字图像进行分层后，可以将图像中包含的色彩、结构，甚至绘画技法等语义信息，以各图像区域为载体，层析到各颜色层上。于是在特定色层上包含同质语义信息的图像区域相对集中，这使得运用传统的图像处理和分析方法即可提取和研究这些特征信息，较之现有方法变得相对简单。为实现中国书画作品的各要素的分割提取，如技法、分类、构图、主题，甚至意境等中、高层语义的研究奠定了基础。为书画作品的图像检索、分类和自动语义标注等提供了一种全新的研究思路。

最后，本发明方法考虑到基于先验知识的分层方法具有一定的局限性，还通过特定颜色空间的聚类分析方法对所获得的书画作品进行分析。将分析的结果利用机器学习的方法对基于先验知识的颜色分层模型进行改进，使模型逐渐趋于合理。

如图1所示，颜色分层分析模型的建立和学习过程步骤如下：

1、获取书画数字图像的颜色先验知识：

1)利用HSV颜色空间的饱和度描述非彩色颜色集

计算机中图像颜色的描述一般采用RGB颜色空间，但是RGB颜色空间是一种亮度和色调混合的颜色空间，不适合对彩色进行分类和表示。本发明采用CIELab颜色空间进行各颜色集的描述，而由于黑色和白色颜色集属于非彩色颜色集，在CIE Lab颜色空间中不能有效描述，因此采用HSV颜色空间的饱和度来区分非彩色颜色集的黑色颜色集和白色颜色集。从RGB到HSV颜色空间的转换关系为：

$S=\left\{\begin{array}{cc}0,& V=0\\ \frac{D}{V},& V\≠0\end{array}\right.$

V＝max(R，G，B)

V₀＝min(R，G，B)

其中，D＝V-V₀，H∈[0，360]，S∈[0.0，1.0]，V∈[0.0，1.0]，H、S、V和R、G、B分别为HSV颜色空间和RGB颜色空间中对应颜色分量。综上所述，中国书画作品非彩色颜色集在HSV颜色空间的先验知识如下：

黑色颜色集：S≤0.1，V≤0.6；

白色颜色集：S≤0.1，V≥0.7。

2)利用CIE Lab颜色空间描述彩色颜色集

计算机中图像颜色的描述一般采用RGB颜色空间，本发明针对在CIE Lab颜色空间描述的中国书画数字图像颜色分层模型，将输入的书画数字图像进行图像空间的转换。即借助XYZ颜色空间，将书画数字图像由RGB颜色空间转换到CIE Lab颜色空间。从RGB到XYZ颜色空间的转换关系因依推荐标准而异，本实例采用在标准光源D65(即色温为6504°K的日光)下的转换关系：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.412411& 0.357585& 0.180454\\ 0.212649& 0.715169& 0.072182\\ 0.019332& 0.119195& 0.950390\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，X、Y、Z和R、G、B分别为各自颜色空间中对应颜色分量；再由XYZ到CIE Lab有以下转换关系：

L＝116f(Y/Y₀)-16

a＝500[f(X/X₀)-f(Y/Y₀)]

b＝200[f(Y/Y₀)-f(Z/Z₀)]

其中，L、a、b为CIE Lab颜色空间中的各分量，X₀，Y₀，Z₀是XYZ国际坐标制中参考白点的三色刺激值。在函数f(t)中，当t＞(6/29)³时，

f(t)＝t^1/3

否则，

$f\left(t\right)=\frac{1}{3}{\left(\frac{29}{6}\right)}^{2}t+16/116$

将图像在CIE Lab空间中每个像素点的a和b分量使用其极坐标(C^*，hab)表示：

$C^{*}=\sqrt{a^2+b^2}$

hab＝arctan(b/a)

综上所述，中国书画作品颜色集在CIE Lab颜色空间的先验知识如下：

红色颜色集：5≤L≤90，9≤C^*，330≤hab或0≤hab≤50；

黄色颜色集：L≤98，9≤C^*，61≤hab≤100；

蓝色颜色集：5≤L≤90，9≤C^*，180≤hab≤330；

绿色颜色集：20≤L≤90，9≤C^*，101≤hab≤180。

2、用机器学习方法建立颜色分层的原始颜色描述模型

a)利用先验知识建立训练样本集

根据先验知识，在各颜色集上随机取10000个样本数据，作为建立原始颜色描述模型的训练样本集，为书画数字图像的颜色分层奠定基础。对于彩色颜色集(红、黄、蓝、绿)，在CIE Lab颜色空间直接选取样本数据，并将a、b分量用极坐标(C^*，hab)表示；对于非彩色颜色集(黑、白)，需在HSV颜色空间中选取样本数据，并将其借助RGB颜色空间转换到CIE Lab颜色空间，并将a、b分量用极坐标(C^*，hab)表示。

从HSV颜色空间到RGB颜色空间的转换关系是：

$f=\frac{H}{60}-h$

u＝V×(1-S)

v＝V×(1-f×S)

w＝V×(1-(1-f)×S)

对于RGB颜色空间中的每个颜色分量(R，G，B)，

$(R,G,B)=\left\{\begin{array}{c}(V,w,u),\mathrm{ifh}=0\\ (v,V,u),\mathrm{ifh}=1\\ (u,V,w),\mathrm{ifh}=2\\ (u,v,V),\mathrm{ifh}=3\\ (w,u,V),\mathrm{ifh}=4\\ (V,u,v),\mathrm{ifh}=5\end{array}\right.$

其中，H、S、V和R、G、B分别为HSV颜色空间和RGB颜色空间中对应颜色分量。

b)设计原始颜色描述模型

本实施例选用按误差逆传播算法训练的三层BP神经网络，网络结构为：输入层、隐层和输出层。模型也可采用其他类型的神经网络，或其他机器学习算法，如支持向量机(SVM)、决策树、序列分析、k近邻等方法重新构建模型。在本实施例中，通过比选，训练函数选用Levenberg Marquardt的BP算法训练函数trainlm，隐层传递函数选用正切S型传递函数tansig，输出层传递函数采用线性传递函数purelin，学习函数采用梯度下降动量学习规则learngdm，性能分析函数采用均方差性能分析函数MSE：

$\mathrm{MSE}=\frac{1}{n_{\mathrm{out}}p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})}^2$

其中，n_out为输出层神经元的个数，p为训练样本数目，

为网络期望输出值，y_ij为网络实际输出值。MSE函数描述网络输出和目标输出之间的均方误差。

如图2所示，根据三层BP神经网络的隐层神经元个数n的经验公式、输出层神经元个数n_out公式以及实验数据综合优化结果得到，当神经网络的输入层神经元个数n_in＝3、隐层神经元个数n＝11、输出层神经元个数n_out＝3时，神经网络的训练过程收敛且较稳定。输入样本的CIE Lab空间的分量表示：(L，C^*，hab)；输出输入样本所属的颜色层标号，用三位二进制数表示，例如颜色层1的三位二进制为001。

隐层神经元个数经验公式：

$n=\sqrt{n_{\mathrm{in}}+n_{\mathrm{out}}}+t$

其中，n为隐层神经元数；n_in为输入层神经元数；n_out为输出层神经元数；t为1～10之间的常数。

输出层神经元个数经验公式：

则网络的输出是m的二进制编码，其中，m为输出的类别模式数，即色层数目，本实施例中m＝6。

c)训练颜色分层的原始颜色描述模型

根据步骤a)中选取的训练样本集，通过步骤b)BP神经网络的首次学习，记录学习到的权值系数，得到用于描述颜色集的原始颜色描述模型。即将样本数据的L分量和a、b分量极坐标(C^*，hab)输入BP神经网络，逐样本进行网络计算，采用最速下降法学习规则通过反向传播不断修正调整权值和阈值进行学习训练，当输出层误差平方和小于指定误差E或学习次数大于设定的最大学习次数M时，训练过程结束，输出原始颜色描述模型。本发明的实施例中，指定误差E为0.001，最大学习次数M为100。

下面通过实施例，对原始颜色描述模型的训练过程进行进一步说明，其步骤如下：

①网络初始化

输入步骤a)中所述的训练样本集，为各连接权值分别赋值，设定误差函数为均方差性能分析函数MSE，指定误差E＝0.001和最大学习次数M＝100。根据：

$\mathrm{MSE}=\frac{1}{n_{\mathrm{out}}p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})}^2$

其中，p为训练样本数目， ${\tilde{y}}_{\mathrm{ij}}=({\tilde{y}}_{i1},{\tilde{y}}_{i2},\·\·\·,{\tilde{y}}_{{\mathrm{in}}_{\mathrm{out}}})$ 为网络期望输出值， $y_{\mathrm{ij}}=(y_{i1},y_{i2},\·\·\·,y_{{\mathrm{in}}_{\mathrm{out}}})$ 为网络实际输出值，n_out为输出层神经元个数。

②选取第i个输入样本数据x_in(i)及其对应的期望输出

i＝1，2，…，p，j＝1，2，…，n_out。本实施例中，n_out＝3，则有：

x_in(i)＝(L(i)，C^*(i)，hab(i))

${\tilde{y}}_{\mathrm{ij}}=({\tilde{y}}_{i1},{\tilde{y}}_{i2},{\tilde{y}}_{i3})$

其中，

分别为x_in(i)所属的颜色层标号的二进制数。如输出

为0，

为1，为1，则x_in(i)的颜色标号为3，属于第3颜色层。

③计算隐层各神经元的输入H_in，h和输出H_out，h

$H_{\mathrm{in},h}\left(i\right)=\underset{q=1}{\overset{n_{\mathrm{in}}}{\mathrm{\Σ}}}{w}_{\mathrm{in},\mathrm{qh}}{x}_q\left(i\right)-b_h$

H_out，h(i)＝f(H_in，h(i))

$y_{\mathrm{in},j}\left(i\right)=\underset{h=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{out},\mathrm{hj}}{H}_{\mathrm{out},h}\left(i\right)-b_j$

y_ij＝f(y_in，j(i))

其中，n_in为输入层神经元数，n为隐层神经元数，n_out为输出层神经元数；w_in，qh为输入层与隐层的权值，w_out，hj为隐层与输出层的权值，h＝1，2，…，n；b_h为隐层各神经元的阈值，b_j为输出层各神经元的阈值，j＝1，2，…，n_out，x_q(i)为输入层各神经元的输入，q＝1，2，…，n_in，y_in，j(i)是输出层神经元的输入。

④利用步骤b)中的网络期望输出值

和网络实际输出值y_ij，计算误差函数MSE对输出层各神经元的偏导数δ_out(i)

$\frac{\∂\mathrm{MSE}}{\∂w_{\mathrm{out},h}}=\frac{\∂\mathrm{MSE}}{{\∂y}_{\mathrm{in},j}\left(i\right)}\frac{\∂y_{\mathrm{in},j}\left(i\right)}{\∂w_{\mathrm{out},h}}$

$\frac{\∂y_{\mathrm{in},j}\left(i\right)}{\∂w_{\mathrm{out},h}}=\frac{\∂(\underset{h=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{out},h}{H}_{\mathrm{out},h}\left(i\right)-b_j)}{\∂w_{\mathrm{out},h}}=H_{\mathrm{out},h}\left(i\right)$

$\frac{\∂\mathrm{MSE}}{\∂y_{\mathrm{in},j}\left(i\right)}=\frac{\∂\left(\frac{1}{n_{\mathrm{out}}p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})}^2\right)}{\∂y_{\mathrm{in},j}\left(i\right)}=-({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}}){y_{\mathrm{ij}}}^{\′}$

$=-({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})f^{\′}\left(y_{\mathrm{in},j}\left(i\right)\right)-{\mathrm{\δ}}_{\mathrm{out}}\left(i\right)$

⑤利用隐层到输出层的连接权值w_out，h(i)、w_in，h(i)，输出层各神经元的偏导数δ_out(i)和隐层的输出H_out，h(i)，计算误差函数MSE和隐层各神经元的偏导数δ_h(i)

$\frac{\∂\mathrm{MSE}}{\∂w_{\mathrm{out},h}\left(i\right)}=\frac{\∂\mathrm{MSE}}{\∂y_{\mathrm{in},j}\left(i\right)}\frac{\∂y_{\mathrm{in},j}\left(i\right)}{\∂w_{\mathrm{out},h}\left(i\right)}=-{\mathrm{\δ}}_{\mathrm{out}}\left(i\right)H_{\mathrm{out},h}\left(i\right)$

$\frac{\∂\mathrm{MSE}}{\∂w_{\mathrm{in},h}\left(i\right)}=\frac{\∂\mathrm{MSE}}{\∂H_{\mathrm{in},h}\left(i\right)}\frac{\∂H_{\mathrm{in},h}\left(i\right)}{\∂w_{\mathrm{in},h}\left(i\right)}$

$\frac{\∂H_{\mathrm{in},h}\left(i\right)}{\∂w_{\mathrm{in},h}\left(i\right)}=\frac{\∂(\underset{h=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{in},h}\left(i\right)x_q\left(i\right)-b_j)}{\∂w_{\mathrm{in},h}\left(i\right)}=x_q\left(i\right)$

$\frac{\∂\mathrm{MSE}}{\∂H_{\mathrm{in},h}\left(i\right)}=\frac{\∂\left(\frac{1}{n_{\mathrm{out}}p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})}^2\right)}{\∂H_{\mathrm{out},h}\left(k\right)}\frac{\∂H_{\mathrm{out},h}\left(i\right)}{\∂H_{\mathrm{in},h}\left(i\right)}$

$=-\left(\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{out}}\left(i\right)w_{\mathrm{out},h}\left(i\right)\right)f^{\′}\left(H_{\mathrm{in},h}\left(i\right)\right)-{\mathrm{\δ}}_n\left(i\right)$

⑥利用输出层各神经元的输出层偏导数δ_out(i)和隐层各神经元的输出H_out，h(i)来修正连接权值w_out，h(i)。

$\mathrm{\Δ}{w}_{\mathrm{out},h}\left(i\right)=-\mathrm{\μ}\frac{\∂\mathrm{MSE}}{\∂w_{\mathrm{out},h}\left(i\right)}=\mathrm{\μ}{\mathrm{\δ}}_{\mathrm{out}}\left(i\right)H_{\mathrm{out},h}\left(i\right)$

w_out，h ^N+1(i)＝w_out，h ^N(i)+ηδ_out(i)H_out，h(i)

其中，N为学习次数，最大学习次数为M，μ、η各为学习率参数。

⑦利用隐层各神经元的偏导数δ_h(i)和输入层各神经元的输入x_q(i)来修正连接权值w_in，h(i)。

$\mathrm{\Δ}{w}_{\mathrm{in},h}\left(i\right)=-\mathrm{\μ}\frac{\∂\mathrm{MSE}}{\∂w_{\mathrm{in},h}\left(i\right)}=-\mathrm{\μ}\frac{\∂\mathrm{MSE}}{\∂H_{\mathrm{in},h}\left(i\right)}\frac{\∂H_{\mathrm{in},h}\left(i\right)}{\∂w_{\mathrm{in},h}\left(i\right)}={\mathrm{\δ}}_h\left(i\right)x_q\left(i\right)$

w_in，h ^N+1(i)＝w_in，h ^N(i)+ηδ_h(i)x_q(i)

⑧计算全局误差ξ

$\mathrm{\ξ}=\mathrm{MSE}=\frac{1}{n_{\mathrm{out}}p}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{\mathrm{out}}}{\mathrm{\Σ}}}{({\tilde{y}}_{\mathrm{ij}}-y_{\mathrm{ij}})}^2$

⑨判断全局误差ξ是否满足要求。若全局误差ξ达到预设精度E＝0.001，或训练次数大于设定的最大次数M＝100，则结束训练过程。否则，选取下一个训练样本及对应的期望输出返回到第③步，进入下一轮训练。以此不断修正参数，降低原始颜色描述模型的全局误差ξ。

3、对颜色分层的原始颜色描述模型进行反馈学习：

i)对书画数字图像进行基于先验知识的聚类分析

首先应将提交的书画数字图像样本，进行颜色空间的转换，根据先验知识进行图像分层。根据步骤1)和2)中各颜色集的范围，将样本图像从RGB颜色空间分别转化到HSV颜色空间和CIE Lab颜色空间，根据像素点的颜色取值建立各颜色层对应的掩码矩阵mask，具体方法如下：

根据先验知识建立颜色集φ＝{β_l}，本实施例中l＝1，2，...，6。建立与β₁，β₂，...，β₆一一对应的掩码矩阵(mask_l)_C×D，其中C为书画数字图像的垂直方向的最大像素数，D为书画数字图像的水平方向的最大像素数。先将各掩码矩阵mask_l中的元素均初始化为0。

设φ＝{β₁，β₂，...，β₆}，对一幅书画数字图像进行逐像素点判断，若像素点f_cd属于φ，则进一步判断，其中c∈[1，C]，d∈[1，D]。若判断得知像素点f_cd属于某一颜色集β_l，则将与之对应的掩码矩阵mask_l中的第c行，第d列个元素置为1；若像素点f_cd不属于φ，则将其作为暂时不能识别的颜色归入第7个色层，即杂色层的掩码矩阵。

对如图3所示的书画数字图像，按上述方法建立相应的掩码矩阵。图4～图10所示，根据各颜色层的掩码矩阵mask_l可得各颜色层的二值图像。如图11～图17所示，在RGB颜色空间上利用上述的各层二值图像与原图像按像素点做与运算，可以得到图像的各颜色集图层。从各颜色集图层中可以看出，单纯利用先验知识进行分层的效果并不理想。因此本实施例采用聚类分析的方法进行修正，考虑到非彩色图层(黑色和白色图层)的特殊性，使非彩色图层不参与聚类计算。若一些彩色图层(如红、黄、蓝、绿，4个颜色的彩色图层)中不包含像素点，则认为该图层不存在。

设上述处理后所得的颜色图层数为m，将m作为聚类中心数，对去除了黑、白两类颜色的样本图像进行聚类分割。本实施例对于CIE Lab颜色空间的L、a和b三个分量采用Kmeans聚类分割方法，除此之外也可采用其他聚类分析方法，如模糊聚类(FCM)，基于蚁群的聚类方法、k-medoids、DBSCAN、ROCK方法等。Kmeans聚类分割方法步骤如下：

I)将图像转换到CIE Lab空间，针对各个像素点的L、a、b分量给出p个混合样本X_k，k＝1，2，...，p，X_c(d-1)+d＝(M_L(c，d)，M_a(c，d)，M_b(c，d))。其中，p＝C×D，M_L(c，d)为去除非彩色图层的样本图像在CIE Lab颜色空间的L分量矩阵，M_a(c，d)为去除非彩色图层的样本图像在CIE Lab颜色空间的a分量矩阵；M_b(c，d)为去除非彩色图层的样本图像在CIE Lab颜色空间的b分量矩阵。

II)令I＝1，初始化m个初始聚类中心Z_g(I)，g＝1，2，3，...，m

Z_g(I)＝[L_g，a_g，b_g]

其中，L_g，a_g，b_g分别为第g层图像中像素点在CIE Lab空间下三分量的均值。

III)计算每个样本X_k与聚类中心Z_g(I)的距离δ(X_k，Z_g(I))，δ(X_k，Z_g(I))为欧氏空间的距离，即δ(X_k，Z_g(I))＝||X_k-Z_g(I)||，即为像素点之间的色度差。如果δ(X_k，Z_g(I))满足δ(X_k，Z_g(I))＝min{δ(X_k，Z_g(I))，k＝1，2，...，p}，则X_k∈β_l，β_l为第l个颜色聚类集，其中l＝1，2，...，m，m为颜色图层数目。

IV)计算m个新的聚类中心Z_g(I+1)与新的类间离散度之和为聚类判别准则函数J(I+1)：(其中，n_g是为第g个颜色聚类集中的样本数)

$Z_g(I+1)=\frac{1}{n_g}\underset{i=1}{\overset{n_g}{\mathrm{\Σ}}}{X}_k\left(g\right),g=\mathrm{1,2},...,m$

$J(I+1)=\underset{g=1}{\overset{\mathrm{\α}}{\mathrm{\Σ}}}\underset{X_k\∈{\mathrm{\β}}_l}{\mathrm{\Σ}}\mathrm{\δ}(X_k,Z_g(I+1))$

V)若|J(I+1)-J(I)|＜l，则算法结束，否则I＝I+1，返回步骤III)。

如图18～图21所示，利用上述聚类分析结果，对去除非彩色图层的样本图像进行分割。

ii)利用聚类分析的数据结果，进行反馈学习，不断改进原始颜色描述模型

本实施例根据基于先验知识分割的非彩色(黑色、白色)图层对应的色层标号以及聚类分割得到的彩色图层对应的色层标号作为神经网络的期望输出。将样本图像各像素点的L分量和a、b分量极坐标(C^*，hab)输入BP神经网络，逐个像素进行网络计算。最后采用最速下降法学习规则通过反向传播不断修正调整权值和阈值进行学习训练，当输出层误差平方和小于指定误差E＝0.001或学习次数大于设定的最大次数M＝100时，训练过程结束。进而得到基于BP网络改进后的颜色描述模型。

4、利用颜色描述模型，对输入的书画数字图像进行颜色分层

综上所述，经过多次样本的反馈学习后，该颜色描述模型可以精确的对图像进行颜色分层。颜色描述模型对书画数字图像进行颜色分层的步骤如下：

首先将输入的书画数字图像转换到CIE Lab空间，并将L分量和a、b分量的极坐标(L，C^*，hab)作为神经网络的输入，进行逐像素点的网络计算，输出各像素点所属的色层标号。根据各像素点的色层标号实现图像分层：

A)在颜色分层颜色描述模型输入测试样本图像各像素点的CIE Lab空间的分量(L，C^*，hab)_cd。

B)输出用三位二进制表示的所属颜色层标号。

C)根据输出的色层标号构造各颜色层对应的掩码矩阵mask：设像素点f_cd的输出为out_cd，out_cd的十进制为取值为

则

为该像素点所对应的颜色层标号。根据步骤i)，若则建立相应色层的掩码矩阵mask_l；若

则将其作为暂时不能识别的颜色归入杂色层掩码矩阵。

如图22所示书画数字图像，按上述方法建立相应的掩码矩阵。如图23～图29所示，掩码矩阵在RGB空间中可以利用二值图直观表示。如图30～图36所示，在RGB颜色空间上利用上述的各层二值图像与原图像按像素点做与运算，可以实现对图像的分层。

如图37所示，本实施例利用中国书画颜色分层模型对一幅花鸟画进行分层分割。如图38～图44所示，为基于先验知识的分层效果。如图45～图50所示，为通过10次反馈学习后的模型的分层效果。

本发明期望建立一种针对中国书画作品的颜色分层分析方法，利用中国书画作品颜色表征结构的特点对其进行分层，将图像中包含的色彩、结构，甚至绘画技法等语义信息层析到各颜色层上，使得包含同质语义信息的图像区域更加集中，为运用传统的图像处理和分析方法实现中国书画作品的技法、分类、构图，以及意境等中高层语义标注奠定了基础。从而在一定程度上解决了书画数字图像处理领域低层特征和高层语义之间“语义鸿沟”的问题，有助于提高书画作品的检索率和鉴定的准确率，并且为辨别书画作品的真伪提供辅助依据。

Claims (7)

1、一种基于机器学习的中国书画颜色分层分析方法，其特征在于：对同类图像样本进行像素级别的颜色分类，建立一组关于颜色集的先验知识；利用所述先验知识对图像进行基于所述颜色集的分层；将图像中包含的语义信息，以各图像区域为载体，层析到各所述颜色层上；实现所述图像的各要素的分割提取；其步骤包括：

1)获取数字图像的颜色先验知识；

2)用机器学习方法建立颜色分层的原始颜色描述模型；

3)对所述原始颜色描述模型进行反馈学习，得到颜色描述模型；

4)利用所述颜色描述模型，对输入的书画数字图像进行颜色分层。

2、如权利要求1所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤1)分为：a)利用HSV颜色空间的饱和度描述非彩色颜色集；b)利用CIE Lab颜色空间描述彩色颜色集。

3、如权利要求1所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤2)分为：c)利用所述先验知识建立训练样本集；d)基于机器学习方法设计原始颜色描述模型；e)训练所述原始颜色描述模型。

4、如权利要求2所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤2)分为：c)利用所述先验知识建立训练样本集；d)基于机器学习方法设计原始颜色描述模型；e)训练所述原始颜色描述模型。

5、如权利要求1或2或3或4所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤3)分为：f)对数字图像进行基于先验知识的聚类分析；g)利用所述聚类分析的数据结果，对所述原始颜色描述模型进行反馈学习。

6、如权利要求1或2或3或4所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤c)中，对于所述非彩色颜色集，先从HSV颜色空间中选取样本数据，再借助RGB颜色空间转换到CIE Lab颜色空间，之后用极坐标(C^*，hab)表示a、b分量；对于所述彩色颜色集，在CIE Lab颜色空间直接用极坐标(C^*，hab)表示a、b分量。

7、如权利要求5所述的一种基于机器学习的中国书画颜色分层分析方法，其特征在于：所述步骤c)中，对于所述非彩色颜色集，先从HSV颜色空间中选取样本数据，再借助RGB颜色空间转换到CIE Lab颜色空间，之后用极坐标(C^*，hab)表示a、b分量；对于所述彩色颜色集，在CIE Lab颜色空间直接用极坐标(C^*，hab)表示a、b分量。

Images