CN110334782A - 多卷积层驱动的深度信念网络书法风格识别方法 - Google Patents

Abstract

本发明公开了一种多卷积层驱动的深度信念网络书法风格识别方法，首先获得欧颜柳赵楷书四大家的原始书法作品并进行预处理，得到书法单字样本；将书法单字样本分成训练样本集和验证样本集；然后将训练样本集输入模型分类器并不断迭代训练，最终得到训练好的混合网络模型，同时使用验证样本集不断验证模型分类器；最后将书法单字样本输入训练好的混合网络模型中，再结合Softmax分类器完成书法风格识别。本发明解决了现有技术中存在的法字体分类困难的问题，同时本发明还能高分类的精准度。

Description

多卷积层驱动的深度信念网络书法风格识别方法

技术领域

本发明属于图像分类识别技术领域，具体涉及一种多卷积层驱动的深度信念网络书法风格识别方法。

背景技术

书法为中国传统文化特有一种的艺术形式，是中华民族文明。现如今许多书法爱好家为了模仿古代书法名家并学习。例如欧阳询、颜真卿、柳公权和赵孟頫是古代著名的楷书四大家，他们的楷书作品是留给后人学习楷书书法的重要学习资料。该作品字体集涵盖了楷书四大家的四种字体，且随机出现，给临摹者的临习造成了很大的不方便。本发明为了将其四大家的字体进行自动分类，提出一种多卷积层驱动的深度信念网络的书法字体风格分类方法，可以自动识别楷书四种字体，分别存放，从而方便临习者按照从易到难的顺序循序渐进练习，达到方便实用的效果。

发明内容

本发明的目的是提供一种多卷积层驱动的深度信念网络书法风格识别方法，解决了现有技术中存在的法字体分类困难的问题，同时本发明还能高分类的精准度。

本发明所采用的技术方案是，一种多卷积层驱动的深度信念网络书法风格识别方法，具体按照以下步骤实施：

步骤1、获得欧颜柳赵楷书四大家的原始书法作品并进行预处理，得到书法单字样本；

步骤2、将步骤1的书法单字样本分成训练样本集和验证样本集；

步骤3、将步骤2中的训练样本集输入模型分类器并不断迭代训练，最终得到训练好的混合网络模型，同时使用验证样本集不断验证模型分类器；

步骤4、将步骤1的书法单字样本输入步骤3训练好的混合网络模型中，再结合Softmax分类器完成书法风格识别。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1、将所得到的每幅书法原始作品转换为图像格式，然后使用最小包围盒算法进行书法作品图像的切割，最终得到包含单个书法字的图像集合；

步骤1.2、将步骤1.1得到的书法单字图像通过填充归一化的方法，统一处理为边长为n的正方形，且背景为白色的书法单字图像；

步骤1.3、将步骤1.2中获得的书法单字图像进行统一压缩，得到大小为64×64的单个书法字图像样本。

步骤2中将步骤1得到的书法单字图像集合按照7:1的比例进行随机划分，分为训练集样本和验证样本集。

步骤3具体按照以下步骤实施：

步骤3.1、将步骤2中的训练样本集首先训练卷积神经网络模型，网络的权值和偏置随机初始化为0，选取32个书法单字样本作为一个batch，依次输入到网络，学习率为0.001，迭代训练10000步，利用反向传播算法调整权值至最优值，最终得到最优的卷积神经网络模型；

步骤3.2、利用卷积神经网络输出的特征向量作为受限玻尔兹曼机的输入，按照对比散度的学习算法训练受限玻尔兹曼机模型；

步骤3.3、根据样本输出反向调整受限玻尔兹曼机模型参数，至此整个混合网络模型训练完成；

步骤3.4、同时为了验证模型是否出现过拟合，当模型分类器中每迭代10次，将测试样本集输入模型分类器中识别准确率：当识别准确率出现两极分化，则需要重新训练模型分类器；如未出现两极分化，继续训练。

步骤3.3中混合网络模型中的网络模型包含2部分，第一部分为卷积神经网络模块；第二部分为深度信念网络模块，两个模块的输入为通道为1的灰度图像，分辨率大小64×64。

卷积神经网络模块包含4个卷积层、4个池化层以及一个全连接层，且整个网络是由一个卷积层和一个池化层相间构成，第一个卷积层包含32个卷积核，大小为5×5，步长设置为1，边缘填充设置为2，参数量为5×5×1×32+32，即832，输出为32个通道、大小为64×64的特征；第二个卷积层和第一个卷积层相同，第三个卷积层包含64个卷积核，大小为5×5，步长为1，边缘填充是2，该卷积层的参数量为5×5×32×64+64，即53248；第四个卷积层包含128个大小为5×5的卷积核，步长为1，边缘填充为2，参数量为5×5×64×128+128，即212992；其中每一个卷积层后所连接的池化层均采用重叠的最大池化层，即池化核大小为2×2，步长设置为2，边缘填充设置为1，输出为32个通道，图像大小为64×64的特征；最后一个全连接层的输入为128个4×4的特征，输出为256个特征，则参数量为4×4×128×256+256，即524288。

深度信念网络模块包含3个受限玻尔兹曼机，每个受限玻尔兹曼机由可视层和隐含层两层神经元构成，每层含有400个节点，层内节点无连接，不同层之间的节点依靠权值系数矩阵连接。

可视层和隐含层的单元均是二进制：ν∈{0,1}^D和h∈{0,1}^K,D和K分别为可视层和隐含层的单元序号，ν和h的联合概率表示为

式中，Z为,归一化常数，RBM为能量模型，E(ν,h)为能量方程，E(ν,h)表示为：

式中，W_ij为可视层节点ν_i与隐含层节点h_j之间的连接权重值；a_i,b_j分别为隐含层、可视层的偏置值。

步骤4中将步骤1的书法单字样本输入步骤3训练好的混合网络模型中，模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类，最终得出结果，具体如下：

设m个训练集样本为{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，向量x的维度为n+1，网络参数θ＝{W_ij,b_j}，类标y取k个不同的值，因此对于训练集{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}有y^m∈{1,2,...,k}，设概率P(y＝j|x)表示在输入x的情况下，样本被判定为类别j的概率，则概率最大的样本即被判定对应的一种书法风格。

本发明的有益效果是，(1)本发明的识别方法就是结合卷积神经网络自身的局部感受野、权值共享和池化操作的优势，完成对书法图像的特征提，减少了训练参数；然后再利用受限玻尔兹曼机自身较强的映射能力，最后结合Softmax分类器进行识别分类，网络的收敛速度更快，性能更好，且识别准确率高。(2)本发明的识别方法所训练的模型分类器参数量比较少，训练用时少，收敛速度快，识别准确率高；(3)本发明的识别方法能够不断增加风格类别，具有较好的鲁棒性、扩展性。

附图说明

图1是本发明基于多卷积层驱动的深度信念网络书法风格识别方法中模型训练流程图；

图2是本发明多卷积层驱动的深度信念网络书法风格识别方法中模型网络结构图；

图3(a)是本发明基于多卷积层驱动的深度信念网络书法风格识别方法中第一个卷积层提取的抽象特征，其中每一层抽取10个特征进行展示；

图3(b)是本发明基于多卷积层驱动的深度信念网络书法风格识别方法中第二个卷积层提取的抽象特征，其中每一层抽取10个特征进行展示；

图3(c)是本发明基于多卷积层驱动的深度信念网络书法风格识别方法中第三个卷积层提取的抽象特征，其中每一层抽取10个特征进行展示；

图3(d)是本发明基于多卷积层驱动的深度信念网络书法风格识别方法中第四个卷积层提取的抽象特征，其中每一层抽取10个特征进行展示。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种多卷积层驱动的深度信念网络书法风格识别方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、获得欧颜柳赵楷书四大家的原始书法作品并进行预处理，得到书法单字样本，具体按照以下步骤实施：

步骤1.1、将所得到的每幅书法原始作品转换为图像格式，然后使用最小包围盒算法进行书法作品图像的切割，最终得到包含单个书法字的图像集合；

步骤1.2、将步骤1.1得到的书法单字图像通过填充归一化的方法，统一处理为边长为n的正方形，且背景为白色的书法单字图像；

步骤1.3、将步骤1.2中获得的书法单字图像进行统一压缩，得到大小为64×64的单个书法字图像样本。

步骤2中将步骤1得到的书法单字图像集合按照7:1的比例进行随机划分，分为训练集样本和验证样本集。

步骤3、将步骤2中的训练样本集输入模型分类器并不断迭代训练，最终得到训练好的混合网络模型，同时使用验证样本集不断验证模型分类器，具体按照以下步骤实施：

步骤3.1、将步骤2中的训练样本集首先训练卷积神经网络模型，网络的权值和偏置随机初始化为0，选取32个书法单字样本作为一个batch，依次输入到网络，学习率为0.001，迭代训练10000步，利用反向传播算法调整权值至最优值，最终得到最优的卷积神经网络模型；

步骤3.2、利用卷积神经网络输出的特征向量作为受限玻尔兹曼机的输入，按照对比散度的学习算法训练受限玻尔兹曼机模型；

步骤3.3、根据样本输出反向调整受限玻尔兹曼机模型参数，至此整个混合网络模型训练完成；

步骤3.4、同时为了验证模型是否出现过拟合，当模型分类器中每迭代10次，将测试样本集输入模型分类器中识别准确率：当识别准确率出现两极分化，则需要重新训练模型分类器；如未出现两极分化，继续训练。

如图2所示，步骤3.3中混合网络模型中的网络模型包含2部分，第一部分为卷积神经网络模块；第二部分为深度信念网络模块，两个模块的输入为通道为1的灰度图像，分辨率大小64×64。

卷积神经网络模块包含4个卷积层、4个池化层以及一个全连接层，且整个网络是由一个卷积层和一个池化层相间构成，第一个卷积层包含32个卷积核，大小为5×5，步长设置为1，边缘填充设置为2，参数量为5×5×1×32+32，即832，输出为32个通道、大小为64×64的特征；第二个卷积层和第一个卷积层相同，第三个卷积层包含64个卷积核，大小为5×5，步长为1，边缘填充是2，该卷积层的参数量为5×5×32×64+64，即53248；第四个卷积层包含128个大小为5×5的卷积核，步长为1，边缘填充为2，参数量为5×5×64×128+128，即212992；其中每一个卷积层后所连接的池化层均采用重叠的最大池化层，即池化核大小为2×2，步长设置为2，边缘填充设置为1，输出为32个通道，图像大小为64×64的特征；最后一个全连接层的输入为128个4×4的特征，输出为256个特征，则参数量为4×4×128×256+256，即524288。

最大池化能够避免平均池化的模糊化的影响，重叠和覆盖提高了特征提取的丰富性，并且池化能有效降低特征的映射的维度；池化层的计算简单，故没有权重参数；在池化层之后增加BN(Batch Normalization)层防止函数损失反向传播过程中的梯度弥散并加速训练模型的收敛；在BN之后连接了非线性激活函数ReLU来进一步增加非线性变换的特征；

利用前面经过卷积神经网络所得的降维后的特征向量输入到深度信念网络模块中，因为深度信念网络是一个概率生成模型，有一些系列的限制受限玻尔兹曼机堆叠组成。深度信念网络模块包含3个受限玻尔兹曼机，每个受限玻尔兹曼机由可视层和隐含层两层神经元构成，每层含有400个节点，层内节点无连接，不同层之间的节点依靠权值系数矩阵连接。

可视层和隐含层的单元均是二进制：ν∈{0,1}^D和h∈{0,1}^K,D和K分别为可视层和隐含层的单元序号，ν和h的联合概率表示为

式中，Z为,归一化常数，RBM为能量模型，E(ν,h)为能量方程，E(ν,h)表示为：

式中，W_ij为可视层节点ν_i与隐含层节点h_j之间的连接权重值；a_i,b_j分别为隐含层、可视层的偏置值。

步骤4、将步骤1的书法单字样本输入步骤3训练好的混合网络模型中，模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类，最终得出结果，由于模型分类内部是不断提取抽象特征并分类识别的过程，因而也可将提取的抽象特征可视化，如图3(a)～图3(d)所示，为4个卷积层提取的抽象特征，每一层抽取10个特征进行展示，图3(a)是第一个卷积层提取的抽象特征，图3(b)为第二个卷积层提取的抽象特征，图3(c)是第三个卷积层提取的抽象特征，图3(d)是第四个卷积层提取的抽象特征；

其中Softmax分类器是一种单层网络分类器，在Deep Learning中常用到，它是logistic回归模型在多分类问题上的推广，在深度学习结构的最顶层结合SoftMax回归分类器对抽取后的特征进行分类，在手写体的分类问题中使用广泛。具体如下：

设m个训练集样本为{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，向量x的维度为n+1，网络参数θ＝{W_ij,b_j}，类标y取k个不同的值，因此对于训练集{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}有y^m∈{1,2,...,k}，设概率P(y＝j|x)表示在输入x的情况下，样本被判定为类别j的概率，则概率最大的样本即被判定对应的一种书法风格。

Claims (9)

1.一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，具体按照以下步骤实施：

步骤1、获得欧颜柳赵楷书四大家的原始书法作品并进行预处理，得到书法单字样本；

步骤2、将步骤1的书法单字样本分成训练样本集和验证样本集；

步骤3、将步骤2中的训练样本集输入模型分类器并不断迭代训练，最终得到训练好的混合网络模型，同时使用验证样本集不断验证模型分类器；

步骤4、将步骤1的书法单字样本输入步骤3训练好的混合网络模型中，再结合Softmax分类器完成书法风格识别。

2.根据权利要求1所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1、将所得到的每幅书法原始作品转换为图像格式，然后使用最小包围盒算法进行书法作品图像的切割，最终得到包含单个书法字的图像集合；

步骤1.2、将步骤1.1得到的书法单字图像通过填充归一化的方法，统一处理为边长为n的正方形，且背景为白色的书法单字图像；

步骤1.3、将步骤1.2中获得的书法单字图像进行统一压缩，得到大小为64×64的单个书法字图像样本。

3.根据权利要求2所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述步骤2中将步骤1得到的书法单字图像集合按照7:1的比例进行随机划分，分为训练集样本和验证样本集。

4.根据权利要求3所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、将步骤2中的训练样本集首先训练卷积神经网络模型，网络的权值和偏置随机初始化为0，选取32个书法单字样本作为一个batch，依次输入到网络，学习率为0.001，迭代训练10000步，利用反向传播算法调整权值至最优值，最终得到最优的卷积神经网络模型；

步骤3.2、利用卷积神经网络输出的特征向量作为受限玻尔兹曼机的输入，按照对比散度的学习算法训练受限玻尔兹曼机模型；

步骤3.3、根据样本输出反向调整受限玻尔兹曼机模型参数，至此整个混合网络模型训练完成；

步骤3.4、同时为了验证模型是否出现过拟合，当模型分类器中每迭代10次，将测试样本集输入模型分类器中识别准确率：当识别准确率出现两极分化，则需要重新训练模型分类器；如未出现两极分化，继续训练。

5.根据权利要求4所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述步骤3.3中混合网络模型中的网络模型包含2部分，第一部分为卷积神经网络模块；第二部分为深度信念网络模块，两个模块的输入为通道为1的灰度图像，分辨率大小64×64。

6.根据权利要求5所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述卷积神经网络模块包含4个卷积层、4个池化层以及一个全连接层，且整个网络是由一个卷积层和一个池化层相间构成，第一个卷积层包含32个卷积核，大小为5×5，步长设置为1，边缘填充设置为2，参数量为5×5×1×32+32，即832，输出为32个通道、大小为64×64的特征；第二个卷积层和第一个卷积层相同，第三个卷积层包含64个卷积核，大小为5×5，步长为1，边缘填充是2，该卷积层的参数量为5×5×32×64+64，即53248；第四个卷积层包含128个大小为5×5的卷积核，步长为1，边缘填充为2，参数量为5×5×64×128+128，即212992；其中每一个卷积层后所连接的池化层均采用重叠的最大池化层，即池化核大小为2×2，步长设置为2，边缘填充设置为1，输出为32个通道，图像大小为64×64的特征；最后一个全连接层的输入为128个4×4的特征，输出为256个特征，则参数量为4×4×128×256+256，即524288。

7.根据权利要求5所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述深度信念网络模块包含3个受限玻尔兹曼机，每个受限玻尔兹曼机由可视层和隐含层两层神经元构成，每层含有400个节点，层内节点无连接，不同层之间的节点依靠权值系数矩阵连接。

8.根据权利要求7所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述可视层和隐含层的单元均是二进制：ν∈{0,1}^D和h∈{0,1}^K,D和K分别为可视层和隐含层的单元序号，ν和h的联合概率表示为

式中，Z为,归一化常数，RBM为能量模型，E(ν,h)为能量方程，E(ν,h)表示为：

式中，W_ij为可视层节点ν_i与隐含层节点h_j之间的连接权重值；a_i,b_j分别为隐含层、可视层的偏置值。

9.根据权利要求6或7任一项所述的一种多卷积层驱动的深度信念网络书法风格识别方法，其特征在于，所述步骤4中将步骤1的书法单字样本输入步骤3训练好的混合网络模型中，模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类，最终得出结果，具体如下：

设m个训练集样本为{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，向量x的维度为n+1，网络参数θ＝{W_ij,b_j}，类标y取k个不同的值，因此对于训练集{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}有y^m∈{1,2,…,k}，设概率P(y＝j|x)表示在输入x的情况下，样本被判定为类别j的概率，则概率最大的样本即被判定对应的一种书法风格。