CN105184312A - 一种基于深度学习的文字检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的文字检测方法及装置。所述方法包括：设计多层卷积神经网络结构，把每一个字符作为一个类别，这样就形成了一个多类别分类问题；采用反向传播算法训练卷积神经网络用以识别单一字符，有监督地最小化该网络的目标函数，得到字符识别模型；最后用前端的特征提取层进行权值初始化，把最后一个全连接层结点数目改为2，使得网络成为一个二分类模型，用文字和非文字样本训练网络。经过以上步骤，一个文字检测分类器就完成了。在测试的时候，把全连接层转化为卷积层，给定一张输入图像，需要先进行多尺度滑动窗口扫描获得文字的概率图，再进行非极大值抑制得到最终的文字区域。

Description

一种基于深度学习的文字检测方法及装置

技术领域

本发明涉及模式识别与机器学习技术领域，特别涉及一种基于深度学习的文字检测方法及装置。

背景技术

对于文字检测，传统的连通区域法如SWT或者MSER，认为文字是连通的，这些方法对于文字模糊的情况处理不好。而深度学习是一种基于区域的方法，我们只需要提供大量训练样本，模型就会自动学习到鲁棒的特征表达，可以很好地处理模糊的情况。

另外，传统的扫描窗口法需要对每一个窗口进行测试，各个窗口之间会有重叠，这将大大增加计算时间。考虑到卷积操作具有平移不变性，可以将全连接层转化成卷积层，对整张测试图像进行卷积，得到文字区域的概率图。通过使用GPU进行并行计算，一张图像的测试时间在1s以内。

发明内容

为了解决现有技术存在的上述技术问题，本发明提供了一种基于深度学习的文字检测方法及装置。

根据本发明一方面，其提供了1、一种基于深度学习的文字检测方法，包括步骤：

步骤S1，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

步骤S2，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

步骤S3，将步骤S1中建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

步骤S4，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

步骤S5，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

步骤S6，利用步骤S5中修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

根据本发明另一方面，其提供了一种基于深度学习的文字检测装置，包括：

构建模块，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

字符识别模型训练模块，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

第一模型修改模块，将所述构建模块建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

字符-非字符训练模块，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

第二模型修改模块，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

检测模块，第二模型修改模块修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

由于本发明基于深度学习，把文字检测问题当成文字-非文字二分类问题。该方法可以利用复杂任务学习到文字的鲁棒特征，不必人工设计特征，且后续处理可以快速有效地找出文字区域。

本发明先利用卷积神经网络进行复杂的多分类任务来学习文字特征，再做二分类任务，对于文字的颜色、大小、光照、模糊具有鲁棒性，比直接训练二分类器的效果好。

附图说明

图1是本发明中基于深度学习的文字检测方法的流程图。

图2是本发明中基于深度学习的文字检测方法字符识别网络结构示意图。

图3是本发明中基于深度学习的文字检测方法字符-非字符二分类网络结构示意图。

图4是本发明中文字检测方法中测试时的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出了一种基于深度学习的文字检测方法，如图1所示，包括以下步骤：

步骤S1，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为预测的多个字符分类结果；

步骤S2，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实标签与所述字符识别模型预测结果的交叉熵；

步骤S3，将步骤S1中建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

步骤S4，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

步骤S5，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

步骤S6，利用步骤S5中修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

以下详细说明本发明方法涉及的关键步骤。

首先，对于步骤S1，构建多层的神经网络的结构。包括定义构成网络的层数、卷积窗大小和节点数等。一般来说，网络越深效果越好，但同时计算量增加。优选地，本神经网络结构如图2所示，包含2层卷积层+3层全连接层，输入为28×28减去均值的灰度图像的像素值，输出层的每个输出节点代表一类字符，对于英文来说共62类(26个大写字母+26个小写字母+10个数字)。

其次，采用误差反向传播算法对网络进行训练。卷积层和全连接层均使用激活函数提供非线性，本模型的激活函数f(x)可以表示为f(x)＝max(0，W^Tx+b)。其中W是模型权重，b是偏置项，x是上一层的输出，作为本层的输入。记z_l为第l类对应输出节点的输出值，共有62个输出值z_k(k＝1...62)，这些输出值没有限定在0～1之间。对z_l进行归一化得到模型预测p_l为

$p_l=\frac{\exp \left(z_l\right)}{{\Σ}_{k=1}^{62}\exp \left(z_k\right)}$

p_l可以理解为模型认为该图像属于第l类的概率。采用反向传播算法对所建立的多层神经网络进行有监督训练，模型的目标函数E为图像的真实类别q_l(属于第l类，则为1，否则为0)与模型预测p_l之间的交叉熵：

$E=\underset{l}{\Σ}-q_l\log p_l$

采用随机梯度下降算法使目标函数E尽可能的小，即模型预测值与真实类别越接近越好。权重值的更新如下：

$Wi=Wi-\mathrm{\η}\frac{\∂E}{\∂Wi}$

η为学习率，Wi为第i层的权重值，偏导数的求取需要使用误差反向传播算法。

第三，上述训练好的模型输出层节点数是62，接下来训练字符-非字符二分类模型，所以将步骤一中建立的卷积神经网络的最后一个全连接层即输出层的结点数目修改为2，如图3所示。用上一步的字符分类模型初始化卷积层和全连接层，即二分类模型的权值都从字符分类模型中提取。

第四，用字符-非字符数据进行训练，训练算法与步骤二相同，得到字符-非字符二分类模型。可选地，该数据集可以是WangTao等人在2012年公布的，包含了英文字符-非字符的灰度图像。

第五，二分类模型训练好后，将所述二分类模型中的全连接层改为卷积层，但权重值保持不变。这是因为训练时固定了输入为28×28的图像，而测试时的图像大小不固定。直接用扫描窗口法对测试图像的每一个28×28的图像块进行测试，会有很多重叠部分，浪费了计算量。利用卷积操作的平移不变性，将全连接层改为卷积层，可以对任意大小的图像进行一次测试，大大节省了计算量。

第六，利用上一步得到的模型对测试图像使用多尺度滑动窗口进行测试，得到文字的概率图，所述概率图中每点的值表示该点为文字的概率。图4给出了一张图像三个尺度的测试示意图，文字概率图越亮代表越有把握认为该区域有文字。由图可知，当尺度过大或过小时，文字检测效果不好，因此需要使用多个尺度进行测试。使用非极大值抑制，即对得到的文字区域按照把握大小(即概率大小)排序，如果把握大的区域与把握小的区域重叠超过0.5，则留下把握大的区域，去除把握小的区域，得到最终的文字区域。

实施例：

为了详细说明本发明的具体实施方式，以某文字检测数据集为例说明。该数据集包含250张含有文字的自然场景图像作为训练集，249张作为测试集。实现的模型可以自动检测图像内的文字。具体步骤如下：

步骤S1，从数据集中裁减出5980个字符图像作为训练集，5198个字符图像组成测试集。

步骤S2，使用一个2层卷积层+3层全连接层的深度卷积神经网络进行学习，其第一卷积层使用64个特征图，9×9的卷积窗口，第二卷积层使用64个特征图，5×5的卷积窗口，卷积步长均取为1。全连接层节点数目分别为128，128，62个，如图2所示。

步骤S3，采用随机梯度下降法，初始学习率可取为0.01，迭代大约400个周期。期间当错误率(错误图像数/总图像数)不再降低时，把学习率除以10，继续训练直至网络收敛，此时即使降低学习率，错误率也保持不变。

步骤S4，将最后一个全连接层结点数目改为2，用上一步中的模型对该模型进行初始化，如图3所示。用字符-非字符数据进行训练，得到文字-非文字二分类模型。

步骤S5，将全连接层转化卷积层。

步骤S6，用多尺度扫描窗口测试图像，得到文字的概率图，使用后处理得到最终的文字区域，如图4所示。

本发明基于深度学习提出一种自然场景中的文字检测方法。通过用复杂的多分类任务学习特征再进行二分类精调，本发明达到了较好的文字检测结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的文字检测方法，包括步骤：

步骤S1，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

步骤S2，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

步骤S3，将步骤S1中建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

步骤S4，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

步骤S5，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

步骤S6，利用步骤S5中修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

2.根据权利要求1所述的方法，其中，步骤S2中，所述字符识别模型的激活函数如下表示：

f(x)＝max(0，W^Tx+b)

其中，W是模型权重，b是偏置项，x是上一层的输出。

3.如权利要求2所述的方法，其中，所述权重如下更新：

$Wi=Wi-\mathrm{\η}\frac{\∂E}{\∂Wi}$

其中，η为学习率，Wi为第i层的权重值，E为所述字符识别模型的目标函数。

4.如权利要求1-3任一项所述的方法，其中，所述字符识别模型的目标函数如下表示：

$E=\underset{l}{\Σ}-q_l\log p_l$

其中，E为所述字符识别模型的目标函数，p_l为所述字符识别模型输出的输入图像属于第l类的概率，q_l为所述输入图像属于第l类的真实概率。

5.如权利要求1-3任一项所述的方法，其中，步骤S2中采用随机梯度下降算法使目标函数小于预定阈值。

6.如权利要求1-3任一项所述的方法，其中，步骤S6中，所述对所述概率图进行非极大值抑制得到最终的文字区域具体包括：

对所述文字区域按照其概率图中的概率大小排序，如果概率大的区域与概率小的区域重叠超过0.5，则留下概率大的区域，去除概率小的区域，得到最终的文字区域。

7.一种基于深度学习的文字检测装置，包括：

构建模块，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

字符识别模型训练模块，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

第一模型修改模块，将所述构建模块建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

字符-非字符训练模块，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

第二模型修改模块，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

检测模块，第二模型修改模块修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

8.根据权利要求1所述的装置，其中，所述字符识别模型的激活函数如下表示：

f(x)＝max(0，W^Tx+b)

其中，W是模型权重，b是偏置项，x是上一层的输出；

其中，所述权重如下更新：

$Wi=Wi-\mathrm{\η}\frac{\∂E}{\∂Wi}$

其中，η为学习率，Wi为第i层的权重值，E为所述字符识别模型的目标函数。

9.如权利要求7-8任一项所述的装置，其中，所述字符识别模型的目标函数如下表示：

$E=\underset{l}{\Σ}-q_l\log p_l$

其中，E为所述字符识别模型的目标函数，p_l为所述字符识别模型输出的输入图像属于第l类的概率，q_l为所述输入图像属于第l类的真实概率。

10.如权利要求7-8任一项所述的装置，其中，所述检测模块中所述对所述概率图进行非极大值抑制得到最终的文字区域具体包括：

对所述文字区域按照其概率图中的概率大小排序，如果概率大的区域与概率小的区域重叠超过0.5，则留下概率大的区域，去除概率小的区域，得到最终的文字区域。