CN111598082A - 一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法 - Google Patents

Abstract

本发明公开了一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，属于计算机视觉与模式识别技术领域。首先利用基于VGG16网络的卷积层对电力铭牌图像进行文本/非文本预测提取和不同实例之间的链接预测的提取；然后利用实例分割网络对目标图像进行分割并输出电力铭牌相应的热力图表示，同时利用全卷积网络对目标图像进行语义分割，获得边缘较为准确的实例热力图，接着将两个网络所得的热力图进行融合得到目标热力图；最后基于所得目标热力图生成文本边界框，得到电力铭牌文本检测的最终结果。本发明提出的关于电力铭牌的文本检测方法，不管是从主观视觉还是从客观评价指标上，检测效果和准确率明显优于其他的传统方法。

Description

一种基于全卷积网络与实例分割网络的电力铭牌文本检测 方法

技术领域

本发明属于计算机视觉与模式识别技术领域，具体涉及一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法。

背景技术

在计算机视觉与模式识别领域，文本检测技术由于文本的长度与文字排布的不规则性而区别于目标检测技术，对于文本检测技术的研究越来越受到广大研究者的热衷，针对于不同视角的文本，不同排列方式的文本：环形，矩形，平行四边形等，研究者们提出了很多的针对不同文本的文本检测技术方法。所谓的文本检测技术就是利用神经网络对目标图像进行特征提取，将图像中与文本相关的信息提取出来，并利用相应的边界框去把文本信息给标注出来。文本检测技术的应用领域比较广泛，在无人驾驶，车牌识别，电力铭牌识别，公共安全和计算机视觉等方面都有着极其重要的应用场景。对于电力铭牌中的文本检测，大多数文本都是成矩形排列，但是由于拍摄视角的不同，有不少的铭牌图像中的文本属于平行四边形排列。而目前主流的文本检测技术主要有基于VGG16网络的CTPN技术，基于VGG16的SegLink技术，两者都主要是通过利用对文本生成一系列的小矩形框，然后通过分数评价需要保留的矩形框，再通过框与框之间的链接，把所有的矩形框连接起来形成文本检测的边界框。虽然这操作的计算量比较大，但仍然是文本检测的主流技术。而经过研究者们的日夜研究，目前的新方法不再需要对文本生成一系列的小矩形框，通过对图像中文本进行实例分割，并通过像素级别的细化处理，能够大大降低计算量的同时，达到比较好的实验效果。

通常在现实中的文本排列不规则和拍摄视角的不同而导致一种文本检测技术往往不能同时在不同文本排列上实现想要的结果，到目前为止还没有一种文本技术能同时在不同文本排列或者不同拍摄视角的图像上实现等同的实验效果。为此，在对于不同的文本进行检测时，往往需要采用不同的技术，而没有一种较为通用的技术可以涵盖大部分文本，对于规则排列的矩形样本的方法一般不适用于圆形或者环形排列的样本。而我们日常生活中的大部分文本排列都是以矩形排列为主，所以大部分技术都是针对于矩形文本排列，或者增加多一点适用性，对于平行四边形排列的文本也能实现较好的实验结果，对于电力铭牌中的文本检测，我们需要的就是能同时适用于矩形排列和平行四边形排列方式的文本检测技术。。

发明内容

本发明的目的在于克服现有文本检测系统适应性不高、无法全方位准确识别的问题，提出了一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法。

本发明采用如下技术方案：

一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其关键在于，包括以下步骤：

S1.输入目标电力铭牌图像，利用基于VGG16的全卷积神经网络，进行文本预测和非文本预测，其预测结果用热力图A表示；

S2.对所述目标电力铭牌图像不同方向分别进行链接预测，其预测结果均采用热力图表示，随后将不同方向的预测结果的热力图进行融合操作得到热力图B；

S3.利用全卷积网络对所述目标电力铭牌图像进行语义分割预测提取，得到对应的热力图C；

S4.利用实例分割网络对所述热力图A和热力图B进行关于每一个实例的分割，得出对应的分割效果较好、边界较为分明的热力图D；

S5.将所述热力图C与所述热力图D进行融合操作得到热力图E；

S6.基于所述热力图E，利用边界框生成网络生成出所述目标铭牌的文本检测边界框。

作为优选方案，步骤S2需要对所述目标电力铭牌图像从8个不同方向分别进行链接预测，其方向包括左边、左下、左上、右边、右下、右上、上边和下边，8个不同方向分别输出不同的热力图。

作为优选方案，步骤S2中所述目标电力铭牌图像从不同方向分别进行链接预测的预测结果需要利用滤波器对融合后的热力图进行噪声系成分的过滤后才能得到所述热力图B。

作为优选方案，所述的全卷积网络模型公式为：

其中，y_ij表示网络的输出，k表示卷积核的大小，s是步长或者次采样因子，f_ks决定的是层的类型：卷积层或者是平均池化层的矩阵乘法，或者是激活函数的非线性元素乘法等其他类型的层。

有益效果：本发明主要利用了全卷积网络对于物体的边缘比较敏感，能够很精确的检测出物体的边缘的特性，不仅对于物体和背景具有好的实验效果，对于电力铭牌中的文本和其单一的背景颜色的边缘部分也是如此，全卷积网络能够精确的提取出文本的边缘，能使得网络生成的边界框更加的贴合文本，而由于电力铭牌背景的单一性，此方法能够更加精确的把铭牌中的文本信息给框选出来，将其提取的结果作用于实例分割对文本的相对精确的检测输出，将两者融合之后，得到的文本边界框能够更加的贴合文本信息，能使得电力铭牌上的文本检测实现更好的效果。

附图说明

图1为本发明实施例的流程图；

图2为本发明的整体框架图；

图3为实施例中热力图A；

图4为目标电力铭牌图像的八个不同方向的链接预测热力图；

图5为目标电力铭牌图像的实例分割后对应的热力图D与文本边界框输出；

图6为本发明经全卷积网络细调之后的电力铭牌的热力图E与文本边界框输出结果。

具体实施方式

下面结合附图对本发明作进一步的详细说明：

实施例：

如附图1-6所示，一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，包括以下步骤：

S1.输入目标电力铭牌图像，利用基于VGG16的全卷积神经网络，进行文本预测和非文本预测，其预测结果用热力图A表示；

S2.对所述目标电力铭牌图像从8个不同方向分别进行链接预测，其方向包括左边、左下、左上、右边、右下、右上、上边和下边，8个不同方向分别输出不同的热力图，并对8个热力图分别进行链接预测，其预测结果均采用热力图表示，各方向热力图如附图4所示，随后将不同方向的预测结果的热力图进行融合操作得到热力图B；

S3.利用全卷积网络对所述目标电力铭牌图像进行语义分割预测提取，得到对应的热力图C；

S4.利用实例分割网络对所述热力图A和热力图B进行关于每一个实例的分割，得出对应的分割效果较好、边界较为分明的热力图D；

S5.将所述热力图C与所述热力图D进行融合操作得到热力图E；

S6.基于所述热力图E，利用边界框生成网络生成出所述目标铭牌的文本检测边界框。

在具体实施的时候，其具体操作步骤如下：

Step1、输入电力铭牌图像，利用预训练好的VGG16网络对图像进行特征提取，在利用1*1卷积核进行处理时，为其文本/非文本预测分配2个1*1卷积核，则输出1个2通道的文本/非文本预测热力图，用A表示。为链接预测分配16个1*1卷积核，输出8个2通道的链接预测热力图，8个分别代表从左边，左下，左上，右边，右下，右上，上边，下边八个不同方向所进行的预测(结果如图4所示)；

Step2、将输入的电力铭牌图像利用全卷积网络进行语义分割提取生成对应的热力图C，所述全卷积网络的模型为：

其中，y_ij表示网络的输出，k表示卷积核的大小，s是步长或者次采样因子，f_ks决定的是层的类型：卷积层或者是平均池化层的矩阵乘法，或者是激活函数的非线性元素乘法等其他类型的层；

Step3、通过实例分割网络对目标电力铭牌图像的文本/非文本预测热力图A和链接预测热力图B进行文本实例分割得到热力图C，并输出分割之后的热力图C与电力铭牌目标图像对应的热力图D，在实例分割网络中，对像素级别和链接级别的预测分配两个不同的阈值，超过阈值的积极像素通过积极链接预测链接在一起，以此来代表检测到的文本实例。在对两个相邻积极像素进行链接预测时，链接预测由两者共同决定，当它们其中一个链接预测为积极样本或者两个链接预测都是积极样本时，将两者链接在一起，这个链接过程可以使用不相交的数据结构来实现，在实验时两个预测阈值都被设置为0.8；

Step4、对于实例分割后所得的电力铭牌热力图D，因为在像素进行链接的过程中不可避免的有噪声干扰，所以需要利用一个滤波器将噪声成分给过滤掉。对于训练数据中的图像样本，将训练集中第99百分数选择为过滤的阈值，例如10作为阈值，训练数据集中99％的文本实例的最短边像素个数都大于10，而低于10像素的部分我们就可以视为噪声分量过滤掉；

Step5、将Step4中所得的电力铭牌热力图D与Step2中所得的热力图C进行一个融合操作，把实例分割得到的较为准确的文本实例热力图与经由全卷积网络语义分割提取的边缘信息比较精确的热力图结合起来，能得到边缘准确，内容精确的结果，其融合后的电力铭牌热力图表示为E；

Step6、基于Step5的电力铭牌热力图E，采用类似minAreaRect的方法，提取出我们最终的需要的文本边界框，minAreaRect的输出为一个定向矩形，这里可以灵活选择其他的边界框生成方法。本发明方法没有对文本边界框进行方向的约束，所以对于倾斜的文本排列也能实现较好的实验结果，其输出不同于minAreaRect的定向矩形，输出结果有可能为平行四边形，其能基本覆盖所有的有关电力铭牌中的文本检测，实验的最终输出如图5所示。

除了主观上对文本检测的精确度结果进行评价之外，客观评价也是必不可少的。在实验中，采用召回率Recall，精确率Precision和F分数(F-score)三个客观评价指标对不同的方法下的关于电力铭牌中文本检测效果和精确度进行了评价。其中Recall指标就是所有准确的条目有多少被检索出来了，能说明在文本检测的边界框中，正确区分正确的文本检测边界框和错误的文本检测边界框；Precision则表示检索出来的文本检测边界框有多少是准确的，能反映出在生成的边界框中，精确边界框的比例；F-score则是前两者的调和平均数，因为一般情况下，我们需要在保证召回率的条件下，尽量的提升精确度。精确度的数值越大越能证明该文本检测方法性能越好。表1数据表明本发明方法在客观评价上具有较高的指标值，这从客观上也证明了本发明方法是有效的。

总的来说，本发明所提出的基于全卷积网络对实例分割结果进行细调提升电力铭牌中文本检测准确度的方法，利用了全卷积网络对于目标边缘提取的精确性高的特性，使得经由实例分割之后再与全卷积网络输出热力图进行融合，能够得到与文本实例更加紧密的文本边界框，同时也能保证文本检测的准确性。

表1：不同文本检测方法的客观评价数据

方法\评价指标	Recall	Precision	F-score
				本发明	83.6	87.4	85.4
SegLink+VGG16	76.8	73.1	75.0
				CTPN+VGG16	51.6	74.2	60.9

最后需要说明的是，上述描述仅仅为本发明的优选实施例，本领域的普通技术人员在本发明的启示下，在不违背本发明宗旨及权利要求的前提下，可以做出多种类似的表示，这样的变换均落入本发明的保护范围之内。

Claims (4)

1.一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其特征在于，包括以下步骤：

S1.输入目标电力铭牌图像，利用基于VGG16的全卷积神经网络，进行文本预测和非文本预测，其预测结果用热力图A表示；

S2.对所述目标电力铭牌图像不同方向分别进行链接预测，其预测结果均采用热力图表示，随后将不同方向的预测结果的热力图进行融合操作得到热力图B；

S3.利用全卷积网络对所述目标电力铭牌图像进行语义分割预测提取，得到对应的热力图C；

S4.利用实例分割网络对所述热力图A和热力图B进行关于每一个实例的分割，得出对应的分割效果较好、边界较为分明的热力图D；

S5.将所述热力图C与所述热力图D进行融合操作得到热力图E；

S6.基于所述热力图E，利用边界框生成网络生成出所述目标铭牌的文本检测边界框。

2.根据权利要求书1所述的一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其特征在于：步骤S2需要对所述目标电力铭牌图像从8个不同方向分别进行链接预测，其方向包括左边、左下、左上、右边、右下、右上、上边和下边，8个不同方向分别输出不同的热力图。

3.根据权利要求书1或2所述的一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其特征在于：步骤S2中所述目标电力铭牌图像从不同方向分别进行链接预测的预测结果需要利用滤波器对融合后的热力图进行噪声系成分的过滤后才能得到所述热力图B。

4.根据权利要求书3所述的一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法，其特征在于：所述的全卷积网络模型公式为：

其中，y_ij表示网络的输出，k表示卷积核的大小，s是步长或者次采样因子，f_ks决定的是层的类型：卷积层或者是平均池化层的矩阵乘法，或者是激活函数的非线性元素乘法等其他类型的层。

Images