CN111414855A - 基于端到端回归模型的电线杆标牌目标检测及识别方法 - Google Patents

Abstract

本发明公开了基于端到端回归模型的电线杆标牌目标检测及识别方法，该方法包括以下步骤：制作电线杆标牌图像的多样化数据集，然后在分类网络框架下对端到端一次性回归目标检测模型进行适用于电线杆标牌的训练；提取出标牌在图像中的位置坐标后综合先验信息和投影分析法进行字符分割；采用迁移学习简化对字符识别网络的训练以提高整体效率；最后选用HSI颜色空间来识别标牌背景色以减小图像分析的工作量。本发明采用高效的端到端目标检测方法实现对电线杆标牌有效信息的准确识别，可以在一定程度上提高巡检路径规划、农网改造勘察的效率。

Description

基于端到端回归模型的电线杆标牌目标检测及识别方法

技术领域

本发明属于输电线路巡检工作中电线杆标牌图象识别技术领域，具体涉及基于一次性回归模型对电线杆标牌进行端到端的目标检测，利用迁移学习简化字符识别网络的训练过程以及在能够简化图像分析工作的HSI颜色空间进行背景色识别的方法。

背景技术

我国电网建设发展迅速，社会生产生活对电力系统的依赖性不断加强，随着政府和国民环保意识的提高，许多耗能领域在电力使用上的比重也都在增加，这些都对电力系统能够安全可靠运行提出了越来越高的要求。而且随着泛在电力物联网的建设，电力系统运维各环节都在数字化、信息化、自动化方面不断完善。通过智能巡检方式保障电力系统运行的安全稳定是大环境下的发展要求。农村电网改造升级任务同样需要对输电线路进行勘察规划，在地理环境复杂或建设水平落后的农村地区，区分种类数量繁多的输电线路显然需要耗费大量的时间和人力资源。根据输电线路标志牌的制作规范，输电线路杆的标牌记录了线路的名称、杆塔号这类对电力线路巡检的路线标识起到重要作用的信息，根据这些信息可以对输电线路按类别进行划分统计。通过计算机图像识别自动检测出指定巡检区域内采集的电线杆图片的标牌，提取位置信息并进一步识别其内容，就可以提高电力系统各环节信息化水平，为运维中巡检线路的标记和规划提供便利，节省大量实地勘察所需的人力劳动和时间，解决复杂地形线路人工勘探困难的问题。

近些年来，对标志牌图像识别的研究一直关注度较高，但主要集中在机动车车牌号识别方面，电力系统的运维检修任务中也需要对电线杆标牌进行识别，但人工采集、经验识别的方式耗时费力，传统的图像处理方法识别效率不高，无法满足当前泛在电力物联网建设大环境下对精益化管理、自动化检测的高要求。随着技术进步，利用端到端图像处理进行目标检测的方法逐渐应用于与电线杆标牌识别类似的机动车车牌识别领域，并获得了比传统方式识别成功率、识别速度更高的识别效果。

发明内容

针对电线杆标牌传统图像识别方法识别率不高和人工识别方法耗时费力的不足，本发明提供了基于端到端回归模型的电线杆标牌目标检测及识别方法，提高整体识别效率。

为达到上述目的，本发明所述基于端到端回归模型的电线杆标牌目标检测及识别方法，包括以下步骤：

步骤1：采集多张包含电线杆标牌的图片形成图片集，所述图片集中的图片具有多样性；

步骤2：用步骤1得到的图片集制作将用于训练目标检测模型的训练集和检验图像识别效果的测试集，标注图片中判定为有效的电杆标牌的边界框中心点坐标位置

和宽高尺寸

然后将图片与对应生成的标注文件按训练集规定格式保存；

步骤3：基于在Imagenet数据集上预训练的端到端一次性回归目标检测模型，进行参数配置，并在特征提取分类网络框架下用步骤2制作的训练集执行训练，得到训练后的目标检测模型，其中特征提取分类网络框架采用darknet框架；

步骤4：用步骤2得到的测试集验证步骤3训练中loss函数值最低的目标检测模型的识别率，识别率在阈值以下时，回到步骤1采集更多图像作为训练集或重新设置步骤3的参数重新执行训练，识别率在阈值以上时，用所述目标检测模型对电线杆标牌图像进行提取，并执行步骤5；

步骤5：基于电线杆标牌的印刷规则和投影分析法对步骤4中提取的标牌图像中的字符进行分割得到单个标牌中单个字符的图片；

步骤6：利用迁移学习训练标牌字符识别卷积神经网络，训练结束后，将步骤5中分割出的电线杆标牌中每个字符的图片输入标牌字符识别卷积神经网络中进行识别并输出对应文字。

进一步的，步骤3包括以下步骤：

S3.1、根据以下公式配置特征提取分类网络中最后一个卷积层的滤波器数目filters，filters＝(m+5)*A；式中，m为所要检测目标的类别数，A为预测边界的候选框个数；

S3.2、将darknet53.conv.74文件放在特征提取分类网络框架下，用其提供的模型预训练卷积权重值作为端到端一次性回归目标检测模型的初始化参数；

S3.3、设置端到端一次性回归目标检测模型训练的次数范围、每次送入模型的样本量batch、初始学习率以及所使用的学习率调整机制；

S3.4:执行端到端一次性回归目标检测模型的训练，特征提取分类网络将每张输入图片划分为S×S个网格，每个网格对应B个预测边界框，计算特征提取分类网络预测的第i个网格对应的第j个边界框的置信度C_ij以及预测边界框与目标实际边框交并比IoU，计算第k类目标在第i个网格对应的第j个边界框出现的可能性得分Score_kij，得分最高的边界框为预测结果，输出其中心点坐标(x,y)和宽高尺寸(w,h)，具体计算公式如下：

C_ij＝P(Object)*IoU

Score_kij＝P(Class_k|Object)*C_ij

式中，P(Object)为网格包含检测目标中心点的概率，包含则为1，不包含为0，IoU为预测边界框与实际目标区域的交并比，P(Class_k|Object)为预测已经包含目标的边界框中包含第k类目标的条件概率；

S3.5计算损失函数loss来观察训练完成情况，具体计算公式如下：

损失函数loss＝loss1+loss2+loss3

式中，loss1为分类误差，loss2为位置误差，loss3为置信度误差，s²为划分的网格数目，Classes为待检测的目标类别，本发明中只有电线杆标牌一类，B为每个网格对应候选边界框的数目，

表示物体落入格子i中，落入为1，未落入为0，p_i(c)为第c类目标中心点在第i个网格的预测概率，

为第c类目标中心点在第i个网格的实际概率，λ_coord＝5为定位误差的权重，

表示划分的第i个网格对应的第j个边界框中包含检测目标，x_i，y_i，w_i，h_i分别为第i个网格对应的包含目标的边界框的预测中心横坐标、纵坐标、宽和高，

分别为制作数据集时标注的目标边界框中心横坐标、纵坐标、宽和高，C_i为第i个网格单元包含目标的置信度，

为第i个网格单元实际置信度，λ_noobj＝0.5为置信度误差的权重，

表示划分的第i个网格对应的第j个边界框中不包含检测目标。

进一步的，步骤5包括以下步骤：

S5.1、将步骤4中提取出的电线杆标牌原始图像进行灰度处理和二值化操作；

S5.2、对经过预处理的标牌图像按照下式进行三次腐蚀；

式中，A为S5.1得到的二值化图像，B为自动生成的正方形卷积核，E为包括A和B的像素集合，B_z为B包含于A时所有B中心点所能到达的点的集合，z为集合E中的元素；

S5.3、对S5.2腐蚀后的图像按照下式再进行三次膨胀操作；

为B的中心为A中元素时所有B覆盖的点的集合，z为集合E中的元素；

S5.4、基于投影分析法改进水平方向统计的黑白像素比，根据如下公式得出像素比统计直方图，

取直方图中间位置两个黑白像素之比的峰值点对应的水平线作为水平方向的两条分割线，用这两条分割线对S5.3处理后的图像进行水平行切割，得到标牌图像每一行的字符图片；

S5.5、根据如下改进后垂直方向的黑白像素比统计公式，得出像素比统计直方图，

将除直方图中从左到右第一个和最后一个峰值点之外的其他峰值点对应的垂直列，作为垂直方向的分割线，对水平切割后的单行数据进行垂直分割，得到单个字符图片。。

进一步的，步骤6包括以下步骤：

S6、CASIA-HWDB数据集上预训练标牌字符识别卷积神经网络，预训练完成后冻结卷积神经网络中的前三个卷积层，将预训练后网络的参数迁移用作本发明中标牌字符识别卷积神经网络的初始参数，之后仅对全连接层参数进行训练；

S6.2、生成包含多种常用印刷字体的至少300个常用汉字、阿拉伯数字0-10以及所有英文字母的图片作为数据集，训练标牌字符识别卷积神经网络的全连接层；

S6.3、将步骤5中分割出的字符图像输入到训练后的标牌字符识别卷积神经网络中，输出字符识别结果。

进一步的，步骤4完成后，采用HSI色彩空间对步骤4提取的电线杆标牌图像进行标牌背景色检测。

进一步的，对电线杆标牌图像背景色检测包括以下步骤：

SA1、将电线杆标牌图像从RGB色彩空间映射到HSI色彩空间；

SA2、列出电线杆标牌所使用的所有标准色在HSI色彩空间中各参数的取值范围；

SA3、选择所有标准色中的一种对标牌图像进行过滤，遍历标牌图像中的像素点进行二值化处理，如果某点的HSI值在该种颜色的范围之内就转换为白色，反之为黑色，然后统计图像中白色像素点的个数；

SA4、所有标准色都按照S7.3进行像素点统计，像素点最多的颜色所对应的参考色为电线杆标牌的背景色。

与现有技术相比，本发明至少具有以下有益的技术效果：

本发明首先将端到端一次性回归目标检测模型用于图像中电线杆标牌的目标检测，并在此基础上结合图像处理方法和深度神经网络的方法进行标牌字符分割及识别，最后在HSI颜色空间检测标牌色彩，从而实现对电线杆标牌中有用信息的智能识别和提取。

该方法通过制作电线杆标牌图像的多样化数据集，对端到端一次性回归目标检测模型进行训练使其适用于电线杆图片中对标牌的位置检测，提取出标牌在图像中的位置坐标后基于先验信息和投影分析进行字符分割，采用迁移学习简化训练用于字符识别以提高整体效率。

在目标检测和字符识别环节训练端到端预测模型和采用迁移学习的方法简化训练过程，并采用更符合人体视觉的HSI颜色空间进行标牌的背景色识别来减小图像分析工作量，最终实现对电线杆标牌中线路信息的准确识别，对提高巡检路径规划、农网改造勘察的效率具有一定的意义。

附图说明

图1为本发明所提出的基于端到端回归模型的电线杆标牌目标检测及识别方法的处理流程图；

图2为适用于本发明的包含电线杆标牌的原始图像的灰度图；

图3为将原始图像输入端到端回归模型进行目标检测的结果的灰度图；

图4为标牌字符分割的示意图。

具体实施方式

为了使本发明的目的和技术方案更加清晰和便于理解。以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。

下面结合人工采集的电线杆标牌图片的识别为实例对本发明作更详细的说明。

一种基于端到端回归模型的电线杆标牌目标检测及识别方法，步骤如下：

步骤1：采集300张以上包含电线杆标牌的图片，包含电线杆标牌的图片的灰度图如图1所示，图片集应具有背景差异、时段差异、角度差异等多样性；

步骤2：用步骤1采集的图片制作将用于训练目标检测模型的训练集和检验图像识别效果的测试集，人工标注图片中判定为有效的电杆标牌的边界框中心点坐标位置

和宽高尺寸

忽略标牌残缺或被遮挡导致目标信息不完整的无效标牌区域，然后将图片与对应生成的标注文件按训练集规定格式保存；

步骤3：基于在Imagenet数据集上预训练的端到端一次性回归目标检测模型，对其应用在检测电线杆标牌方面进行参数配置，并在特征提取分类网络框架下用步骤2制作的训练集执行训练，得到训练后的目标检测模型，其中特征提取分类网络框架采用darknet框架，包含数据结构定义层、输入输出层、核心计算层、功能层、训练执行层和应用层的目标检测模型训练工具包，具体包括以下步骤：

S3.1:根据以下公式配置特征提取分类网络中最后一个卷积层的滤波器数目filters：

filters＝(m+5)*A

式中，filters代表滤波器数目，m为所要检测目标的类别数，在本发明中目标类别数为1，A为预测边界的先验框个数,本发明中为3；

S3.2:下载darknet53.conv.74文件放在特征提取分类网络框架下，用其提供的模型预训练卷积权重值作为本发明中端到端一次性回归目标检测模型的初始化参数，以加快收敛速度；

S3.3:设置端到端一次性回归目标检测模型训练的次数范围为[10000,30000]、每次送入模型的样本量batch取64或128(32的倍数)、初始学习率设置在0.001～0.01，以及所使用的学习率调整机制为自适应动量优化算法；

S3.4:执行端到端一次性回归目标检测模型的训练，特征提取分类网络将每张输入图片划分为S×S个网格，每个网格对应B个预测边界框，计算特征提取分类网络预测的第i个网格对应的第j个边界框的置信度C_ij以及预测边界框与目标实际边框交并比IoU，计算第k类目标在第i个网格对应的第j个边界框出现的可能性得分Score_kij，得分最高的边界框为预测结果，输出其中心点坐标(x,y)和宽高尺寸(w,h)，具体计算公式如下：

C_ij＝P(Object)*IoU

Score_kij＝P(Class_k|Object)*C_ij

式中，P(Object)为网格包含检测目标中心点的概率，包含则为1，不包含为0，IoU为预测边界框与实际目标区域的交并比，P(Class_k|Object)为预测已经包含目标的边界框中包含第k类目标的条件概率。

S3.5计算损失函数loss来观察训练完成情况，具体计算公式如下：

损失函数loss＝loss1+loss2+loss3

式中，loss1为分类误差，loss2为位置误差，loss3为置信度误差，s²为划分的网格数目，Classes为检测的目标类别，本发明中只有电线杆标牌一类，B为每个网格对应候选边界框的数目，

表示物体落入格子i中，落入为1，未落入为0，p_i(c)为第c类目标中心点在第i个网格的预测概率，

为第c类目标中心点在第i个网格的实际概率，λ_coord＝5为定位误差的权重，

表示划分的第i个网格对应的第j个边界框中包含检测目标，x_i，y_i，w_i，h_i分别为第i个网格对应的包含目标的边界框的预测中心横坐标、纵坐标、宽和高，

分别为制作数据集时标注的目标边界框中心横坐标、纵坐标、宽和高，C_i为第i个网格单元包含目标的置信度，

为第i个网格单元实际置信度，λ_noobj＝0.5为置信度误差的权重，

表示划分的第i个网格对应的第j个边界框中不包含检测目标。

步骤4：用步骤2得到的测试集验证步骤3训练中loss函数值最低的目标检测模型的识别率，识别率在90％以下则回到步骤1采集更多电线杆标牌图像增加训练数据或者在S3.3调整特征提取网络的训练参数，重新进行训练，识别率90％以上则可以用此目标检测模型对电线杆标牌图像进行提取，然后执行步骤5，提取到的图像的灰度图如图3所示；

步骤5：基于电线杆标牌的印刷规则和投影分析法对步骤4中提取的标牌图像中的字符进行分割得到单个标牌中单个字符的图片，具体步骤如下：

S5.1:将步骤4中提取出的电线杆标牌原始图像进行灰度处理和二值化操作；

S5.2:对经过预处理的标牌图像按照下式连续进行三次腐蚀；

式中，A为S5.1得到的二值化图像，B为自动生成的正方形卷积核，E为包括A和B的像素集合，B_z为B包含于A时所有B中心点所能到达的点的集合，z为集合E中的元素；

S5.3:对腐蚀后的图像按照下式再进行三次膨胀操作；

为B的中心为A中元素时所有B覆盖的点的集合，z为集合E中的元素；

S5.4:基于投影分析法改进水平方向统计的黑白像素比，根据如下统计公式得出像素比统计直方图，直方图中间位置的两个峰值点对应的水平线即作为水平方向的两条分割线，据此对经过腐蚀和膨胀处理后的图像进行水平行切割，得到标牌图像每一行的字符图片，

S5.5:根据如下改进后垂直方向的黑白像素比统计公式，得出像素比统计直方图，直方图中除第一个和最后一个峰值点(对应图片左右边缘)之外的其他峰值点对应的垂直列，即作为垂直方向的分割线，对水平切割后的单行数据进行垂直分割，得到单个字符图片：

步骤6：利用迁移学习训练标牌字符识别卷积神经网络，训练结束后，将步骤5中分割出的电线杆标牌每个字符的图像输入标牌字符识别卷积神经网络中进行识别并输出对应文字，标牌字符识别卷积神经网络的结构包括3个卷积层，每个卷积层后的一个池化层，卷积完成后一个过渡的flatten层，一个防止过拟合的dropout层，最后包含两个全连接层，具体步骤如下：

S6.1：首先在CASIA-HWDB数据集上预训练标牌字符识别卷积神经网络，预训练完成后冻结卷积神经网络中的前三个卷积层，将预训练后网络的参数迁移用作本发明中标牌字符识别卷积神经网络的初始参数，之后仅对全连接层参数进行训练；

S6.2：使用计算机自动生成包含多种常用印刷字体的300个常用汉字、阿拉伯数字0-10以及所有英文字母的图片作为数据集，训练标牌字符识别卷积神经网络的全连接层；

S6.3：将步骤5中分割出的字符图像输入到训练后的标牌字符识别卷积神经网络中，输出字符识别结果，如图4所示。

步骤7：采用HSI色彩空间对步骤4提取出来的电线杆标牌图像进行标牌背景色的检测，具体步骤如下：

S7.1:将标牌图像从RGB色彩空间映射到HSI色彩空间，两者转换公式如下：

式中，H为色调，S为饱和度，I为强度，R为红色亮度，B为蓝色亮度，G为绿色亮度；

S7.2:如表1列出电线杆标牌所使用的六种标准色“黑白红黄蓝绿”在HSI色彩空间中各参数的取值范围；

表1 HSI颜色空间中电线杆标牌标准色取值范围

S7.3:选择六种标准色中的一种对标牌图像进行过滤，遍历标牌图像中的像素点进行二值化处理，如果某点的HSI值在该种颜色的范围之内就转换为白色，反之为黑色，然后统计图像中白色像素点的个数；

S7.4:六种标准色都按照S7.3进行像素点统计之后，像素点最多的颜色所对应的参考色即为电线杆标牌的背景色。

输入测试集的图像，经过步骤4目标检测、步骤5字符分割、步骤6字符识别以及步骤7背景色识别流程后，最终输出检测结果与实际情况相符的准确率为90.05％，符合对一般情况下采集的电线杆标牌进行图像识别的要求。

所述的电线杆标牌智能识别方法在目标检测环节采用的是在“暗网”分类网络下训练的端到端一次性回归目标检测模型。字符识别环节采用迁移学习的方法进行训练以及在HSI颜色空间进行标牌背景色识别。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，包括以下步骤：

步骤1：采集多张包含电线杆标牌的图片形成图片集，所述图片集中的图片具有多样性；

步骤2：用步骤1得到的图片集制作将用于训练目标检测模型的训练集和检验图像识别效果的测试集，标注图片中判定为有效的电杆标牌的边界框中心点坐标位置

和宽高尺寸

然后将图片与对应生成的标注文件按训练集规定格式保存；

步骤3：基于在Imagenet数据集上预训练的端到端一次性回归目标检测模型，进行参数配置，并在特征提取分类网络框架下用步骤2制作的训练集执行训练，得到训练后的目标检测模型，其中特征提取分类网络框架采用darknet框架；

步骤4：用步骤2得到的测试集验证步骤3训练中loss函数值最低的目标检测模型的识别率，识别率在阈值以下时，回到步骤1采集更多图像作为训练集或重新设置步骤3的参数重新执行训练，识别率在阈值以上时，用所述目标检测模型对电线杆标牌图像进行提取，并执行步骤5；

步骤5：基于电线杆标牌的印刷规则和投影分析法对步骤4中提取的标牌图像中的字符进行分割得到单个标牌中单个字符的图片；

步骤6：利用迁移学习训练标牌字符识别卷积神经网络，训练结束后，将步骤5中分割出的电线杆标牌中每个字符的图片输入标牌字符识别卷积神经网络中进行识别并输出对应文字。

2.根据权利要求1所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，所述步骤3包括以下步骤：

S3.1、根据以下公式配置特征提取分类网络中最后一个卷积层的滤波器数目filters，filters＝(m+5)*A；式中，m为所要检测目标的类别数，A为预测边界的候选框个数；

S3.2、将darknet53.conv.74文件放在特征提取分类网络框架下，用其提供的模型预训练卷积权重值作为端到端一次性回归目标检测模型的初始化参数；

S3.3、设置端到端一次性回归目标检测模型训练的次数范围、每次送入模型的样本量batch、初始学习率以及所使用的学习率调整机制；

S3.4:执行端到端一次性回归目标检测模型的训练，特征提取分类网络将每张输入图片划分为S×S个网格，每个网格对应B个预测边界框，计算特征提取分类网络预测的第i个网格对应的第j个边界框的置信度C_ij以及预测边界框与目标实际边框交并比IoU，计算第k类目标在第i个网格对应的第j个边界框出现的可能性得分Score_kij，得分最高的边界框为预测结果，输出其中心点坐标(x,y)和宽高尺寸(w,h)，具体计算公式如下：

C_ij＝P(Object)*IoU

Score_kij＝P(Class_k|Object)*C_ij

式中，P(Object)为网格包含检测目标中心点的概率，包含则为1，不包含为0，IoU为预测边界框与实际目标区域的交并比，P(Class_k|Object)为预测已经包含目标的边界框中包含第k类目标的条件概率；

S3.5计算损失函数loss来观察训练完成情况，具体计算公式如下：

损失函数loss＝loss1+loss2+loss3

式中，loss1为分类误差，loss2为位置误差，loss3为置信度误差，s²为划分的网格数目，Classes为待检测的目标类别，本发明中只有电线杆标牌一类，B为每个网格对应候选边界框的数目，

表示物体落入格子i中，落入为1，未落入为0，p_i(c)为第c类目标中心点在第i个网格的预测概率，

为第c类目标中心点在第i个网格的实际概率，λ_coord＝5为定位误差的权重，

表示划分的第i个网格对应的第j个边界框中包含检测目标，x_i，y_i，w_i，h_i分别为第i个网格对应的包含目标的边界框的预测中心横坐标、纵坐标、宽和高，

分别为制作数据集时标注的目标边界框中心横坐标、纵坐标、宽和高，C_i为第i个网格单元包含目标的置信度，

为第i个网格单元实际置信度，λ_noobj＝0.5为置信度误差的权重，

表示划分的第i个网格对应的第j个边界框中不包含检测目标。

3.根据权利要求1所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，所述步骤5包括以下步骤：

S5.1、将步骤4中提取出的电线杆标牌原始图像进行灰度处理和二值化操作；

S5.2、对经过预处理的标牌图像按照下式进行三次腐蚀；

式中，A为S5.1得到的二值化图像，B为自动生成的正方形卷积核，E为包括A和B的像素集合，B_z为B包含于A时所有B中心点所能到达的点的集合，z为集合E中的元素；

S5.3、对S5.2腐蚀后的图像按照下式再进行三次膨胀操作；

为B的中心为A中元素时所有B覆盖的点的集合，z为集合E中的元素；

S5.4、基于投影分析法改进水平方向统计的黑白像素比，根据如下公式得出像素比统计直方图，

取直方图中间位置两个黑白像素之比的峰值点对应的水平线作为水平方向的两条分割线，用这两条分割线对S5.3处理后的图像进行水平行切割，得到标牌图像每一行的字符图片；

S5.5、根据如下改进后垂直方向的黑白像素比统计公式，得出像素比统计直方图，

将除直方图中从左到右第一个和最后一个峰值点之外的其他峰值点对应的垂直列，作为垂直方向的分割线，对水平切割后的单行数据进行垂直分割，得到单个字符图片。

4.根据权利要求1所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，所述步骤6包括以下步骤：

S6、CASIA-HWDB数据集上预训练标牌字符识别卷积神经网络，预训练完成后冻结卷积神经网络中的前三个卷积层，将预训练后网络的参数迁移用作本发明中标牌字符识别卷积神经网络的初始参数，之后仅对全连接层参数进行训练；

S6.2、生成包含多种常用印刷字体的至少300个常用汉字、阿拉伯数字0-10以及所有英文字母的图片作为数据集，训练标牌字符识别卷积神经网络的全连接层；

S6.3、将步骤5中分割出的字符图像输入到训练后的标牌字符识别卷积神经网络中，输出字符识别结果。

5.根据权利要求1所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，所述步骤4完成后，采用HSI色彩空间对步骤4提取的电线杆标牌图像进行标牌背景色检测。

6.根据权利要求5所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，对电线杆标牌图像背景色检测包括以下步骤：

SA1、将电线杆标牌图像从RGB色彩空间映射到HSI色彩空间；

SA2、列出电线杆标牌所使用的所有标准色在HSI色彩空间中各参数的取值范围；

SA3、选择所有标准色中的一种对标牌图像进行过滤，遍历标牌图像中的像素点进行二值化处理，如果某点的HSI值在该种颜色的范围之内就转换为白色，反之为黑色，然后统计图像中白色像素点的个数；

SA4、所有标准色都按照S7.3进行像素点统计，像素点最多的颜色所对应的参考色为电线杆标牌的背景色。

Images