CN114462646B - 一种基于接触网安全巡检的杆号牌识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于接触网安全巡检的杆号牌识别方法及系统，包括以下步骤：步骤S1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出杆号牌编号识别图像；步骤S2：对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型。本发明利用对杆号牌的所有巡检图像进行图像质量筛选得到表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像，利用杆号牌编号识别图像可提高杆号牌检测的精度。

Description

一种基于接触网安全巡检的杆号牌识别方法及系统

技术领域

本发明涉及接触网巡检技术领域，具体涉及一种基于接触网安全巡检的杆号牌识别方法及系统。

背景技术

接触网支撑装置担负着支撑接触网的重要任务，而其中每一根支柱上都一定有杆号牌；杆号牌的精确批量识别对于铁路线路的里程标定和接触网的巡检维护对象确认有着至关重要的作用；如何高效、准确、安全地实现高速铁路线路上的非接触检测是目前亟待解决的问题。

接触网杆号牌检测标准中对高铁轨道两侧支柱上的杆号检测有明确要求，是高铁杆号牌的重要检测项目之一，起着故障定位、位置检测等功能；目前，接触网两侧的杆号牌检测时无法控制拍摄图片质量，从而导致检测精度不可控，同时忽略了接触网杆号牌的规律属性进行检测加速，均需要独立对每个接触网杆号牌进行处理，费时费力。

发明内容

本发明的目的在于提供一种基于接触网安全巡检的杆号牌识别方法及系统，以解决现有技术中杆号牌检测时无法控制拍摄图片质量，从而导致检测精度不可控，同时忽略了接触网杆号牌的规律属性进行检测加速，均需要独立对每个接触网杆号牌进行处理，费时费力的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种基于接触网安全巡检的杆号牌识别方法，包括以下步骤：

步骤S1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

步骤S2、对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

步骤S3、为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号，所述图像特征关联属性是指对批量待识别的杆号牌的杆号牌编号识别图像中相邻的杆号牌编号识别图像中后一杆号牌编号识别图像可由前一杆号牌编号识别图像更新图像特征得到。

作为本发明的一种优选方案，所述步骤S1中，在对所述杆号牌巡检图像进行筛选之前还包括对一组杆号牌巡检图像进行图像几何大小、位置规格调整，以使得一组杆号牌巡检图像实现表征同一图像特征的像素点对应匹配，所述对一组杆号牌巡检图像进行图像几何大小、位置规格调整的方法包括：

步骤S101、为一组杆号牌巡检图像{i|i∈[1,n]}中每个杆号牌巡检图像均设置两个定位点，其中，两个所述定位点的坐标为O(x_i,1，y_i,1)，P(x_i,2，y_i,2)，x_i,1，y_i,1表征为杆号牌巡检图像i的定位点O的横、纵坐标，x_i,2，y_i,2表征为杆号牌巡检图像i的定位点P的横、纵坐标，i表征为杆号牌巡检图像的区分编号，n表征为一组杆号牌巡检图像中包含的杆号牌巡检图像的总数量；

步骤S102、采用Harris检测算法对一组杆号牌巡检图像中杆号牌巡检图像进行定位点检测，再通过定位点在杆号牌巡检图像上的几何变换实现对一组杆号牌巡检图像的几何大小、位置偏差进行调整至偏差消失，其中，

所述几何大小、位置偏差的调整方法包括：

以一组杆号牌巡检图像中的杆号牌巡检图像1为基准图像A，依次以一组杆号牌巡检图像中的剩余杆号牌巡检图像k(k∈[2,n])为调整图像B，计算基准图像A中两个定位点的水平偏角σ_OP和调整图像B中两个定位点的水平偏角σ′_OP，其中，

若σ_OP≠σ′_OP，则对调整图像B进行σ_OP-σ′_OP角度的旋转变换；

若σ_OP＝σ′_OP，则调整图像B无需进行旋转变换；

计算基准图像A中两个定位点之间的距离D_OP和调整图像B中两个定位点之间的距离D′_OP，其中，

若σ_OP＝σ′_OP且D_OP≠D′_OP，则对调整图像B进行D′_OP/D_OP倍的缩放变换；

若σ_OP＝σ′_OP且D_OP＝D′_OP，则调整图像B无需进行缩放变换；

将所述调整图像B中两个定位点O(x_k,1，y_k,1)，P(x_k,2，y_k,2)进行位移调整至基准图像A中两个定位点O(x_1,1，y_1,1)，P(x_1,2，y_1,2)，并保留位移调整路线，将所述调整图像B沿位移调整路线进行位移调整完成对调整图像B的调整，使得调整图像B与所述基准图像A的像素点对应匹配；

其中，x_k,1，y_k,1表征为调整图像B的定位点O的横、纵坐标，x_k,2，y_k,2表征为调整图像B的定位点P的横、纵坐标。

作为本发明的一种优选方案，所述步骤S1中，所述杆号牌编号识别图像的筛选方法包括：

为一组杆号牌巡检图像设定图像质量衡量指标，所述图像质量衡量指标包括图像的清晰度，杆号牌数字编号的完整度，以及图像的像素信息量，其中，

所述清晰度利用杆号牌巡检图像中像素点像素值的方差进行衡量，所述清晰度的计算公式为：

式中，f₁(i)表征为杆号牌巡检图像i的清晰度，i_j表征为杆号牌巡检图像i中像素点j的像素值，

μ表征为杆号牌巡检图像i的平均像素值；

所述完整度利用杆号牌巡检图像中表征杆号牌数字编号的像素点信息熵进行衡量，所述完整度的计算公式为：

式中，f₂(i)表征为杆号牌巡检图像i的完整度，l₁、l₂分别表征为表征杆号牌数字编号的像素点的像素值最小取值和最大取值，p_i表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

所述像素信息量利用杆号牌巡检图像所有像素点信息熵进行衡量，所述像素信息量的计算公式为：

式中，f₃(i)表征为杆号牌巡检图像i的像素信息量，L表征为杆号牌巡检图像所有像素点像素值最大取值，p_i表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

基于所述图像质量衡量指标建立对一组杆号牌巡检图像进行图像质量评价的图像质量评价函数，并将图像质量评价函数值最高的杆号牌巡检图像作为杆号牌编号识别图像，其中，所述图像质量评价函数的计算公式为：

F(i)＝f₁(i)+f₂(i)+f₃(i)；

式中，F(i)表征为杆号牌巡检图像i的图像质量评价函数值。

作为本发明的一种优选方案，所述像素值最大取值l₂和最小取值l₁的确定方法包括：

将杆号牌中杆号牌数字编号所在区域与杆号牌整个区域的横纵向位置关系等坐标映射到杆号牌巡检图像确定出表征杆号牌数字编号的像素点位置；

将表征杆号牌数字编号的像素点进行像素值比较得到像素值最大取值l₂和最小取值l₁。

作为本发明的一种优选方案，所述步骤S2中，所述杆号牌数字编号识别模型的构建方法包括：

步骤S201、利用步骤S1获得接触网中所有杆号牌的杆号牌编号识别图像作为样本特征，并人工提取出每个杆号牌编号识别图像中的杆号牌数字编号作为样本标签，将单个所述样本特征和单个样本标签进行对应且唯一绑定得到单个训练样本；

步骤S202、使用加速区域卷积神经网络模型FasterR-CNN对所有训练样本进行训练得到杆号牌数字编号识别模型，所述杆号牌数字编号识别模型的输入为杆号牌编号识别图像，输出为杆号牌数字编号。

作为本发明的一种优选方案，所述步骤S3中，所述一组关联的杆号牌编号识别图像的获得方法包括：

步骤S301、为批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}设置表征相邻的杆号牌编号识别图像h和h+1中像素点{j|j∈[1,m]}差异性的差异监听因子

其中，所述差异监听因子

的计算公式为：

式中，m表征为杆号牌编号识别图像h/h+1中像素点的总数目，h_j、(h+1)_j分别表征为杆号牌编号识别图像h和h+1中像素点j的像素值，j表征为像素点区分标号，N表征为批量待识别的杆号牌的总数目；

步骤S302、设置差异阈值

其中，

若差异监听因子

高于等于差异阈值

则将所述差异监听因子

对应的杆号牌编号识别图像h+1中的像素点j替换杆号牌编号识别图h中的像素点j；

若差异监听因子

低于差异阈值

则将所述差异监听因子

对应的杆号牌编号识别图像h中的像素点进行保留；

步骤S303、依次将杆号牌编号识别图像h作为新的杆号牌编号识别图像h+1，实现将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}转换为一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}，h′表征为关联的杆号牌编号识别图像的区分标号。

作为本发明的一种优选方案，所述批量待识别的杆号牌的杆号牌数字编号的获得方法包括：

将一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}依次输入至杆号牌数字编号识别模型中，依次得到一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}的杆号牌数字编号；

将一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}的杆号牌数字编号对应映射至批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}上得到批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}的杆号牌数字编号；

将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}的杆号牌数字编号对应映射至批量待识别的杆号牌{h|h∈[1,N]}中得到批量待识别的杆号牌的杆号牌数字编号。

作为本发明的一种优选方案，所述批量待识别的杆号牌的杆号牌编号识别图像利用步骤S1得到。

作为本发明的一种优选方案，所述像素值为RGB三通道像素分量R像素分量、G像素分量和B像素分量加权构成。

作为本发明的一种优选方案，本发明提供了一种根据所述的基于接触网安全巡检的杆号牌识别方法的识别系统，包括：

图像拍摄单元，用于利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

模型建立单元，用于对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

模型应用单元，用于为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号。

本发明与现有技术相比较具有如下有益效果：

本发明利用对杆号牌的所有巡检图像进行图像质量筛选得到表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像，利用杆号牌编号识别图像可提高杆号牌检测的精度，同时利用接触网杆号牌的规律属性进行检测加速，无需独立对每个接触网杆号牌的进行检测，省时省力。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的杆号牌识别方法流程图；

图2为本发明实施例提供的识别系统结构框图。

图中的标号分别表示如下：

1-图像拍摄单元；2-模型建立单元；3-模型应用单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和2所示，本发明提供了一种基于接触网安全巡检的杆号牌识别方法，包括以下步骤：

在巡检过程中如果仅对杆号牌拍摄一张杆号牌巡检图像，可能杆号牌巡检图像由于高速相机的振动导致图像模糊，或者出现杆号牌数字编号部分被异物遮挡的导致残缺，会无法保证这张杆号牌巡检图像是包含完整杆号牌数字编号并且具有高清晰度的图像，因此只拍摄一张杆号牌巡检图像会大大降低识别到杆号牌数字编号的成功率，从而本实施例提供了一种对每个杆号牌处连续获取一组杆号牌巡检图像，并对杆号牌巡检图像进行筛选得到杆号牌编号识别图像的方法用于提高识别杆号牌数字编号成功率，具体如下：

步骤S1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

其中号牌定位网络是用于图像目标检测的定位检测网络，现有技术中YOLO V1～V3或其他用于目标检测的算法均能实现，在此不加赘述，采用号牌定位网络作为第一层杆号牌区域提取网络提取输入图像中所存在的杆号牌图像，其中该部分作为第一次定位网络，目的是从图像中将支柱杆号牌区域单独提取出来。

所述步骤S1中，在对所述杆号牌巡检图像进行筛选之前还包括对一组杆号牌巡检图像进行图像几何大小、位置规格调整，以使得一组杆号牌巡检图像实现表征同一图像特征的像素点对应匹配，所述对一组杆号牌巡检图像进行图像几何大小、位置规格调整的方法包括：

步骤S101、为一组杆号牌巡检图像{i|i∈[1,n]}中每个杆号牌巡检图像均设置两个定位点，其中，两个所述定位点的坐标为O(x_i,1，y_i,1)，P(x_i,2，y_i,2)，x_i,1，y_i,1表征为杆号牌巡检图像i的定位点O的横、纵坐标，x_i,2，y_i,2表征为杆号牌巡检图像i的定位点P的横、纵坐标，i表征为杆号牌巡检图像的区分编号，n表征为一组杆号牌巡检图像中包含的杆号牌巡检图像的总数量；

步骤S102、采用Harris检测算法对一组杆号牌巡检图像中杆号牌巡检图像进行定位点检测，再通过定位点在杆号牌巡检图像上的几何变换实现对一组杆号牌巡检图像的几何大小、位置偏差进行调整至偏差消失，其中，

所述几何大小、位置偏差的调整方法包括：

以一组杆号牌巡检图像中的杆号牌巡检图像1为基准图像A，依次以一组杆号牌巡检图像中的剩余杆号牌巡检图像k(k∈[2,n])为调整图像B，计算基准图像A中两个定位点的水平偏角σ_OP和调整图像B中两个定位点的水平偏角σ′_OP，其中，

若σ_OP≠σ′_OP，则对调整图像B进行σ_OP-σ′_OP角度的旋转变换；

若σ_OP＝σ′_OP，则调整图像B无需进行旋转变换；

计算基准图像A中两个定位点之间的距离D_OP和调整图像B中两个定位点之间的距离D′_OP，其中，

若σ_OP＝σ′_OP且D_OP≠D′_OP，则对调整图像B进行D′_OP/D_OP倍的缩放变换；

若σ_OP＝σ′_OP且D_OP＝D′_OP，则调整图像B无需进行缩放变换；

将所述调整图像B中两个定位点O(x_k,1，y_k,1)，P(x_k,2，y_k,2)进行位移调整至基准图像A中两个定位点O(x_1,1，y_1,1)，P(x_1,2，y_1,2)，并保留位移调整路线，将所述调整图像B沿位移调整路线进行位移调整完成对调整图像B的调整，使得调整图像B与所述基准图像A的像素点对应匹配；

其中，x_k,1，y_k,1表征为调整图像B的定位点O的横、纵坐标，x_k,2，y_k,2表征为调整图像B的定位点P的横、纵坐标。

将一组杆号牌巡检图像进行位置、几何大小的偏差调整，以使得所有杆号牌巡检图像中像素点逐一对应匹配，从而使得所有杆号牌巡检图像包含的图像信息相同，保证一组杆号牌巡检图像在图像质量指标上具有可比性。

所述步骤S1中，所述杆号牌编号识别图像的筛选方法包括：

为一组杆号牌巡检图像设定图像质量衡量指标，所述图像质量衡量指标包括图像的清晰度，杆号牌数字编号的完整度，以及图像的像素信息量，其中，图像的清晰度越高，则杆号牌巡检图像中表征杆号牌数字编号的像素点越清晰，则由杆号牌巡检图像中识别出杆号牌数字编号的正确率越高；杆号牌数字编号的完整度越高，则杆号牌巡检图像中表征杆号牌数字编号的像素点越丰富，则由杆号牌巡检图像中识别出杆号牌数字编号的正确率越高；图像的像素信息量越低，则杆号牌巡检图像的像素点越少，则在进行由杆号牌巡检图像中识别出杆号牌数字编号的计算复杂度越低，即识别出杆号牌数字编号的效率越高，因此，在筛选杆号牌巡检图像时，期望得到的是清晰度高且具有包含杆号牌数字编号的完整度高以及计算复杂度低的杆号牌巡检图像作为杆号牌编号识别图像，从而可保证杆号牌编号识别图像在后续识别杆号牌数字编号的过程中具有高精度和高效率。

所述清晰度利用杆号牌巡检图像中像素点像素值的方差进行衡量，所述清晰度的计算公式为：

式中，f₁(i)表征为杆号牌巡检图像i的清晰度，i_j表征为杆号牌巡检图像i中像素点j的像素值，

μ表征为杆号牌巡检图像i的平均像素值；

由于清晰聚焦的图像有着比模糊图像更大的像素值差异，可以将方差作为清晰度的评价衡量指标，f₁(i)越大，则图像的清晰度越高，f₁(i)越小，则图像的清晰度越低。

所述完整度利用杆号牌巡检图像中表征杆号牌数字编号的像素点信息熵进行衡量，所述完整度的计算公式为：

式中，f₂(i)表征为杆号牌巡检图像i的完整度，l₁、l₂分别表征为表征杆号牌数字编号的像素点的像素值最小取值和最大取值，p_i表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

熵函数是衡量图像信息丰富程度的一个重要指标，有信息论可知，一幅图像的信息量是由该图像的信息熵来度量，根据Shannon信息论，熵最大时信息量最多，将此原理应用到对焦过程，f₂(i)越大，则杆号牌巡检图像中表征杆号牌数字编号的像素点越丰富，杆号牌数字编号的细节描述越充分，则杆号牌数字编号的完整度越高，f₂(i)越小，则图像杆号牌巡检图像中表征杆号牌数字编号的像素点越匮乏，杆号牌数字编号的细节描述越缺乏，则杆号牌数字编号的完整度越低。

所述像素信息量利用杆号牌巡检图像所有像素点信息熵进行衡量，所述像素信息量的计算公式为：

式中，f₃(i)表征为杆号牌巡检图像i的像素信息量，L表征为杆号牌巡检图像所有像素点像素值最大取值，一般区256，p_i表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

熵函数是衡量图像信息丰富程度的一个重要指标，有信息论可知，一幅图像的信息量是由该图像的信息熵来度量，根据Shannon信息论，熵最大时信息量最多，信息量最多则后续进行计算过程中需要更高的计算复杂度，因此f₃(i)越大，计算复杂度越高，f₃(i)越小，计算复杂度越低。

基于所述图像质量衡量指标建立对一组杆号牌巡检图像进行图像质量评价的图像质量评价函数，并将图像质量评价函数值最高的杆号牌巡检图像作为杆号牌编号识别图像，其中，所述图像质量评价函数的计算公式为：

F(i)＝f₁(i)+f₂(i)+f₃(i)；

式中，F(i)表征为杆号牌巡检图像i的图像质量评价函数值。

利用三个指标f₁(i)、f₂(i)、f₃(i)对每个杆号牌巡检图像进行质量评价，其中最高的F(i)值对应的杆号牌巡检图像i筛选出作为杆号牌编号识别图像，使得杆号牌编号识别图像具有高清晰度，高完整度以及低像素信息量，即杆号牌编号识别图像表征完整杆号牌数字编号且清晰且计算量小。

所述像素值最大取值l₂和最小取值l₁的确定方法包括：

将杆号牌中杆号牌数字编号所在区域与杆号牌整个区域的横纵向位置关系等坐标映射到杆号牌巡检图像确定出表征杆号牌数字编号的像素点位置，比如，杆号牌整个区域的上下边向内推1/4高度为杆号牌数字编号所在区域上下边，杆号牌整个区域的左右边向内推1/4高度为杆号牌数字编号所在区域左右边；

将表征杆号牌数字编号的像素点进行像素值比较得到像素值最大取值l₂和最小取值l₁。

步骤S2、对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

所述步骤S2中，所述杆号牌数字编号识别模型的构建方法包括：

步骤S201、利用步骤S1获得接触网中所有杆号牌的杆号牌编号识别图像作为样本特征，并人工提取出每个杆号牌编号识别图像中的杆号牌数字编号作为样本标签，将单个所述样本特征和单个样本标签进行对应且唯一绑定得到单个训练样本；

步骤S202、使用加速区域卷积神经网络模型FasterR-CNN对所有训练样本进行训练得到杆号牌数字编号识别模型，所述杆号牌数字编号识别模型的输入为杆号牌编号识别图像，输出为杆号牌数字编号。

步骤S3、为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号，所述图像特征关联属性是指对批量待识别的杆号牌的杆号牌编号识别图像中相邻的杆号牌编号识别图像中后一杆号牌编号识别图像可由前一杆号牌编号识别图像更新图像特征得到。

所述步骤S3中，所述一组关联的杆号牌编号识别图像的获得方法包括：

步骤S301、为批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}设置表征相邻的杆号牌编号识别图像h和h+1中像素点{j|j∈[1,m]}差异性的差异监听因子

其中，所述差异监听因子

的计算公式为：

式中，m表征为杆号牌编号识别图像h/h+1中像素点的总数目，h_j、(h+1)_j分别表征为杆号牌编号识别图像h和h+1中像素点j的像素值，j表征为像素点区分标号，N表征为批量待识别的杆号牌的总数目；

步骤S302、设置差异阈值

其中，

若差异监听因子

高于等于差异阈值

则将所述差异监听因子

对应的杆号牌编号识别图像h+1中的像素点j替换杆号牌编号识别图h中的像素点j；

若差异监听因子

低于差异阈值

则将所述差异监听因子

对应的杆号牌编号识别图像h中的像素点进行保留；

步骤S303、依次将杆号牌编号识别图像h作为新的杆号牌编号识别图像h+1，实现将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}转换为一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}，h′表征为关联的杆号牌编号识别图像的区分标号。

通常连续路段上的杆号牌具有一定的顺序连续性，比如编号为A101杆号牌，在后续路段上的杆号牌为A102、A103、A104等，对于A101杆号牌的杆号牌编号识别图像而言，A102杆号牌的杆号牌编号识别图像与A101杆号牌的杆号牌编号识别图像仅存在一个数字像素点的差异，因此可将A102杆号牌的杆号牌编号识别图像转换为由A101杆号牌的杆号牌编号识别图像更新而来，然后直接将更新为A102杆号牌的杆号牌编号识别图像的A101杆号牌的杆号牌编号识别图像再次输入至杆号牌数字编号识别模型中进行杆号牌数字编号，整个过程中仅改变了作为输入项的前一张杆号牌编号识别图像中的差异部分，保留了大部分未发生变动的一致部分，从而A102杆号牌的杆号牌编号识别图像是由A101杆号牌的杆号牌编号识别图像更新而来，则作为输入项时，杆号牌数字编号识别模型仅需要运算的是差异部分，从而大大提高了效率，比如A101杆号牌的杆号牌编号识别图像的像素点[1,m]与A102杆号牌的杆号牌编号识别图像的像素点[1,m]中差异部分为像素点x，则将A102杆号牌的杆号牌编号识别图像的像素点x替换A101杆号牌的杆号牌编号识别图像的像素点x，则将此时替换更新后的A101杆号牌的杆号牌编号识别图像作为A102杆号牌的杆号牌编号识别图像，在进行A101杆号牌识别时，将原始的A101杆号牌的杆号牌编号识别图像输入杆号牌数字编号识别模型进行运算得到对A101杆号牌的杆号牌编号识别图像的识别结果，此时是需要对A101杆号牌的杆号牌编号识别图像中像素点[1,m]全部进行模型运算，而在进行A102杆号牌识别时，将作为A102杆号牌的杆号牌编号识别图像的替换更新后的A101杆号牌的杆号牌编号识别图像输入杆号牌数字编号识别模型进行运算得到对A102杆号牌的杆号牌编号识别图像的识别结果，此时仅需要对替换更新后对A101杆号牌的杆号牌编号识别图像中像素点x进行模型运算即可，其他像素点运算维持在上次A101杆号牌识别的模型运算时即可，可有效的降低运算复杂度。

所述批量待识别的杆号牌的杆号牌数字编号的获得方法包括：

将一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}依次输入至杆号牌数字编号识别模型中，依次得到一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}的杆号牌数字编号；

将一组关联的杆号牌编号识别图像{h′|h′∈[1,N]}的杆号牌数字编号对应映射至批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}上得到批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}的杆号牌数字编号；

将批量待识别的杆号牌的杆号牌编号识别图像{h|h∈[1,N]}的杆号牌数字编号对应映射至批量待识别的杆号牌{h|h∈[1,N]}中得到批量待识别的杆号牌的杆号牌数字编号。

所述批量待识别的杆号牌的杆号牌编号识别图像利用步骤S1得到。

所述像素值为RGB三通道像素分量R像素分量、G像素分量和B像素分量加权构成。

基于上述基于接触网安全巡检的杆号牌识别方法，本发明提供了一种识别系统，包括：

图像拍摄单元1，用于利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

模型建立单元2，用于对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

模型应用单元3，用于为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号。

本发明利用对杆号牌的所有巡检图像进行图像质量筛选得到表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像，利用杆号牌编号识别图像可提高杆号牌检测的精度，同时利用接触网杆号牌的规律属性进行检测加速，无需独立对每个接触网杆号牌的进行检测，省时省力。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种基于接触网安全巡检的杆号牌识别方法，其特征在于，包括以下步骤：

步骤S1、利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

步骤S2、对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

步骤S3、为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号，所述图像特征关联属性是指对批量待识别的杆号牌的杆号牌编号识别图像中相邻的杆号牌编号识别图像中后一杆号牌编号识别图像由前一杆号牌编号识别图像更新图像特征得到；

步骤S1中，杆号牌编号识别图像的筛选方法包括：

为一组杆号牌巡检图像设定图像质量衡量指标，图像质量衡量指标包括图像的清晰度，杆号牌数字编号的完整度，以及图像的像素信息量，其中，

清晰度利用杆号牌巡检图像中像素点像素值的方差进行衡量，清晰度的计算公式为：

；

式中，

表征为杆号牌巡检图像i的清晰度，i _j 表征为杆号牌巡检图像i中像素点j的像素值，

，

表征为杆号牌巡检图像i的平均像素值；

完整度利用杆号牌巡检图像中表征杆号牌数字编号的像素点信息熵进行衡量，完整度的计算公式为：

；

式中，

表征为杆号牌巡检图像i的完整度，l ₁、l ₂分别表征为表征杆号牌数字编号的像素点的像素值最小取值和最大取值，p _i 表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

像素信息量利用杆号牌巡检图像所有像素点信息熵进行衡量，像素信息量的计算公式为：

；

式中，

表征为杆号牌巡检图像i的像素信息量，L表征为杆号牌巡检图像所有像素点像素值最大取值，p _i 表征为杆号牌巡检图像i中像素点像素值为l的出现概率；

基于图像质量衡量指标建立对一组杆号牌巡检图像进行图像质量评价的图像质量评价函数，并将图像质量评价函数值最高的杆号牌巡检图像作为杆号牌编号识别图像，其中，图像质量评价函数的计算公式为：

；

式中，

表征为杆号牌巡检图像i的图像质量评价函数值；

步骤S3中，一组关联的杆号牌编号识别图像的获得方法包括：

步骤S301、为批量待识别的杆号牌的杆号牌编号识别图像

设置表征相邻的杆号牌编号识别图像h和h+1中像素点

差异性的差异监听因子

，其中，差异监听因子

的计算公式为：

；

式中，m表征为杆号牌编号识别图像h/h+1中像素点的总数目，h _j 、(h+1) _j 分别表征为杆号牌编号识别图像h和h+1中像素点j的像素值，j表征为像素点区分标号，N表征为批量待识别的杆号牌的总数目；

步骤S302、设置差异阈值

，其中，

若差异监听因子

高于等于差异阈值

，则将差异监听因子

对应的杆号牌编号识别图像h+1中的像素点j替换杆号牌编号识别图像h中的像素点j；

若差异监听因子

低于差异阈值

，则将差异监听因子

对应的杆号牌编号识别图像h中的像素点进行保留；

步骤S303、依次将杆号牌编号识别图像h作为新的杆号牌编号识别图像h+1，实现将批量待识别的杆号牌的杆号牌编号识别图像

转换为一组关联的杆号牌编号识别图像

，

表征为关联的杆号牌编号识别图像的区分标号。

2.根据权利要求1所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤S1中，在对所述杆号牌巡检图像进行筛选之前还包括对一组杆号牌巡检图像进行图像几何大小、位置规格调整，以使得一组杆号牌巡检图像实现表征同一图像特征的像素点对应匹配，所述对一组杆号牌巡检图像进行图像几何大小、位置规格调整的方法包括：

步骤S101、为一组杆号牌巡检图像

中每个杆号牌巡检图像均设置两个定位点，其中，两个所述定位点的坐标为O(x _i,1，y _i,1)，P(x _i,2，y _i,2)，x _i,1，y _i,1表征为杆号牌巡检图像i的定位点O的横、纵坐标，x _i,2，y _i,2表征为杆号牌巡检图像i的定位点P的横、纵坐标，i表征为杆号牌巡检图像的区分编号，n表征为一组杆号牌巡检图像中包含的杆号牌巡检图像的总数量；

步骤S102、采用Harris检测算法对一组杆号牌巡检图像中杆号牌巡检图像进行定位点检测，再通过定位点在杆号牌巡检图像上的几何变换实现对一组杆号牌巡检图像的几何大小、位置偏差进行调整至偏差消失，其中，

所述几何大小、位置偏差的调整方法包括：

以一组杆号牌巡检图像中的杆号牌巡检图像为基准图像A，依次以一组杆号牌巡检图像中的剩余杆号牌巡检图像

为调整图像B，计算基准图像A中两个定位点的水平偏角

和调整图像B中两个定位点的水平偏角

，其中，

若

，则对调整图像B进行

角度的旋转变换；

若

，则调整图像B无需进行旋转变换；

计算基准图像A中两个定位点之间的距离D_OP和调整图像B中两个定位点之间的距离D^′ _OP，其中，

若

且D_OP≠D^′ _OP，则对调整图像B进行D^′ _OP/D_OP倍的缩放变换；

若

且D_OP=D^′ _OP，则调整图像B无需进行缩放变换；

将所述调整图像B中两个定位点O(x_k,1，y_k,1)，P(x_k,2，y_k,2)进行位移调整至基准图像A中两个定位点O(x_1,1，y_1,1)，P(x_1,2，y_1,2)，并保留位移调整路线，将所述调整图像B沿位移调整路线进行位移调整完成对调整图像B的调整，使得调整图像B与所述基准图像A的像素点对应匹配；

其中，x_k,1，y_k,1表征为调整图像B的定位点O的横、纵坐标，x_k,2，y_k,2表征为调整图像B的定位点P的横、纵坐标。

3.根据权利要求2所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述像素值最大取值l ₂和最小取值l ₁的确定方法包括：

将杆号牌中杆号牌数字编号所在区域与杆号牌整个区域的横纵向位置关系坐标映射到杆号牌巡检图像确定出表征杆号牌数字编号的像素点位置；

将表征杆号牌数字编号的像素点进行像素值比较得到像素值最大取值l ₂和最小取值l ₁。

4.根据权利要求3所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述步骤S2中，所述杆号牌数字编号识别模型的构建方法包括：

步骤S201、利用步骤S1获得接触网中所有杆号牌的杆号牌编号识别图像作为样本特征，并人工提取出每个杆号牌编号识别图像中的杆号牌数字编号作为样本标签，将单个所述样本特征和单个样本标签进行对应且唯一绑定得到单个训练样本；

步骤S202、使用加速区域卷积神经网络模型FasterR-CNN对所有训练样本进行训练得到杆号牌数字编号识别模型，所述杆号牌数字编号识别模型的输入为杆号牌编号识别图像，输出为杆号牌数字编号。

5.根据权利要求4所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述批量待识别的杆号牌的杆号牌数字编号的获得方法包括：

将一组关联的杆号牌编号识别图像

依次输入至杆号牌数字编号识别模型中，依次得到一组关联的杆号牌编号识别图像

的杆号牌数字编号；

将一组关联的杆号牌编号识别图像

的杆号牌数字编号对应映射至批量待识别的杆号牌的杆号牌编号识别图像

上得到批量待识别的杆号牌的杆号牌编号识别图像

的杆号牌数字编号；

将批量待识别的杆号牌的杆号牌编号识别图像

的杆号牌数字编号对应映射至批量待识别的杆号牌

中得到批量待识别的杆号牌的杆号牌数字编号。

6.根据权利要求5所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于：所述批量待识别的杆号牌的杆号牌编号识别图像利用步骤S1得到。

7.根据权利要求6所述的一种基于接触网安全巡检的杆号牌识别方法，其特征在于，所述像素值为RGB三通道像素分量R像素分量、G像素分量和B像素分量加权构成。

8.一种根据权利要求1-7任一项所述的基于接触网安全巡检的杆号牌识别方法的识别系统，其特征在于，包括：

图像拍摄单元（1），用于利用高速相机在安全巡检过程中沿巡检线路获取接触网巡检图像，并利用号牌定位网络对所述接触网巡检图像进行杆号牌区域提取以实现连续获取一组杆号牌巡检图像，并在一组杆号牌巡检图像中筛选出一张表征完整杆号牌数字编号且清晰的杆号牌巡检图像作为杆号牌编号识别图像；

模型建立单元（2），用于对接触网的所有杆号牌利用步骤S1得到所有杆号牌编号识别图像作为训练样本，基于所述训练样本构建杆号牌数字编号识别模型；

模型应用单元（3），用于为批量待识别的杆号牌的杆号牌编号识别图像建立图像特征关联属性得到一组关联的杆号牌编号识别图像，并将一组关联的杆号牌编号识别图像依次输入杆号牌数字编号识别模型中得到批量待识别的杆号牌的杆号牌数字编号。

Images