CN109583295A - 一种基于卷积神经网络的转辙机缺口自动检测方法 - Google Patents

一种基于卷积神经网络的转辙机缺口自动检测方法 Download PDF

Info

Publication number
CN109583295A
CN109583295A CN201811221842.4A CN201811221842A CN109583295A CN 109583295 A CN109583295 A CN 109583295A CN 201811221842 A CN201811221842 A CN 201811221842A CN 109583295 A CN109583295 A CN 109583295A
Authority
CN
China
Prior art keywords
image
notch
neural networks
convolutional neural
antiposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811221842.4A
Other languages
English (en)
Other versions
CN109583295B (zh
Inventor
何秋奇
程传斌
刘大庆
潘新华
朱林
孙光绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Splendor Science and Technology Co Ltd
Original Assignee
Henan Splendor Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Splendor Science and Technology Co Ltd filed Critical Henan Splendor Science and Technology Co Ltd
Priority to CN201811221842.4A priority Critical patent/CN109583295B/zh
Publication of CN109583295A publication Critical patent/CN109583295A/zh
Application granted granted Critical
Publication of CN109583295B publication Critical patent/CN109583295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种基于卷积神经网络的转辙机缺口自动检测方法，包括：同步采集转辙机缺口的定位图像和反位图像；采用预训练的深度卷积神经网络模型对定位图像和反位图像进行识别，分别计算定位图像和反位图像含有缺口的置信度，若定位图像的含缺口置信度大于反位图像，则选择定位图像选定为缺口图像，反之，选择反位图像为缺口图像；把缺口图像灰度化，并通过滤波，滤除噪声干扰，通过图像增强提高图像的辨识度；提取缺口图像的边缘信息，通过边缘信息定位缺口位置，测量缺口宽度，再通过摄像机预标定信息获取缺口实际宽度，计算缺口偏移量；上报正反位含缺口置信度信息和缺口偏移量信息，若出现异常，发出告警信息。

Description

一种基于卷积神经网络的转辙机缺口自动检测方法
技术领域
本发明涉及一种转辙机缺口检测方法，属于轨道交通中道岔控制领域，具体的说，涉及了一种基于卷积神经网络的转辙机缺口自动检测方法。
背景技术
道岔控制系统的执行机构转辙机的安全性和稳定性检测对于轨道交通行业中列车的安全运行发挥着重要作用。缺口状态数据是分析转辙机运行状态的重要参考。
传统的转辙机缺口检测方法分为直接测量和间接测量两大类。基于计算机视觉的检测方法属于间接测量，现有的计算机视觉检测方法利用传统图像处理技术，能够实时有效地进行缺口的识别和偏移量测量，实现缺口检测的直观性和准确性，但是受算法限制，会出现缺口定反位的误判，引起测量错误，甚至造成严重的不良影响。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明为了克服基于计算机视觉的传统图像处理技术在转辙机检测方面的不足，引入人工智能技术来识别缺口的定反位，再利用传统图像处理方式对缺口大小进行测量，从而提供了一种基于卷积神经网络的转辙机缺口自动检测方法。
为了实现上述目的，本发明所采用的技术方案是：一种基于卷积神经网络的转辙机缺口自动检测方法，包括以下步骤：
步骤1、图像采集
同步采集转辙机缺口的定位图像和反位图像；
步骤2、缺口图像识别
采用预训练的深度卷积神经网络模型对定位图像和反位图像进行识别，分别计算定位图像和反位图像含有缺口的置信度，若定位图像的含缺口置信度大于反位图像，则选择定位图像选定为缺口图像，反之，选择反位图像为缺口图像；
步骤3、缺口图像处理
把缺口图像灰度化，并通过滤波，滤除噪声干扰，通过图像增强提高图像的辨识度；
步骤4、缺口信息测量
提取缺口图像的边缘信息，通过边缘信息定位缺口位置，测量缺口宽度，再通过摄像机预标定信息获取缺口实际宽度，计算缺口偏移量；
步骤5、状态信息上报与告警
上报正反位含缺口置信度信息和缺口偏移量信息，若出现异常，发出告警信息。
基于上述，步骤3中，首先要把彩色的缺口图像进行灰度化处理，公式为；再采用模板大小为3x3的中值滤波器去除图像的椒盐噪声；再利用拉普拉斯算子与图像之间的卷积，增强图像信息。
基于上述，步骤4中，利用Canny算子提取缺口图像的边缘信息，利用开运算消除小的连通区域，再利用霍夫变换提取边缘中的直线信息，根据所提取的边缘和直线信息，定位缺口位置和缺口实际宽度。
基于上述，所述告警信息包括缺口偏移量告警和异常缺口置信度告警。
基于上述，步骤2中，预训练计算缺口置信度的卷积神经网络模型包括：采集大量的转辙机定反位图像，把采集的图像分为数量基本相当的含缺口和无缺口两类；再把归类后的图像划分为训练集、验证集、测试集；选择或自定义深度卷积神经网络模型，输入采集的转辙机图像，输出为含缺口的置信度和无缺口的置信度；用训练集进行模型的训练，用验证集验证训练结果，用测试集进行测试。
基于上述，采用的深度卷积神经网络模型为LeNet、AlexNet、GoogLeNet或自定义的卷积神经网络模型。
基于上述，所述自定义卷积神经网络模型包括1个输入层、4个卷积层、4个池化层和1个输出层；
输入层为112x112大小的彩色图像；
输入层后为4个卷积层，卷积核大小为3x3，参数分别为[3,16]、[16, 32]、[32, 64]、[64,128]，每个卷积层后紧跟一个2x2大小的最大池化层；
全连接层参数分别为4096和1000；
输出层经过softmax函数激励，结果分别为含缺口的置信度和不含缺口的置信度。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明充分发挥了卷积神经网络在图像分类方面的优势和传统图像处理方法在图像测量当中的优势，首先利用预训练的卷积神经无网络来判断缺口在定位还是反位，再利用传统图像处理方法测量缺口大小和偏移量，不仅增加了转折机缺口检测的智能性，而且提高了检测的准确性。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于卷积神经网络的转辙机缺口自动检测方法，包括以下步骤：
步骤1、图像采集
同步采集转辙机缺口的定位图像和反位图像，确保每次测量都能够获取到缺口信息。
步骤2、缺口图像识别
采用预训练的深度卷积神经网络模型对定位图像和反位图像进行识别，分别计算定位图像和反位图像含有缺口的置信度，若定位图像的含缺口置信度大于反位图像，则选择定位图像选定为缺口图像，反之，选择反位图像为缺口图像。
卷积神经网络模型需要提前训练，其训练过程如下：
（1）训练样本准备
采集大量ZYJ7、SH6、S700K等型号的转辙机定反位状态图像，并分为有缺口和无缺口两种类别，再把归类后的图像划分为训练集、验证集、测试集；
（2）设计卷积神经网络结构
网络结构作为卷积神经网络的核心，可选用LeNet、AlexNet、GoogLeNet等成熟模型。
（3）训练神经网络模型
通过反向传播算法和梯度下降算法来优化模型参数，在保证模型泛化能力的前提下，使损失函数尽可能的下降。模型损失函数的定义如下：
其中， 表示第个样本真实的类别， 表示第个样本预测的类别。
（4）模型优化调参。根据模型在验证集和测试集上的表现，评估该模型是否满足要求。如不满足，需要调整参数进行再训练，直到满足要求。
特别的，也可以采用自定义卷积神经网络模型进行模型训练，所述自定义卷积神经网络模型包括1个输入层、4个卷积层、4个池化层和1个输出层；输入层为112x112大小的彩色图像；输入层后为4个卷积层，卷积核大小为3x3，参数分别为[3,16]、[16, 32]、[32,64]、[64,128]，每个卷积层后紧跟一个2x2大小的最大池化层；全连接层参数分别为4096和1000；输出层经过softmax函数激励，结果分别为含缺口的置信度和不含缺口的置信度。
步骤3、缺口图像处理
把缺口图像灰度化，并通过滤波，滤除噪声干扰，通过图像增强提高图像的辨识度。
具体的，采集的缺口图像为彩色图像，首先要把彩色的缺口图像进行灰度化处理，公式为；再采用模板大小为3x3的中值滤波器去除图像的椒盐噪声；再利用拉普拉斯算子与图像之间的卷积，增强图像信息。
步骤4、缺口信息测量
提取缺口图像的边缘信息，通过边缘信息定位缺口位置，测量缺口宽度，再通过摄像机预标定信息获取缺口实际宽度，计算缺口偏移量。
具体地，利用Canny算子提取缺口图像的边缘信息，利用开运算消除小的连通区域，再利用霍夫变换提取边缘中的直线信息，根据所提取的边缘和直线信息，定位缺口位置和缺口实际宽度的像素值。其中，需要提前利用标准的尺度信息来矫正采集摄像机的畸变，获取像素坐标与真实坐标间的转换关系，即像素和毫米之间的转换系数，把所求取的缺口像素值转化为毫米值，获取缺口实际宽度，进而计算缺口偏移量。
步骤5、状态信息上报与告警
上报正反位含缺口置信度信息和缺口偏移量信息，若出现异常，发出缺口偏移量告警或异常缺口置信度告警。其中，缺口偏移量信息用于判断转辙机状态。正反位含缺口置信度信息用于判断识别系统的运行状态，通过对比同步采集的两幅图片的缺口存在的置信度来判断转辙机的定反位，弥补单幅图像只能通过阈值进行判别的不足，进一步提高定反位定位的准确性，提高识别系统运行状态判断的准确性。
具体地，当缺口偏移量大于2mm时发出缺口偏移量告警；当出现最大缺口置信度小于0.5或两张定反位图像含缺口置信度相差小于0.4时，发出异常缺口置信度告警，说明识别系统运行异常。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (7)

1.一种基于卷积神经网络的转辙机缺口自动检测方法，其特征在于，包括以下步骤：
步骤1、图像采集
同步采集转辙机缺口的定位图像和反位图像；
步骤2、缺口图像识别
采用预训练的深度卷积神经网络模型对定位图像和反位图像进行识别，分别计算定位图像和反位图像含有缺口的置信度，若定位图像的含缺口置信度大于反位图像，则选择定位图像选定为缺口图像，反之，选择反位图像为缺口图像；
步骤3、缺口图像处理
把缺口图像灰度化，并通过滤波，滤除噪声干扰，通过图像增强提高图像的辨识度；
步骤4、缺口信息测量
提取缺口图像的边缘信息，通过边缘信息定位缺口位置，测量缺口宽度，再通过摄像机预标定信息获取缺口实际宽度，计算缺口偏移量；
步骤5、状态信息上报与告警
上报正反位含缺口置信度信息和缺口偏移量信息，若出现异常，发出告警信息。
2.根据权利要求1所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于：步骤3中，首先要把彩色的缺口图像进行灰度化处理，公式为；再采用模板大小为3x3的中值滤波器去除图像的椒盐噪声；再利用拉普拉斯算子与图像之间的卷积，增强图像信息。
3.根据权利要求1所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于：步骤4中，利用Canny算子提取缺口图像的边缘信息，利用开运算消除小的连通区域，再利用霍夫变换提取边缘中的直线信息，根据所提取的边缘和直线信息，定位缺口位置和缺口实际宽度。
4.根据权利要求1所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于：所述告警信息包括缺口偏移量告警和异常缺口置信度告警。
5.根据权利要求1所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于，步骤2中，预训练计算缺口置信度的卷积神经网络模型包括：采集大量的转辙机定反位图像，把采集的图像分为数量基本相当的含缺口和无缺口两类；再把归类后的图像划分为训练集、验证集、测试集；选择或自定义深度卷积神经网络模型，输入采集的转辙机图像，输出为含缺口的置信度和无缺口的置信度；用训练集进行模型的训练，用验证集验证训练结果，用测试集进行测试。
6.根据权利要求5所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于：采用的深度卷积神经网络模型为LeNet、AlexNet、GoogLeNet或自定义的卷积神经网络模型。
7.根据权利要求5所述的基于卷积神经网络的转辙机缺口自动检测方法，其特征在于：所述自定义卷积神经网络模型包括1个输入层、4个卷积层、4个池化层和1个输出层；
输入层为112x112大小的彩色图像；
输入层后为4个卷积层，卷积核大小为3x3，参数分别为[3,16]、[16, 32]、[32, 64]、[64,128]，每个卷积层后紧跟一个2x2大小的最大池化层；
全连接层参数分别为4096和1000；
输出层经过softmax函数激励，结果分别为含缺口的置信度和不含缺口的置信度。
CN201811221842.4A 2018-10-19 2018-10-19 一种基于卷积神经网络的转辙机缺口自动检测方法 Active CN109583295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811221842.4A CN109583295B (zh) 2018-10-19 2018-10-19 一种基于卷积神经网络的转辙机缺口自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811221842.4A CN109583295B (zh) 2018-10-19 2018-10-19 一种基于卷积神经网络的转辙机缺口自动检测方法

Publications (2)

Publication Number Publication Date
CN109583295A true CN109583295A (zh) 2019-04-05
CN109583295B CN109583295B (zh) 2022-12-06

Family

ID=65920238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811221842.4A Active CN109583295B (zh) 2018-10-19 2018-10-19 一种基于卷积神经网络的转辙机缺口自动检测方法

Country Status (1)

Country Link
CN (1) CN109583295B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310255A (zh) * 2019-05-24 2019-10-08 同济大学 基于目标检测和图像处理的转辙机缺口检测方法
CN110363742A (zh) * 2019-04-19 2019-10-22 上海铁大电信科技股份有限公司 一种基于cnn和图像处理的转辙机缺口检测方法
CN111161294A (zh) * 2019-12-10 2020-05-15 电子科技大学 一种基于直方图和直线拟合的道岔转辙机缺口检测方法
CN112580465A (zh) * 2020-12-08 2021-03-30 卡斯柯信号有限公司 一种道岔检修评估方法及系统
CN112668484A (zh) * 2020-12-29 2021-04-16 上海工程技术大学 一种转撤机自动开闭器动静节点接入距离检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355579A (zh) * 2016-09-14 2017-01-25 南京理工大学 烟条表面褶皱的缺陷检测方法
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108573283A (zh) * 2018-04-12 2018-09-25 大连理工大学 一种转辙机缺口监控防漏报的设计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106355579A (zh) * 2016-09-14 2017-01-25 南京理工大学 烟条表面褶皱的缺陷检测方法
CN108573283A (zh) * 2018-04-12 2018-09-25 大连理工大学 一种转辙机缺口监控防漏报的设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李超等: "基于Canny算子的转辙机缺口自动检测算法", 《铁道学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363742A (zh) * 2019-04-19 2019-10-22 上海铁大电信科技股份有限公司 一种基于cnn和图像处理的转辙机缺口检测方法
CN110310255A (zh) * 2019-05-24 2019-10-08 同济大学 基于目标检测和图像处理的转辙机缺口检测方法
CN110310255B (zh) * 2019-05-24 2023-01-10 同济大学 基于目标检测和图像处理的转辙机缺口检测方法
CN111161294A (zh) * 2019-12-10 2020-05-15 电子科技大学 一种基于直方图和直线拟合的道岔转辙机缺口检测方法
CN111161294B (zh) * 2019-12-10 2021-12-03 电子科技大学 一种基于直方图和直线拟合的道岔转辙机缺口检测方法
CN112580465A (zh) * 2020-12-08 2021-03-30 卡斯柯信号有限公司 一种道岔检修评估方法及系统
CN112668484A (zh) * 2020-12-29 2021-04-16 上海工程技术大学 一种转撤机自动开闭器动静节点接入距离检测方法
CN112668484B (zh) * 2020-12-29 2023-04-21 上海工程技术大学 一种转辙机自动开闭器动静节点接入距离检测方法

Also Published As

Publication number Publication date
CN109583295B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109583295A (zh) 一种基于卷积神经网络的转辙机缺口自动检测方法
Li et al. Semi-supervised semantic segmentation using adversarial learning for pavement crack detection
CN103034836B (zh) 道路标志检测方法和道路标志检测设备
CN106845890B (zh) 一种基于视频监控的仓储监控方法及装置
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
Bu et al. Crack detection using a texture analysis-based technique for visual bridge inspection
CN105975913B (zh) 一种基于自适应聚类学习的道路网提取的方法
CN109447169A (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN104851085B (zh) 自动获取图像中检测区的方法及系统
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
CN110458821A (zh) 一种基于深度神经网络模型的精子形态分析方法
CN104680161A (zh) 一种身份证数字识别方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN103679168A (zh) 文字区域检测方法及装置
CN105069448A (zh) 一种真假人脸识别方法及装置
CN110298297A (zh) 火焰识别方法和装置
CN109886928A (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN106331636A (zh) 基于行为事件触发的输油管道智能视频监控系统及方法
CN109670515A (zh) 一种用于无人机影像中建筑物变化的检测方法及系统
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN103440491A (zh) 一种基于颜色特征的密集人流量实时检测方法
CN104299004A (zh) 一种基于多特征融合和指尖检测的手势识别方法
Li et al. Fast and effective text detection
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN115690012A (zh) 一种电能表接错线的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant