CN110363742B - 一种基于cnn和图像处理的转辙机缺口检测方法 - Google Patents

一种基于cnn和图像处理的转辙机缺口检测方法 Download PDF

Info

Publication number
CN110363742B
CN110363742B CN201910316668.XA CN201910316668A CN110363742B CN 110363742 B CN110363742 B CN 110363742B CN 201910316668 A CN201910316668 A CN 201910316668A CN 110363742 B CN110363742 B CN 110363742B
Authority
CN
China
Prior art keywords
image
notch
gap
value
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316668.XA
Other languages
English (en)
Other versions
CN110363742A (zh
Inventor
李永燕
杨云国
叶斌
陶婷
黄世泽
董德存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tieda Electronic And Information Technology Co ltd
Original Assignee
Shanghai Tieda Electronic And Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tieda Electronic And Information Technology Co ltd filed Critical Shanghai Tieda Electronic And Information Technology Co ltd
Priority to CN201910316668.XA priority Critical patent/CN110363742B/zh
Publication of CN110363742A publication Critical patent/CN110363742A/zh
Application granted granted Critical
Publication of CN110363742B publication Critical patent/CN110363742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Abstract

本发明提供了一种基于CNN和图像处理的转辙机缺口检测方法,属于检测技术领域。包括采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像;建立卷积神经网络CNN并进行训练;将采集的缺口图像输入训练好的CNN网络中进行缺口图像识别和分类,输出缺口图像所属类别,图像所属类别包括6类:ZD6、S700k、ZYJ7转辙机的定位、反位的缺口图像;根据缺口图像所属类别,利用图像处理算法对缺口图像进行处理,提取缺口特征直线l_1和l_2,图像处理算法包括图像灰度化、焦点区域分割、图像增强、图像二值化、图像缺口特征直线拟合;根据缺口特征直线的直线方程计算缺口值w。可将各种类型转辙机的缺口检测系统整合成一个系统,提高系统的普适性和可移植性。

Description

一种基于CNN和图像处理的转辙机缺口检测方法
技术领域
本发明涉及一种转辙机缺口检测方法,具体涉及一种基于CNN和图像处理的转辙机缺口检测方法,属于检测技术领域。
背景技术
道岔是铁路中能使列车从一股道转入另一股道的设备,转辙机带动道岔尖轨运动至定位或反位即连通不同的股道。尖轨与基本轨的密贴程度直接关系到列车的运行安全,若间隙太大,则出现“四开”现象,严重时可能导致列车脱轨事故。所述间隙通过转辙机内部的缺口来反映,实时检测缺口大小对铁路的信号系统和应急响应非常重要。
传统的转辙机缺口检测方法是人工巡检或在转辙机内部安装光电传感器、磁栅传感器等,这些方法受环境因素和人为因素的影响较大。目前铁路现场使用的转辙机缺口检测系统主要是基于视频图像的检测方法,根据图像处理算法处理转辙机缺口图像,得到缺口值,这种方法具有准确性高、非接触、直观可视等优点。
由于铁路现场的道岔和转辙机的运行工况非常复杂和恶劣,现有的基于视频图像的转辙机缺口检测方法存在无法长时间保持高准确率和低误报率,无法适用于各种复杂的情况等问题,并且需要针对不同类型的转辙机进行单独开发。
发明内容
本发明提供了一种基于CNN和图像处理的转辙机缺口检测方法,以至少解决现有技术中系统运行一段时间后准确率降低,误报率升高的问题、针对不同类型转辙机开发而带来的系统开发维护成本高的问题。
本发明提出的基于CNN和图像处理的转辙机缺口检测方法,包括以下步骤:
(1):采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像,具体步骤包括采集安装在转辙机内部的摄像机拍摄的缺口视频、将所述缺口视频通过现场总线传输至主机、将缺口视频转化成帧图片并存储;
(2):建立卷积神经网络CNN并进行训练;
(3):将步骤(1)采集的缺口图像输入步骤(2)中训练好的CNN网络中进行缺口图像识别和分类,输出缺口图像所属类别;
(4):根据步骤(3)得到的缺口图像的所属类别,进入所述所属类别的状态机,利用图像处理算法对缺口图像进行处理,提取缺口特征直线
(5):根据步骤(4)所述的缺口特征直线计算缺口值w。
本发明中,步骤(2)中所述的建立卷积神经网络CNN并进行训练,包括以下步骤:
(1a)将海量转辙机缺口图像分为6类:ZD6转辙机定位、ZD6转辙机反位、S700k转辙机定位、S700k转辙机反位、ZYJ7转辙机定位、ZYJ7转辙机反位。根据这些缺口图像建立样本数据库,确保每一类缺口图像都有足够的样本量,并且每一类缺口图像样本量相差不大;
(1b)将样本数据库中的缺口图像按照10:1的比例随机分为训练集和测试集,再对训练集中的缺口图像进行标注,标注其所属类别;
(1c)建立卷积神经网络CNN,对训练集图像进行迭代训练,不断调整网络结构和参数,直至网络收敛。
本发明中,步骤(3)中所述的训练好的CNN网络的结构如下:
(2a)包括Convolutional层、Activation层、Pooling层、Dropout层、Flatten层、Dense层;
(2b)所述Convolutional层通过的卷积核提取原始图像的基本特征,基本特征颜色、纹理和/或形状;
(2c)每个所述Convolutional层之后为所述Activation层,所述Activation层的激活函数是Relu;
(2d)所述Activation层之后是所述Pooling层,所述Pooling层采用最大池化的方法,对前一层进行最大采样,池化后加入参数为0.25的所述Dropout层,所述Dropout层将输入单元按比例0.25随机设置为0,防止出现过拟合现象;
(2e)所述Flatten层,将多维的输入展平成一维输出;
(2f)两个所述Dense层,将所述Convolutional层提取的局部特征重新通过权值矩阵组装成完整的图。第一个所述Dense层后有一个所述Activation层,激活函数是Relu,第二个所述Dense层后有一个所述Activation层,激活函数是softmax,用于产生最后的分类结果。两个所述Dense层中间加入参数为0.5的所述Dropout层;
(2g)训练网络中的优化器是Adam,用于优化随机目标函数,并进行自适应权重更新。
本发明中,步骤(3)中所述缺口图像识别和分类的依据是取最高置信度的类别作为图像的所属类别。,所述最高置信度必须大于80%,若6个类别的置信度均小于80%,则表示缺口或者系统出现了异常,检查异常的原因,进行故障排查及设备维修,直到设备恢复正常。
本发明中,步骤(4)中所述图像处理算法包括图像灰度化、焦点区域分割、图像增强、图像二值化、图像缺口特征直线拟合算法。所述图像处理算法处理后提取出缺口特征直线。所述是缺口图像中的缺口线,在转辙机内部随着检测杆的移动而移动;所述是缺口图像中的基准线,通常在转辙机内部处于固定位置。所述图像处理算法的具体步骤为:
(3a)将原始RGB缺口图像通过所述图像灰度化算法转换成灰度图像,计算公式如下:
其中,i表示所述原始RGB缺口图像的第i个像素点,约束条件为,其中m和n为缺口图像的尺寸;分别为原始RGB缺口图像的第i个像素点的R、G和B分量;是所述R、G和B分量的权重;是灰度化之后的第i个像素点的灰度值;
(3b)将所述缺口图像中的焦点区域R进行分割,所述焦点区域是包含检测缺口所需进行图像处理的区域,区域大小的选择原则是保证在复杂的环境下,缺口移动的极限值均在分割的焦点区域内。焦点区域分割的具体方法为:
(3b1)定义所述焦点区域R的矩形框参数为,分别表示区域的左右边界的横坐标和上下边界的纵坐标,其中坐标原点位于图像的左上角。,约束条件为。R表示如下:
(3b2)将所述焦点区域的像素点的像素值保留原像素值,非焦点区域的像素点的像素值置0,得到图像,计算公式如下:
(3c)所述图像增强包括灰度变换和图像滤波。步骤具体如下:
(3c1)所述灰度变换将输入图像的灰度值集中的区间定义为,灰度值小于和大于的像素点数分别占所有像素点数的1%。将灰度值在区间的像素点的灰度值均匀分布到区间,得到图像。计算公式如下:
(3c2)所述图像滤波的方式是中值滤波,把输入图像的每一个像素点的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值,得到图像。大小为的滤波窗口A对应的中值滤波器可定义为:
(3d)对所述图像增强后的图像采用阈值进行二值化,灰度值高于阈值的像素点的灰度值置1,否则置0,得到图像。计算公式如下:
(3e)所述缺口特征直线拟合算法采用前向差分方法对所述图像二值化之后的图像区域逐行进行微分,得到S700K转辙机焦点区域各行或ZD6转辙机及ZYJ7转辙机各列的边缘点。再用最小二乘法计算所述缺口特征直线的参数
本发明中,不同类型的转辙机及同一类型转辙机的定位和反位状态对应的所述图像处理算法的步骤相同,参数不相同,根据步骤(4)所述所属类别的状态机选择对应的参数。
本发明中,步骤(5)中所述根据所述缺口特征直线计算缺口值w的方法具体为计算直线落在缺口区域的线段和直线落在基准区域的线段之间的距离。所述缺口区域即所述缺口线所在的区域,所述基准区域即所述基准线所在的区域;所述距离的计算方法为计算对应相同x值或y值的直线上的点之间的像素点个数的平均值。其中,像素点个数的计算方法是上的对应点的y值或x值减去 上的对应点的y值或x值;取相同x值或相同y值取决于不同类型转辙机的内部结构。
若所述缺口值w的绝对值大于阈值,则认为缺口异常,返回报警信息和缺口值w;否则缺口正常,返回缺口值w。
综上所示,本发明的有益效果在于:
(1)将ZD6、S700k、ZYJ7转辙机的缺口检测系统集成成一个系统,缺口图像通过CNN网络识别和分类,即可根据图像的类别进行图像处理。大大降低了系统的复杂度,方便系统运行和维护,降低开发和维护成本;
(2)采用基于CNN的缺口图像识别分类的方法能够检测缺口图像的异常情况,如由于列车经过道岔时带来的振动导致的摄像头过度歪斜,这种情况下若直接进行图像处理及缺口计算得到的结果不准确,可能无法从缺口大小判断出这种异常情况。而基于CNN的缺口图像识别分类的方法能够判断出不属于已知类型的缺口图像,系统进行返回报警信息,工作人员即可检查异常情况的原因,进行故障排查及设备维修,直到设备恢复正常。这种方法使设备维护更加有针对性,且能准确排查异常情况;
(3)采用缺口特征直线拟合算法提取缺口特征,更加准确地提取缺口线和基准线,更加准确地计算缺口大小,确定的偏移方向。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例中的基于CNN和图像处理的转辙机缺口检测方法流程图;
图2是根据本发明实施例中的建立CNN网络及缺口图像识别分类的流程图;
图3是根据本发明实施例中的缺口图像处理的流程图;
图4a与图4b是根据本发明实施例中的S700K转辙机的缺口图像;
图5a与图5b是根据本发明实施例中的缺口图像经过图像灰度化处理后的缺口图像;
图6a与图6b是根据本发明实施例中的缺口图像经过焦点区域分割处理后的缺口图像;
图7a与图7b是根据本发明实施例中的缺口图像经过图像增强处理后的缺口图像;
图8a与图8b是根据本发明实施例中的缺口图像经过图像二值化处理后的缺口图像;
图9a与图9b是根据本发明实施例中的缺口图像经过缺口特征直线拟合处理后的缺口图像。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
在本实施例中提供了一种基于CNN和图像处理的转辙机缺口检测方法,图1是根据本发明实施例的基于CNN和图像处理的转辙机缺口检测方法流程图,如图1所示,该流程图包括如下步骤:
步骤1:采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像,具体步骤包括采集安装在转辙机内部的摄像机拍摄的缺口视频、将所述缺口视频通过现场总线传输至主机、将缺口视频转化成帧图片并存储;
步骤2:建立卷积神经网络CNN并进行训练,具体步骤如图2所示,包括以下步骤:
(2a)将海量转辙机缺口图像分为6类:ZD6转辙机定位、ZD6转辙机反位、S700k转辙机定位、S700k转辙机反位、ZYJ7转辙机定位、ZYJ7转辙机反位。根据这些缺口图像建立样本数据库,确保每一类缺口图像都有足够的样本量,并且每一类缺口图像样本量相差不大;
(2b)将样本数据库中的缺口图像按照10:1的比例随机分为训练集和测试集,再对训练集中的缺口图像进行标注,标注其所属类别;
(2c)建立卷积神经网络CNN,对训练集图像进行迭代训练,不断调整网络结构和参数,直至网络收敛,网络的损失值loss降低到满足要求并且不再大幅下降。
步骤3:将步骤1采集的缺口图像输入步骤2中训练好的CNN网络中进行缺口图像识别和分类,输出缺口图像所属类别,具体步骤如图2所示。所述缺口图像识别和分类的依据是取最高置信度的类别作为图像的所属类别。所述最高置信度必须大于80%,若6个类别的置信度均小于80%,则表示缺口或者系统出现了异常,检查异常的原因,进行故障排查及设备维修,直到设备恢复正常。
其中,所述训练好的CNN网络的结构如下:
(3a)包括Convolutional层、Activation层、Pooling层、Dropout层、Flatten层、Dense层;
(3b)所述Convolutional层通过的卷积核提取原始图像的基本特征,基本特征颜色、纹理和/或形状;
(3c)每个所述Convolutional层之后为所述Activation层,所述Activation层的激活函数是Relu;
(3d)所述Activation层之后是所述Pooling层,所述Pooling层采用最大池化的方法,对前一层进行最大采样,池化后加入参数为0.25的所述Dropout层,所述Dropout层将输入单元按比例0.25随机设置为0,防止出现过拟合现象;
(3e)所述Flatten层,将多维的输入展平成一维输出;
(3f)两个所述Dense层,将所述Convolutional层提取的局部特征重新通过权值矩阵组装成完整的图。第一个所述Dense层后有一个所述Activation层,激活函数是Relu,第二个所述Dense层后有一个所述Activation层,激活函数是softmax,用于产生最后的分类结果。两个所述Dense层中间加入参数为0.5的所述Dropout层;
(3g)训练网络中的优化器是Adam,用于优化随机目标函数,并进行自适应权重更新。
步骤4:根据步骤3得到的缺口图像的所属类别,进入所述所属类别的状态机,利用图像处理算法对缺口图像进行处理,提取缺口特征直线
其中,所述图像处理算法包括图像灰度化、焦点区域分割、图像增强、图像二值化、图像缺口特征直线拟合算法,如图3所示。所述图像处理算法处理后提取出缺口特征直线。所述是缺口图像中的缺口线,在转辙机内部随着检测杆的移动而移动;所述是缺口图像中的基准线,通常在转辙机内部处于固定位置。所述图像处理算法的具体步骤为:
(4a)将原始RGB缺口图像通过所述图像灰度化算法转换成灰度图像,计算公式如下:
其中,i表示所述原始RGB缺口图像的第i个像素点,约束条件为,其中m和n为缺口图像的尺寸;分别为原始RGB缺口图像的第i个像素点的R、G和B分量;是所述R、G和B分量的权重,值分别为0.299、0.587和0.114;是灰度化之后的第i个像素点的灰度值。
(4b)将所述缺口图像中的焦点区域R进行分割,所述焦点区域是包含检测缺口所需进行图像处理的区域,区域大小的选择原则是保证在复杂的环境下,缺口移动的极限值均在分割的焦点区域内。焦点区域分割的具体方法为:
(4b1)定义所述焦点区域R的矩形框参数为,分别表示区域的左右边界的横坐标和上下边界的纵坐标,其中坐标原点位于图像的左上角。约束条件为。R表示如下:
(4b2)将所述焦点区域的像素点的像素值保留原像素值,非焦点区域的像素点的像素值置0,得到图像,计算公式如下:
(4c)所述图像增强包括灰度变换和图像滤波。步骤具体如下:
(4c1)所述灰度变换将输入图像的灰度值集中的区间定义为,灰度值小于和大于的像素点数分别占所有像素点数的1%。将灰度值在区间的像素点的灰度值均匀分布到区间,得到图像。计算公式如下:
(4c2)所述图像滤波的方式是中值滤波,把输入图像的每一个像素点的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值,得到图像。大小为的滤波窗口A对应的中值滤波器可定义为:
(4d)对所述图像增强后的图像采用阈值进行二值化,灰度值高于阈值的像素点的灰度值置1,否则置0,得到图像。计算公式如下:
(4e)所述缺口特征直线拟合算法采用前向差分方法对所述图像二值化之后的图像区域逐行进行微分,得到S700K转辙机焦点区域各行或ZD6转辙机及ZYJ7转辙机各列的边缘点。再用最小二乘法计算所述缺口特征直线的参数
其中,这里的对应缺口图像的y方向,对应缺口图像的x方向。
步骤5: 根据步骤4所述的缺口特征直线计算缺口值w。,计算缺口值w的方法具体为计算直线落在缺口区域的线段和直线落在基准区域的线段之间的距离。所述缺口区域即所述缺口线所在的区域,所述基准区域即所述基准线所在的区域;所述距离的计算方法为计算对应相同x值或y值的直线上的点之间的像素点个数的平均值。其中,像素点个数的计算方法是上的对应点的y值或x值减去 上的对应点的y值或x值;取相同x值或相同y值取决于不同类型转辙机的内部结构。如对于S700K转辙机,直线正常情况与缺口图像的x方向接近垂直,因此,应取相同的y值,计算对应直线上的点之间的像素点的个数;对于ZD6和ZYJ7转辙机,直线正常情况与缺口图像的y方向接近垂直,因此,应取相同的x值,计算对应直线上的点之间的像素点的个数。
若所述缺口值的绝对值大于阈值,则认为缺口异常,进行报警;否则缺口正常。缺口值的正负表示缺口的偏移方向,如对于S700K转辙机,如果缺口值为负,则表示缺口向右偏移;如果缺口值为正,则表示缺口向左偏移。
本实施例以S700K转辙机的缺口图像处理为例,图4a与图4b所示是采集的S700K转辙机的缺口图像,其中,图4a是上缺口图像,图4b是下缺口图像,缺口图像的尺寸为;图5a与图5b至图9a与图9b所示是经过步骤4中所述图像处理算法处理后的图像,其中,图5a与图5b是所述步骤4中(4a)灰度化处理后的缺口图像;图6a与图6b是所述步骤4中(4b)焦点区域分割后的缺口图像,上缺口图像的参数分别为10、320、5、288;下缺口图像的参数分别为50、340、150、285;图7a与图7b是所述步骤4中(4c)图像增强后的缺口图像;图8a与图8b是所述步骤4中(4d)图像二值化处理后的缺口图像,二值化阈值为0.69;图9a与图9b是所述步骤4中(4e)图像特征直线拟合后的图像。
经过所述步骤1至步骤4的处理,得到所述缺口线和所述基准线方程。图4a所述上缺口图像的所述缺口线和所述基准线如下:
所述下缺口图像的所述缺口线和所述基准线如下:
根据所述直线和直线计算上缺口的缺口值w为-7,表示上缺口向右偏移7个像素;根据所述直线和直线计算下缺口的缺口值w为-3,表示下缺口向右偏移3个像素。
经过所述步骤1至步骤5的处理,即可得到每一种转辙机的缺口大小即缺口的偏移方向,进而实时掌握转辙机缺口的状态,在出现异常或故障情况时能够及时进行应急处理和维修。

Claims (6)

1.一种基于CNN和图像处理的转辙机缺口检测方法,其特征在于,包括以下步骤:
(1):采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像,具体步骤包括采集安装在转辙机内部的摄像机拍摄的缺口视频、将所述缺口视频通过现场总线传输至主机、将缺口视频转化成帧图片并存储;
(2):建立卷积神经网络CNN并进行训练;
(3):将步骤(1)采集的缺口图像输入步骤(2)中训练好的CNN网络中进行缺口图像识别和分类,输出缺口图像所属类别;
(4):根据步骤(3)得到的缺口图像的所属类别,进入所述所属类别的状态机,利用图像处理算法对缺口图像进行处理,提取缺口特征直线;步骤(4)中所述图像处理算法包括图像灰度化、焦点区域分割、图像增强、图像二值化、图像缺口特征直线拟合算法,所述图像处理算法处理后提取出缺口特征直线,所述是缺口图像中的缺口线,在转辙机内部随着检测杆的移动而移动;所述是缺口图像中的基准线,通常在转辙机内部处于固定位置,所述图像处理算法的具体步骤为:
(4a)将原始RGB缺口图像通过所述图像灰度化算法转换成灰度图像,计算公式如下:
其中,i表示所述原始RGB缺口图像的第i个像素点,约束条件为,其中m和n为缺口图像的尺寸;分别为原始RGB缺口图像的第i个像素点的R、G和B分量,是所述R、G和B分量的权重;是灰度化之后的第i个像素点的灰度值;
(4b)将所述缺口图像中的焦点区域R进行分割,所述焦点区域是包含检测缺口所需进行图像处理的区域,区域大小的选择原则是保证在复杂的环境下,缺口移动的极限值均在分割的焦点区域内,焦点区域分割的具体方法为:
(4b1)定义所述焦点区域R的矩形框参数为,分别表示区域的左右边界的横坐标和上下边界的纵坐标,其中坐标原点位于图像的左上角,约束条件为,R表示如下:
(4b2)将所述焦点区域的像素点的像素值保留原像素值,非焦点区域的像素点的像素值置0,得到图像,计算公式如下:
(4c)所述图像增强包括灰度变换和图像滤波,步骤具体如下:
(4c1)所述灰度变换将输入图像的灰度值集中的区间定义为,灰度值小于和大于的像素点数分别占所有像素点数的1%,将灰度值在区间的像素点的灰度值均匀分布到区间,得到图像,计算公式如下:
(4c2)所述图像滤波的方式是中值滤波,把输入图像的每一个像素点的灰度值设置为该点某邻域窗口内的所有像素点的灰度值的中值,得到图像,大小为的滤波窗口A对应的中值滤波器可定义为:
(4d)对所述图像增强后的图像采用阈值进行二值化,灰度值高于阈值的像素点的灰度值置1,否则置0,得到图像,计算公式如下:
(4e)所述缺口特征直线拟合算法采用前向差分方法对所述图像二值化之后的图像区域逐行进行微分,得到S700K转辙机焦点区域各行或ZD6转辙机及ZYJ7转辙机各列的边缘点,再用最小二乘法计算所述缺口特征直线的参数
(5):根据步骤(4)所述的缺口特征直线计算缺口值w;步骤(5)中所述根据所述缺口特征直线计算缺口值w的方法具体为计算直线落在缺口区域的线段和直线落在基准区域的线段之间的距离,所述缺口区域即所述缺口线所在的区域,所述基准区域即所述基准线所在的区域,所述距离的计算方法为计算对应相同x值或y值的直线上的点之间的像素点个数的平均值,其中,像素点个数的计算方法是上的对应点的y值或x值减去上的对应点的y值或x值;取相同x值或相同y值取决于不同类型转辙机的内部结构。
2.根据权利要求1所述的基于CNN和图像处理的转辙机缺口检测方法,其特征在于,步骤(2)中所述建立卷积神经网络CNN并进行训练,包括以下步骤:
(2a)将海量转辙机缺口图像分为6类:ZD6转辙机定位、ZD6转辙机反位、S700k转辙机定位、S700k转辙机反位、ZYJ7转辙机定位、ZYJ7转辙机反位,根据这些缺口图像建立样本数据库,确保每一类缺口图像都有足够的样本量,并且每一类缺口图像样本量相差不大;
(2b)将样本数据库中的缺口图像按照10:1的比例随机分为训练集和测试集,再对训练集中的缺口图像进行标注,标注其所属类别;
(2c)建立卷积神经网络CNN,对训练集图像进行迭代训练,不断调整网络结构和参数,直至网络收敛。
3.根据权利要求1所述的基于CNN和图像处理的转辙机缺口检测方法,其特征在于,步骤(3)中所述的训练好的CNN网络的结构如下:
(3a)包括Convolutional层、Activation层、Pooling层、Dropout层、Flatten层、Dense层;
(3b)所述Convolutional层通过的卷积核提取原始图像的基本特征,基本特征颜色、纹理和/或形状;
(3c)每个所述Convolutional层之后为所述Activation层,所述Activation层的激活函数是Relu;
(3d)所述Activation层之后是所述Pooling层,所述Pooling层采用最大池化的方法,对前一层进行最大采样,池化后加入参数为0.25的所述Dropout层,所述Dropout层将输入单元按比例0.25随机设置为0,防止出现过拟合现象;
(3e)所述Flatten层,将多维的输入展平成一维输出;
(3f)两个所述Dense层,将所述Convolutional层提取的局部特征重新通过权值矩阵组装成完整的图,第一个所述Dense层后有一个所述Activation层,激活函数是Relu,第二个所述Dense层后有一个所述Activation层,激活函数是softmax,用于产生最后的分类结果,两个所述Dense层中间加入参数为0.5的所述Dropout层;
(3g)训练网络中的优化器是Adam,用于优化随机目标函数,并进行自适应权重更新。
4.根据权利要求1所述的基于CNN和图像处理的转辙机缺口检测方法,其特征在于,步骤(3)中所述缺口图像识别和分类的依据是取最高置信度的类别作为图像的所属类别,所述最高置信度必须大于80%,若6个类别的置信度均小于80%,则表示缺口或者系统出现了异常,检查异常的原因,进行故障排查及设备维修,直到设备恢复正常。
5.根据权利要求1所述的基于CNN和图像处理的转辙机缺口检测方法,其特征在于,不同类型的转辙机及同一类型转辙机的定位和反位状态对应的所述图像处理算法的步骤相同,参数不相同,根据步骤(4)所述所属类别的状态机选择对应的参数。
6.根据权利要求1所述的基于CNN和图像处理的转辙机缺口检测方法,其特征在于,若所述缺口值w的绝对值大于阈值,则认为缺口异常,返回报警信息和缺口值w,否则缺口正常,返回缺口值w。
CN201910316668.XA 2019-04-19 2019-04-19 一种基于cnn和图像处理的转辙机缺口检测方法 Active CN110363742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316668.XA CN110363742B (zh) 2019-04-19 2019-04-19 一种基于cnn和图像处理的转辙机缺口检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316668.XA CN110363742B (zh) 2019-04-19 2019-04-19 一种基于cnn和图像处理的转辙机缺口检测方法

Publications (2)

Publication Number Publication Date
CN110363742A CN110363742A (zh) 2019-10-22
CN110363742B true CN110363742B (zh) 2021-05-07

Family

ID=68215265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316668.XA Active CN110363742B (zh) 2019-04-19 2019-04-19 一种基于cnn和图像处理的转辙机缺口检测方法

Country Status (1)

Country Link
CN (1) CN110363742B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110736999B (zh) * 2019-10-24 2021-11-02 北京交通大学 基于激光雷达的铁路道岔检测方法
CN111145197B (zh) * 2019-12-10 2022-05-03 电子科技大学 一种精确的基于直方图和局部梯度的道岔转辙机缺口边缘定位方法
CN111127496B (zh) * 2019-12-10 2022-07-29 电子科技大学 一种基于二维直方图和自适应分类的道岔转辙机缺口边缘定位方法
CN111161294B (zh) * 2019-12-10 2021-12-03 电子科技大学 一种基于直方图和直线拟合的道岔转辙机缺口检测方法
CN112668484A (zh) * 2020-12-29 2021-04-16 上海工程技术大学 一种转撤机自动开闭器动静节点接入距离检测方法
CN112634249A (zh) * 2020-12-29 2021-04-09 上海工程技术大学 一种基于深度学习的转撤机接点组部件距离检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578410B (zh) * 2017-04-26 2020-09-08 济南铁路天龙高新技术开发有限公司 转辙机缺口图像自动识别方法
CN108573283A (zh) * 2018-04-12 2018-09-25 大连理工大学 一种转辙机缺口监控防漏报的设计方法
CN109583295A (zh) * 2018-10-19 2019-04-05 河南辉煌科技股份有限公司 一种基于卷积神经网络的转辙机缺口自动检测方法

Also Published As

Publication number Publication date
CN110363742A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363742B (zh) 一种基于cnn和图像处理的转辙机缺口检测方法
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
US20180253836A1 (en) Method for automated detection of defects in cast wheel products
CN108320510A (zh) 一种基于无人机航拍视频交通信息统计方法及系统
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN109238756B (zh) 货车运行故障动态图像检测设备及检测方法
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN106778833A (zh) 一种复杂背景下小目标丢失故障的自动识别方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
CN108073905A (zh) 一种智能水尺读数的方法、系统和设备
CN109489724A (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN106067031B (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN106339677B (zh) 一种基于视频的铁路货车洒落物自动检测方法
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN114092478B (zh) 一种异常检测方法
CN105740814B (zh) 一种使用视频分析确定固废危废存放状态的方法
Chen et al. A hybrid deep learning based framework for component defect detection of moving trains
CN106778675B (zh) 一种视频图像中目标对象的识别方法和装置
CN113409303A (zh) 一种高速铁路接触网目标检测与跟踪方法
Xi et al. YDRSNet: An integrated Yolov5-Deeplabv3+ real-time segmentation network for gear pitting measurement
CN112381031A (zh) 基于卷积神经网络的实时在线受电弓羊角检测方法
CN110490163B (zh) 一种铁路视频数据智能处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant