CN113112474B - 一种面向道岔与非道岔轨道图像的钢轨定位方法 - Google Patents

一种面向道岔与非道岔轨道图像的钢轨定位方法 Download PDF

Info

Publication number
CN113112474B
CN113112474B CN202110390047.3A CN202110390047A CN113112474B CN 113112474 B CN113112474 B CN 113112474B CN 202110390047 A CN202110390047 A CN 202110390047A CN 113112474 B CN113112474 B CN 113112474B
Authority
CN
China
Prior art keywords
image
turnout
straight line
rail
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110390047.3A
Other languages
English (en)
Other versions
CN113112474A (zh
Inventor
路小波
苏仕祥
魏运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110390047.3A priority Critical patent/CN113112474B/zh
Publication of CN113112474A publication Critical patent/CN113112474A/zh
Application granted granted Critical
Publication of CN113112474B publication Critical patent/CN113112474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向道岔与非道岔轨道图像的钢轨定位方法,包括以下步骤:使用高清相机获得铁路轨道的二维图像,并将其转换为灰度图;对当前图像进行预处理,预处理方式包括高斯滤波和直方图均衡;通过直线检测算法提取图像中的所有直线段;将直线段离散为若干点,然后把这些点投影至图像的x轴;最后,采用双滑动窗口遍历图像中的投影数据,就识别出了图像中钢轨的位置。本发明可以快速区分道岔路段图像与非道岔路段图像,能够准确检测出钢轨在图像中的位置。

Description

一种面向道岔与非道岔轨道图像的钢轨定位方法
技术领域
本发明属于轨道缺陷检测领域,尤其涉及一种面向道岔与非道岔轨道图像的钢轨定位方法。
背景技术
得益于高铁技术的愈加成熟和其基础设施的快速扩张,轨道交通已经成为居民出行的主要方式之一。通常情况下,铁路轨道可分为道岔路段和非道岔路段,这两种路段都由钢轨、扣件、轨枕等部分组成。随着列车运行时间的增长,车轮与轨道之间的摩擦和震动将不可避免的导致各种缺陷的产生。例如,钢轨的波磨、剥落以及扣件的丢失、破损等。因此,为了保证列车的行车安全,需要对轨道缺陷进行及时的检出。
在轨道缺陷检测技术发展的早期阶段,人工巡检是主要的缺陷检测方式。但是该方法耗时大、效率低。幸运的是,计算机视觉技术的迅速发展给轨道缺陷检测方法的突破带来了希望。许多大学和铁路研究机构纷纷借助于工业相机实现自动化的轨道缺陷检测。在基于计算机视觉技术的轨道缺陷检测领域中,图像处理是常用方法之一,其实现流程是:1)钢轨粗定位;2)钢轨和扣件的精确定位;3)识别钢轨和扣件中的缺陷。在以上流程中,扣件的精确定位是在已识别出钢轨位置的前提下进行的。首先完成钢轨定位,然后结合轨道图像中存在许多先验知识(比如钢轨与扣件的几何位置关系、钢轨的宽度),来确定扣件的位置。因此,轨道图像中的钢轨定位是缺陷检测的一个重要任务。
现阶段,较为流行的轨道图像钢轨定位方法是先提取图像中的直线段,然后直接以直线段的长度判断钢轨的位置。换而言之,设定一个阈值,直线段长度大于阈值的即为钢轨所在区域。尽管此方法能够某种程度上实现钢轨位置识别,但是对于一些图像背景复杂(轨道设备干扰)、图像中的钢轨有缺陷(例如:弯曲、破损等)等情况,该方法不能很好的处理。特别是,道岔路段的图像中通常会显示出两根钢轨。在这种情况下,该方法也是无法处理的。因此,亟需研究一种鲁棒的、适用于道岔和非道岔路段的钢轨定位方法。
发明内容
本发明要解决技术问题是:提供一种可以快速、稳定的识别道岔和非道岔轨道图像中钢轨位置的方法。
为了解决上述技术问题,本发明提出的技术方案是:一种面向道岔与非道岔轨道图像的钢轨定位方法:该方法包括以下步骤:
步骤一、通过高清相机拍摄铁路轨道得到二维图像,拍摄时相机的镜头与轨道所在平面保持平行。随后对图像进行预处理,预处理方式包括高斯滤波和直方图均衡。
步骤二、通过直线检测算法(LSD)提取图像中的直线段,并根据式(1)将直线段离散为若干点,式(1)中:(x1,y1),(x2,y2)为被离散直线段的首尾端点,k为该直线的斜率,(x,y)为离散点。
P(x,y)←{(x,y)|x=x2+(y-y2)/k,y∈[y1,y2],y∈Z} (1)
步骤三、把点集P(x,y)中的数据沿图像的x轴进行投影,得到集合Px。集合Px中的点按x值大小升序排列,每个x值包含若干个有相同x值的点。然后,统计每个x位置处所有点中相异y值的个数,记为nx,,其中Px的表示方式如下:
Figure BDA0003016423820000021
步骤四、采用双滑动窗口遍历投影数据,分别记为正向滑动窗口和逆向滑动窗口。对于被检图像,同时滑动两个窗口,其中正向窗口沿图像x轴的正向滑动,逆向窗口则沿图像x轴的负向滑动。每滑动到一个新的位置,统计该窗口内相异y值的个数n。当n与图像y轴上像素个数的比值大于一个阈值时,则认为当前位置处可能存在钢轨,用一条直线表示预测的钢轨位置,记为候选直线。当两个窗口的距离小于某一数值时,停止滑动。然后,遍历所有候选直线,删除无关的干扰直线,就可以得到能够表示该图像中钢轨位置的直线。
进一步,所述步骤一中,首先对进行高斯滤波以去噪,然后通过直方图均衡算法增强图像的对比度和细节特征。
进一步,所述步骤二中,提取出的直线包含两端点坐标信息:P1(x1,y1),P2(x2,y2),然后通过式(1)将直线段离散为由点构成的集合P(x,y)。在直线段离散过程中,如式(1)所示,以两端点y1、y2构成的集合为已知条件,依次计算该集合中整数元素y对应的x值,然后将点(x,y)输入到集合P(x,y)中。
进一步,所述步骤三中,投影后的集合P中的点按x值大小升序排列,每个x值包含若干个有相同x值的点。
进一步,所述步骤四中,采用两个滑动窗口遍历集合P。其中,正向滑动窗口沿着图像的x轴从左往右滑动,逆向滑动窗口沿着图像的x轴从右往左滑动。每滑动到一个位置,统计该滑动窗口内所有不相等的y值的个数。
本发明提供了一种面向道岔与非道岔轨道图像的钢轨定位方法,解决了现有技术中不能定位道岔轨道图像中钢轨位置的问题,而且对于钢轨弯曲、破损等情况具有较强的适应性,因此钢轨定位的准确度大幅提高,也增加了钢轨定位的稳定性。
本发明的创新点主要包括以下几点:
1)本发明将从图像中提取的直线段离散为若干点,然后把点集投影到图像的x轴。之后,以图像对应x坐标处包含的非重复y值的个数作为判断当前x坐标处是否存在钢轨的主要条件。与现有技术中把直线段的长度作为判断钢轨位置的条件相比,该方法对于从钢轨实际位置处提取的直线长度较短的情况依然有较好的定位效果,从而提高了钢轨定位的准确度;
2)本发明采用双滑动窗口实现道岔路段和非道岔路段的钢轨定位,两个滑动窗口分别负责一根钢轨的定位。依据滑动窗口当前位置处包含的非重复y值的个数,判断是否为钢轨所在位置。若当前图像属于道岔路段,则会定位出两根距离较远的直线;若当前图像属于非道岔路段,则会定位出两根距离很近的直线。与现有技术中仅仅依靠一个位置处的信息来判断是否为钢轨所在位置相比,该方法统计的是一个矩形区域内的有效信息,从而提高了钢轨定位的鲁棒性;
3)本发明的定位方法能够同时处理道岔路段和非道岔路段的轨道图像,在保证定位结果准确性的情况下显著提高了定位稳定性。
附图说明
下面结合附图对本发明作进一步说明。
图1是四种典型的高铁轨道图像。
图2是非道岔路段轨道图像直线检测及优化示意图。
图3是非道岔路段弯曲钢轨弯曲轨道图像数据投影示意图。
图4是道岔路段钢轨定位流程图。
图5是典型轨道图像钢轨定位结果。
图6是本发明的流程图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例
待检测的图像由行驶在列车轨道上的巡检车采集而来,分为左轨图像和右轨图像。列车轨道包括高速铁路轨道和地铁轨道。本实施例的目标对象为道岔路段和非道岔路段的高铁轨道图像,包括左轨和右轨图像。图1所示的为本例中检测的几种典型的道岔和非道岔路段的轨道图像。图1(a)到图1(d)所示的是分别是:非道岔路段的正常钢轨轨道图像、道岔路段的轨道图像、非道岔路段的弯曲钢轨轨道图像以及非道岔路段钢轨破损的轨道图像。
本实施例以图1中所示几种高速铁路轨道图像为例,这些轨道图像由巡检车上的线阵相机采集而来,如图6所示,其钢轨定位方法包括以下步骤:
步骤一、对被测图像进行预处理,预处理内容包括高斯滤波和直方图均衡。在采集轨道图像的过程中,相机拍摄的镜头与轨道所在平面保持平行。
步骤二、通过LSD直线检测算法(Line Segment Detector)提取图像中的直线段。图2(a)展示的是提取出的直线段。为了提高后续步骤的处理效率,如图2(b)所示,优化了LSD直线检测算法的参数,减少了非钢轨区域短直线的检出数量。然后根据式(1)将直线段离散为若干点,式中:(x1,y1),(x2,y2)为被离散直线段的首尾端点,k为该直线的斜率,(x,y)为离散点。在进行直线段离散的过程中,以y1、y2构成的集合为离散点的已知条件,依次计算该集合中整数元素y对应的x值,然后将点(x,y)输入到集合P(x,y)中。
P(x,y)←{(x,y)|x=x2+(y-y2)/k,y∈[y1,y2],y∈Z} (1)
步骤三、把点集P(x,y)中的数据沿图像的x轴进行投影,得到集合Px。投影后的数据结构如下式所示:集合Px中的点按x值大小升序排列,每个x值包含若干个有相同x值的点。然后,统计每个x位置处所有点中相异y值的个数,记为nx。进一步地,以图3(b)为例,图中的黑色曲线即为本步骤最后统计出的图像x轴上对应位置处相异y值个数曲线。图3(b)中,虚线箭头xa、xb和xc所指向的坐标位置表示出了图3(a)对应位置处的投影数据大小。
Figure BDA0003016423820000041
步骤四、采用双滑动窗口遍历投影数据Px,分别记为正向滑动窗口和逆向滑动窗口。如图4(c)所示,左边虚线矩形框为正向滑动窗口,从图像x轴的左侧向右侧滑动遍历投影数据P;右边虚线矩形框为逆向滑动窗口,从图像x轴的右侧向左侧滑动遍历投影数据P。具体遍历方法如下:
(1)令指针it_froward指向正向滑动窗口左下角点、指针it_reverse指向P指向逆向滑动窗口右下角点;
(2)it_froward沿着x轴正向移动到P中下一个x处,记为xo。it_reverse沿着x轴负向移动到P中下一个x处,记为xe
(3)若xo与xe的距离小于阈值σ则执行下一步骤,否则执行步骤(6);
(4)从正向滑动窗口中提取候选直线lf,即可能用于表示钢轨位置的直线;
(5)从逆向滑动窗口中提取候选直线lr,执行步骤(2);
(6)从lr和lf中剔除无效直线,确定代表钢轨位置的直线集合L;
(7)在原图中画出L中的所有直线,如图4(d)所示。
具体地,第(4)步中从正向滑动窗口提取候选直线的方法如下:
(1)从P中提取x0处对应的所有y值,记为Yo
(2)指针it_forward沿着x轴正向指向下一个x,记为xb
(3)若xo与xb的距离小于阈值Δ则执行下一步骤,否则执行步骤(6);
(4)从P中提取xb位置处对应的所有y值,存储在Yo中;
(5)xb沿着x轴正向移动一个位置,执行步骤(3);
(6)统计Yo内相异y值的个数,相同y值仅记录1次,记为n;
(7)记当前图像y轴上像素个数为N,若n/N大于阈值δ则执行下一步骤,否则将xo沿着x轴正向移动到下一个x值处,然后执行步骤(1);
(8)添加一条候选直线到lf。该直线的斜率k为当前正向窗口中所有直线段斜率的均值。该直线所经过的点为当前正向窗口的中心点。
相应地,第(5)中从逆向滑动窗口提取直线的方法与正向滑动窗口所述基本一致,主要区别在于指针移动的方向相反,具体步骤不再赘叙。
另外,在如图2所示的情况下,本发明所提方法会把图2(a)中最左边的长直线作为候选直线。对于这种情况,本发明在lr和lf中依次计算前后两条候选直线的距离。若前后两条直线大于阈值d则删除前一条直线。图5展示出了几种典型轨道图像的钢轨定位结果。
本发明不局限于上述实施例所述的具体技术方案,除上述实施例外,本发明还可以有其他实施方式。对于本领域的技术人员来说,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等形成的技术方案,均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向道岔与非道岔轨道图像的钢轨定位方法,其特征在于:该方法包括以下步骤:
步骤一、通过高清相机拍摄铁路轨道得到二维图像,拍摄时相机的镜头与轨道所在平面保持平行。随后对图像进行预处理,预处理方式包括高斯滤波和直方图均衡;
步骤二、通过直线检测算法(Line segment detector,LSD)提取图像中的直线段,并根据式(1)将直线段离散为若干点,式(1)中:(x1,y1),(x2,y2)为被离散直线段的首尾端点,k为该直线的斜率,(x,y)为离散点;
P(x,y)←{(x,y)|x=x2+(y-y2)/k,y∈[y1,y2],y∈Z} (1)
步骤三、把点集P(x,y)中的数据沿图像的x轴进行投影,得到集合Px。集合Px中的点按x值大小升序排列,每个x值包含若干个有相同x值的点。然后,统计每个x位置处所有点中相异y值的个数,其中Px的表示方式如下:
Figure FDA0003016423810000011
步骤四、采用双滑动窗口遍历投影数据,分别记为正向滑动窗口和逆向滑动窗口。对于被检图像,同时滑动两个窗口,其中正向窗口沿图像x轴的正向滑动,逆向窗口则沿图像x轴的负向滑动。每滑动到一个新的位置,统计该窗口内相异y值的个数n。当n与图像y轴上像素个数的比值大于一个阈值时,则认为当前位置处可能存在钢轨,用一条直线表示预测的钢轨位置,记为候选直线。当两个窗口的距离小于某一数值时,停止滑动。然后,遍历所有候选直线,删除无关的干扰直线,就可以得到能够表示该图像中钢轨位置的直线。
2.根据权利要求1所述的面向道岔与非道岔轨道图像的钢轨定位方法,其特征在于:所述步骤一中,首先对进行高斯滤波以去噪,然后通过直方图均衡算法增强图像的对比度和细节特征。
3.根据权利要求1所述的面向道岔与非道岔轨道图像的钢轨定位方法,其特征在于:所述步骤二中,提取出的直线包含两端点坐标信息:P1(x1,y1),P2(x2,y2)。然后,通过式(1)将直线段离散为由点构成的集合P。在直线段离散过程中,如式(1)所示,以两端点y1、y2构成的集合为已知条件,依次计算该集合中整数元素y对应的x值,然后将点(x,y)输入到集合P中。
4.根据权利要求1所述的面向道岔与非道岔轨道图像的钢轨定位方法,其特征在于:所述步骤三中,投影后的集合P中的点按x值大小升序排列,每个x值包含若干个有相同x值的点。
5.根据权利要求1所述的面向道岔与非道岔轨道图像的钢轨定位方法,其特征在于:所述步骤四中,采用两个滑动窗口遍历集合P。其中,正向滑动窗口沿着图像的x轴从左往右滑动,逆向滑动窗口沿着图像的x轴从右往左滑动。每滑动到一个位置,统计该滑动窗口内所有不相等的y值的个数。
CN202110390047.3A 2021-04-12 2021-04-12 一种面向道岔与非道岔轨道图像的钢轨定位方法 Active CN113112474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110390047.3A CN113112474B (zh) 2021-04-12 2021-04-12 一种面向道岔与非道岔轨道图像的钢轨定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390047.3A CN113112474B (zh) 2021-04-12 2021-04-12 一种面向道岔与非道岔轨道图像的钢轨定位方法

Publications (2)

Publication Number Publication Date
CN113112474A CN113112474A (zh) 2021-07-13
CN113112474B true CN113112474B (zh) 2022-11-18

Family

ID=76715767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390047.3A Active CN113112474B (zh) 2021-04-12 2021-04-12 一种面向道岔与非道岔轨道图像的钢轨定位方法

Country Status (1)

Country Link
CN (1) CN113112474B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628814B (zh) * 2012-02-28 2013-12-18 西南交通大学 一种基于数字图像处理的钢轨光带异常自动检测方法
CN110736999B (zh) * 2019-10-24 2021-11-02 北京交通大学 基于激光雷达的铁路道岔检测方法
CN111860137B (zh) * 2020-06-09 2022-12-23 北京航空航天大学 一种基于视觉的轨道道岔识别方法

Also Published As

Publication number Publication date
CN113112474A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN115272334A (zh) 用于复杂背景下的钢轨表面微小缺陷检测方法
CN115170576B (zh) 基于机器视觉的铝管表面缺陷检测方法
CN111539436B (zh) 一种基于一字模板匹配的轨道扣件定位方法
CN111079819B (zh) 基于图像识别与深度学习的铁路货车钩舌销的状态判断方法
CN111597905B (zh) 一种基于视频技术的公路隧道停车检测方法
TW201322203A (zh) 車道偏移警示方法及系統
CN104463903A (zh) 一种基于目标行为分析的行人图像实时检测方法
CN110782443B (zh) 一种铁路轨道缺陷检测方法和系统
CN105354857B (zh) 一种有立交桥遮挡的车辆轨迹匹配方法
CN110189419B (zh) 基于广义邻域高差的车载Lidar钢轨点云提取方法
CN108596872A (zh) 基于Gabor小波和SVM的钢轨病害的检测方法
CN111080614A (zh) 铁路货车轮轮辋及踏面的破损识别方法
CN108920997A (zh) 基于轮廓判断非刚性目标是否存在遮挡的跟踪方法
CN112330646A (zh) 一种基于二维图像的动车车底异常检测方法
CN112800974A (zh) 一种基于机器视觉的地铁轨道障碍物检测系统及方法
CN108564627B (zh) 一种基于多区域灰度投影的线阵图像轨枕定位及计数方法
CN113112474B (zh) 一种面向道岔与非道岔轨道图像的钢轨定位方法
Zheng et al. Rail detection based on LSD and the least square curve fitting
CN113487561A (zh) 基于灰度梯度异常投票的受电弓异物检测方法及装置
CN112489031A (zh) 基于mask-rcnn的抗蛇形减震器漏油检测方法
AlNaimi et al. IoT based on-the-fly visual defect detection in railway tracks
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN108596968B (zh) 一种基于轨道3d深度图像的轨枕计数方法
CN114743166A (zh) 一种铁路货车的制动机检测方法
CN111882592B (zh) 一种基于约束迭代最近点法的钢轨轮廓鲁棒性配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant