CN110516532A - 基于计算机视觉的无人机铁路轨道线路识别方法 - Google Patents

基于计算机视觉的无人机铁路轨道线路识别方法 Download PDF

Info

Publication number
CN110516532A
CN110516532A CN201910625187.7A CN201910625187A CN110516532A CN 110516532 A CN110516532 A CN 110516532A CN 201910625187 A CN201910625187 A CN 201910625187A CN 110516532 A CN110516532 A CN 110516532A
Authority
CN
China
Prior art keywords
point
image
unmanned plane
trackage
computer vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625187.7A
Other languages
English (en)
Other versions
CN110516532B (zh
Inventor
李晓峰
郭玉新
贾利民
秦勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201910625187.7A priority Critical patent/CN110516532B/zh
Publication of CN110516532A publication Critical patent/CN110516532A/zh
Application granted granted Critical
Publication of CN110516532B publication Critical patent/CN110516532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于计算机视觉的无人机铁路轨道线路识别方法，属于铁路轨道线路识别技术领域。该方法利用无人机机载摄像头获取铁路轨道视频图像，并进行预处理；利用脉冲耦合神经网络的方法识别视频图像中的轨道线路；利用三阶贝兹曲线拟合的方法得到轨道线路所在的直线段或曲线段；根据轨道线路所在的直线段或曲线段计算得到无人机飞行的局部目标点。本发明通过识别铁路轨道线路，获取了铁路轨道范围，实时计算飞行的局部目标点，实现了无人机自主沿线飞行，弥补了GPS导航定位精度不足的缺陷；基于计算机视觉，采用单个高清相机对轨道线路进行识别和保持，不需要额外的高精度传感器，成本较低。可以与航位推算、GPS或北斗等信息融合，进行综合应用。

Description

基于计算机视觉的无人机铁路轨道线路识别方法
技术领域
本发明涉及铁路轨道线路识别技术领域，具体涉及一种基于计算机视觉的无人机铁路轨道线路识别方法。
背景技术
保障铁路运营环境的安全至关重要，目前我国铁路巡线工作基本依靠人工作业，西部地区铁路特别是进藏铁路线路环境恶劣、地形复杂，在无人区和高原缺氧的情况下采用传统的人工作业极为困难，而基于无人机的轨道线路自主巡线是一个很有前景的解决方案。
实现无人机自主巡线首先需要实现其自主沿线飞行，目前无人机飞行多采用GPS导航定位，但GPS位置信息由于卫星自身、信号传播过程以及地面接收设备的影响会产生一定的误差，并且铁路线路的坐标信息稀疏，无法作为实时的局部目标位置。
发明内容
本发明的目的在于提供一种基于计算机视觉的无人机铁路轨道线路识别方法，以解决上述背景技术中存在的至少一个技术问题。
为了实现上述目的，本发明采取了如下技术方案：
本发明提供的一种基于计算机视觉的无人机铁路轨道线路识别方法，该方法包括如下流程步骤：
步骤S110：利用无人机机载摄像头获取铁路轨道视频图像，并进行预处理；
步骤S120：利用脉冲耦合神经网络的方法识别所述视频图像中的轨道线路；
步骤S130：利用三阶贝兹曲线拟合的方法得到所述轨道线路所在的直线段或曲线段；
步骤S140：根据所述轨道线路所在的直线段或曲线段计算得到无人机飞行的局部目标点。
优选的，所述步骤S110中所述预处理包括：利用白平衡消除环境光的影响；根据前一帧的识别结果提取感兴趣区域；将感兴趣区域转换为单通道亮度图像。
优选的，所述白平衡处理包括：利用灰度世界法消除环境光的影响，变换后使得图像中R、G、B三个分量的平均值趋于同一个灰度值；
所述提取感兴趣区域包括：若图像为第一帧或上一帧图像没有识别结果时，取图像的下半部分区域；若上一帧图像有识别结果时，以消失点纵坐标为上界，以图像底部为下界，由两条线形形状向外侧扩展，提取识识别结果附近的梯形区域；具体的，假设h为图像高度,w为图像宽度，消失点坐标为(u0，v0)，左侧和右侧识别结果中纵坐标大的端点坐标分别为(x0，h)和(x1，h)，则梯形区域四个顶点的坐标分别为(mnx(0，x0-60)，h)，(5u0/6，v0)(7u0/6，v0)，(min(w，x1+60)，h)；
所述将图像转换为单通道亮度图像包括：将图像由BGR模式转为HLS模式，取其中的L分量，代表图像的亮度信息；将亮度值以4个值为一级分级量化，得到最终的单通道亮度图像。
优选的，所述步骤S120中，所述脉冲耦合神经网络方法为：利用简化的脉冲耦合神经网络迭代处理单通道亮度图像，得到像素被激发的二值图像，然后利用图像熵判断迭代处理的停止时刻。
优选的，以单通道亮度值作为馈入单元，初始神经元状态均为未激发，与权值矩阵作卷积运算计算连接单元；利用馈入单元和连接单元计算神经元内部状态，与动态阈值比较后得到输出，大于动态阈值则输出255，阈值增大，小于动态阈值则输出0，阈值减小，输出结果为亮度值大的像素被激发的二值图像；判断二值图像的熵值是否大于阈值或迭代处理的次数是否大于10次，满足其中一个条件则停止处理，否则继续迭代处理；其中，
简化的脉冲耦合神经网络模型为：
其中，t为迭代次数，像素的坐标为(i，j)，F为馈入单元，quantizedI为分级量化后的亮度信息，L为连接单元，W为大小为3×3的权值矩阵，权值大小与距离成反比，U为内部状态，Y为输出，Θ为动态阈值，β取值0.2，step取值20，VT取值2。
优选的，所述步骤S120中，利用连通域处理，选取二值图像中面积最大的两个连通域，去除噪声点，得到轨道线路。
优选的，首先找到二值图像中的所有连通域；然后根据连通域的长宽比wh筛选出符合条件的连通域，wh＞10||wh＜0.1；最后在符合条件的连通域中选择面积最大的两个连通域作为轨道线路。
优选的，所述步骤S130中，所述的三阶贝兹曲线拟合方法为：将拟合点按纵坐标排序，确定起始点和终止点，然后计算贝兹曲线的控制点坐标，得到拟合结果；
三阶贝兹曲线的定义如式(3)所示，式中P0为起始点，P1和P2为控制点，P3为终止点，参数t正比于每两点间的欧式距离之和，Q(t)为曲线上的一点，T(t)为关于参数t的向量，M是权值矩阵，P是由起始点、终止点和控制点的矩阵；
将得到的轮廓点按纵坐标排序，其中，纵坐标最小的点作为起始点，纵坐标最大的点作为终止点，将定义转换为式(4)计算得到控制点；
P＝(T(t)M)+Q(t) (4)
然后将乘法计算转换为大量加法计算，代入参数值求得拟合结果。
优选的，所述步骤S130中，利用与上一帧识别结果之间的距离，和识别结果自身左右之间的距离，判断结果的正确性；
计算识别结果与上一次识别结果之间的距离，基于无人机的偏移判断识别结果是否在一定的移动范围内，若距离大于50像素，则判断识别结果为轨道两侧轨道轮廓类似物的干扰；
计算本次识别结果左右两条直线或曲线之间的距离，判断是否大于20像素，若大于该阈值则确认识别结果为一组铁路轨道，否则判断识别结果都在其中一侧钢轨上。
优选的，所述步骤S140具体包括：
当拟合结果为曲线时，利用最小二乘法延长所述拟合结果；利用消失点校正相机的姿态角；利用逆透视变换还原图像的正确比例；利用标准轨距对应的正确比例求得目标点距离，利用偏航角关系求得目标点角度；
利用消失点校正相机的姿态角，
式中，pitch为相机俯仰角，yaw为相机偏航角，height为图像高度，width为图像宽度，vp.x为消失点横坐标，vp.y为消失点纵坐标，dx为像素在u轴方向的尺寸，dy为像素在v轴方向的尺寸，计算可得真实的相机姿态角；
利用逆透视变换还原图像中物体的正确比例：逆透视变换过程将相机平面旋转至与铁路轨道平面平行，首先需要将图像由像素坐标系转换到相机坐标系，再乘以旋转矩阵，然后再转换到像素坐标系；其中，旋转矩阵为：
式中，
s2＝sin(-yaw)c2＝cos(-yaw)，
s3＝sin(-roll)c3＝cos(-roll)；
利用标准轨距对应比例求得目标点距离：利用偏航角等关系求得目标点角度；局部目标点取拟合结果左侧线段在鸟瞰图上纵坐标为0的点；已知标准轨距为1435mm，根据对应比例关系求得目标点距离，拟合结果为直线情况下的比例关系为scale＝1435/(ru-lu)，其中ru为右侧直线横坐标，lu为左侧直线横坐标，拟合结果为曲线情况下的比例关系为scale＝1435/|Rl-Rr|，其中Rl为左侧曲线在鸟瞰图中的半径，Rr为右侧曲线在鸟瞰图中的半径。
在鸟瞰图中，目标点与相机位置之间的角度为目标点偏离图像平面中心线的角度θ，目标点角度为：desθ＝θ-yaw。
本发明有益效果：通过识别铁路轨道线路，获取了铁路轨道范围，实时计算飞行的局部目标点，实现了无人机自主沿线飞行，弥补了GPS导航定位精度不足的缺陷，是支撑无人机完成自主巡线的基础。基于计算机视觉，采用单个高清相机对轨道线路进行识别和保持，不需要额外的高精度传感器，成本较低。可以与航位推算、GPS或北斗等信息融合，进行综合应用。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的基于计算机视觉的无人机铁路轨道线路识别方法流程图。
图2为本发明实施例1所述的基于计算机视觉的无人机铁路轨道线路识别方法中定义的坐标系关系示意图。
图3为本发明实施例2所述的基于计算机视觉的无人机铁路轨道线路识别方法流程图。
图4为本发明实施例2中利用脉冲耦合神经网络的方法识别轨道线路的流程图。
图5为本发明实施例2中利用三阶贝兹曲线拟合得到轨道线路所在直线段或曲线段的流程图。
图6为本发明实施例2中利用消失点校正姿态角时消失点坐标和俯仰角、偏航角之间的关系示意图。
图7为本发明实施例中提取梯形感兴趣区域的示意图。
图8为本发明实施例2中逆透视变换过程的示意图。
具体实施方式
下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或模块，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。
本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。
实施例
如图1至图2所示，本发明实施例提供一种基于计算机视觉的无人机铁路轨道线路识别方法，包括如下流程步骤：
步骤S110：利用无人机机载摄像头获取铁路轨道视频图像，并进行预处理；
步骤S120：利用脉冲耦合神经网络的方法识别所述视频图像中的轨道线路；
步骤S130：利用三阶贝兹曲线拟合的方法得到所述轨道线路所在的直线段或曲线段；
步骤S140：根据所述轨道线路所在的直线段或曲线段计算得到无人机飞行的局部目标点。
优选的，所述步骤S110中所述预处理包括：利用白平衡消除环境光的影响；根据前一帧的识别结果提取感兴趣区域；将感兴趣区域转换为单通道亮度图像。
优选的，所述白平衡处理包括：利用灰度世界法消除环境光的影响，变换后使得图像中R、G、B三个分量的平均值趋于同一个灰度值；
所述提取感兴趣区域包括：若图像为第一帧或上一帧图像没有识别结果时，取图像的下半部分区域；若上一帧图像有识别结果时，以消失点纵坐标为上界，以图像底部为下界，由两条线形形状向外侧扩展，提取识结果附近的梯形区域。
如图7所示，假设h为图像高度,w为图像宽度，消失点坐标为(u0，v0)，左侧和右侧识别结果中纵坐标大的端点坐标分别为(x0，h)和(x1，h)，则梯形区域四个顶点的坐标分别为(max(0，x0-60)，h)，(5u0/6，v0)，(7u0/6，v0)，(min(w，x1+60)，h)所述将图像转换为单通道亮度图像包括：将图像由BGR模式转为HLS模式，取其中的L分量，代表图像的亮度信息；将亮度值以4个值为一级分级量化，得到最终的单通道亮度图像。
优选的，所述步骤S120中，所述脉冲耦合神经网络方法为：利用简化的脉冲耦合神经网络迭代处理单通道亮度图像，得到像素被激发的二值图像，然后利用图像熵判断迭代处理的停止时刻。
优选的，以单通道亮度值作为馈入单元，初始神经元状态均为未激发，与权值矩阵作卷积运算计算连接单元；利用馈入单元和连接单元计算神经元内部状态，与动态阈值比较后得到输出，大于动态阈值则输出255，阈值增大，小于动态阈值则输出0，阈值减小，输出结果为亮度值大的像素被激发的二值图像；判断二值图像的熵值是否大于阈值或迭代处理的次数是否大于10次，满足其中一个条件则停止处理，否则继续迭代处理；其中，
简化的脉冲耦合神经网络模型为：
其中t为迭代次数，下标ij为像素的坐标为(i，j)，F为馈入单元，quantizedI为分级量化后的亮度信息，L为连接单元，W为大小为3×3的权值矩阵，权值大小与距离成反比，U为内部状态，Y为输出，Θ为动态阈值，β取值0.2，step取值20，VT取值2。
优选的，所述步骤S120中，利用连通域处理，选取二值图像中面积最大的两个连通域，去除噪声点，得到轨道线路。
优选的，首先找到二值图像中的所有连通域；然后根据连通域的长宽比wh筛选出符合条件的连通域，wh＞10||wh＜0.1；最后在符合条件的连通域中选择面积最大的两个连通域作为轨道线路。
优选的，所述步骤S130中，所述的三阶贝兹曲线拟合方法为：将拟合点按纵坐标排序，确定起始点和终止点，然后计算贝兹曲线的控制点坐标，得到拟合结果；
三阶贝兹曲线的定义如式(3)所示，式中P0为起始点，P1和P2为控制点，P3为终止点，参数t正比于每两点间的欧式距离之和，Q(t)为曲线上的一点，T(t)为关于参数t的向量，M是权值矩阵，P是由起始点、终止点和控制点的矩阵；
将得到的轮廓点按纵坐标排序，其中，纵坐标最小的点作为起始点，纵坐标最大的点作为终止点，将定义转换为式(4)计算得到控制点；
P＝(T(t)M)+Q(t) (4)
然后将乘法计算转换为大量加法计算，代入参数值求得拟合结果。
优选的，所述步骤S130中，利用与上一帧识别结果之间的距离，和识别结果自身左右之间的距离，判断结果的正确性；
计算识别结果与上一次识别结果之间的距离，基于无人机的偏移判断识别结果是否在一定的移动范围内，若距离大于50像素，则判断识别结果为轨道两侧轨道轮廓类似物的干扰；
计算本次识别结果左右两条直线或曲线之间的距离，判断是否大于20像素，若大于该阈值则确认识别结果为一组铁路轨道，否则判断识别结果都在其中一侧钢轨上。
优选的，所述步骤S140具体包括：
利用消失点校正相机的姿态角；利用逆透视变换还原图像的正确比例；利用标准轨距对应的正确比例求得目标点距离，利用偏航角关系求得目标点角度；
利用最小二乘法延长所述拟合结果；
利用消失点校正相机的姿态角，
式中，pitch为相机俯仰角，yaw为相机偏航角，height为图像高度，width为图像宽度，vp.x为消失点横坐标，vp.y为消失点纵坐标，dx为像素在u轴方向的尺寸，dy为像素在v轴方向的尺寸，计算可得真实的相机姿态角；
利用逆透视变换还原图像中物体的正确比例：逆透视变换过程将相机平面旋转至与铁路轨道平面平行，首先需要将图像由像素坐标系转换到相机坐标系，再乘以旋转矩阵，然后再转换到像素坐标系；其中，旋转矩阵为：
式中，
s2＝sin(-yaw)c2＝cos(-yaw)，
s3＝sin(-roll)c3＝cos(-roll)；
利用标准轨距对应比例求得目标点距离：利用偏航角等关系求得目标点角度；局部目标点取拟合结果左侧线段在鸟瞰图上纵坐标为0的点；已知标准轨距为1435mm，根据对应比例关系求得目标点距离，拟合结果为直线情况下的比例关系为scale＝1435/(ru-lu)，其中ru为右侧直线横坐标，lu为左侧直线横坐标，拟合结果为曲线情况下的比例关系为scale＝1435/|Rl-Rr|，其中Rl为左侧曲线在鸟瞰图中的半径，Rr为右侧曲线在鸟瞰图中的半径。
在鸟瞰图中，目标点与相机位置之间的角度为目标点偏离图像平面中心线的角度θ，目标点角度为：desθ＝θ-yaw。
实施例2
如图3所示，本发明实施例2提供一种基于计算机视觉的无人机铁路轨道线路识别方法，包括如下流程步骤：
步骤S1.通过机载摄像头获取铁路轨道视频图像，并进行预处理，包括：
(1)白平衡处理。利用灰度世界法消除环境光的影响，变换后使得图像中R、G、B三个分量的平均值趋于同一个灰度值。
(2)提取感兴趣区域。若图像为第一帧或上一帧图像没有识别结果时，取图像的下半部分区域；若上一帧图像有识别结果时，以消失点纵坐标为上界，以图像底部为下界，由两条线形形状向外侧扩展，提取识结果附近的梯形区域。
如图7所示，假设h为图像高度,w为图像宽度，消失点坐标为(u0，v0)，左侧和右侧识别结果中纵坐标大的端点坐标分别为(x0，h)和(x1，h)，则梯形区域四个顶点的坐标分别为(max(0，x0-60)，h)，(5u0/6，v0)，(7u0/6，v0)，(min(w，x1+60)，h)。所述将图像转换为单通道亮度图像包括：将图像由BGR模式转为HLS模式，取其中的L分量，代表图像的亮度信息；将亮度值以4个值为一级分级量化，得到最终的单通道亮度图像。
(3)将图像转换为单通道亮度图像。首先，将图像由BGR模式转为HLS模式，取其中的L分量，代表图像的亮度信息，然后将亮度值以4个值为一级分级量化，得到最终的单通道亮度图像。
步骤S2.利用脉冲耦合神经网络的方法识别轨道线路，具体流程如图4所示；
首先以单通道亮度值作为馈入单元，初始神经元状态均为未激发，与权值矩阵作卷积运算计算连接单元，然后利用馈入单元和连接单元计算神经元内部状态，与动态阈值比较后得到输出，大于动态阈值则输出255，阈值增大，小于动态阈值则输出0，阈值减小，输出结果为亮度值大的像素被激发的二值图像。然后判断图像的熵值是否大于阈值或迭代处理的次数是否大于10次，满足其中一个条件则停止处理，否则继续迭代处理。简化的脉冲耦合神经网络模型如式(1)。
其中t为迭代次数，下标ij为像素的坐标为(i，j)，F为馈入单元，quantizedI为分级量化后的亮度信息，L为连接单元，W为大小为3×3的权值矩阵，权值大小与距离成反比，U为内部状态，Y为输出，Θ为动态阈值，β取值0.2，step取值20，VT取值2。
步骤S2.利用脉冲耦合神经网络的方法识别轨道线路的后续步骤连通域处理，首先找到二值图像中的所有连通域，然后根据连通域的长宽比η筛选出符合条件的连通域，如式(2)所示。最后在符合条件的连通域中选择面积最大的两个作为轨道形状的轮廓。
η＞10||η＜0.1 (2)
步骤S3.利用三阶贝兹曲线拟合的方法得到轨道线路所在直线段或曲线段；具体流程如图5所示。
三阶贝兹曲线的定义如式(3)所示，式中P0为起始点，P1和P2为控制点，P3为终止点，参数t正比于每两点间的欧式距离之和，Q(t)为曲线上的一点，T(t)为关于参数t的向量，M是权值矩阵，P是由起始点、终止点和控制点的矩阵。
首先将得到的轮廓点按纵坐标排序，其中纵坐标最小的点作为起始点，纵坐标最大的点作为终止点，将定义转换为式(4)计算得到控制点。
P＝(T(y)M)+Q(t) (4)
然后将乘法计算转换为大量加法计算，代入参数值求得近似拟合结果。
步骤S3.利用三阶贝兹曲线拟合方法的后续步骤为进行识别结果的再确认，包括：
(1)计算识别结果与上一次识别结果之间的距离，基于无人机的轻微偏移判断识别结果是否在一定的移动范围内，若距离大于50像素，则判断识别结果为轨道两侧诸如挡土墙、路基边缘等类似轨道轮廓的物体的干扰；
(2)计算本次识别结果左右两条直线或曲线之间的距离，判断是否大于20像素，若大于该阈值则确认识别结果为一组铁路轨道，否则判断识别结果都在其中一侧钢轨上。
步骤S4.通过机载相机的姿态角等关系计算得到无人机飞行的局部目标点，包括：
(1)延长拟合结果。当拟合结果为曲线时，无法简单确定延长后的切线斜率，在鸟瞰图中，可将拟合结果看作圆曲线，利用最小二乘法拟合圆即可得到曲线的延长结果。
(2)利用消失点校正相机的姿态角，消失点坐标和相机姿态角之间的关系如图6所示。由图可以得到式(5)，式中pitch为相机俯仰角，yaw为相机偏航角，height为图像高度，width为图像宽度，vp.x为消失点横坐标，vp.y为消失点纵坐标，dx为像素在u轴方向的尺寸，dy为像素在v轴方向的尺寸，计算可得真实的相机姿态角。
(3)利用逆透视变换还原图像中物体的正确比例。如图8所示，逆透视变换过程将相机平面旋转至与铁路轨道平面平行，首先需要将图像由像素坐标系转换到相机坐标系，再乘以旋转矩阵，然后再转换到像素坐标系。其中旋转矩阵为式(6)。
式中，
s2＝sin(-yaw)c2＝cos(-yaw)
s3＝sin(-roll)c3＝cos(-roll)
(4)利用标准轨距对应比例求得目标点距离，利用偏航角等关系求得目标点角度。局部目标点取拟合结果左侧线段在鸟瞰图上纵坐标为0的点。已知标准轨距为1435mm，根据对应比例关系求得目标点距离，拟合结果为直线和曲线情况下比例关系分别为式(7)和式(8)。
scale＝1435/(ru-lu) (7)
scale＝1435/|Rl-Rr| (8)
式中ru为右侧直线横坐标，lu为左侧直线横坐标，rl为左侧曲线在鸟瞰图中的半径，Rr为右侧曲线在鸟瞰图中的半径。
在鸟瞰图中，目标点与相机位置之间的角度为目标点偏离图像平面中心线的角度θ，但在原图中，还要考虑相机本身存在的偏航角yaw，目标点角度为式(9)。
desθ＝θ-yaw (9)
所述步骤利用并行编程提高处理速度，满足无人机飞行过程中实时获取飞行目标的要求。
综上所述，本发明实施例提出的方法通过识别铁路轨道线路，获取了铁路轨道范围，实时计算飞行的局部目标点，实现了无人机自主沿线飞行，弥补了GPS导航定位精度不足的缺陷，是支撑无人机完成自主巡线的基础。基于计算机视觉，采用单个高清相机对轨道线路进行识别和保持，不需要额外的高精度传感器，成本较低；可以与航位推算、GPS或北斗等信息融合，进行综合应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，包括如下流程步骤：
步骤S110：利用无人机机载摄像头获取铁路轨道视频图像，并进行预处理；
步骤S120：利用脉冲耦合神经网络的方法识别所述视频图像中的轨道线路；
步骤S130：利用三阶贝兹曲线拟合的方法得到所述轨道线路所在的直线段或曲线段；
步骤S140：根据所述轨道线路所在的直线段或曲线段计算得到无人机飞行的局部目标点。
2.根据权利要求1所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S110中所述预处理包括：利用白平衡消除环境光的影响；根据前一帧的识别结果提取感兴趣区域；将感兴趣区域转换为单通道亮度图像。
3.根据权利要求2所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，
所述白平衡处理包括：利用灰度世界法消除环境光的影响，变换后使得图像中R、G、B三个分量的平均值趋于同一个灰度值；
所述提取感兴趣区域包括：若图像为第一帧或上一帧图像没有识别结果时，取图像的下半部分区域；若上一帧图像有识别结果时，以消失点纵坐标为上界，以图像底部为下界，由两条线形形状向外侧扩展，提取识识别结果附近的梯形区域；具体的，假设h为图像高度,w为图像宽度，消失点坐标为(u0，v0)，左侧和右侧识别结果中纵坐标大的端点坐标分别为(x0，h)和(x1，h)，则梯形区域四个顶点的坐标分别为(max(0，x0-60)，h)，(5u0/6，v0)，(7u0/6，v0)，(min(w，x1+60)，h)；
所述将图像转换为单通道亮度图像包括：将图像由BGR模式转为HLS模式，取其中的L分量，代表图像的亮度信息；将亮度值以4个值为一级分级量化，得到最终的单通道亮度图像。
4.根据权利要求1所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S120中，所述脉冲耦合神经网络方法为：利用简化的脉冲耦合神经网络迭代处理单通道亮度图像，得到像素被激发的二值图像，然后利用图像熵判断迭代处理的停止时刻。
5.根据权利要求4所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，以单通道亮度值作为馈入单元，初始神经元状态均为未激发，与权值矩阵作卷积运算计算连接单元；利用馈入单元和连接单元计算神经元内部状态，与动态阈值比较后得到输出，大于动态阈值则输出255，阈值增大，小于动态阈值则输出0，阈值减小，输出结果为亮度值大的像素被激发的二值图像；判断二值图像的熵值是否大于阈值或迭代处理的次数是否大于10次，满足其中一个条件则停止处理，否则继续迭代处理；其中，
简化的脉冲耦合神经网络模型为：
其中，t为迭代次数，像素的坐标为(i，j)，F为馈入单元，quantizedI为分级量化后的亮度信息，L为连接单元，W为大小为3×3的权值矩阵，权值大小与距离成反比，U为内部状态，Y为输出，Θ为动态阈值，β取值0.2，step取值20，VT取值2。
6.根据权利要求1所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S120中，利用连通域处理，选取二值图像中面积最大的两个连通域，去除噪声点，得到轨道线路。
7.根据权利要求6所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，首先找到二值图像中的所有连通域；然后根据连通域的长宽比η筛选出符合条件的连通域，η＞10||η＜0.1；最后在符合条件的连通域中选择面积最大的两个连通域作为轨道线路。
8.根据权利要求1所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S130中，所述的三阶贝兹曲线拟合方法为：将拟合点按纵坐标排序，确定起始点和终止点，然后计算贝兹曲线的控制点坐标，得到拟合结果；
三阶贝兹曲线的定义如式(3)所示，式中P0为起始点，P1和P2为控制点，P3为终止点，参数t正比于每两点间的欧式距离之和，Q(t)为曲线上的一点，T(t)为关于参数t的向量，M是权值矩阵，P是由起始点、终止点和控制点的矩阵；
将得到的轮廓点按纵坐标排序，其中，纵坐标最小的点作为起始点，纵坐标最大的点作为终止点，将定义转换为式(4)计算得到控制点；
P＝(T(t)M)+Q(t) (4)
然后将乘法计算转换为大量加法计算，代入参数值求得拟合结果。
9.根据权利要求8所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S130中，利用与上一帧识别结果之间的距离，和识别结果自身左右之间的距离，判断结果的正确性；
计算识别结果与上一次识别结果之间的距离，基于无人机的偏移判断识别结果是否在一定的移动范围内，若距离大于50像素，则判断识别结果为轨道两侧轨道轮廓类似物的干扰；
计算本次识别结果左右两条直线或曲线之间的距离，判断是否大于20像素，若大于该阈值则确认识别结果为一组铁路轨道，否则判断识别结果都在其中一侧钢轨上。
10.根据权利要求9所述的基于计算机视觉的无人机铁路轨道线路识别方法，其特征在于，所述步骤S140具体包括：
当拟合结果为曲线时，利用最小二乘法延长所述拟合结果；利用消失点校正相机的姿态角；利用逆透视变换还原图像的正确比例；利用标准轨距对应的正确比例求得目标点距离，利用偏航角关系求得目标点角度；
利用消失点校正相机的姿态角，
式中，pitch为相机俯仰角，yaw为相机偏航角，height为图像高度，width为图像宽度，vp.x为消失点横坐标，vp.y为消失点纵坐标，dx为像素在u轴方向的尺寸，dy为像素在v轴方向的尺寸，计算可得真实的相机姿态角；
利用逆透视变换还原图像中物体的正确比例：逆透视变换过程将相机平面旋转至与铁路轨道平面平行，首先需要将图像由像素坐标系转换到相机坐标系，再乘以旋转矩阵，然后再转换到像素坐标系；其中，旋转矩阵为：
式中，
s2＝sin(-yaw)c2＝cos(-yaw)，
s3＝sin(-roll)c3＝cos(-roll)；
利用标准轨距对应比例求得目标点距离：利用偏航角等关系求得目标点角度；局部目标点取拟合结果左侧线段在鸟瞰图上纵坐标为0的点；已知标准轨距为1435mm，根据对应比例关系求得目标点距离，拟合结果为直线情况下的比例关系为scale＝1435/(ru-lu)，其中ru为右侧直线横坐标，lu为左侧直线横坐标，拟合结果为曲线情况下的比例关系为scale＝1435/|Rl-Rr|，其中Rl为左侧曲线在鸟瞰图中的半径，Rr为右侧曲线在鸟瞰图中的半径。
在鸟瞰图中，目标点与相机位置之间的角度为目标点偏离图像平面中心线的角度θ，目标点角度为：desθ＝θ-yaw。
CN201910625187.7A 2019-07-11 2019-07-11 基于计算机视觉的无人机铁路轨道线路识别方法 Active CN110516532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625187.7A CN110516532B (zh) 2019-07-11 2019-07-11 基于计算机视觉的无人机铁路轨道线路识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625187.7A CN110516532B (zh) 2019-07-11 2019-07-11 基于计算机视觉的无人机铁路轨道线路识别方法

Publications (2)

Publication Number Publication Date
CN110516532A true CN110516532A (zh) 2019-11-29
CN110516532B CN110516532B (zh) 2022-03-11

Family

ID=68623015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625187.7A Active CN110516532B (zh) 2019-07-11 2019-07-11 基于计算机视觉的无人机铁路轨道线路识别方法

Country Status (1)

Country Link
CN (1) CN110516532B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598024A (zh) * 2020-05-20 2020-08-28 中铁二院工程集团有限责任公司 一种基于图像的铁路限界区域识别方法
CN111611862A (zh) * 2020-04-22 2020-09-01 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
CN112231870A (zh) * 2020-09-23 2021-01-15 西南交通大学 一种复杂山区铁路线路智能化生成方法
CN114742975A (zh) * 2022-06-10 2022-07-12 西南交通大学 一种车载图像铁轨曲线建模方法
CN116469017A (zh) * 2023-03-31 2023-07-21 北京交通大学 一种面向无人机自动化铁路巡检的实时轨道识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN107154048A (zh) * 2017-05-09 2017-09-12 中国科学院遥感与数字地球研究所 一种脉冲耦合神经网络模型的遥感图像分割方法及装置
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
CN108596165A (zh) * 2018-08-21 2018-09-28 湖南鲲鹏智汇无人机技术有限公司 基于无人机低空航拍图像的道路交通标线检测方法及系统
CN108803651A (zh) * 2018-04-24 2018-11-13 上海工程技术大学 一种基于图像特征的无人机公路巡检方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN107154048A (zh) * 2017-05-09 2017-09-12 中国科学院遥感与数字地球研究所 一种脉冲耦合神经网络模型的遥感图像分割方法及装置
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
CN108803651A (zh) * 2018-04-24 2018-11-13 上海工程技术大学 一种基于图像特征的无人机公路巡检方法
CN108596165A (zh) * 2018-08-21 2018-09-28 湖南鲲鹏智汇无人机技术有限公司 基于无人机低空航拍图像的道路交通标线检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN RONG ET AL: "Rail Track Irregularity Detection Method Based on Computer Vision and Gesture Analysis", 《INT J ONLINE ENG》 *
刘成 等: "无人机轨道跟踪控制模型", 《城市轨道交通研究》 *
曾治 等: "一种实时的城市道路车道线识别方法及实现", 《电子技术与软件工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611862A (zh) * 2020-04-22 2020-09-01 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
CN111611862B (zh) * 2020-04-22 2022-09-09 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
CN111598024A (zh) * 2020-05-20 2020-08-28 中铁二院工程集团有限责任公司 一种基于图像的铁路限界区域识别方法
CN112231870A (zh) * 2020-09-23 2021-01-15 西南交通大学 一种复杂山区铁路线路智能化生成方法
CN114742975A (zh) * 2022-06-10 2022-07-12 西南交通大学 一种车载图像铁轨曲线建模方法
CN116469017A (zh) * 2023-03-31 2023-07-21 北京交通大学 一种面向无人机自动化铁路巡检的实时轨道识别方法
CN116469017B (zh) * 2023-03-31 2024-01-02 北京交通大学 一种面向无人机自动化铁路巡检的实时轨道识别方法

Also Published As

Publication number Publication date
CN110516532B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN110516532A (zh) 基于计算机视觉的无人机铁路轨道线路识别方法
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN110070025B (zh) 基于单目图像的三维目标检测系统及方法
CN110580717B (zh) 一种针对电力杆塔的无人机自主巡检航线生成方法
CN108868268B (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN107590438A (zh) 一种智能辅助驾驶方法及系统
CN104166854B (zh) 针对小型无人机自主降落的视觉分级地标定位识别方法
CN104144282B (zh) 一种适用于空间机器人视觉系统的快速数字稳像方法
CN112200874B (zh) 狭窄空间的多层次场景重建和快速分割方法、系统及装置
CN110378332A (zh) 一种集装箱码头箱号和车号识别方法及系统
CN108229587B (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN107545538B (zh) 一种基于无人机的全景图像拼接方法及装置
CN105046235A (zh) 车道线的识别建模方法和装置、识别方法和装置
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN109685855A (zh) 一种道路云监控平台下的摄像机标定优化方法
CN108871409A (zh) 一种故障检测方法和系统
CN113408510A (zh) 基于深度学习与one-hot编码的输电线路目标纠偏方法和系统
CN111768417A (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN114815871A (zh) 一种基于视觉的垂直起降无人机动平台自主降落方法
Xiang et al. Hybrid bird’s-eye edge based semantic visual SLAM for automated valet parking
CN114428518A (zh) 一种用于无人机风机叶片自动巡检的风机定向方法
CN110472451A (zh) 一种基于单目相机的面向agv定位的人工地标及解算方法
CN114326771A (zh) 一种基于图像识别的无人机拍摄航线生成方法及系统
CN115268504A (zh) 一种大型无人机仿地飞行路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191129

Assignee: GUANGZHOU HI-TARGET SURVEYING INSTRUMENT Co.,Ltd.

Assignor: Beijing Jiaotong University

Contract record no.: X2021990000807

Denomination of invention: UAV railway track line recognition method based on computer vision

License type: Exclusive License

Record date: 20211222

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant