CN109389639A - 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置 - Google Patents

动态行车环境下钢轨轮廓激光条纹中心提取方法及装置 Download PDF

Info

Publication number
CN109389639A
CN109389639A CN201810775400.8A CN201810775400A CN109389639A CN 109389639 A CN109389639 A CN 109389639A CN 201810775400 A CN201810775400 A CN 201810775400A CN 109389639 A CN109389639 A CN 109389639A
Authority
CN
China
Prior art keywords
subregion
rail profile
laser stripe
image
profile laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810775400.8A
Other languages
English (en)
Other versions
CN109389639B (zh
Inventor
王昊
王胜春
赵鑫欣
戴鹏
杜馨瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Infrastructure Inspection Institute of CARS, Beijing IMAP Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN201810775400.8A priority Critical patent/CN109389639B/zh
Publication of CN109389639A publication Critical patent/CN109389639A/zh
Application granted granted Critical
Publication of CN109389639B publication Critical patent/CN109389639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种动态行车环境下钢轨轮廓激光条纹中心提取方法及装置，其中，该方法包括：将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据该方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标。上述技术方案提高了动态行车环境下激光条纹中心提取的效率、准确性和鲁棒性。

Description

动态行车环境下钢轨轮廓激光条纹中心提取方法及装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种动态行车环境下钢轨轮廓激光条纹中心提取方法及装置。
背景技术
线结构光测量系统中，激光束被垂直地投射到被测物体表面，摄像机从另一个角度拍摄激光条纹图像，并按照三角测量法获得激光断面数据。三角测量法要求投影到物体表面的轮廓线应该无限薄，即仅有一个像素宽度。但由于光线散射、成像系统的点扩散效应等原因，造成实际轮廓线在像平面的投影图像具有一定的厚度，呈光条状。因此，如何快速准确地提取激光条纹中心的位置，得到实际轮廓线上每一点准确的空间坐标值，是线结构光测量系统需要解决的一个关键问题。
行车环境中，基于主动激光三角测量技术的钢轨轮廓测量面临着一系列难题。其中的一个主要问题是目前的激光条纹提取方法对噪声和光照变化较为敏感，而列车实际行驶环境中，因照明变化、不均匀反射以及表面不平顺而引入的干扰信息以噪声形式反映在激光图像上，这些干扰因素会改变激光的轮廓形状。传统的光条中心提取方法主要以牺牲鲁棒性为代价来提高激光检测的精度，这类方法往往适用于环境光和激光功率可控的室内检测场景，而室外行车环境中由于存在各种噪声干扰，造成激光轮廓变形，图像的亮度不均匀，甚至部分激光完全缺失，因此传统方法并不适合应用于铁路场景中。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种动态行车环境下钢轨轮廓激光条纹中心提取方法，用以提高动态行车环境下激光条纹中心提取的效率、准确性和鲁棒性，该方法包括：
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
本发明实施例还提供了一种动态行车环境下钢轨轮廓激光条纹中心提取装置，用以提高动态行车环境下激光条纹中心提取的效率、准确性和鲁棒性，该装置包括：
分割单元，用于将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
法线主方向确定单元，用于基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
中心提取单元，用于根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述动态行车环境下钢轨轮廓激光条纹中心提取方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述动态行车环境下钢轨轮廓激光条纹中心提取方法的计算机程序。
本发明实施例提供的技术方案的有益技术效果如下：
首先，通过将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，该深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成，去除了背景噪声以及不均匀的漫反射和镜面反射对光条提取造成的干扰，增强了光条纹中心提取的鲁棒性；
其次，通过基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向，避免了后续复杂的模板匹配和耗时的梯度计算，提高了光条纹中心提取的效率；
最后，根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标，该亚像素坐标为光条纹中心位置的坐标，保证了光条纹中心提取的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中涉及的入射激光光路的示意图；
图2是本发明实施例中涉及的镜面反射与图像显影的示意图；
图3(a-1)-3(b-2)是本发明实施例中涉及的镜面反射对光条提取造成的影响示意图，其中：3(a-1)为轨头光带处发生镜面反射，3(a-2)、3(a-1)为图二值化结果；3(b-1)为打磨后的钢轨发生镜面反射，3(b-2)、3(b-1)为图二值化结果；
图4(a)-4(d)是本发明实施例中涉及的钢轨轮廓激光条纹图像的灰度分布特征的示意图；
图5是本发明实施例中基于分区域多模板匹配的光条中心线提取的原理示意图；
图6是本发明实施例中深度学习网络结构用于图像分割的性能统计图；
图7是本发明实施例中钢轨轮廓数据标注的示意图；
图8是本发明实施例中轨廓激光条纹区段划分的示意图；
图9(a)和9(b)是本发明实施例中像素梯度方向示意图，其中：图9(a)是整幅图像求梯度方向；9(b)是仅在分割得到的光条上求梯度方向；
图10是本发明实施例中各子区域对应的方向模板示意图；
图11是本发明实施例中基于方向模板提取像素级光条中心的示意图；
图12是本发明实施例中基于灰度重心法提取亚像素级光条中心的示意图；
图13是本发明实施例中对光条纹图像进行旋转与缩放预处理的示意图；
图14是本发明实施例中光条分割结果对比的示意图，其中：图14中(a)是原始轨廓图像；图14中(b)是固定阈值二值化结果；图14中(c)是动态阈值二值化结果；图14中(d)是深度学习分割结果；
图15是本发明实施例中光条图像的卷积特征示意图：其中图15中的(a)第一层卷积特征，大小为16×256×256；图15中的(b)第二层卷积特征，大小为64×128×128；图15中的(c)第三层卷积特征，大小为128×164×164；
图16是本发明实施例中不同光条中心提取方法实验结果对比示意图，其中：图16中的(a)为灰度重心法的实验结果示意图；图16中的(b)为方向模板法的实验结果示意图；图16中的(c)Steger法的实验结果示意图；图16中的(d)本发明提出的方法的实验结果示意图；
图17是本发明实施例中不同光条中心提取方法执行时间对比示意图；
图18是本发明实施例中动态行车环境下钢轨轮廓激光条纹中心提取方法的流程示意图；
图19是本发明实施例中动态行车环境下钢轨轮廓激光条纹中心提取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人发现：线结构光测量中，条纹变形的程度反应了被测物体的深度，所以结构光变形条纹中心位置的准确检测是影响结构光系统精度的关键问题之一。值得指出的是在结构光系统中确定结构光条纹中心位置与通常图像处理中的细化不同。细化仅仅要求的是保持拓扑结构，而确定条纹中心的位置却对准确性的要求较高。为了解决结构光条纹定位的问题，人们提出了多种方法。对于表面反射情况比较好，图像精度比较高的场合可以先检测光带的边界，然后取其中间线作为结构光条纹中心的位置。而对于复杂一些的情况就需要寻找恰当的光条提取算法。一般的方法大致可分为两个步骤，首先对光条图像进行分割，然后计算光条的中心坐标。
当使用结构光传感器时，鲁棒的条纹分割是影响钢轨轮廓线定位精度的决定性因素。目前该领域大部分的研究都集中在激光条纹的中心线检测方面，对激光条纹的分割研究较为少见。已有的研究成果中，大多数分割方法都集中在提高条纹的检测精度上，通常以牺牲稳健性和时效性为代价。
传统的中心线提取技术有极值法，灰度重心法，模板匹配法以及steger算法等。对于线结构光测量中所用的单色激光器，它的出射光线的强度，在其截面上一般都可以认为是服从高斯分布的，它的数学表达式为：
其中μ为数学期望,σ为均方差。
下面对四种典型的中心线提取方法做简要介绍。
(1)极值法
极值法对于条纹灰度分布成理想高斯分布的情况有很好的效果。这种方法首先识别出灰度的局部极大值，并将此极大值定义为条纹中心线。该方法的速度极快，但是很容易受到噪声的影响.所以这种技术不适用于信噪比较小的图像。
(2)灰度重心法
重心法是基于物理学中的刚体在x轴的质心演化而来的。设x轴上n个离散质点的坐标分别为xi，质量为mi，则n个质点的质心为
由于一般情况下刚体质心和重心重合，在此基础上发展的基于极大值的重心法、基于背景阈值的重心法等，具有运算速度快精度高的特点，但仍受环境噪声的影响。而且在实际应用中光带宽度需要根据实际情况确定其大小，而灰度重心法是利用光带上有较高灰度值的一部分像素来计算光带中心，其准确性受激光光带能量分布集中性的影响，因而采用灰度重心法时光带宽度值更加不容易确定。
(3)模板匹配法
模板匹配法是从重心法的思想发展而来的。模板匹配技术，它可以沿着光带自动判断光带在各个位置的走向，从而估算出光带在每个点处大概的法线方向，并求出在该方向处的光带灰度分布，然后再按照灰度重心法提取这个截面处光条纹的中心。该方法的缺点是模板卷积计算量大，针对结构光条纹宽度有变化的图像，采用固定的模板容易产生误差。
线结构光的条纹形状随着物体表面的变化而不同，在比较小的范围内可以认为线结构光条纹只有四种模式，水平，垂直，左倾45°，右倾45°。为了能够准确地描述线结构光条纹的形状，在模块选取时一般根据光带的粗细程度进行选取，因为太大不能准确的反映出条纹的细节，太小又不能反映出光带的走向。
(4)Steger算法
Steger利用Hessian矩阵得到图像中光条纹的法线方向，然后求法线方向上的极值点得到光条纹中心线的亚像素位置。Steger方法具有精度高，鲁棒性好等优点，其缺点是运算量大，很难实现光条纹中心线的快速提取，难以满足实时性要求高的应用场合。
对于图像中激光条纹上的任意一点(x,y)，Hessian矩阵可以表示为：
其中rxx表示图像沿x的二阶偏导数，其他参数类似。Hessian矩阵最大特征值对应的特征向量对应于光条的法线方向，用(nx,ny)表示，以点(x0,y0)为基准点，则光条中心的亚像素坐标为：(px,py)＝(x0+tnx,y0+tny)，这里
如果(tnx,tny)∈[-0.5,0.5]×[-0.5,0.5]，即一阶导数为零的点位于当前像素内，且(nx,ny)方向的二阶导数大于指定的阈值，则该点(x0,y0)为光条的中心点，(px,py)则为亚像素坐标。
在传统方法的基础上，很多学者结合钢轨轮廓结构光测量的应用背景，针对性地提出钢轨轮廓光条中心线的提取方法。不过现有的研究成果多关注于光条中心提取方法的改进，而对于受环境光严重干扰的光条分割问题却少有涉及。此外，现有的方法大多无法同时兼顾时效性、准确性和稳健性，需根据不同的应用场景选择合适的算法，本发明面向室外高速动态的成像环境，对光条中心提取算法的性能提出了更高的要求。
发明人还发现：当把线激光应用于测量时，光条会受到多种因素的干扰从而发生变化，如被测物体的形状结构、光泽程度、颜色等。此外，图像采集系统也会影响激光光条的提取，如图像采集卡和摄像机内部产生的热噪声和电噪声等。
测量时，把光源发出的线激光束投射到被测物体表面，存在反射、吸收和透射三种现象，如图1所示。由能量守恒定律可知，入射光的能量等于反射光、透射光、吸收的能量之和。本发明中涉及的被测物体钢轨是非透明的，可以忽略透射，入射光与被测物体之间主要表现为反射和吸收两种情况。
入射激光束投射在一个被测物体表面时，若该表面为理想的光滑平面，则发生镜面反射。镜面反射遵循反射定律，反射光的光强集中于反射方向，图像传感器只有在固定的视点位置才能接收到镜面反射光的光强。而实际的被测物体表面都是粗糙不平的，因此就存在漫反射的现象。反射光在各方向上均匀传播，与观察者视点位置的方向无关。
图像采集系统接收到的光强为漫反射光、镜面反射光及环境光经被测物体表面反射的光强的总和。其中，漫反射系数是向四周漫射的光通量与反射光总的光通量之比，它与被测物体表面粗糙度有关。反射率表征物体表面的反射能力，与其表面的光滑程度有关，被测物体的表面越光滑，镜面反射的光强更集中，接近于理想镜面反射。如图2所示，测量物体某位置发生镜面反射时，若反射光线方向正好与成像设备的光轴一致时，大部分反射光都集中射入镜头，造成该位置的图像显影过亮；若反射光线方向偏离成像设备的光轴，则很少有反射光线能够入射到镜头，造成该位置的图像显影过暗。因此，钢轨表面的镜面反射会造成激光条纹图像局部区域过亮或过暗，严重影响测量的精度。
测量过程中，均匀的漫反射光线经图像传感器捕捉生成平滑的光条图像，较好地保持了钢轨轮廓的几何形状。而不均匀的反射会造成光条灰度值分布明暗不均，甚至由于轨头光带区域镜面反射造成该处的光条过暗或过亮，因此传统的基于图像二值化的方法难以得到完好的光条分割图像。有一些拍摄的钢轨轮廓图像中，轨头光带处由于长期与车轮接触摩擦，表面非常光滑，投射到该处的激光由于镜面反射而集中偏离镜头光轴，造成采集的图像局部很暗，难以找到合适的阈值将整个光条区域完整的分割出来，例如图3(a-1)、3(a-2)中所示；有一些打磨后的钢轨图像，轨头区域几处位置由于钢轨表面镜面反射后的光线正好集中射入相机镜头，造成图像中这些位置更为明亮，它们显然会干扰光条中心的提取，例如图3(b-2)、3(b-1)中所示。因此可见，如果在实际测量中同时存在不均匀的反射或镜面反射，由于这些反射光线的干扰，极容易提取到非真实的光条中心而造成测量结果与真实值不符，需要特定的光条分割算法以避免这种干扰的影响。
图3(a-1)、3(a-2)、3(b-2)、3(b-1)为镜面反射对光条提取造成的影响示意图，其中：3(a-1)轨头光带处发生镜面反射，3(a-2)、3(a-1)图二值化结果；3(b-1)打磨后的钢轨发生镜面反射，3(b-2)、3(b-1)图二值化结果。
图4(a)、4(b)、4(c)和4(d)所示为钢轨轮廓激光条纹图像的灰度分布特征。激光条纹图像大部分区域为黑色的背景，且光条的灰度值呈不均匀的变化，例如如图4(a)所示。由于大部分图像背景为无效信息且受噪声干扰，因此需要首先从图像中分割出轨廓光条区域。
在照明良好的室内环境下，将足够强度的激光投影于被测物体表面，通过简单的阈值法即可准确检测到激光光条的位置。然而，在室外列车运行环境下，即使对于单幅图像而言，周围环境光也是变化的。而且，激光光条强度分布不均匀，投影表面也是变化的，例如如图4(b)所示。因此，难以选择合适的单一阈值将激光条纹从背景中完整的提取出来。而自适应动态阈值分割方法，虽然可以在整体强光或弱光环境下得到最优的分割阈值，但在环境光可变以及物体表面非均匀漫反射的情况下效果有限，光条灰度值较低的区域容易被误判为背景。
激光光条沿着像素的梯度方向，即光条的法线方向(例如如图4(c)所示，4(c)为轨廓光条的局部放大图)，像素灰度值的分布近似于高斯分布，例如如图4(d)所示。事实上，根据结构光成像的光学机理，光条沿边缘法线方向的横截面像素分布可以用高斯模型来表示：
这里，x表示沿着法线方向的像素横坐标；x*表示光条中心位置的横坐标；θ为法线方向与横轴的夹角，则法线方向可记作
文献通过对几种经典的光条提取方法进行比较，表明灰度重心法以亚像素精度提取激光中心位置，可得到最佳结果，但由于未考虑图像每列之间的激光光条的连续性，很容易受到噪声的干扰。此外，传统的灰度重心法也只是基于行或列两个方向进行中心提取，不适合于光条弯曲变化的轨廓激光图像。基于骨架的灰度重心法和基于Hessian矩阵的Steger算法，较好地解决了这个问题。但这两种方法虽然可以处理情况比较复杂的光带图像，但是求取每一个数据点处的法线方向是一个非常繁琐的过程，大大的增加了计算的复杂度，降低了数据处理的速度，不利于实时处理任务。
由于发明人考虑到了上述技术问题，提出了一种动态行车环境下钢轨轮廓激光条纹中心提取方法，该方法针对钢轨轮廓激光条纹提取中面临的问题，提出了基于分区域多模板匹配的光条中心提取方法，如图5所示(图5中1代表深度学习网络结构分割模型，将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，其中：Convolutionnetwork的含义是分割模型中的卷积网络，Deconvolution network的含义是分割模型中的反褶积网络；2代表将光条纹图像分割成多个子区域图像；3代表根据方向模板，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标的过程，其中K1、K2、K3、K4、K5和K6代表不同法线主方向对应的方向模板)。整个过程分为以下三个步骤：
(1)基于深度学习网络实现钢轨轮廓光条图像的精细分割，按照光条的灰度和梯度方向特征将光条划分为多个区段，每个区段单独提取光条中心。这一操作去除了背景噪声以及不均匀的漫反射和镜面反射对光条提取造成的干扰，增强了算法的稳健性。
(2)基于梯度直方图统计确定各分割子区域的法线主方向，各个子区域对应一个法线主方向，避免了复杂的模板匹配和耗时的梯度计算，提高了算法的时效性。
(3)对各个分割的子区域构造相应的方向模板求得法线方向的最大光强点，然后以该点为中心，沿法线方向按照灰度重心法提取光条中心的亚像素坐标，保证了算法的提取精度。
下面对该动态行车环境下钢轨轮廓激光条纹中心提取方案进行详细介绍。
图18是本发明实施例中动态行车环境下钢轨轮廓激光条纹中心提取方法的流程示意图，如图18所示，该方法包括如下步骤：
步骤101：将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
步骤102：基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
步骤103：根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
本发明实施例提供的动态行车环境下钢轨轮廓激光条纹中心提取方法：首先，通过将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，该深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成，去除了背景噪声以及不均匀的漫反射和镜面反射对光条提取造成的干扰，增强了光条纹中心提取的鲁棒性；其次，通过基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向，避免了后续复杂的模板匹配和耗时的梯度计算，提高了光条纹中心提取的效率；最后，根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标，该亚像素坐标为光条纹中心位置的坐标，保证了光条纹中心提取的准确性。
下面对该动态行车环境下钢轨轮廓激光条纹中心提取详细的实施方法进行介绍。
第一，介绍上述步骤101中提到的基于深度学习网络实现钢轨轮廓光条图像的精细分割：
在进行动态行车环境下钢轨轮廓激光条纹中心提取时，发明人发现：如图6所示为深度学习网络结构用于图像分割的性能统计图，分割图像大小为1024*768；横轴表示CPU加法器操作次数，越小代表速度越快；纵轴表示分割精度；图中圆圈的大小表示训练得到的模型大小，一般而言，对于近似的网络结构，模型越大则分割越耗时，图6中Inception-v3、ResNet34等代表不同模型的名称。
对于需要实时分割的应用，现有的深度神经网络难以实现，问题在于深度神经网络需要大量的浮点运算，导致运行时间长，从而降低了时效性。ENet是针对这一问题而提出的一种新型有效的深度神经网络，相比于现在常用的SegNet分割模型，在速度加快了18倍，浮点计算量上减少了75倍，参数减少了79倍，且具有相似的分割精度。
从图中可以观测到，ENet是目前实时性最好的深度网络，且具有不错的准确率。因此，由于发明人考虑到上述问题，采用ENet作为图像分割的深度学习网络结构模型，该ENet为最适合应用于动态行车环境下钢轨轮廓激光条纹中心提取的模型，具体对分割模型的预先训练流程介绍如下：
(1)训练数据：使用8846幅钢轨廓形激光图像作为深度学习模型训练和验证的数据集。随机抽取数据的70％用于模型训练，15％用于验证，15％用作模型测试。根据轮廓图像中光条的灰度和梯度方向对数据集进行标注，如图7所示，轨头区域分别标注为上(1)、中(2)、下(3)三个区段，轨腰区域分别标注为上(4)、中(5)、下(6)三个区段，各区段具有近似的灰度值和梯度方向。
(2)数据预处理：对所有的轨廓图像进行了归一化处理，使得绝大部分的像素强度落在-0.5和0.5之间，即[-0.5,0.5]为像素的有效区间。通过裁剪并调整图像大小，提高钢轨轮廓在图像中的占比。裁剪图像会增加前景(轨廓)在图像中的比例，从而更容易解决细节问题并帮助模型收敛。
(3)训练：本发明使用TensorFlow深度学习开发框架来训练ENet深度网络。网络权重根据Adam规则更新，使用四块NVIDIA Titan XP GPU来训练和测试模型。在训练过程中通过翻转，剪切，移动，缩放和旋转图像来增强数据。
通过图像分割技术，可以从原大小为M×N的轨廓图像中提取空间占比很小的轨廓激光条纹图像，后续的光条中心提取被限定在分割后的前景区域内，避免了背景噪声的干扰且大幅提升了提取算法的执行效率。激光条纹前景图像分割可记作：
其中，I(i,j)表示轨廓图像像素，M为图像的行数，N为图像的列数；F(li,ri,di)表示沿着第i行的激光条纹截面，li表示第i行激光条纹的左边界，ri表示右边界，di则表示该行条纹的宽度。
在完成对深度学习网络结构分割模型的训练后，就可以将该分割模型应用到动态行车环境下钢轨轮廓激光条纹中心提取过程中，在利用该分割模型对待提取钢轨轮廓激光条纹图像进行分割之前，可以包括对待提取的光条纹图像进行预处理的过程：对所述待提取钢轨轮廓激光条纹图像进行预处理。通过将图像进行旋转，裁剪和缩放等预处理操作，可以大幅降低图像分析的数据量，从而提高分割速度。这样，将预处理后的待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，从而进一步提高了动态行车环境下激光条纹中心提取的效率。
通过上述可知，在一实施例中，在将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型之前，还可以包括：
对所述待提取钢轨轮廓激光条纹图像进行预处理；
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，可以包括：
将预处理后的待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
在一实施例中，对所述待提取钢轨轮廓激光条纹图像进行预处理，可以包括：对待提取钢轨轮廓激光条纹图像进行旋转、裁剪和缩放预处理操作，得到预处理后的待提取钢轨轮廓激光条纹图像。
在一实施例中，所述深度学习网络结构分割模型可以为ENet分割模型；
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，可以包括：
将待提取钢轨轮廓激光条纹图像输入到ENet分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
第二，介绍上述步骤102中提到的基于梯度直方图统计确定法线主方向：
发明人发现：沿着光条的法线方向提取光条中心确实有利于提升精度，如基于方向模板匹配的方法，基于骨架追踪的方法以及基于Hessian矩阵的steger算法。但这些算法需要执行复杂的模板匹配和逐点的梯度计算，较为耗时且易受局部噪声干扰，不适合于实时检测任务。
轨廓激光光条具有相对固定的几何形状，轨头和轨腰部分可以按照梯度方向的变化分别划分为六个子区间：第一区间、第二区间、第三区间、第四区间、第五区间、第六区间，可以分别记作S1,S2,S3和S4,S5,S6，每个区间设置一个法线主方向：第一法线主方向、第二法线主方向、第三法线主方向、第四法线主方向、第五法线主方向、第六法线主方向，可以记作：和例如如图8所示，图8中从上至下的区间依次为S1,S2,S3和S4,S5,S6。
对于轨廓图像而言，其任一像素I(i,j)的梯度方向θ可由该点横向和纵向的差分来表示，记作：
具体实施时，如果对整幅图像求梯度方向，原始图像背景中存在大量的无效噪声信息，不利于各分割区间法线主方向的选取，如果仅对分割后的前景轮廓光条求梯度方向，每个子区域直接和对应的模板进行互相关运算，避免了耗时的模板遍历操作。例如如图9(a)和9(b)所示，其中：9(a)为对整幅图像求梯度方向，而9(b)仅对分割后的前景轮廓光条求梯度方向。可以观察到原始图像背景中存在大量的无效噪声信息，不利于各分割区间法线主方向的选取。因此，通过分别统计各个分割子区间内光条上各点的梯度方向直方图分布，可以将直方图统计个数最大的梯度方向作为区间的法线主方向。
根据各子区间的法线主方向构造的方向模板，例如如如图10所示，每个子区域直接和对应的模板进行互相关运算，避免了耗时的模板遍历操作。
第三，介绍上述步骤103中提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标时用到的基于方向模板的灰度重心法：
在一个实施例中，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标，可以包括：
根据每个子区域的方向模板，确定所述子区域的法线主方向的最大光强点，以所述最大光强点为中心，沿所述子区域的法线主方向，按照灰度重心法提取所述子区域的光条中心的亚像素坐标；
根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标。
首先，介绍基于方向模板法求取最大光强点(即求取初始的像素级光条中心)：
在确定了各子区域的法线主方向并构建相应的方向模板之后，对每个子区域应用方向模板法求取初始的像素级光条中心(即最大光强点)。以S2子区间为例，光条中心提取过程如图11所示，可记作：
式中，kh,w是大小为H×W的模板中的元素，h＝0,1,2,…，H-1,w＝0,1,2,…，W-1；Si,j为子区间S2中以(i,j)为中心，尺寸为H×W的局部放大子图，i＝0,1,2,…，M-1,j＝0,1,2,…，N-1。设提取过程为按行进行光条中心扫描，则第i行的中心位置(Li,Lj)可由下式求得：
其次，介绍基于灰度重心法提取光条中心的亚像素坐标：
如图12所示，基于方向模板得到初步的光条中心(Li,Lj)后，沿着法线主方向利用灰度重心法，进一步提取光条中心的亚像素坐标，即将中心位置分别沿着行和列的方向朝两边扩展Di和Dj个像素，形成两个区间[Li-Di,Li+Di]和[Lj-Dj,Lj+Dj]，这里Di/Dj≈tanθ。在这两个区间范围内按照灰度重心法，可求得光条中心的亚像素坐标如下。
在图12中，基于方向模板得到初步的光条中心(Li,Lj)，(Li,Lj)的左侧点的坐标为：(Li,Lj-Dj)，(Li,Lj)的左侧点的坐标为：(Li,Lj+Dj)，(Li,Lj)的上方点的坐标为：(Li-Dj,Lj)，(Li,Lj)的下方点的坐标为：(Li+Dj,Lj)。
最后，再介绍发明人根据大量实验得出：与其他方案相比较，本发明实施例提供技术方案的有益效果。
本发明虽然采用了快速的ENet分割模型，但相对于轨廓实时测量的应用需求，光条分割的速度仍然有待提高。通过将图像进行旋转，裁剪和缩放等预处理操作，可以大幅降低图像分析的数据量，从而提高分割速度。如图13所示，通过图像旋转和缩放预处理，待分割的图像区域大小可以由800×600降为480×100，参与图像分割的数据量降低了90％。需要说明的是，为了兼顾算法的时效性和精确度，仅在旋转缩放后的图像上执行快速分割，之后将光条分割的结果反算回原始图像中，并在原始高分辨率图像中执行光条中心提取算法。不同大小图像的ENet分割时间对比如下表1所示。
表1：不同大小图像的ENet分割时间对比
1、光条分割结果：
通过大量实验结果表明发明提出的方法使用深度学习网络构建的分割模型从大量的轨廓图像中学习光条区域的机器特征，学习到的特征符合人类的视觉感知机理，是一个由浅到深，由具体到抽象的多重组合特征，可以有效克服这些不良因素的影响，从而得到完整平滑的光条图像，如图14中(a)-(d)所示，图14中(a)-(d)为不同方法的图像分割结果对比。对于光条明亮不均，局部过亮或过暗，以及受背景噪声干扰的情况下，传统的固定阈值二值化方法和动态阈值二值化的方法都是基于一个灰度阈值对图像进行分割，仅仅利用灰度作为分割的特征，无法得到完整的光条图像。而本发明使用深度学习网络构建的分割模型从大量的轨廓图像中学习光条区域的机器特征，学习到的特征符合人类的视觉感知机理，是一个由浅到深，由具体到抽象的多重组合特征(如图15所示)，可以有效克服这些不良因素的影响，从而得到完整平滑的光条图像。
2、光条中心线提取结果：
通过大量实验结果表明发明提出的方法不仅抗干扰能力强，光条中心提取结果稳定：图16为不同光条中心提取方法的实验结果对比示意图。如图16所示，可以观察到现有方法对亮度分布极不均匀的轨廓光条图像的分割效果有限，受环境光和噪声干扰严重，不能获取完整的光条图像，光条中心提取的结果不连续。而发明提出的方法不仅抗干扰能力强，光条中心提取结果稳定。观察图中局部放大细节可以看到基于本发明提取的光条中心更为平滑，且光条中心的位置更为精确。此外，方向模板法预先设定水平，垂直，左偏45度和右偏45度四个方向模板检测条纹中心，与钢轨轮廓激光光条的法线方向具有一定的偏差，且光条上的每一个位置都需要和这四个方向模板进行图像互相关操作，计算复杂度高。Steger方法局部提取效果比较完整平滑，但Steger方法需要对光条上的每一点求取Hessian矩阵以及该矩阵的特征值与特征向量，运算量大，难以实现光条中心的快速提取。
各算法的执行时间如图17所示，轨廓图像大小为960×900。图17中横坐标代表不同的光条提取方法，从左至右依次是灰度重心法、方向模板法、Steger法以及本发明实施例提供的方法。图17中纵坐标代表执行时间。
得益于光条图像的多区域预分割缩小搜索范围，图像旋转缩放预处理缩小数据处理量，分区域预设模板避免遍历匹配等优化操作，本发明提出的算法针对单幅轨廓图像的执行时间可达2.1ms(其中图像分割耗时约1.8ms)，显著优于现有的方法。
基于同一发明构思，本发明实施例中还提供了一种动态行车环境下钢轨轮廓激光条纹中心提取装置，如下面的实施例所述。由于动态行车环境下钢轨轮廓激光条纹中心提取装置解决问题的原理与动态行车环境下钢轨轮廓激光条纹中心提取方法相似，因此动态行车环境下钢轨轮廓激光条纹中心提取装置的实施可以参见动态行车环境下钢轨轮廓激光条纹中心提取方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图19是本发明实施例中动态行车环境下钢轨轮廓激光条纹中心提取装置的结构示意图，如图19所示，该装置包括：
分割单元02，用于将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
法线主方向确定单元04，用于基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
中心提取单元06，用于根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
在一个实施例中，动态行车环境下钢轨轮廓激光条纹中心提取装置还包括：预处理单元，用于对所述待提取钢轨轮廓激光条纹图像进行预处理；
所述分割单元具体用于：将预处理后的待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
在一个实施例中，所述预处理单元具体用于对待提取钢轨轮廓激光条纹图像进行旋转、裁剪和缩放预处理操作，得到预处理后的待提取钢轨轮廓激光条纹图像。
在一个实施例中，所述深度学习网络结构分割模型为ENet分割模型；
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，包括：将待提取钢轨轮廓激光条纹图像输入到ENet分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
在一个实施例中，所述中心提取单元具体用于：根据每个子区域的方向模板，确定所述子区域的法线主方向的最大光强点，以所述最大光强点为中心，沿所述子区域的法线主方向，按照灰度重心法提取所述子区域的光条中心的亚像素坐标；
根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述动态行车环境下钢轨轮廓激光条纹中心提取方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述动态行车环境下钢轨轮廓激光条纹中心提取方法的计算机程序。
基于以上陈述可知，本发明提供技术方案的有益技术效果如下：
1.本发明实施例提出了适用于室外动态行车环境下的快速、准确、鲁棒的钢轨轮廓激光条纹中心线提取方法；
2.本发明实施例提出了基于深度学习的钢轨轮廓激光条纹前景分割算法，可有效克服背景噪声以及不均匀的漫反射和镜面反射对光条提取造成的干扰；
3.本发明实施例提出了基于梯度直方图统计的激光条纹区域划分方法，各个子区域对应一个法线主方向，避免了复杂的模板匹配和耗时的梯度计算，可提高算法的时效性；
4.本发明实施例提出了基于多区域方向模板的光条中心亚像素提取方法，对各个分割的子区域构造相应的方向模板求得法线方向的最大光强点，然后以该点为中心，沿法线方向按照灰度重心法提取光条中心的亚像素坐标，可提高算法的提取精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态行车环境下钢轨轮廓激光条纹中心提取方法，其特征在于，包括：
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
2.如权利要求1所述的动态行车环境下钢轨轮廓激光条纹中心提取方法，其特征在于，在将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型之前，还包括：
对所述待提取钢轨轮廓激光条纹图像进行预处理；
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，包括：
将预处理后的待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
3.如权利要求1所述的动态行车环境下钢轨轮廓激光条纹中心提取方法，其特征在于，对所述待提取钢轨轮廓激光条纹图像进行预处理，包括：对待提取钢轨轮廓激光条纹图像进行旋转、裁剪和缩放预处理操作，得到预处理后的待提取钢轨轮廓激光条纹图像。
4.如权利要求1所述的动态行车环境下钢轨轮廓激光条纹中心提取方法，其特征在于，所述深度学习网络结构分割模型为ENet分割模型；
将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像，包括：
将待提取钢轨轮廓激光条纹图像输入到ENet分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
5.如权利要求1所述的动态行车环境下钢轨轮廓激光条纹中心提取方法，其特征在于，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标，包括：
根据每个子区域的方向模板，确定所述子区域的法线主方向的最大光强点，以所述最大光强点为中心，沿所述子区域的法线主方向，按照灰度重心法提取所述子区域的光条中心的亚像素坐标；
根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标。
6.一种动态行车环境下钢轨轮廓激光条纹中心提取装置，其特征在于，包括：
分割单元，用于将待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像；所述深度学习网络结构分割模型根据多个钢轨轮廓激光条纹图像样本预先训练生成；
法线主方向确定单元，用于基于光条纹的梯度直方图，确定每一子区域的法线主方向；每一子区域对应一个法线主方向；
中心提取单元，用于根据每一子区域的法线主方向，对每一子区域构造相应的方向模板，根据每个子区域的方向模板，确定每一子区域的光条中心的亚像素坐标，根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标；所述亚像素坐标为光条纹中心位置的坐标。
7.如权利要求6所述的动态行车环境下钢轨轮廓激光条纹中心提取装置，其特征在于，还包括：预处理单元，用于对所述待提取钢轨轮廓激光条纹图像进行预处理；
所述分割单元具体用于：将预处理后的待提取钢轨轮廓激光条纹图像输入到深度学习网络结构分割模型，按照光条纹的灰度特征和梯度方向特征，将光条纹图像分割成多个子区域图像。
8.如权利要求6所述的动态行车环境下钢轨轮廓激光条纹中心提取装置，其特征在于，所述中心提取单元具体用于：
根据每个子区域的方向模板，确定所述子区域的法线主方向的最大光强点，以所述最大光强点为中心，沿所述子区域的法线主方向，按照灰度重心法提取所述子区域的光条中心的亚像素坐标；
根据每一子区域的光条中心的亚像素坐标，提取动态行车环境下钢轨轮廓激光条纹中心的亚像素坐标。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。
CN201810775400.8A 2018-07-16 2018-07-16 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置 Active CN109389639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810775400.8A CN109389639B (zh) 2018-07-16 2018-07-16 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810775400.8A CN109389639B (zh) 2018-07-16 2018-07-16 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置

Publications (2)

Publication Number Publication Date
CN109389639A true CN109389639A (zh) 2019-02-26
CN109389639B CN109389639B (zh) 2021-06-25

Family

ID=65417461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810775400.8A Active CN109389639B (zh) 2018-07-16 2018-07-16 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置

Country Status (1)

Country Link
CN (1) CN109389639B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288576A (zh) * 2019-06-20 2019-09-27 河北科技大学 光条中心提取方法、终端设备及存储介质
CN110346117A (zh) * 2019-06-14 2019-10-18 长安通信科技有限责任公司 一种鱼眼镜头超宽视场下光斑高精度定位方法
CN111243009A (zh) * 2020-01-08 2020-06-05 知鱼科技丹阳有限公司 一种基于决策的激光条纹的中心提取方法
CN112113511A (zh) * 2020-08-17 2020-12-22 上海交通大学 一种半透明物体表面轮廓线提取方法、系统及终端
CN112712554A (zh) * 2020-12-08 2021-04-27 上海交通大学烟台信息技术研究院 一种半透明朗伯体表面激光条纹中心线提取方法
CN112902869A (zh) * 2021-01-21 2021-06-04 中国铁道科学研究院集团有限公司基础设施检测研究所 轨廓测量系统激光平面调整方法及装置
CN112927277A (zh) * 2021-02-05 2021-06-08 广东博智林机器人有限公司 激光条纹列中心线的提取方法、装置、设备及存储介质
CN112945976A (zh) * 2021-02-05 2021-06-11 中国铁道科学研究院集团有限公司 钢轨接触疲劳裂纹的检测方法及装置
CN112991374A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN113418926A (zh) * 2021-06-02 2021-09-21 南京航空航天大学 基于激光条中心线定位提取算法的轮对踏面损伤检测方法
CN113628170A (zh) * 2021-07-16 2021-11-09 武汉大学 一种基于深度学习的激光线提取方法及系统
CN113963115A (zh) * 2021-10-28 2022-01-21 山东大学 基于单帧图像的高动态范围激光三维扫描方法
CN114354755A (zh) * 2022-01-06 2022-04-15 中特检深燃安全技术服务(深圳)有限公司 一种城镇燃气聚乙烯管道的检测方法
CN117173072A (zh) * 2023-11-03 2023-12-05 四川大学 一种基于深度学习的弱激光图像增强方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931232A (zh) * 2016-04-18 2016-09-07 南京航空航天大学 结构光光条中心高精度亚像素提取方法
CN107240090A (zh) * 2017-04-18 2017-10-10 上海柏楚电子科技有限公司 一种板材轮廓提取的方法
CN107687819A (zh) * 2017-08-01 2018-02-13 大连理工大学 一种快速高精度的光条中心亚像素提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931232A (zh) * 2016-04-18 2016-09-07 南京航空航天大学 结构光光条中心高精度亚像素提取方法
CN107240090A (zh) * 2017-04-18 2017-10-10 上海柏楚电子科技有限公司 一种板材轮廓提取的方法
CN107687819A (zh) * 2017-08-01 2018-02-13 大连理工大学 一种快速高精度的光条中心亚像素提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADAM PASZKE 等: "ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation", 《HTTPS://ARXIV.ORG/PDF/1606.02147.PDF》 *
吴庆阳 等: "一种新的线结构光光带中心提取算法", 《四川大学学报（工程科学版）》 *
张瑞瑛 等: "大视场下线结构光光条中心的快速提取", 《应用光学》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110346117A (zh) * 2019-06-14 2019-10-18 长安通信科技有限责任公司 一种鱼眼镜头超宽视场下光斑高精度定位方法
CN110346117B (zh) * 2019-06-14 2020-10-23 长安通信科技有限责任公司 一种鱼眼镜头超宽视场下光斑高精度定位方法
CN110288576B (zh) * 2019-06-20 2022-03-22 河北科技大学 光条中心提取方法、终端设备及存储介质
CN110288576A (zh) * 2019-06-20 2019-09-27 河北科技大学 光条中心提取方法、终端设备及存储介质
CN111243009A (zh) * 2020-01-08 2020-06-05 知鱼科技丹阳有限公司 一种基于决策的激光条纹的中心提取方法
CN112113511A (zh) * 2020-08-17 2020-12-22 上海交通大学 一种半透明物体表面轮廓线提取方法、系统及终端
CN112712554A (zh) * 2020-12-08 2021-04-27 上海交通大学烟台信息技术研究院 一种半透明朗伯体表面激光条纹中心线提取方法
CN112902869A (zh) * 2021-01-21 2021-06-04 中国铁道科学研究院集团有限公司基础设施检测研究所 轨廓测量系统激光平面调整方法及装置
CN112927277A (zh) * 2021-02-05 2021-06-08 广东博智林机器人有限公司 激光条纹列中心线的提取方法、装置、设备及存储介质
CN112945976A (zh) * 2021-02-05 2021-06-11 中国铁道科学研究院集团有限公司 钢轨接触疲劳裂纹的检测方法及装置
CN112991374A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN112991374B (zh) * 2021-03-31 2024-05-24 芯算一体(深圳)科技有限公司 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN113418926A (zh) * 2021-06-02 2021-09-21 南京航空航天大学 基于激光条中心线定位提取算法的轮对踏面损伤检测方法
CN113418926B (zh) * 2021-06-02 2022-02-18 南京航空航天大学 基于激光条中心线定位提取算法的轮对踏面损伤检测方法
CN113628170B (zh) * 2021-07-16 2023-08-25 武汉大学 一种基于深度学习的激光线提取方法及系统
CN113628170A (zh) * 2021-07-16 2021-11-09 武汉大学 一种基于深度学习的激光线提取方法及系统
CN113963115A (zh) * 2021-10-28 2022-01-21 山东大学 基于单帧图像的高动态范围激光三维扫描方法
CN114354755A (zh) * 2022-01-06 2022-04-15 中特检深燃安全技术服务(深圳)有限公司 一种城镇燃气聚乙烯管道的检测方法
CN117173072A (zh) * 2023-11-03 2023-12-05 四川大学 一种基于深度学习的弱激光图像增强方法及装置
CN117173072B (zh) * 2023-11-03 2024-02-02 四川大学 一种基于深度学习的弱激光图像增强方法及装置

Also Published As

Publication number Publication date
CN109389639B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN109389639A (zh) 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置
Longhurst et al. A gpu based saliency map for high-fidelity selective rendering
Lee et al. View point evaluation and streamline filtering for flow visualization
Ouyang et al. ReSTIR GI: Path resampling for real‐time path tracing
CN106652007B (zh) 虚拟海面渲染方法及系统
CN112116576B (zh) 基于偏振结构光成像和改进的缺陷检测方法
CN105261059A (zh) 一种基于在屏幕空间计算间接反射高光的渲染方法
Yang et al. Underwater polarimetric imaging for visibility enhancement utilizing active unpolarized illumination
US9563959B2 (en) Image processor, lighting processor and method therefor
KR20170017586A (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US11663775B2 (en) Generating physically-based material maps
CN108801464A (zh) 一种计算光波偏振方向与偏振度的图像处理方法
Ammann et al. Hybrid rendering of dynamic heightfields using ray-casting and mesh rasterization.
Yao et al. Multi‐image based photon tracing for interactive global illumination of dynamic scenes
US20150254889A1 (en) Method and System for a Separated Shadowing in Ray Tracing
CN110189265A (zh) 距离能量相关三维成像超级像素修复方法
KR20120032159A (ko) 영상 처리 장치 및 방법
CN112115917B (zh) 指纹识别方法、指纹识别装置、电子设备及存储介质
US11521308B2 (en) Ambient occlusion using bounding volume hierarchy bounding box tests
CN113628170A (zh) 一种基于深度学习的激光线提取方法及系统
KR20110051315A (ko) 영상 처리 장치 및 방법
CN113834447B (zh) 一种户外复杂环境下高动态激光光条自适应成像处理方法
Wang et al. Capturing and rendering geometry details for BTF-mapped surfaces
CN110929691B (zh) 一种冰层检测方法、装置、设备及可读存储介质
JP2007293720A (ja) 動状態解析システム及び方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant