CN109341580A - 钢轨廓形的追踪方法、系统及装置 - Google Patents
钢轨廓形的追踪方法、系统及装置 Download PDFInfo
- Publication number
- CN109341580A CN109341580A CN201811279014.6A CN201811279014A CN109341580A CN 109341580 A CN109341580 A CN 109341580A CN 201811279014 A CN201811279014 A CN 201811279014A CN 109341580 A CN109341580 A CN 109341580A
- Authority
- CN
- China
- Prior art keywords
- image
- rail profile
- rail
- profile image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种钢轨廓形的追踪方法、系统及装置，该方法包括：获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；或在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置。本发明实现了对高速动态行车环境下钢轨廓形实时检测的技术效果。
Description
技术领域
本发明涉及计算机视觉检测领域，尤其涉及一种钢轨廓形的追踪方法、系统及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
钢轨的作用在于支撑并引导机车车辆的车轮，直接承受来自车轮的力并将之传至轨枕，同时为车轮的滚动提供阻力最小的接触面。列车在轨道上日夜运行完成运输任务的过程，也是轨道和机车车轮相互摩擦作用的过程，因此对钢轨的轮廓形状尤其是轨头的廓形进行分析是检测钢轨故障，评价钢轨运行状态的重要依据。
目前，现有技术中，主要采用轨检车来完成对钢轨廓形的检测。钢轨廓形检测分为静态检测和动态检测两大类。其中，静态检测是指在设备和钢轨相对静止的情况下对钢轨廓形进行检测，这种测量方法可靠性差、效率低、工作量大。动态检测是指在高速动态行车环境下对钢轨廓形进行实时检测。高速动态行车环境下采集的轨道数据，由于受到列车晃动、环境光照、列车过岔、异物遮挡等诸多因素的影响，使得采集的钢轨轮廓图像中存在大量几何形变和不确定的干扰，影响对钢轨轮廓图像中钢轨廓形定位的精度和稳定性。
由此，为了满足高速动态行车环境下钢轨廓形的实时检测，急需提供一种高速采集钢轨轮廓图像，并对采集的钢轨轮廓图像中的钢轨廓形进行快速识别、定位和追踪的方法。
发明内容
本发明实施例提供一种钢轨廓形的追踪方法，用以解决现有技术无法实现高速动态行车环境下钢轨廓形实时检测和追踪的问题，该方法包括：获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；或在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，目标条纹包括钢轨上待追踪目标区域的激光条纹。
本发明实施例还提供一种钢轨廓形的追踪系统，用以解决现有技术无法实现高速动态行车环境下钢轨廓形实时检测和追踪的问题，该系统包括：光学成像设备，包括：多个激光组件、多个相机和硬件预处理单元，其中，激光组件用于发射激光；多个相机基于同步信号分别采集钢轨多个方向的图像；硬件预处理单元用于将多个相机采集的到图像按帧进行融合，得到融合后的钢轨轮廓图像；图像处理设备，与光学成像设备通信，用于接收光学成像设备发送的每帧钢轨轮廓图像，并基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；其中，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，图像处理设备基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，图像处理设备基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，目标条纹包括钢轨上待追踪目标区域的激光条纹。
本发明实施例还提供一种钢轨廓形的追踪装置，用以解决现有技术无法实现高速动态行车环境下钢轨廓形实时检测和追踪的问题，该装置包括：钢轨轮廓图像获取模块，用于获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；激光条纹识别模块，用于基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；第一钢轨廓形追踪模块，与激光条纹识别模块连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；第二钢轨廓形追踪模块，与激光条纹识别模块连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，目标条纹包括钢轨上待追踪目标区域的激光条纹。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的钢轨廓形的追踪方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述钢轨廓形的追踪方法的计算机程序。
本发明实施例，在获取到结构光测量钢轨廓形的过程中采集到的每帧钢轨轮廓图像，基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型，如果当前帧钢轨轮廓图像中的激光条纹的类型与上一帧钢轨轮廓图像中激光条纹的类型相同，也即当前钢轨轮廓图像中的激光条纹的光条类型未发生改变，则基于时空上下文视觉跟踪算法，对当前帧钢轨轮廓图像中钢轨上待追踪区域的激光条纹进行追踪；如果当前帧钢轨轮廓图像中的激光条纹的类型与上一帧钢轨轮廓图像中激光条纹的类型不相同，也即当前钢轨轮廓图像中的激光条纹的光条类型发生改变，则基于模板匹配算法，当前帧钢轨轮廓图像中钢轨上待追踪区域的激光条纹进行追踪。
通过本发明实施例，只有在钢轨轮廓图像中激光条纹的光条类型发生改变的情况下，才基于耗时较长的模板匹配算法来追踪钢轨轮廓图像中钢轨上待追踪区域的激光条纹；在钢轨轮廓图像中激光条纹的光条类型未发生改变的情况下，则采用实时性比较强的时空上下文视觉跟踪算法来追踪钢轨轮廓图像中钢轨上待追踪区域的激光条纹，从而满足了高速动态行车环境下对钢轨廓形进行快速检测的目的。
另外，由于获取到的每帧钢轨轮廓图像是将采集到的钢轨多个方向的图像按帧进行融合得到的图像，不仅降低了图像存储的空间，而且通过多路采集提高了图像采集速率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种道岔区激光条纹变化示意图；
图2为本发明实施例中提供的一种软硬件结合的钢轨廓形高速采集与廓形快速定位方案的整体设计示意图；
图3为本发明实施例提供的一种轨头廓形追踪的流程图；
图4为本发明实施例中提供的一种钢轨廓形的追踪方法流程图；
图5为本发明实施例中提供的一种钢轨轮廓采集图像示意图；
图6为本发明实施例中提供的一种道岔区域的钢轨轮廓图像示意图；
图7为本发明实施例中提供的一种硬件预处理单元处理流程示意图；
图8为本发明实施例中提供的一种提取光条中心坐标流程示意图；
图9为本发明实施例中提供的一种采用固定阈值二值化后的图像示意图；
图10为本发明实施例中提供的一种采用动态阈值二值化后的图像示意图；
图11为本发明实施例中提供的一种置信图形状与参数β的关系示意图；
图12为本发明实施例中提供的一种上下文特征区域示意图；
图13为本发明实施例中提供的一种TM-STC算法原理结构示意图；
图14为本发明实施例中提供的一种轨头目标追踪轨迹示意图；
图15(a)为本发明实施例中提供的一种随机运动场景下基于STC算法的目标位置追踪的概率分布示意图；
图15(b)为本发明实施例中提供的一种列车行驶在正线场景下基于TP-STC算法追踪的目标位置的概率分布示意图；
图15(c)为本发明实施例中提供的一种列车行驶在道岔区场景下基于TP-STC算法追踪的目标位置的概率分布示意图；
图16为本发明实施例中提供的一种基于Lenet-5网络学习得到特征示意图；
图17为本发明实施例中提供的一种基于AlexNet网络学习得到特征示意图；
图18为本发明实施例中提供的一种基于Sketch_a_net网络学习得到特征示意图；
图19为本发明实施例中提供的基于不同光条类型的轨头条纹追踪结果示意图；
图20为本发明实施例中提供的基于不同追踪算法的轨头条纹追踪结果示意图；
图21是根据本发明实施例的一种钢轨廓形的追踪系统示意图；
图22是根据本发明实施例的一种钢轨廓形的追踪装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
钢轨廓形检测过程中，如果列车在正线行驶时，采集的激光条纹形态比较一致；但如果列车经过道岔或其他特殊区段时，由于轨道结构的渐变，采集的激光条纹形态将发生持续变化，且激光条纹的位置也会随列车过岔发生大范围的移动。如图1所示，随着列车经转辙器进入道岔区，由于激光投射角度和位置的变化，图像传感器拍摄的激光条纹形状和位置都会发生相应改变，主要表现为两方面：激光条纹随着列车左转向或右转向在图像中发生朝左上角或右下角的移动；激光条纹的形状随着激光扫描位置的改变而发生变化，产生多种条纹类型(例如，图1中所示的正常、孢切、尖轨、尖轨前端、尖轨末端、辙叉心尖部以及辙叉心中部七种类型的激光条纹)。如何从动态变化的激光条纹图像中快速准确地定位并持续追踪轨头或轨腰区域，是钢轨廓形检测和分析首先要解决的关键问题。
传统的目标追踪算法大致有三类：(1)基于匹配的目标追踪算法，在下一帧图像中寻找与原始目标模板最为匹配的图像区域；(2)基于检测的目标追踪算法，该将追踪目标所在的模块与背景模块区分出来；(3)基于预测的目标追踪算法，对追踪目标和它局部上下文区域的时空关系进行建模，得到追踪目标和其周围区域的统计相关性，并根据这一时空关系估计下一帧图像中追踪目标出现的位置。这些经典的目标追踪方法都存在相应的问题。其中，基于匹配的目标追踪算法耗时较长，基于检测的目标追踪算法和基于预测的目标追踪算法无法适用于目标被遮挡或形状改变的情形。
对于钢轨轮廓图像中轨头或轨腰等目标的追踪，一个可靠的目标追踪算法需要解决诸如噪声干扰、光照变化、运动物体形变、目标遮挡等诸多实际问题。尤其在高速动态行车环境下测量钢轨廓形的时候，测量的速度与精度均面临巨大挑战。一方面，为了满足高速行车条件下的实时测量，需要在硬件上进行创新，以提高处理速度。另一方面，钢轨廓形分析区域即定位轨头轮廓的位置是实现廓形分析的首要任务。在动态行车环境下采集轨道数据时，由于受到列车晃动、环境光照、列车过岔、异物遮挡等诸多因素的影响，采集的廓形中存在大量几何形变和不确定的干扰，影响廓形定位的精度和稳定性。
为了解决上述问题，本发明提供了一种软硬件结合的钢轨廓形高速采集与廓形快速定位方法，以实现轨道廓形数据的高速采集，降低了目标轮廓测量时受列车晃动以及反光、污损、异物遮挡等干扰的影响，保证高速廓形测量的实时性和稳定性。
图2为本发明实施例中提供的一种软硬件结合的钢轨廓形高速采集与廓形快速定位方案的整体设计示意图，如图2所示，主要包括设备层、硬件层、算法层和应用层四个部分的内容。下面分别对各个层进行说明：
(一)设备层。
设备层采用动态钢轨廓形检测技术，在检测设备和钢轨在相对运动的情况下，采用安装在轨检车和巡检车等专用车辆上的激光组件和光学成像设备对钢轨进行非接触测量。检测设备具有高分辨率图像实时采集和处理功能，可以针对钢轨轮廓面检测的大数据量信息快速高效识别特征值。作为一种可选的实施方式，图像采集系统可以采用四相机同步采集模式，等距离采样。优选地，为提高检测系统精度，每台相机分辨率达到1312×1082，采集速度大于180帧/秒，以满足时速160公里的检测车在采样间隔0.25米情况下的等间距检测。
(二)硬件层。
硬件层主要负责高速行车条件下的数据采集及预处理工作，由四组激光摄像组件及硬件预处理单元组成。在系统运行过程中，里程编码器信号触发激光摄像组件同步采集钢轨激光条纹图像并传输至硬件预处理单元。与80km/h轨廓系统比较，硬件预处理单元为新增模块，目的就是为了提高系统数据处理能力，通过硬件预处理的方式减少后端计算压力。
(三)算法层。
算法层主要针对动态、高速、高噪的数据采集环境下，综合利用各种图像处理、模式识别和机器视觉的相关算法，实现钢轨廓形的快速、准确以及稳定的追踪。动态阈值二值化算法主要实现阳光干扰条件下的激光条纹图像前景提取，基于大津(OSTU)二值化法可以有效过滤过曝区域，而后再次运用图像直方图统计信息对其过曝光区域予以滤除，同时将轨头光带与周围图像通过灰度信息尽可能区分开。需要注意的事，对于采集的钢轨廓形数据，大部分轨头廓形的位置都保持相对稳定或在很小的范围内发生移动，只有当轨头廓形发生形态变化，被异物遮挡或列车剧烈晃动时，廓形定位的位置才有较大的变化。因此，通过对当前轨头激光轮廓的形状进行实时识别，仅当廓形发生较大变化时才更新追踪目标的位置，其它情况固定追踪区域，可以极大的提高目标追踪的速度。本发明综合深度学习、模板匹配以及空间上下文追踪算法实现轨头区域的快速追踪。深度学习算法主要实现多类廓形的识别，以及根据识别结果触发追踪目是否更新当前位置；模板匹配用于初始化廓形追踪的位置以及当廓形发生变化时用来执行追踪目标的位置更新；时空上下文追踪算法是一种快速的局部追踪算法，用来实现同一类廓形的快速持续追踪。
图3为本发明实施例提供的一种轨头廓形追踪的流程图。在廓形分类和目标追踪过程中，首先基于深度学习技术，构建合适的深度网络模型实现钢轨廓形图像中光条类型的准确识别，其次根据识别结果从多类模板库选择对应的模板图像实现初始帧的目标定位，并以匹配的结果为驱动执行时空上下文视觉追踪算法(TM-STC)，实现不同类型轨廓光条图像的追踪。耗时的模板匹配过程仅在光条类型发生变化时执行一次，而且轨廓形状仅在道岔区发生较为显著的变化，正线上基本保持稳定的形状。因此，本发明提出的TM-STC算法综合了STC算法的时效性和模板匹配的稳定性，在不增加时间开销的情况下提高轨廓目标追踪的鲁棒性。
(四)应用层。
应用层为本发明内容在现场应用方面的扩展和延伸，基于本技术方案可以进一步开发钢轨廓形动态测量系统，并实现钢轨磨耗测量及廓形分析。
需要说明的是，现有技术主要采用接触式静态检测工具对钢轨廓形相关参数进行检测，该方式效率低且精确度受人工个体差异影响。在运营里程不断增加的情况下，无法快速获取线路钢轨廓形信息。本发明实施例通过开发钢轨廓形动态测量系统，可以对线路钢轨廓形实施快速普查，大量减少人力物力投入。其次，通过钢轨廓形快速动态测量获取的数据可以应用于钢轨廓形、磨耗等状态参数分析，使一线维护人员随时了解线路状态，并对线路打磨、换轨等维护工作提前做出计划和安排，根据数据分析结果，使钢轨“状态修”成为可能，避免了养护维修中的盲目性。另外，使用钢轨廓形动态测量数据，可以进一步分析轮轨几何接触关系，进而评估车辆轨道系统相互作用的安全状态，是现有基于轨道几何状态检测的轨道质量评判标准的重要补充，有利于保障高速铁路运行安全和指导高速铁路轨道养护维修。
为了满足高速动态行车环境下钢轨廓形的实时检测，本发明实施例中提供了一种钢轨廓形的追踪方法，图4为本发明实施例中提供的一种钢轨廓形的追踪方法流程图，如图4所示，该方法包括如下步骤：
S401，获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像。
具体地，用于检测钢轨廓形的光学成像设备可以通过多个相机基于同步信号采集钢轨多个方向的图像。作为一种可选的实施方式，可以通过四个相机分别采集基于同步信号分别采集钢轨上左轨外侧、左轨内侧、右轨外侧、右轨内侧的图像，并将四个相机采集的图像按帧进行融合，得到待检测钢轨廓形的每帧钢轨轮廓图像。
由于钢轨轮廓及磨耗检测对于系统图像分辨力要求较高，所以系统前端可以采用相机全分辨率图像进行图像采集。在高速轨廓检测系统中，图像全分辨率可以为1312×1082，一张采集图片大小为1.35MB。在160Km/h速度下，列车每秒钟前进44.44米，由于系统采样间隔设定为0.25米，所以单相机采集帧频需要达到178帧/秒。四路相机同步采集的数据量为1.35×4×178＝961MB/s。
对于该规模数据量，如果直接由工控机采集并进行实时数据处理，难免会出现丢帧等现象。图5为本发明实施例中提供的一种钢轨轮廓采集图像示意图，通过分析钢轨轮廓采集图像的特点(如图5所示)，可以发现除去激光条纹所在位置以外，图像背景全部为接近于黑色的灰度图像，这部分数据占用了图像大部分信息且没有任何作用。如果能够把无效信息滤除，把有效信息保留，那么数据传输量将大幅度缩小，数据处理量也将随之减少，钢轨轮廓的实时采集处理也成为了可能。
图6为本发明实施例中提供的一种道岔区域的钢轨轮廓图像示意图，如图6所示，如果按照每行处理，有的行有3处分离的光斑，有的行没有光斑，有的行只有一处光斑。根据检测的实际需求，我们只需要输出超过一定阈值的光斑的位置和这部分图像的8bit灰度值即可。
设定阈值G0，按照每行处理，从图像的左边往右边扫描，如果灰度值大于G0，则输出开始处的行号和列号，并连续输出后续的灰度值，直到灰度值小于G0为止。输出的格式如表1所示：
表1硬件预处理单元数据输出格式
帧号、行号和列号都是低字节在前，高字节在后。
图7为本发明实施例中提供的一种硬件预处理单元处理流程示意图，如图7所示，通过预处理单元将4路钢轨采集图像首先通过3D接收板进行光斑位置和灰度值的提取。在提取的过程中，针对每行的图像数据，同时提取出每个光斑的质心坐标，并插入到每个光斑数据的最后，进一步减少PC机端光条中心提取的工作。图8为本发明实施例中提供的一种提取光条中心坐标流程示意图，FIFO存储器的存储方式为先进先出。
按照每帧同步，在融合板将四路数据合成为一路数据，通过Camera Link Base输出至图像处理设备(例如，PC机)。这种方式使得原始采集图像已经转换为数据量大幅缩小的融合图像数据，且对于钢轨轮廓图像中激光条纹中心的提取也已经由硬件完成，大大减少了PC机端需要处理的数据。
进一步地，作为一种可选的实施方式，在获取至少一帧钢轨轮廓图像之后，上述方法还可以包括如下步骤：基于动态阈值二值化图像处理模型，对钢轨轮廓图像进行二值化预处理，得到二值化钢轨轮廓图像；基于图像直方图统计信息滤除二值化钢轨轮廓图像中的过曝光区域，得到待输入至廓形识别模型的钢轨轮廓图像。
通过上述实施方式，基于动态二值化和直方图统计滤波进行钢轨廓形提取，可有效克服阳光干扰对廓形提取造成的影响。
需要说明的是，阳光干扰即阳光在一定照射角度情况下，其直射或反射光对检测系统传感器造成影响的现象。钢轨检测系统会不同程度地受到阳光干扰的影响，造成连续几公里、几十公里检测结果无效，严重影响检测质量。鉴于阳光干扰问题的严重性，已经有针对性地在检测系统前端采取了一些措施，比如采用阳光能量相对较弱、但同时光源穿透性较强的近红外波段激光光源，以及与之匹配的近红外光敏感相机及窄带滤光片等。这些措施在系统前端最大限度地减少了阳光其他波段光带来的影响，但是由于阳光光谱是一种极为宽阔的连续谱，其近红外波段光仍会对检测系统造成很大影响。图9为本发明实施例中提供的一种采用固定阈值二值化后的图像示意图。如图9所示，经过图像滤波、二值化、细化处理后，采集图像中被阳光直接照射的区域，尤其是过曝光区域没有被有效地滤除掉，反而对图像处理结果造成了极大影响。
而本发明实施例针对图像二值化处理做出了改进，实时根据采集图像变化对二值化阈值做出调整，也就是所谓的动态二值化。动态二值化的阈值项目组通过大津展之方法来计算。
大津展之方法即先假定某一灰度值为所求阈值，该值将图像直方图分成两组，求出两组之间的方差。在灰度取值范围内改变这一假定值，使分成的两组直方图方差最大的就是所求阈值。
假设一幅图像的灰度值为0～m-1级，灰度值为i的像素数目为ni，于是有：
图像的总像素数为：
各灰度值的概率(直方图归一化)：
然后，先假定阈值为k(0≤k≤m-1),于是将像素分成两组：
C0:{0～k}；C1:{k+1～m-1} (3)
C0和C1两组的出现概率如下：
C0的出现概率
C1的出现概率
C0组的均值
C1组的均值
其中，是整体图像的均值
于是，对任何k都能使下式成立：
μ＝ω0μ0+ω1μ1 (9)
两组间的方差由下式给出：
从1～m之间改变k，求使上式取最大值的k就是所求阈值。
运用大津展之方法求得的阈值为全局阈值，在此基础上，综合利用图像的边缘信息可以增强动态二值化的效果。
完成对图像动态二值化处理后，需要再次运用图像直方图统计信息对其过曝光区域予以滤除，同时将轨头光带与周围图像通过灰度信息尽可能区分开。图10是根据本发明实施例的一种基于动态二值化对图像预处理后的效果示意图，如图10所示，通过一系列图像处理后，轨头光条与周围图像的区分度已经比较高，此时通过模式匹配等图像算法可以迅速找出光条所在位置，同时去除掉图像中干扰信息，得到钢轨轮廓线。
S402，基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型。
由于激光条纹图像中信息量较少，缺乏显著的形状或者纹理特征，故采用已有的人工设计特征对激光条纹图像进行分类难以得到理想的结果。因而，本发明实施例基于深度学习的廓形识别模型来对钢条廓形图形进行分类。基于深度学习的廓形自动识别方法，可有效解决由于激光条纹图像中信息量较少，缺乏显著的形状或纹理特征造成的识别困难。
可选地，本发明实施例中的廓形识别模型可以是采用但不限于如下任意一种深度学习网络学习到的模型：Lenet-5网络、AlexNet网络、Sketch-a-net网络。其中，Sketch-a-Net是一种多尺度多通道的深度神经网络框架，常用于识别手绘草图，识别效果优于常见的深度学习网络如Lenet-5、AlexNet等。主要原因是因为现有的DNN网络结构主要是针对具有丰富场景细节的自然图像而设计的，而草图简单抽象，缺乏视觉特征，仅由一些黑线和白线组成，缺少彩色像素构成的图像纹理。类比钢轨廓形激光条纹图像，同样缺少图像纹理和视觉特征，仅包括几条简单的钢轨轮廓像素线，在形态上可以近似看作一副简单的手工草图。因此，将Sketch-a-Net应用于钢轨廓形识别是一种可行的解决方案，之后的实验结果将验证不同的深度网络的识别效果，并给出最优的深度网络模型。
作为一种可选的实施方式，本发明基于Sketch-a-Net的基本网络结构，设计了可用于廓形识别的深度学习算法：
(一)多通道表示的输入数据。
将输入图像进行结构拆分，按照由粗到细的组织方式进行组合排列，生成6个通道图像表示。这一操作综合考虑了局部和整体的空间相关性，有利于提高网络的泛化和抗干扰能力。对于轨廓光条图像而言，可以将整个廓形分为轨头、轨腰、轨底、轨头+轨腰、轨腰+轨底以及完整廓形6个通道，可以降低因遮挡或列车晃动导致的廓形不全对识别结果造成的影响。
(二)多尺度的深度网络结构模型。
Sketch-a-Net网络模型结构与AlexNet基本类似，也是由5个卷积池化层和3个全连接层构成。不同的是网络卷积核和池化步长都做了适当的调整，每一层卷积核的大小都进行相应的增大，池化步长由2×2调整为3×3。这是因为图像中大部分区域都是背景，真正的有效信息很少，而小卷积核适合表示复杂的非线性程度高的图像场景，对于图像空间小，内容单一的目标却难以刻画描述。此外，网络结构为基于金字塔多分辨率模型的多尺度深度网络，即每个通道的图像都首先经多尺度缩放为5幅不同尺寸的图像，再经过深度网络分别进行学习和识别。这种图像分辨率由粗到细的多尺度表示方法更符合人类的视觉特性，即远处的目标模糊，而近处的清晰，但这并不影响人眼对目标的基本判别。因此，基于多尺度的深度网络结构有利于提高分类模型对拍摄环境和图像质量的适应能力。
(三)基于贝叶斯融合的输出结果。
信息融合是把来自多种信源的信息和数据进行综合处理，得到更为准确可靠的结果，减少信息处理中可能出现的错误。因此，将各通道图像的多尺度网络输出结果成对地输入联合贝叶斯算法中，利用最大期望算法(EM)优化学习得到融合信息之间的协方差矩阵，并以此计算得到不同结果之间的相似性度量，再利用k-近邻(KNN)算法投票得到最终的分类结果实现信息融合，提高了分类的准确率。
S403a，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置。
需要说明的是，上述目标条纹为包括钢轨上待追踪目标区域的激光条纹。通常，追踪目标按照列车行驶路段的不同分为两部分：列车行驶在正线上时需要对轨头和轨腰进行追踪，分别用于钢轨廓形分析和磨耗测量；当列车驶入道岔时，廓形数据变得复杂多样，而且轨腰数据变得不可见，因而，在道岔区域可以仅关注轨头目标的追踪。另外，正线中由于轨头和轨腰的位置结构固定，因而，在正线中，可以仅对轨头的位置进行追踪即可，利用空间关系可以推导出轨腰的正确位置。由此，作为一种可选的实施例，本发明各个实施例以钢轨上轨头区域的激光条纹(即轨头条纹)为例来进行说明。
由于时空上下文视觉跟踪算法，在钢轨轮廓图像的激光条纹未发生改变的情况下，其追踪结果是比较准确的。另外，由于该算法中时空模型的学习和目标的检测都是通过FFT(快速傅里叶变换)来实现，因而，学习和检测的速度都比较快。由此，本发明实施例在基于深度学习的钢轨廓形识别模型识别得到每帧钢轨轮廓图像中激光条纹的光条类型后，可以判断当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型是否相同，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置。
可选地，对于起始帧钢轨轮廓图像，可以基于模板匹配算法，识别起始帧钢轨轮廓图像中目标条纹的位置。
一种实施例中，在基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置的时候，具体可以包括如下步骤：获取上一帧钢轨轮廓图像的空间上下文模型；根据上一帧钢轨轮廓图像的空间上下文模型和上一帧钢轨轮廓图像的时空上下文模型，确定当前帧钢轨轮廓图像的时空上下文模型；根据当前帧钢轨轮廓图像的时空上下文模型、当前帧钢轨轮廓图像的上下文先验模型确定当前帧钢轨轮廓图像中目标条纹中心位置的置信图；根据当前帧钢轨轮廓图像中目标条纹中心位置的置信图，确定当前帧钢轨轮廓图像中目标条纹中心位置的预测位置。
其中，获取上一帧钢轨轮廓图像的空间上下文模型，具体可以包括：获取上一帧钢轨轮廓图像的上下文先验模型；根据上一帧钢轨轮廓图像的上下文先验模型和上一帧钢轨轮廓图像中目标条纹中心位置的置信图，确定上一帧钢轨轮廓图像的空间上下文模型。
为了进一步提高目标的定位准确度，还可以基于模板匹配算法对基于时空上下模型追踪到的目标位置进行验证。因而，作为一种可选的实施方式，在根据当前帧钢轨轮廓图像中目标条纹中心位置的置信图，确定当前帧钢轨轮廓图像中目标条纹中心位置的预测位置之后，上述方法还可以包括如下步骤：以预测位置为中心，在当前帧钢轨轮廓图像中扩展出目标条纹的定位结果区域和上下文特征区域；将定位结果区域的图像与相应光条类型的模板图像进行匹配，计算定位结果区域的图像与相应光条类型的模板图像的相似性距离；如果定位结果区域的图像与相应光条类型的模板图像的相似性距离小于阈值，则将定位结果区域确定为目标条纹所在的区域；如果定位结果区域的图像与相应光条类型的模板图像的相似性距离大于或等于阈值，则根据上下文特征区域确定目标条纹所在的区域。
其中，根据上下文特征区域确定目标条纹所在的区域，具体包括：对上下文特征区域进行滑窗遍历，计算每一个窗口图像与相应光条类型的模板图像之间的相似性距离；如果计算得到的最小相似性距离小于阈值，则将最小相似性距离的窗口图像对应的区域确定为当前帧钢轨轮廓图像中目标条纹所在的区域；如果计算得到的最小相似性距离大于或等于阈值，则丢弃当前帧钢轨轮廓图像。
S403b，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置。
由于钢轨轮廓图像中激光条纹的光条类型发生改变的情况下，时空上下文跟踪视觉算法变得不再准确，因而，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，本发明实施例基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置。
需要说明的是，上述S403a与S403b的执行顺序可以互换，也即可以先执行S403b再执行S403a。
下面，在对本发明实施例提供的基于模板匹配驱动的时空上下文视觉追踪方法进行说明之前，首先对时空上下文视觉跟踪算法(STC)进行了简单说明。
时空上下文视觉跟踪算法基于贝叶斯框架，根据跟踪目标与周围区域形成的时空关系，在图像低阶特征上(如图像灰度和位置)对目标与附近区域进行统计关系建模。通过计算置信图(confidence map)，找到似然概率最大的位置，即为跟踪结果。
视觉跟踪中连续帧之间目标与周围的局部场景存在着很强的时空关系。这里时间信息表明邻近帧间目标变化不会很大，位置也不会发生突变；空间信息表明目标和目标周围的背景存在某种特定的关系，当目标的外观发生很大变化时，这种关系可以帮助区分目标和背景。对目标这两个信息的组合就是时空上下文信息，STC算法就是利用这两个信息对目标进行快速鲁棒跟踪。STC算法主要包含三方面的内容：
(一)置信图定义(即时间相关性)。
在STC算法中，目标的定位问题可用一个目标在预估出现区域各个位置上的出现概率问题来处理。因此如果有一张概率图，可以知道图像中各个位置目标出现的概率，则图像中概率最大的位置就是目标最可能出现的位置，置信图c(x)定义为：
c(x)＝P(x|o) (11)
这里x表示追踪目标的可能位置，o表示发现追踪的目标，则P(x|o)就表示目标o位于x位置的概率。(注：位置在图像中为二维坐标，这里为了简化分析和推导，用变量x代表坐标表示)
STC算法充分利用了帧之间的时间信息和局部场景的空间信息。其中时间信息表示邻近帧间目标的变化不会很大，x与目标实际位置x*越接近，越可能是追踪的目标，即c(x)越大。因此，利用帧之间的时间相关性，可以定义置信图c(x)满足以下概率分布函数：
式中，b为经验因子，α为控制置信区间尺度缩放的参数，β为控制置信图形状的参数。如图11所示，β不同的取值对应的置信图分布曲线不同，β越大，曲线越平滑，可利用的局部信息也越多，但同时噪声信息也会增加。因此，β的取值应根据实际应用场景来调制。
(二)空间上下文模型(即空间相关性)。
在引入空间上下文信息的概念之前，首先定义上下文特征集合如下
Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)} (13)
式中，c(z)表示位置z处的上下文特征，是一个底层的组合特征，由z处的灰度值I(z)和位置信息构成。Ωc(x*)表示预设的上下文特征点的活动区域(虚线框)，区域大小一般设置为上一帧中定位的轨头区域(实线框)的2倍，对于轨头目标追踪而言，为了充分利用轨腰区域作为局部空间上下文信息，特征区域的宽度设置为轨头目标区域的2倍，而高度可设置为3倍，如图12所示。
将空间上下文信息添加到目标追踪过程中，则置信图可分解为：
基于条件概率公式置信图概率分布函数可分解为两部分，一个是描述跟踪目标与其周围各点空间上下文关系的空间上下文模型，定义为
P(x|c(z)，o)＝hsc(x-z) (15)
该模型表示目标位置x*与局部区域内点z之间的相对距离及方向关系，反映了目标与周围区域的空间关系。当图像中出现多个与目标相似的物体或被遮挡时，STC算法就要依靠空间上下文关系排除干扰物体；另一个是描述局部各点z外观特征的上下文先验概率模型，STC算法利用图像中目标的外观特征模型，通过在线学习得到一个时空上下文模型，利用时空上下文模型计算出置信图，从而得到目标最可能存在的位置。上下文先验概率模型可表示为：
P(c(z)|o)＝I(z)wσ(z-x*) (16)
式中，表示权重函数，该权重函数是由生物视觉系统的注意力机制启发得到的，它表示人看东西的时候，会聚焦在一个确定的图像区域。通常距离目标x*越近的点对于跟踪目标越重要，因此对应的权重值也越大。而距离越远则越容易被忽视；a为将概率分布归一化到[0,1]区间的常数。
(三)时空上下文模型。
将式(15)、(16)代入(14)中，可推导出追踪目标置信图的表达式如下：
式中，是卷积运算符。由于卷积操作计算量大、耗时的缺陷，引入快速傅里叶变换来提高运算速度，将时域内的卷积操作变换为频域内的乘积操作，将置信图进行傅里叶变换操作，得到：
式中，F(.)表示快速傅里叶变换，⊙表示频域内的点乘。因此，空间上下文模型hsc(x)可经由傅里叶反变换求得：
得到空间上下文模型后，第t+1帧的时空上下文模型的更新公式为：
式中，ρ为模型学习速率，表示第t帧的空间上下文模型，为迭代学习到的第t帧钢轨轮廓图像的时空上下文模型(注：对于第一帧图像，令)。这样算法通过不断学习到的空间上下文模型结合前一帧的时空上下文模型，就得到了当前帧的时空上下文模型，再利用该模型更新置信图，从而计算出当前帧目标的位置。
(四)目标跟踪。
得到第t帧的时空上下文模型后，可计算得到第t+1帧中目标的置信图
置信图中值最大的位置，就是追踪的目标位置。
其中，ct+1(x)表示第t+1帧钢轨轮廓图像的目标置信图；F-1(.)表示快速傅里叶逆变换；表示第t+1帧钢轨轮廓图像的时空上下文模型，为第t+1帧钢轨轮廓图像中目标条纹中心位置的预测位置。
图13为本发明实施例中提供的一种TM-STC算法原理结构示意图，如图13所示，本发明实施例提供的TM-STC算法的执行过程包括三个部分，首先基于贝叶斯公式学习空间上下文模型；然后根据迭代更新的时空上下文模型来预测追踪目标新位置；最后基于模板匹配对追踪目标的新位置进行验证。本发明实施例提供的基于模板匹配驱动的时空上下文视觉追踪方法，可自适应多种场景下的廓形目标追踪，且在提高追踪准确度的同时仍能够保持较高的追踪速度。可选地，基于多模板匹配的廓形追踪验证方法，可对廓形追踪的位置进行实时的修正，以保证廓形追踪的准确度。将本发明实施例提供的基于模板匹配驱动的时空上下文视觉追踪方法应用于钢轨廓形激光测量系统中，并实现160km/h列车运行速度下的钢轨磨耗动态测量和廓形分析。
(一)学习空间上下文模型。
对于第t帧图像，空间上下文模型可由预先给出的上下文先验模型和目标置信图先验模型求得。上下文先验模型记作：
式中，t表示图像的帧索引；oi表示追踪目标；i表示追踪目标的类型；z为虚线矩形框范围内的描述空间上下文的特征点；I(z)表示z点处的像素灰度值；为权值函数，由式(16)定义，表示当前帧中距离上一帧目标xt-1 *越近的特征点对于跟踪目标越重要，因此对应的权重值也越大。
目标位置的置信图先验是一种时间上下文先验信息，应充分考虑相邻帧之间目标的运动方向和大小。对于车载激光轨廓测量而言，采集的图像中激光条纹的运动并不是随机的，而与车体的晃动以及行驶路段有关，呈相对固定的分布规律。如图14所示，对多帧图像的轨头目标进行持续追踪的结果反映了目标的运动轨迹分布，呈倾斜的椭圆状。因此，轨头位置的概率分布函数即置信图先验应满足图14所示的椭圆状分布，即按照目标的实际运动情况来构建置信图先验模型。
令x＝(xh,xv)，表示钢轨轮廓图像中任意一点的坐标位置，表示钢轨轮廓图像中目标条纹中心位置的实际位置，其中，起始帧图像中轨头目标的中心位置由模板匹配给出，则首先将图像中的点x以x*为中心旋转θ角度得到点x′，记作
这里θ为图14中所示的椭圆长轴与横轴的夹角，表示椭圆的倾斜角度。
则钢轨轨头位置的置信图先验可定义为
式中，P(x|oi)表示oi位于位置x的概率，k1，k2分别代表横轴方向和纵轴方向的缩放参数，具体取值和轨头运动轨迹的分布有关。如图14中，k1，k2分别与椭圆的长轴和短轴成比例关系。
如图15(a)、图15(b)和图15(c)所示为不同运动场景下目标位置的置信图先验模型比较。对于原始STC而言，由于追踪的目标运动较为随机，表现在置信图上各个方向的概率分布都比较均衡，目标位置的概率呈现如图15(a)中所示的圆环状分布；而对于列车车载成像而言，目标的运动方向和轨迹并不随机，呈现一定的分布形态。如图15(b)所示为列车行驶在正线时，轨头目标位置的概率分布形态，呈椭圆环状；而当列车行驶入道岔空间时，相邻帧之间目标的变化相对于正线较大，且轨头的运动范围变得更为广泛，因此道岔区目标位置的概率分布如图15(c)所示，呈较大的椭圆环状分布。需要注意的是，正线区域中相邻帧之间目标的变化很小，即较大的概率分布都集中在较小的范围内，因此参考图11可将置信图的形状参数β设为1，可有效避免噪声的干扰；而道岔区相邻帧之间目标的变化较大，因此参考图11将置信图的形状参数β设为2，避免有效信息的丢失。
给出上下文先验模型和目标置信图后，空间上下文模型可由下式求得
其中，wσt(z-xt *)表示权重函数，It(z)表示第t帧图像中z点处的像素灰度值；实际运算过程中，为了提高运算速度，所有的模型都统一经傅里叶变换到频域空间进行计算，之后再经傅里叶反变换至时域空间，即
(二)预测目标新位置。
在得到第t帧的空间上下文模型后，第t+1帧的时空上下文模型可由公式(20)迭代求得。而第t+1帧的上下文先验模型Pt+1(c(z)|oi)可由式(23)求得。由公式(21)可求得第t+1帧追踪目标的位置概率分布即置信图ct+1(x)，再经公式(22)求得目标的新位置
(三)追踪结果验证。
虽然STC算法能够实现目标的快速追踪，但容错能力有待进一步提高，即某帧目标的定位结果出错时，会影响空间上下文模型的计算，从而对之后图像的定位结果产生持续性的影响。因此，本发明设计了基于模板匹配的结果验证和位置修正机制来提高算法的容错能力。
对于t+1帧的目标位置更新结果以为中心点可以扩展出两个区域，即实线矩阵框内的定位结果区域和虚线矩形框内的上下文特征区域将定位结果的区域图像和对应类型模板库的所有模板图像执行一次图像匹配操作，得到二者之间的相似性距离度量ds。由于定位结果与模板仅执行一次比对验证，因此时间花销很少，不会对算法时效性造成大的影响，仅仅二者之间的距离ds超出预设的阈值ξ时，才需要对整个上下文特征区域图像进行滑窗遍历，每一个窗口图像都和模板库中的模板图像进行距离测度，距离最小的区域即为模板匹配定位的结果。最小匹配距离记作dmin，若最小匹配距离仍然大于阈值ξ，则抛弃该帧，利用TM-STC算法执行下一帧的目标追踪定位。
本发明实施例的实验环境和系统配置如下：
(1)硬件配置:Intel Xeon@2.40GHz×28+NVIDIA Geforce Titan X×4+256GB内存；
(2)操作系统：Ubuntu 16.04LTS；
(3)深度学习框架:CUDA 8.0+Anaconda Python 2.7+Caffe；
实验数据来自于检测车在某重载铁路采集的轨道轮廓激光图像，用于深度学习网络训练、测试以及TM-STC追踪效果测试的图像组成结构如表2所示(注：深度网络测试样本和TM-STC测试样本共用相同的数据集)。
表2中光条类型表示激光成像系统扫描不同的轨道部件采集到的轮廓图像类型。其中，BQ表示扫描到了基本轨和尖轨间的孢切区域；JGTH表示扫描到了尖轨末端贴合在一起的两个轨头；ZD表示钢轨轮廓受到遮挡；YWB表示激光扫描到了鱼尾板；NORMAL表示扫描到了正常的基本轨；JGBTH表示扫描到了尖轨末端不贴合的两个轨头；ZC表示扫描到了辙叉部分。需要说明的是，由于钢轨的大部分区段是正常的基本轨，因此NORMAL类样本数目非常充足，易于收集。但道岔区的其它类型样本数目很少，因此为了维持训练样本的均衡性，道岔区的样本数目已通过数据增强的手段进行了扩充。
表2实验数据组织结构
| 光条类型 | 训练样本集个数(含验证) | 测试样本集个数 |
| BQ | 1774 | 832 |
| JGTH | 1700 | 812 |
| ZD | 1416 | 680 |
| YWB | 1228 | 820 |
| NORMAL | 1290 | 812 |
| JGBTH | 1513 | 796 |
| ZC | 1440 | 680 |
| 总数 | 10361 | 5432 |
本发明使用的Sketch-a-Net深度网络模型训练细节如下：
(1)网络初始化。
对于最后的分类层参数矩阵，考虑到网络中主要采用了relu作为激活函数，因此采用Kaiming初始化方法对网络进行初始化。
(2)模型优化方法。
使用随机梯度下降(SGD)模型优化方法,初始学习率(learning rate)设为0.01，动量参数(momentum)设为0.9，权值衰减(weight decay)设为0.0005。每当图片在Validation数据集的目标函数值相比前一次迭代没有下降的时候，将学习率减小10倍，即lr/＝10。
(3)参数设置。
批处理大小(batch size)设为256,训练集迭代次数(epochs)设为100。
如图16、图17和图18所示为训练样本数据经过深度网络多次卷积池化操作得到的特征图。其中，Lenet-5学习到的特征粒度较为粗糙，对细节刻画不够；AlexNet学习到的特征图更倾向于底层特征的描述，表达的特征更为底层，粒度较为精细；Sketch_a_net是基于AlexNet的一个改进，使用了大的卷积核池化核，因此得到的特征维度较AlexNet更小，但由于采用了多通道数据组合和多尺度的学习网络结果，因此对特征的表达更为全面丰富。
不同类型的光条图像在测试集上的识别结果如表3所示。使用的三种网络中，Lenet_origin分类准确率在0.9左右，通过测试训练样本数据可以发现此时已经出现过拟合现象，于是Lenet_dropout增加了dropout网络层，并将测试准确率提高了三到四个百分点。对数据集进行翻转扩充，使用AlexNett_data网络进行比较，扩充数据后准确率明显优于未扩充前的AlexNet_no_flip网络。
Sketch_a_net和AlexNet两种模型的网络连接结构近似，效果接近。相比而言，Sketch_a_net取得了更高的识别准确率，高达98.2％。
通过各类别分类准确率数据发现，遮挡类别出错率高。遮挡类别样本数量较少，且是经过多次复制的数据，样本缺乏多样性，未能学习到有效特征，故出错率较高。
基于TM-STC的轨头目标追踪结果如图19所示，图19示出了基于不同光条类型的轨头条纹追踪结果示意图，图19中左上角数字为帧索引，实线矩形框为追踪的结果。
表3不同类型的光条图像在测试集上的识别结果
如图20为不同追踪方法的追踪结果对比。从图20中可以观察到，本发明实施例提出钢轨廓形的追踪方法能够克服光条形状和位置变化对定位造成的影响，追踪结果非常稳定。而对于道岔区采集的图像中出现多个近似光条时，如386帧所示，模板匹配的方法容易发生错误。此外，基于传统SVM分类器的图像检测方法泛化能力有限，抗干扰能力弱，当图像场景发生大的变化时，很容易定位错误。STC算法由于帧之间的误差不断累积，长时间的追踪容易发生错误，而且由于缺少纠正机制，一旦定位发生错误，则其后的多帧都将会受到影响，如385帧所示。
利用不同的追踪方法对表2中所示的5432幅图像进行测试，对结果进行统计对比各方法的定位准确率和追踪速度，如表4所示。定义追踪成功率(SR)来评价方法的准确率，成功率定义为
这里，Rt表示追踪结果的边缘矩形框，Rg表示手工标注的目标真实位置矩形框，如果SR>0.8，则认为该帧的追踪结果是成功的。最后统计所有的N帧测试图像中追踪成功的图像总数，记为T，则追踪准确率记为T/N。追踪速度用每秒钟追踪的图像帧数来评价，记为FPS。
表4不同方法的追踪结果对比
| 评价指标 | SIFT | SVM | STC | TM-STC |
| T/N | 94.3％ | 87.4％ | 34.2％ | 99.4％ |
| FPS | 38 | 118 | 575 | 424 |
表中，模板匹配的方法虽然也取得了较高的准确率，但是时间开销大，不适用于钢轨轮廓检查车实时动态检测的要求；STC算法速度最快，但是由于缺少修正机制，对场景的突变适应能力差，即当轨道场景发生变化时，后续的追踪将发生一连串的连锁错误；本发明提出的TM-STC算法有效解决了这一问题，通过模板匹配及时纠正因场景变化造成的定位错误，使STC算法不仅可以适应多种场景下的目标追踪，而且仍然能够保持很高的追踪速度。
本发明实施例中还提供了一种钢轨廓形的追踪系统。图21是根据本发明实施例的一种钢轨廓形的追踪系统示意图，如图21所示，该系统包括：光学成像设备211和图像处理设备212。
其中，光学成像设备211，包括：多个激光组件、多个相机和硬件预处理单元，其中，激光组件用于发射激光；多个相机基于同步信号分别采集钢轨多个方向的图像；硬件预处理单元用于将多个相机采集的到图像按帧进行融合，得到融合后的钢轨轮廓图像；
图像处理设备212，与光学成像设备211通信，用于接收光学成像设备发送的每帧钢轨轮廓图像，并基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；其中，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，图像处理设备基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，图像处理设备基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，目标条纹包括钢轨上待追踪目标区域的激光条纹。
需要说明的是，上述图像处理设备212可以是任意一种具有处理能力的设备，包括但不限于手机、平板电脑、笔记本电脑和PC机。上述光学成像设备211的相机可以采用CMOS图像成像传感器成像。在硬件设计上，利用高动态CMOS成像设备，实现了激光图像的抗阳光、高保真采集。同时，采用450帧/秒的高速图像采集卡实现了钢轨轮廓的高速获取，并设计了板载数据预处理单元(即硬件预处理单元)，解决了部分耗时算法的硬件化问题，并大幅降低了后端的数据处理量，保证了实时性。
本发明实施例提供的钢轨廓形的追踪系统可以用于160km/h行车条件下的钢轨轮廓高精度激光视觉测量系统中。
本发明实施例中还提供了一种钢轨廓形的追踪装置。图22是根据本发明实施例的一种钢轨廓形的追踪装置示意图，如图22所示，该装置包括：钢轨轮廓图像获取模块221、激光条纹识别模块222、第一钢轨廓形追踪模块223和第二钢轨廓形追踪模块224。
其中，钢轨轮廓图像获取模块221，用于获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；
激光条纹识别模块222，用于基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；
第一钢轨廓形追踪模块223，与激光条纹识别模块222连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；
第二钢轨廓形追踪模块224，与激光条纹识别模块222连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，目标条纹包括钢轨上待追踪目标区域的激光条纹。
此处需要说明的是，上述钢轨轮廓图像获取模块221、激光条纹识别模块222、第一钢轨廓形追踪模块223和第二钢轨廓形追踪模块224对应于方法实施例中的步骤S401、S402、S403a和S403b，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
综上可知，本发明实施例提供的软硬件结合的钢轨廓形高速采集与廓形快速定位方法，可用于钢轨轮廓高精度激光视觉测量系统。在硬件设计上，利用高动态CMOS成像设备，实现了激光图像的抗阳光、高保真采集。同时，采用450帧/秒的高速图像采集卡实现了钢轨轮廓的高速获取，并设计了板载数据预处理单元，解决了部分耗时算法的硬件化问题，保证了实时性。在算法实现上，首先使用卷积神经网络模型针对不容类型的廓形进行识别，然后利用模板匹配驱动的时空上下文视觉跟踪算法实现轨头激光条纹的快速追踪。本发明针对激光条纹图像的特点，定制设计了深度神经网络的模型结构，在训练数据集的构建上特别加入人工模拟的噪声，在保证效率的同时可以应对图像上由于反光、污损、异物遮挡等造成的干扰以及列车晃动的影响。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意一项的钢轨廓形的追踪方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述任意一项的钢轨廓形的追踪方法的计算机程序。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种钢轨廓形的追踪方法，其特征在于，包括：
获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；
基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；
在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；或
在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；
其中，所述目标条纹包括钢轨上待追踪目标区域的激光条纹。
2.如权利要求1所述的方法，其特征在于，获取至少一帧钢轨轮廓图像，包括：
接收光学成像设备发送的每帧钢轨轮廓图像，其中，所述光学成像设备通过四个相机基于同步信号分别采集钢轨上左轨外侧、左轨内侧、右轨外侧、右轨内侧的图像，并将所述四个相机采集的图像按帧进行融合，得到每帧钢轨轮廓图像。
3.如权利要求1所述的方法，其特征在于，在获取至少一帧钢轨轮廓图像之后，所述方法还包括：
基于动态阈值二值化图像处理模型，对所述钢轨轮廓图像进行二值化预处理，得到二值化钢轨轮廓图像；
基于图像直方图统计信息滤除所述二值化钢轨轮廓图像中的过曝光区域，得到待输入至所述廓形识别模型的钢轨轮廓图像。
4.如权利要求1所述的方法，其特征在于，基于模板匹配算法，识别起始帧钢轨轮廓图像中目标条纹的位置。
5.如权利要求1所述的方法，其特征在于，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置，包括：
获取上一帧钢轨轮廓图像的空间上下文模型；
根据上一帧钢轨轮廓图像的空间上下文模型和上一帧钢轨轮廓图像的时空上下文模型，确定当前帧钢轨轮廓图像的时空上下文模型；
根据当前帧钢轨轮廓图像的时空上下文模型、当前帧钢轨轮廓图像的上下文先验模型确定当前帧钢轨轮廓图像中目标条纹中心位置的置信图；
根据当前帧钢轨轮廓图像中目标条纹中心位置的置信图，确定当前帧钢轨轮廓图像中目标条纹中心位置的预测位置。
6.如权利要求5所述的方法，其特征在于，在根据当前帧钢轨轮廓图像中目标条纹中心位置的置信图，确定当前帧钢轨轮廓图像中目标条纹中心位置的预测位置之后，所述方法还包括：
以所述预测位置为中心，在当前帧钢轨轮廓图像中扩展出目标条纹的定位结果区域和上下文特征区域；
将定位结果区域的图像与相应光条类型的模板图像进行匹配，计算定位结果区域的图像与相应光条类型的模板图像的相似性距离；
如果所述定位结果区域的图像与相应光条类型的模板图像的相似性距离小于阈值，则将所述定位结果区域确定为目标条纹所在的区域；
如果所述定位结果区域的图像与相应光条类型的模板图像的相似性距离大于或等于阈值，则根据所述上下文特征区域确定目标条纹所在的区域。
7.如权利要求6所述的方法，其特征在于，根据所述上下文特征区域确定目标条纹所在的区域，包括：
对所述上下文特征区域进行滑窗遍历，计算每一个窗口图像与相应光条类型的模板图像之间的相似性距离；
如果计算得到的最小相似性距离小于阈值，则将最小相似性距离的窗口图像对应的区域确定为当前帧钢轨轮廓图像中目标条纹所在的区域；
如果计算得到的最小相似性距离大于或等于阈值，则丢弃当前帧钢轨轮廓图像。
8.如权利要求5所述的方法，其特征在于，获取上一帧钢轨轮廓图像的空间上下文模型，包括：
获取上一帧钢轨轮廓图像的上下文先验模型；
根据上一帧钢轨轮廓图像的上下文先验模型和上一帧钢轨轮廓图像中目标条纹中心位置的置信图，确定上一帧钢轨轮廓图像的空间上下文模型。
9.如权利要求8所述的方法，其特征在于，钢轨轮廓图像的空间上下文模型为：
其中，钢轨轮廓图像中目标条纹中心位置的置信图先验模型为：
钢轨轮廓图像的上下文先验模型为：
其中，t表示图像的帧索引，oi表示追踪目标，i表示追踪目标的类型，z为上下文特征区域内的特征点，P(x|oi)表示oi位于位置x的概率，k1、k2分别代表横轴方向和纵轴方向的缩放参数，x＝(xh,xv)表示钢轨轮廓图像中任意一点的坐标位置，表示钢轨轮廓图像中目标条纹中心位置的实际位置，x′为x以x*为中心旋转θ角度得到点，x'＝(x'h,x'v)；It(z)表示第t帧图像中z点处的像素灰度值；wσt(z-xt *)表示权重函数，σ为标准差，a为将概率分布归一化到[0,1]区间的常数。
10.如权利要求9所述的方法，其特征在于，第t+1帧钢轨轮廓图像的时空上下文模型为：
其中，表示第t帧钢轨轮廓图像的时空上下文模型，表示第t帧钢轨轮廓图像的空间上下文模型，ρ表示模型学习速率。
11.如权利要求10所述的方法，其特征在于，第t+1帧钢轨轮廓图像中目标条纹中心位置的置信图为：
其中，
其中，ct+1(x)表示第t+1帧钢轨轮廓图像的目标置信图；F-1(·)表示快速傅里叶逆变换；表示第t+1帧钢轨轮廓图像的时空上下文模型，为第t+1帧钢轨轮廓图像中目标条纹中心位置的预测位置。
12.一种钢轨廓形的追踪系统，其特征在于，包括：
光学成像设备，包括：多个激光组件、多个相机和硬件预处理单元，其中，所述激光组件用于发射激光；所述多个相机基于同步信号分别采集钢轨多个方向的图像；所述硬件预处理单元用于将所述多个相机采集的到图像按帧进行融合，得到融合后的钢轨轮廓图像；
图像处理设备，与所述光学成像设备通信，用于接收所述光学成像设备发送的每帧钢轨轮廓图像，并基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；其中，在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，所述图像处理设备基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，所述图像处理设备基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；其中，所述目标条纹包括钢轨上待追踪目标区域的激光条纹。
13.如权利要求12所述的系统，其特征在于，所述相机采用CMOS图像成像传感器成像。
14.一种钢轨廓形的追踪装置，其特征在于，包括：
钢轨轮廓图像获取模块，用于获取至少一帧钢轨轮廓图像，其中，每帧钢轨轮廓图像为结构光测量钢轨廓形的过程中，将采集的钢轨多个方向的图像按帧进行融合得到的图像；
激光条纹识别模块，用于基于深度学习的廓形识别模型，识别每帧钢轨轮廓图像中激光条纹的光条类型；
第一钢轨廓形追踪模块，与所述激光条纹识别模块连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型相同的情况下，基于时空上下文视觉跟踪算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；
第二钢轨廓形追踪模块，与所述激光条纹识别模块连接，用于在当前帧与上一帧钢轨轮廓图像中激光条纹的光条类型不相同的情况下，基于模板匹配算法，追踪当前帧钢轨轮廓图像中目标条纹的位置；
其中，所述目标条纹包括钢轨上待追踪目标区域的激光条纹。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一所述钢轨廓形的追踪方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至11任一所述钢轨廓形的追踪方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811279014.6A CN109341580B (zh) | 2018-10-30 | 2018-10-30 | 钢轨廓形的追踪方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811279014.6A CN109341580B (zh) | 2018-10-30 | 2018-10-30 | 钢轨廓形的追踪方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109341580A true CN109341580A (zh) | 2019-02-15 |
| CN109341580B CN109341580B (zh) | 2020-11-06 |
Family
ID=65312559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811279014.6A Active CN109341580B (zh) | 2018-10-30 | 2018-10-30 | 钢轨廓形的追踪方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109341580B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109989309A (zh) * | 2019-04-15 | 2019-07-09 | 中国铁道科学研究院集团有限公司金属及化学研究所 | 一种铁路钢轨廓形质量评估方法 |
| CN110047070A (zh) * | 2019-04-22 | 2019-07-23 | 山东师范大学 | 一种轨道磨损程度的识别方法及系统 |
| CN110110578A (zh) * | 2019-02-21 | 2019-08-09 | 北京工业大学 | 一种室内场景语义标注方法 |
| CN110263204A (zh) * | 2019-06-05 | 2019-09-20 | 广州文冲船厂有限责任公司 | 一种构件轮廓编码方法、装置和设备 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110514140A (zh) * | 2019-09-10 | 2019-11-29 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种三维成像方法、装置、设备以及存储介质 |
| CN110672026A (zh) * | 2019-08-30 | 2020-01-10 | 泉州佰桀智能制鞋设备研究院有限公司 | 一种过山车轨道检测方法、智能检测机器人及检测系统 |
| CN110827240A (zh) * | 2019-10-15 | 2020-02-21 | 中国铁路总公司 | 钢轨轮廓的定位方法及装置 |
| CN110853088A (zh) * | 2019-09-04 | 2020-02-28 | 东南大学 | 一种基于深度学习和计算机视觉的tem图像晶面间距测量分析方法 |
| CN111318963A (zh) * | 2020-03-09 | 2020-06-23 | 西南交通大学 | 一种铁路轨道打磨量及廓形检测装置 |
| CN111524112A (zh) * | 2020-04-17 | 2020-08-11 | 中冶赛迪重庆信息技术有限公司 | 追钢识别方法、系统、设备及介质 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN115792913A (zh) * | 2022-05-16 | 2023-03-14 | 湖南师范大学 | 一种基于时空网络的雷达回波外推方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6333994B1 (en) * | 1999-03-31 | 2001-12-25 | International Business Machines Corporation | Spatial sorting and formatting for handwriting recognition |
| CN106952294A (zh) * | 2017-02-15 | 2017-07-14 | 北京工业大学 | 一种基于rgb‑d数据的视频跟踪方法 |
| CN107346548A (zh) * | 2017-07-06 | 2017-11-14 | 电子科技大学 | 一种用于输电线路绝缘子的跟踪方法 |
| CN107610159A (zh) * | 2017-09-03 | 2018-01-19 | 西安电子科技大学 | 基于曲率滤波和时空上下文的红外弱小目标跟踪方法 |
-
2018
- 2018-10-30 CN CN201811279014.6A patent/CN109341580B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6333994B1 (en) * | 1999-03-31 | 2001-12-25 | International Business Machines Corporation | Spatial sorting and formatting for handwriting recognition |
| CN106952294A (zh) * | 2017-02-15 | 2017-07-14 | 北京工业大学 | 一种基于rgb‑d数据的视频跟踪方法 |
| CN107346548A (zh) * | 2017-07-06 | 2017-11-14 | 电子科技大学 | 一种用于输电线路绝缘子的跟踪方法 |
| CN107610159A (zh) * | 2017-09-03 | 2018-01-19 | 西安电子科技大学 | 基于曲率滤波和时空上下文的红外弱小目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杜馨瑜等: "基于深度学习的铁道塞钉自动检测算法", 《中国铁道科学》 * |
| 王昊等: "钢轨廓形测量系统平面靶标标定方法研究", 《铁道建筑》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110578A (zh) * | 2019-02-21 | 2019-08-09 | 北京工业大学 | 一种室内场景语义标注方法 |
| CN110110578B (zh) * | 2019-02-21 | 2023-09-29 | 北京工业大学 | 一种室内场景语义标注方法 |
| CN109989309A (zh) * | 2019-04-15 | 2019-07-09 | 中国铁道科学研究院集团有限公司金属及化学研究所 | 一种铁路钢轨廓形质量评估方法 |
| CN110047070A (zh) * | 2019-04-22 | 2019-07-23 | 山东师范大学 | 一种轨道磨损程度的识别方法及系统 |
| CN110263204A (zh) * | 2019-06-05 | 2019-09-20 | 广州文冲船厂有限责任公司 | 一种构件轮廓编码方法、装置和设备 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110503146B (zh) * | 2019-08-21 | 2021-12-14 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110672026A (zh) * | 2019-08-30 | 2020-01-10 | 泉州佰桀智能制鞋设备研究院有限公司 | 一种过山车轨道检测方法、智能检测机器人及检测系统 |
| CN110853088A (zh) * | 2019-09-04 | 2020-02-28 | 东南大学 | 一种基于深度学习和计算机视觉的tem图像晶面间距测量分析方法 |
| CN110853088B (zh) * | 2019-09-04 | 2022-03-11 | 东南大学 | 一种基于深度学习和计算机视觉的tem图像晶面间距测量分析方法 |
| CN110514140A (zh) * | 2019-09-10 | 2019-11-29 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种三维成像方法、装置、设备以及存储介质 |
| CN110827240A (zh) * | 2019-10-15 | 2020-02-21 | 中国铁路总公司 | 钢轨轮廓的定位方法及装置 |
| CN110827240B (zh) * | 2019-10-15 | 2023-09-12 | 中国铁路总公司 | 钢轨轮廓的定位方法及装置 |
| CN113191368B (zh) * | 2020-01-14 | 2023-08-01 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN113191368A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种标志物的匹配方法及装置 |
| CN111318963A (zh) * | 2020-03-09 | 2020-06-23 | 西南交通大学 | 一种铁路轨道打磨量及廓形检测装置 |
| CN111318963B (zh) * | 2020-03-09 | 2020-11-24 | 西南交通大学 | 一种铁路轨道打磨量及廓形检测装置 |
| CN111524112A (zh) * | 2020-04-17 | 2020-08-11 | 中冶赛迪重庆信息技术有限公司 | 追钢识别方法、系统、设备及介质 |
| CN111524112B (zh) * | 2020-04-17 | 2023-04-07 | 中冶赛迪信息技术(重庆)有限公司 | 追钢识别方法、系统、设备及介质 |
| CN115792913B (zh) * | 2022-05-16 | 2023-08-22 | 湖南师范大学 | 一种基于时空网络的雷达回波外推方法及系统 |
| CN115792913A (zh) * | 2022-05-16 | 2023-03-14 | 湖南师范大学 | 一种基于时空网络的雷达回波外推方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109341580B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109341580A (zh) | 钢轨廓形的追踪方法、系统及装置 | |
| Wang et al. | Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| CN100544446C (zh) | 用于视频监控的实时运动检测方法 | |
| Huang et al. | Traffic sign occlusion detection using mobile laser scanning point clouds | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN102044151A (zh) | 基于光照可见度辨识的夜间车辆视频检测方法 | |
| CN104299260A (zh) | 一种基于sift和lbp的点云配准的接触网三维重建方法 | |
| CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
| CN104318263A (zh) | 一种实时高精度人流计数方法 | |
| CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN103716687A (zh) | 使用指纹以在视频中追踪移动对象的系统和方法 | |
| CN105006003A (zh) | 基于随机投影蕨的实时目标跟踪算法 | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN106570490A (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
| CN105512618A (zh) | 视频跟踪方法 | |
| CN103794050A (zh) | 一种实时的交通车辆检测与跟踪方法 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| CN107808524A (zh) | 一种基于无人机的道路交叉口车辆检测方法 | |
| Yang et al. | PDNet: Improved YOLOv5 nondeformable disease detection network for asphalt pavement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |