CN105938554A - 基于图像自动判读的尖轨伸缩位移监测方法及系统 - Google Patents
基于图像自动判读的尖轨伸缩位移监测方法及系统 Download PDFInfo
- Publication number
- CN105938554A CN105938554A CN201610232538.4A CN201610232538A CN105938554A CN 105938554 A CN105938554 A CN 105938554A CN 201610232538 A CN201610232538 A CN 201610232538A CN 105938554 A CN105938554 A CN 105938554A
- Authority
- CN
- China
- Prior art keywords
- rule
- image
- region
- tongue
- telescopic displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于图像自动判读的尖轨伸缩位移监测方法,该方法的步骤包括:实时获取现场尖轨伸缩位移图像S1;基于空间支撑的深度卷积神经网络刻度尺定位方法,对刻度尺进行鲁棒性全天候的检测及定位S2;基于特征色度分量积分的刻度尺精确区域提取S3;结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读S4。本发明进一步公开了一种基于图像自动判读的尖轨伸缩位移监测系统。本方案适用于尖轨伸缩位移的实时监测,可以进一步推广应用至如道岔心轨、钢轨伸缩调节器基本轨等其他关键结构部件的位移检测中,为保障铁路的运营安全提供快速、准确、可靠的理论技术支持。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种基于图像自动判读的尖轨伸缩位移监测方法及系统。
背景技术
尖轨是道岔的关键部件之一,其服役状态直接影响列车的行车安全。当气温发生剧变时,因热胀冷缩,尖轨与基本轨间会产生明显的伸缩位移。尖轨位移严重时可引起道岔卡阻,严重影响列车运行。因此,为了保证行车安全,必须实施对尖轨伸缩位移的实时监测,并严格管控其量值。
当前,尖轨伸缩位移一般是由布于尖轨侧面的摄像机进行现场采集图像,并通过网络实时传送至服务器,以实现非接触式的监测。目前国内外对于尖轨伸缩位移图像仍采用人工判读的方法,由于人工判读的众多不确定因素,加之判读耗费的大量时间,无法满足实时监测及预警的现场需求,不利于行车安全保障。
在实际工程应用中,当前基于计算机视觉技术的图像自动判读大多用于仪表盘、标尺以及数字电气表的读数。在尖轨伸缩位移图像中,包含钢轨、尖轨及刻度尺等主要目标在尺度上不同目标的差异很大,且判读目标刻度尺在整幅图像中只占5%左右;同时,尖轨伸缩位移图像为全天候户外采集,采集的图像受到复杂因素如光照、天气、各类噪声的影响较大,如日间采集为彩色图像,夜间采集为黑白图像。此外,受到户外因素的影响,图像传感器可能会出现对焦错误及镜头倾斜的情况,从而导致图像模糊及图像错误。加之受采集设备成本的限制,图像本身分辨率较低。因此,传统的判读方法难以实现尖轨伸缩位移图像的判读。
发明内容
本发明要解决的技术问题是提供一种基于图像自动判读的尖轨伸缩位移监测方法及系统,以解决现有技术中由于人工判读尖轨伸缩位移图像导致无法满足尖轨伸缩位移实时监测及预警的现场需求,以及受外界因素导致的图像退化致使传统的判读方法无法准确对尖轨伸缩位移进行判读的问题。
为解决上述技术问题,本发明采用下述技术方案:
基于图像自动判读的尖轨伸缩位移监测方法,该方法的步骤包括:
S1、实时获取现场尖轨伸缩位移图像;
S2、基于空间支撑的深度卷积神经网络刻度尺定位方法,对刻度尺进行鲁棒性全天候的检测及定位;
S3、基于特征色度分量积分的刻度尺精确区域提取方法,对已定位的刻度尺区域进行精确提取;
S4、结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读。
优选地,所述步骤S1中实时获取的现场尖轨伸缩位移图像可以存储在存储设备当中,或上传至服务器上,待后续设备调取使用。
优选地,所述步骤S2包括:
S21、基于获取的尖轨伸缩位移图像,构建用于训练的尖轨伸缩位移图像数据集;
S22、基于深度卷积神经网络算法对数据集进行训练学习,分别生成刻度尺区域及其空间支撑区域的检测及定位模型,并构建基于空间支撑的刻度尺检测及定位计算模型;
S23、基于空间支撑的刻度尺检测及定位计算模型,对所述尖轨伸缩位移图像中的刻度尺进行检测及定位。
优选地,所述步骤S22包括:
S221、基于待训练的尖轨伸缩位移图像数据集,标注并获取待训练图像中的刻度尺区域和其空间支撑区域的Ground Truth数据;所述空间支撑区域为刻度尺区域上方的尖轨部分;
S222、基于特征色度分量积分的方法,提取可能包含刻度尺区域及其空间支撑区域的若干个推荐区域;
S223、针对刻度尺区域和其空间支撑区域,利用S221中的Ground Truth数据和S222中的推荐区域,基于深度卷积神经网络算法进行训练,分别生成刻度尺区域和其空间支撑区域的检测及定位模型;
S224、分别利用刻度尺区域和其空间支撑区域的检测及定位模型,获得二者的检测及定位结果并进行融合,利用该融合结果构建刻度尺检测及定位计算模型。
优选地,所述步骤S3包括:
S31、利用特征色度分量积分的方法,在近水平方向上提取左右两个变化显著的局部极值点,对应刻度尺的水平边界位置;
S32、利用特征色度分量积分的方法,在近垂直方向上选取第一个和最后一个变化显著的特征色度分量积分极值点,对应刻度尺的垂直边界位置;
S33、利用S31、S32获得的水平及垂直边界位置,提取刻度尺精确区域的图像。
优选地,所述步骤S4包括:
S41、利用特征色度分量积分法确定刻度尺中心线的像素长度;
S42、基于数字匹配法,对单位刻度的像素长度进行提取;
S43、利用刻度尺中心线的像素长度和单位刻度的像素长度计算尖轨伸缩位移测量值。
优选地,所述步骤S42包括:
S421、在待搜索图像区域图像中计算刻度数字的相似度,并将该相似度校验值进行比较;若大于校验值,则认为该图像中存在该刻度数字,并获取其当前位置;否则,认为该图像中不存在该刻度数字;
S422、基于步骤S421,逐步缩小待搜索图像区域的范围,直至获得需要刻度的所有位置;
S423、根据获得的所需刻度的所有位置,进行数字匹配的校验,并计算单位刻度的像素长度。
优选地,该方法进一步包括:对尖轨伸缩位移图像自动判读的结果进行可信度检验。
优选地,所述可信度校验的步骤包括:
利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;
利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
基于图像自动判读的尖轨伸缩位移监测系统,该系统包括:
图像获取单元,用于实时获取现场尖轨伸缩位移图像;
检测及定位单元,基于空间支撑的深度卷积神经网络刻度尺算法,对刻度尺进行鲁棒性全天候的检测及定位;
提取单元,基于特征色度分量积分方法提取包含刻度尺区域以及其空间支撑区域的若干个推荐区域,以及在刻度尺定位的基础上,进一步提取刻度尺的精确区域;
自动判断单元,结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读。
优选地,该系统进一步包括:
可信度校验单元,利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
本发明的有益效果如下:
本发明所述技术方案基于尖轨伸缩位移实时监测系统获取的尖轨伸缩位移图像,能够精确高效地对其进行自动判读。该技术适用于尖轨伸缩位移的实时监测,可以进一步推广应用至如道岔心轨、钢轨伸缩调节器基本轨等其他关键结构部件的位移检测中,为保障铁路的运营安全提供快速、准确、可靠的理论技术支持。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1示出本发明所述尖轨伸缩位移实时监测系统示意图。
图2示出本发明所述检测系统的尖轨伸缩位移日间图像图示。
图3示出本发明所述检测系统的尖轨伸缩位移夜间图像图示。
图4示出本发明所述检测系统的尖轨伸缩位移模糊图像图示。
图5示出本发明所述检测系统的尖轨伸缩位移错误图像图示。
图6示出本发明所述尖轨伸缩位移监测方法的流程图。
图7示出本发明所述基于空间支撑的深度卷积神经网络刻度尺定位方法的流程图。
图8示出本发明所述基于特征色度分量积分的刻度尺精确区域提取方法流程图。
图9示出本发明所述基于特征色度分量积分的刻度尺中心线像素长度提取方法流程图。
图10示出本发明所述基于数字匹配的单位刻度像素长度提取流程图。图11示出本发明所述尖轨伸缩位移图像单张判读结果图示。
图12示出本发明所述尖轨伸缩位移图像批量判读结果图示。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图6所示,本发明公开了基于图像自动判读的尖轨伸缩位移监测方法,该方法的步骤包括:
S1、利用尖轨伸缩位移实时监测系统对尖轨进行实时图像检测,并将实时获取现场尖轨伸缩位移图像存储在存储设备当中,或上传至服务器上,待后续设备调取使用;
S2、基于空间支撑的深度卷积神经网络刻度尺定位方法,对刻度尺进行鲁棒性全天候的检测及定位。具体的:S21、基于获取的尖轨伸缩位移图像,构建用于训练的尖轨伸缩位移图像数据集;S22、基于深度卷积神经网络算法对数据集进行训练学习,分别生成刻度尺区域及其空间支撑区域的检测及定位模型,并构建基于空间支撑的刻度尺检测及定位计算模型;S23、基于空间支撑的刻度尺检测及定位计算模型,对所述尖轨伸缩位移图像中的刻度尺进行检测及定位。本方案中,所述步骤S22的步骤具体包括:S221、基于待训练的尖轨伸缩位移图像数据集,标注并获取待训练图像中的刻度尺区域和其空间支撑区域的GroundTruth数据;所述空间支撑区域为刻度尺区域上方的尖轨部分;S222、基于特征色度分量积分的方法,提取可能包含刻度尺区域及其空间支撑区域的若干个推荐区域;S223、针对刻度尺区域和其空间支撑区域,利用步骤S221中的Ground Truth数据和步骤S222中的推荐区域,基于深度卷积神经网络算法进行训练,分别生成刻度尺区域和其空间支撑区域的检测及定位模型;S224、分别利用刻度尺区域和其空间支撑区域的检测及定位模型,获得二者的检测及定位结果并进行融合,利用该融合结果构建刻度尺检测及定位计算模型。
S3、基于特征色度分量积分的刻度尺精确区域提取方法,对已定位的刻度尺区域进行精确提取。具体的:S31、利用特征色度分量积分的方法,在近水平方向上提取左右两个变化显著的局部极值点,对应刻度尺的水平边界位置;S32、利用特征色度分量积分的方法,在近垂直方向上选取第一个和最后一个变化显著的特征色度分量积分极值点,对应刻度尺的垂直边界位置;S33、利用步骤S31、S32获得的水平及垂直边界位置,提取刻度尺精确区域的图像。
S4、结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读。具体的:S41、利用特征色度分量积分法确定刻度尺中心线的像素长度;S42、基于数字匹配法,对单位刻度的像素长度进行提取;S43、利用刻度尺中心线的像素长度和单位刻度的像素长度计算尖轨伸缩位移测量值。本方案中,所述步骤S42的步骤具体包括:S421、在待搜索图像区域图像中计算刻度数字的相似度,并将该相似度校验值进行比较;若大于校验值,则认为该图像中存在该刻度数字,并获取其当前位置;否则,认为该图像中不存在该刻度数字;S422、基于步骤S421,逐步缩小待搜索图像区域的范围,直至获得需要刻度的所有位置;S423、根据获得的所需刻度的所有位置,进行数字匹配的校验,并计算单位刻度的像素长度。
为确保本方法自动判读的精确度,该方法进一步包括:对尖轨伸缩位移图像自动判读的结果进行可信度检验。对于所述可信度校验的步骤包括:
利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;
利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
本发明进一步公开了一种基于图像自动判读的尖轨伸缩位移监测系统,该系统包括:用于实时获取现场尖轨伸缩位移图像的图像获取单元、基于空间支撑的深度卷积神经网络刻度尺定位算法,对刻度尺进行鲁棒性全天候的检测及定位单元、基于特征色度分量积分的刻度尺区域及其空间支撑区域推荐区域提取和刻度尺精确区域提取的提取单元,以及结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读的自动判断单元。该系统进一步包括:用于对尖轨伸缩位移图像自动判读的结果进行可信度检验可信度校验单元;该单元利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
下面通过一组实施例对本发明做进一步说明:
本方案提供一种基于图像自动判读的尖轨伸缩位移监测方法。本方案针对尖轨位移全天候实时监测的需要,利用尖轨伸缩位移实时监测系统对尖轨伸缩位移图像进行监测,并利用本方案所述自判读方法对尖轨伸缩位移进行自判读。本方案能够保证高精确、高效地对尖轨伸缩位移进行自动判读。
本方案所述尖轨伸缩位移实时监测系统,由固定于尖轨轨面的白底红字刻度尺作为测量依据,由布于尖轨侧面的工业摄像机作为现场采集设备,并通过网络实时传送到服务器。本方案所述自动判读方法首先采用基于深度学习的方法,对刻度尺进行鲁棒全天候的检测及定位,克服图像噪声和不相关信息的干扰。以深度学习定位结果为指导,结合特征色度分量积分的方法,提取图像中的有效区域。根据数字匹配与特征色度分量积分方法,精确定位刻度特征点,结合可信度检验,最终实现尖轨伸缩位移的自动判读。
本方案的具体如下:
一、尖轨伸缩位移实时监测系统
如图1至5所示,尖轨伸缩位移实时监测系统,由固定于尖轨轨面的白底红字刻度尺作为测量依据,由布于尖轨侧面的工业摄像机作为现场采集设备,并通过网络实时传送到服务器。用作测量尖轨伸缩位移的刻度尺为白底红字、最小刻度为mm的长方形刻度尺,使用白色胶水水平固定于尖轨轨面上。用作现场采集设备的工业摄像机固定于尖轨侧面,正对尖轨的正上方位置,全天候实时采集图像并通过网络实时传送到服务器。
二、基于空间支撑的深度卷积神经网络刻度尺定位方法
上传至服务器的图像由于受天气、光照、噪声等复杂因素的影响较大,且判读目标,即刻度尺在图像中所占比例较小,刻度尺位置变化较大,传统目标定位方法无法对刻度尺准确定位。
本方案针对全天候复杂条件下采集的尖轨伸缩位移图像,采用基于空间支撑的深度卷积神经网络刻度尺定位算法对刻度尺进行定位,如图7所示。其中,深度学习的实践平台采用了Caffe,Caffe是基于C++架构的深度学习框架,其支持命令行、Python和MATLAB接口,具体实施方法如下:
(1)基于获取的尖轨伸缩位移图像,构建用于训练的尖轨伸缩位移图像数据集。数据集图像来源于监测系统连续上传的10000张尖轨伸缩位移图像。
(2)基于深度卷积神经网络算法对数据集进行训练学习,分别生成刻度尺区域及其空间支撑区域的检测及定位模型,并构建基于空间支撑的刻度尺检测及定位计算模型。根据上述构建的数据集,基于Caffe平台,利用深度学习对数据集进行训练学习,生成用于检测和定位刻度尺的CaffeModel文件。其中,CaffeModel文件是基于Caffe平台训练生成的独有文件,支持命令行、Python和MATLAB接口,可方便的进行调用,输出检测和定位结果。
由于尖轨伸缩位移图像中,刻度尺区域与尖轨部分区域有着固定的空间位置关系,因此这种空间位置关系可以进一步确保刻度尺定位的准确性。为了保证定位结果的正确和高效,在训练学习阶段,提出一种基于空间支撑的深度卷积神经网络刻度尺定位方法,主要步骤如下:
1)基于待训练的尖轨伸缩位移图像数据集,标注并获取待训练图像中的刻度尺区域和其空间支撑区域的Ground Truth数据;所述空间支撑区域为刻度尺区域上方的尖轨部分。其中,Ground Truth数据中包含图像路径及文件名,刻度尺区域及其空间支撑区域的个数以及相应地坐标位置数据,用于深度学习的训练;
2)基于特征色度分量积分的方法,提取可能包含刻度尺区域及其空间支撑区域的若干个推荐区域。其中,特征色度分量积分的方法为:在原始图像的灰度空间中,分别按行、列对图像灰度进行积分,并求其梯度,得到的结果即为特征色度分量积分。利用特征色度分量积分,在行、列方向上可分别确定若干个极值点,利用这些极值点可组成可能包含刻度尺区域及其空间支撑区域的若干个推荐区域。
3)针对刻度尺区域和其空间支撑区域,利用上述的Ground Truth数据和推荐区域,基于深度卷积神经网络算法进行训练,分别生成刻度尺区域和其空间支撑区域的检测及定位模型。具体地,训练阶段采用Fast RCNN方法,分别训练产生刻度尺区域和其空间支撑区域检测定位的CaffeModel文件,使用该文件可对刻度尺区域以及其空间支撑区域进行检测及定位,即判断一副图像中是否存在刻度尺和其空间支撑区域,输出相应的存在性评分及对应坐标位置。
4)分别利用刻度尺区域和其空间支撑区域的检测及定位模型,获得二者的检测及定位结果并进行融合,利用该融合结果构建刻度尺检测及定位计算模型。其中,由于刻度尺区域和其空间支撑区域存在特定地空间位置关系,由空间位置关系先验,将二者的检测结果进行融合,构建刻度尺检测及定位计算模型;
(3)基于空间支撑的刻度尺检测及定位计算模型,对所述尖轨伸缩位移图像中的刻度尺进行检测及定位。上述步骤中采用了包含各类复杂情况的10000张图像的数据集进行训练,最终得到的刻度尺检测及定位计算模型具有鲁棒性及高效性,针对尖轨伸缩位移图像的自动判读,利用该计算模型可得到刻度尺区域的坐标位置,获得刻度尺区域图像。
以下是本方案所述方法与SURF特征匹配方法针对尖轨伸缩位移图像数据集刻度尺定位准确率的比较:
方法 | 刻度尺定位准确率 |
本方案方法 | 96.6% |
SURF特征匹配 | 65.8% |
刻度尺定位结果准确的评价标准为:
其中,Aobj、AGT分别表示刻度尺定位结果区域及其Ground Truth区域。
三、基于特征色度分量积分的刻度尺区域精确提取方法
由于刻度尺的中心有一个近似矩形区域,称其为刻度尺中心线,在色度空间上,该区域与其邻域具有显著差异。如图8所示,根据获得的刻度尺区域图像,采用基于特征色度分量积分的方法对刻度尺区域进行精确提取,分别获取刻度尺的精确行列边界位置,获得刻度尺的精确区域图像。具体实施方法如下:
(1)采用特征色度分量积分的方法,在近水平方向上,可以确定位于中部的两个局部极值点,对应刻度尺中心线的水平起止位置;而刻度尺内部区域与外部的钢轨区域在色度空间上也具有显著差异,可采用特征色度分量积分的方法,在近水平方向提取左右两个变化显著的局部极值点,对应刻度尺的水平边界位置;
(2)同理,在近垂直方向上选取第一个和最后一个变化显著的特征色度分量积分极值点,对应刻度尺的垂直边界位置。
(3)由(1)、(2)获得的水平及垂直边界位置,提取刻度尺精确区域的图像。
四、特征色度分量积分与数字匹配相结合的尖轨伸缩位移判读方法
尖轨伸缩位移即尖轨边界在刻度尺中的位置刻度,由于尖轨遮挡的刻度尺部分不可见,按照一般读数规则,从刻度尺的零点开始判读并不可行。分析获得的刻度尺精确区域图像,发现其包含一条近似矩形的刻度尺中心线以及上下对称且均匀分布的刻度线及数字。因此,通过获得刻度尺中心线的像素长度以及单位刻度的像素长度,经过数学计算,即可完成尖轨伸缩位移图像的判读。具体实施方法如下:
(1)利用特征色度分量积分法确定刻度尺中心线的像素长度,如图9所示。
(2)基于数字匹配法,对单位刻度的像素长度进行提取。计算单位刻度像素长度的关键在于精确定位各个刻度特征点的位置。由于细小刻度线可能会受噪声影响,而上下对称分布的刻度数字特征显著且唯一。因此采用基于灰度数字模板的特征匹配方法提取刻度线位置,具体采用了具有良好抗噪性、抗不均匀光照性的归一化的相关系数匹配法。如图10所示,具体的提取步骤如下:
1)首先在待搜索图像区域即刻度尺精确区域图像中计算刻度数字“4”的相似度,如相似度量最大值大于可信度检验值则认为中存在刻度数字“4”,获取并返回其位置S4,否则认为中不存在刻度数字“4”,即刻度尺读数已超过4cm,已达到预警值,返回预警提示;
2)由于刻度数字处于同一水平位置上,根据已获取的刻度数字“4”匹配位置进一步缩小待搜索图像区域,依次在缩小后的待搜索图像区域中,搜索并匹配刻度数字“3”、“2”、“1”……依次获取并返回其位置S3、S2、S1……;
3)根据获取的S4、S3、S2、S1……位置,结合数字匹配可信度检验,计算单位刻度的像素长度。
由于刻度尺刻度是均匀分布的,因此在刻度计算中,上述方法只需获取任意两个匹配数字的位置即可进行计算。上述算法中的可信度检验值根据不同匹配数字进行设定,防止出现误匹配及漏匹配情况。考虑到计算准确性的需要,在实际计算过程中,分别匹配每对上下对称的数字区域,取其列方向位置的均值为该数字的列方向位置,据此计算单位刻度的像素长度。
(3)利用刻度尺中心线的像素长度和单位刻度的像素长度计算尖轨伸缩位移测量值。由获得的刻度尺中心线的像素长度以及单位刻度的像素长度,经过数学计算,结合判读结果可信度检验,即得到尖轨伸缩位移测量值。
五、尖轨伸缩位移图像自动判读可信度检验方法
为保证监测结果的准确可靠,需要对尖轨伸缩位移图像自动判读进行可信度检验。具体如下:
(1)数字匹配可信度检验。通过数字可信度检验保证各个数字匹配的准确性以及单位刻度的像素长度的正确性,具体如下:
|Si-Si-1|<δs (2)
其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证。
(2)判读结果可信度检验。根据尖轨伸缩位移的先验知识,尖轨伸缩位移的变化是随时间逐步产生的,在一定采集时间内,尖轨伸缩位移的波动不会超过工程阈值,如超过阈值则提示判读结果存在误差,应进行人工核对。由此,对判读结果进行可信度检验,具体如下:
其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
由于尖轨伸缩位移监测受到各种因素的影响,可信度阈值δs、δR,根据不同尖轨伸缩位移监测地点、监测时间及监测天气等因素进行设定。
如图11和图12所示,为尖轨伸缩位移图像自动判读方法针对单张图片及批量图片得到的判读结果。如图11所示,单张图片的自动判读结果显示了图片的采集时间及其相应的尖轨位移自动判读结果,其判读结果精确到小数点后四位,单位为cm。将该自动判读结果与其人工判读结果进行比较,其误差在0.1cm之内;如图12所示,批量图片判读结果显示了本方案可判读并通过可信度检验的158幅图片自动判读结果,将自动判读结果与人工判读结果进行比较,150幅图片的结果误差在0.1cm之内,另外8幅图片的结果误差在0.1cm至0.2cm之间。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.基于图像自动判读的尖轨伸缩位移监测方法,其特征在于,该方法的步骤包括:
S1、实时获取现场尖轨伸缩位移图像;
S2、基于空间支撑的深度卷积神经网络刻度尺定位方法,对刻度尺进行鲁棒性全天候的检测及定位;
S3、基于特征色度分量积分的刻度尺精确区域提取方法,对已定位的刻度尺区域进行精确提取;
S4、结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读。
2.根据权利要求1所述的尖轨伸缩位移监测方法,其特征在于,所述步骤S2包括:
S21、基于获取的尖轨伸缩位移图像,构建用于训练的尖轨伸缩位移图像数据集;
S22、基于深度卷积神经网络算法对数据集进行训练学习,分别生成刻度尺区域及其空间支撑区域的检测及定位模型,并构建基于空间支撑的刻度尺检测及定位计算模型;
S23、基于空间支撑的刻度尺检测及定位计算模型,对所述尖轨伸缩位移图像中的刻度尺进行检测及定位。
3.根据权利要求2所述的尖轨伸缩位移监测方法,其特征在于,所述步骤S22包括:
S221、基于待训练的尖轨伸缩位移图像数据集,标注并获取待训练图像中的刻度尺区域和其空间支撑区域的Ground Truth数据;所述空间支撑区域为刻度尺区域上方的尖轨部分;
S222、基于特征色度分量积分的方法,提取可能包含刻度尺区域及其空间支撑区域的若干个推荐区域;
S223、针对刻度尺区域和其空间支撑区域,利用S221中的Ground Truth数据和S222中的推荐区域,基于深度卷积神经网络算法进行训练,分别生成刻度尺区域和其空间支撑区域的检测及定位模型;
S224、分别利用刻度尺区域和其空间支撑区域的检测及定位模型,获得二者的检测及定位结果并进行融合,利用该融合结果构建刻度尺检测及定位计算模型。
4.根据权利要求1所述的尖轨伸缩位移监测方法,其特征在于,所述步骤S3包括:
S31、利用特征色度分量积分的方法,在近水平方向上提取左右两个变化显著的局部极值点,对应刻度尺的水平边界位置;
S32、利用特征色度分量积分的方法,在近垂直方向上选取第一个和最后一个变化显著的特征色度分量积分极值点,对应刻度尺的垂直边界位置;
S33、利用S31和S32获得的水平与垂直边界位置,提取刻度尺精确区域的图像。
5.根据权利要求1所述的尖轨伸缩位移监测方法,其特征在于,所述步骤S4包括:
S41、利用特征色度分量积分法确定刻度尺中心线的像素长度;
S42、基于数字匹配法,对单位刻度的像素长度进行提取;
S43、利用刻度尺中心线的像素长度和单位刻度的像素长度计算尖轨伸缩位移测量值。
6.根据权利要求5所述的尖轨伸缩位移监测方法,其特征在于,所述步骤S42包括:
S421、在待搜索图像区域图像中计算刻度数字的相似度,并将该相似度校验值进行比较;若大于校验值,则认为该图像中存在该刻度数字,并获取其当前位置;否则,认为该图像中不存在该刻度数字;
S422、基于步骤S421,逐步缩小待搜索图像区域的范围,直至获得需要刻度的所有位置;
S423、根据获得的所需刻度的所有位置,进行数字匹配的校验,并计算单位刻度的像素长度。
7.根据权利要求1所述的尖轨伸缩位移监测方法,其特征在于,该方法进一步包括:对尖轨伸缩位移图像自动判读的结果进行可信度检验。
8.根据权利要求7所述的尖轨伸缩位移监测方法,其特征在于,所述可信度校验的步骤包括:
利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;
利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
9.基于图像自动判读的尖轨伸缩位移监测系统,其特征在于,该系统包括:
图像获取单元,用于实时获取现场尖轨伸缩位移图像;
检测及定位单元,基于空间支撑的深度卷积神经网络刻度尺定位算法,对刻度尺进行鲁棒性全天候的检测及定位;
提取单元,基于特征色度分量积分方法提取包含刻度尺区域以及其空间支撑区域的若干个推荐区域,并在刻度尺定位的基础上,提取刻度尺的精确区域;
自动判断单元,结合特征色度分量积分与数字匹配,对尖轨伸缩位移进行判读。
10.根据权利要求9所述的尖轨伸缩位移监测方法,其特征在于,该系统进一步包括:
可信度校验单元,利用判别条件:|Si-Si-1|<δs,对所述数字匹配的可信度进行校验,其中,Si、Si-1分别表示连续的两个数字i和数字i-1所匹配的位置,δs为可信度阈值,如满足条件,则认为数字匹配正确,否则转为用户人工验证;
利用判别条件:对t时刻的尖轨位移判断结果进行可信度校验,其中,Ri表示在时刻i时尖轨位移自动判读的结果,k为时间窗参数,δR为可信度阈值,如满足该条件则认为t时刻的判读结果Rt是准确可靠的,否则,转为用户人工验证。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610232538.4A CN105938554B (zh) | 2016-04-14 | 2016-04-14 | 基于图像自动判读的尖轨伸缩位移监测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610232538.4A CN105938554B (zh) | 2016-04-14 | 2016-04-14 | 基于图像自动判读的尖轨伸缩位移监测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105938554A true CN105938554A (zh) | 2016-09-14 |
CN105938554B CN105938554B (zh) | 2019-02-22 |
Family
ID=57152009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610232538.4A Active CN105938554B (zh) | 2016-04-14 | 2016-04-14 | 基于图像自动判读的尖轨伸缩位移监测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105938554B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107858883A (zh) * | 2017-11-29 | 2018-03-30 | 北京交通大学 | 一种轨道系统安全状态综合监测及智能分析方法 |
CN108596221A (zh) * | 2018-04-10 | 2018-09-28 | 江河瑞通(北京)技术有限公司 | 标尺读数的图像识别方法及设备 |
CN112342852A (zh) * | 2020-11-27 | 2021-02-09 | 上海邦诚电信技术股份有限公司 | 道岔工况综合检查器、道岔工况综合监测系统及方法 |
CN112949483A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法 |
CN114312905A (zh) * | 2021-11-25 | 2022-04-12 | 广州智为科技发展有限公司 | 一种道岔尖轨形态图像实时监测装置 |
CN116385979A (zh) * | 2023-06-07 | 2023-07-04 | 河北铁达科技有限公司 | 梁端钢轨伸缩调节器监测方法、终端、监测系统及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111399210B (zh) * | 2020-04-22 | 2021-05-04 | 中国科学院长春光学精密机械与物理研究所 | 大口径大视场望远镜粗对准方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104401360A (zh) * | 2014-11-18 | 2015-03-11 | 北京交通大学 | 基于多手段融合的铁路轨道系统安全实时监控方法及系统 |
US20150347822A1 (en) * | 2014-05-29 | 2015-12-03 | Beijing Kuangshi Technology Co., Ltd. | Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks |
CN105354572A (zh) * | 2015-12-10 | 2016-02-24 | 苏州大学 | 一种基于简化卷积神经网络的车牌自动识别系统 |
-
2016
- 2016-04-14 CN CN201610232538.4A patent/CN105938554B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150347822A1 (en) * | 2014-05-29 | 2015-12-03 | Beijing Kuangshi Technology Co., Ltd. | Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks |
CN104401360A (zh) * | 2014-11-18 | 2015-03-11 | 北京交通大学 | 基于多手段融合的铁路轨道系统安全实时监控方法及系统 |
CN105354572A (zh) * | 2015-12-10 | 2016-02-24 | 苏州大学 | 一种基于简化卷积神经网络的车牌自动识别系统 |
Non-Patent Citations (2)
Title |
---|
SIMON M ET AL: "《Part Detector Discovery in Deep Convolutional Neural Networks》", 《ASIAN CONFERENCE ON COMPUTER VISION》 * |
尹辉等: "《基于层次积分梯度的尖轨伸缩位移图像自动判读算法》", 《中国铁道科学》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107858883A (zh) * | 2017-11-29 | 2018-03-30 | 北京交通大学 | 一种轨道系统安全状态综合监测及智能分析方法 |
CN107858883B (zh) * | 2017-11-29 | 2023-10-27 | 北京交通大学 | 一种轨道系统安全状态综合监测及智能分析方法 |
CN108596221A (zh) * | 2018-04-10 | 2018-09-28 | 江河瑞通(北京)技术有限公司 | 标尺读数的图像识别方法及设备 |
CN108596221B (zh) * | 2018-04-10 | 2020-12-01 | 江河瑞通(北京)技术有限公司 | 标尺读数的图像识别方法及设备 |
CN112342852A (zh) * | 2020-11-27 | 2021-02-09 | 上海邦诚电信技术股份有限公司 | 道岔工况综合检查器、道岔工况综合监测系统及方法 |
CN112949483A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法 |
CN112949483B (zh) * | 2021-03-01 | 2022-05-03 | 浙江大学 | 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法 |
CN114312905A (zh) * | 2021-11-25 | 2022-04-12 | 广州智为科技发展有限公司 | 一种道岔尖轨形态图像实时监测装置 |
CN114312905B (zh) * | 2021-11-25 | 2023-01-13 | 广州智为科技发展有限公司 | 一种道岔尖轨形态图像实时监测装置 |
CN116385979A (zh) * | 2023-06-07 | 2023-07-04 | 河北铁达科技有限公司 | 梁端钢轨伸缩调节器监测方法、终端、监测系统及介质 |
CN116385979B (zh) * | 2023-06-07 | 2023-09-05 | 河北铁达科技有限公司 | 梁端钢轨伸缩调节器监测方法、终端、监测系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105938554B (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105938554A (zh) | 基于图像自动判读的尖轨伸缩位移监测方法及系统 | |
CN103425967B (zh) | 一种基于行人检测和跟踪的人流监控方法 | |
CN106919915B (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
CN107506798B (zh) | 一种基于图像识别的水位监测方法 | |
CN110246130B (zh) | 基于红外和可见光图像数据融合的机场道面裂缝检测方法 | |
CN107025432B (zh) | 一种高效的车道线检测跟踪方法及系统 | |
CN104637073B (zh) | 一种基于太阳照射阴影补偿的带状地下结构探测方法 | |
CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN103714343B (zh) | 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法 | |
CN104536009B (zh) | 一种激光红外复合的地面建筑物识别及导航方法 | |
CN103886594B (zh) | 路面线激光车辙检测与识别方法及处理系统 | |
CN102915433B (zh) | 基于字符组合的车牌定位和识别方法 | |
CN106056619A (zh) | 基于梯度约束Radon变换的无人机视觉电线巡检方法 | |
CN110033411A (zh) | 基于无人机的公路施工现场全景图像高效拼接方法 | |
CN109766746A (zh) | 一种无人机航拍视频的轨道异物检测方法 | |
CN105158257A (zh) | 滑板测量方法及装置 | |
CN105488811A (zh) | 一种基于深度梯度的目标跟踪方法与系统 | |
CN105608429A (zh) | 基于差分激励的鲁棒车道线检测方法 | |
CN111238365B (zh) | 基于立体视觉的地铁列车测距和定位方法及系统 | |
CN110472527A (zh) | 一种轨道线检测方法及系统 | |
CN106709952A (zh) | 一种显示屏幕的自动标定方法 | |
Chen et al. | MRSI: A multimodal proximity remote sensing data set for environment perception in rail transit | |
CN103778625A (zh) | 基于遥感图像变化检测算法的地物智能搜索技术 | |
Guo et al. | Visibility detection approach to road scene foggy images | |
CN104156946A (zh) | 一种空间绳系机器人抓捕区域内的障碍物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |