CN115575407B - 一种应用于轨道与隧道的检测方法 - Google Patents

一种应用于轨道与隧道的检测方法 Download PDF

Info

Publication number
CN115575407B
CN115575407B CN202211559813.5A CN202211559813A CN115575407B CN 115575407 B CN115575407 B CN 115575407B CN 202211559813 A CN202211559813 A CN 202211559813A CN 115575407 B CN115575407 B CN 115575407B
Authority
CN
China
Prior art keywords
image
track
camera
tunnel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211559813.5A
Other languages
English (en)
Other versions
CN115575407A (zh
Inventor
韩毅
刘丹丹
康南
吕豪杰
赵玺龙
陈志丹
周在福
宋斌斌
孙炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unittec Co Ltd
Original Assignee
Unittec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unittec Co Ltd filed Critical Unittec Co Ltd
Priority to CN202310371241.6A priority Critical patent/CN116626040A/zh
Priority to CN202211559813.5A priority patent/CN115575407B/zh
Publication of CN115575407A publication Critical patent/CN115575407A/zh
Application granted granted Critical
Publication of CN115575407B publication Critical patent/CN115575407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种应用于轨道与隧道的检测方法，所述检测方法具体为：对相机进行相机标定，确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系；通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄，基于拍摄的图像重建轨道和隧道的三维图像，基于轨道和隧道的三维图像进行病变检测；根据病变检测结果确定检测到病变的对应图像帧，根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息。本发明不需要人工控制检测仪器，直接通过轨道检测小车上相机拍摄到的图像即可实现轨道和隧道内病变情况的检测，提高了检测效率和检测精度，隧道检测小车速度可控，从而保障检测的安全性。

Description

一种应用于轨道与隧道的检测方法
技术领域
本发明涉及轨道和隧道检测技术领域，尤其是指一种应用于轨道与隧道的检测方法。
背景技术
目前轨道和隧道的检测技术主要分为两种，一种是传统的静态测量技术，即人工利用全站仪、轨距传感器等测量工具对轨道进行检测，另外一种则是动态检测技术，该检测技术将里程修正、惯性测量、数字图像测量、无线通信等目前最为先进的技术整合在高速列车上，在列车运行的同时，就可以实时对轨道参数、接触网状态等相关项目进行测量。在铁路建设阶段和调试阶段，主流方法依旧为静态测量，而在静态测量技术中，轨道检测小车应用最为广泛。轨道检测小车主要由两部分组成，一部分是测量小车，其车身上设置有机身棱镜、工控机以及针对轨道轨距、轨道水平等参数的专用测量装置，而另一部分则是通信小车，主要安装高精度的全站仪和无线通讯模块。现有的轨道检测小车不仅可以对轨距、轨向、水平、高低、扭曲等轨道内部几何状态进行测量，还可以对轨道中线偏差、高程偏差等外部几何状态进行测量。
无论是静态测量技术还是动态检测技术，均能够实现对于轨道和隧道的检测，但两者的缺点也很明显，静态测量技术的缺点是自动化程度不高，检测效率和检测精度都较低，同时对外界的环境也有更多的要求。此外，由于通信小车的存在，静态测量技术只能够应用在铁路运营阶段，实现对于轨道进行检测，这也就使得检测过程中对于接触网的依赖性较强。而动态检测技术则因为需要通过高速列车来实现检测，高速列车的行驶环境使得搭乘在高速列车上的传感器易受到损伤，检测安全性无法得到保障，且高速列车的高行驶速度也会使得出现其获取的拍摄图像精度不够、标定困难、易受阳光干扰等问题。
发明内容
本发明的目的是克服现有技术中的缺点，提供一种应用于轨道与隧道的检测方法，通过在轨道检测小车上安装相机来对轨道和隧道进行三维图像重构，并基于重构的三维图像来实现对于轨道和隧道内病变的自动检测，并能够通过相机位置实现对于病变的定位和种类判断，能够解决静态测量技术中依靠人工操控轨道检测小车时存在的检测效率和检测精度较低，以及动态检测技术中依靠高速列车进行检测时存在的检测安全性不高、标定困难等问题，使得能够在保障轨道和隧道检测安全的同时，保障检测效率和检测精度。
本发明的目的是通过下述技术方案予以实现：
一种应用于轨道与隧道的检测方法，包括：
对相机进行相机标定，根据相机标定结果确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系；
通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄，通过相机的连续帧拍摄图像重建轨道和隧道的三维图像，基于轨道和隧道的三维图像进行病变检测；
根据病变检测结果确定检测到病变的对应图像帧，根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息；
根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息的具体过程为：
确定每一帧图像拍摄时相机对应的拍摄位置；
基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取，根据关键帧图像对应的相机拍摄位置以及轨道和隧道内的点与相机成像图像中的像素位置的对应关系确定每个关键帧图像对应病变的位置信息；
所述确定每一帧图像拍摄时，相机对应的拍摄位置的具体过程为：
获取轨道和隧道中的一组点P，P点在某一帧与相邻帧的投影点分别为点P1和点P2，并设置一个欧式变换，根据点P1和点P2基于最小二乘法计算得到欧式变换公式，基于计算得到的欧式变换公式获取每一帧图像拍摄时相机对应的拍摄位置。
进一步的，所述相机标定的具体过程为：选择标定板，设置标定图像，并确定标定图像中的若干个固定区域，测试标定板平面与相机坐标系原点的距离，并将测试所得距离设置为相机采集到图像中的所有固定区域内所有像素点在相机坐标系中的X坐标值，选择第一个固定区域，计算第一个固定区域的上边沿与测量激光测距仪激光点的距离值，基于计算得到的距离值以及选择的固定区域的宽度计算相机采集到图像中第一个固定区域中心在相机坐标系中的Y坐标值，基于第一个固定区域中心在相机坐标系中的Y坐标系确定所有固定区域中心点在相机坐标系中的Y坐标值，基于每个固定区域中心点在相机坐标系中的X坐标值以及Y坐标值确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系。
进一步的，基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取的具体过程为：确定距离上一次重定位的帧数，选取距离上一次重定位超过预设帧数的图像帧，对选取出的图像帧进行特征点数统计，选取特征点数超过预设阈值的图像帧作为关键帧。
进一步的，在选取关键帧后，还通过机器学习算法对关键帧图像进行病变类型识别，根据病变类型识别结果确定轨道与隧道内病变的种类信息。
进一步的，通过机器学习算法对关键帧图像进行病变类型识别时，还对关键帧图像进行网络增强。
进一步的，所述对关键帧图像进行网络增强，并通过机器学习算法对关键帧图像进行病变类型识别的具体过程为：网络增强算法将关键帧图像划分为M×N个矩形格子，每个格子基于机器学习算法处理落在自身格子中的图像信息，每个格子在完成图像信息处理后，返回其对应图像信息的处理结果，根据每个格子返回的图像信息的处理结果确定关键帧图像内病变的种类信息。
进一步的，所述图像信息的处理结果包括像素中心点位置坐标、宽度、深度和置信度以及该图像信息属于病变物体类别的概率信息。
进一步的，所述根据点P1和点P2基于最小二乘法计算得到欧式变换公式时，先确定通过设置的欧式变换使得点P1和点P2重合时的误差函数，基于误差函数、点P1和点P2构建最小二乘问题，求解最小二乘问题，根据最小二乘问题的求解结果获取欧式变换公式。
进一步的，通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄时，还将相机与惯导通过紧耦合形式进行融合。
进一步的，通过视觉重投影误差和对惯导进行预积分来将相机与惯导进行融合。
本发明的有益效果是：
能够基于轨道检测小车直接实现对于轨道和隧道的检测，且通过相机标定来保障在不同速度下的检测精度。不需要人工控制检测仪器，仅直接通过轨道检测小车上相机拍摄到的图像即可实现轨道和隧道三维图像的重构，检测效率得到明显提高，且通过三维图像即可实现对于轨道和隧道内病变情况的检测，还能够支持轨道的深处病变检测，进一步保障检测精度。而轨道检测小车的速度能够进行控制，不会出现因速度过快而影响检测的安全性。在完成病变检测后，还能够基于拍摄到的图像直接对病变的定位和种类进行识别，处理效率也能够得到有效提高。
附图说明
图1是本发明的一种流程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步描述。
一种应用于轨道与隧道的检测方法，如图1所示，包括：
对相机进行相机标定，根据相机标定结果确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系；
通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄，通过相机的连续帧拍摄图像重建轨道和隧道的三维图像，基于轨道和隧道的三维图像进行病变检测；
根据病变检测结果确定检测到病变的对应图像帧，根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息。
根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息的具体过程为：
确定每一帧图像拍摄时相机对应的拍摄位置；
基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取，根据关键帧图像对应的相机拍摄位置以及轨道和隧道内的点与相机成像图像中的像素位置的对应关系确定每个关键帧图像对应病变的位置信息；
所述确定每一帧图像拍摄时，相机对应的拍摄位置的具体过程为：
获取轨道和隧道中的一组点P，P点在某一帧与相邻帧的投影点分别为点
Figure 484182DEST_PATH_IMAGE001
和点
Figure 547953DEST_PATH_IMAGE002
，并设置一个欧式变换O，在欧 式变换O的影响下，
Figure 543591DEST_PATH_IMAGE003
。定义此时第j个点对应的误差项为
Figure 274787DEST_PATH_IMAGE004
，基于误 差函数、点P1和点P2构建最小二乘问题，即通过求得误差项的平方和来达到极小的欧式变 换O，具体的，其最小二乘问题对应的公式为：
Figure 189522DEST_PATH_IMAGE005
。求解最小二乘问 题时，需要先定义两组点的质心，
Figure 475010DEST_PATH_IMAGE006
。然后对误差函数进行 处理，得到
Figure 8759DEST_PATH_IMAGE007
。定义
Figure 286524DEST_PATH_IMAGE008
，为了分解误差项，定义
Figure 778685DEST_PATH_IMAGE009
，并对T 进行SVD分解，从而得到欧式变换O的具体公式。
此外，考虑到最小二乘问题在计算误差项时，可能提供一个错误的参考值，而二范数的平方会导致这个错误的值增长很快，进而导致算法不收敛，使得后续的定位和分类出现错误，所以为了提高算法鲁棒性，增加了一个约束函数Y(e)，所述约束函数Y(e)的表达式为：
Figure 817048DEST_PATH_IMAGE010
；
其中，e为误差项的参考值，
Figure 888909DEST_PATH_IMAGE011
为预设值。
基于计算得到的欧式变换公式能够获取每一帧图像拍摄时相机对应的拍摄位置。
求解最小二乘问题，根据最小二乘问题的求解结果获取欧式变换公式。
本实施例中具体采用6台相机来实现对于隧道弧面的检测，且将每台相机距检测面的高度设置为2.15米，并保障6台相机安装在同一个弧面上，从而保障线阵相机拍摄图像的清晰度。
除了相机以外，轨道检测小车上还设置有3D扫描仪， 3D扫描仪配合相机拍摄的图像能够实现对于轨道和隧道的三维重构，因3D扫描仪的扫描精度会随着安装高度的增加而递减，本实施例中选择3D扫描仪的安装高度为与轨底相距0.23m。
且轨道检测小车的速度可控，可以根据检测需求以及轨道和隧道的具体情况来进行设置。
所述相机标定的具体过程为：选择标定板，设置标定图像，并确定标定图像中的若干个固定区域，测试标定板平面与相机坐标系原点的距离，并将测试所得距离设置为相机采集到图像中的所有固定区域内所有像素点在相机坐标系中的X坐标值，选择第一个固定区域，计算第一个固定区域的上边沿与测量激光测距仪激光点的距离值，基于计算得到的距离值以及选择的固定区域的宽度计算相机采集到图像中第一个固定区域中心在相机坐标系中的Y坐标值，基于第一个固定区域中心在相机坐标系中的Y坐标系确定所有固定区域中心点在相机坐标系中的Y坐标值，基于每个固定区域中心点在相机坐标系中的X坐标值以及Y坐标值确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系。
具体的，本实施例中所选择的标定板为L型标定板，并将标定图像设置为黑白相间图案，且每一个黑色和白色的边界都相互平行，每个黑色条纹带的宽度为20mm，每个白色条纹带的宽度是 50mm，相邻的两个黑色条纹的中心线间距为70mm。进行相机标定时所采用的固定区域即为所述黑色条纹带。
在确定标定图像中的固定区域后，基于标定板上固定区域的位置实现相机标定。而相机标定的目的就是将标定板上的固定点，即所述固定区域的中心点，在两个线阵相机成像图像中的像素位置作为输入变量，将该固定点在相机坐标系中的实际坐标值作为输出变量，通过多个固定点的输入输出变量值来寻找两者之间的对应关系。
而在计算选择的固定区域的上边沿与测量激光测距仪激光点的距离值前，需要设置相机位置和标定架位置，在设置完成后，调整相机对焦环，通过相机拍摄标定图像。在拍摄获取标定图像后，需要测量标定板平面到相机坐标系原点的距离，该距离即为拍摄到的标定图像中的点在相机坐标系中的 X 坐标值，具体通过激光测距仪来实现距离检测，所述激光测距仪设置在标定板上方。在确定X坐标值后，测量激光测距仪激光点到第一个黑色条纹上边沿的距离值，第一个黑色条纹即为第一个固定区域，由于黑色条纹和白色条纹的宽度均已知，便可以通过黑色条纹和白色条纹的宽度推算出每一个黑色条纹中心在相机坐标系中的 Y 坐标值。
在确定每个固定区域中心点在相机坐标系中的X坐标值以及Y坐标值后，能够通过多元非线性回归法来确定系数的辨识，从而确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系。
基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取的具体过程为：确定距离上一次重定位的帧数，选取距离上一次重定位超过预设帧数的图像帧，对选取出的图像帧进行特征点数统计，选取特征点数超过预设阈值的图像帧作为关键帧。
对于有病变的图像帧进行关键帧选取，并将没有病变的图像帧直接认定为普通帧，在后续通过机器学习算法进行病变类型识别时，能够减少计算工作量，从而提高识别精度和识别效率。
在选取关键帧后，还通过机器学习算法对关键帧图像进行病变类型识别，根据病变类型识别结果确定轨道与隧道内病变的种类信息。
通过机器学习算法对关键帧图像进行病变类型识别时，还对关键帧图像进行网络增强。
所述对关键帧图像进行网络增强，并通过机器学习算法对关键帧图像进行病变类型识别的具体过程为：网络增强算法将关键帧图像划分为M×N个矩形格子，每个格子基于机器学习算法处理落在自身格子中的图像信息，每个格子在完成图像信息处理后，返回其对应图像信息的处理结果，根据每个格子返回的图像信息的处理结果确定关键帧图像内病变的种类信息。
所述图像信息的处理结果包括像素中心点位置坐标、宽度、深度和置信度以及该图像信息属于病变物体类别的概率信息。
通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄时，还将相机与惯导通过紧耦合形式进行融合。
由于光靠相机实现病变的定位不一定很准确，有些时候会导致定位不准、精度不高的情况，为了处理上述问题，将相机与惯导进行融合，所述惯导即为惯性导航系统，能够辅助相机拍摄图像更好的实现定位。
通过视觉重投影误差和对惯导进行预积分来将相机与惯导进行融合。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.一种应用于轨道与隧道的检测方法，其特征在于，包括：
对相机进行相机标定，根据相机标定结果确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系；
通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄，通过相机的连续帧拍摄图像重建轨道和隧道的三维图像，基于轨道和隧道的三维图像进行病变检测；
根据病变检测结果确定检测到病变的对应图像帧，根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息；
根据检测到病变的对应图像帧确定轨道和隧道内病变的位置信息的具体过程为：
确定每一帧图像拍摄时，相机对应的拍摄位置；
基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取，根据关键帧图像对应的相机拍摄位置以及轨道和隧道内的点与相机成像图像中的像素位置的对应关系确定每个关键帧图像对应病变的位置信息；
所述确定每一帧图像拍摄时，相机对应的拍摄位置的具体过程为：
获取轨道和隧道中的一组点P，P点在某一帧与相邻帧的投影点分别为点P1＝{pj}(j＝1，2，...，n)和点P2＝{p′j}(j＝1，2，...，n)，并设置一个欧式变换O，在欧式变换O的影响下，pj＝Op′j，定义此时第j个点对应的误差项为ej＝pj-Op′j，基于误差函数、点P1和点P2构建最小二乘问题，即通过求得误差项的平方和来达到极小的欧式变换O，其最小二乘问题对应的公式为：
Figure FDA0004093726720000021
求解最小二乘问题时，需要先定义两组点的质心，/>
Figure FDA0004093726720000022
然后对误差函数进行处理，得到
Figure FDA0004093726720000023
定义qj＝pj-p，q′j＝p′j-p′，为了分解误差项，定义OTO＝I，/>
Figure FDA0004093726720000024
Figure FDA0004093726720000025
并对T进行SVD分解，从而得到欧式变换O的具体公式，基于计算得到的欧式变换公式获取每一帧图像拍摄时相机对应的拍摄位置；
基于检测到病变的对应图像帧对相机拍摄到的每一帧图像进行关键帧选取的具体过程为：确定距离上一次重定位的帧数，选取距离上一次重定位超过预设帧数的图像帧，对选取出的图像帧进行特征点数统计，选取特征点数超过预设阈值的图像帧作为关键帧。
2.根据权利要求1所述的一种应用于轨道与隧道的检测方法，其特征在于，所述相机标定的具体过程为：选择标定板，设置标定图像，并确定标定图像中的若干个固定区域，测试标定板平面与相机坐标系原点的距离，并将测试所得距离设置为相机采集到图像中的所有固定区域内所有像素点在相机坐标系中的X坐标值，选择第一个固定区域，计算第一个固定区域的上边沿与测量激光测距仪激光点的距离值，基于计算得到的距离值以及选择的固定区域的宽度计算相机采集到图像中第一个固定区域中心在相机坐标系中的Y坐标值，基于第一个固定区域中心在相机坐标系中的Y坐标系确定所有固定区域中心点在相机坐标系中的Y坐标值，基于每个固定区域中心点在相机坐标系中的X坐标值以及Y坐标值确定轨道和隧道内的点与相机成像图像中的像素位置的对应关系。
3.根据权利要求1所述的一种应用于轨道与隧道的检测方法，其特征在于，在选取关键帧后，还通过机器学习算法对关键帧图像进行病变类型识别，根据病变类型识别结果确定轨道与隧道内病变的种类信息。
4.根据权利要求1所述的一种应用于轨道与隧道的检测方法，其特征在于，通过机器学习算法对关键帧图像进行病变类型识别时，还对关键帧图像进行网络增强。
5.根据权利要求4所述的一种应用于轨道与隧道的检测方法，其特征在于，所述对关键帧图像进行网络增强，并通过机器学习算法对关键帧图像进行病变类型识别的具体过程为：网络增强算法将关键帧图像划分为M×N个矩形格子，每个格子基于机器学习算法处理落在自身格子中的图像信息，每个格子在完成图像信息处理后，返回其对应图像信息的处理结果，根据每个格子返回的图像信息的处理结果确定关键帧图像内病变的种类信息。
6.根据权利要求5所述的一种应用于轨道与隧道的检测方法，其特征在于，所述图像信息的处理结果包括像素中心点位置坐标、宽度、深度和置信度以及该图像信息属于病变物体类别的概率信息。
7.根据权利要求1所述的一种应用于轨道与隧道的检测方法，其特征在于，通过轨道检测小车上安装的若干个相机对轨道与隧道进行连续帧拍摄时，还将相机与惯导通过紧耦合形式进行融合。
8.根据权利要求7所述的一种应用于轨道与隧道的检测方法，其特征在于，通过视觉重投影误差和对惯导进行预积分来将相机与惯导进行融合。
CN202211559813.5A 2022-12-07 2022-12-07 一种应用于轨道与隧道的检测方法 Active CN115575407B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310371241.6A CN116626040A (zh) 2022-12-07 2022-12-07 一种轨道与隧道的病变检测方法
CN202211559813.5A CN115575407B (zh) 2022-12-07 2022-12-07 一种应用于轨道与隧道的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559813.5A CN115575407B (zh) 2022-12-07 2022-12-07 一种应用于轨道与隧道的检测方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310371241.6A Division CN116626040A (zh) 2022-12-07 2022-12-07 一种轨道与隧道的病变检测方法

Publications (2)

Publication Number Publication Date
CN115575407A CN115575407A (zh) 2023-01-06
CN115575407B true CN115575407B (zh) 2023-05-26

Family

ID=84590276

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211559813.5A Active CN115575407B (zh) 2022-12-07 2022-12-07 一种应用于轨道与隧道的检测方法
CN202310371241.6A Pending CN116626040A (zh) 2022-12-07 2022-12-07 一种轨道与隧道的病变检测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310371241.6A Pending CN116626040A (zh) 2022-12-07 2022-12-07 一种轨道与隧道的病变检测方法

Country Status (1)

Country Link
CN (2) CN115575407B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118071832A (zh) * 2024-04-19 2024-05-24 湖南蓝天机器人科技有限公司 一种基于激光识别的rgv小车视觉定位方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768762A (zh) * 2012-06-18 2012-11-07 同济大学 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103674963A (zh) * 2013-11-15 2014-03-26 上海嘉珏实业有限公司 一种基于数字全景摄像的隧道检测装置及其检测方法
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
CN109060821B (zh) * 2018-07-10 2021-05-04 深圳大学 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN109253706B (zh) * 2018-08-24 2020-07-03 中国科学技术大学 一种基于数字图像的隧道三维形貌测量方法
CN110726726A (zh) * 2019-10-30 2020-01-24 中南大学 一种隧道成型质量及其缺陷的定量化检测方法及系统
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN114638794A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于深度学习和slam技术的裂缝检测与三维定位方法
CN115147566A (zh) * 2022-06-27 2022-10-04 长安大学 基于多线激光的隧道衬砌三维结构的建模方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768762A (zh) * 2012-06-18 2012-11-07 同济大学 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cheng Xu等.3D target localization based on multiunmanned aerial vehicle cooperation.《MEASUREMENT AND CONTROL》.2021,895-907. *
彭翔 ; 殷永凯 ; 刘晓利 ; 李阿蒙 ; .基于相位辅助的三维数字成像与测量.光学学报.2011,第31卷(第09期),1-13. *

Also Published As

Publication number Publication date
CN116626040A (zh) 2023-08-22
CN115575407A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN112433203B (zh) 一种基于毫米波雷达数据的车道线形检测方法
CN102032875B (zh) 一种基于图像处理的电缆护套厚度测量方法
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN104657711B (zh) 一种鲁棒的指针式仪表读数自动识别方法
CN103207987A (zh) 一种指针式仪表的示数识别方法
CN105823416A (zh) 多相机测量物体的方法和装置
CN109060820B (zh) 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN107817044B (zh) 基于机器视觉的板材振动的测量装置及方法
CN111292241B (zh) 一种大口径光学元件分区域扫描拼接方法
CN103630088A (zh) 基于双激光带的高精度隧道断面检测方法及装置
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN106935683A (zh) 一种太阳能电池片高速视觉定位及矫正系统及其方法
CN104833317A (zh) 基于对称双线激光角度可控的中厚钢板形貌检测系统及其方法
CN115575407B (zh) 一种应用于轨道与隧道的检测方法
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN103913149A (zh) 一种基于stm32单片机的双目测距系统及其测距方法
CN104930976A (zh) 便携式裂纹长度测量装置及方法
CN111539436A (zh) 一种基于一字模板匹配的轨道扣件定位方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN103810676A (zh) 一种钢管运行速度的监测方法
CN112461122A (zh) 一种隧道表面特征检测装置及方法
CN111815580B (zh) 一种图像边缘识别方法及小模数齿轮模数检测方法
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant