CN111768417B - 基于单目视觉3d重建技术的铁路货车超限检测方法 - Google Patents
基于单目视觉3d重建技术的铁路货车超限检测方法 Download PDFInfo
- Publication number
- CN111768417B CN111768417B CN202010580778.XA CN202010580778A CN111768417B CN 111768417 B CN111768417 B CN 111768417B CN 202010580778 A CN202010580778 A CN 202010580778A CN 111768417 B CN111768417 B CN 111768417B
- Authority
- CN
- China
- Prior art keywords
- freight train
- point cloud
- overrun
- video
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
基于单目视觉3D重建技术的铁路货车超限检测方法，包括以下步骤：搭载单目相机的无人机，通过单目相机对铁路货车即目标货运列车进行摄像，获取铁路货车的视频；视频通过无线传输装置进行传输；视频存储装置接收从无线传输装置传输过来的视频并进行存储；再通过计算机对视频存储装置中的视频进行解帧处理，将视频解帧为连续序列图像；计算机根据连续序列图像生成场景点云图；将生成的场景点云图进行处理；计算机进行超限检测判断；在计算机中进行图形运算，得出超限检测判断结果。使用本发明，检测设备成本低、检测质量高。
Description
技术领域
本发明涉及一种基于单目视觉3D重建技术的铁路货车超限检测方法。
背景技术
铁路部门目前在货运列车超限检测作业中主要依靠人工携带皮尺手动测量或使用大型固定式的龙门测量方法进行检测。依靠人工携带皮尺手动测量作业流程中，需要职工爬上货运列车拉标尺，测长度。职工不但作业强度较高，同时也面临很大的人身安全风险，作业效率和准确率也收到职工业务熟练度的影响，对操作者有特殊的技能要求。在运用龙门架和激光等检测方法时，需要列车缓慢通过检测区域，且需要重新停车以及估计超限位置。
后来出现了铁路货车超限检测系统，铁路货车超限检测系统是辅助铁路工作人员进行判断货车是否超限的一种辅助性工具，该系统由可以提高铁路工作人员作业效率，减轻工作强度。目前已有的超限检测系统主要基于两种技术方案，一种是基于激光技术，另一种是基于CCD相机技术。
CN201920303485.X公开了一种铁路运输超限检测仪，利用激光探测组件、信号处理电路和报警设备组成了铁路列车超限检测系统，该系统能够在列车通过检测系统后判定出列车是否存在超限部位。该系统的主要缺点有：只能检测移动通过的列车，无法对静止状态下的列车实现超限测量；激光传感器容易受到阳光等环境因素影响，对作业场所有着较高要求；检测位置有限，由于传感器安装位置限制，只能实现对列车上部的超限测量，无法对货运列车整体进行超限检测；检测设备成本高，激光探测组件价格高昂，需要频繁维护。
CN 201710617329.6公开了一种铁路货车限界自动化测量方法，利用工业CCD相机群组建立待测列车三维模型实现超限检测。该方案中使用的设备系统构成复杂，成本高昂；使用时需要现场手动标定CCD相机，对操作者的熟练度要求较高；同时容易CCD相机容易受到阳光等环境因素影响，因而应用范围有限，同时装备成本较高，限制了产品的进一步推广。
发明内容
本发明要解决的技术问题是，克服现有技术存在的上述缺陷，提供一种检测设备成本低、检测质量高的基于单目视觉3D重建技术的铁路货车超限检测方法。
本发明解决其技术问题所采用的技术方案是：
基于单目视觉3D重建技术的铁路货车超限检测方法，包括以下步骤：
步骤(1)：搭载单目相机的无人机，通过单目相机对铁路货车即目标货运列车进行摄像，获取铁路货车的视频。
步骤(2)：需将步骤(1)中通过单目相机摄像得到的视频，通过无线传输装置进行传输。
步骤(3)：视频存储装置接收从无线传输装置传输过来的视频并进行存储。
步骤(4)：再通过计算机对视频存储装置中的视频进行解帧处理，将视频解帧为连续序列图像。
步骤(5)：计算机根据步骤(2)得到的连续序列图像生成场景点云图。
步骤(6)：将生成的场景点云图进行处理。
步骤(7)：计算机进行超限检测判断。
步骤(8)：在计算机中进行图形运算，得出超限检测判断结果。
进一步，所述步骤(5)中，计算机根据步骤(2)得到的连续序列图像生成场景点云图，具体包括如下步骤：
步骤(5-1)、视觉里程计：利用由视频解帧而来的连续序列图像帧构建视觉里程计，构成视觉里程计的过程中存在相机位姿及场景位置等参数。
步骤(5-2)、回环检测：利用回环检测功能进一步减少相机位姿和场景位置的参数误差。即对于相机位姿和场景位置的参数误差，利用回环检测进行减少。
步骤(5-3)、非线性优化：对相机位姿及场景位置等参数进行非线性优化，提高解算精度。
回环检测和非线性优化都是减小误差的环节，区别在于，回环检测主要用于减少长时间后的累计误差；非线性优化主要用来减少相邻帧之间的误差；利用回环检测，可以更换非线性优化中相邻的某些帧，精确度更高。
步骤(5-4)、生成场景点云图：利用(5-3)获得的非线性优化后的相机位姿参数和场景位置参数生成场景点云图
进一步，所述步骤(6)中，将生成的场景点云图进行处理，具体包括如下步骤：
步骤(6-1)、分割场景得到目标货运列车：根据获得的场景点云图，对场景点云进行分割处理，获取目标货运列车所在位置的点云，除去范围内其他点云。
步骤(6-2)、对场景点云滤波降噪处理：对分割后的目标货运列车点云进行滤波降噪处理，减少目标货运列车点云中非目标部分噪点。
步骤(6-3)、提取轨道平面：对降噪处理后得到的目标货运列车点云，利用平面分割算法在目标货运列车点云中提取轨道平面。
步骤(6-4)、建立以轨道平面为基准的新坐标系：以轨道平面为基准面建立新坐标系。
步骤(6-5)、目标货运列车转化到新坐标系中：通过转换矩阵将步骤(6-2)降噪处理后的目标货运列车点云坐标转换为新坐标系坐标。
步骤(6-6)、获取目标货运列车点云切片：在新坐标系中，将目标货运列车点云沿X轴方向均匀分成10000份，获取点云切片。
进一步，所述步骤(7)中，计算机进行超限检测判断，具体包括如下步骤：
步骤(7-1)、目标货运列车投影生成横截面图形：将点云切片中的点云沿新坐标系的X轴方向进行投影，在YZ面上生成点云二维图形，生成点云二维图形的即可认定为目标货运列车横截面图形。
步骤(7-2)、获取货运列车标准界限图形：获取货运列车界限图形。向计算机输入货运列车类型的界限条件信息，计算机根据输入的货运列车类型的界限条件信息，生成货运列车标准界限图形。
进一步，所述步骤(8)中，在计算机中进行图形运算，得出超限检测判断结果，具体是指：将步骤(7-2)生成的货运列车标准界限图形与目标货运列车横截面图形进行图形运算，即在同一二维坐标系中进行比对，得到超限检测结果。
进一步，步骤(6-1)中，分割场景得到目标货运列车的过程中，在确定目标货运列车车体所处坐标范围的情况下，利用直通滤波器直接分割出目标货运列车车体所在位置的点云。
进一步，步骤(6-2)中，对场景点云进行滤波降噪处理过程中，对分割出的场景点云，即目标货运列车点云，利用半径滤波器和体素滤波器，设定阈值，进行滤波处理，除去目标货运列车车身周围噪音点云。
进一步，步骤(6-3)提取轨道平面过程中，对生成的目标货运列车点云进行滤波降噪处理后，利用平面分割算法提取出点云中轨道基准面。
进一步，步骤(6-4)以轨道平面为基准建立新坐标系时，计算出轨道平面的法向量，在轨道平面上的其中一条铁轨表面取一点作为原点，在该铁轨延伸方向上取一点，原点到该点的方向即为X轴；轨道平面的法向量为Z轴；垂直于XZ平面的向量为Y轴方向。通过上述原点以及XYZ轴方向，确定了以轨道面为基准，以目标货运列车高度方向为Z轴的新坐标系。通过换算得出新旧坐标系之前的旋转矩阵R和平移矩阵T。利用变换矩阵将目标货运列车点云中所有点的坐标变换为新坐标系中的坐标。
进一步，步骤(6-6)获取目标货运列车点云切片时，在新建立的坐标系中，确定目标货运列车车身长度方向上的，即X轴方向上的分布长度，沿着X轴方向，将目标货运列车沿着车身均匀划分为10000份。每份点云标记为Pi(i＝10000)。
进一步，步骤(7-1)目标货运列车投影生成横截面图形时，目标货运列车投影生成横截面图形过程中，在每份点云中，将每个点的YZ轴坐标导出，可以生成YZ平面二维点云图形。由于每份长度小，YZ平面上生成的二维点云图形近似于货运列车横截面图形。
进一步，步骤(7-2)获取货运列车标准界限图形时，向计算机输入货运列车类型的界限条件信息即二级界限数据和一级界限数据，生成货运列车标准界限图形的第二级超限图形和第一级超限图形。
进一步，所述步骤(8)中，在计算机图形运算过程中，将目标货运列车横截面图形与货运列车标准界限图形匹配到同一个二维坐标系中进行比较。货运列车标准界限图形包括第一级超限图形和第二级超限图形。
当目标货运列车横截面图形不能被货运列车标准界限图形的第二级超限图形完全包括在内，表明该货运列车二级超限；
当目标货运列车横截面图形货运列车标准界限图形的第二级超限图形完全包括在内，但不能被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车一级超限；
当目标货运列车横截面图形被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车未超限。
本发明的有益效果：
(1)极大程度上降低测量设备的成本(单目相机和无人机以及计算机设备价格合理)。传统的铁路货车超限检测方法是高精度激光检测(成本高，操作难)、大型固定式的龙门测量方法(成本高)以及人工皮尺测量(成本低)。前两种方法设备成本高昂，难以在铁路行业内大规模推广应用。本方法所采用的设备价格合理，兼容性强。
(2)超限检测理论新颖。本方法与传统的铁路货车超限检测方法从理论上进行了创新。本方法依靠单目相机对目标货运列车进行视频数据采集，然后从视频的每一帧图片中演算每个2D像素点在真实的世界里的坐标值，从而重构出目标火车的3D尺寸，进而进行超限检测判定。
(3)自动化测量。本发明对铁路货运列车限界自动检测，代替传统的人工皮尺测量(成本低)或者大型固定式的龙门测量方法(成本高)，自动获取货车整车的外表三维点云并和已知标准界限进行超限判断，检测过程中人工参与少，基本上实现了自动化测量。
(4)快速精确。本发明采用无人机载运的单目相机获取影像数据，采用一种实时单目视觉三维重建法作为重建货运列车三维点云的方法，快速恢复货运列车点云，检测系统运行时间少，检测结果精确。
(5)非固定式检测装备。本方法采用搭载单目相机的无人机对目标货运列车进行围绕飞行。不涉及类似于龙门架等需要现场装配的部件，检测时对被测物体的所在位置无特殊要求。在检测过程中，目标货运列车保持静止状态。在运用龙门架和激光等检测方法时，需要列车缓慢通过检测区域。本方法与龙门架和激光等检测方法相比，省去了货运列车启动发车环节，节省了人力和油料。同时一旦发现超限状况，能够让工作人员立刻到货运列车相关部位进行货物调整，而龙门架和激光等检测方法还需要重新停车以及估计超限位置。
(6)对操作者没有特殊的技能要求。传统货运列车超限检测作业即主要依靠人工携带皮尺手动测量的方式，对操作者有特殊的技能要求。本方法中涉及的主要操作是对无人机进行飞行控制。在检修场所固定的情况下，可以通过对无人机进行路径设置来实现一键起飞降落，极大减少了铁路员工的工作量和工作强度，同时对操作者无技能熟练度方面的特殊要求。
本发明利用普通单目相机对目标铁路货运列车进行视频数据采集，并实现目标铁路货运列车3D点云重建。在对3D点云处理的基础上最终实现货运列车的超限检测，检测设备成本低，检测精度和质量高，检测便利。在检测设备方面，本方法对设备性能要求低、设备成本合理；在实际操作方面，本方法操作简便、不涉及精密装配，无需现场人工标定，非固定式，对操作者要求低。
附图说明
图1为本发明基于单目视觉3D重建技术的铁路货车超限检测方法流程图。
图2为图1所示铁路货车超限检测方法中步骤(4)-步骤(8)的详细流程图。
图3为本发明中视觉里程计实现过程流程图。
图4为本发明中关键点提取过程流程图。
图5为本发明中生成的场景点云图。
图6为目标货运列车点云生成图。
图7为本发明货运列车标准界限图形的第二级超限图形和第一级超限图形。
图8为本发明中超限图形运算图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
参照图1，基于单目视觉3D重建技术的铁路货车超限检测方法，包括以下步骤：
步骤(1)：搭载单目相机的无人机，通过单目相机1对铁路货车即目标货运列车进行摄像，获取铁路货车的视频。
步骤(2)：需将步骤(1)中通过单目相机1摄像得到的视频，通过无线传输装置2进行传输。
步骤(3)：视频存储装置3接收从无线传输装置2传输过来的视频并进行存储。
步骤(4)：再通过计算机对视频存储装置3中的视频进行解帧处理，将视频解帧为连续序列图像。
步骤(5)：计算机根据步骤(2)得到的连续序列图像生成场景点云图。
步骤(6)：将生成的场景点云图进行处理。
步骤(7)：计算机进行超限检测判断。
步骤(8)：在计算机中进行图形运算，得出超限检测判断结果。
参照图2，所述步骤(5)中，计算机根据步骤(2)得到的连续序列图像生成场景点云图，具体包括如下步骤：
步骤(5-1)、视觉里程计：利用由视频解帧而来的连续序列图像帧构建视觉里程计，构成视觉里程计的过程中存在相机位姿及场景位置等参数。图2中的传感器数据为通过单目相机1摄像得到的视频数据，由视频数据解帧获得连续序列图像帧。
步骤(5-2)、回环检测：利用回环检测功能进一步减少相机位姿和场景位置的参数误差。即对于相机位姿和场景位置的参数误差，利用回环检测进行减少。
步骤(5-3)、非线性优化：对相机位姿及场景位置等参数进行非线性优化，提高解算精度。
回环检测和非线性优化都是减小误差的环节，区别在于，回环检测主要用于减少长时间后的累计误差；非线性优化主要用来减少相邻帧之间的误差；利用回环检测，可以更换非线性优化中相邻的某些帧，精确度更高。
步骤(5-4)、生成场景点云图：利用(5-3)获得的非线性优化后的相机位姿参数和场景位置参数生成场景点云图。
所述步骤(6)中，将生成的场景点云图进行处理，具体包括如下步骤：
步骤(6-1)、分割场景得到目标货运列车：根据获得的场景点云图，对场景点云进行分割处理，获取目标货运列车所在位置的点云，除去范围内其他点云。
步骤(6-2)、对场景点云滤波降噪处理：对分割后的目标货运列车点云进行滤波降噪处理，减少目标货运列车点云中非目标部分噪点。
步骤(6-3)、提取轨道平面：对降噪处理后得到的目标货运列车点云，利用平面分割算法在目标货运列车点云中提取轨道平面。
步骤(6-4)、建立以轨道平面为基准的新坐标系：以轨道平面为基准面建立新坐标系。
步骤(6-5)、目标货运列车转化到新坐标系中：通过转换矩阵将步骤(6-2)降噪处理后的目标货运列车点云坐标转换为新坐标系坐标。
步骤(6-6)、获取目标货运列车点云切片：在新坐标系中，将目标货运列车点云沿X轴方向均匀分成10000份，获取点云切片。
所述步骤(7)中，计算机进行超限检测判断，具体包括如下步骤：
步骤(7-1)、目标货运列车投影生成横截面图形：将点云切片中的点云沿新坐标系的X轴方向进行投影，在YZ面上生成点云二维图形，生成点云二维图形的即可认定为目标货运列车横截面图形。
步骤(7-2)、获取货运列车标准界限图形：获取货运列车界限图形。向计算机输入货运列车类型的界限条件信息，计算机根据输入的货运列车类型的界限条件信息，生成货运列车标准界限图形。
所述步骤(8)中，在计算机中进行图形运算，得出超限检测判断结果，具体是指：将步骤(7-2)生成的货运列车标准界限图形与目标货运列车横截面图形进行图形运算，即在同一二维坐标系中进行比对，得到超限检测结果。
参照图3，所述步骤(5-1)中，利用由视频解帧而来的连续序列图像帧构建视觉里程计，具体包括如下步骤：
所述步骤(5-1-1)、图像特征点提取；
所述步骤(5-1-2)、多幅图像中特征点匹配；
所述步骤(5-1-3)、利用对极约束和三角测量法获取场景点云坐标。
所述步骤(5-1-1)中，图像特征点提取时，图像特征点选用ORB特征点。ORB图像特征点包含关键点和描述子。
参照图4，关键点提取采用如下步骤：步骤a、在图像中选取像素p，假设它的亮度为Ip。步骤b、设置一个阈值T＝0.2Ip。步骤c、以像素p为中心,选取半径为3的圆上的16个像素点。步骤d、为了加快检测速度，对像素点预检测，对于每个像素，直接检测邻域圆上的第1，5，9，13个像素点亮度，如果4个像素中有3个同时大于Ip+T，进行下一步骤；否则直接删除。步骤e、计算出选取的圆上亮度大于Ip+T的连续点的个数N；若N>＝12,则保留并储存该像素点，保留的像素点称为角点。步骤f、循环步骤b-e，对每一个像素执行相同的操作，初步筛选出所有满足条件的点。步骤g、构建图像金字塔，在每层金字塔上对图像重复步骤a-f步骤中的检测。步骤h、匹配金字塔上层和下层得到的角点，如果匹配成功则保留该点为关键点，否则剔除。
计算关键点附近的灰度质心，灰度质心是以图像块灰度值作为权重的中心。操作如下：
1、在关键点附近图像块A中，定义图像块矩为：
mpq＝∑x,y∈AxpyqI(x,y),p,q＝{0,1}；
式中，p和q是两个变量，p,q＝{0,1}表示如下四种情况：p＝0,q＝0；p＝0,q＝1；p＝1,q＝0；p＝1,q＝1。A指的是图像中的某一个像素块；B指的是图像块的质心；m指的是该图像块的矩；x,y指的是像素块中的某一像素点在相机坐标系中的坐标值；θ指的是图像块集合中心和质心连接得到的向量的角度。
2、图像块质心为：
3、连接图像块几何中心O与质心B,得到方向向量OB,关键点方向定义为：
θ＝arctan(m01/m10)。
ORB特征点的提取是指ORB特征中的BRIEF描述子提取，过程如下：BRIEF描述子主要是通过比较中心像素点p任意邻域内的256对像素之间的差值来生成二进制描述子。任意一对像素点p(x)和p(y)，若p(x)<p(y)，则描述子对应的位置为1，否则置为0。得到256维由0，1组成的向量。
所述步骤(5-1-2)中，多幅图像中特征点匹配时，利用暴力匹配法，对一张图像上每一个特征点与相邻帧图像上所有的特征点测量描述子距离，排序后选取最近点作为匹配点。利用汉明距离处理ORB特征中的BRIEF描述子，计算两个二进制串不同位数的个数。选取汉明距离最短的特征点作为第一张上图像上特征点的匹配点。
所述步骤(5-1-3)、利用对极约束和三角测量法获取场景点云坐标,具体是指：利用对极约束条件，根据配对点的像素位置，计算出基础矩阵和本质矩阵。根据基础矩阵和本质矩阵，求出相机旋转矩阵R和平移矩阵t。已经求得相机旋转矩阵R和平移矩阵t的情况下，利用三角测量法，估算出特征点的坐标。
图2中视觉里程计部分解决了两个连续帧图像之间的点云重建，为了在重建过程中利用多帧中的信息提高重建精度，在图2中非线性优化阶段采用光束法平差，对整体代价函数进行求解。利用鲁棒核函数，限制梯度最大值，排除误差大的观测数据；利用Schur消元法，优化整体代价函数中最优解的求解效率。
为了进一步提高精度度，减少累计误差，图2的回环检测环节中，需构建词袋模型。
构建词袋模型的方法为：利用K-means算法对描述子进行聚类，将差异较小的描述子分为一类，对应一个单词。K-means算法为：1、随机选取k个中心点：a1,……,ak；2、对每一个样本，计算与每个中心点之间的距离，取最小的作为它的归类；3、重新计算每个类的中心点；4、如果每个中心点都变化很小即变化小于10个像素值，则退出，否则返回步骤1。
分类后所有的单词构成一个字典。在此基础上，回环检测的主要步骤为：1、构建字典A＝(w1,w2,…wi…,wn)；wi为字典内的元素，n表示元素的个数，1≤i≤n；2、确定一帧中含有哪些单词，用向量表示，有该单词则为1，没有该单词则为0，F＝1*w1+0*w2+0*w3+…+0*wn-1+0*wn；3、利用IDF和TF作为权重，比较两帧描述向量的差异。
生成的场景点云图如图5所示。
步骤(6-1)中，分割场景得到目标货运列车的过程中，在确定目标货运列车车体所处坐标范围的情况下，利用直通滤波器直接分割出目标货运列车车体所在位置的点云。
步骤(6-2)中，对场景点云进行滤波降噪处理过程中，对分割出的场景点云，即目标货运列车点云，利用半径滤波器和体素滤波器，设定阈值，进行滤波处理，除去目标货运列车车身周围噪音点云。降噪后的点云效果如图6中所示。
步骤(6-3)提取轨道平面过程中，对生成的目标货运列车点云进行滤波降噪处理后，利用平面分割算法提取出点云中轨道基准面。
步骤(6-4)以轨道平面为基准建立新坐标系时，计算出轨道平面的法向量，在轨道平面上的其中一条铁轨表面取一点作为原点，在该铁轨延伸方向上取一点，原点到该点的方向即为X轴；轨道平面的法向量为Z轴；垂直于XZ平面的向量为Y轴方向。通过上述原点以及XYZ轴方向，确定了以轨道面为基准，以目标货运列车高度方向为Z轴的新坐标系。通过换算得出新旧坐标系之前的旋转矩阵R和平移矩阵T。利用变换矩阵将目标货运列车点云中所有点的坐标变换为新坐标系中的坐标。
步骤(6-6)获取目标货运列车点云切片时，在新建立的坐标系中，确定目标货运列车车身长度方向上的，即X轴方向上的分布长度，沿着X轴方向，将目标货运列车沿着车身均匀划分为10000份。每份点云标记为Pi(i＝10000)。
步骤(7-1)目标货运列车投影生成横截面图形时，图2中目标货运列车投影生成横截面图形过程中，在每份点云中，将每个点的YZ轴坐标导出，可以生成YZ平面二维点云图形。由于每份长度小，YZ平面上生成的二维点云图形近似于货运列车横截面图形。
步骤(7-2)获取货运列车标准界限图形时，向计算机输入货运列车类型的界限条件信息即二级界限数据和一级界限数据，生成货运列车标准界限图形的第二级超限图形和第一级超限图形，如图7所示。
所述步骤(8)中，在计算机图形运算过程中，将目标货运列车横截面图形与货运列车标准界限图形匹配到同一个二维坐标系中进行比较。图8中，
当目标货运列车横截面图形不能被货运列车标准界限图形的第二级超限图形完全包括在内，表明该货运列车二级超限；
当目标货运列车横截面图形货运列车标准界限图形的第二级超限图形完全包括在内，但不能被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车一级超限；
当目标货运列车横截面图形被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车未超限。
Claims (3)
1.基于单目视觉3D重建技术的铁路货车超限检测方法，其特征在于，包括以下步骤：步骤（1）：搭载单目相机的无人机，通过单目相机对铁路货车即目标货运列车进行摄像，获取铁路货车即目标货运列车的视频；
步骤（2）：需将步骤（1）中通过单目相机摄像得到的视频，通过无线传输装置进行传输；
步骤（3）：视频存储装置接收从无线传输装置传输过来的视频并进行存储；
步骤（4）：再通过计算机对视频存储装置中的视频进行解帧处理，将视频解帧为连续序列图像；
步骤（5）：计算机根据步骤（2）得到的连续序列图像生成场景点云图；
步骤（6）：将生成的场景点云图进行处理；
步骤（7）：计算机进行超限检测判断；
步骤（8）：在计算机中进行图形运算，得出超限检测判断结果；
其中，所述步骤（5）中，计算机根据步骤（2）得到的连续序列图像生成场景点云图，具体包括如下步骤：
步骤（5-1）、视觉里程计：利用由视频解帧而来的连续序列图像帧构建视觉里程计，构成视觉里程计的过程中存在相机位姿及场景位置参数；
步骤（5-2）、回环检测：利用回环检测功能进一步减少相机位姿和场景位置的参数误差；即对于相机位姿和场景位置的参数误差，利用回环检测进行减少；
步骤（5-3）、非线性优化：对相机位姿及场景位置等参数进行非线性优化，提高解算精度；
步骤（5-4）、生成场景点云图：利用（5-3）获得的非线性优化后的相机位姿参数和场景位置参数生成场景点云图；
所述步骤（5-1）中，利用由视频解帧而来的连续序列图像帧构建视觉里程计，具体包括如下步骤：
步骤（5-1-1）、图像特征点提取；
步骤（5-1-2）、多幅图像中特征点匹配；
步骤（5-1-3）、利用对极约束和三角测量法获取场景点云坐标；
所述步骤（5-1-1）中，图像特征点提取时，图像特征点选用ORB特征点；ORB图像特征点包含关键点和描述子；
所述关键点提取采用如下步骤：步骤a、在图像中选取像素 p，假设它的亮度为 Ip；步骤b、设置一个阈值 T=0.2Ip；步骤c、以像素 p 为中心, 选取半径为 3 的圆上的 16 个像素点；步骤d、为了加快检测速度，对像素点预检测，对于每个像素，直接检测邻域圆上的第 1，5，9，13 个像素点亮度，如果4个像素中有3个同时大于Ip+T，进行下一步骤；否则直接删除；步骤e、计算出选取的圆上亮度大于Ip+T的连续点的个数N；若N>=12,则保留并储存该像素点，保留的像素点称为角点；步骤f、 循环步骤b-e，对每一个像素执行相同的操作，初步筛选出所有满足条件的点；步骤g、构建图像金字塔，在每层金字塔上对图像重复步骤a-f步骤中的检测；步骤h、匹配金字塔上层和下层得到的角点，如果匹配成功则保留该点为关键点，否则剔除；
在所述回环检测环节中构建词袋模型，构建词袋模型的方法为：利用K-means算法对描述子进行聚类，将差异较小的描述子分为一类，对应一个单词；K-means算法为：1、随机选取k个中心点：a1,……,ak；2、对每一个样本，计算与每个中心点之间的距离，取最小的作为它的归类；3、重新计算每个类的中心点；4、如果每个中心点都变化很小即变化小于10个像素值，则退出，否则返回步骤1；分类后所有的单词构成一个字典；在此基础上，回环检测的主要步骤为：1、构建字典A＝(w1,w2,…wi…,wn)；wi为字典内的元素，n表示元素的个数，1≤i≤n；2、确定一帧中含有哪些单词，用向量表示，有该单词则为1，没有该单词则为0，F＝1*w1+0*w2+0*w3+…+0*wn-1+0*wn；3、利用IDF和TF作为权重，比较两帧描述向量的差异；
所述步骤（6）中，将生成的场景点云图进行处理，具体包括如下步骤：
步骤（6-1）、分割场景得到目标货运列车：根据获得的场景点云图，对场景点云进行分割处理，获取目标货运列车所在位置的点云；
步骤（6-2）、对场景点云滤波降噪处理：对分割后的目标货运列车点云进行滤波降噪处理，减少目标货运列车点云中非目标部分噪点；
步骤（6-3）、提取轨道平面：对降噪处理后得到的目标货运列车点云，利用平面分割算法在目标货运列车点云中提取轨道平面；
步骤（6-4）、建立以轨道平面为基准的新坐标系：以轨道平面为基准面建立新坐标系；
步骤（6-5）、目标货运列车转化到新坐标系中：通过转换矩阵将步骤（6-2）降噪处理后的目标货运列车点云坐标转换为新坐标系坐标；
步骤（6-6）、获取目标货运列车点云切片：在新坐标系中，将目标货运列车点云沿X轴方向均匀分成10000份，获取点云切片。
2.根据权利要求1所述的基于单目视觉3D重建技术的铁路货车超限检测方法，其特征在于，所述步骤（7）中，计算机进行超限检测判断，具体包括如下步骤：
步骤（7-1）、目标货运列车投影生成横截面图形：将点云切片中的点云沿新坐标系的X轴方向进行投影，在YZ面上生成点云二维图形，生成点云二维图形的即可认定为目标货运列车横截面图形；
步骤（7-2）、获取货运列车标准界限图形：向计算机输入货运列车类型的界限条件信息，计算机根据输入的货运列车类型的界限条件信息，生成货运列车标准界限图形。
3.根据权利要求1所述的基于单目视觉3D重建技术的铁路货车超限检测方法，其特征在于，所述步骤（8）中，在计算机图形运算过程中，将目标货运列车横截面图形与货运列车标准界限图形匹配到同一个二维坐标系中进行比较；货运列车标准界限图形包括第一级超限图形和第二级超限图形；
当目标货运列车横截面图形不能被货运列车标准界限图形的第二级超限图形完全包括在内，表明该货运列车二级超限；
当目标货运列车横截面图形货运列车标准界限图形的第二级超限图形完全包括在内，但不能被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车一级超限；
当目标货运列车横截面图形被货运列车标准界限图形的第一级超限图形完全包括在内时，表明该货运列车未超限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580778.XA CN111768417B (zh) | 2020-06-23 | 2020-06-23 | 基于单目视觉3d重建技术的铁路货车超限检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010580778.XA CN111768417B (zh) | 2020-06-23 | 2020-06-23 | 基于单目视觉3d重建技术的铁路货车超限检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768417A CN111768417A (zh) | 2020-10-13 |
| CN111768417B true CN111768417B (zh) | 2023-12-05 |
Family
ID=72722853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010580778.XA Active CN111768417B (zh) | 2020-06-23 | 2020-06-23 | 基于单目视觉3d重建技术的铁路货车超限检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768417B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184539A (zh) * | 2020-11-27 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 点云数据处理方法和装置 |
| CN112669266B (zh) * | 2020-12-18 | 2023-08-08 | 深兰科技（上海）有限公司 | 超高检测方法、装置、电子设备和存储介质 |
| CN116246020B (zh) * | 2023-03-07 | 2023-09-08 | 武汉理工大学 | 一种多激光点云技术三维重建系统及方法 |
| CN117029745B (zh) * | 2023-08-07 | 2024-03-26 | 中铁特货大件运输有限责任公司 | 一种铁路限界距离的核算方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101285678A (zh) * | 2008-06-11 | 2008-10-15 | 齐齐哈尔轨道交通装备有限责任公司 | 铁路货运安全门标定装置及铁路货运安全门标定车 |
| CN105844224A (zh) * | 2016-03-21 | 2016-08-10 | 河南理工大学 | 一种车载LiDAR 道路点云快速有序化方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN107421502A (zh) * | 2017-07-26 | 2017-12-01 | 同济大学 | 一种铁路货车限界自动化测量方法 |
| CN107685747A (zh) * | 2017-07-26 | 2018-02-13 | 同济大学 | 一种铁路货运列车限界自动检测装置 |
| CN108549087A (zh) * | 2018-04-16 | 2018-09-18 | 北京瑞途科技有限公司 | 一种基于激光雷达的在线检测方法 |
| CN109489584A (zh) * | 2018-12-03 | 2019-03-19 | 大连维德轨道装备有限公司 | 一种基于3d技术的隧道限界检测系统及隧道限界识别方法 |
| CN109708615A (zh) * | 2018-12-20 | 2019-05-03 | 上海同岩土木工程科技股份有限公司 | 一种基于激光扫描的地铁隧道限界动态检测方法 |
| CN110398199A (zh) * | 2019-07-05 | 2019-11-01 | 内蒙古能建数字信息科技有限公司 | 一种建筑限界检测方法 |
| CN110411361A (zh) * | 2019-05-15 | 2019-11-05 | 首都师范大学 | 一种移动隧道激光检测数据处理方法 |
| DE102018114963A1 (de) * | 2018-06-21 | 2019-12-24 | Connaught Electronics Ltd. | Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken |
| CN110909713A (zh) * | 2019-12-05 | 2020-03-24 | 深圳市镭神智能系统有限公司 | 点云数据的轨道提取方法、系统及介质 |
| CN111272139A (zh) * | 2020-02-17 | 2020-06-12 | 浙江工业大学 | 一种基于单目视觉的车辆长度测量方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8933925B2 (en) * | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
| GB2541884A (en) * | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
| US10679338B2 (en) * | 2017-08-23 | 2020-06-09 | General Electric Company | Three-dimensional modeling of an object |
-
2020
- 2020-06-23 CN CN202010580778.XA patent/CN111768417B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101285678A (zh) * | 2008-06-11 | 2008-10-15 | 齐齐哈尔轨道交通装备有限责任公司 | 铁路货运安全门标定装置及铁路货运安全门标定车 |
| CN105844224A (zh) * | 2016-03-21 | 2016-08-10 | 河南理工大学 | 一种车载LiDAR 道路点云快速有序化方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN107421502A (zh) * | 2017-07-26 | 2017-12-01 | 同济大学 | 一种铁路货车限界自动化测量方法 |
| CN107685747A (zh) * | 2017-07-26 | 2018-02-13 | 同济大学 | 一种铁路货运列车限界自动检测装置 |
| CN108549087A (zh) * | 2018-04-16 | 2018-09-18 | 北京瑞途科技有限公司 | 一种基于激光雷达的在线检测方法 |
| DE102018114963A1 (de) * | 2018-06-21 | 2019-12-24 | Connaught Electronics Ltd. | Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken |
| CN109489584A (zh) * | 2018-12-03 | 2019-03-19 | 大连维德轨道装备有限公司 | 一种基于3d技术的隧道限界检测系统及隧道限界识别方法 |
| CN109708615A (zh) * | 2018-12-20 | 2019-05-03 | 上海同岩土木工程科技股份有限公司 | 一种基于激光扫描的地铁隧道限界动态检测方法 |
| CN110411361A (zh) * | 2019-05-15 | 2019-11-05 | 首都师范大学 | 一种移动隧道激光检测数据处理方法 |
| CN110398199A (zh) * | 2019-07-05 | 2019-11-01 | 内蒙古能建数字信息科技有限公司 | 一种建筑限界检测方法 |
| CN110909713A (zh) * | 2019-12-05 | 2020-03-24 | 深圳市镭神智能系统有限公司 | 点云数据的轨道提取方法、系统及介质 |
| CN111272139A (zh) * | 2020-02-17 | 2020-06-12 | 浙江工业大学 | 一种基于单目视觉的车辆长度测量方法 |
Non-Patent Citations (8)
| Title |
|---|
| A Method For Vehicle Three-dimensional Size Measurement Based on Laser Ranging;Xu Zewei等;《The 3rd International Conference on Transportation Information and Safety》;第34-37页 * |
| 基于单目视觉三维重建的货运列车超限检测方法研究;杜伦平等;《铁道科学与工程学报》;第18卷(第4期);第1009-1016页 * |
| 基于大尺度三维几何视觉的货运列车超限检测方法研究;张益昕等;《仪器仪表学报》;第33卷(第1期);第181-187页 * |
| 基于激光雷达的地铁隧道侵限检测方法;刘璐宾等;《机械工程与自动化》(第3期);第16-18页 * |
| 汪怡然等.铁路货车装载超限的无人机视觉检测技术.《铁路计算机应用》.2018,第27卷(第7期),第80-84页摘要、第1、4.2、5.2、6节. * |
| 车辆三维点云高精度重建技术研究;郑宝峰;《中国优秀硕士学位论文全文数据库 信息科技辑》(第（2019）01期);I138-3690 * |
| 轨道交通智能限界检测技术研发及应用;蒋海;《铁道建筑技术》(第02期);第27-29、75页 * |
| 铁路货车装载超限的无人机视觉检测技术;汪怡然等;《铁路计算机应用》;第27卷(第7期);第80-84页摘要、第1、4.2、5.2、6节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768417A (zh) | 2020-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN103593678B (zh) | 一种大跨度桥梁车辆动态荷载分布检测方法 | |
| CN107967685A (zh) | 一种基于无人机遥感的桥梁墩塔裂缝无损定量检测方法 | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN113947731B (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN111126184B (zh) | 一种基于无人机视频的震后建筑物损毁检测方法 | |
| CN115482195B (zh) | 一种基于三维点云的列车部件变形检测方法 | |
| CN114812398B (zh) | 一种基于无人机的高精度实时裂缝检测平台 | |
| CN109934135B (zh) | 一种基于低秩矩阵分解的铁轨异物检测方法 | |
| CN112785654A (zh) | 轨道几何检测系统标定方法及装置 | |
| CN113066050A (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
| Zhou et al. | UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation | |
| CN110490342B (zh) | 一种基于Faster R-CNN的接触网静态几何参数检测方法 | |
| CN115527170A (zh) | 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统 | |
| CN113902709B (zh) | 引导飞机复合材料蒙皮修复的表面平整度实时分析方法 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN115857040A (zh) | 一种机车车顶异物动态视觉检测装置及方法 | |
| Mahmoud et al. | Low-cost framework for 3D reconstruction and track detection of the railway network using video data | |
| CN115330751A (zh) | 一种基于YOLOv5和Realsense的螺栓检测与定位方法 | |
| Liu et al. | A coarse-to-fine detection method of pantograph-catenary contact points using DCNNs | |
| Yang et al. | Defect detection of axle box cover device fixing bolts in metro based on convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |