CN111289261B - 一种库内车底部件检测方法 - Google Patents

Abstract

本申请公开了一种库内车底部件检测方法，可应用于包括轻轨、地铁、火车、高铁、机车等轨道交通工具的检测领域。将全景图像比对和局部图像检测结合，判断目标部位是否存在零件缺失、松动等问题，从而减少局部图像检测时图像覆盖率低，容易漏检，导致车底检测效率低的问题，达到提高图像检测的覆盖率和准确率的目的。

Description

一种库内车底部件检测方法

技术领域

本发明涉及机车检测设备领域，具体涉及一种库内车底部件检测方法。

背景技术

随着我国交通运输的不断向前发展，铁路运输尤其是铁路客运速度的不断加快，对机车安全提出了越来越高的要求。

现有的铁路客运车辆大多是在夜间入库后在停在检修地沟作业区域，人工下地沟对走行部各个部件进行观看走查，查找各重要走行部部件是否出现松动、丢失、变形、异物等问题；通过人工查看检测，存在主观性强，观察角度单一，容易存在死角，而且效率较低等问题。为了解决这一问题，现行业内还通过二维图像采集进行自动检测。

该类检测方法是通过在铁道两旁固定相机，列车经过时相机采集车底图像，进行二维图像比对，但是，在图像采集的过程中，往往可能会发生图像覆盖不够全面，局部未拍摄图像的情况，导致车底异常检测存在漏检的情况，准确率不高，再进行人工复查防止漏检，降低了工作效率。

发明内容

有鉴于此，本申请提供一种库内车底部件检测方法，将全景图像比对和局部图像检测结合，判断车底零部件的状态，提高图像检测的覆盖率和准确率。

为解决以上技术问题，本发明提供的技术方案是一种车底部件异常检测方法，包括：

比对车底的全景图像数据和标准全景图像数据的相似度，将相似度不大于第一预设值的区域标记为第一异常区域；

比对车底目标部件的局部图像数据和标准局部图像数据的相似度，将相似度不大于第二预设值的区域标记为第二异常区域；

根据第二异常区域和第一异常区域计算得到车底异常部位。

优选的，所述标记得到第一异常区域步骤包括；

获取车底全景图像数据，所述车底全景图像数据包括全景二维灰度图像和全景三维图像；

第一预设值包括第一二维数据预设值和第一三维数据预设值；

比对全景二维灰度图像与标准二维全景图像的相似度，设相似度不大于第一二维数据预设值的区域的集为A，

比对全景三维图像和标准三维全景图像的相似度，设相似度不大于第一三维数据预设值的区域的集为B；

设第一异常区域的集为C，C满足如下条件：

C＝A∪B。

优选的，所述获取车底全景图像具体包括：

线阵扫描相机连续采集车底图像；

编码器依序拼接车底图像得到全景二维灰度图像；

三维扫描相机采集车底图像得到全景三维图像。

优选的，所述标记得到第二异常区域步骤包括；

获取车底目标部件的局部图像数据，所述局部图像数据包括目标部件的二维灰度图像和三维数据；

所述第二预设值包括第二二维数据预设值和第二三维数据预设值；

比对目标部件的二维灰度图像和标准二维图像的相似度，将设相似度不大于第二二维数据预设值的图像对应区域判断为疑似异常区域；

比对疑似异常区域的三维数据与标准数据的相似度，设相似度不大于第二三维数据预设值的区域为第二异常区域。

优选的，获取目标部件的二维灰度图像具体包括：

触发图像采集装置，所述图像采集装置从不同方向采集目标部件的平面图像，得到所述二维灰度图像。

优选的，获取目标部件的三维数据具体包括：

同时触发投影装置和图像采集装置，投影装置在目标部件表面投射结构光；图像采集装置同时分别从不同方向采集目标部件表面的结构光图像，获取二维结构光图像；

通过三维成像算法提取得到三维数据。

优选的，比对目标部件的二维灰度图像和标准二维图像的相似度步骤包括：

将目标部件的二维灰度图像与标准二维图像的模版区域特征匹配，得到匹配点；

通过匹配点计算得到单应性矩阵；

通过单应性矩阵将二维灰度图像与标准图像进行矫正后配准；

对图像区域的像素进行扫描，比对该目标部件的二维灰度图像与标准图像对应的图像区域的相似度，若相似度不大于第一二维数据预设值，则判断为该图像对应区域为疑似异常区域。

优选的，所述疑似异常区域的三维数据与标准数据比对具体包括：

将疑似异常区域对应的三维数据中的点云数与对应的标准数据的点云数进行配准；

配准完成后，比较疑似异常区域的三维数据中的点云与对应的标准数据的点云的相似度，若相似度不大于第二三维数据预设值，则判断为该疑似异常区域为异常区域；

所述第二异常区域为所述异常区域的集合。

优选的，

所述车底异常区域为第一异常区域和第二异常区域并集的集合。

所述车底局部图像包括二维灰度图像和二维结构光图像。

本申请与现有技术相比，先采集车底的全景图像，通过全景图像比对找到异常区域，再对车底重要的目标部件进行详细比对，通过全景图像和局部图像的联合比对，提高了图像采集的全面度，在提高图像检测的覆盖率的同时保证异常检测的效率。

本申请中所述的车底局部图像包括二维灰度图像和二维结构光图像，通过二维结构光图像可以提取出三维数据，在二维灰度图像复检异常区域后，再通过比较异常区域部分的三维数据，可以综合判断该区域部件尺寸是否异常。如异常，则可认为该区域确实出现了松动或脱落，如紧固螺栓松动、丢失，注油口松脱等等；如三维数据比较后并未发生尺寸异常，则可认为是该区域受到油污、泥水等附着物导致的错误判断，进而提高整个车底检测系统的准确性。

附图说明

图1为本发明方法流程图；

图2为本发明系统流程图；

图3为系统中图像采集装置的一个优选实施例。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

本发明公开了一种库内车底部件检测的方法，用于全面检测如列车、火车、地铁、机车等轨道交通工具的车底零部件，是否存在如松动、丢失、变形、异物等问题，可以有效避免漏检，提高检测的覆盖率，具体如图1所示，包括以下步骤：

S1：比对车底全景图像和标准全景图像的相似度，将相似度不大于第一预设值的对应区域标记为第一异常区域；

S2：比对车底目标部件的局部图像和标准局部图像的相似度，将相似度不大于第二预设值的区域标记为第二异常区域；

S3：根据第二异常区域和第一异常区域得到车底异常区域。

车底异常区域的图像所对应的车底部件，即为存在异常的部件。

其中，第一预设值包括全景二维预设值和全景三维预设值；所述第二预设值包括局部二维预设值和局部三维预设值。

本方法所述车底全景图像包括有列车等车辆底部的全景二维灰度图像和全景三维图像；车底局部图像为包括有车底目标部件如车轴、闸片等核心部件的信息的二维灰度图像和三维数据；本方法所述的标准全景图像和标准局部图像，是指车底零部件安装正常、完整、且无污渍或异物影响下拍摄获得的标准全景图像和标准局部图像。标准局部图像具体为覆盖有车底目标部件如车轴、闸片等核心部件的图像。

通过该方法，可以先通过车底全景图像进行全局的比对，筛选出全景图像中异常的部分，该部分可能覆盖了车底目标部件如车轴、闸片等的核心部件区域，也可能覆盖了除目标部件以外的其他非核心部件区域。然后再针对性的对目标部位的局部图像进行详细的局部比对。如此可以避免全景图像比对时对重要部件的漏检、错检的情况，提高了准确率和车底检测的覆盖率。

本申请所示方法具体包括：

S11：获取车底的全景图像数据：

触发线阵扫描相机，连续扫描车底图像，通过编码器信号将车底图像依序排列，拼接形成车底二维全景图像；

触发三维扫描相机，获得车底全景三维图像；

S12：将全景二维灰度图像与标准二维全景图像叠加，比较全景二维灰度图像与标准二维全景图像的相似度，将图像中相似度不大于全景二维预设值的区域标定，标定出的区域图像的集设为A；

S13:将全景三维图像和标准三维全景图像叠加，比对全景三维图像和标准三维全景图像相似度，将图像中相似度不大于全景三维预设值的区域标定，标定出的区域图像的集设为B；

设第一异常区域对应的区域图像的集为C，C满足如下条件：

C＝A∪B。

S21:获取目标部件的二维灰度图像：

图像采集装置通过检测目标部位和图像采集装置之间的距离，或接收到外部发送的控制信号，同时触发多个图像采集单元；所述图像采集单元同时分别从不同方向采集目标部位的平面图像，得到多张二维灰度图像；

S22：获取目标部件的三维数据：

同时触发投影装置和图像采集装置，投影装置在目标部件表面投射结构光；图像采集装置同时分别从不同方向采集目标部件表面的结构光图像，获取至少两张二维结构光图像；

通过三维成像算法提取得到三维数据；

S23：将目标部件的二维灰度图像和预先存储的标准二维图像叠加，比较目标部件的二维灰度图像和预先存储的标准二维图像的相似度，将设相似度不大于局部二维预设值的图像对应区域判断为疑似异常区域；

S24：将对应疑似异常区域的三维数据与标准数据叠加，比较疑似异常区域的三维数据与标准数据的相似度，将相似度不大于局部三维预设值的区域标定为第二异常区域。

步骤S23所述的比对目标部件的二维灰度图像和标准二维图像的相似度步骤包括：

将目标部件的二维灰度图像与标准二维图像的模版区域特征匹配，得到匹配点；

通过匹配点计算得到单应性矩阵；

通过单应性矩阵将二维灰度图像进行矫正后，将目标部件的二维灰度图像和预先存储的标准二维图像叠加；

对图像区域的像素进行扫描，比对该目标部件的二维灰度图像与标准图像对应的图像区域的相似度，若相似度不大于第一二维数据预设值，则判断为该图像对应区域为疑似异常区域。

本申请中的模板区域是指尺寸不会因为零部件缺失或异物遮蔽发生变化的区域，该区域可以为根据目标区域的结构特性预设一固定的模板区域。

在标准图像中模板区域获取四个点A₁(x_A1，y_A1)、A₂(x_A2，y_A2)、A₃(x_A3，y_A3)、A₄(x_A4，y_A4)；

在二维灰度图像中，获取分别与点A₁、A₂、A₃、A₄具有投影映射关系的对应点B₁(x_B1，y_B1)、B₂(x_B2，y_B2)、B₃(x_B3，y_B3)、B₄(x_B4，y_B4)；

将世界坐标系构建在物平面上，使物平面上任意点z＝0，通过单应性矩阵

点A_n和B_n满足如下关系：

其中，n＝1、2、3、4。

S24所述的疑似异常区域的三维数据与标准数据比对具体包括：

将疑似异常区域对应的三维数据中的点云数与对应的标准数据的点云数进行配准；

配准完成后，比较疑似异常区域的三维数据中的点云与对应的标准数据的点云的差，以此计算异常区域的三维数据与标准数据的相似度，若相似度不大于第二三维数据预设值，则判断为该疑似异常区域为异常区域；

所述第二异常区域为所述异常区域的集合。

本实施例所述的结构光为面阵结构光，优选为具有固定相移量的光栅条纹图像。投影装置向目标部位投射光栅条纹图像，多个图像采集装置从不同的角度同时拍摄覆盖有光栅条纹图像的目标部位，获得至少第一被测物图像和第二被测物图像。

本申请中的光栅条纹图像，可以为正弦变化的结构光，即正弦光栅条纹图像，也可以为投射余弦变化的结构光，即余弦光栅条纹图像。通过三维成像算法对二维结构光图像进行处理，得到三维数据。

所述三维成像算法是本领域技术人员熟知的算法，尽管具体实现手段略有不同，但都是通过双目成像计算得到包含目标部件三维数据的点云。对本申请而言，无论使用何种三维成像算法都是可行的。

对本申请的其他实施例而言，所述投影装置用于向目标部位投射向目标部位投射的结构光图像，还可以为散斑图像或编码图案。

对本申请上述实施例而言，当环境照明强度不足时，还可以在触发图像采集装置获取二维灰度图像的同时，触发补光装置，使得图像采集装置可以获取清晰的二维灰度图像。

本申请所公开的方法，先通过车底全景图像和标准全景图像进行比对，并将图像未重合部分标记为目标部位，再调取包含有目标部位的车底局部图像，与标准图像比对。

全景图像可以快速的对车底情况进行扫查，可能包含有车轴、闸片等核心部位区域，也可能包含有除了车轴、闸片等核心部位以外的非核心区域，全景图像扫查得到的第一异常区域为包含了非核心区域的异常识别结果。通过局部图像的精确筛查，可以得到车轴、闸片等核心部位的详细比对情况，局部比对形成第二异常区域的结果是对第一异常区域的补充，避免了车轴等核心部件检测异常、存在误检漏检的情况，提高了车底探伤检测的覆盖率。

当二维图像比对出现无法重叠的异常部位时，再将异常部位的三维数据与标准数据进行比对，如三维数据与标准数据存在明显差异时，则可以认定为是结构松动或部件缺失引起的，如三维数据与标准数据不存在明显差异，则可认定为是雨水、污泥附着导致的误判。本方法通过对目标部位异常进行复合判断，提高检测的准确性。

本申请的第一异常区域还可以既包含有车轴、闸片等核心部位区域，也包含有除了车轴、闸片等核心部位以外的非核心区域；在第二异常区域比对的过程中，可以对全景图像核心部位区域判断的结果进行校对，保证全景图像对车底进行整体筛查检测的基础上，通过局部比对提高核心部件探伤检测的准确度。

如图2和图3所示，本申请还公开一种检测系统，包括：

全景图像采集装置1，用于获取车底全景图像；

图像采集装置2，用于获取车底局部图像；

部件异常检测模块3，用于比对车底全景图像与标准全景图像未重合部分，标记为目标部位；

部件尺寸检测模块4，用于将目标部位的车底局部图像与目标部位的标准图像比对，判断目标部位是否存在异常。

其中，全景图像采集装置1包括线阵扫描相机11和三维扫描相机12，用于连续采集获得车底全景图像，同时还可以获取车底的三维数据。

图像采集装置2包括至少第一图像采集单元21和第二图像采集单元23，所述第一图像采集单元21和第二图像采集单元23的光轴相交，用于同时分别从不同方向采集目标部位的平面图像；由于第一图像采集单元21和第二图像采集单元23光轴相交，在对同一目标部位进行拍摄时，可以从不同的角度摄取多张图像，在比对时基于多个比对信息进行多次比对，可以减小误差，提高检测准确度。

该系统通过全景图像采集比对，可以快速获取局部异常，并将包括有异常部位的车底局部图像进行比对，可以高效、准确的分析出车底部件异常，保证全面检索的同时提高准确率。

第一图像采集单元21和第二图像采集单元23优选为可以和补光装置22或投影装置25联动，当采集二维灰度图像时，可根据环境光强选择补光装置22同时被触发，对目标部位进行补光；

当采集二维结构光图像时，投影装置25和第一图像采集单元21和第二图像采集单元23同时被触发。

所述投影装置25用于在目标部位表面投射结构光；第一图像采集单元21和第二图像采集单元23采集目标部位表面的结构光图像，获取二维结构光图像；

所述图像处理模块5用于将二维结构光图像通过三维成像算法提取得到所述三维数据。

在上述检测系统的优选实施例中，投影装置25为面阵投影，图像采集装置2也是直接对目标部位的表面进行二维结构光的采集，不需要线结构光拍摄所需的扫描用电机装置，提高了结构光拍摄的效率，先进行快速的图像采集，再由后端进行处理，提高了车底检测的效率。

而且，由于二维灰度图像和二维结构光图像可以使用同一组图像采集装置2，使得安装图像采集1的设备体积更小，不仅可以安装在轨道两侧，还可以设置在机械臂上，随机械臂移动，进行图像采集时，其采集范围更广，可以深入到车底内部，如轴抱箱上方、齿轮箱上方等。

图像采集装置2可以通过控制系统接收的外部信号触发，也可以通过距离传感器24识别目标部位与图像采集装置2之间的距离触发，当该设备安装在机械臂上时，距离传感器还可以防止采集部件与列车部件相撞。也可以对图像采集装置进行定位，保证拍摄距离的准确性。

在上述系统的优选实施例中，选用一对图像采集装置2进行不同视角的图像采集，多视角图像可以增强部件差异检测、识别定位的准确性。当然也可以通过设置成不止两个相机的多目相机进行成像，本申请中优选使用双目相机进行目标部位的影像的采集。检测装置在工作状态下，相机的镜头向上设置方便拍摄，第一图像采集单元21和第二图像采集单元23的光轴相交，即第一图像采集单元21和第二图像采集单元23的光轴有一定的夹角，这样就可以从多个视角完成对部件的图像采集，得到的多视角图像可以增强部件差异检测、识别定位的准确性。

能通过双目相机取景成像获得数据，并通过双目相机的数据读取还原目标部位的三维图像。

部件异常检测模块预存有标准全景图像，并通过算法将车底全景图像与标准全景图像叠加，识别出其中未重合部分。

部件尺寸检测模块4用于找出未重合部分的车底局部图像，并将车底车底局部图像与目标部位的标准图像比对，判断目标部位是否存在异常。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种库内车底部件检测方法，其特征在于，包括：

比对车底的全景图像数据和标准全景图像数据的相似度，将相似度不大于第一预设值的区域标记为第一异常区域，包括：

所述标记得到第一异常区域步骤包括；获取车底全景图像数据，所述车底全景图像数据包括全景二维灰度图像和全景三维图像；第一预设值包括第一二维数据预设值和第一三维数据预设值；比对全景二维灰度图像与标准二维全景图像的相似度，设相似度不大于第一二维数据预设值的区域的集为A，比对全景三维图像和标准三维全景图像的相似度，设相似度不大于第一三维数据预设值的区域的集为B；设第一异常区域的集为C，C满足如下条件：C＝A∪B；

比对车底目标部件的局部图像数据和标准局部图像数据的相似度，将相似度不大于第二预设值的区域标记为第二异常区域，包括：

获取车底目标部件的局部图像数据，所述局部图像数据包括目标部件的二维灰度图像和三维数据；所述第二预设值包括第二二维数据预设值和第二三维数据预设值；比对目标部件的二维灰度图像和标准二维图像的相似度，将设相似度不大于第二二维数据预设值的图像对应区域判断为疑似异常区域；比对疑似异常区域的三维数据与标准数据的相似度，设相似度不大于第二三维数据预设值的区域为第二异常区域；

根据第二异常区域和第一异常区域计算得到车底异常部位，所述车底异常区域为第一异常区域和第二异常区域并集的集合。

2.根据权利要求1所述的一种库内车底部件检测方法，其特征在于，所述获取车底全景图像具体包括：

线阵扫描相机连续采集车底图像；

编码器依序拼接车底图像得到全景二维灰度图像；

三维扫描相机采集车底图像得到全景三维图像。

3.根据权利要求1所述的一种库内车底部件检测方法，其特征在于，

获取目标部件的二维灰度图像具体包括：

触发图像采集装置，所述图像采集装置从不同方向采集目标部件的平面图像，得到所述二维灰度图像。

4.根据权利要求1所述的一种库内车底部件检测方法，其特征在于：获取目标部件的三维数据具体包括：

同时触发投影装置和图像采集装置，投影装置在目标部件表面投射结构光；图像采集装置同时分别从不同方向采集目标部件表面的结构光图像，获取二维结构光图像；

通过三维成像算法提取得到三维数据。

5.根据权利要求1所述的一种库内车底部件检测方法，其特征在于，比对目标部件的二维灰度图像和标准二维图像的相似度步骤包括：

将目标部件的二维灰度图像与标准二维图像的模版区域特征匹配，得到匹配点；

通过匹配点计算得到单应性矩阵；

通过单应性矩阵将二维灰度图像与标准图像进行矫正后配准；

对图像区域的像素进行扫描，比对该目标部件的二维灰度图像与标准图像对应的图像区域的相似度，若相似度不大于第二二维数据预设值，则判断为该图像对应区域为疑似异常区域。

6.根据权利要求5所述的一种库内车底部件检测方法，其特征在于，所述疑似异常区域的三维数据与标准数据比对具体包括：

将疑似异常区域对应的三维数据中的点云数与对应的标准数据的点云数进行配准；

配准完成后，比较疑似异常区域的三维数据中的点云与对应的标准数据的点云的相似度，若相似度不大于第二三维数据预设值，则判断为该疑似异常区域为异常区域；

所述第二异常区域为所述异常区域的集合。

Images