CN113516660B

CN113516660B - 适用于列车的视觉定位与缺陷检测方法和装置

Info

Publication number: CN113516660B
Application number: CN202111077434.8A
Authority: CN
Inventors: 李峰; 景宁; 杨泽迎; 洪晓杰; 张玉; 刘达; 张壮; 王攀
Original assignee: Jiangsu CRRC Digital Technology Co Ltd
Current assignee: Jiangsu CRRC Digital Technology Co Ltd
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2021-12-07
Anticipated expiration: 2041-09-15
Also published as: CN113516660A

Abstract

本申请涉及一种适用于列车的视觉定位与缺陷检测方法、系统、计算机设备和存储介质。所述方法包括：获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理；将预处理后的所述二维图像信息输入第一视觉定位网络模型，以确定所述二维图像信息中的第一目标信息；将所述第一目标信息输入第一缺陷网络模型，以确定所述第一目标信息是否存在明显缺陷；根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息；提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷。采用本方法能够针对列车底部关键部位的检测的需求，融合传统图像处理方法和深度学习实现高效精准的视觉检测。

Description

适用于列车的视觉定位与缺陷检测方法和装置

技术领域

本申请涉及列车检测技术领域，特别是涉及一种适用于列车的视觉定位与缺陷检测方法、装置、计算机设备和存储介质。

背景技术

随着我国经济流动和贸易的快速的进步，轨道交通作为现代重要的交通方式也得到了长足的发展与提升，截止2020年为止，全国共有44个城市开通运营城市轨道交通线路233条，运营里程7545.5公里，运营速度最高达到可160km/h。相比于汽车和其他交通方式，由于轨道交通高速行驶的特性，任何细小的故障和隐患如果不能及时发现都可能造成极为严重的后果。

目前，我国对于轨道交通的列车日常检查大多局限于人工完成，然而对于列车复杂的编组结构以及零部件而言，造成人员疲劳，且存在一定的漏检和错检隐患。同时，随着轨道交通的普及和列车保有量的不断增长，其与列车检测效率之间的矛盾越来越大。另外，列车车底作为和轨道接触的部分，具有许多列车运行的关键部位，例如转向架中的轮对轴箱装置、制动装置、牵引电机和齿轮变速传动装置等等。因此，对列车车底设计一套智能的关键部位的视觉定位与缺陷检测装置是十分有必要的。

然而，目前的很多基于机器视觉和图像处理方法方式或者传统方法，较为先进的一种是通过特征筛选分段线性化和插值配准的方法实现了高精度的图像精确配准。但是这类检测基于传统方法，漏检率较高，并且由于光照环境的影响，进行匹配时选择模板具有较大困难。

发明内容

基于此，有必要针对上述技术问题，提供一种适用于列车的视觉定位与缺陷检测方法、装置、计算机设备和存储介质，能够针对列车底部关键部位的检测的需求，融合传统方法和深度学习实现高效精准的视觉检测。

一种适用于列车的视觉定位与缺陷检测方法，所述方法包括：

获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理；

将预处理后的所述二维图像信息输入第一视觉定位网络模型，以确定所述二维图像信息中的第一目标信息；

将所述第一目标信息输入第一缺陷网络模型，以确定所述第一目标信息是否存在明显缺陷；

根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息；

提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷；

其中，所述第一视觉定位网络模型与第一缺陷网络模型均为已训练的卷积神经网络模型。

在其中一个实施例中，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述二维图像信息采用面阵相机采集，所述三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的所述二维图像信息进行标号。

在其中一个实施例中，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述第一视觉定位网络模型的训练包括，以待测区域的第一目标信息为参照物，构建第一目标信息数据集，对待测区域的第一目标信息进行提取与框选，训练初始视觉定位网络模型，以得到第一视觉网络模型。

在其中一个实施例中，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述第一缺陷网络模型的训练包括，以第一目标信息的缺陷部位为参照物，构建缺陷检测数据集，对第一目标信息进行缺陷检测，训练初始缺陷网络模型，以得到第一缺陷网络模型。

在其中一个实施例中，所述根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息，其中，包括：对所述三维点云信息构建点云模型，将所述二维图像信息的底面与所述三维点云信息的底面通过坐标映射结合，选取所述二维图像信息与所述三维点云信息的中心点作为坐标原点，以利用所述第一目标信息的坐标位置实现第二目标信息的坐标定位。

在其中一个实施例中，所述提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷，其中，包括：通过对第二目标信息的点云模型进行细粒度筛选，并通过所述三维点云信息的进行裂缝和裂痕筛选。

在其中一个实施例中，输出所述第一目标信息、所述第一目标信息的明显缺陷检测结果、所述第二目标信息和所述第二目标信息的深度缺陷检测结果；评估并报警所述明显缺陷检测结果和深度缺陷检测结果。

一种适用于列车的视觉定位与缺陷检测装置，所述装置包括：

包括速度检测模块，配置为获取待测区域的运行速度；

图像采集及预处理模块，配置为获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理；

目标定位模块，配置为将预处理后的所述二维图像信息输入第一视觉定位网络模型，以确定所述二维图像信息中的第一目标信息；

初级缺陷检测模块，配置为将所述第一目标信息输入第一缺陷网络模型，以确定所述第一目标信息是否存在明显缺陷；

三维图像定位模块，配置为根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息；

深度缺陷检索模块，配置为提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷。

评估与报警模块，配置为输出所述第一目标信息、所述第一目标信息的明显缺陷检测结果、所述第二目标信息和所述第二目标信息的深度缺陷检测结果，评估并报警所述明显缺陷检测结果和深度缺陷检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

其中，所述第一视觉定位网络模型与第二网络模型均为已训练的卷积神经网络模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述适用于列车的视觉定位与缺陷检测方法、装置、计算机设备和存储介质，在采集图像时，利用面阵相机和三维激光轮廓传感器相结合的检测方式，能够全方位立体化地采集到列车底部图像的平面信息和深度信息；同时，本申请采用深度学习的目标检测方式，与传统的人工检测方式相比，大大减少了人力资源的损耗，降低了漏检或误检的概率，提高了检测的速度和精准度，在检测过程中，采取初步检测和深度检测相结合的方式，首先通过二维图像的初步筛选出列车底部图像的关键部位，并对其进行初步的目标检测，筛查出例如铭牌缺失等粗粒度的缺陷；之后，利用二维图像的分辨率以及三维模型的分辨率信息进行坐标映射，由此确定列车底部的关键部位，并对其深度信息进行检测，利用点云模型的坐标计算判断有无断裂或者裂缝，进行细粒度的缺陷检测，可以在节省算力的情况下进一步提高缺陷检测的准确率。

附图说明

图1为一个实施例中适用于列车的视觉定位与缺陷检测方法的应用环境图；

图2为一个实施例中适用于列车的视觉定位与缺陷检测方法的流程示意图；

图3为一个实施例中列车底部关键部位的视觉定位与缺陷检测的方法流程图；

图4为一个实施例中三维激光轮廓传感器和面阵相机的放置；

图5为一个实施例中三维激光轮廓传感器的测量示意图；

图6为一个实施例中列车底部视觉定位网络模型构建流程图；

图7为一个实施例中列车底部初级缺陷检测流程图；

图8为一个实施例中评估与报警模块对关键部位定位及标注图像；

图9为一个实施例中评估与报警模块对列车底部的关键部位与缺陷的标注图像；

图10为一个实施例中列车底部关键部位的视觉定位与缺陷检测设备的内部结构图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的适用于列车的视觉定位与缺陷检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种适用于列车的视觉定位与缺陷检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理；

S204，将预处理后的二维图像信息输入第一视觉定位网络模型，以确定二维图像信息中的第一目标信息；

S206，将第一目标信息输入第一缺陷网络模型，以确定第一目标信息是否存在明显缺陷；

S208，根据第一目标信息标定三维点云信息，以确定三维点云信息中的第二目标信息；

S210，提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷；

其中，第一视觉定位网络模型与第一缺陷网络模型均为已训练的卷积神经网络模型。

需要说明的是，待测区域本实施例主要为针对列车底部，第一视觉定位网络模型为通过获取的二维图像定位列车底部的关键部位的网络模型，第一目标信息为获取的二维图像中的关键部位的图像信息与位置信息，即列车底部的一些关键位置或关键部位，第一缺陷网络模型通过对二维图像中的关键部位的特征提取与对比，检测其是否存在明显的缺陷，例如名牌丢失和明显断裂等。

可选的实施方式中，还包括以下步骤：

S212，输出第一目标信息、第一目标信息的明显缺陷检测结果、第二目标信息和第二目标信息的深度缺陷检测结果，评估并报警所述明显缺陷检测结果和深度缺陷检测结果。

可选的实施方式中，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，可通过以下步骤实现：

S1，二维图像信息采用面阵相机采集；

S2，三维点云信息采用三维激光轮廓传感器采集；

S3，借助待测区域的速度信息对动态的二维图像信息进行标号。

需要说明的是，实际工作中采用面阵相机获取列车底部清晰二维图像并编号，调用工业面阵相机对列车底部进行动态拍摄后，根据速度模块所反馈的当前速度，对列车底部动态图像进行隔帧截取作为列车底部图像，保存并命名编号，将每列车厢所采集到的图和车厢编号一一对应。

可选的实施方式中，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，第一视觉定位网络模型的训练可通过以下步骤实现：

S1，以待测区域的第一目标信息为参照物，构建第一目标信息数据集,；

S2，对待测区域的第一目标信息进行提取与框选；

S3，训练初始视觉定位网络模型，以得到第一视觉网络模型。

需要说明的是，实际工作中以列车底部的关键部位为参照物，构建列车底部关键部位数据集，采用特征提取与目标检测网络YOLO对图像中的关键部位进行提取和框选训练，如牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置等。

可选的实施方式中，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，第一缺陷网络模型的训练可通过以下步骤实现：

S1，以第一目标信息的缺陷部位为参照物，构建缺陷检测数据集,；

S2，对第一目标信息进行缺陷检测，训练初始缺陷网络模型，以得到第一缺陷网络模型。

需要说明的是，利用目标检测网络SSD网络对关键部位进行缺陷检测训练。将采集到的二维图像输入到训练好的第一缺陷网络模型和第一视觉网络模型，进行关键部位的视觉定位和框选以及初级的缺陷检测。

可选的实施方式中，根据第一目标信息标定三维点云信息，以确定三维点云信息中的第二目标信息，可通过以下步骤实现：

S1，对三维点云信息构建点云模型；

S2，将二维图像信息的底面与三维点云信息的底面通过坐标映射结合，

S3，选取二维图像信息与三维点云信息的中心点作为坐标原点，以利用第一目标信息的坐标位置实现第二目标信息的坐标定位。

需要说明的是，实际工作中具体为采用三维激光轮廓传感器采集列车底部的三维图像，并对采集到的每一份图像对应的列车厢进行依次编号。之后，利用三维激光轮廓传感器扫描列车底部得到的三维图像建立点云模型，将列车底部的二维图像和三维模型的底面利用坐标映射的方式结合，选取二维与三维图像的中心点作为坐标原点，实现利用二维图像的位置坐标对三维模型相应的位置定位，坐标间的映射关系可通过图像分辨率进行转化。之后，将经过YOLO网络视觉定位的关键部位坐标进行矩阵运算三维转化后输入到点云模型。

可选的实施方式中，提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷，可通过以下步骤实现：

S1，通过对第二目标信息的点云模型进行细粒度筛选；

S2，通过三维点云信息的进行裂缝和裂痕筛选。

可选的实施方式中，还可以包括输出第一目标信息、第一目标信息的明显缺陷检测结果、第二目标信息和第二目标信息的明显缺陷检测结果；评估并报警明显缺陷检测结果和明显缺陷检测结果。

上述适用于列车的视觉定位与缺陷检测方法中，在采集图像时，利用面阵相机和三维激光轮廓传感器相结合的检测方式，能够全方位立体化地采集到列车底部图像的平面信息和深度信息。同时，本申请采用深度学习的目标检测方式，与传统的人工检测方式相比，大大减少了人力资源的损耗，降低了漏检或误检的概率，提高了检测的速度和精准度，在检测过程中，采取初步检测和深度检测相结合的方式，首先通过二维图像的初步筛选出列车底部图像的关键部位，并对其进行初步的目标检测，筛查出例如铭牌缺失等粗粒度的缺陷。之后，利用二维图像的分辨率以及三维模型的分辨率信息进行坐标映射，由此确定列车底部的关键部位，并对其深度信息进行检测，利用点云模型的坐标计算判断有无断裂或者裂缝，进行细粒度的缺陷检测，可以在节省算力的情况下进一步提高缺陷检测的准确率。

以下通过图3-图9举例对上述方法进行具体说明：

采集列车底部图像并编号，保持车底空间内光照强度稳定在100至500lx，使得三维激光轮廓传感器与面阵相机在该照度的范围内可使用拍摄出清晰图像。保持列车以5km/h至15km/h的速度运行，为使得三维激光轮廓传感器与面阵工业相机能够在该列车运行速度下拍摄出清晰的动态图像，保持工业面阵相机的帧速率大于30fps。本实例中列车底部测量宽度为1780mm，相机与列车底部高度为700mm，列车整体长度为22000mm。本实例中根据相机工作距离和列车底部宽度，选择工业面阵相机的视野范围为18001800mm，工作距离为700mm，则对应相机的靶面尺寸选择为1.1英寸，工业相机镜头焦距选择5mm。设置相机镜头并调整焦距，使得列车底部宽度可完全落入工业面阵相机的视野范围之内。同时，根据列车宽度，选择两台三维激光轮廓传感器，保证相机的视野范围能够覆盖整个列车底部。首先调用面阵相机，对列车底部的整体图像进行采集并编号，使车厢与采集到的图片一一对应，保存至服务器中。之后，利用三维激光轮廓传感器采集列车底部的深度图像信息，使用图像拼接技术将两台三维激光轮廓传感器所采集到的深度图像拼接并编号保存至服务器中。三维激光轮廓传感器和面阵相机的放置如图4所示。

更具体地，由于一节列车车厢长度为22000mm，所以利用工业面阵相机拍摄一节车厢列车底部整体的动态图像视频。当列车底部完全落入视野范围后开始拍摄，当列车底部离开视野范围后停止拍摄。利用速度检测模块，实时获取拍摄该节车厢列车底部视频时的速度并存储，利用图像预处理技术，根据当前运行速度和列车长度，按照时间截取列车底部动态视频的关键帧作为列车底部图像。假设该列车运动速度为，截取的时间为，视野范围为1800mm。

则针对该列车视频从0时刻起每隔t时间截取关键帧并存储。由于列车长度和工业面阵相机的视野范围确定，所以每节车厢可获取到13帧图像存储并编号。列车三维激光轮廓传感器通过设置固定长度点云，每隔1800mm输出点云图像，共输出13份点云模型，与二维图像拍摄到的列车底部部分一一对应。由于本实施例所选取的相机扫描速率为5000Hz，所以三维激光轮廓扫描仪拍摄精度小于1mm，将获取到的三维图像和列车底部二维图像一一对应，储存并编号。

更具体地，三维激光轮廓传感器采用激光三角反射式原理，将放大后的激光束形成激光线投影到被测物体表面后，利用高质量光学系统获取反射光，并且投影到成像矩阵上，经过计算可以获取到传感器到被测表面的距离和沿着激光线的位置信息。本实例中选取的三维激光轮廓传感器如图5所示，其视野范围（FOV）为390mm至1260mm，净距离（CD）为350mm，测量范围（MR）为350mm至800毫米，深度分辨率可达到0.092mm，平面方向分辨率可达到0.375mm。

二维图像关键部位视觉定位。

在本申请的实例中，利用YOLOv4网络对二维图像中关键部位进行视觉定位。具体流程如图6所示，结合图6，对二维图像关键部位进行视觉定位进行说明。

构建列车底部关键部位数据集。选取200张列车底部关键部位的二维图像作为初始数据构建列车底部关键部位视觉定位数据集。使用Labellmg软件对列车底部图像中的关键部位进行标注，包括牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置、联轴节、所有车下箱体及其他吊挂件，设置选择YOLO作为数据的输出格式，每张图片单独保存为一份文本文件，内容为目标所在的框选坐标。

利用YOLOv4网络对列车底部关键部位进行视觉定位与检测训练。使用YOLOv4模型对构建完成的数据集进行训练。YOLO网络为目标检测问题建立回归模型，把原图作为输入可以直接提取特征，在输出层预测目标的回归框和所属类别。YOLO实现了端到端的目标检测识别，甚至检测帧率速度接近实时检测。网络将待检测的图像按进行单元划分，每个单元大小相等且互不重合。每个单元负责检测中心位置落在本单元方格内的目标，并且给出有回归边界框的预测位置信息和分类置信度的输出向量。YOLO网络是根据GoogleNet网络模型进行改进的，使用卷积滤波和卷积滤波代替Inception卷积组，其中卷积组用来整合跨通道信息。同时，采用固定尺寸大小的图像输入，并把均方误差函数作为损失函数，并设置不同的权重训练并输出预测定位信息、预测分类信息和预测置信度信息。本实例中采取的是YOLOv4网络，YOLOv4网络在YOLOv3的基础上引入了新的骨干网络和特征增强网络，使模型具有更好的性能。YOLOv4的网络结构包括输入端，骨干网络，特征增强网络和预测层。其中，YOLOv4的骨干网络采用CSPNet，CSPNet设计的主要目的是在减少计算量的同时实现更丰富的梯度组合。将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，通过对梯度流的分裂使梯度流通过不同的网络路径传播。同时，YOLOv4采用了空间金字塔池化（SPP）的方法来扩大感受野，并且增强数据采用了 Mosaic 数据增强方法，通过该方法将4张训练图片先随机缩放，然后在随机进行拼接混合成一张新图片，这样不仅丰富了图像的数据集，而且在随机缩放的过程中增加了很多的小目标，从而使得模型的鲁棒性更好。

更具体地，YOLOv4采用CIOU_Loss损失函数，考虑了边界框的长宽比信息的交并比函数，IOU_Loss损失函数的计算方法如下公式：

其中，

是影响因子，其中

是衡量长宽一致性的参数，

的作用是协调参数，b 和b _gt表示预测框与实际GT框（ground truth）的中心点，

表示b和b _gt的欧式距离，

为交并比函数，A表示实际框的面积，B表示预测框的面积，C表示的是预测框B与实际框A的最小外接矩形的面积，

和

分别代表实际框的宽与高，w和h代表预测框的宽与高。

生成YOLOv4训练模型，对列车底部关键部位进行视觉定位。

将经过训练后的YOLOv4网络得到的一系列权重参数保存，并对待检测列车底部图像进行测试。将待检测图片存放的路径输入到已经训练好的YOLOv4网络模型中，对每一张图片进行相应的关键部位视觉定位，框选出列车底部的关键部位，如牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置，并保存关键部位的位置信息以待进行缺陷检测，位置信息保存的方式为左上顶点的坐标和右下顶点的坐标，保存模型并封装权重参数。

二维图像关键部位初级缺陷检测。

在本申请中，利用SSD网络对二维图像中关键部位视觉定位之后进行初级缺陷检测。具体流程如图7所示，结合图7，对二维图像关键部位进行视觉定位进行说明。

构建列车底部关键部位缺陷检测数据集。

本实施例中由于SSD网络模型的原始数据集使用的是VOC2007，因此，将采集到的列车底部关键部件的图片存入VOC2007中JPEGImages文件夹中，之后使用Labellmg工具给列车底部图像中关键部件的缺陷部分打标签，如铭牌缺失等，采用顺时针方向记录坐标，依次是左上角坐标点，右上角坐标点，右下角坐标点，左下角坐标点(即x1,y1,x2,y2,x3,y3,x4,y4)。保存生成xml文件后，存入VOC2007中的Annotations文件夹，并运行VOC中的主代码生成文本文件。由于SSD框架所用到的标签文件并不直接是xml文件，所以需要用xml文件生成tfrecord文件开展SSD模型的预训练。

利用SSD网络对列车底部关键部位进行缺陷检测训练。

使用SSD网络对构建的列车底部关键部位缺陷数据集进行训练，SSD算法采用CNN来直接对图像进行目标检测，利用多尺度的特征图结构以达到提高准确率的效果。由于CNN网络前段的特征图较大，所以后面逐渐采用步长为2的卷积或者池化操作来降低特征图的大小，用比较大的特征图来检测大的目标，用比较小的特征图来检测小目标，因此框选范围更准确。

更具体地，SSD直接采用卷积对不同的特征图来进行提取检测结果，对于形状

的特征图，只需要采用

这样比较小的卷积核得到检测的值。同时，SSD 采用锚点(anchor)的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框 (bounding boxes)是以这些先验框为基准的，在一定程度上减少训练难度。一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异。对于每个先验框而言，输出一道独立的检测值都有一套独立的检测值，检测值对应一个边界框，分为个类别的置信度评分部分和边界框定位部分，第一部分执行度指的是不包含目标或者属于背景的评分部分，第二个边界框定位包含边界框的中心坐标以及宽和高。SSD的网络结构采用VGG16作为基础模型，在VGG16的基础上新增了更多的卷积层用于目标检测，同时，将VGG16末端的全连接层转化成

和

的卷积层，同时将第5个池化层由原来的步长为2的

卷积转化为步长为1的

卷积，同时为了配合这种池化层的改动，采用扩展卷积与带孔卷积方法，在不增加参数与模型复杂度的情况下扩大感受野。

更具体地，根据卷积层的不同所得到的不同特征图设置的先验框数目也是不同的，先验框奢侈包括尺度和长宽比两个方面，对于尺度而言，遵循先验框尺度线性增加原则：

其中，m指的是特征图的个数，

表示先验框大小相对于图片的比例，

与

表示比例的最小值和最大值。

更具体地，在训练过程中，目标检测首先要确定训练图片的真实目标（groundtruth）与先验框匹配，与之匹配的先验框所对应的边界框要预测其中的值，SSD算法中先验框与ground truth匹配的的原则首先是对于图片中每个ground truth，找到与其交并比（IOU）最大的先验框进行匹配，设置其为正样本，若是一个先验框没有ground truth与之匹配，那么该先验框只能与背景匹配为负样本。其次，如果某个ground truth所对应最大IOU小于阈值，并且所匹配的先验框却与另外一个ground truth的IOU大于阈值，那么该先验框应该匹配前者，因为要确保某个ground truth一定有一个先验框与之匹配。

生成SSD关键部位缺陷检测训练模型，对列车底部关键部位进行缺陷检测。

利用训练后生成的SSD模型，对经由视觉定位网络提取的列车底部关键部位进行缺陷检测，将待检测的图像中被视觉定位模型框选出的关键部位图片送入到训练好的SSD模型中，利用滑动窗口对关键部位如铭牌缺失，明显断裂、部件松动、变形及脱落、存在异物或油渍问题进行检测，检测后返回结果，完成列车底部初级缺陷检测部分，并保留结果与之后的三维深度缺陷信息融合并评估报警，保存模型并封装权重参数。

利用视觉定位网络生成的二维图像中关键部位坐标，对三维图像中的关键位置进行确定。

在本申请所涉及的实施例中，由于首先通过工业面阵相机拍摄动态视频后，预处理所获得的关键帧二维图像进行列车底部关键部位的视觉定位，因此将二维图像中视觉定位所确定的关键部位区域在三维图像中进行标定，依此确定进行三维深度缺陷检测的区域。同时，在图像采集与预处理模块中，每一节列车车底部共有13张二维图像和13份点云模型，并且二维图像与三维点云一一对应。因此图像区域中的原点选择为每一张二维图像中像素尺寸的中心点位置，每一份三维点云模型选取底面图像区域的中心作为坐标原点进行映射变化。

更具体的，获取经过预处理之后的列车底部整体图像的大小与分辨率以及三维图像中拍摄的底面大小分辨率以及深度信息，假设二维图像的长度像素度和宽度像素度分别为

，分辨率为

，假设列车底部的三维图像底面的长度像素度和宽度像素度分别为

与

，分辨率为

则可通过以下公式进行视觉定位以确定关键部位的区域坐标，假设二维图像的保存的左上顶点坐标为

，右下顶点的坐标为

，显示尺寸为Z，三维图像保存的左上顶点坐标为

，右下顶点为

，则

依照本实施例给出的计算方式，可以在已知图像大小和分辨率的情况之下确定二维图像中关键部位在三维图像底面中定位的坐标，进而可以更简洁地对列车底部缺陷部位区域进行筛选，避免对无效区域进行深度缺陷检测。将二维图像处理得到的信息更好地融合进三维图像的深度信息中，避免大量重复筛选和检测的工作。

对被标定的三维图像区域进行深度缺陷检测。

在本申请的实施例中，利用被标定的三维图像区域融合二维图像信息并进行深度缺陷检测包括：

利用二维图像视觉定位转化到三维点云模型的底面部分进行关键部位定位之后，利用三维深度信息，对列车底部特定的关键部位进行建模，并且根据点云信息进行细粒度的裂痕与裂缝筛选，通过三维深度坐标区域的连通性和畸变程度，判断在该检测区域是否有断裂和细微缺陷部分，譬如裂缝，裂痕或者轴承连接处断裂问题。

更具体地，对根据坐标区域连通性和畸变对列车底部关键部位进行深度缺陷检测包括，利用三维深度信息对列车底部关键部位表面进行建模，利用关键部位的表面点云位置拟合曲面，采用间隔取点的方式，随机筛选视觉定位到的关键部位区域中的点云进行拟合，并且以计算点云处高度信息的曲面微分信息作为畸变程度的依据，当畸变程度小于阈值则判断为正常凸起与凹陷，当畸变程度大于所选取的阈值，则输出报警、判断并标注为裂缝、裂痕以及断裂。

记录列车底部二维与三维关键部位视觉定位与缺陷，并进行评估和记录。

在本申请的实施例中，记录列车底部关键部位的定位与缺陷检测包括：

根据对二维图像处理的视觉定位模型所检测出的列车底部关键部位如牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置、联轴节、所有车下箱体及其他吊挂件等部位进行框选并标注绿色如图10所示，并根据二维图像中列车底部关键部位的缺陷检测筛选结果，提示通过初级筛选是否存在明显的缺陷如存在异物或者铭牌缺失等，如果存在缺陷，则标注为红色。根据三维图像深度信息所拟合的曲面信息以及畸变程度，大于畸变程度的阈值则在显示服务端显示存在裂缝或者断裂的位置信息，并且在输出图像中框选并标注红色如图11所示，以供工作人员进行记录和现场筛查检修。融合三维图像深度缺陷检测信息与二维图像初级缺陷检测信息，综合评估对应列车底部关键部位是否需要返厂检修或者现场检修等。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种适用于列车的视觉定位与缺陷检测装置，装置包括：

图像采集及预处理模块，配置为获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理；

目标定位模块，配置为将预处理后的二维图像信息输入第一视觉定位网络模型，以确定二维图像信息中的第一目标信息；

初级缺陷检测模块，配置为将第一目标信息输入第一缺陷网络模型，以确定第一目标信息是否存在明显缺陷；

三维图像定位模块，配置为根据第一目标信息标定三维点云信息，以确定三维点云信息中的第二目标信息；

深度缺陷检索模块，配置为提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷。

可选的实施方式中，包括评估与报警模块，配置为输出第一目标信息、第一目标信息的明显缺陷检测结果、第二目标信息和第二目标信息的明显缺陷检测结果，评估并报警明显缺陷检测结果和明显缺陷检测结果。

可选的实施方式中，包括速度检测模块，配置为获取待测区域的运行速度。

需要说明的是，速度检测模块，将列车运行的速度实时动态反馈至服务器并存储，以待图像预处理模块调用。

图像采集及预处理模块，利用三维激光轮廓传感器和面阵工业相机采集列车底部的图像信息以及深度信息，利用速度信息并经过预处理后生成对应标号的文件，图像采集及预处理设备安装在列车待检测的指定区域内，可拍摄到列车底部的整体信息；

目标定位模块，用于对列车底部关键部位进行提取和框选，利用训练完成的深度学习网络模块对列车底部关键部位进行视觉定位；

初级缺陷检测模块，用于对二维的图像信息进行缺陷检测如铭牌丢失、明显断裂、部件松动、变形及脱落、存在异物或油渍，利用训练完成的深度学习网络模块对列车底部关键部位进行初级缺陷检测，判断有无明显缺陷；

三维图像定位模块，根据坐标原点及分辨率，得到坐标间的映射关系并转化，利用二维的图像中关键部位的位置信息定位三维点云坐标中关键部位。

深度缺陷检测模块，利用三维图像的深度信息，拟合曲面并且根据点云模型的畸变程度对列车底部关键部位进行缺陷检测。

评估与报警模块，用于对的初级和深度缺陷检测的结果进行相应的评估并报警，判断该截车厢是否需要检修。

关于一种适用于列车的视觉定位与缺陷检测装置装置的具体限定可以参见上文中对于一种适用于列车的视觉定位与缺陷检测方法的限定，在此不再赘述。上述一种适用于列车的视觉定位与缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一目标信息、缺陷检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种适用于列车的视觉定位与缺陷检测方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

S1，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理；

S2，将预处理后的二维图像信息输入第一视觉定位网络模型，以确定二维图像信息中的第一目标信息；

S3，将第一目标信息输入第一缺陷网络模型，以确定第一目标信息是否存在明显缺陷；

S4，根据第一目标信息标定三维点云信息，以确定三维点云信息中的第二目标信息；

S5，提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷；

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

S6，输出第一目标信息、第一目标信息的明显缺陷检测结果、第二目标信息和第二目标信息的明显缺陷检测结果；评估并报警明显缺陷检测结果和明显缺陷检测结果。

S1.1，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，二维图像信息采用面阵相机采集，三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的二维图像信息进行标号。

S1.2，根据第一目标信息标定三维点云信息，以确定三维点云信息中的第二目标信息，其中，包括：对三维点云信息构建点云模型，将二维图像信息的底面与三维点云信息的底面通过坐标映射结合，选取二维图像信息与三维点云信息的中心点作为坐标原点，以利用第一目标信息的坐标位置实现第二目标信息的坐标定位。

S1.3，提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷，其中，包括：通过对第二目标信息的点云模型进行细粒度筛选，并通过三维点云模型获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，二维图像信息采用面阵相机采集，三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的二维图像信息进行标号。

S2.1，第一视觉定位网络模型的训练包括，以待测区域的第一目标信息为参照物，构建第一目标信息数据集，对待测区域的第一目标信息进行提取与框选，训练初始视觉定位网络模型，以得到第一视觉网络模型。

S2.2，获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，第一缺陷网络模型的训练包括，以第一目标信息的缺陷部位为参照物，构建缺陷检测数据集，对第一目标信息进行缺陷检测，训练初始缺陷网络模型，以得到第一缺陷网络模型。云信息的进行裂缝和裂痕筛选。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

S6，输出第一目标信息、第一目标信息的明显缺陷检测结果、第二目标信息和第二目标信息的深度缺陷检测结果；评估并报警明显缺陷检测结果和深度缺陷检测结果。

S1.3，提取第二目标信息的深度特征，以确定第二目标信息是否存在深度缺陷，其中，包括：通过对第二目标信息的点云模型进行细粒度筛选，并通过三维点云信息获取待测区域的二维图像信息与三维点云信息，并对二维图像信息进行预处理，其中，二维图像信息采用面阵相机采集，三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的二维图像信息进行标号。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种适用于列车的视觉定位与缺陷检测方法，其特征在于：所述方法包括：

2.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述二维图像信息采用面阵相机采集，所述三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的所述二维图像信息进行标号。

3.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述第一视觉定位网络模型的训练包括，以待测区域的第一目标信息为参照物，构建第一目标信息数据集，对待测区域的第一目标信息进行提取与框选，训练初始视觉定位网络模型，以得到第一视觉网络模型。

4.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述第一缺陷网络模型的训练包括，以第一目标信息的缺陷部位为参照物，构建缺陷检测数据集，对第一目标信息进行缺陷检测，训练初始缺陷网络模型，以得到第一缺陷网络模型。

5.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息，其中，包括：对所述三维点云信息构建点云模型，将所述二维图像信息的底面与所述三维点云信息的底面通过坐标映射结合，选取所述二维图像信息与所述三维点云信息的中心点作为坐标原点，以利用所述第一目标信息的坐标位置实现第二目标信息的坐标定位。

6.根据权利要求5所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷，其中，包括：通过对第二目标信息的点云模型进行细粒度筛选，并通过所述三维点云信息的进行裂缝和裂痕筛选。

7.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法，其特征在于，所述方法还包括：

输出所述第一目标信息、所述第一目标信息的明显缺陷检测结果、所述第二目标信息和所述第二目标信息的深度缺陷检测结果；

评估并报警所述明显缺陷检测结果和深度缺陷检测结果。

8.一种适用于列车的视觉定位与缺陷检测装置，其特征在于，所述装置包括：

速度检测模块，配置为获取待测区域的运行速度；

深度缺陷检索模块，配置为提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。