CN110009602A - 紧固件防松标识的检测方法、系统存储介质及计算机设备 - Google Patents

Abstract

本发明公开了一种紧固件防松标识的检测方法、系统存储介质及计算机设备，其中方法包括以下步骤：获取被测紧固件的待测三维点云数据；分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点，将所述待测三维点云数据中的所有特征点与所述样本三维点云数据中的所有特征点进行配准；对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区；将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。本发明能够有效的发现经常或容易松动的紧固件位置，进而可对应用此紧固件的部位或结构的改进提供有效数据，具有很高的实用性。

Description

紧固件防松标识的检测方法、系统存储介质及计算机设备

技术领域

本发明涉及成像检测及处理领域，特别涉及一种紧固件防松标识的检测方法、系统存储介质及计算机设备。

背景技术

目前，地铁车辆普遍采取的连接紧固方式为螺纹连接，依靠螺纹副承载。这种紧固方式其最大的优点是拆卸比较方便、实用，但其存在的振松问题，必然会导致设备运行状况恶化，甚至造成部件损坏，严重的将危及行车安全。因此，车辆检修和维护的最重要环节及前提就是紧固良好。针对这种情况，选择可靠、可行的紧固方式就显得尤为重要，这时就得对紧固件做好相应的防松措施，同时还得做好防松标记，即在紧固连接处划线，且标记清晰、整齐、美观，由于紧固件的垫圈处间隙较小，允许防松标记在垫圈缝隙处断开，但必须保证防松标记在一条直线上。采用人力检修的地方，在检修时，需要人进去到车底，通过人眼识别，是否错位，判断紧固件是否松动来保证后续的检查和维护工作的开展。采用机器检测的地方，通过各种检测装置，对车底拍摄照片，然后通过人眼识别有异常的图片。这种方式存在的问题是，一列动车就几十万张图像，而且拍摄的图像几乎全是被污渍、灰尘遮盖的紧固件。以至于造成了一个班组需要十几个人不停的查看从车底拍摄的防松标识的图像，且长时间查看造成眼部疲劳，耗费大量人力。除此外，基于AI的检测也陷入困境，因为AI训练需要大量的正常检测图像和异常检测图像作为数据库样本。由于异常检测图像极少，所以对异常的训练不充分，从而也很难准确的发现异常。

传统防松标识的识别方法的缺点：1、靠人眼，费时费力，而且一般情况下，检测的环境比较恶劣，会对人的身体健康造成影响。同时如果有大量任务，会产生很多的人力资源的浪费。2、如果防松标识，被污渍、灰尘等遮盖，人眼无法完成识别工作，并且目前已有的基于颜色识别的2D图像技术，因为污渍遮盖等原因也不能进行准确的识别和判断。

发明内容

针对上述技术问题，本发明提供一种使用方便、能够省时省力、不受污渍、灰尘等遮盖影响的紧固件防松标识的检测方法、系统存储介质及计算机设备。

为解决上述技术问题，本发明提供一种紧固件防松标识的检测方法，包括以下步骤：

获取被测紧固件的待测三维点云数据；

分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点，将所述待测三维点云数据中的所有特征点与所述样本三维点云数据中的所有特征点进行配准；

对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区；

将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

本发明通过将新获取的待测三维点云数据中的特征点与预存储的样本三维点云数据中的特征点的配准，能够实现对未发生变动部分特征点的匹配，分割以后，能够最大程度的保留含有防松标识部分的有效数据区，减小数据处理的数量，针对分割区域的特征点比对，能够准确直接的确定出防松标识对应的区域的特征点是否存在差异，从而判断防松标识是否发生偏转。解决了传统防松标识是否偏转判断过程中因污渍、灰尘遮盖不能完成的基于视觉检测的局限，无需清洗被检测紧固件，不受污渍、灰尘等遮盖物面积、颜色的影响，即可完成检测，应用范围广，效率高，检测结果错误率低，具有很高的实用性。

本发明还提供了一种紧固件防松标识的检测系统，包括数据获取装置以及数据处理装置；

所述数据获取装置，用于获取被测紧固件的待测三维点云数据；

所述数据处理装置，用于分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点，将所述待测三维点云中的所有特征点与所述样本三维点云数据中的所有特征点进行配准；

对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区；

将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

本发明通过将新获取的待测三维点云数据中的特征点与预存储的样本三维点云数据中的特征点的配准，能够实现对未发生变动部分特征点的匹配，分割以后，能够最大程度的保留含有防松标识部分的有效数据区，减小数据处理的数量，针对分割区域的特征点比对，能够准确直接的确定出防松标识对应的区域的特征点是否存在差异，从而判断防松标识是否发生偏转。解决了传统防松标识是否偏转判断过程中因污渍、灰尘遮盖不能完成的基于视觉检测的局限，无需清洗被检测紧固件，不受污渍、灰尘等遮盖物面积、颜色的影响，即可完成检测，应用范围广，效率高，检测结果错误率低，具有很高的实用性。

本发明还提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述方法。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明提供的紧固件防松标识的检测方法一实施例的示意性流程图；

图2是本发明提供的紧固件防松标识的检测方法另一实施例的示意性流程图；

图3是本发明提供的紧固件防松标识的检测方法另一实施例的示意性流程图；

图4是本发明提供的紧固件防松标识的检测方法另一实施例的示意性流程图；

图5为本发明提供的紧固件防松标识的检测系统的示意性框图；

图6是本发明中数据获取装置一实施例的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的紧固件防松标识的检测方法，包括以下步骤：

S10：获取被测紧固件的待测三维点云数据；

S20：分别提取待测三维点云数据以及预存储的样本三维点云数据中的特征点，将待测三维点云数据中的所有特征点与样本三维点云数据中的所有特征点进行配准；

S30：对配准后的待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区；

S40：将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

本发明通过将新获取的待测三维点云数据中的特征点与预存储的样本三维点云数据中的特征点的配准，能够实现对未发生变动部分特征点的匹配，分割以后，能够最大程度的保留含有防松标识部分的有效数据区，减小数据处理的数量，针对分割区域的特征点比对，能够准确直接的确定出防松标识对应的区域的特征点是否存在差异，从而判断防松标识是否发生偏转。解决了传统防松标识是否偏转判断过程中因污渍、灰尘遮盖不能完成的基于视觉检测的局限，无需清洗被检测紧固件，不受污渍、灰尘等遮盖物面积、颜色的影响，即可完成检测，应用范围广，效率高，检测结果错误率低，具有很高的实用性。优选地，在获取被测紧固件的待测三维点云数据之后，分别提取待测三维点云数据以及预存储的样本三维点云数据中的特征点之前，还包括以下步骤：

对待测三维点云数据和样本三维点云数据进行滤波，去除噪点。

上述实施例中，通过对待测三维点云数据和样本三维点云数据进行滤波，能够有效的去除噪点，减少数据处理过程中的非必要数据，在一定程度上提高了数据处理的效率。

优选地，在获取被测紧固件的待测三维点云数据之前，还包括以下步骤：

对新出厂或检修完且带有防松标识的紧固件进行三维扫描，获取样本三维点云数据，并对样本三维点云数据进行存储。

上述实施例中，通过对样本三维点云数据的获取，能够有效的为待测三维点云数据的检测提供数据依据。

优选地，对配准后的待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区，具体包含以下步骤：

S31：提取配准后的待测三维点云数据和样本三维点云数据中共有的参照特征点；

S32：根据参照特征点对待测三维点云数据和样本三维点云数据进行分割区域设定；

S33：按照分割区域对待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区。

上述实施例能够有效的对待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区的最小有效检测区域，极大的减少了需要进行处理及检测数据的数量，提高了检测方法的效率。进一步的，在分割时，可以分割出包含防松标识的所在的立方体区域、螺丝、螺母、螺垫和与之接触的部分机器结构，以便确保检测方法的准确性。

优选地，在将待测三维点云数据中的所有特征点与样本三维点云数据中的所有特征点进行配准，包括以下步骤：

步骤S21：对待测三维点云数据中的所有特征点进行三维空间变换，获取待测点集，并确定样本待测三维点云数据与待测点集对应的样本点集；

步骤S22：构造目标函数，为目标函数设定收敛值；

步骤S23：对待测点集以及样本点集进行迭代运算，直至两次目标函数差值的绝对值小于收敛值，配准完成。

上述实施例能够有效的将待测三维点云数据中的所有特征点与样本三维点云数据中的所有特征点进行配准，通过配准，能够有效的确保绝大多数的特征点是重合的，从侧面也突出了未发生变化的特征点。进一步的，在进行配准时，采用的是ICP算法(IterativeClosest Point迭代最近点算法)，在利用ICP法进行坐标精匹配时，选择最近点对距离的平均值作为目标函数，并设置ICP算法的收敛条件为两次迭代运算的目标函数值相差的绝对值小于0.005mm的收敛值作为收敛判断条件，进行多次迭代运算，直至最终结果满足收敛条件。本实施例中在经过了20次迭代运算之后最终满足收敛条件，完成最终的配准。ICP算法具体步骤如下：

计算公式为：

(1)在目标点云P中取点集pi∈P；

(2)找出源点云Q中的对应点集qi∈Q，使得||qi-pi||＝min；

(3)计算旋转矩阵R和平移矩阵t，使得误差函数最小；

(4)对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，的到新的

对应点集pi’＝{pi’＝Rpi+t,pi∈P}；

(5)计算pi’与对应点集qi的平均距离；

(6)如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算，n为迭代次数。

否则返回第2步，直到满足收敛条件为止。

优选地，将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转，具体包含以下步骤：

步骤S41：提取两份有效数据区中的所有特征点，为两份有效数据区中的每一个特征点在相对应另一份有效数据区内建立点对边或点对点的对应关系；

步骤S42：计算两份有效数据区中无法建立对应关系的特征点间的误差值；

步骤S43：将误差值与收敛值进行比对，在误差值大于收敛值时，对两份有效数据中对存在误差的特征点进行差色标注，并提示防松标识发生偏转。

上述实施例通过对两份有效数据区中每一个特征点的对应关系的确定，能够确定出无法实现对应关系的特征点，进而可以判断中无法建立对应关系特征点间存在的误差值，通过将误差值与收敛值的比对，可以确定出防松标识是否发生了偏转，提高了最终结果判断的准确性。

在图1对应实施例的基础上，本发明还提供了一种紧固件防松标识的检测系统，详见图5。本发明提供的紧固件防松标识的检测系统包括数据获取装置以及数据处理装置；

数据获取装置，用于获取被测紧固件的待测三维点云数据；

数据处理装置，用于分别提取待测三维点云数据以及预存储的样本三维点云数据中的特征点，将待测三维点云中的所有特征点与样本三维点云数据中的所有特征点进行配准；

对配准后的待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区；

将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

本发明通过将新获取的待测三维点云数据中的特征点与预存储的样本三维点云数据中的特征点的配准，能够实现对未发生变动部分特征点的匹配，分割以后，能够最大程度的保留含有防松标识部分的有效数据区，减小数据处理的数量，针对分割区域的特征点比对，能够准确直接的确定出防松标识对应的区域的特征点是否存在差异，从而判断防松标识是否发生偏转。解决了传统防松标识是否偏转判断过程中因污渍、灰尘遮盖不能完成的基于视觉检测的局限，无需清洗被检测紧固件，不受污渍、灰尘等遮盖物面积、颜色的影响，即可完成检测，应用范围广，效率高，检测结果错误率低，具有很高的实用性。

进一步的，如图6所示，本申请中的数据获取装置采用的是三维扫描装置，其可以包括底座1用于固定相机2和壳体3，壳体3内部底板固定数据处理装置5，数据处理装置5通过线路与投影仪4连接，投影仪4和相机2之间接有触发控制线，投影仪视野6与相机视野7有交叉重叠的公共视野8，待测紧固件和标定板均放在公共视野8中进行，采用结构光的方法生成三维点云数据。

本申请的三维扫描装置可以固定在机械手上或者其他机械结构上，三维扫描装置1对准待测紧固件防松标识部位进行扫描，采集紧固件和防松标识三维数据并存入存储装置2，具体步骤为：调节相机2和投影仪4到合适的角度，使之有公共视野。将格子宽度、高度均为11.5mm的11行8列的黑白棋盘格标定板放入公共视野8中，进行标定。首先标定相机2，其次标定投影仪4，最后相机2和投影仪4联合标定成功。将三维扫描装置对准被测紧固件，且设置三维扫描装置位置与被测紧固件之间的距离在有效距离以内，相机和投影仪联合工作，投影仪投射结构光，相机拍摄对应的结构光条纹下的紧固件图像，通过数据处理装置5生成三维数据，上述三维重建的过程采用多频外差法(三维测量技术中的相位法之一)，提高三维数据的精度。

两次采集到的数据分别为出检修库之前所采集到的，重新画上防松标记的紧固件所在区域的三维数据的样本三维点云数据；上述动车同一位置再次检修时，采集上述位置处的同一紧固件所在区域的，相同角度和距离所采集到的三维数据作为待测三维点云数据。

优先地，数据处理装置，还用于提取配准后的待测三维点云数据和样本三维点云数据中共有的参照特征点；

根据参照特征点对待测三维点云数据和样本三维点云数据进行分割区域设定；

按照分割区域对待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区。

上述实施例能够有效的对待测三维点云数据和样本三维点云数据进行分割，保留包含防松标识的有效数据区的最小有效检测区域，极大的减少了需要进行处理及检测数据的数量，提高了检测方法的效率。进一步的，在分割时，可以分割出包含防松标识的所在的立方体区域或螺丝、螺母、螺垫和与之接触的部分机器结构，以便确保检测方法的准确性。

本发明实施例还提供了一种计算机可读存储介质，包括指令，当指令在计算机上运行时，使计算机执行根据紧固件防松标识的检测方法对应的方法步骤。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上的并可在处理器上运行的计算机程序，处理器执行程序时实现紧固件防松标识的检测方法对应的方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品，均落入本发明的保护范围之内。

Claims (10)

1.一种紧固件防松标识的检测方法，其特征在于，包括以下步骤：

获取被测紧固件的待测三维点云数据；

分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点，将所述待测三维点云数据中的所有特征点与所述样本三维点云数据中的所有特征点进行配准；

对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区；

将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

2.如权利要求1所述的紧固件防松标识的检测方法，其特征在于，在获取被测紧固件的待测三维点云数据之后，分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点之前，还包括以下步骤：

对所述待测三维点云数据和所述样本三维点云数据进行滤波，去除噪点。

3.如权利要求1所述的紧固件防松标识的检测方法，其特征在于，在所述获取被测紧固件的待测三维点云数据之前，还包括以下步骤：

对新出厂或检修完且带有防松标识的紧固件进行三维扫描，获取样本三维点云数据，并对所述样本三维点云数据进行存储。

4.如权利要求1所述的紧固件防松标识的检测方法，其特征在于，所述对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区，具体包含以下步骤：

提取配准后的所述待测三维点云数据和所述样本三维点云数据中共有的参照特征点；

根据所述参照特征点对所述待测三维点云数据和所述样本三维点云数据进行分割区域设定；

按照分割区域对所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区。

5.如权利要求1所述的紧固件防松标识的检测方法，其特征在于，所述将所述待测三维点云数据中的所有特征点与所述样本三维点云数据中的所有特征点进行配准，包括：

对所述待测三维点云数据中的所有特征点进行三维空间变换，获取待测点集，并确定样本待测三维点云数据与所述待测点集对应的样本点集；

构造目标函数，为所述目标函数设定收敛值；

对所述待测点集以及所述样本点集进行迭代运算，直至两次目标函数差值的绝对值小于所述收敛值，配准完成。

6.如权利要求5所述的紧固件防松标识的检测方法，其特征在于，所述将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转，具体包含以下步骤：

提取两份有效数据区中的所有特征点，为一份有效数据区中的每一个特征点在相对应另一份有效数据区内建立点对边或点对点的对应关系；

计算两份有效数据区中无法建立对应关系的特征点间的误差值；

将所述误差值与所述收敛值进行比对，在所述误差值大于所述收敛值时，对两份有效数据区中存在误差的特征点进行差色标注，并提示防松标识发生偏转。

7.一种紧固件防松标识的检测系统，其特征在于，包括数据获取装置以及数据处理装置；

所述数据获取装置，用于获取被测紧固件的待测三维点云数据；

所述数据处理装置，用于分别提取所述待测三维点云数据以及预存储的样本三维点云数据中的特征点，将所述待测三维点云中的所有特征点与所述样本三维点云数据中的所有特征点进行配准；

对配准后的所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区；

将分割后的两份有效数据区中的特征点进行比对，根据两份有效数据区中的特征点是否存在差异，判断防松标识是否发生偏转。

8.如权利要求7所述的紧固件防松标识的检测系统，其特征在于，

所述数据处理装置，还用于提取配准后的所述待测三维点云数据和所述样本三维点云数据中共有的参照特征点；

根据所述参照特征点对所述待测三维点云数据和所述样本三维点云数据进行分割区域设定；

按照分割区域对所述待测三维点云数据和所述样本三维点云数据进行分割，保留包含防松标识的有效数据区。

9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-6任一项所述的方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的方法。