CN115760855B

CN115760855B - 工件检查方法及相关设备

Info

Publication number: CN115760855B
Application number: CN202310028853.5A
Authority: CN
Inventors: 薛亚飞; 张高峰; 刘世平; 戴雨卉; 黄欣莹; 林满满; 周扬迈; 靳程锐; 卜磊
Original assignee: China Construction Science and Technology Group Co Ltd
Current assignee: China Construction Science and Technology Group Co Ltd
Priority date: 2023-01-09
Filing date: 2023-01-09
Publication date: 2023-05-23
Anticipated expiration: 2043-01-09
Also published as: CN115760855A

Abstract

本发明公开了工件检查方法及相关设备,方法包括：获取待检查件对应的第一点云和第二点云，其中，所述第一点云中的点的数据包括所述待检查件表面的点的三维位置信息，所述第二点云中点的数据包括所述待检查件表面图像的像素值；对所述第一点云和所述第二点云进行拼接，得到合成点云；对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果。本发明能够实现待检查件的自动检查，不需要依靠人工肉眼检查，提升检查效率。

Description

工件检查方法及相关设备

技术领域

本发明涉及点云处理技术领域，特别涉及一种工件检查方法及相关设备。

背景技术

装配式建筑生产线上需要很多的工件，在装配式建筑生产过程中，这些工件被装配，由于装配式建筑生产完成后，返工拆修的成本很高，但是，由于装配式建筑生产往往有较高的时限要求，由人工一一检查各个工件的效率低下。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种工件检查方法，旨在解决现有技术中装配式建筑工件检查效率低的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种工件检查方法，所述方法包括：

获取待检查件对应的第一点云和第二点云，其中，所述第一点云中的点的数据包括所述待检查件表面的点的三维位置信息，所述第二点云中点的数据包括所述待检查件表面图像的像素值；

对所述第一点云和所述第二点云进行拼接，得到合成点云；

对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果。

所述的工件检查方法，其中，所述第一点云基于激光扫描仪传感器的传感数据得到，所述第二点云基于对所述待检查件进行拍摄生成的视频流得到。

所述的工件检查方法，其中，所述对所述第一点云和所述第二点云进行拼接，得到合成点云，包括：

在所述第一点云中选取多个第一关键点，在所述第二点云中选取多个第二关键点；

获取每个所述第一关键点和每个所述第二关键点的特征描述数据，根据特征描述数据计算各个关键点对的相似性数据，每个所述关键点对包括一个所述第一关键点和一个所述第二关键点；

根据各个所述关键点对的相似性数据确定所述第一点云和第二点云之间的变换矩阵；

根据所述变换矩阵将所述第一点云和所述第二点云进行点云拼接，得到所述合成点云。

所述的工件检查方法，其中，所述在所述第一点云中选取多个第一关键点，在所述第二点云中选取多个第二关键点，包括：

获取所述待检查件的检查区域，基于所述检查区域在所述第一点云中确定第一区域，在所述第二点云中确定第二区域；

对所述第一区域中选取所述第一关键点，在所述第二区域中选取所述第二关键点。

所述的工件检查方法，其中，所述对所述合成点云进行点聚类，得到多个点云块，包括：

基于邻域距离确定所述合成点云中各个点的邻域，对所述合成点云中的点，执行如下操作以形成目标线：

将所述合成点云中的点与其邻域中密度最大的点连接，形成分线；

若两个分线满足预设条件，则将该两个分线连接，将所有可连接的分线连接后，得到至少一个所述目标线，所述预设条件为：若两条分线具有相同的端点，则将该两条分线连接，连接点为该两条分线的相同端点；

将所述目标线的终点作为聚类中心，每个所述聚类中心所在的所述目标线中的所有点组成一个点云块。

所述的工件检查方法，其中，所述合成点云中点的密度基于如下方式确定：

获取待计算密度点与其他各个点之间的距离，得到各个密度距离；

获取所述各个密度距离分别与邻域距离的比值；

根据所述比值确定所述待计算密度点的密度。

所述的工件检查方法，其中，所述根据所述点云块中的各个点的数据获取所述待检查件的检查结果，包括：

根据所述点云块中的各个点的像素值数据得到输入数据；

将所述输入数据输入至已训练的神经网络模型，获取所述神经网络模型输出的检查结果；

其中，所述神经网络模型基于多组训练数据训练完成，每组训练数据包括样本图像以及样本图像对应的检查结果标签。

本发明的第二方面，提供一种工件检查装置，包括：

点云生成模块，用于获取待检查件对应的第一点云和第二点云，其中，所述第一点云中的各个点的数据包括所述待检查件表面的点的三维位置信息，所述第二点云中各个点的数据包括所述待检查件表面的点的像素值；

点云合成模块，用于对所述第一点云和所述第二点云进行拼接，得到合成点云；

预测模块，用于对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果。

本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的工件检查方法的步骤。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的工件检查方法的步骤。

与现有技术相比，本发明提供了一种工件检查方法，所述的工件检查方法，对待检查件获取三维位置信息点云和视觉信息点云，并将二者拼接，得到合成点云，合成点云能够使得三维位置信息点云和视觉信息点云的信息互补，在获取精准三维数据的同时能够获取更加丰富的语义信息，在此基础上得到待检查件的检查结构，能够实现待检查件的自动检查，不需要依靠人工肉眼检查，提升检查效率。

附图说明

图1为本发明提供的工件检查方法的实施例的流程图；

图2为本发明提供的工件检查装置的实施例的结构原理图；

图3为本发明提供的终端的实施例的原理示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的工件检查方法，可以应用于具有计算能力的终端中，终端可以但不限于是各种计算机、服务器、移动设备等。

实施例一

如图1所示，工件检查方法的一个实施例中，包括步骤：

S100、获取待检查件对应的第一点云和第二点云，其中，第一点云中的各个点的数据包括待检查件表面的点的三维位置信息，第二点云中各个点的数据包括待检查件表面图像的像素值。

S200、对第一点云和第二点云进行拼接，得到合成点云。

第一点云基于激光扫描仪传感器的传感数据得到，第二点云基于对待检查件进行拍摄生成的视频流得到。在现有技术中，激光扫描仪可以获取到高精度的三维数据，也就是说，第一点云中的点的三维位置信息精度高，但是仅有三维位置信息，对于一些缺陷，例如待检查件清洗不干净等，点云中点的数据无法反映。基于此，本实施例提供的方法中，还采用高清晰度摄像头拍摄待检查件，得到视频流，基于该视频流生成第二点云，第二点云中的点的数据不仅包括三维位置信息，还包括三维位置处成像的像素值。将第一点云和第二点云进行拼接，得到合成点云，这样，合成点云中的点的数据既包括了三维位置信息，还包括了丰富的语义信息。

具体地，对第一点云和第二点云进行拼接，得到合成点云，包括：

在第一点云中选取多个第一关键点，在第二点云中选取多个第二关键点；

获取每个第一关键点和每个第二关键点的特征描述数据，根据特征描述数据计算各个关键点对的相似性数据，每个关键点对包括一个第一关键点和一个第二关键点；

根据各个关键点对的相似性数据确定第一点云和第二点云之间的变换矩阵；

根据变换矩阵将第一点云和第二点云进行点云拼接，得到合成点云。

第一点云和第二点云的生成方式不同，因此，二者具有不同的坐标系，为了将二者进行拼接，需要将二者转换到同一坐标系下，具体地，需要得到将第一点云转换到第二点云的坐标系需要的变换矩阵。第一点云中的点的三维位置乘以变换矩阵，得到该点在第二点云的坐标系下的位置。

在第一点云中选取多个第一关键点，在第二点云中选取多个第二关键点，包括：

获取工件的检查区域，基于检查区域在第一点云中确定第一区域，在第二点云中确定第二区域；

对第一区域中选取第一关键点，在第二区域中选取第二关键点。

关键点选取可以采用现有的关键点选取算法实现。在本实施例中，基于最终目的是对待检测件进行检查的目的，并不以点云为区域来进行关键点的选取，因为对于工件来说，有的区域并不需要检查精度，只需要对重要区域，例如焊接区域、装配后外露区域等进行检查即可。第一点云中确定的第一区域和第二点云中确定的第二区域是基于待检测件的检查区域对应的区域确定的，在一种可能的实现方式中，可以在待检查件的三维设计模型中标记出检查区域，将待检查件的三维设计模型作为对照，基于图像比对的方式在第一点云中和第二点云中分别确定第一区域和第二区域。

关键点的特征描述数据可以是基于现有的特征描述子的提取方式获取。随后将第一关键点和第二关键点组成关键点对，每个关键点对中包括一个第一关键点和一个第二关键点，关键点对的相似性数据是关键点包括的第一关键点和第二关键点的特征描述数据的相似性分数。基于每个关键点对的相似性数据，可以初步确定每个第一关键点对应的第二关键点，具体地，对于第一关键点m，将与其的相似性分数最高的第二关键点作为其对应的第二关键点，若与其的相似性分数最高的第二关键点有多个，则获取每个第二关键点对应的目标第一关键点，第二关键点对应的目标第一关键点是与该第二关键点的相似性分数最高的第一关键点，若第二关键点n对应的目标第一关键点与第一关键点m相同，则建立第一关键点m和第二关键点n的对应关系，若第一关键点n的相似性分数最高的所有第二关键点对应的目标第一关键点均与第一关键点m不同，则确定对应的目标第一关键点与第一关键点m最接近的第二关键点为第一关键点m对应的第二关键点。当建立第一关键点和第二关键点的对应关系后，在所有的关键点对中删除包括第一关键点或第二关键点的关键点对。

根据各个关键点对的相似性数据确定第一点云和第二点云之间的变换矩阵，该变换矩阵通过解如下优化问题得到：将第二点云中的各个第二关键点按照变换矩阵变换后，得到各个第二变换位置，获取每个第二变换位置和对应的第一关键点的位置之间的差异并求和，优化变换矩阵使得求和结果最小。

在得到变换矩阵后，将第二点云中的各个点按照该变换矩阵变换到第一点云的坐标系下，当第二点云中的点变换后的位置与第一点云中的点重合时，则将两个点看做一个点，将第二点云中的该点的像素值数据保留。而由于第一点云的位置信息精度更高，因此当第二点云中的点变换后的位置与第一点云中的点不重合时，寻找该点变换后的位置最接近的第一点云中的点作为目标点，将第二点云中的该点的像素值附加在该目标点上，并删除第二点云中的该点。若存在一个点附加有多个像素值，那么对多个像素值取平均。这样，最终可以得到一个合成点云，合成点云中的每个点的三维位置与第一点云相同，并且每个点对应有一个像素值。

请再次参阅图1，本实施例提供的方法，还包括步骤：

S300、对合成点云进行点聚类，得到多个点云块，根据点云块中的各个点的数据获取待检查件的检查结果。

对合成点云进行点聚类，得到多个点云块，包括：

基于邻域距离确定合成点云中各个点的邻域，对合成点云中的点，执行如下操作以形成目标线：

将合成点云中的点与其邻域中密度最大的点连接，形成分线；

若两个分线满足预设条件，则将该两个分线连接，将所有可连接的分线连接后，得到至少一个目标线，预设条件为：若两条分线具有相同的端点，则将该两条分线连接，连接点为该两条分线的相同端点；

将目标线的终点作为聚类中心，每个聚类中心所在的目标线中的所有点组成一个点云块。

邻域距离可以基于合成点云中每个点与其最接近的点之间的距离确定，具体地，可以统计合成点云中每个点与其最接近的点之间的距离，之后取这些距离的平均值，然后乘以一个放大系数，得到邻域距离。以点为中心，与中心的距离不超过邻域距离的边界组成的区域为邻域，也就是说，如果一个点距离中心的距离不超过邻域距离，则称该点在中心的邻域中。

将合成点云中的点与其邻域中密度最大的点连接，形成分线，若点是其邻域中最大的点，则不形成分线。在本实施例中，为了使得一个点最多只能形成一条分线，将点云中点的密度处理为连续值而非离散值。具体地，合成点云中点的密度基于如下方式确定：

获取各个密度距离分别与邻域距离的比值；

根据比值确定待计算密度点的密度。

具体地，将待计算密度点对应的各个密度距离和邻域距离的比值的平方取相反数后代入以自然常数e为底的指数函数运算后求和，得到待计算密度点的密度。

例如，对于点a来说，在其邻域中寻找到密度最大的点b，那么a和b连接形成一条分线，b的邻域中密度最大的点为c，那么b和c连接形成一条分线，而c是其邻域中密度最大的点，那么c不再产生分线，a到c就形成了一条目标线，c是聚类中心，a和b都在以c为聚类中心的点云块中。

据点云块中的各个点的数据获取待检查件的检查结果，包括：

根据点云块中的各个点的像素值数据得到输入数据；

将输入数据输入至已训练的神经网络模型，获取神经网络模型输出的检查结果。

每个点云块可以看做是一张具有深度信息的图像，点云块中的每个点的像素值数据为图像中像素点的像素值数据，点云块中每个点的三维信息数据（x，y，z）为图像中像素点的二维像素坐标（x，y）和深度值z。生成点云的步骤较为繁琐，因此，以点云为训练数据来训练神经网络模型需要生成大量的点云，效率很低，为了方便训练，基于点云和图像的相似性，采用图像训练神经网络模型。即，神经网络模型基于多组训练数据训练完成，每组训练数据包括样本图像以及样本图像对应的检查结果标签。

样本图像为工件的拍摄图像，样本图像为深度图像，即样本图像中的像素点除了像素值之外，还具有深度值，将样本图像的像素点的坐标位置、像素值以及深度值组成输入特征，输入至神经网络模型中，获取神经网络模型输出的预测检查结果，基于预测检查结果与该样本图像对应的检查结果标签之间的差异获取训练损失更新神经网络模型的参数。训练完成后，将该神经网络模型用于预测点云块的检查结果。具体地，将点云块中各个点的三维坐标位置、像素值组成输入特征，输入至神经网络模型中，获取神经网络模型输出的检查结果。由于样本图像的像素点的坐标位置以及深度值反映了像素点之间的相对位置关系，在训练过程中，神经网络模型可以学习到像素点的相对位置关系、像素值和检查结果的内在联系，而点云块中各个点的三维坐标位置同样可以反映点之间的相对位置关系，因此，采用样本图像训练得到的神经网络模型可以基于输入的点云块中点的三维坐标位置和像素值，输出准确的检查结果。

综上所述，本实施例提供一种工件检查方法，对待检查件获取三维位置信息点云和视觉信息点云，并将二者拼接，得到合成点云，合成点云能够使得三维位置信息点云和视觉信息点云的信息互补，在获取精准三维数据的同时能够获取更加丰富的语义信息，在此基础上得到待检查件的检查结构，能够实现待检查件的自动检查，不需要依靠人工肉眼检查，提升检查效率。

应该理解的是，虽然本发明说明书附图中给出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

实施例二

基于上述实施例，本发明还相应提供了一种工件检查装置，如图2所示，所述工件检查装置包括：

点云生成模块，用于获取待检查件对应的第一点云和第二点云，其中，所述第一点云中的各个点的数据包括所述待检查件表面的点的三维位置信息，所述第二点云中各个点的数据包括所述待检查件表面的点的像素值，具体如实施例一中所述；

点云合成模块，用于对所述第一点云和所述第二点云进行拼接，得到合成点云，具体如实施例一中所述；

预测模块，用于对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果，具体如实施例一中所述。

实施例三

基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有工件检查程序30，该工件检查程序30可被处理器10所执行，从而实现本申请中工件检查方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述工件检查方法等。

在一实施例中，当处理器10执行所述存储器20中工件检查程序30时实现以下步骤：

对所述第一点云和所述第二点云进行拼接，得到合成点云；

其中，所述第一点云基于激光扫描仪传感器的传感数据得到，所述第二点云基于对所述待检查件进行拍摄生成的视频流得到。

其中，所述对所述第一点云和所述第二点云进行拼接，得到合成点云，包括：

获取每个所述第一关键点和每个所述第二关键点的特征描述数据，根据特征描述数据计算各个关键点对的相似性数据，每个所述关键点对包括一个所述第一关键点和一个所述第二关键点;

其中，所述在所述第一点云中选取多个第一关键点，在所述第二点云中选取多个第二关键点，包括：

获取所述工件的检查区域，基于所述检查区域在所述第一点云中确定第一区域，在所述第二点云中确定第二区域；

其中，所述对所述合成点云进行点聚类，得到多个点云块，包括：

其中，所述合成点云中点的密度基于如下方式确定：

获取所述各个密度距离分别与邻域距离的比值；

根据所述比值确定所述待计算密度点的密度。

其中，所述根据所述点云块中的各个点的数据获取所述待检查件的检查结果，包括：

根据所述点云块中的各个点的像素值数据得到输入数据；

实施例四

本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的工件检查方法的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种工件检查方法，其特征在于，所述方法包括：

对所述第一点云和所述第二点云进行拼接，得到合成点云；

对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果；

所述对所述合成点云进行点聚类，得到多个点云块，包括：

将所述目标线的终点作为聚类中心，每个所述聚类中心所在的所述目标线中的所有点组成一个点云块；

所述合成点云中点的密度基于如下方式确定：

获取所述各个密度距离分别与邻域距离的比值；

根据所述比值确定所述待计算密度点的密度。

2.根据权利要求1所述的工件检查方法，其特征在于，所述第一点云基于激光扫描仪传感器的传感数据得到，所述第二点云基于对所述待检查件进行拍摄生成的视频流得到。

3.根据权利要求1所述的工件检查方法，其特征在于，所述对所述第一点云和所述第二点云进行拼接，得到合成点云，包括：

根据各个所述关键点对的相似性数据确定所述第一点云和所述第二点云之间的变换矩阵；

4.根据权利要求3所述的工件检查方法，其特征在于，所述在所述第一点云中选取多个第一关键点，在所述第二点云中选取多个第二关键点，包括：

在所述第一区域中选取所述第一关键点，在所述第二区域中选取所述第二关键点。

5.根据权利要求1所述的工件检查方法，其特征在于，所述根据所述点云块中的各个点的数据获取所述待检查件的检查结果，包括：

根据所述点云块中的各个点的像素值数据得到输入数据；

6.一种工件检查装置，其特征在于，包括：

预测模块，用于对所述合成点云进行点聚类，得到多个点云块，根据所述点云块中的各个点的数据获取所述待检查件的检查结果；

所述预测模块，具体用于：

所述合成点云中点的密度基于如下方式确定：

获取所述各个密度距离分别与邻域距离的比值；

根据所述比值确定所述待计算密度点的密度。

7.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-5任一项所述的工件检查方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5任一项所述的工件检查方法的步骤。