CN114419038A - 轮毂表面缺陷的识别方法及装置、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种轮毂表面缺陷的识别方法及装置、存储介质、电子设备。其中，该方法包括在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。通过本发明，解决了相关技术识别毂表面缺陷的精确度低的技术问题，可以对轮毂表面缺陷实现高准确率的检测功能，同时降低了人工检测的成本，并极大提高轮毂生产过程中的缺陷检测效率。

Description

轮毂表面缺陷的识别方法及装置、存储介质、电子设备

技术领域

本发明涉及轮毂检测技术领域，更具体地，涉及一种轮毂表面缺陷的识别方法及装置、存储介质、电子设备。

背景技术

相关技术中，汽车装配生产线中，轮毂的铸造是尤为关键的一环，轮毂直接与车的安全性挂钩，而轮毂的铸造过程中受限于生产工艺，无法避免的会产生各种缺陷，将这些缺陷在生产过程中及时检测出来进行修复或者废料处理是十分必要的。

相关技术中，采用人工对轮毂进行缺陷识别，因对于每个轮毂识别时间有较大限制，人工不可能对每个缺陷进行精确测量，导致主要通过自身视觉及触觉进行缺陷识别，而且人工主观性较强，对于轮毂这种精度要求很高的工件可能会出现缺陷标准不统一的情况，另外随着工作时间的增加，人工可能会出现走神导致漏检缺陷。也有通过工业相机搭配深度学习的方式进行缺陷识别，深度学习需要先收集图片数据进行数据标注凑而训练神经网络，但图片数据少会导致神经网络识别准确率低，图片数据多又会需要大量人工进行数据标注，人工成本高，且人工标注时主观性较强，在标注过程中可能出现漏标、错标的情况等导致标注结果不相同的情况，这会导致训练数据中可能出现矛盾数据导致训练出的神经网络识别准确度不高。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

为了解决现有技术的不足，本发明提供了一种轮毂表面缺陷的识别方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种轮毂表面缺陷的识别方法，包括：在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

进一步地，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表包括：通过缺陷识别神经网络对所述二维图像进行缺陷识别，生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类，其中，所述缺陷识别神经网用于根据输入的二维图像输出缺陷识别结果。

进一步地，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表包括：获取所述目标轮毂的标准三维数字模型；基于所述标准三维数字模型与所述三维轮廓点云进行配准比对，从所述三维轮廓点云中提取与所述标准三维数字模型不匹配的缺陷点云；从所述缺陷点云中解析出若干个第二缺陷结果，生成第二候选缺陷列表，其中，所述第二候选缺陷列表包括所述若干个第二缺陷结果，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

进一步地，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷包括：解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果；若所述第一候选缺陷列表内包含第一缺陷结果，读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果，其中，所述指定缺陷种类用于表征与高度差相关的缺陷类型；若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果。

进一步地，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果包括：获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置；基于所述第一缺陷位置判断所述第二候选缺陷列表中是否存在与所述目标缺陷结果的位置相同的第二缺陷结果；若所述第二候选缺陷列表中存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中存在所述目标缺陷结果；若所述第二候选缺陷列表中不存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中不存在所述目标缺陷结果。

进一步地，在将所述目标缺陷结果存入最终缺陷识别结果之后，所述方法还包括：在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表；针对更新后的第二候选缺陷列表中的每个第二缺陷结果，根据每个第二缺陷结果的位置信息在所述二维图像的对应位置标记所述第二缺陷结果，并存入所述最终缺陷识别结果；将标记后的二维图像存入缺陷识别神经网络的训练集，其中，所述缺陷识别神经网络用于根据输入的二维图像输出缺陷识别结果。

进一步地，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息包括：采用工业相机在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像，采用结构光三维相机在与目标轮毂平行的水平方向采集所述目标轮毂的多张结构光二维图像，并根据所述多张结构光二维图像生成三维轮廓点云，其中，所述工业相机与所述结构光三维相机的拍摄角度和拍摄视野相同。

根据本申请实施例的另一方面，还提供了一种轮毂表面缺陷的识别装置，包括：采集模块，用于在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；第一识别模块，用于基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；第二识别模块，用于根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

进一步地，所述第一识别模块包括：第一生成单元，用于通过缺陷识别神经网络对所述二维图像进行缺陷识别，生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类，其中，所述缺陷识别神经网用于根据输入的二维图像输出缺陷识别结果。

进一步地，所述第一识别模块还包括：获取单元，用于获取所述目标轮毂的标准三维数字模型；提取单元，用于基于所述标准三维数字模型与所述三维轮廓点云进行配准比对，从所述三维轮廓点云中提取与所述标准三维数字模型不匹配的缺陷点云；第二生成单元，用于从所述缺陷点云中解析出若干个第二缺陷结果，生成第二候选缺陷列表，其中，所述第二候选缺陷列表包括所述若干个第二缺陷结果，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

进一步地，所述第二识别模块包括：第一判断单元，用于解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果；第二判断单元，用于若所述第一候选缺陷列表内包含第一缺陷结果，读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果，其中，所述指定缺陷种类用于表征与高度差相关的缺陷类型；第一存储单元，用于若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果。

进一步地，所述第二判断单元包括：获取子单元，用于获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置；判断子单元，用于基于所述第一缺陷位置判断所述第二候选缺陷列表中是否存在与所述目标缺陷结果的位置相同的第二缺陷结果；第一确定子单元，用于若所述第二候选缺陷列表中存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中存在所述目标缺陷结果；第二确定子单元，用于若所述第二候选缺陷列表中不存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中不存在所述目标缺陷结果。

进一步地，所述第二识别模块还包括：删除单元，用于在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表；标记单元，用于针对更新后的第二候选缺陷列表中的每个第二缺陷结果，根据每个第二缺陷结果的位置信息在所述二维图像的对应位置标记所述第二缺陷结果，并存入所述最终缺陷识别结果；第二存储单元，用于将标记后的二维图像存入缺陷识别神经网络的训练集，其中，所述缺陷识别神经网络用于根据输入的二维图像输出缺陷识别结果。

进一步地，所述采集模块包括：采集单元，用于采用工业相机在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像，采用结构光三维相机在与目标轮毂平行的水平方向采集所述目标轮毂的多张结构光二维图像，并根据所述多张结构光二维图像生成三维轮廓点云，其中，所述工业相机与所述结构光三维相机的拍摄角度和拍摄视野相同。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，通过在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷，实现了一种采用二维信息和三维信息交叉验证识别轮毂表面缺陷的方法，解决了相关技术识别毂表面缺陷的精确度低的技术问题，可以对轮毂表面缺陷实现高准确率的检测功能，同时降低了人工检测的成本，并极大提高轮毂生产过程中的缺陷检测效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种轮毂表面缺陷的识别装置的硬件结构框图；

图2是根据本发明实施例的一种轮毂表面缺陷的识别方法的流程图；

图3是本发明实施例的缺陷检测结构俯视图；

图4是本发明实施例的缺陷检测结构正视图；

图5是本发明实施例的识别流程图；

图6是根据本发明实施例的一种轮毂表面缺陷的识别装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在识别装置、控制器、服务器、控制设备或者类似的运算装置中执行。以运行在控制器上为例，图1是本发明实施例的一种轮毂表面缺陷的控制器的硬件结构框图。如图1所示，控制器可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述控制器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述控制器的结构造成限定。例如，控制器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储操作控制器的程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种轮毂表面缺陷的识别方法对应的识别程序，处理器102通过运行存储在存储器104内的识别程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至控制器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括控制器的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种轮毂表面缺陷的识别方法，图2是根据本发明实施例的一种轮毂表面缺陷的识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

本实施例的一个实施方式中，目标轮毂水平放置在检测平台上，目标轮毂上方水平方向放置工业相机与结构光相机，其中，通过工业相机采集目标轮毂的二维图像，通过结构光相机采集目标轮毂的三维视觉信息。

步骤S204，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

步骤S206，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

上述步骤中，通过对采集到的二维图像对目标轮毂进行缺陷识别，得到第一候选缺陷列表，并通过采集到的三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表，根据第一候选缺陷列表与第二候选缺陷列表识别所述目标轮毂是否存在缺陷。其中，识别的缺陷包括高度差类缺陷、色彩类缺陷。

通过上述步骤，通过在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷，实现了一种采用二维信息和三维信息交叉验证识别轮毂表面缺陷的方法，解决了相关技术识别毂表面缺陷的精确度低的技术问题，可以对轮毂表面缺陷实现高准确率的检测功能，同时降低了人工检测的成本，并极大提高轮毂生产过程中的缺陷检测效率。

在本实施例的一方面，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表包括：通过缺陷识别神经网络对所述二维图像进行缺陷识别，生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类，其中，所述缺陷识别神经网用于根据输入的二维图像输出缺陷识别结果。

可选的，还可以预先训练缺陷识别神经网络，训练过程包括：通过工业相机对具有各种缺陷的轮毂采集二维图像数据作为样本数据，其中，二维图像数据每个缺陷可设为一百张左右，并标注数据；采用样本数据训练缺陷识别神经网络。在训练完成之后，收到轮毂来料信号，采集到二维图像后，通过缺陷识别神经网络对所述二维图像进行缺陷识别并生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类。

在本实施例的另一方面，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表包括：获取所述目标轮毂的标准三维数字模型；基于所述标准三维数字模型与所述三维轮廓点云进行配准比对，从所述三维轮廓点云中提取与所述标准三维数字模型不匹配的缺陷点云；从所述缺陷点云中解析出若干个第二缺陷结果，生成第二候选缺陷列表，其中，所述第二候选缺陷列表包括所述若干个第二缺陷结果，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

其中，目标轮毂的标准三维数字模型是目标轮毂在理想状态（无任何表面缺陷状态）时的三维数字模型，由三维点云组成。

在上述步骤中，当收到来料信号时，系统控制工业相机与结构光相机进行拍照与三维信息采集得到结构光二维图像和三维轮廓点云，获取当前轮毂的三维数字模型，与当前采集的轮毂三维轮廓点云进行配准比对，得到包含了当前三维轮廓点云与轮毂三维数字模型中不匹配的缺陷点云信息，解析缺陷点云信息获得第二缺陷结果，生成第二候选缺陷列表，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

在本实施例的一个实施方式中，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷包括：解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果；若所述第一候选缺陷列表内包含第一缺陷结果，读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果，其中，所述指定缺陷种类用于表征与高度差相关的缺陷类型；若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果。

可选的，与高度差相关的缺陷类型可以是轮毂表面的凹槽缺陷，异常沟槽缺陷，凸起缺陷，两个法兰孔的高度不一致的缺陷等。

在上述步骤中，解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果是为了判断第一候选缺陷列表是否为空，当不为空则取出第一缺陷结果继续判断，若为空则根据第二候选缺陷列表进行缺陷识别。在基于第一缺陷结果进行缺陷判断的过程中，首先判断该第一缺陷结果中的缺陷种类是否仅为表面色彩类缺陷，即该缺陷对比正常部分并不存在高度差，仅存在表面色彩差异，如果为色彩类缺陷则将该条缺陷信息存入最终缺陷识别结果中，如果该缺陷为其他类型缺陷，即该缺陷对比正常部分存在高度差，缺陷种类为与高度差相关的缺陷类型，则继续下一步骤：读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果。

上述步骤是通过第一候选缺陷列表与第二候选缺陷列表来进行识别结果的交叉验证，来提高缺陷识别的准确率。若两列表中均存在该目标缺陷结果，即通过两种方式采集的同一目标轮毂的视觉图像（二维和三维）中，同一位置均存在相同的缺陷结果，则代表该缺陷存在于目标轮毂上。

若所述第二候选缺陷列表中不存在所述目标缺陷结果，表明存在误检，则从第一候选缺陷列表中删除该目标缺陷结果，若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果，并将该目标缺陷结果从第一候选缺陷列表与第二候选缺陷列表中删除。重复以上流程直到第一候选缺陷列表中每条目标缺陷结果都判别过一次，直到判断第一候选缺陷列表为空后则停止该流程。

在本实施例中，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果包括：获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置；基于所述第一缺陷位置判断所述第二候选缺陷列表中是否存在与所述目标缺陷结果的位置相同的第二缺陷结果；若所述第二候选缺陷列表中存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中存在所述目标缺陷结果；若所述第二候选缺陷列表中不存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中不存在所述目标缺陷结果。

上述步骤中，获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置，即获得目标轮毂在第一候选缺陷列表中记录的缺陷位置，判断第二候选缺陷列表中是否存在缺陷位置相同的缺陷结果，若存在则确定所述第二候选缺陷列表中存在所述目标缺陷结果。

在本实施例中，在将所述目标缺陷结果存入最终缺陷识别结果之后，所述方法还包括：在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表；针对更新后的第二候选缺陷列表中的每个第二缺陷结果，根据每个第二缺陷结果的位置信息在所述二维图像的对应位置标记所述第二缺陷结果，并存入所述最终缺陷识别结果；将标记后的二维图像存入缺陷识别神经网络的训练集，其中，所述缺陷识别神经网络用于根据输入的二维图像输出缺陷识别结果。

上述步骤中，在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表之后，判断第二候选缺陷列表是否为空，若不为空则对列表中的每个第二缺陷结果的位置信息在二维图像的对应位置标记，实现自动对神经网络漏检的缺陷进行自动标注图片数据的功能，并存入最终缺陷识别结果，并将该缺陷结果从第二候选缺陷列表中删除，当所有的第二缺陷结果判定完后，即第二候选缺陷列表为空时，将标记后的二维图像存入缺陷识别神经网络的训练集。通过该步骤可通过新增的缺陷识别训练集对缺陷识别神经网络进行优化，以提高该缺陷识别神经网络对二维图像的缺陷检测能力。

在所有目标缺陷结果判定完后，可通过最终缺陷识别结果来判断，判断最终缺陷识别结果中是否存在目标缺陷结果，即是否为空，若存在则判定缺陷存在，报警并输出缺陷信息，若没有则标记为良品。

在本实施例中，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息包括：采用工业相机在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像，采用结构光三维相机在与目标轮毂平行的水平方向采集所述目标轮毂的多张结构光二维图像，并根据所述多张结构光二维图像生成三维轮廓点云，其中，所述工业相机与所述结构光三维相机的拍摄角度和拍摄视野相同。

图3是本发明实施例的缺陷检测结构俯视图，图4是本发明实施例的缺陷检测结构正视图，包括检测平台与目标轮毂，轮毂水平放置在检测平台上，与检测平台相对的水平方向设置用于采集图像的工业相机与结构光相机，工业相机与结构光三维相机的拍摄角度和拍摄视野相同。

上述步骤中，因为三维结构光相机也可以同时采集到二维图片数据，但由于结构光相机采集的图片亮度对比工业相机获得的图片整体灰度较暗，所以无法直接用于神经网络进行缺陷识别，但可以通过对齐工业相机与结构光相机的实际视野完成简易快速的工业相机与结构光三维相机的标定，即对调整工业相机与结构光三维相机的拍摄角度，直至基本对齐这两个设备采集的图片的数据的左上角与右下角，工业相机与结构光三维相机可以到相同尺寸且对齐的二维图像和三维轮廓点云，方便后续步骤中对缺陷识别结果进行比对。

图5是本发明实施例的识别流程图，其中缺陷识别结果R1即为第一候选缺陷列表，缺陷识别结果R2则为第二候选缺陷列表，对R1和R2判断，先判断R1是否为空，否则取出R1中的一条缺陷信息，即目标缺陷结果，判断该缺陷是否为色彩类缺陷，若是则存入最终缺陷识别结果F中，若否则判断R2中是否存在对应位置缺陷，若是则从将该缺陷信息存入最终缺陷识别结果F中，并从R1中删除该缺陷信息，若R2中未存在该对应位置的缺陷则从R1中删除，不需要存入F中。

当R1为空后，判断R2是否为空，若不是则取出R2中的缺陷信息，并在二维图像中标注出该缺陷，将该缺陷信息存入最终缺陷识别结果F中，并从R2中删去该缺陷信息。当所有缺陷信息判断完成，R2为空则将带有标记信息的二维图像存入新增训练集E中。判断F是否为空，若是则标记为良品，若否则报警并输出缺陷信息。

本实施例通过使用一台工业相机与结构光三维相机分别采集轮毂的二维图像数据和三维点云数据分别进行缺陷识别，并对识别结果交叉验证，可大幅度提高缺陷识别的准确率，减少深度学习中漏检和错检的情况，同时还实现了及时收集漏检的图片数据并通过三维识别结果进行缺陷信息标注作为新训练集的功能，最终在二维视觉与三维视觉缺陷检测的配合下，实现轮毂外观的高精度与高准确率的缺陷检测，减少企业人工成本并提高生产效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用机械设备的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件控制机械设备的形式体现出来，该软件存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台机械设备（识别装置等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种轮毂表面缺陷的识别装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的一种轮毂表面缺陷的识别装置的结构框图，如图6所示，该装置包括：采集模块60，第一识别模块62，第二识别模块64，其中，

采集模块60，用于在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

第一识别模块62，用于基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

第二识别模块64，用于根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

可选的，所述第一识别模块包括：第一生成单元，用于通过缺陷识别神经网络对所述二维图像进行缺陷识别，生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类，其中，所述缺陷识别神经网用于根据输入的二维图像输出缺陷识别结果。

可选的，所述第一识别模块还包括：获取单元，用于获取所述目标轮毂的标准三维数字模型；提取单元，用于基于所述标准三维数字模型与所述三维轮廓点云进行配准比对，从所述三维轮廓点云中提取与所述标准三维数字模型不匹配的缺陷点云；第二生成单元，用于从所述缺陷点云中解析出若干个第二缺陷结果，生成第二候选缺陷列表，其中，所述第二候选缺陷列表包括所述若干个第二缺陷结果，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

可选的，所述第二识别模块包括：第一判断单元，用于解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果；第二判断单元，用于若所述第一候选缺陷列表内包含第一缺陷结果，读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果，其中，所述指定缺陷种类用于表征与高度差相关的缺陷类型；第一存储单元，用于若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果。

可选的，所述第二判断单元包括：获取子单元，用于获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置；判断子单元，用于基于所述第一缺陷位置判断所述第二候选缺陷列表中是否存在与所述目标缺陷结果的位置相同的第二缺陷结果；第一确定子单元，用于若所述第二候选缺陷列表中存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中存在所述目标缺陷结果；第二确定子单元，用于若所述第二候选缺陷列表中不存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中不存在所述目标缺陷结果。

可选的，所述第二识别模块还包括：删除单元，用于在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表；标记单元，用于针对更新后的第二候选缺陷列表中的每个第二缺陷结果，根据每个第二缺陷结果的位置信息在所述二维图像的对应位置标记所述第二缺陷结果，并存入所述最终缺陷识别结果；第二存储单元，用于将标记后的二维图像存入缺陷识别神经网络的训练集，其中，所述缺陷识别神经网络用于根据输入的二维图像输出缺陷识别结果。

可选的，所述采集模块包括：采集单元，用于采用工业相机在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像，采用结构光三维相机在与目标轮毂平行的水平方向采集所述目标轮毂的多张结构光二维图像，并根据所述多张结构光二维图像生成三维轮廓点云，其中，所述工业相机与所述结构光三维相机的拍摄角度和拍摄视野相同。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

S2，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

S3，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

S2，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

S3，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种轮毂表面缺陷的识别方法，其特征在于，包括：

在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

2.如权利要求1所述的识别方法，其特征在于，基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表包括：

通过缺陷识别神经网络对所述二维图像进行缺陷识别，生成第一候选缺陷列表，其中，所述第一候选缺陷列表包括若干个第一缺陷结果，每个第一缺陷结果包括：缺陷位置信息、缺陷所占的像素尺寸与缺陷种类，其中，所述缺陷识别神经网用于根据输入的二维图像输出缺陷识别结果。

3.如权利要求1所述的识别方法，其特征在于，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表包括：

获取所述目标轮毂的标准三维数字模型；

基于所述标准三维数字模型与所述三维轮廓点云进行配准比对，从所述三维轮廓点云中提取与所述标准三维数字模型不匹配的缺陷点云；

从所述缺陷点云中解析出若干个第二缺陷结果，生成第二候选缺陷列表，其中，所述第二候选缺陷列表包括所述若干个第二缺陷结果，每个第二缺陷结果包括：缺陷在结构光图像中的位置信息，缺陷的物理尺寸，以及缺陷的深度信息。

4.如权利要求1所述的识别方法，其特征在于，根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷包括：

解析所述第一候选缺陷列表，判断所述第一候选缺陷列表内是否包含第一缺陷结果；

若所述第一候选缺陷列表内包含第一缺陷结果，读取所述第一候选缺陷列表中指定缺陷种类的目标缺陷结果，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果，其中，所述指定缺陷种类用于表征与高度差相关的缺陷类型；

若所述第二候选缺陷列表中存在所述目标缺陷结果，将所述目标缺陷结果存入最终缺陷识别结果。

5.如权利要求4所述的识别方法，其特征在于，判断所述第二候选缺陷列表中是否存在所述目标缺陷结果包括：

获取所述目标缺陷结果在所述第一候选缺陷列表中记录的第一缺陷位置；

基于所述第一缺陷位置判断所述第二候选缺陷列表中是否存在与所述目标缺陷结果的位置相同的第二缺陷结果；

若所述第二候选缺陷列表中存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中存在所述目标缺陷结果；若所述第二候选缺陷列表中不存在与所述目标缺陷结果的位置相同的第二缺陷结果，确定所述第二候选缺陷列表中不存在所述目标缺陷结果。

6.如权利要求4所述的识别方法，其特征在于，在将所述目标缺陷结果存入最终缺陷识别结果之后，所述方法还包括：

在所述第二候选缺陷列表中删除所述目标缺陷结果，得到更新后的第二候选缺陷列表；

针对更新后的第二候选缺陷列表中的每个第二缺陷结果，根据每个第二缺陷结果的位置信息在所述二维图像的对应位置标记所述第二缺陷结果，并存入所述最终缺陷识别结果；

将标记后的二维图像存入缺陷识别神经网络的训练集，其中，所述缺陷识别神经网络用于根据输入的二维图像输出缺陷识别结果。

7.如权利要求1所述的识别方法，其特征在于，在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息包括：

采用工业相机在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像，采用结构光三维相机在与目标轮毂平行的水平方向采集所述目标轮毂的多张结构光二维图像，并根据所述多张结构光二维图像生成三维轮廓点云，其中，所述工业相机与所述结构光三维相机的拍摄角度和拍摄视野相同。

8.一种轮毂表面缺陷的识别装置，其特征在于，包括：

采集模块，用于在与目标轮毂平行的水平方向采集所述目标轮毂的二维图像和三维视觉信息，其中，所述三维视觉信息包括多张结构光图像和三维轮廓点云；

第一识别模块，用于基于所述二维图像对所述目标轮毂进行缺陷识别，得到第一候选缺陷列表，基于所述三维视觉信息对所述目标轮毂进行缺陷识别，得到第二候选缺陷列表；

第二识别模块，用于根据所述第一候选缺陷列表与所述第二候选缺陷列表识别所述目标轮毂是否存在缺陷。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的轮毂表面缺陷的识别方法的步骤。

10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的轮毂表面缺陷的识别方法的步骤。

Images