CN114882020A - 产品的缺陷检测方法、装置、设备及计算机可读介质 - Google Patents

产品的缺陷检测方法、装置、设备及计算机可读介质 Download PDF

Info

Publication number
CN114882020A
CN114882020A CN202210786159.5A CN202210786159A CN114882020A CN 114882020 A CN114882020 A CN 114882020A CN 202210786159 A CN202210786159 A CN 202210786159A CN 114882020 A CN114882020 A CN 114882020A
Authority
CN
China
Prior art keywords
neural network
point cloud
cloud data
network model
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210786159.5A
Other languages
English (en)
Other versions
CN114882020B (zh
Inventor
于洋
李飞
熊海飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202210786159.5A priority Critical patent/CN114882020B/zh
Publication of CN114882020A publication Critical patent/CN114882020A/zh
Application granted granted Critical
Publication of CN114882020B publication Critical patent/CN114882020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请涉及一种产品的缺陷检测方法、装置、设备及计算机可读介质。该方法包括：将第一点云数据集输入第一神经网络模型，以利用第一神经网络模型基于无监督学习策略确定第一点云数据集在多个神经网络层级下对应的无监督聚类中心，第一点云数据集中包括多个样本产品的三维点云数据，无监督聚类中心用于表示样本产品在不同神经网络层级下对应的结构特征；基于有监督学习策略来利用无监督聚类中心对第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；将目标产品的第二点云数据集输入第二神经网络模型，以利用第二神经网络模型识别出目标产品的缺陷。本申请解决了缺陷检测中点云数据处理难度大，检测精度低的技术问题。

Description

产品的缺陷检测方法、装置、设备及计算机可读介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种产品的缺陷检测方法、装置、设备及计算机可读介质。
背景技术
产品的缺陷检测是业务中必不可少的环节，曾经依赖人工进行检测的方式极大耗费人力物力及时间，而随着深度学习技术和机器视觉技术的发展，缺陷检测进入了自动化时代，如参考文献CN112991267A中提出的EfficientDet，先对采集到的热轧带钢表面图片进行预处理后对缺陷位置进行标注，得到缺陷位置的矩形框参数，并设定类别标签，制作标准的带钢表面缺陷数据集，由标准的带钢表面缺陷数据集划分训练集和测试集；首先通过训练集训练efficientNet-RCNN模型，再将测试集输入到训练好的efficientNet-RCNN模型中，检测出带钢表面缺陷的类别和位置信息。然而，该技术方案是基于二维图像的缺陷检测方法，不具有精确的三维空间位置信息，易被光照不均、表面不洁、复杂纹理等信息的干扰，得不到精准的检测结果。相关技术中也存在应用三维点云进行缺陷检测的方案，但点云数据处理一直是个难题，检测精度还难以满足实际需求。
针对基于三维点云的缺陷检测中点云数据处理难度大，检测精度低的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供了一种产品的缺陷检测方法、装置、设备及计算机可读介质，以解决基于三维点云的缺陷检测中点云数据处理难度大，检测精度低的技术问题。
根据本申请实施例的一个方面，本申请提供了一种产品的缺陷检测方法，包括：
将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
可选地，将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心包括：
将所述第一点云数据集输入所述第一神经网络模型的第一层降采样层，得到所述第一层降采样层输出的降采样数据，其中，所述第一神经网络模型中包括多层级联的所述降采样层；
按照所述多层级联的所述降采样层的级联顺序，依次将上一层降采样层输出的所述降采样数据输入下一层降采样层进行降采样，得到每一层降采样层输出的所述降采样数据；
在每一层降采样层输出的所述降采样数据中随机选取出多个点云作为中心点；
确定每一层所述降采样数据中每个中心点的邻域；
提取每个邻域中的三维点云数据，并基于提取出的点云数据在每个所述中心点对应的邻域中进行无监督聚类；
提取每个邻域的聚类中心，得到每一层降采样层对应的所述无监督聚类中心。
可选地，将第一点云数据集输入第一神经网络模型之前，所述方法还包括按照如下方式获取所述第一点云数据集：
采集多个类型的所述样本产品的三维点云数据，其中，每个类型的所述样本产品的样本数量与样本平均数量的数量差均小于或等于预设阈值；
针对每个所述样本产品的类型和所述三维点云数据的采集环境对所述每个所述样本产品的所述三维点云数据进行降噪；
将经过降噪处理的每个所述样本产品的所述三维点云数据进行分类组合，得到所述第一点云数据集。
可选地，基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型包括：
将具有多个神经网络层级下对应的无监督聚类中心的所述第一点云数据集输入第三神经网络模型，以对所述第三神经网络模型进行参数初始化，其中，所述第三神经网络模型为初始深度神经网络模型；
参数初始化后，对所述第一点云数据集进行初步特征提取和降采样，以进行预处理；
经过预处理后，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习；
聚合学习得到的每个邻域的最新结构特征，并基于聚合后的特征预测所述样本产品的预测缺陷；
在所述预测缺陷与所述样本产品的实际缺陷的吻合度小于目标阈值的情况下，基于所述样本产品的所述实际缺陷与所述预测缺陷的损失值调整所述第三神经网络模型的参数，直至所述预测缺陷与所述样本产品的实际缺陷的吻合度大于或等于所述目标阈值的情况下，将所述第三神经网络模型确定为所述第二神经网络模型。
可选地，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习包括：
确定所述第三神经网络模型中的多个级联的所述基础层模块，其中，所述多个级联的所述基础层模块与所述多层级联的所述降采样层按照级联顺序一一对应；
将每一层降采样层输出得到的所述降采样数据输入对应层级的所述基础层模块；
在每层所述降采样数据中为每个所述无监督聚类中心划分邻域，并将每个层级的所述降采样数据中的所述无监督聚类中心作为当前层级的所述基础层模块的特征提取核；
为每个所述特征提取核随机初始化权重系数，并使用所述特征提取核对各自对应的邻域进行特征提取，以进行邻域特征提取的训练学习。
可选地，使用所述特征提取核对各自对应的邻域进行特征提取包括：
设邻域中所包含的特征点的个数为n，所述特征点的维度为d，所述特征提取核的个数为m，其中，所述特征提取核中点的个数与邻域中点的个数相同；
将所述特征提取核中所有点的权重参数构建为行向量，并堆叠到一起表示为矩阵形式得矩阵
Figure 139756DEST_PATH_IMAGE001
，k为行向量的数量；
将任一点p为中心的邻域的所有点的特征以同样的矩阵形式表示为
Figure 703592DEST_PATH_IMAGE002
，其中，该邻域中点的坐标以同样的矩阵形式表示为
Figure 356291DEST_PATH_IMAGE003
；
按照以下方式进行特征提取：
Figure 726092DEST_PATH_IMAGE004
Figure 193851DEST_PATH_IMAGE005
；
其中，TNet为线性变换神经网络模块，T为行变换矩阵，符号
Figure 256485DEST_PATH_IMAGE006
表示矩阵乘法，符号
Figure 68584DEST_PATH_IMAGE007
表示矩阵按元素相乘操作，sum代表矩阵所有元素求和，
Figure 507655DEST_PATH_IMAGE008
为第i个特征提取核的权重系数，concat为拼接操作，
Figure 846233DEST_PATH_IMAGE009
为拼接后得到的更新的特征。
可选地，将目标产品的第二点云数据集输入所述第二神经网络模型之前，所述方法还包括：
获取目标对象根据对所述目标产品的实际缺陷检测需求确定的目标头网络，其中，不同的所述实际缺陷检测需求对应的所述目标头网络中的网络结构不同，所述目标头网络中的网络结构包括语义分割结构、目标检测结构以及实例分割结构三者至少之一；
将所述第二神经网络模型的输出层之前插入所述目标头网络，以利用当前所述第二神经网络模型对所述目标产品进行缺陷检测。
根据本申请实施例的另一方面，本申请提供了一种产品的缺陷检测装置，包括：
无监督聚类模块，用于将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
有监督训练模块，用于基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
缺陷检测模块，用于将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
根据本申请实施例的另一方面，本申请提供了一种电子设备，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。
根据本申请实施例的另一方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。
本申请实施例提供的上述技术方案与相关技术相比具有如下优点：
本申请技术方案为将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。本申请采用无监督学习的方式学习三维点云数据的内在结构特征，采用有监督学习的方式进行进一步特征提取的训练，从而自适应、高效地学习三维点云数据的特征，提升基于三维点云数据缺陷检测效果，解决了基于三维点云的缺陷检测中点云数据处理难度大，检测精度低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例提供的一种可选的产品的缺陷检测方法硬件环境示意图；
图2为根据本申请实施例提供的一种可选的产品的缺陷检测方法流程示意图；
图3为根据本申请实施例提供的一种可选的无监督聚类示意图；
图4为根据本申请实施例提供的一种可选的第二神经网络模型结构示意图；
图5为根据本申请实施例提供的一种可选的基础层模块结构示意图；
图6为根据本申请实施例提供的一种可选的特征提取核初始化示意图；
图7a为根据本申请实施例提供的一种可选的语义分割前点云图像示意图；
图7b为根据本申请实施例提供的一种可选的语义分割结果示意图；
图8为根据本申请实施例提供的一种可选的目标检测结果示意图；
图9为根据本申请实施例提供的一种可选的实例分割结果示意图；
图10为根据本申请实施例提供的一种可选的产品的缺陷检测装置框图；
图11为本申请实施例提供的一种可选的电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种产品的缺陷检测方法的实施例。
可选地，在本申请实施例中，上述产品的缺陷检测方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务（如点云数据处理、神经网络训练及使用、产品缺陷检测等服务），可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。
本申请实施例中的一种产品的缺陷检测方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行，如图2所示，该方法可以包括以下步骤：
步骤S202，将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
步骤S204，基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
步骤S206，将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
通过上述步骤S202至S206，本申请首先采用无监督学习的方式学习三维点云数据的内在结构特征，减少对三维点云数据标注信息的需求，极大地缩短项目开发周期和人工标注成本，然后采用有监督学习的方式进行进一步特征提取的训练，从而自适应、高效地学习三维点云数据的特征，提升基于三维点云数据缺陷检测效果，解决了基于三维点云的缺陷检测中点云数据处理难度大，检测精度低的技术问题。
在步骤S202中，无监督聚类的目的是对样本产品的三维点云数据做结构信息统计，从而自适应学习三维点云数据的内在结构特征，如此便可以脱离人工对三维点云数据的标注需求，极大缩短项目开发周期和人工标注成本。无监督聚类的整体过程如图3所示，下面参照图3对无监督聚类的整个过程进行详细说明。
可选地，将第一点云数据集输入第一神经网络模型之前，所述方法还包括按照如下方式获取所述第一点云数据集：
步骤1，采集多个类型的所述样本产品的三维点云数据，其中，每个类型的所述样本产品的样本数量与样本平均数量的数量差均小于或等于预设阈值；
步骤2，针对每个所述样本产品的类型和所述三维点云数据的采集环境对所述每个所述样本产品的所述三维点云数据进行降噪；
步骤3，将经过降噪处理的每个所述样本产品的所述三维点云数据进行分类组合，得到所述第一点云数据集。
本申请实施例中，样本产品中包括带有缺陷的产品和没有缺陷的产品。样本产品可以是多个类型的产品，多个类型可以是同一业务下不同型号的产品，还可以是不同业务下的产品，可以根据实际需求划定样本产品的选取范围。
本申请实施例中，对各类型的样本产品进行均衡采样，从而减少偶然误差，提升最终缺陷检测的准确率。
本申请实施例中，还可以根据每个所述样本产品的类型和所述三维点云数据的采集环境对所述每个所述样本产品的所述三维点云数据进行降噪，采集环境可以是采集设备、采集场景等。例如，在进行线激光扫描过程中，位于平台边缘或平台外的点属于噪声点，可以根据点的坐标范围进行去噪。不同型号的产品具有不同的结构特征，采集样本产品的点云作为训练数据时，可以参照样本产品的结构特征对采集到的点云进行去噪，如基于样本产品的实际结构特征构建滤网模型，用该滤网模型过滤掉与样本产品的结构具有较大偏差的点云，从而提升点云数据的采集精度。
可选地，将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心包括：
步骤1，将所述第一点云数据集输入所述第一神经网络模型的第一层降采样层，得到所述第一层降采样层输出的降采样数据，其中，所述第一神经网络模型中包括多层级联的所述降采样层；
步骤2，按照所述多层级联的所述降采样层的级联顺序，依次将上一层降采样层输出的所述降采样数据输入下一层降采样层进行降采样，得到每一层降采样层输出的所述降采样数据；
步骤3，在每一层降采样层输出的所述降采样数据中随机选取出多个点云作为中心点；
步骤4，确定每一层所述降采样数据中每个中心点的邻域；
步骤5，提取每个邻域中的三维点云数据，并基于提取出的点云数据在每个所述中心点对应的邻域中进行无监督聚类；
步骤6，提取每个邻域的聚类中心，得到每一层降采样层对应的所述无监督聚类中心。
本申请提供的无监督聚类所用的第一神经网络模型可以具有多层级联的降采样层，以3层为例进行说明，如图3所示，3层级联的降采样层依次对第一点云数据进行降采样，每一层降采样层均输出当前层对应的降采样数据，其中，可以采用最远点采样或随机降采样等方法进行降采样操作。降采样之后，对每一层降采样层输出的降采样数据进行邻域数据采集、无监督聚类以及聚类中心提取操作，即在每一层降采样层输出的所述降采样数据中随机选取出多个点云作为中心点，确定每一层所述降采样数据中每个中心点的邻域，提取每个邻域中的三维点云数据，并基于提取出的点云数据在每个所述中心点对应的邻域中进行无监督聚类，最后提取每个邻域的聚类中心，得到每一层降采样层对应的所述无监督聚类中心。
在步骤S204中，有了无监督聚类中心，即可以此作为监督进行特征提取的学习，从而训练得到第二神经网络模型。
可选地，基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型包括：
步骤1，将具有多个神经网络层级下对应的无监督聚类中心的所述第一点云数据集输入第三神经网络模型，以对所述第三神经网络模型进行参数初始化，其中，所述第三神经网络模型为初始深度神经网络模型；
步骤2，参数初始化后，对所述第一点云数据集进行初步特征提取和降采样，以进行预处理；
步骤3，经过预处理后，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习；
步骤4，聚合学习得到的每个邻域的最新结构特征，并基于聚合后的特征预测所述样本产品的预测缺陷；
步骤5，在所述预测缺陷与所述样本产品的实际缺陷的吻合度小于目标阈值的情况下，基于所述样本产品的所述实际缺陷与所述预测缺陷的损失值调整所述第三神经网络模型的参数，直至所述预测缺陷与所述样本产品的实际缺陷的吻合度大于或等于所述目标阈值的情况下，将所述第三神经网络模型确定为所述第二神经网络模型。
本申请实施例中，第三神经网络模型为初始深度神经网络模型，第三神经网络模型经过训练并达到要求后才可作为第二神经网络模型投入业务线进行使用。第二神经网络模型的结构如图4所示，包括InputEmbed模块、BasicLayer基础层模块以及NetworkHead。其中InputEmbed主要功能为，对初始输入数据进行初步特征提取（升维）和降采样，其中降采样的程度由输入数据规模和网络规模共同决定。BasicLayer是整个网络的核心模块，多个BasicLayer模块级联的结构将输入数据转换为抽象的特征。NetworkHead根据任务目标的不同可使用检测、分割、分类等架构，将提取到的特征变换为项目所需的检测结果。下面对BasicLayer基础层模块以及NetworkHead模块进行说明。
BasicLayer基础层模块的结构如图5所示，包括邻域划分模块、特征提取模块以及特征聚合模块，其中邻域划分模块和特征聚合模块为辅助模块，邻域划分模块目的是为三维点云这种非结构化数据进行邻域搜寻、降采样等操作。特征聚合模块目的是聚合提取出的各个层级的特征。特征提取模块为核心模块，特征提取的基本单位为点云中某个点的邻域，其核心思想是利用无监督数据结构信息统计过程（即无监督聚类过程）得到的数据聚类中心（即无监督聚类中心）作为特征提取核，并为其设定权重系数，使用特征提取核中的权重系数与点云中点的邻域特征数据进行运算，并用运算结果更新聚类中心的点的特征。下面对此进行说明。
可选地，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习包括：
步骤1，确定所述第三神经网络模型中的多个级联的所述基础层模块，其中，所述多个级联的所述基础层模块与所述多层级联的所述降采样层按照级联顺序一一对应；
步骤2，将每一层降采样层输出得到的所述降采样数据输入对应层级的所述基础层模块；
步骤3，在每层所述降采样数据中为每个所述无监督聚类中心划分邻域，并将每个层级的所述降采样数据中的所述无监督聚类中心作为当前层级的所述基础层模块的特征提取核；
步骤4，为每个所述特征提取核随机初始化权重系数，并使用所述特征提取核对各自对应的邻域进行特征提取，以进行邻域特征提取的训练学习。
如图6所示，本申请实施例中第二神经网络中也设置有多个级联的基础层模块，多个级联的所述基础层模块与第一神经网络模型中多层级联的降采样层按照级联顺序一一对应。由此，可将每一层降采样层输出得到的所述降采样数据输入对应层级的所述基础层模块，从而对具有递进级联关系的多个基础层模块进行特征提取核的初始化，即在每层所述降采样数据中为每个所述无监督聚类中心划分邻域，并将每个层级的所述降采样数据中的所述无监督聚类中心作为当前层级的所述基础层模块的特征提取核。至此，便可为每个所述特征提取核随机初始化权重系数，并使用所述特征提取核对各自对应的邻域进行特征提取，以进行邻域特征提取的训练学习。
本申请实施例中，特征提取的详细过程包括：
设邻域中所包含的特征点的个数为n，所述特征点的维度为d，所述特征提取核的个数为m，其中，所述特征提取核中点的个数与邻域中点的个数相同；
将所述特征提取核中所有点的权重参数构建为行向量，并堆叠到一起表示为矩阵形式得矩阵
Figure 79768DEST_PATH_IMAGE001
，k为行向量的数量；
将任一点p为中心的邻域的所有点的特征以同样的矩阵形式表示为
Figure 379162DEST_PATH_IMAGE002
，其中，该邻域中点的坐标以同样的矩阵形式表示为
Figure 90766DEST_PATH_IMAGE003
；
按照以下方式进行特征提取：
Figure 221533DEST_PATH_IMAGE004
Figure 439019DEST_PATH_IMAGE005
；
其中，TNet为线性变换神经网络模块，T为行变换矩阵，符号
Figure 491289DEST_PATH_IMAGE006
表示矩阵乘法，符号
Figure 6584DEST_PATH_IMAGE007
表示矩阵按元素相乘操作，sum代表矩阵所有元素求和，
Figure 319753DEST_PATH_IMAGE008
为第i个特征提取核的权重系数，concat为拼接操作，
Figure 895091DEST_PATH_IMAGE009
为拼接后得到的更新的特征。
本申请实施例中，NetworkHead模块与实际的缺陷检测需求有关，实际生产过程中需要根据具体项目需求选择不同的NetworkHead。
可选地，将目标产品的第二点云数据集输入所述第二神经网络模型之前，所述方法还包括：
步骤1，获取目标对象根据对所述目标产品的实际缺陷检测需求确定的目标头网络，其中，不同的所述实际缺陷检测需求对应的所述目标头网络中的网络结构不同，所述目标头网络中的网络结构包括语义分割结构、目标检测结构以及实例分割结构三者至少之一；
步骤2，将所述第二神经网络模型的输出层之前插入所述目标头网络，以利用当前所述第二神经网络模型对所述目标产品进行缺陷检测。
本申请实施例中，NetworkHead结构（目标头网络）可划分为语义分割、目标检测和实例分割等几种结构。语义分割会得到每一个点的类别，是属于哪一种缺陷或是背景。目标检测要将每一个缺陷实例用三维的框准确的框起来，但不对框内部的点进一步分类。实例分割在目标检测的基础上对框内的每个点也进行分类。实际生产过程中需要根据具体项目需求选择不同的NetworkHead。以语义分割为例，特征提取是降采样的过程，目的是提升感受野和特征的抽象程度。而后还需要升采样的过程，将特征图的分辨率不断提升，直到与输入的三维点云数据一致，然后根据点云中每个点对应的特征，判断这个点所属的类别（是哪一种缺陷或者是背景），再通过标准判别、可视化等过程完成缺陷检测。语义分割的检测结果的示例如图7a（分割前）、图7b（分割后）所示，目标检测的检测结果的示例如图8所示，实例分割的检测结果的示例如图9所示。
本申请首先采用无监督学习的方式学习三维点云数据的内在结构特征，减少对三维点云数据标注信息的需求，极大地缩短项目开发周期和人工标注成本，然后采用有监督学习的方式进行进一步特征提取的训练，从而自适应、高效地学习三维点云数据的特征，提升基于三维点云数据缺陷检测效果，解决了基于三维点云的缺陷检测中点云数据处理难度大，检测精度低的技术问题。
根据本申请实施例的又一方面，如图10所示，提供了一种产品的缺陷检测装置，包括：
无监督聚类模块1001，用于将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
有监督训练模块1003，用于基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
缺陷检测模块1005，用于将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
需要说明的是，该实施例中的无监督聚类模块1001可以用于执行本申请实施例中的步骤S202，该实施例中的有监督训练模块1003可以用于执行本申请实施例中的步骤S204，该实施例中的缺陷检测模块1005可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
可选地，该无监督聚类模块，具体用于：
将所述第一点云数据集输入所述第一神经网络模型的第一层降采样层，得到所述第一层降采样层输出的降采样数据，其中，所述第一神经网络模型中包括多层级联的所述降采样层；
按照所述多层级联的所述降采样层的级联顺序，依次将上一层降采样层输出的所述降采样数据输入下一层降采样层进行降采样，得到每一层降采样层输出的所述降采样数据；
在每一层降采样层输出的所述降采样数据中随机选取出多个点云作为中心点；
确定每一层所述降采样数据中每个中心点的邻域；
提取每个邻域中的三维点云数据，并基于提取出的点云数据在每个所述中心点对应的邻域中进行无监督聚类；
提取每个邻域的聚类中心，得到每一层降采样层对应的所述无监督聚类中心。
可选地，该产品的缺陷检测装置，还包括数据采集模块，用于：
采集多个类型的所述样本产品的三维点云数据，其中，每个类型的所述样本产品的样本数量与样本平均数量的数量差均小于或等于预设阈值；
针对每个所述样本产品的类型和所述三维点云数据的采集环境对所述每个所述样本产品的所述三维点云数据进行降噪；
将经过降噪处理的每个所述样本产品的所述三维点云数据进行分类组合，得到所述第一点云数据集。
可选地，该有监督训练模块，具体用于：
将具有多个神经网络层级下对应的无监督聚类中心的所述第一点云数据集输入第三神经网络模型，以对所述第三神经网络模型进行参数初始化，其中，所述第三神经网络模型为初始深度神经网络模型；
参数初始化后，对所述第一点云数据集进行初步特征提取和降采样，以进行预处理；
经过预处理后，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习；
聚合学习得到的每个邻域的最新结构特征，并基于聚合后的特征预测所述样本产品的预测缺陷；
在所述预测缺陷与所述样本产品的实际缺陷的吻合度小于目标阈值的情况下，基于所述样本产品的所述实际缺陷与所述预测缺陷的损失值调整所述第三神经网络模型的参数，直至所述预测缺陷与所述样本产品的实际缺陷的吻合度大于或等于所述目标阈值的情况下，将所述第三神经网络模型确定为所述第二神经网络模型。
可选地，该有监督训练模块，还包括特征提取单元，用于：
确定所述第三神经网络模型中的多个级联的所述基础层模块，其中，所述多个级联的所述基础层模块与所述多层级联的所述降采样层按照级联顺序一一对应；
将每一层降采样层输出得到的所述降采样数据输入对应层级的所述基础层模块；
在每层所述降采样数据中为每个所述无监督聚类中心划分邻域，并将每个层级的所述降采样数据中的所述无监督聚类中心作为当前层级的所述基础层模块的特征提取核；
为每个所述特征提取核随机初始化权重系数，并使用所述特征提取核对各自对应的邻域进行特征提取，以进行邻域特征提取的训练学习。
可选地，该特征提取单元，还用于：
设邻域中所包含的特征点的个数为n，所述特征点的维度为d，所述特征提取核的个数为m，其中，所述特征提取核中点的个数与邻域中点的个数相同；
将所述特征提取核中所有点的权重参数构建为行向量，并堆叠到一起表示为矩阵形式得矩阵
Figure 169078DEST_PATH_IMAGE001
，k为行向量的数量；
将任一点p为中心的邻域的所有点的特征以同样的矩阵形式表示为
Figure 488064DEST_PATH_IMAGE002
，其中，该邻域中点的坐标以同样的矩阵形式表示为
Figure 899148DEST_PATH_IMAGE003
；
按照以下方式进行特征提取：
Figure 645387DEST_PATH_IMAGE004
Figure 141090DEST_PATH_IMAGE005
；
其中，TNet为线性变换神经网络模块，T为行变换矩阵，符号
Figure 998188DEST_PATH_IMAGE006
表示矩阵乘法，符号
Figure 958054DEST_PATH_IMAGE007
表示矩阵按元素相乘操作，sum代表矩阵所有元素求和，
Figure 937511DEST_PATH_IMAGE008
为第i个特征提取核的权重系数，concat为拼接操作，
Figure 248407DEST_PATH_IMAGE009
为拼接后得到的更新的特征。
可选地，该缺陷检测模块，还用于：
获取目标对象根据对所述目标产品的实际缺陷检测需求确定的目标头网络，其中，不同的所述实际缺陷检测需求对应的所述目标头网络中的网络结构不同，所述目标头网络中的网络结构包括语义分割结构、目标检测结构以及实例分割结构三者至少之一；
将所述第二神经网络模型的输出层之前插入所述目标头网络，以利用当前所述第二神经网络模型对所述目标产品进行缺陷检测。
根据本申请实施例的另一方面，本申请提供了一种电子设备，如图11所示，包括存储器1101、处理器1103、通信接口1105及通信总线1107，存储器1101中存储有可在处理器1103上运行的计算机程序，存储器1101、处理器1103通过通信接口1105和通信总线1107进行通信，处理器1103执行计算机程序时实现上述方法的步骤。
上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例的步骤。
可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码：
将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种产品的缺陷检测方法，其特征在于，包括：
将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
2.根据权利要求1所述的方法，其特征在于，将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心包括：
将所述第一点云数据集输入所述第一神经网络模型的第一层降采样层，得到所述第一层降采样层输出的降采样数据，其中，所述第一神经网络模型中包括多层级联的所述降采样层；
按照所述多层级联的所述降采样层的级联顺序，依次将上一层降采样层输出的所述降采样数据输入下一层降采样层进行降采样，得到每一层降采样层输出的所述降采样数据；
在每一层降采样层输出的所述降采样数据中随机选取出多个点云作为中心点；
确定每一层所述降采样数据中每个中心点的邻域；
提取每个邻域中的三维点云数据，并基于提取出的点云数据在每个所述中心点对应的邻域中进行无监督聚类；
提取每个邻域的聚类中心，得到每一层降采样层对应的所述无监督聚类中心。
3.根据权利要求1所述的方法，其特征在于，将第一点云数据集输入第一神经网络模型之前，所述方法还包括按照如下方式获取所述第一点云数据集：
采集多个类型的所述样本产品的三维点云数据，其中，每个类型的所述样本产品的样本数量与样本平均数量的数量差均小于或等于预设阈值；
针对每个所述样本产品的类型和所述三维点云数据的采集环境对所述每个所述样本产品的所述三维点云数据进行降噪；
将经过降噪处理的每个所述样本产品的所述三维点云数据进行分类组合，得到所述第一点云数据集。
4.根据权利要求2所述的方法，其特征在于，基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型包括：
将具有多个神经网络层级下对应的无监督聚类中心的所述第一点云数据集输入第三神经网络模型，以对所述第三神经网络模型进行参数初始化，其中，所述第三神经网络模型为初始深度神经网络模型；
参数初始化后，对所述第一点云数据集进行初步特征提取和降采样，以进行预处理；
经过预处理后，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习；
聚合学习得到的每个邻域的最新结构特征，并基于聚合后的特征预测所述样本产品的预测缺陷；
在所述预测缺陷与所述样本产品的实际缺陷的吻合度小于目标阈值的情况下，基于所述样本产品的所述实际缺陷与所述预测缺陷的损失值调整所述第三神经网络模型的参数，直至所述预测缺陷与所述样本产品的实际缺陷的吻合度大于或等于所述目标阈值的情况下，将所述第三神经网络模型确定为所述第二神经网络模型。
5.根据权利要求4所述的方法，其特征在于，将所述第一点云数据集输入所述第三神经网络模型的基础层模块，以在所述基础层模块中利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的训练学习包括：
确定所述第三神经网络模型中的多个级联的所述基础层模块，其中，所述多个级联的所述基础层模块与所述多层级联的所述降采样层按照级联顺序一一对应；
将每一层降采样层输出得到的所述降采样数据输入对应层级的所述基础层模块；
在每层所述降采样数据中为每个所述无监督聚类中心划分邻域，并将每个层级的所述降采样数据中的所述无监督聚类中心作为当前层级的所述基础层模块的特征提取核；
为每个所述特征提取核随机初始化权重系数，并使用所述特征提取核对各自对应的邻域进行特征提取，以进行邻域特征提取的训练学习。
6.根据权利要求5所述的方法，其特征在于，使用所述特征提取核对各自对应的邻域进行特征提取包括：
设邻域中所包含的特征点的个数为n，所述特征点的维度为d，所述特征提取核的个数为m，其中，所述特征提取核中点的个数与邻域中点的个数相同；
将所述特征提取核中所有点的权重参数构建为行向量，并堆叠到一起表示为矩阵形式得矩阵
Figure 929857DEST_PATH_IMAGE001
，k为行向量的数量；
将任一点p为中心的邻域的所有点的特征以同样的矩阵形式表示为
Figure 991354DEST_PATH_IMAGE002
，其中，该邻域中点的坐标以同样的矩阵形式表示为
Figure 478967DEST_PATH_IMAGE003
；
按照以下方式进行特征提取：
Figure 157073DEST_PATH_IMAGE004
Figure 762236DEST_PATH_IMAGE005
；
其中，TNet为线性变换神经网络模块，T为行变换矩阵，符号
Figure 943819DEST_PATH_IMAGE006
表示矩阵乘法，符号
Figure 399071DEST_PATH_IMAGE007
表示矩阵按元素相乘操作，sum代表矩阵所有元素求和，
Figure 502156DEST_PATH_IMAGE008
为第i个特征提取核的权重系数，concat为拼接操作，
Figure 333846DEST_PATH_IMAGE009
为拼接后得到的更新的特征。
7.根据权利要求1至6任一所述的方法，其特征在于，将目标产品的第二点云数据集输入所述第二神经网络模型之前，所述方法还包括：
获取目标对象根据对所述目标产品的实际缺陷检测需求确定的目标头网络，其中，不同的所述实际缺陷检测需求对应的所述目标头网络中的网络结构不同，所述目标头网络中的网络结构包括语义分割结构、目标检测结构以及实例分割结构三者至少之一；
将所述第二神经网络模型的输出层之前插入所述目标头网络，以利用当前所述第二神经网络模型对所述目标产品进行缺陷检测。
8.一种产品的缺陷检测装置，其特征在于，包括：
无监督聚类模块，用于将第一点云数据集输入第一神经网络模型，以利用所述第一神经网络模型基于无监督学习策略确定所述第一点云数据集在多个神经网络层级下对应的无监督聚类中心，其中，所述第一点云数据集中包括多个样本产品的三维点云数据，所述无监督聚类中心用于表示所述样本产品在不同神经网络层级下对应的结构特征；
有监督训练模块，用于基于有监督学习策略来利用所述无监督聚类中心对所述第一点云数据集进行邻域特征提取的学习，以训练得到第二神经网络模型；
缺陷检测模块，用于将目标产品的第二点云数据集输入所述第二神经网络模型，以利用所述第二神经网络模型识别出所述目标产品的缺陷。
9.一种电子设备，包括存储器、处理器、通信接口及通信总线，所述存储器中存储有可在所述处理器上运行的计算机程序，所述存储器、所述处理器通过所述通信总线和所述通信接口进行通信，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述方法。
CN202210786159.5A 2022-07-06 2022-07-06 产品的缺陷检测方法、装置、设备及计算机可读介质 Active CN114882020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210786159.5A CN114882020B (zh) 2022-07-06 2022-07-06 产品的缺陷检测方法、装置、设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210786159.5A CN114882020B (zh) 2022-07-06 2022-07-06 产品的缺陷检测方法、装置、设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN114882020A true CN114882020A (zh) 2022-08-09
CN114882020B CN114882020B (zh) 2022-11-11

Family

ID=82682985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210786159.5A Active CN114882020B (zh) 2022-07-06 2022-07-06 产品的缺陷检测方法、装置、设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114882020B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641583A (zh) * 2022-12-26 2023-01-24 苏州赫芯科技有限公司 一种基于自监督和主动学习的点云检测方法、系统及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
CN109345523A (zh) * 2018-09-21 2019-02-15 中国科学院苏州生物医学工程技术研究所 表面缺陷检测和三维建模方法
CN111582105A (zh) * 2020-04-28 2020-08-25 清华大学 基于局部全局双向推理的无监督点云特征学习方法及装置
CN111692991A (zh) * 2020-06-02 2020-09-22 哈尔滨工程大学 一种基于白光干涉测量板条键合面的点云数据获取方法
CN112070751A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 木地板缺陷检测方法和装置
CN112733885A (zh) * 2020-12-23 2021-04-30 西人马帝言(北京)科技有限公司 点云识别模型的确定方法、点云识别的方法及装置
CN113128591A (zh) * 2021-04-14 2021-07-16 中山大学 基于自监督学习的旋转鲁棒的点云分类方法
WO2022012796A1 (en) * 2020-07-16 2022-01-20 Siemens Aktiengesellschaft Computer-implemented, adapted anomaly detection method for powder-bed-based additive manufacturing
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质
CN114401666A (zh) * 2019-07-15 2022-04-26 普罗马顿控股有限责任公司 基于深度学习的3d点云的对象检测和实例分割
CN114556445A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 物体识别方法、装置、可移动平台以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
CN109345523A (zh) * 2018-09-21 2019-02-15 中国科学院苏州生物医学工程技术研究所 表面缺陷检测和三维建模方法
CN114401666A (zh) * 2019-07-15 2022-04-26 普罗马顿控股有限责任公司 基于深度学习的3d点云的对象检测和实例分割
CN111582105A (zh) * 2020-04-28 2020-08-25 清华大学 基于局部全局双向推理的无监督点云特征学习方法及装置
CN111692991A (zh) * 2020-06-02 2020-09-22 哈尔滨工程大学 一种基于白光干涉测量板条键合面的点云数据获取方法
WO2022012796A1 (en) * 2020-07-16 2022-01-20 Siemens Aktiengesellschaft Computer-implemented, adapted anomaly detection method for powder-bed-based additive manufacturing
CN112070751A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 木地板缺陷检测方法和装置
CN114556445A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 物体识别方法、装置、可移动平台以及存储介质
CN112733885A (zh) * 2020-12-23 2021-04-30 西人马帝言(北京)科技有限公司 点云识别模型的确定方法、点云识别的方法及装置
CN113128591A (zh) * 2021-04-14 2021-07-16 中山大学 基于自监督学习的旋转鲁棒的点云分类方法
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TAMAS CZIMMERMANN 等: "An Autonomous Robotic Platform for Manipulation and Inspection of Metallic Surfaces in Industry 4.0", 《 IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》 *
姚建平: "基于3D结构激光的木材表面缺陷检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *
李新春 等: "基于邻域特征点提取和匹配的点云配准", 《光子学报》 *
王晓辉: "汽车模具表面缺陷特征提取关键技术研究", 《中国博士论文全文数据库工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641583A (zh) * 2022-12-26 2023-01-24 苏州赫芯科技有限公司 一种基于自监督和主动学习的点云检测方法、系统及介质
CN115641583B (zh) * 2022-12-26 2023-03-31 苏州赫芯科技有限公司 一种基于自监督和主动学习的点云检测方法、系统及介质

Also Published As

Publication number Publication date
CN114882020B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
Ni et al. Pixel‐level crack delineation in images with convolutional feature fusion
Vetrivel et al. Disaster damage detection through synergistic use of deep learning and 3D point cloud features derived from very high resolution oblique aerial images, and multiple-kernel-learning
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
EP3340106B1 (en) Method and system for assigning particular classes of interest within measurement data
US11636289B2 (en) Method, apparatus, and device for classifying LiDAR point cloud data, and storage medium
König et al. Optimized deep encoder-decoder methods for crack segmentation
CN107944450B (zh) 一种车牌识别方法及装置
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN103593670B (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
Zhou et al. Automated residential building detection from airborne LiDAR data with deep neural networks
CA3066029A1 (en) Image feature acquisition
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN103221807B (zh) 快速处理和检测幅材型材料中的不均匀因素
Hoang Image Processing‐Based Spall Object Detection Using Gabor Filter, Texture Analysis, and Adaptive Moment Estimation (Adam) Optimized Logistic Regression Models
CN115131283A (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
Zhao et al. Real‐time fabric defect detection based on multi‐scale convolutional neural network
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN114820465A (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
Despotovic et al. Prediction and analysis of heating energy demand for detached houses by computer vision
CN113112497B (zh) 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN115660262B (zh) 一种基于数据库应用的工程智慧质检方法、系统及介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN116647644B (zh) 基于数字孪生技术的校园交互式监控方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant