CN116935174A - 一种多模态融合的金属工件表面缺陷检测方法和系统 - Google Patents

一种多模态融合的金属工件表面缺陷检测方法和系统 Download PDF

Info

Publication number
CN116935174A
CN116935174A CN202310669523.4A CN202310669523A CN116935174A CN 116935174 A CN116935174 A CN 116935174A CN 202310669523 A CN202310669523 A CN 202310669523A CN 116935174 A CN116935174 A CN 116935174A
Authority
CN
China
Prior art keywords
data
dimensional
defect
detected
metal workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310669523.4A
Other languages
English (en)
Inventor
刘子健
王栋
朱勇建
宋子申
陈诚
冯予君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202310669523.4A priority Critical patent/CN116935174A/zh
Publication of CN116935174A publication Critical patent/CN116935174A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种多模态融合的金属工件表面缺陷检测方法和系统，其中一种多模态融合的金属工件表面缺陷检测方法包括如下步骤：采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；获取待检测金属工件表面的待检测二维数据和金属工件的待检测三维数据；将所述待检测二维数据和所述待检测三维数据处理为待检测数据；将所述待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。本发明能够满足实际金属工件生产精度的检测效率与检测精度，具有可靠、高效的优势。

Description

一种多模态融合的金属工件表面缺陷检测方法和系统
技术领域
本发明涉及金属表面缺陷检测技术领域，尤其涉及一种多模态融合的金属工件表面缺陷检测方法、系统、装置、设备及存储介质。
背景技术
金属工件生产运行环境相对复杂，导致金属表面产生各种瑕疵缺陷，严重影响产品质量，影响下游产品安全，影响企业效益。所以对金属表面瑕疵缺陷进行自动化检测显得尤为重要。
现阶段，国内外很多企业开发了不少表面缺陷检测类检测软件，但使用方法较为传统，仍然需要大量人工参与金属工件得瑕疵检测，导致效率低下，检测标准不一致等问题。
为此，本发明提供一种多模态融合的金属工件表面缺陷检测方法、系统、装置、设备及存储介质。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多模态融合的金属工件表面缺陷检测方法、系统、装置、设备及存储介质。
一种多模态融合的金属工件表面缺陷检测方法，特征在于，包括如下步骤：
采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；
将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；
获取待检测金属工件表面的待检测二维数据和金属工件的待检测三维数据；
将所述待检测二维数据和所述待检测三维数据处理为待检测数据；
将所述待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。
在上述方案的基础上并且作为上述方案的优选方案：还包括数据库增扩，所述数据库增扩进一步包括如下步骤：
将待检测二维数据初始化为二维训练数据，将待检测三维数据初始化为三维训练数据；
获取二维训练数据通过二维数据增扩方法进行扩增获得增扩二维数据；
获取三维训练数据通过三维数据增扩方法进行扩增获得增扩三维数据；
定义所述增扩二维数据与所述增扩三维数据中相对应的增扩缺陷类型进行标注，存储对应的增扩缺陷数据；
将所述增扩缺陷数据并入所述缺陷检测数据库中。
在上述方案的基础上并且作为上述方案的优选方案：所述二维数据增扩方法采用的是CutMix方法。
在上述方案的基础上并且作为上述方案的优选方案：所述二维缺陷数据与所属三维缺陷数据的融合方法采用Fast-CLOCs方法进行融合。
在上述方案的基础上并且作为上述方案的优选方案：所述标注数据包括缺陷数据在二维图像中的相对位置、长度与宽度，以及缺陷数据在三维缺陷数据中的点云坐标信息。
一种多模态融合的金属工件表面缺陷检测系统，包括：
缺陷检测数据库模块，采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；
融合分类模块，将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；
二维图像采集模块，用于获取待检测金属工件表面的二维缺陷数据采集；
三维图像采集模块，用于获取待检测金属工件表面的三维缺陷数据采集；
预处理模块，将所述待检测二维数据和所述待检测三维数据处理为待检测数据；
检测模块，将所述待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。
在上述方案的基础上并且作为上述方案的优选方案：还包括数据库增扩模块，用于增扩缺陷数据并入缺陷检测数据库中。
一种多模态融合的金属工件表面缺陷检测装置，包括二维图像采集装置、三维图像采集装置、处理装置和显示器；
所述二维图像采集装置用于进行待测金属工件表面的二维数据采集，并将采集的二维数据传输到处理装置；
所述三维图像采集装置用于进行待检测金属工件的三维数据采集，并将采集的三维数据传输到处理装置；
所述处理装置将采集到的二维数据和三维数据进行融合检测，并将检测结果进行反馈；
所述显示器用于显示处理装置的检测结果。
一种多模态融合的金属工件表面缺陷检测的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现一种多模态融合的金属工件表面缺陷检测方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现一种多模态融合的金属工件表面缺陷检测方法。
与现有技术相比，本发明具有如下的有益效果：
通过视觉模块与激光雷达模块借助神经网络完成二维与三维数据融合，提高网络识别精度。本发明能够满足实际金属工件生产精度的检测效率与检测精度，相对人工目测具有可靠、高效的优势。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种多模态融合的金属工件表面缺陷检测的流程示意图；
图2为本申请实施例提供的一种二维缺陷数据扩增的流程示意图；
图3为本申请实施例提供的一种数据库增扩的流程示意图；
图4为本申请实施例提供的一种多模态融合的金属工件表面缺陷检测系统数据库扩增模块的架构示意图；
图5为本申请实施例提供的一种多模态融合的金属工件表面缺陷检测的电子设备的硬件结构框图；
图6为本申请实施例提供的一种多模态融合的金属工件表面缺陷检测的计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
针对现有技术中存在的技术问题，本申请提供了一种多模态融合的金属工件表面缺陷检测方法、系统、装置、设备及存储介质。以下将结合实施例对本申请提供的技术方案进行阐释和说明。
实施例一
参见图1所示，一种多模态融合的金属工件表面缺陷检测方法，包括如下步骤：
步骤S100：采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；需要说明的是，本实施例中的二维缺陷数据是金属工件表面缺陷的平面二维图像，三维缺陷数据是包括金属工件表面缺陷和缺陷深度的点云数据。
步骤S200：将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；本实施例中，标注数据包括缺陷数据在二维图像中的相对位置、长度与宽度，以及缺陷数据在三维缺陷数据中的点云坐标信息。本实施例中数据融合方法的具体步骤如下：其中，参见图2所示，二维缺陷数据的扩增方法包括如下步骤：
步骤S211：建立YoloV5网络结构模型，将平面二维图像输入YoloV5网络模型的输入端进行归一化预处理，获得待处理二维图像；
步骤S212：将待处理二维图像输入YoloV5网络结构模型的主干网络层(backbone)进行特征提取，获取待处理图像中的特征数据；
步骤S213：将特征数据进行混合与组合，并将混合与组合的数据传输到预测层；
步骤S214：将预测层的最终结果进行输出。
本实施例具体处理如下：主干网络层会将待处理二维图像切分成7×7的网格单元，在预测的过程中，每个网格单元会编码成一个维度为32的向量，该向量包两组含置信度、数据在原始待处理二维图像的相对位置、长度与宽度的检测框，每个检测框记录为(Pc,rx,ry,rw,rh)，其中Pc为置信度，(rx,ry)为缺陷数据在原始图像的相对位置，(rw,rh)为缺陷数据的宽和高，其余数值代表不同缺陷样本的预测概率值，其中置信度Pc按照如下公式进行计算：
其中，P(picture)的值取0或者1，当预测物体的检测框中心点落在网格单元内，则置信度为真实框与预测框之间的交并比(IOU)值，若预测物体的检测框中心点没有落在网格单元内，则置信度为0。
预测7×7×2＝98个检测框，根据设定阈值0.3去除可能性较低的检测框，随后，使用非极大值抑制法将交并比低于0.6的冗余检测框进行去除，其中，损失函数采用SiLU函数。
在进行也正数据的混合与组合还采用FPN+PAN网络方法对网络进行优化，其中FPN网络方法具体如下：通过在特征数据中不同的特征图之间添加上采样和下采样模块来实现特征金字塔的构建(FPN)。上采样模块将低分辨率的特征图放大到与高分辨率的特征图相同的尺寸，而下采样模块则将高分辨率的特征图降低到与低分辨率的特征图相同的尺寸，然后使用卷积层来将它们进行融合。PAN网络方法对网络进行优化具体如下：主干网络层通常使用深度残差网络(ResNet)来提取特征，特征提取分支由多个卷积层和上下采样模块组成，用于生成不同分辨率的特征图。在特征融合阶段，PAN网络使用路径聚合的方法来将不同分辨率的特征图按照尺寸进行配对，然后使用卷积层来将它们进行融合；将以上内容通过一个卷积层，得到原始图像空间维度的1/32，通道数为(缺陷类别数+5)*3的特征图，进行NMS后输出结果。
三维缺陷数据处理过程如下：输入三维点云数，三维点云数据是包含N个点的3维点云数据，记录为(x,y,z)，以上数据通过一个三维空间变换矩阵网络T-net(3)，估计出3×3的变换矩阵T(3)，随后将其作用于原始数据集上实现点云数据对齐；通过一个共享参数的MLP模型(64,64)进行特诊提取，每一个点提取出64维特折，再通过特征变换空间矩阵预测网络T-net(64)预测64×64的变换矩阵，并将其作用于原始数据集上实现特征的对齐；利用三层感知机(64,128,1024)进行以特征点为单位的特征提取，重复提取，将特征维度提升至1024，最后通过池化操作提取出全局特征向量。将64维的点特征于1024维的全局特征进行拼接形成1088维特征，利用MLP方法进行融合，将特征维数降低至128，最后训练分类器输出每一个点对应的分类，最终实现逐个点的分类。
本实施例中，将二维缺陷数据使用YoloV5网络结构模型的主干网络层(backbone)进行特征提取，获取待处理图像中的特征数据，三维缺陷数据使用PointNet++进行特征变换和提取，最后使用Fast-CLOCs在决策层特征融合。结合两种数据的特性，互补劣势，进一步提升对金属表面形状不规则、细小缺陷的检测性能。
步骤S300：获取待检测金属工件表面的待检测二维数据和金属工件的待检测三维数据；本实施例中，待检测二维数据为待检测金属工件表面二维缺陷图像，待检测三维数据位为待检测金属工件表面缺陷点云数据。
步骤S400：将待检测二维数据和待检测三维数据处理为待检测数据；提取金属工件表面同一缺陷处的二维缺陷图像与点云数据中缺陷数据，以及缺陷数据在二维缺陷图像中的二维坐标信息和缺陷数据在三维点云数据中的三维点云坐标信息。
步骤S500：将待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。实际对比过程中包括将待检测数据与缺陷检测数据库中的缺陷数据进行一一对比，用以确定待检测金属工件表面的缺陷类别。
参见图3所示，本申请的一种多模态融合的金属工件表面缺陷检测方法还包括数据库增扩，数据库增扩进一步包括如下步骤：
步骤S311：将待检测二维数据初始化为二维训练数据，将待检测三维数据初始化为三维训练数据；
步骤S312：获取二维训练数据通过二维数据增扩方法进行扩增获得增扩二维数据；
步骤S313获取三维训练数据通过三维数据增扩方法进行扩增获得增扩三维数据；
步骤S314：定义增扩二维数据与增扩三维数据中相对应的增扩缺陷类型进行标注，存储对应的增扩缺陷数据；
步骤S315：将增扩缺陷数据并入缺陷检测数据库中。
本实施例中，使用CutMix方法的具体增扩步骤如下：将二维缺陷图像中随机一部份区域裁剪掉，然后在训练数据库中任一缺陷图像或正常图像进行填补，将重新拼接之后的二维缺陷数据与三维缺陷数据进行对应分类，分类结果按照一定比例分配。假设x1与x2是训练集中的两张不同的图像数据，y1与y2是与之对应的标签值，将新训练样本x3和对应的标签y3的生成方法使用以下公式：
y3＝λy1+(1-λ)y2
其中，1为所有元素的编码值一般采用二进制表示，λ服从β分布，M为与原图尺寸相同且由0和1编码的maSk矩阵，它记录了被裁剪掉的区域和保留的二维缺陷图像数据区域，被裁减的二维缺陷图像区域置为0，保留的二维缺陷图像区域置为1；
本实施例中训练数据库中训练数据包括80％的负样本和20％的正样本，负样本为金属工件表面有缺陷的缺陷图像和缺陷点云数据，正样本为金属工件表面无伤的正常图像和正常点云数据。
将完成后增扩数据进行缺陷数据标注，包括记录缺陷数据在原始图像的相对位置、长度与宽度，记作(rx,ry,rw,rh)，其中(rx,ry)为缺陷数据在原始图像的相对位置，(rw,rh)为缺陷数据的宽和高；激光雷达点云数据记录缺陷数据附近的三维点云坐标信息。
本实施例中，二维缺陷数据扩增于三维缺陷数据扩增采用K重交叉验证方法进行扩增验证。
实施例二
一种多模态融合的金属工件表面缺陷检测系统，包括：
缺陷检测数据库模块，采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；
融合分类模块，将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；
二维图像采集模块，用于获取待检测金属工件表面的二维缺陷数据采集；
三维图像采集模块，用于获取待检测金属工件表面的三维缺陷数据采集；
预处理模块，将待检测二维数据和待检测三维数据处理为待检测数据；
检测模块，将待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。
还包括数据库增扩模块，用于增扩缺陷数据并入缺陷检测数据库中。
图4为本发明一种多模态融合的金属工件表面缺陷检测系统数据库扩增模块架构示意图，具体处理过程如下：
将二维图像采集模块采集到的图像作为输入到网络采用YOLOv5的Backbone网络的数据，Backbone采用CSPDarknet结构，先将输入图像输入到一个FocuS层和卷积层，降低空间分辨率以及拓宽特征图宽度到64维，再将输出放到一个包含四个ResNet Block的特征提取结构，其中每个ResNet Block包含一个卷积层和CSP Layer用于空间降维以及特征通道拓宽，经过CSP Block后，将ResNet Block 2-4层的不同空间尺度特征图输出到FPN+PAN，进行浅层与深层表征信息融合，最后通过下采样，通过一个作为检测层的卷积层，得到原始图像空间维度的1/32，通道数为(缺陷类别数+5)*3的特征图向量，进行NMS后输出检测结果。
将三维缺陷数据的点云特征的目标检测采用PointNet++算法，其包含一个点云Encoder编码模块，两个Decoder模块，分别为一个分割模块和一个分类模块。将采集到的点云数据输入到PointNet++的Encoder模块，对点云数据进行卷积编码后用FPS方法进行下采样，将点云规模降低，并且使用kNN方法在N个点中寻找M个中心点进行聚类，最后使用PointNet对输出表征信息融合，输出特征融合结果。在Decoder模块处理阶段，使用两个decoder模块分别处理分类任务和分割任务。分类任务将Encoder模块的特征融合结果输入到全连接网络，使用Softmax进行分类。而分割任务的Decoder模块除了输入从Encoder模块最后阶段出来的特征融合结果，还需要与Encoder模块中的两层“采样聚合“阶段所输出的特征图进行残差链接，最后输出像素级分割结果。
最后使用FaSt-CLOCS算法中的3D-Q-2D方法，将上述处理后的二维缺陷数据于三维缺陷数据输出进行决策层特征融合。首先将激光雷达点云特征的目标检测模块输出的3D检测结果映射到二维空间，然后使用CLOCS方法融合2D检测网络的输出和3D检测网络的输出映射到二维空间的结果。
最后，根据金属工件瑕疵检测系统反馈模块根据网络输出将结果可视化并反馈给工作人员进行处理。
本发明实施例公开了一种多模态融合的金属工件缺陷检测系统，借助FaSt-CLOCS算法中的3D-Q-2D方法和CLOCS方法完成二维缺陷数据与三缺陷数据融合，提高网络识别精度。
实施例三
一种多模态融合的金属工件表面缺陷检测装置，包括二维图像采集装置、三维图像采集装置、处理装置和显示器；
二维图像采集装置用于进行待测金属工件表面的二维数据采集，并将采集的二维数据传输到处理装置；
三维图像采集装置用于进行待检测金属工件的三维数据采集，并将采集的三维数据传输到处理装置；
处理装置将采集到的二维数据和三维数据进行融合检测，并将检测结果进行反馈；
显示器用于显示处理装置的检测结果。
本实施例中，二维图像采集装置包括线阵相机、线光源和无影条纹光源，三维图像采集装置采用的是激光雷达。无影条纹光源，能够改善对金属工件表面打光反光而导致的特征模糊问题，采用激光雷达能够获得轴承表面各位置的深度信息。在二维数据采集阶段，使用了线阵相机配合线光源以及无影条纹光源对鼓形金属工件表面图像进行采集；在三维数据采集阶段，使用了激光雷达配合，对金属工件表面的深度信息状况进行采集。
本申请的多模态融合的金属工件表面缺陷检测装置与现有的基于单目摄像头的传统检测方法或者深度学习方法对金属工件表面缺陷检测方法相比：本发明在二位数据采集上，使用了多种光源打光方式对工件表面进行打光后再对数据进行了采集，缓解因金属表面光线反射带来的缺陷部位信息丢失的问题，即使不使用的基于深度学习的二维图像的表面缺陷检测方法或者二维与三维数据融合检测方案，也能带来检测精度提升；本发明还新增使用了激光雷达对金属表面进行采集并且检测的方案，激光雷达能够提取金属工件表面的深度信息但不能提取颜色或者灰度信息，而且激光雷达分辨率相比摄像头采集的图像较低；本发明能够满足实际金属工件生产车间在表面缺陷检测阶段所需的检测效率与检测精度，相对人工目测具有可靠、高效的优势。
实施例四
一种多模态融合的金属工件表面缺陷检测的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现一种多模态融合的金属工件表面缺陷检测方法。
一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现一种多模态融合的金属工件表面缺陷检测方法。
实施例五
本申请的第四方面提供了一种多模态融合的金属工件表面缺陷检测的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如前述第一实施例中一种多模态融合的金属工件表面缺陷检测方法。
可以理解的是，本申请技术方案的各个方面可以实现为系统、方法或程序产品。因此，本申请技术方案的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来详细描述根据本实施例中的实施方式实施的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本申请技术方案任何实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述多设备联动遥控方法区域中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图5中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
实施例五
本申请的第五方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述第三实施例中一种多模态融合的金属工件表面缺陷检测方法。
图6根据本申请的一些实施例示出了一种计算机可读存储介质的结构示意图。如图6所示，其中描述了根据本申请技术方案的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本申请技术方案中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一区域传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请技术方案操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、区域地在用户设备上执行、作为一个独立的软件包执行、区域在用户计算设备上区域在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，通过本申请提出的技术方案，能够通过群体行为对用户行为进行精准画像和画像群体的获取，本技术方案为每个用户都建立了一个相似用户群体，进而通过设置不同的聚合精准度阈值来实现用户画像群体的自动分类和获取，具有画像精准、聚合精准度可调的优势，能够根据不同的精度需求获取精度不同的各类用户画像，契合产品设计、内容推荐等领域的用户画像需求，具有可推广价值。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种多模态融合的金属工件表面缺陷检测方法，特征在于，包括如下步骤：
采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；
将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；
获取待检测金属工件表面的待检测二维数据和金属工件的待检测三维数据；
将所述待检测二维数据和所述待检测三维数据处理为待检测数据；
将所述待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。
2.根据权利要求1所述的一种多模态融合的金属工件表面缺陷检测方法，其特征在于，还包括数据库增扩，所述数据库增扩进一步包括如下步骤：
将待检测二维数据初始化为二维训练数据，将待检测三维数据初始化为三维训练数据；
获取二维训练数据通过二维数据增扩方法进行扩增获得增扩二维数据；
获取三维训练数据通过三维数据增扩方法进行扩增获得增扩三维数据；
定义所述增扩二维数据与所述增扩三维数据中相对应的增扩缺陷类型进行标注，存储对应的增扩缺陷数据；
将所述增扩缺陷数据并入所述缺陷检测数据库中。
3.根据权利要求2所述的一种多模态融合的金属工件表面缺陷检测方法，其特征在于，所述二维数据增扩方法采用的是CutMix方法。
4.根据权利要求1所述的一种多模态融合的金属工件表面缺陷检测方法，其特征在于，所述二维缺陷数据与所属三维缺陷数据的融合方法采用Fast-CLOCs方法进行融合。
5.根据权利要求2所述的一种多模态融合的金属工件表面缺陷检测方法，其特征在于，所述标注数据包括缺陷数据在二维图像中的相对位置、长度与宽度，以及缺陷数据在三维缺陷数据中的点云坐标信息。
6.一种多模态融合的金属工件表面缺陷检测系统，其特征在于，包括：
缺陷检测数据库模块，采集各种金属表面缺陷相对应的二维缺陷数据与三维缺陷数据，用以建立缺陷检测数据库；
融合分类模块，将同一种表面缺陷的二维缺陷数据与三维缺陷数据进行融合，输出不同种类的缺陷模型，并为每一种类的缺陷类型进行标注，存储对应的标注数据；
二维图像采集模块，用于获取待检测金属工件表面的二维缺陷数据采集；
三维图像采集模块，用于获取待检测金属工件表面的三维缺陷数据采集；
预处理模块，将所述待检测二维数据和所述待检测三维数据处理为待检测数据；
检测模块，将所述待检测数据与每一个标注数据进行一一比对，并将比对结构进行反馈。
7.根据权利要求6所述的一种多模态融合的金属工件表面缺陷检测系统，其特征在于，还包括数据库增扩模块，用于增扩缺陷数据并入缺陷检测数据库中。
8.一种多模态融合的金属工件表面缺陷检测装置，其特征在于，包括二维图像采集装置、三维图像采集装置、处理装置和显示器；
所述二维图像采集装置用于进行待测金属工件表面的二维数据采集，并将采集的二维数据传输到处理装置；
所述三维图像采集装置用于进行待检测金属工件的三维数据采集，并将采集的三维数据传输到处理装置；
所述处理装置将采集到的二维数据和三维数据进行融合检测，并将检测结果进行反馈；
所述显示器用于显示处理装置的检测结果。
9.一种多模态融合的金属工件表面缺陷检测的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现1至5中任一项所述的一种多模态融合的金属工件表面缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种多模态融合的金属工件表面缺陷检测方法。
CN202310669523.4A 2023-06-07 2023-06-07 一种多模态融合的金属工件表面缺陷检测方法和系统 Pending CN116935174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310669523.4A CN116935174A (zh) 2023-06-07 2023-06-07 一种多模态融合的金属工件表面缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310669523.4A CN116935174A (zh) 2023-06-07 2023-06-07 一种多模态融合的金属工件表面缺陷检测方法和系统

Publications (1)

Publication Number Publication Date
CN116935174A true CN116935174A (zh) 2023-10-24

Family

ID=88378090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310669523.4A Pending CN116935174A (zh) 2023-06-07 2023-06-07 一种多模态融合的金属工件表面缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN116935174A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495712A (zh) * 2024-01-02 2024-02-02 天津天汽模志通车身科技有限公司 车身部件质量模型的生成式数据增强方法、系统及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495712A (zh) * 2024-01-02 2024-02-02 天津天汽模志通车身科技有限公司 车身部件质量模型的生成式数据增强方法、系统及设备

Similar Documents

Publication Publication Date Title
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN115272330A (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN116935174A (zh) 一种多模态融合的金属工件表面缺陷检测方法和系统
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN116703919A (zh) 一种基于最优传输距离损失模型的表面杂质检测方法
CN115035193A (zh) 一种基于双目视觉与图像分割技术的散装粮随机扦样方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN117670860A (zh) 光伏玻璃缺陷检测方法及装置
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN117475080A (zh) 基于多源信息融合的战场目标三维重建与毁伤评估方法
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN116091976A (zh) 一种站房缺陷识别检测方法、系统、装置及存储介质
CN118265998A (zh) 坏点检测模型训练方法、坏点检测方法以及坏点修复方法
Cai et al. DeepPCD: Enabling AutoCompletion of Indoor Point Clouds with Deep Learning
CN115063348A (zh) 一种零件表面缺陷检测方法、装置、设备及介质
CN113901903A (zh) 道路识别方法和装置
CN112488112A (zh) 目标对象识别方法、装置、电子设备及存储介质
Zhao et al. Online assembly inspection integrating lightweight hybrid neural network with positioning box matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination