CN112907528B - 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法 - Google Patents

一种基于点云转图像的复材铺丝表面缺陷检测与识别方法 Download PDF

Info

Publication number
CN112907528B
CN112907528B CN202110177985.5A CN202110177985A CN112907528B CN 112907528 B CN112907528 B CN 112907528B CN 202110177985 A CN202110177985 A CN 202110177985A CN 112907528 B CN112907528 B CN 112907528B
Authority
CN
China
Prior art keywords
point cloud
composite material
plane
distance
laying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110177985.5A
Other languages
English (en)
Other versions
CN112907528A (zh
Inventor
单忠德
汪俊
黄安义
谢乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110177985.5A priority Critical patent/CN112907528B/zh
Publication of CN112907528A publication Critical patent/CN112907528A/zh
Application granted granted Critical
Publication of CN112907528B publication Critical patent/CN112907528B/zh
Priority to US17/574,827 priority patent/US11557029B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，包括：获取复合材料铺丝产品的表面点云数据；对表面点云数据进行平面拟合，得到拟合平面；计算表面点云数据中所有点到拟合平面的距离；将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图；构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别；将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。本发明可实现复材铺丝表面缺陷的高精度测量与缺陷类型识别，解决现有技术中复材铺丝表面缺陷检测与识别时检测效率和精度低、适用性差等问题。

Description

一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
技术领域
本发明属于工业自动化检测技术领域，具体涉及一种基于点云转图像的复材铺丝表面缺陷检测与识别方法。
背景技术
复合材料在航空航天、汽车等高科技领域的广泛应用促进了复材产品制作工艺与精度的快速发展。复合材料的特殊性导致其制作工艺较为复杂，早期部分的复材成形是通过手糊成型，随着自动化技术的发展与应用，逐渐出现了三维编制成型、缠绕成型和自动铺放成型等方式，其中，复合材料自动铺放成型是树脂基复材成型代表技术之一，它既涉及材料制造工艺，又涉及CAD/CAM/CAE技术和机电自动化控制，是多学科交叉技术，现已成为国际上发达国家航空航天相关构件的主流成型技术。
复合材料在自动铺放过程中，会因为设备精度、铺丝轨迹等原因导致一些外部缺陷(如翘起、褶皱、扭转和搭接等)，为了满足复材产品应用精度需求，对复合材料铺丝的表面缺陷类型检测的同时，对缺陷本身的级别进行量化评估显得极为关键和迫切。然而，目前对于复合材料铺丝的表面缺陷检测大多依然通过人眼检测方式进行，效率低下，且人工长时间工作后的视觉疲劳必然带来检测精度下降。近年来随着计算机视觉技术的发展，提出了很多基于图像的复合材料铺丝表面缺陷检测方法，可对缺陷进行识别，但仅通过彩色图像进行的检测，其对光线敏感，无法对缺点进行缺陷级别的进一步评估，适用范围较为有限。
发明内容
本发明针对现有技术的不足，提出一种检测效率及精度高，适用性强的基于点云转图像的复材铺丝表面缺陷检测与识别方法。
为实现上述目的，本发明采用以下技术方案：
一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，包括如下步骤：
步骤S1、获取复合材料铺丝产品的表面点云数据；
步骤S2、对表面点云数据进行平面拟合，得到拟合平面；
步骤S3、计算表面点云数据中所有点到拟合平面的距离；
步骤S4、将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图；
步骤S5、构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别；
步骤S6、将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。
进一步地，步骤S1包括：将待测复合材料铺丝产品放置于高精密直线电机模组移动平台，再于高精密直线电机模组移动平台的正上方架设3D高速摄像机；在铺丝完成后，高精密直线电机模组移动平台驱动待测复合材料铺丝产品移动通过3D高速摄像机拍摄区，完成复合材料铺丝产品表面的点云数据采集。
进一步地，步骤S2包括：
步骤S201、在表面点云数据中随机选取不共线的三个点，计算其平面方程；
步骤S202、设定阈值T，计算其他点到不共线的三个点确定的平面的距离a，当a<T时，对应点视为内点；
步骤S203、重复步骤S201和步骤S202l次，选取得到内点最多的平面，最后使用所有的内点重新拟合，拟合得到最终的平面方程Ax+By+Cz+D＝0。
进一步地，步骤S3包括：
计算每个点到拟合平面的欧氏距离，点(x0,y0,z0)到平面Ax+By+Cz+D＝0的距离d公式为：
Figure BDA0002941327150000021
进一步地，步骤S4包括：
步骤S401、通过OBB法，确定包络整个表面点云数据的最小外包围盒；
步骤S402、对最小外包围盒进行平面方向子包围盒均匀切分，将其均匀切分为若干512*512的子包围盒；
步骤S403、计算每一个子包围盒中的每一个点与拟合平面的距离，并计算出每一个子包围盒与拟合平面的距离均值；
步骤S404、将每一个子包围盒与拟合平面的距离均值进行归一化，接着转化为图像灰度值0-255，由此将表面点云数据以每个子包围盒为一个图像像素，以子包围盒与拟合平面的距离均值为每一个图像像素的灰度值，生成一张512*512尺寸的平面距离误差图。
进一步地，步骤S5包括：
步骤S501、基于U-Net构建以平面距离误差图为输入的铺丝缺陷类型语义分割网络，铺丝缺陷类型语义分割网络包括下采样网络和上采样网络；首先下采样网络，其通过3*3的卷积层进行特征提取，每两层卷积层后接一层最大池化层进行下采样，这样的结构重复5次；接着将下采样网络的输出进行一层2*2的反卷积层的操作进行上采样，上采样后使用3*3的两层卷积层进行特征提取，这样的结构重复4次，将特征恢复成512*512的尺寸，通道数不变；接着将512*512的特征图进行使用1*1的卷积将通道维度扩展为瑕疵分类数，包括翘起、褶皱、扭转、搭接和正常五个分类，即512*512*5，并在通道维上使用softmax函数激活作为最终的输出；
下采样网络和上采样网络进行层间Skip-connection，即将下采样网络的每一个长宽尺寸的特征提取层输出后，将其与上采样网络对应相同尺寸层的输入进行concat；
步骤S502、将平面距离误差图输入到铺丝缺陷类型语义分割网络，得到缺陷分割信息，再计算缺陷分割信息与GroundTruth之间的损失函数，损失函数使用交叉熵，计算公式为：
Figure BDA0002941327150000031
公式(4)中，
Figure BDA0002941327150000032
表示为OneHot编码后的标签，
Figure BDA0002941327150000033
为网络的输出，b为batch数，rows为图像行数，cols为图像列数，c为分类数；
步骤S503、用反向传播的Adam优化算法，对铺丝缺陷类型语义分割网络的参数进行不断更新优化，输出不断接近GroundTruth，当验证集的准确率稳定时，网络训练完成；
步骤S504、以平面距离误差图为输入，使用铺丝缺陷类型语义分割网络进行分割，得到512*512*5的输出，接着对每个位置点求argmax，最终得到512*512*1的输出，即平面距离误差图的铺丝表面的缺陷区域和缺陷类型。
进一步地，步骤S6包括：
步骤S601、将铺丝缺陷类型语义分割网络输出的分割的缺陷结果映射至表面点云数据的子包围盒对应的点云区域，接着进行点云区域不同色彩标记并可视化；
步骤S602、将每一个缺陷的点云区域计算与拟合平面平均误差距离和距离方差，并作为复合材料铺丝表面的评估指标。
本发明的有益效果是：
本发明可实现复材铺丝表面缺陷的高精度测量与缺陷类型识别，解决现有技术中复材铺丝表面缺陷检测与识别时检测效率和精度低、适用性差等问题。
附图说明
图1为本发明的基于点云转图像的复材铺丝表面缺陷检测与识别方法流程框图；
图2为复合材料铺丝表面点云数据采集示意图；
图3为平面距离误差图；
图4为铺丝缺陷类型语义分割网络结构图。
具体实施方式
下面结合附图和具体的实施例对本发明的基于点云转图像的复材铺丝表面缺陷检测与识别方法作进一步地详细说明。
如图1所示，一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，包括如下步骤：
步骤S1、获取复合材料铺丝产品的表面点云数据。
将待测复合材料铺丝产品放置于高精密直线电机模组移动平台，再于高精密直线电机模组移动平台的正上方架设3D高速摄像机。在铺丝完成后，高精密直线电机模组移动平台驱动待测复合材料铺丝产品移动通过3D高速摄像机拍摄区，完成复合材料铺丝产品表面的点云数据采集，参见图2。
步骤S2、对表面点云数据进行平面拟合，得到拟合平面。包括：
步骤S201、在表面点云数据中随机选取不共线的三个点，计算其平面方程。
步骤S202、设定阈值T，计算其他点到不共线的三个点确定的平面的距离a，当a<T时，对应点视为内点。
步骤S203、重复步骤S201和步骤S202l次(人为设定)，选取得到内点最多的平面，最后使用所有的内点重新拟合，拟合得到最终的平面方程Ax+By+Cz+D＝0。
步骤S3、计算表面点云数据中所有点到拟合平面的距离。包括：
计算每个点到拟合平面的欧氏距离，点(x0,y0,z0)到平面Ax+By+Cz+D＝0的距离d公式为：
Figure BDA0002941327150000041
步骤S4、将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图。包括：
步骤S401、通过OBB法，确定包络整个表面点云数据的最小外包围盒，它的立方体的边长始终与铺丝表面点云的主成分在一个方向，通过构建铺丝表面点云的协方差矩阵来计算其特征值和特征向量，从而确定包围盒。具体生成OBB包围盒的协方差矩阵A如下：
Figure BDA0002941327150000051
其中，conv操作，以conv(x,y)为例。
Figure BDA0002941327150000052
其中，
Figure BDA0002941327150000053
分别为x,y轴的均值。使用构建的协方差矩阵A来求解其特征向量与特征值，由于协方差矩阵A是对称矩阵，可知对称矩阵的性质，它的三个特征向量互相垂直，使用这三个特征向量来确定OBB模型的三个轴。
接着将特征向量正规化，从而确定OBB包围盒三个轴的方向，通过将铺丝表面点云的坐标投影到三个轴上，确定各轴最大最小值，即可确定出铺丝表面点云OBB包围盒。
步骤S402、对最小外包围盒进行平面方向子包围盒均匀切分，将其均匀切分为若干512*512的子包围盒。
步骤S403、计算每一个子包围盒中的每一个点与拟合平面的距离，并计算出每一个子包围盒与拟合平面的距离均值。
步骤S404、将每一个子包围盒与拟合平面的距离均值进行归一化，接着转化为图像灰度值0-255，由此将表面点云数据以每个子包围盒为一个图像像素，以子包围盒与拟合平面的距离均值为每一个图像像素的灰度值，生成一张512*512尺寸的平面距离误差图，如图3所示。
步骤S5、构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别。包括：
步骤S501、基于U-Net构建以平面距离误差图为输入的铺丝缺陷类型语义分割网络，铺丝缺陷类型语义分割网络包括下采样网络和上采样网络。首先下采样网络，其通过3*3的卷积层进行特征提取，每两层卷积层后接一层最大池化层进行下采样，这样的结构重复5次。接着将下采样网络的输出进行一层2*2的反卷积层的操作进行上采样，上采样后使用3*3的两层卷积层进行特征提取，这样的结构重复4次，将特征恢复成512*512的尺寸，通道数不变。接着将512*512的特征图进行使用1*1的卷积将通道维度扩展为瑕疵分类数，包括翘起、褶皱、扭转、搭接和正常五个分类，即512*512*5，并在通道维上使用softmax函数激活作为最终的输出。特别地，下采样网络和上采样网络进行层间Skip-connection，即将下采样网络的每一个长宽尺寸的特征提取层输出后，将其与上采样网络对应相同尺寸层的输入进行concat，具体网络结构如图4所示。
步骤S502、将平面距离误差图输入到铺丝缺陷类型语义分割网络，得到缺陷分割信息，再计算缺陷分割信息与GroundTruth之间的损失函数，损失函数使用交叉熵，计算公式为：
Figure BDA0002941327150000061
公式(4)中，
Figure BDA0002941327150000062
表示为OneHot编码后的标签，
Figure BDA0002941327150000063
为网络的输出，b为batch数，rows为图像行数，cols为图像列数，c为分类数。
步骤S503、用反向传播的Adam优化算法，对铺丝缺陷类型语义分割网络的参数进行不断更新优化，输出不断接近GroundTruth，当验证集的准确率稳定时，网络训练完成。
步骤S504、以平面距离误差图为输入，使用铺丝缺陷类型语义分割网络进行分割，得到512*512*5的输出，接着对每个位置点求argmax，最终得到512*512*1的输出，即平面距离误差图的铺丝表面的缺陷区域和缺陷类型。
步骤S6、将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。包括：
步骤S601、将铺丝缺陷类型语义分割网络输出的分割的缺陷结果映射至表面点云数据的子包围盒对应的点云区域，接着进行点云区域不同色彩标记(不同缺陷类别，不同颜色)并可视化。
步骤S602、将每一个缺陷的点云区域计算与拟合平面平均误差距离和距离方差，并作为复合材料铺丝表面的评估指标。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，包括如下步骤：
步骤S1、获取复合材料铺丝产品的表面点云数据；
步骤S2、对表面点云数据进行平面拟合，得到拟合平面；
步骤S3、计算表面点云数据中所有点到拟合平面的距离；
步骤S4、将表面点云数据进行OBB外包围盒包络，并与步骤S3计算的距离数据结合，生成灰度图，具体包括如下步骤：
步骤S401、通过OBB法，确定包络整个表面点云数据的最小外包围盒；
步骤S402、对最小外包围盒进行平面方向子包围盒均匀切分，将其均匀切分为512*512个子包围盒；
步骤S403、计算每一个子包围盒中的每一个点与拟合平面的距离，并计算出每一个子包围盒与拟合平面的距离均值；
步骤S404、将每一个子包围盒与拟合平面的距离均值进行归一化，接着转化为图像灰度值0-255，由此将表面点云数据以每个子包围盒为一个图像像素，以子包围盒与拟合平面的距离均值为每一个图像像素的灰度值，生成一张512*512尺寸的平面距离误差图。
步骤S5、构建预训练的铺丝缺陷类型语义分割网络，将生成的灰度图作为输入，对灰度图进行缺陷区域分割与识别；
步骤S6、将铺丝缺陷类型语义分割网络输出的分割结果映射至点云，并进行缺陷评估与可视化。
2.根据权利要求1所述的基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，步骤S1包括：将待测复合材料铺丝产品放置于高精密直线电机模组移动平台，再于高精密直线电机模组移动平台的正上方架设3D高速摄像机；在铺丝完成后，高精密直线电机模组移动平台驱动待测复合材料铺丝产品移动通过3D高速摄像机拍摄区，完成复合材料铺丝产品表面的点云数据采集。
3.根据权利要求1所述的基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，步骤S2包括：
步骤S201、在表面点云数据中随机选取不共线的三个点，计算其平面方程；
步骤S202、设定阈值T，计算其他点到不共线的三个点确定的平面的距离a，当a<T时，对应点视为内点；
步骤S203、重复步骤S201和步骤S202l次，选取得到内点最多的平面，最后使用所有的内点重新拟合，拟合得到最终的平面方程Ax+By+Cz+D＝0。
4.根据权利要求3所述的基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，步骤S3包括：
计算每个点到拟合平面的欧氏距离，点(x0,y0,z0)到平面Ax+By+Cz+D＝0的距离d公式为：
Figure FDA0003254132270000021
5.根据权利要求4所述的基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，步骤S5包括：
步骤S501、基于U-Net构建以平面距离误差图为输入的铺丝缺陷类型语义分割网络，铺丝缺陷类型语义分割网络包括下采样网络和上采样网络；首先下采样网络，其通过3*3的卷积层进行特征提取，每两层卷积层后接一层最大池化层进行下采样，这样的结构重复5次；接着将下采样网络的输出进行一层2*2的反卷积层的操作进行上采样，上采样后使用3*3的两层卷积层进行特征提取，这样的结构重复4次，将特征恢复成512*512的尺寸，通道数不变；接着将512*512的特征图使用1*1的卷积层将通道维度扩展为与瑕疵分类数一致，包括翘起、褶皱、扭转、搭接和正常五个分类，即512*512*5，并在通道维度上使用softmax函数激活作为最终的输出；下采样网络和上采样网络进行层间Skip-connection，即将下采样网络的每一个长宽尺寸的特征提取层输出后，将其与上采样网络对应相同尺寸层的输入进行concat；
步骤S502、将平面距离误差图输入到铺丝缺陷类型语义分割网络，得到缺陷分割信息，再计算缺陷分割信息与GroundTruth之间的损失函数，损失函数使用交叉熵，计算公式为：
Figure FDA0003254132270000022
公式(4)中，
Figure FDA0003254132270000023
表示为OneHot编码后的标签，
Figure FDA0003254132270000024
为网络的输出，b为batch数，rows为图像行数，cols为图像列数，c为分类数；
步骤S503、用反向传播的Adam优化算法，对铺丝缺陷类型语义分割网络的参数进行不断更新优化，输出不断接近GroundTruth，当验证集的准确率稳定时，网络训练完成；
步骤S504、以平面距离误差图为输入，使用铺丝缺陷类型语义分割网络进行分割，得到512*512*5的输出，接着对每个位置点求argmax，最终得到512*512*1的输出，即平面距离误差图的铺丝表面的缺陷区域和缺陷类型。
6.根据权利要求4所述的基于点云转图像的复材铺丝表面缺陷检测与识别方法，其特征在于，步骤S6包括：
步骤S601、将铺丝缺陷类型语义分割网络输出的分割的缺陷结果映射至表面点云数据的子包围盒对应的点云区域，接着进行点云区域不同色彩标记并可视化；
步骤S602、将每一个缺陷的点云区域计算与拟合平面平均误差距离和距离方差，并作为复合材料铺丝表面的评估指标。
CN202110177985.5A 2021-02-09 2021-02-09 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法 Active CN112907528B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110177985.5A CN112907528B (zh) 2021-02-09 2021-02-09 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
US17/574,827 US11557029B2 (en) 2021-02-09 2022-01-13 Method for detecting and recognizing surface defects of automated fiber placement composite based on image converted from point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110177985.5A CN112907528B (zh) 2021-02-09 2021-02-09 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法

Publications (2)

Publication Number Publication Date
CN112907528A CN112907528A (zh) 2021-06-04
CN112907528B true CN112907528B (zh) 2021-11-09

Family

ID=76123089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110177985.5A Active CN112907528B (zh) 2021-02-09 2021-02-09 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法

Country Status (2)

Country Link
US (1) US11557029B2 (zh)
CN (1) CN112907528B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848182B (zh) * 2021-09-01 2023-07-07 中国航空制造技术研究院 一种复合材料铺层质量在线检测系统及检测方法
CN113902709B (zh) * 2021-10-12 2023-04-07 南京航空航天大学 引导飞机复合材料蒙皮修复的表面平整度实时分析方法
CN115049664B (zh) * 2022-08-16 2022-10-28 金乡县强力机械有限公司 基于视觉的船舶发动机配件缺陷检测方法
CN115290650B (zh) * 2022-09-29 2023-01-17 南京航空航天大学 基于点云的复材壁板孔特征的检测方法及其系统
CN115311284B (zh) * 2022-10-12 2023-06-09 南通嘉鹏家居用品有限公司 用于玻璃纤维毡的生产质量检测方法
CN115797354B (zh) * 2023-02-09 2023-05-30 厦门微亚智能科技有限公司 用于检测激光焊接焊缝外观缺陷的方法
CN115908424B (zh) * 2023-02-14 2023-05-30 广东建准检测技术有限公司 基于三维激光扫描的建筑物健康检测方法、系统及介质
CN116051542B (zh) * 2023-03-06 2023-07-14 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN116363087A (zh) * 2023-03-23 2023-06-30 南京航空航天大学 一种复合材料自动铺放表面缺陷的检测方法
CN116258969B (zh) * 2023-05-12 2023-08-25 宁波市天一测绘设计研究有限公司 基于点云数据的结构件测量方法及装置
CN116309576B (zh) * 2023-05-19 2023-09-08 厦门微亚智能科技股份有限公司 一种锂电池焊缝缺陷检测方法、系统及存储介质
CN117635543B (zh) * 2023-11-09 2024-04-30 西安交通大学 一种金属内部缺陷正向追踪和故障反向定位方法及系统
CN117237340B (zh) * 2023-11-10 2024-01-26 江西省中鼐科技服务有限公司 一种基于人工智能的手机外壳外观检测方法及系统
CN117314902B (zh) * 2023-11-28 2024-01-30 苏州金陵共创体育器材有限公司 一种篮球地板表面平整性视觉检测方法
CN117672435B (zh) * 2024-01-31 2024-04-09 广元水木新材料科技有限公司 一种基于纳米纤维制备的纤维丝自动布局方法及系统
CN117934858A (zh) * 2024-03-21 2024-04-26 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN111462120A (zh) * 2020-06-17 2020-07-28 熵智科技(深圳)有限公司 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111507357A (zh) * 2020-06-17 2020-08-07 熵智科技(深圳)有限公司 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN112308974A (zh) * 2020-10-30 2021-02-02 南京航空航天大学 一种改进八叉树和自适应读取的大规模点云可视化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120250984A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
EP3566193A4 (en) * 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN111462120A (zh) * 2020-06-17 2020-07-28 熵智科技(深圳)有限公司 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111507357A (zh) * 2020-06-17 2020-08-07 熵智科技(深圳)有限公司 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN112308974A (zh) * 2020-10-30 2021-02-02 南京航空航天大学 一种改进八叉树和自适应读取的大规模点云可视化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Aircraft Skin Rivet Detection Based on 3D Point Cloud via Multiple Structures Fitting;qian xie等;《computer-aided design》;20191207;全文 *
散乱点云数据预处理的研究;陈达枭;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170315;全文 *

Also Published As

Publication number Publication date
CN112907528A (zh) 2021-06-04
US20220198647A1 (en) 2022-06-23
US11557029B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
CN112907528B (zh) 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN108334816B (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN104331699B (zh) 一种三维点云平面化快速搜索比对的方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN110084304B (zh) 一种基于合成数据集的目标检测方法
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN104778755B (zh) 一种基于区域划分的纹理图像三维重构方法
CN110189339A (zh) 深度图辅助的主动轮廓抠图方法及系统
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN109726627A (zh) 一种神经网络模型训练及通用接地线的检测方法
Fan et al. Multi-scale feature fusion: Learning better semantic segmentation for road pothole detection
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN115456938A (zh) 一种基于深度学习和超声红外图像的金属部件裂纹检测方法
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN111353247B (zh) 陶瓷基复合材料平纹编织结构细观组分识别与重建方法
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
CN112001954A (zh) 一种基于极曲线约束的水下pca-sift图像匹配方法
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant