CN112907531B - 一种多模态融合的铺丝机复合材料表面缺陷检测系统 - Google Patents

一种多模态融合的铺丝机复合材料表面缺陷检测系统 Download PDF

Info

Publication number
CN112907531B
CN112907531B CN202110182749.2A CN202110182749A CN112907531B CN 112907531 B CN112907531 B CN 112907531B CN 202110182749 A CN202110182749 A CN 202110182749A CN 112907531 B CN112907531 B CN 112907531B
Authority
CN
China
Prior art keywords
data
neural network
module
training
composite material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110182749.2A
Other languages
English (en)
Other versions
CN112907531A (zh
Inventor
单忠德
汪俊
张一鸣
谢乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110182749.2A priority Critical patent/CN112907531B/zh
Publication of CN112907531A publication Critical patent/CN112907531A/zh
Application granted granted Critical
Publication of CN112907531B publication Critical patent/CN112907531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。多模态神经网络数据加载模块导入用于多模态神经网络算法训练模块所需要的训练数据，包含两种类型：图像类型数据和点云类型数据，生成算法模块训练所需的格式化数据。多模态神经网络算法训练模块以格式化图像数据和点云数据作为输入，训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。本发明能够满足实际飞机复合材料生产精度的检测效率和检测精度，具有高效、可靠等优势。

Description

一种多模态融合的铺丝机复合材料表面缺陷检测系统
技术领域
本发明涉及航空制造机器视觉检测领域，具体涉及一种多模态融合的铺丝机复合材料表面缺陷检测系统。
背景技术
目前全球飞机制造仅有少数厂商可以批量化生产，而新一代的飞机材料将逐步采用复合材料替代传统材料，从目前的趋势看，飞机上大量采用复合材料是一种趋势，最近几年出现的新型飞机，普遍都采用了大面积的复合材料来制造，其目的就是为了减重，同时复合材料的可设计性好，复合材料的性能和构成方式，决定了它可以在制造过程中根据构件最终形态的需求来制造出复杂的三维曲线型面。
目前国外引进的复合材料铺丝机在自动铺放过程铺层表面质量及切口表面形貌质量方面的检测，仍然依靠人工目测，不仅检测效率低，而且检测误差大，严重影响了复材零部件的制造效率，因此急需借助机器视觉检测技术进行自动化智能检测。
发明内容
本发明为解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测，提供了一种多模态融合的铺丝机复合材料表面缺陷检测系统，以实现复合材料铺丝机铺丝质量的自动化检测需求。
为实现上述目的，本发明采用以下技术方案：
一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；
多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据(正样本)和80％的缺陷数据(负样本)。
为优化上述技术方案，采取的具体措施还包括：
进一步地，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112×112)，点云数据进行抽稀(约20000个点左右)，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。
进一步地，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。
进一步地，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。
进一步地，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成N×M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型。
进一步地，解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；
插值层将采样后的点进行上采样，将点云数量从N1上采样到N1-1，N1和N1-1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：
Figure BDA0002941402960000021
其中，x为待计算特征点，xi为其k个邻近点，fi为第i个邻近点的特征，d(x，xi)为x点到其邻近点之间的距离；
三个SL模块逐步采样会原始输入数量的点云，特征维度依次降为128、64及M，M为缺陷种类数量，包含无缺陷类型。
进一步地，多模态神经网络架构采用简化的ResNet架构方式：
首先将大小为112×112，通道数为3的彩色图像通过7×7大小的卷积层，映射成通道数为64的特征图，同时步长取为2；
之后进行步长为2的最大池化；
再利用3×3的卷积核将特征逐步映射成128维，256维通道的特征图；其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征；将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码。
进一步地，多模态神经网络架构中，复合材料点云数据编码采用三层PointNet++中的SA模块：每层模块包含一个采样模块、一个聚类模块和一个微型PointNet层；采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型PointNet层中提取特征，作为当前采样点的特征。
进一步地，多模态神经网络算法训练模块用训练集进行多次训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数；然后神经网络进行反向传播修正网络参数进行学习；
训练时经过多次迭代直到损失函数收敛，输出网络最佳参数；损失函数采用预标注的点云和网络输出点云之间的交叉熵损失函数进行计算。
进一步地，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
进一步地，所述缺陷检测系统反馈模块根据网络输出带缺陷标注的点云，可以控制铺丝机的工作状态或者发出缺陷警报反馈给工作人员进行管控。
本发明的有益效果是：本发明实施例公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，通过多模态神经网络架构训练学习铺丝机符合材料表面缺陷类型，融合点云数据和图像数据两种数据类型提高网络识别精度。本发明具有能够满足实际飞机复合材料生产精度的检测效率和检测精度，相对于传统的人工目测具有高效、可靠等优势，符合了新一代智能飞机制造技术的趋势。
附图说明
图1为本发明实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的示意图。
图2为本发明实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的多模态神经网络算法训练模块网络架构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本实施例公开了一种基于多模态神经网络架构的铺丝机复合材料表面缺陷检测系统，以解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测问题。为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例一种多模态融合的铺丝机复合材料表面缺陷检测系统的流程示意图。本发明实施例包含：多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。
多模态神经网络数据加载模块将数据格式化为训练数据输入到多模态神经网络算法训练模块中进行训练。训练数据包含两种类型，复合材料图像数据和复合材料点云数据，分别通过高分辨率摄像机和线激光扫描仪获得；两种数据均包含约20％的良好数据(正样本)和80％的缺陷数据(负样本)。训练数据在输入到该模块前提前进行标注，图像数据需要框出复合材料缺陷的所在位置，点云数据需要标注出缺陷位置附近的点云。随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112×112)，点云数据抽稀为约20000个点左右，将同一复合材料对应的图像数据和点云数据打包成一组数据，多组数据为一批，所有训练数据将分批次输入到多模态神经网络算法训练模块中进行训练。同时，该模块用同种方法构造测试数据集，其规模约为训练集的20％。
图2为本发明实施例一种多模态融合的铺丝机复合材料表面缺陷检测系统的多模态神经网络算法训练模块网络架构图。
参照图2，多模态神经网络算法训练模块采用多模态神经网络架构。网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及缺陷的类型。
多模态神经网络架构主干部分分为编码器和解码器两个部分，编码器利用神经网络将两种特征编码成一个256维向量，解码器将该向量解码成N×M维矩阵，其中N表示输入材料点云规模，M表示缺陷种类数量(缺陷类型包含正常类型，即无缺陷的类型)，在本发明实施例中，N约为20000个点，M为6种不同的缺陷类型。
参考图2，多模态神经网络架构编码器部分分为复合材料图像数据编码和复合材料点云数据编码。复合材料图像数据编码采用简化的ResNet架构方式，可以参考图2网络结构上部分支：首先将大小为112×112，通道数为3的彩色图像通过7×7大小的卷积层，映射成通道数为64的特征图，同时步长取为2。之后进行步长为2的最大池化。再利用3×3的卷积核将特征逐步映射成128维，256维通道的特征图。其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征。将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码。
复合材料点云数据编码采用三层PointNet++中的SA模块，可以参考图2网络结构下部分分支：每层模块包含一个采样模块、一个聚类模块和一个微型PointNet层。采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型PointNet层中提取特征，作为该处采样点的特征。其中微型PointNet包含一个卷积层和一个池化层。复合材料点云数据经过三个SA模块后，点数量依次被采样成2048个点，1024个点，512个点，特征维度依次编码成64维，128维和256维。最后进行均值池化得到一个256维向量。将复合材料图像数据编码特征和复合材料点云数据编码特征进行逐位相加，得到最终编码层输出的特征编码。
多模态神经网络解码层包含三个SL模块，每个模块包含一个插值层，和一个卷积层。插值层将采样后的点进行上采样，将点云数量从N1上采样到Nl-1(N1和Nl-1分别为第l即SA层的输入点云数量和输出点云数量)其中每个点的特征根据其在原始点云中周围3个邻近点按照如下公式的插值函数进行计算：
Figure BDA0002941402960000051
其中，x为待计算特征点，xi为其k个邻近点，fi为第i个邻近点的特征，d(x，xi)为x点到其邻近点之间的距离。三个SL模块逐步采样会原始输入数量的点云，特征维度依次降为128，64，和M，M为缺陷种类数量(含非缺陷类型)。
多模态神经网络算法训练模块在训练时，修改网络训练参数配置，调整训练步长和速率，并用训练集进行多次迭代训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数，然后神经网络进行反向传播修正网络参数进行学习。训练集数据分批次按照上述步骤输入到网络中进行训练(在本实施例中，一个批次为8组数据，一组数据由同一符合材料的图像数据和点云数据构成)，直到训练数据都经过网络并且按照前述方法计算损失调整参数，即为一次完整迭代过程。在本实施例中，上述迭代过程经过200次，直到损失函数收敛为一个较低的值不再显著降低，此时输出网络最佳参数。其中损失函数采用预标注的真实点云和网络输出点云之间的交叉熵损失函数进行计算。
训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。最后，表面缺陷检测系统结果反馈模块在检测到产品缺陷后，系统传输结果至铺丝机，记录缺陷位置或控制铺丝机设备停机，由人员介入处理。
结合图1，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
结合图1，缺陷检测系统反馈模块根据网络输出带缺陷标注的点云，可以控制铺丝机的工作状态或者发出缺陷警报反馈给工作人员进行管控。
本发明通过多模态神经网络架构训练学习铺丝机符合材料表面缺陷类型，融合点云数据和图像数据两种数据类型提高网络识别精度。本发明具有能够满足实际飞机复合材料生产精度的检测效率和检测精度，相对于传统的人工目测具有高效、可靠等优势，符合了新一代智能飞机制造技术的趋势。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种多模态融合的铺丝机复合材料表面缺陷检测系统，其特征在于，设计多模态神经网络架构，同时输入铺丝机复合材料图像和点云数据；多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码；编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量；将复合材料图像数据编码特征和复合材料点云数据编码特征进行逐位相加，得到最终编码层输出的特征编码；解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；三个SL模块逐步采样会原始输入数量的点云，特征维度依次降为128、64及M，M为缺陷种类数量，包含无缺陷类型；
解码器将该向量解码成N×M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型；解码器的插值层将采样后的点进行上采样，将点云数量从Nl上采样到Nl-1，Nl和Nl-1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：
Figure 667248DEST_PATH_IMAGE002
其中，x为待计算特征点，x i 为其k个邻近点，f i 为第i个邻近点的特征，d(x,x i )为x点到其邻近点之间的距离；
该系统包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；
多模态神经网络架构采用简化的ResNet架构方式：
首先将大小为112×112，通道数为3的彩色图像通过7×7大小的卷积层，映射成通道数为64的特征图，同时步长取为2；
之后进行步长为2的最大池化；
再利用3×3的卷积核将特征逐步映射成128维，256维通道的特征图；其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征；将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码；
多模态神经网络架构中，复合材料点云数据编码采用三层PointNet++中的SA模块：每层模块包含一个采样模块、一个聚类模块和一个微型PointNet层；采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型PointNet层中提取特征，作为当前采样点的特征。
2.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小，点云数据进行抽稀，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20%。
3.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。
4.根据权利要求2所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络算法训练模块用训练集进行多次训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数；然后神经网络进行反向传播修正网络参数进行学习；
训练时经过多次迭代直到损失函数收敛，输出网络最佳参数；损失函数采用预标注的点云和网络输出点云之间的交叉熵损失函数进行计算。
5.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
CN202110182749.2A 2021-02-09 2021-02-09 一种多模态融合的铺丝机复合材料表面缺陷检测系统 Active CN112907531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110182749.2A CN112907531B (zh) 2021-02-09 2021-02-09 一种多模态融合的铺丝机复合材料表面缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110182749.2A CN112907531B (zh) 2021-02-09 2021-02-09 一种多模态融合的铺丝机复合材料表面缺陷检测系统

Publications (2)

Publication Number Publication Date
CN112907531A CN112907531A (zh) 2021-06-04
CN112907531B true CN112907531B (zh) 2022-05-17

Family

ID=76123378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110182749.2A Active CN112907531B (zh) 2021-02-09 2021-02-09 一种多模态融合的铺丝机复合材料表面缺陷检测系统

Country Status (1)

Country Link
CN (1) CN112907531B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664586B (zh) * 2023-08-02 2023-10-03 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
CN109087274B (zh) * 2018-08-10 2020-11-06 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN111080627B (zh) * 2019-12-20 2021-01-05 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111768388B (zh) * 2020-07-01 2023-08-11 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及系统
CN112070751A (zh) * 2020-09-10 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 木地板缺陷检测方法和装置

Also Published As

Publication number Publication date
CN112907531A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN110111331B (zh) 基于机器视觉的蜂窝纸芯缺陷检测方法
CN110120041A (zh) 路面裂缝图像检测方法
Wang et al. High-voltage power transmission tower detection based on faster R-CNN and YOLO-V3
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN113158768B (zh) 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN112906822B (zh) 一种面向生态保护红线的人类活动识别融合方法及系统
CN107392954B (zh) 一种基于序列图像的粗大误差点剔除方法
CN110880200A (zh) 基于三维重建技术的gim模型工程智能验收方法
CN112907531B (zh) 一种多模态融合的铺丝机复合材料表面缺陷检测系统
CN113673509B (zh) 一种基于图像文本的仪表检测分类方法
CN110956207B (zh) 一种光学遥感影像全要素变化检测方法
CN112541389A (zh) 一种基于EfficientDet网络的输电线路故障检测方法
CN110443862A (zh) 基于无人机的岩性填图方法及系统、电子设备
CN112651969A (zh) 结合多信息融合网络和区域增长的气管树分级提取方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN112070712B (zh) 基于自编码器网络的印刷缺陷检测方法
CN110910440A (zh) 一种基于电力影像数据的输电线路长度确定方法和系统
CN110189395A (zh) 一种基于人视角倾斜摄影实现景观立面动态分析与定量设计的方法
CN116343027A (zh) 利用注意力机制融合的YOLOv5遥感图像目标检测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN115035108A (zh) 一种基于深度学习的绝缘子缺陷检测方法
CN115661446A (zh) 基于深度学习的指针式仪表示数自动读取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant