CN113706530A - 基于网络结构的表面缺陷区域分割模型生成方法及装置 - Google Patents

基于网络结构的表面缺陷区域分割模型生成方法及装置 Download PDF

Info

Publication number
CN113706530A
CN113706530A CN202111258714.9A CN202111258714A CN113706530A CN 113706530 A CN113706530 A CN 113706530A CN 202111258714 A CN202111258714 A CN 202111258714A CN 113706530 A CN113706530 A CN 113706530A
Authority
CN
China
Prior art keywords
scale
feature
feature layer
network structure
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111258714.9A
Other languages
English (en)
Inventor
弭宝瞳
梁循
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jushi Intelligent Technology Co ltd
Original Assignee
Beijing Jushi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jushi Intelligent Technology Co ltd filed Critical Beijing Jushi Intelligent Technology Co ltd
Priority to CN202111258714.9A priority Critical patent/CN113706530A/zh
Publication of CN113706530A publication Critical patent/CN113706530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明涉及一种基于网络结构的表面缺陷区域分割模型生成方法及装置，所述方法包括对输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；从多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作；将预设尺度的特征层重新加入多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；对多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。本发明采用基于网络结构的表面缺陷区域分割模型搜索到生成方法能够针对特定场景，自动地从数据中学习特定条件下的最优网络结构，从而避免依赖专家经验，反复调参试错的问题，方便在不同工业场景下快速部署更适用于特定场景的缺陷检测模型。

Description

基于网络结构的表面缺陷区域分割模型生成方法及装置
技术领域
本发明属于缺陷检测技术领域，具体涉及一种基于网络结构的表面缺陷区域分割模型生成方法及装置。
背景技术
当前工业应用环境下，表面缺陷区域分割模型生成多采用基于深度神经网络的深度学习方法。当前代表性方法采用类似U-Net的编码器-解码器网络结构，编码器提取多层级的不同类型特征，解码器融合多层级的多尺度特征，从而定位并分割出缺陷区域。
相关技术中，针对特定工业场景数据，传统人工设计缺陷检测网络结构的方法需要依赖专家经验，反复调参试错，时间周期长，难以满足工业场景下快速部署的需求，导致难以获得高精度的缺陷区域分割结果。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于网络结构的表面缺陷区域分割模型生成方法及装置，以解决现有技术中缺陷检测方法难以获得高精度的缺陷区域分割结果的问题。
为实现以上目的，本发明采用如下技术方案：一种基于网络结构的表面缺陷区域分割模型生成方法，包括：
获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；其中，最优的多尺度特征融合网络结构为所述搜索空间中得到特征验证率最高的网络结构；
对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
进一步的，利用神经网络对所述输入图像进行多层级的特征变换，得到多个尺度的特征层，多个尺度的特征层构成多尺度候选特征层集。
进一步的，所述利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层，包括：
采用可重复利用的融合单元从所述多尺度候选特征层集中选择一个特征层
Figure 563935DEST_PATH_IMAGE001
；
再从所述多尺度候选特征层集中无放回的选择另一个特征层
Figure 46869DEST_PATH_IMAGE002
；
选择预设的特征融合策略对特征层
Figure 706389DEST_PATH_IMAGE003
和特征层
Figure 337615DEST_PATH_IMAGE002
进行融合处理，得到预设尺度的特征层；其中，所述特征融合策略包括逐个像素之和或乘积。
进一步的，所述将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构，包括：
将所述预设尺度的特征层重新加入多尺度候选特征层集中；
重新从加入后的多尺度候选特征层集中选择两个不同尺度的候选特征层进行融合处理操作；
重复上述操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。
进一步的，所述对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型，包括：
将人工标注缺陷的数据集作为训练集；
利用所述训练集对所述多尺度特征融合网络结构进行训练，得到表面缺陷区域分割模型。
进一步的，所述神经网络采用深度卷积神经网络。
进一步的，所述深度卷积神经网络的卷积尺寸为
Figure 325163DEST_PATH_IMAGE004
。
本申请实施例提供一种基于网络结构的表面缺陷区域分割模型生成装置，包括：
获取模块，用于获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
处理模块，用于利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
操作模块，用于将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；其中，最优的多尺度特征融合网络结构为所述搜索空间中得到特征验证率最高的网络结构；
训练模块，用于对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于网络结构的表面缺陷区域分割模型生成方法及装置，所述方法包括获取输入图像，对输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；利用预设的融合单元从多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；将预设尺度的特征层重新加入多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；对多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。本发明采用基于网络结构的表面缺陷区域分割模型生成方法能够针对特定场景，自动地从数据中学习特定条件下的最优网络结构，从而避免依赖专家经验，反复调参试错的问题，方便在不同工业场景下快速部署更适用于特定场景的缺陷检测模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于网络结构的表面缺陷区域分割模型生成方法的步骤示意图；
图2为本发明基于网络结构的表面缺陷区域分割模型生成方法的流程示意图；
图3为本发明基于网络结构的表面缺陷区域分割模型生成装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于网络结构的表面缺陷区域分割模型生成方法及装置。
如图1所示，本申请实施例中提供的基于网络结构的表面缺陷区域分割模型生成方法，包括：
S101，获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
其中，图像可以是图片或是视频，例如是待测产品的照片，或是拍摄的视频。
S102，利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
S103，将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；其中，最优的多尺度特征融合网络结构为所述搜索空间中得到特征验证率最高的网络结构；
S104，对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
可以理解的是，本申请实施例采集的输入图像，一般为工业背景下，利用金属材料制成的工件的表面图像，例如，钢板的表面图像等，从而可以用本实施例提供的方法检测出钢板表面的缺陷区域。
具体的，网络结构搜索的具体搜索方式为，假定世界上所有的潜在的神经网络结构所组成的集合为网络结构空间（Architecture Space），最理想的搜索方式应该是在该空间中寻找得到最适合于当前任务的模型结构。但由于神经网络中节点数目、节点间的连接方式的不可枚举性，如果在不加任何限制的情况下进行模型结构的搜索几乎是一个不可能完成的任务。因此在实际的网络结构搜索过程中，研究人员通常会对结构空间进行了一个裁剪，根据先验知识在结构空间内人为划定了一个搜索空间（Search Space），它是整个神经网络结构空间的子集，会对节点数量、节点间连接方式等进行预先限定。接下来就可以通过指定的搜索策略（Search Strategy）在空间中进行结构搜索，目前比较流行的搜索策略包括如基于强化学习（Reinforcement Learning）、遗传算法（Genetic Algorithm）以及梯度的方式（Gradient-based method）等。搜索策略的核心目标为提供一种方式，能够根据当前时刻找到的模型结构来决定下一个最有潜力的模型结构。
本申请提供的基于网络结构的表面缺陷区域分割模型生成方法的工作原理为：参见图2，通过深度卷积神经网络对输入图像进行多尺度特征提取，构成多尺度候选特征层集；利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。其中，融合单元可重复使用。
本申请采用上述基于网络结构的表面缺陷区域分割模型生成方法，针对特定场景，可以自动地从数据中学习特定条件下的最优网络结构，从而避免依赖专家经验，反复调参试错的问题，方便地在不同工业场景下快速部署更适用于特定场景的缺陷检测模型。
一些实施例中，利用神经网络对所述输入图像进行多层级的特征变换，得到多个尺度的特征层，多个尺度的特征层构成多尺度候选特征层集。
具体地，将采集图像输入到深度卷积神经网络中，经过多层级的特征变换，提取到输入图像的多尺度、不同层级特征层，多尺度、不同层级特征层构成多尺度候选特征层集。可以理解的是，本申请中的深度卷积神经网络利用卷积核对特征进行特征变换。
一些实施例中，所述利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层，包括：
采用可重复利用的融合单元从所述多尺度候选特征层集中选择一个特征层
Figure 674105DEST_PATH_IMAGE001
；
再从所述多尺度候选特征层集中无放回的选择另一个特征层
Figure 532339DEST_PATH_IMAGE002
；
选择预设的特征融合策略对特征层
Figure 283868DEST_PATH_IMAGE003
和特征层
Figure 821029DEST_PATH_IMAGE002
进行融合处理，得到预设尺度的特征层；其中，所述特征融合策略包括逐个像素之和或乘积。
具体地，基于上述深度网络的多尺度特征层（多尺度候选特征层集），采用可重复使用的融合单元，对于输入的两个不同尺度的特征层进行融合处理操作，具体步骤包括：
(a) 从候选特征层中选择一个特征层
Figure 973662DEST_PATH_IMAGE001
；
(b) 从候选特征层中无放回地选择另一个特征层
Figure 951982DEST_PATH_IMAGE002
；
(c) 选择输出特征的尺度；需要说明的是，本申请中特征的尺度即为图像的分辨率；
(d) 选择一个运算（逐像素地加和或乘积）融合
Figure 597114DEST_PATH_IMAGE001
和
Figure 621571DEST_PATH_IMAGE002
，生成满足指定尺度的特征。其中，特征融合策略包括逐个像素之和或乘积。可以理解的是，本申请中融合处理得到的特征层具有特定尺寸，特定尺寸是预设的，例如尺度可以为H×W×C，H为高，W为宽，C为通道数。尺度可以根据需要进行设置，本申请在此不做限定。
一些实施例中，所述将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构，包括：
将所述预设尺度的特征层重新加入多尺度候选特征层集中；
重新从加入后的多尺度候选特征层集中选择两个不同尺度的候选特征层进行融合处理操作；
重复上述操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。
具体的，本申请中选择的两个不同尺度的特征层经融合后，输出特定尺度的特征层，重新加入到候选特征层集合。重复该操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。重复该操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。
优选的，所述对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型，包括：
将人工标注缺陷的数据集作为训练集；
利用所述训练集对所述多尺度特征融合网络结构进行训练，得到表面缺陷区域分割模型。
本申请将搜索特征层融合得到的特征融合网络结构，在训练集的已人工标注缺陷数据集上进行有监督的训练，便得到精细化程度更高的表面缺陷区域分割模型。
所述神经网络采用深度卷积神经网络。
所述深度卷积神经网络的卷积尺寸为
Figure 312315DEST_PATH_IMAGE005
。
如图3所示，为配合实现上述的一种基于网络结构的表面缺陷区域分割模型生成方法，本申请实施例提供一种基于网络结构的表面缺陷区域分割模型生成装置，包括：
获取模块，用于获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
处理模块，用于利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
操作模块，用于将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；其中，最优的多尺度特征融合网络结构为所述搜索空间中得到特征验证率最高的网络结构；
训练模块，用于对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
本申请提供的基于网络结构的表面缺陷区域分割模型生成装置的工作原理为，获取模块获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；处理模块利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；操作模块将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；训练模块对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
进一步的，所述处理模块，包括：
第一选择单元，用于采用可重复利用的融合单元从所述多尺度候选特征层集中选择一个特征层
Figure 410721DEST_PATH_IMAGE006
；
第二选择单元，用于再从所述多尺度候选特征层集中无放回的选择另一个特征层
Figure 164438DEST_PATH_IMAGE002
；
处理单元，用于选择预设的特征融合策略对特征层
Figure 676191DEST_PATH_IMAGE003
和特征层
Figure 170626DEST_PATH_IMAGE002
进行融合处理，得到预设尺度的特征层；其中，所述特征融合策略包括逐个像素之和或乘积。
所述操作模块，包括：
加入单元，用于将所述预设尺度的特征层重新加入多尺度候选特征层集中；
融合单元，用于重新从加入后的多尺度候选特征层集中选择两个不同尺度的候选特征层进行融合处理操作；
搜索单元，用于重复上述操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。
进一步的，所述训练模块，包括：
构建单元，用于将人工标注缺陷的数据集作为训练集；
生成单元，用于利用所述训练集对所述多尺度特征融合网络结构进行训练，得到表面缺陷区域分割模型。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的基于网络结构的表面缺陷区域分割模型生成方法，包括：
获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；
对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种基于网络结构的表面缺陷区域分割模型生成方法及装置，所述方法包括对输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；从多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作；将预设尺度的特征层重新加入多尺度候选特征层集中并重复融合处理操作直至最优的多尺度特征融合网络结构；对多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。本发明采用基于网络结构的表面缺陷区域分割模型搜索到生成方法能够针对特定场景，自动地从数据中学习特定条件下的最优网络结构，从而避免依赖专家经验，反复调参试错的问题，方便在不同工业场景下快速部署更适用于特定场景的缺陷检测模型。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于网络结构的表面缺陷区域分割模型生成方法，其特征在于，包括：
获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；其中，最优的多尺度特征融合网络结构为所述搜索空间中得到特征验证率最高的网络结构；
对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
2.根据权利要求1所述的方法，其特征在于，
利用神经网络对所述输入图像进行多层级的特征变换，得到多个尺度的特征层，多个尺度的特征层构成多尺度候选特征层集。
3.根据权利要求1或2所述的方法，其特征在于，所述利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层，包括：
采用可重复利用的融合单元从所述多尺度候选特征层集中选择一个特征层
Figure 712836DEST_PATH_IMAGE001
；
再从所述多尺度候选特征层集中无放回的选择另一个特征层
Figure 788108DEST_PATH_IMAGE002
；
选择预设的特征融合策略对特征层
Figure 798177DEST_PATH_IMAGE003
和特征层
Figure 275295DEST_PATH_IMAGE002
进行融合处理，得到预设尺度的特征层；其中，所述特征融合策略包括逐个像素之和或乘积。
4.根据权利要求1所述的方法，其特征在于，所述将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构，包括：
将所述预设尺度的特征层重新加入多尺度候选特征层集中；
重新从加入后的多尺度候选特征层集中选择两个不同尺度的候选特征层进行融合处理操作；
重复上述操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构。
5.根据权利要求1所述的方法，其特征在于，所述对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型，包括：
将人工标注缺陷的数据集作为训练集；
利用所述训练集对所述多尺度特征融合网络结构进行训练，得到表面缺陷区域分割模型。
6.根据权利要求2所述的方法，其特征在于，
所述神经网络采用深度卷积神经网络。
7.根据权利要求6所述的方法，其特征在于，
所述深度卷积神经网络的卷积尺寸为
Figure 404794DEST_PATH_IMAGE004
。
8.一种基于网络结构的表面缺陷区域分割模型生成装置，其特征在于，包括：
获取模块，用于获取输入图像，对所述输入图像进行多尺度的特征层提取，构成多尺度候选特征层集；
处理模块，用于利用预设的融合单元从所述多尺度候选特征层集中搜索两个不同尺度的候选特征层进行融合处理操作，得到预设尺度的特征层；
操作模块，用于将所述预设尺度的特征层重新加入所述多尺度候选特征层集中并重复融合处理操作直至在预设的搜索空间中搜索到最优的多尺度特征融合网络结构；
训练模块，用于对所述多尺度特征融合网络结构进行缺陷区域分割的训练，得到表面缺陷区域分割模型。
CN202111258714.9A 2021-10-28 2021-10-28 基于网络结构的表面缺陷区域分割模型生成方法及装置 Pending CN113706530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111258714.9A CN113706530A (zh) 2021-10-28 2021-10-28 基于网络结构的表面缺陷区域分割模型生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111258714.9A CN113706530A (zh) 2021-10-28 2021-10-28 基于网络结构的表面缺陷区域分割模型生成方法及装置

Publications (1)

Publication Number Publication Date
CN113706530A true CN113706530A (zh) 2021-11-26

Family

ID=78647178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111258714.9A Pending CN113706530A (zh) 2021-10-28 2021-10-28 基于网络结构的表面缺陷区域分割模型生成方法及装置

Country Status (1)

Country Link
CN (1) CN113706530A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063759A (zh) * 2018-07-20 2018-12-21 浙江大学 一种应用于图片多属性预测的神经网络结构搜索方法
CN110378976A (zh) * 2019-07-18 2019-10-25 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112308200A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 神经网络的搜索方法及装置
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063759A (zh) * 2018-07-20 2018-12-21 浙江大学 一种应用于图片多属性预测的神经网络结构搜索方法
CN110378976A (zh) * 2019-07-18 2019-10-25 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112308200A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 神经网络的搜索方法及装置
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOLNAZ GHIASI等: "NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection", 《HTTPS://ARXIV.ORG/ABS/1904.07392》 *

Similar Documents

Publication Publication Date Title
CN109670558B (zh) 使用深度学习的数字图像完成
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN112001407A (zh) 一种基于自动化标注的模型迭代训练方法及系统
CN108334910A (zh) 一种事件检测模型训练方法以及事件检测方法
CN116049397B (zh) 基于多模态融合的敏感信息发现并自动分类分级方法
CN113537244A (zh) 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置
CN113658182A (zh) 基于并行多分支特征融合的表面缺陷区域分割方法及装置
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN111242176B (zh) 计算机视觉任务的处理方法、装置及电子系统
CN114067211A (zh) 一种用于移动终端的轻量化安全帽检测方法及系统
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
CN114373092A (zh) 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法
CN111612721B (zh) 一种图像修复模型训练、卫星图像修复方法及装置
CN112801911A (zh) 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN111860287A (zh) 一种目标检测方法及装置、存储介质
CN110457155B (zh) 一种样本类别标签的修正方法、装置及电子设备
CN113706530A (zh) 基于网络结构的表面缺陷区域分割模型生成方法及装置
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
Żarski et al. KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
CN115115947A (zh) 遥感图像检测方法、装置、电子设备以及存储介质
CN112115914B (zh) 目标检测方法及装置、电子设备和存储介质
CN115830592A (zh) 一种重叠宫颈细胞分割方法及系统
CN104243844A (zh) 图像处理装置、图像处理方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211126