CN111833310B - 一种基于神经网络架构搜索的表面缺陷分类方法 - Google Patents

一种基于神经网络架构搜索的表面缺陷分类方法 Download PDF

Info

Publication number
CN111833310B
CN111833310B CN202010555030.4A CN202010555030A CN111833310B CN 111833310 B CN111833310 B CN 111833310B CN 202010555030 A CN202010555030 A CN 202010555030A CN 111833310 B CN111833310 B CN 111833310B
Authority
CN
China
Prior art keywords
cell
network architecture
nas
cells
sdc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010555030.4A
Other languages
English (en)
Other versions
CN111833310A (zh
Inventor
杨铁军
张天舒
黄琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202010555030.4A priority Critical patent/CN111833310B/zh
Publication of CN111833310A publication Critical patent/CN111833310A/zh
Application granted granted Critical
Publication of CN111833310B publication Critical patent/CN111833310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明公开了一种基于神经网络架构搜索的表面缺陷分类方法，包括以下步骤S1：构建堆叠候选cell的网络架构NAS‑SDC，所述网络架构NAS‑SDC基于神经网络架构搜索构建；S2：通过NEU‑CLS缺陷数据集搜索cell，利用搜索到的最佳cell构建缺陷分类CNN；S3：利用S2得到的缺陷分类CNN对表面缺陷进行分类。本发明通过神经网络架构搜索，可自动从更加精简的搜索空间中高效的搜索出最佳的网络单元，基于该最佳网络单元的CNN具有参数量小、检测精度高等优点，成功的应用于表面缺陷分类。

Description

一种基于神经网络架构搜索的表面缺陷分类方法
技术领域
本发明涉及机器学习领域，更具体地，涉及一种基于神经网络架构搜索的表面缺陷分类方法。
背景技术
表面缺陷分类是对被检测目标的表面进行视觉检查，发现其外观缺陷并识别缺陷类型。高效、准确的表面缺陷分类对提高产品质量具有重要意义。近年来，如何利用计算机视觉技术自动检测表面缺陷一直受到广泛关注。与传统的人工检测的方法相比，基于机器学习的表面缺陷分类方法具有检测效率高、准确率高等优点。但由于大多数基于机器学习的方法十分依赖设计者的特征设计经验，且由人工设计的特征不具有较强的普遍性，这使得这些方法难以适应于不同类型的表面缺陷，具有较大的局限性。
卷积神经网络(CNN)可以从大量标记数据中自动提取目标的有效特征，在图像分类任务中取得了很好的成绩，也被运用在表面缺陷分类任务中。
CN111145145A公开一种基于MobileNets的图像表面缺陷检测方法，包括如下步骤：创建图像训练集和类别标签；构建卷积神经网络；将创建图像训练集和类别标签放入卷积神经网络进行学习、训练；测试图片的缺陷检测和分类。本发明对图像噪声不敏感且阈值的选择对分割效果影响不大；过滤器类型和参数的选择对于检测结果影响较小，且经过滤波后的图像不会丢失细节；不依赖于人为设计的特征，与传统算法相比，具有良好的可移植性，不受设计师经验的影响；网络设计除了注重减少参数规模，还兼顾了优化延迟，缺陷检测速度快，更加适合工业环境下的实时在线检测。
尽管CNN在表面缺陷分类上表现出色，但这些CNN结构都是人工设计的，需要对CNN的层数、顺序、是否存在分支或skip connection结构以及各层的超参数(如卷积核大小、数量和步幅等)进行手工选择，费时费力。
发明内容
本发明提供一种基于神经网络架构搜索的表面缺陷分类方法，简化基于手工设计的卷积神经网络的表面缺陷分类方法和提高的检测准确性。
为解决上述技术问题，本发明的技术方案如下：
一种基于神经网络架构搜索的表面缺陷分类方法，包括以下步骤：
S1：构建堆叠候选cell的网络架构NAS-SDC，所述网络架构NAS-SDC基于神经网络架构搜索构建；
S2：通过NEU-CLS缺陷数据集搜索cell，利用搜索到的最佳cell构建缺陷分类CNN；
S3：利用S2得到的缺陷分类CNN对表面缺陷进行分类。
上述方案中，为了提高CNN架构设计的自动化程度，本方案利用神经网络架构搜索(NAS)技术，其目的是自动构建针对特定分类任务的高性能的CNN。它不需要繁复的手工调参过程，并能取得不亚于人工设计CNN的分类性能。NAS的关键过程主要包括定义搜索空间、制定搜索策略和性能评估策略。
优选地，所述网络架构NAS-SDC包括N个Normal cell相邻，共堆叠4组，其中，前3组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层。
优选地，所述网络架构NAS-SDC包括N个Normal cell相邻，共堆叠4组，其中，前2组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，在第3组Normal cell后则添加了一个Normalcell+Maxpooling cell+Normal cell组合，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层。
优选地，所述网络架构NAS-SDC在第一组Normal cell前设置一个3×3的卷积层，所述卷积层的核心数为60，所述卷积层用于提取输入图像特征。
优选地，步骤S2中NEU-CLS缺陷数据集包括六种缺陷，分别为rolled-in scale、patches、crazing、pitted surface、inclusion和scratches，每种缺陷类型有300张灰度图像，图像分辨率为64×64。
优选地，步骤S2中将NEU-CLS缺陷数据集根据6:1:3的比例1分为训练集、验证集和测试集。
优选地，步骤S2中搜索cell，利用搜索到的最佳cell构建缺陷分类CNN，具体包括以下步骤：
S2.1：利用NASNet进行搜索cell；
S2.2：对NASNet搜索空间进行精简；
S2.3：通过控制器网络进行搜索，通过采样操作构建候选cell；
S2.4：堆叠候选cell并产生网络，利用验证集对验证网络是否收敛，若是，则所述候选cell为最佳cell，进入步骤S2.5，若不收敛，则进行梯度下降更新，返回步骤S2.3；
S2.5：堆叠最佳cell并利用测试集进行测试。
优选地，步骤S2.2中对NASNet搜索空间进行精简包括优化cell结构，具体为：
构建一个固定的无参数的Maxpooling cell，将所述Maxpooling cell与Normalcell组合，所述Maxpooling cell将两个输入H[i]和H[i-1]进行Add操作，然后进行2×2的最大池化操作。
为了进一步缩小NASNet的搜索空间和网络参数量，提出了一种Maxpooling cell结构，该cell结构固定，不需要进行搜索，同样可以减小特征映射尺寸大小。
优选地，当输入H[i]和H[i-1]的特征通道数和尺寸不相同时，进行尺度规划化操作，所述尺度规划化操作通过1个Relu激活层、一个kernek数量为K的1×1卷积层和1个Batch Normalization层组成，所述尺度规划化操作具体为：
当输入H[i]和H[i-1]的尺寸不同时，需要对H[i-1]进行尺度规范化，设置其尺度规划化操作中的1×1卷积层的步长为2；
当输入H[i]和H[i-1]的尺寸相同但特征通道数不同时，对H[i]和H[i-1]中特征通道数较大的进行尺度规范化操作，设置其尺度规范化操作中1×1卷积层的步长为1，K设为H[i]和H[i-1]特征通道数的最小值。
优选地，步骤S2.2中对NASNet搜索空间进行精简包括精简候选操作，具体为：
将NASNet的搜索空间中的操作数量由13个精简到6个，包括：Identity操作，代码为0；3×3dw conv操作，代码为1；5×5dw conv操作，代码为2；7×7dw conv操作，代码为3；3×3max pooling操作，代码为4；3×3average pooling操作，代码为5。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过神经网络架构搜索，可自动从更加精简的搜索空间中高效的搜索出最佳的网络单元，基于该最佳网络单元的CNN具有参数量小、检测精度高等优点，成功的应用于表面缺陷分类。
附图说明
图1为本发明的方法流程示意图。
图2为实施例中NAS-SDC的流程示意图。
图3为实施例中候选cell的示意图。
图4为实施例中Maxpooling cell的示意图。
图5为实施例中尺度规范化操作的组成结构示意图。
图6为实施例中NAS-SDC-A的网络架构示意图。
图7为实施例中NAS-SDC-B的网络架构示意图。
图8为实施例中NAS-SDC-A的最佳cell示意图。
图9为实施例中NAS-SDC-A的最佳cell示意图。
图10为实施例中堆叠不同深度的NAS-SDC-A、NAS-SDC-B与ENAS的检测精度对比图。
图11为实施例中堆叠不同深度的NAS-SDC-A、NAS-SDC-B与ENAS的参数量对比图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例公开了一种基于神经网络架构搜索的表面缺陷分类方法，如图1，包括以下步骤：
S1：构建堆叠候选cell的网络架构NAS-SDC，所述网络架构NAS-SDC基于神经网络架构搜索构建；
S2：通过NEU-CLS缺陷数据集搜索cell，利用搜索到的最佳cell构建缺陷分类CNN；
S3：利用S2得到的缺陷分类CNN对表面缺陷进行分类。
所述网络架构NAS-SDC-A如图6，包括N个Normal cell相邻，共堆叠4组，其中，前3组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层。
所述网络架构NAS-SDC-B如图7，包括N个Normal cell相邻，共堆叠4组，其中，前2组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，在第3组Normal cell后则添加了一个Normal cell+Maxpooling cell+Normal cell组合，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层。
所述网络架构NAS-SDC在第一组Normal cell前设置一个3×3的卷积层，所述卷积层的核心数为60，所述卷积层用于提取输入图像特征。
步骤S2中NEU-CLS缺陷数据集包括六种缺陷，分别为rolled-in scale、patches、crazing、pitted surface、inclusion和scratches，每种缺陷类型有300张灰度图像，图像分辨率为64×64。
步骤S2中将NEU-CLS缺陷数据集根据6:1:3的比例1分为训练集、验证集和测试集。
步骤S2中搜索cell，利用搜索到的最佳cell构建缺陷分类CNN，如图2，具体包括以下步骤：
S2.1：利用NASNet进行搜索cell；
S2.2：对NASNet搜索空间进行精简；
S2.3：通过控制器网络进行搜索，通过采样操作构建候选cell；
S2.4：堆叠候选cell并产生网络，利用验证集对验证网络是否收敛，若是，则所述候选cell为最佳cell，进入步骤S2.5，若不收敛，则进行梯度下降更新，返回步骤S2.3；
S2.5：堆叠最佳cell并利用测试集进行测试。
NASNet同时搜索两种cell结构(Normal cell和Reduction cell)，搜索空间仍然较大，且搜索空间中没有用到的操作数量较多，最后搜索到的模型参数量也较大。针对NASNet中的cell结构存在冗余和候选操作较多的问题，从优化cell结构和精简候选操作两方面做出了改进本实施例与NAS方法的流程基本相同，通过基于LSTM的控制器网络采样不同的候选操作，构建cell，所不同的是，提出了一种基于Maxpooling cell的精简搜索空间的方法，并使用强化学习的搜索策略搜索高性能的cell，进一步，使用被搜到的cell堆叠成最终的缺陷分类CNN，命名为NAS-SDC；
步骤S2.2中对NASNet搜索空间进行精简包括优化cell结构，具体为：
cell结构优化方面，在NASNet的搜索空间中的Normal cell和Reduction cell均通过搜索B个blocks生成。这两种cell生成方式基本相同，唯一不同的是Normal cell中所有应用于cell输入的第1步操作的stride为1，而Reduction cell的则为2，以便减少特征映射的尺寸。图3显示了候选cell的例子，该cell包含2个blocks，H[i]和H[i-1]为两个输入，H[i+1]为输出，i为层序号。该cell第1步操作共4个(标记为1-4)。如果第1步操作的stride＝1，则是Normal cell；如果第1步操作的stride＝2，则为NASNet的Reduction cell。
考虑到如果同时搜索Normal cell和Reduction cell，不仅会增大搜索空间，还会引入这两种cell的大量参数。针对该问题，构建一个固定的无参数的Maxpooling cell，如图4，将所述Maxpooling cell与Normal cell组合来实现减小特征映射尺寸的功能，只需要搜索一种Normal cell，既能减少搜索空间的大小，又能缩减网络模型的参数量，所述Maxpooling cell将两个输入H[i]和H[i-1]进行Add操作，然后进行2×2的最大池化操作，由于Maxpooling cell结构是固定的，因此不需要再搜索cell内部的操作，并且不产生额外的参数。
无论是Normal cell还是Maxpooling cell，都只能接收特征通道数和尺寸相同的H[i]和H[i-1]。因此，当输入H[i]和H[i-1]的特征通道数和尺寸不相同时，进行尺度规划化操作，所述尺度规划化操作通过1个Relu激活层、一个kernek数量为K的1×1卷积层和1个Batch Normalization层组成，如图5，所述尺度规划化操作具体为：
当输入H[i]和H[i-1]的尺寸不同时，需要对H[i-1]进行尺度规范化，设置其尺度规划化操作中的1×1卷积层的步长为2；
当输入H[i]和H[i-1]的尺寸相同但特征通道数不同时，对H[i]和H[i-1]中特征通道数较大的进行尺度规范化操作，设置其尺度规范化操作中1×1卷积层的步长为1，K设为H[i]和H[i-1]特征通道数的最小值。
步骤S2.2中对NASNet搜索空间进行精简包括精简候选操作，具体为：
注意到NASNet的搜索空间中的操作数量高达13个，而搜到的最佳cell中并没有使用到那么多的操作。考虑到传统卷积的参数量较大，而空洞卷积会使远距离卷积得到的信息之间没有相关性，且大尺寸卷积核的池化层会导致信息损失严重而少见使用等，将NASNet的搜索空间中的操作数量由13个精简到6个，包括：Identity操作，代码为0；3×3dwconv操作，代码为1；5×5dw conv操作，代码为2；7×7dw conv操作，代码为3；3×3maxpooling操作，代码为4；3×3average pooling操作，代码为5；另外，为了在一个cell内增大感受野的大小，我们在搜索过程中采用了堆叠m个相同dw conv的策略。
采用类似NASNet的搜索策略。首先采用基于RNN的控制器根据一定的概率采样cell编码，该编码对应于候选cell的Block操作序列；根据编码生成的候选cell并产生网络，在验证集上验证，控制器根据其验证精度，基于Adam优化器和policy gradient策略调整对于候选操作的采样概率，继续下一轮采样直到找到令人满意的网络
在具体实施过程中，基于Tensorflow训练控制器网络与子网络，实验环境为Windows 10、CPU Intel Core i5、DDR4 16GB、NVIDIA GPU 1070Ti。我们通过NEU-CLS缺陷数据集搜索cell时，使用的图像分辨率为64×64，epoches＝300，batch_size＝8，B＝3，初始化时Normal cell的特征映射个数F＝20。搜索验证网络时，使用Momentum最小化交叉熵损失。
首先使用NEU-CLS数据集来搜索最佳cell。NEU-CLS包括the hot-rolled steelstrip的6种典型缺陷，分别为rolled-in scale(RS),patches(Pa),crazing(Cr),pittedsurface(PS),inclusion(In)and scratches(Sc)，每个缺陷类型有300张灰度图像。实验中，根据6:1:3的比例分成训练集，验证集和测试集。
设计了两种堆叠候选cell的网络架构，并称它们为NAS-SDC-A和NAS-SDC-B，如图6和图7。NAS-SDC-A是N个Normal cell相邻(这里N＝2)，共堆叠4组。前3组Normal cell后均添加一个Maxpooling cell。NAS-SDC-B共堆叠3组Normal cell，前2组Normal cell后均添加一个Maxpooling cell，在第3组Normal cell后则添加了一个Normal cell+Maxpoolingcell+Normal cell组合，即该组的Normal cell实际数量为N+2。NAS-SDC-A和NAS-SDC-B中的第1个3×3的卷积层是固定结构，其核心数为60，用来提取特征。在网络的最后均采用全局平均池化(Global average pooling,GAP)+全连接层(Full connection,FC)+Sofxmax的结构作为分类层。
基于这两种网络架构，利用所提出的NAS-SDC方法进行最佳cell搜索，搜索过程中构建验证网络的参数N＝2。NAS-SDC-A和NAS-SDC-B找到的最佳cell如图8和图9所示。
基于搜索到的最佳cell构建缺陷分类CNN。搜索过程中的堆叠参数N＝2，这里我们尝试增大N的值，以分析最佳cell的堆叠深度对于检测性能的影响，并与ENAS进行了对比。
图10和图11显示的是堆叠不同深度的NAS-SDC-A和B与ENAS的检测精度和对应的参数量对比图。对于NAS-SDC来说，N＝2时，其cell堆叠深度为11层。我们继续对比了NAS-SDC-A和B在N＝3、N＝4的情况(分别对应NAS-SDC-A的堆叠深度为15、19，分别对应NAS-SDC-B的堆叠深度为14、17)。ENAS也分别设置N＝3,4,5三种情况(分别对应层数为12,15,18)，初始特征映射通道数F＝20。从图10可知，3种网络在不同的堆叠深度时，检测精度均有一定的变化。NAS-SDC-B表现最稳定，在3种不同堆叠深度的检测精度均为99.6％左右。而NAS-SDC-A和ENAS随着堆叠深度的增加，其检测精度先有一定程度上升，后快速下降到99.3％左右。总体来看，NAS-SDC-B在3种堆叠深度下检测精度最高。
图11展示了3种堆叠深度下的对比方法的网络参数量。3种网络随着堆叠深度的增加，其参数量均呈上升趋势。NAS-SDC-B的参数量上升趋势最为平缓，且在3种堆叠深度下都是最小的。NAS-SDC-A与ENAS的参数量相当，但NAS-SDC-A上升得更快。综合以上分析，NAS-SDC-B在N＝2时参数量最小(约0.35M)，检测精度第2(99.67％)，NAS-SDC-A在N＝3时检测精度最高(99.83％)，参数量约为1.3M。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于神经网络架构搜索的表面缺陷分类方法，其特征在于，包括以下步骤：
S1：构建堆叠候选cell的网络架构NAS-SDC，所述网络架构NAS-SDC基于神经网络架构搜索构建；
S2：通过NEU-CLS缺陷数据集搜索cell，利用搜索到的最佳cell构建缺陷分类CNN；
S3：利用S2得到的缺陷分类CNN对表面缺陷进行分类；
所述网络架构NAS-SDC为以下两种结构中的任意一种：
所述网络架构NAS-SDC包括N个Normal cell相邻，共堆叠4组，其中，前3组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层；
所述网络架构NAS-SDC包括N个Normal cell相邻，共堆叠4组，其中，前2组Normal cell后均添加一个Maxpooling cell，所述Maxpooling cell将其两个输入进行Add操作，然后进行2×2的最大池化操作后输出，在第3组Normal cell后则添加了一个Normal cell+Maxpooling cell+Normal cell组合，最后采用全局平均池化GAP+全连接层FC+Sofxmax的结构作为分类层；
步骤S2中搜索cell，利用搜索到的最佳cell构建缺陷分类CNN，具体包括以下步骤：
S2.1：利用NASNet进行搜索cell；
S2.2：对NASNet搜索空间进行精简；
S2.3：通过控制器网络进行搜索，通过采样操作构建候选cell；
S2.4：堆叠候选cell并产生网络，利用验证集对验证网络是否收敛，若是，则所述候选cell为最佳cell，进入步骤S2.5，若不收敛，则进行梯度下降更新，返回步骤S2.3；
S2.5：堆叠最佳cell并利用测试集进行测试；
步骤S2.2中对NASNet搜索空间进行精简包括优化cell结构，具体为：
构建一个固定的无参数的Maxpooling cell，将所述Maxpooling cell与Normal cell组合，所述Maxpooling cell将两个输入H[i]和H[i-1]进行Add操作，然后进行2×2的最大池化操作；
当输入H[i]和H[i-1]的特征通道数和尺寸不相同时，进行尺度规划化操作，所述尺度规划化操作通过1个Relu激活层、一个kernek数量为K的1×1卷积层和1个BatchNormalization层组成，所述尺度规划化操作具体为：
当输入H[i]和H[i-1]的尺寸不同时，需要对H[i-1]进行尺度规范化，设置其尺度规划化操作中的1×1卷积层的步长为2；
当输入H[i]和H[i-1]的尺寸相同但特征通道数不同时，对H[i]和H[i-1]中特征通道数较大的进行尺度规范化操作，设置其尺度规范化操作中1×1卷积层的步长为1，K设为H[i]和H[i-1]特征通道数的最小值。
2.根据权利要求1所述的基于神经网络架构搜索的表面缺陷分类方法，其特征在于，所述网络架构NAS-SDC在第一组Normal cell前设置一个3×3的卷积层，所述卷积层的核心数为60，所述卷积层用于提取输入图像特征。
3.根据权利要求2所述的基于神经网络架构搜索的表面缺陷分类方法，其特征在于，步骤S2中NEU-CLS缺陷数据集包括六种缺陷，分别为rolled-in scale、patches、crazing、pitted surface、inclusion和scratches，每种缺陷类型有300张灰度图像，图像分辨率为64×64。
4.根据权利要求3所述的基于神经网络架构搜索的表面缺陷分类方法，其特征在于，步骤S2中将NEU-CLS缺陷数据集根据6:1:3的比例1分为训练集、验证集和测试集。
5.根据权利要求4所述的基于神经网络架构搜索的表面缺陷分类方法，其特征在于，步骤S2.2中对NASNet搜索空间进行精简包括精简候选操作，具体为：
将NASNet的搜索空间中的操作数量由13个精简到6个，包括：Identity操作，代码为0；3×3dw conv操作，代码为1；5×5dw conv操作，代码为2；7×7dw conv操作，代码为3；3×3max pooling操作，代码为4；3×3average pooling操作，代码为5。
CN202010555030.4A 2020-06-17 2020-06-17 一种基于神经网络架构搜索的表面缺陷分类方法 Active CN111833310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555030.4A CN111833310B (zh) 2020-06-17 2020-06-17 一种基于神经网络架构搜索的表面缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555030.4A CN111833310B (zh) 2020-06-17 2020-06-17 一种基于神经网络架构搜索的表面缺陷分类方法

Publications (2)

Publication Number Publication Date
CN111833310A CN111833310A (zh) 2020-10-27
CN111833310B true CN111833310B (zh) 2022-05-06

Family

ID=72898832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555030.4A Active CN111833310B (zh) 2020-06-17 2020-06-17 一种基于神经网络架构搜索的表面缺陷分类方法

Country Status (1)

Country Link
CN (1) CN111833310B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489012A (zh) * 2020-11-27 2021-03-12 大连东软教育科技集团有限公司 一种用于ct图像识别的神经网络架构方法
CN113052236A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于NASNet的肺炎图像分类方法
CN113240055B (zh) * 2021-06-18 2022-06-14 桂林理工大学 基于宏操作变异神经架构搜索的色素性皮损图像分类方法
CN115760777B (zh) * 2022-11-21 2024-04-30 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308695A (zh) * 2018-09-13 2019-02-05 镇江纳兰随思信息科技有限公司 基于改进U-net卷积神经网络模型的癌细胞识别方法
CN109684967A (zh) * 2018-12-17 2019-04-26 东北农业大学 一种基于ssd卷积网络的大豆植株茎荚识别方法
CN109685774A (zh) * 2018-12-10 2019-04-26 桂林理工大学 基于深度卷积神经网络的压敏电阻外观缺陷检测方法
CN110378383A (zh) * 2019-06-19 2019-10-25 江苏大学 一种基于Keras框架和深度神经网络的图片分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659384B2 (en) * 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308695A (zh) * 2018-09-13 2019-02-05 镇江纳兰随思信息科技有限公司 基于改进U-net卷积神经网络模型的癌细胞识别方法
CN109685774A (zh) * 2018-12-10 2019-04-26 桂林理工大学 基于深度卷积神经网络的压敏电阻外观缺陷检测方法
CN109684967A (zh) * 2018-12-17 2019-04-26 东北农业大学 一种基于ssd卷积网络的大豆植株茎荚识别方法
CN110378383A (zh) * 2019-06-19 2019-10-25 江苏大学 一种基于Keras框架和深度神经网络的图片分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Steel defect classification with Max-Pooling Convolutional Neural Networks;J. Masci 等;《The 2012 International Joint Conference on Neural Networks (IJCNN)》;20120730;1-6 *
基于改进BP神经网络钢板表面缺陷分类算法研究;张洪涛 等;《浙江大学学报》;20101221;第38卷(第04期);388-390 *

Also Published As

Publication number Publication date
CN111833310A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833310B (zh) 一种基于神经网络架构搜索的表面缺陷分类方法
CN107909564B (zh) 一种基于深度学习的全卷积网络图像裂纹检测方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN109492230B (zh) 一种基于感兴趣文本域卷积神经网络提取保险合同关键信息的方法
CN115098620B (zh) 一种注意力相似度迁移的跨模态哈希检索方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN111340034B (zh) 一种针对自然场景的文本检测与识别方法及系统
CN111027443B (zh) 一种基于多任务深度学习的票据文本检测方法
CN112711953A (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN111259397B (zh) 一种基于马尔科夫图和深度学习的恶意软件分类方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN113505225B (zh) 一种基于多层注意力机制的小样本医疗关系分类方法
CN113806746A (zh) 基于改进cnn网络的恶意代码检测方法
CN113516228B (zh) 一种基于深度神经网络的网络异常检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN114328808A (zh) 地址模糊匹配方法、地址处理方法、装置和电子设备
CN111984790B (zh) 一种实体关系抽取方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN113590867B (zh) 基于分层度量学习的跨模态信息检索方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN115296851A (zh) 一种基于互信息与灰狼提升算法的网络入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201027

Assignee: Guilin Meiyi Artificial Intelligence Medical Technology Co.,Ltd.

Assignor: GUILIN University OF TECHNOLOGY

Contract record no.: X2022450000135

Denomination of invention: A Surface Defect Classification Method Based on Neural Network Architecture Search

Granted publication date: 20220506

License type: Common License

Record date: 20221123