CN114972334B - 一种管材瑕疵检测方法、装置、介质 - Google Patents

一种管材瑕疵检测方法、装置、介质 Download PDF

Info

Publication number
CN114972334B
CN114972334B CN202210844630.1A CN202210844630A CN114972334B CN 114972334 B CN114972334 B CN 114972334B CN 202210844630 A CN202210844630 A CN 202210844630A CN 114972334 B CN114972334 B CN 114972334B
Authority
CN
China
Prior art keywords
neural network
pipe
training
image
structure search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210844630.1A
Other languages
English (en)
Other versions
CN114972334A (zh
Inventor
傅慧姿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Intui Technology Co ltd
Original Assignee
Hangzhou Intui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Intui Technology Co ltd filed Critical Hangzhou Intui Technology Co ltd
Priority to CN202210844630.1A priority Critical patent/CN114972334B/zh
Publication of CN114972334A publication Critical patent/CN114972334A/zh
Application granted granted Critical
Publication of CN114972334B publication Critical patent/CN114972334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及神经网络领域，提供了一种管材瑕疵检测方法、装置、介质，包括：获取管材的待检测图像，以便于检测管材是否有瑕疵；利用深度神经网络对待检测图像进行分类处理，以获取分类结果，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练，并根据分类结果判断是否为瑕疵管材。本申请通过深度神经网络对待检测图像进行分类处理以确定管材是否存在瑕疵，从而实现对管材瑕疵的快速检测，提高管材质量检测的效率和准确性，且深度神经网络为利用无标注历史图像对神经网络结构搜索网络进行训练获取的网络，无需人工设计网络和人工标注数据，减少人力物力的浪费。

Description

一种管材瑕疵检测方法、装置、介质
技术领域
本申请涉及神经网络领域，特别是涉及一种管材瑕疵检测方法、装置、介质。
背景技术
在管材生产过程中，由于原料和工艺问题，可能会导致生产出的管材出现瑕疵(例如：管材表面存在波纹、黑圈等)。为了保证产品合格率，需要对管材质量进行监测，并在发现存在瑕疵管材时及时分析瑕疵出现原因以对设备进行调整。
目前主要通过质检人员抽查的方式检测管材是否有瑕疵，但这一方法会浪费大量人力，且由于检测速度慢，不能及时发现瑕疵管材，导致无法及时对生产设备进行维护，造成经济损失。
由此可见，如何提供一种能够高效的检测管材是否存在瑕疵的方法，是本领域技术人员亟需解决的问题。
发明内容
本申请的目的是提供一种管材瑕疵检测方法、装置、介质，以减少管材瑕疵检测的人力物力浪费，提高检测效率。
为解决上述技术问题，本申请提供了一种管材瑕疵检测方法，该方法包括：
获取管材的待检测图像；
利用深度神经网络对所述待检测图像进行分类处理，以获取分类结果，其中，所述深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，所述损失函数利用无标注的历史图像进行训练；
根据所述分类结果判断所述管材是否为瑕疵管材。
优选的，所述通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：
获取所述神经网络结构搜索网络的结构参数，并根据所述结构参数初始化所述神经网络结构搜索网络；
对所述历史图像进行数据增广处理以获取正样本和负样本；
利用所述正样本和所述负样本对所述神经网络结构搜索网络进行反向梯度传播训练，以获取所述深度神经网络。
优选的，对所述历史图像进行数据增广处理以获取正样本和负样本包括：
对各所述历史图像进行两次数据增广处理以获取增广图像；
相应的，所述利用所述正样本和所述负样本对所述神经网络结构搜索网络进行反向梯度传播训练包括：
通过多层感知器获取所述正样本、所述负样本的特征向量，其中，对于各所述历史图像，其对应的所述增广图像为所述正样本，其他所述增广图像作为所述负样本；
将所述特征向量对所述神经网络结构搜索网络进行训练。
优选的，所述神经网络结构搜索网络的各卷积层间存在7种不同的操作链接；
相应的，所述通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：
在每次训练过程中，获取各所述操作链接的权重，并将权重最高的所述操作链接放入显存中；
利用重参数技巧重构所述损失函数。
优选的，所述通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：
对所述神经网络结构搜索网络进行前向渐进剪枝操作，仅保留各卷积层间权重最高的所述操作链接。
优选的，所述获取管材的待检测图像的步骤后，还包括：
对所述待检测图像进行数据清洗操作和图像增强操作。
优选的，所述获取所述深度神经网络的步骤后，还包括：
获取分类任务信息，并根据所述分类任务信息确定线性分类层；
将所述多层感知器替换为所述线性分类层，以执行分类任务。
为了解决上述技术问题，本申请还提供了一种管材瑕疵检测装置，包括：
获取模块，用于获取管材的待检测图像；
分类模块，用于利用深度神经网络对所述待检测图像进行分类处理，以获取分类结果，其中，所述深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，所述损失函数利用无标注的历史图像进行训练；
判断模块，用于根据所述分类结果判断所述管材是否为瑕疵管材。
为了解决上述技术问题，本申请还提供了一种管材瑕疵检测装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的管材瑕疵检测方法的步骤。
为了解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的管材瑕疵检测方法的步骤。
本申请提供了一种管材瑕疵检测方法，包括：获取管材的待检测图像，以便于检测管材是否有瑕疵；利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练，并根据分类结果判断管材是否为瑕疵管材。由此可见，本申请所提供的管材瑕疵检测方法，通过深度神经网络对待检测图像进行分类处理以确定管材是否存在瑕疵，从而实现对管材瑕疵的快速检测，提高管材质量检测的效率和准确性，且深度神经网络为利用无标注历史图像对神经网络结构搜索网络进行训练获取的网络，无需人工设计网络和人工标注数据，进一步减少人力物力的浪费。
此外，本申请还提供了一种管材瑕疵检测装置和介质，与上述方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种管材瑕疵检测方法的结构图；
图2为本申请实施例所提供的一种神经网络结构搜索网络的示意图；
图3为本申请实施例所提供的一种管材瑕疵检测装置的流程图；
图4为本申请实施例所提供的另一种管材瑕疵检测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种管材瑕疵检测方法、装置、介质，以减少管材瑕疵检测的人力物力浪费，提高检测效率。
在管材生产场景中，需要通过人工监测管材表面是否存在波纹、黑圈等瑕疵，但人工监测效率较低，无法及时发现瑕疵管材，导致无法及时根据检测结果对生产工艺进行调整，造成经济损失。为了解决这一问题，本申请提供了一种瑕疵管材检测方法，利用利用深度神经网络对获取到的管材的待检测图像进行分类处理，以判断管材是否存在瑕疵。进一步的，由于人工设计深度神经网络的工作量较大，本申请方案中选用神经网络结构搜索网络确定深度神经网络的结构。本申请所提供的管材瑕疵检测方法，通过深度神经网络对待检测图像进行分类处理以确定管材是否存在瑕疵，从而实现对管材瑕疵的快速检测，提高管材质量检测的效率和准确性，且深度神经网络为利用无标注历史图像对神经网络结构搜索网络进行训练获取的网络，无需人工设计网络和人工标注数据，进一步减少人力物力的浪费。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例所提供的一种管材瑕疵检测方法的流程图，如图1所示，该方法包括：
S10：获取管材的待检测图像。
在具体实施中，可以在管材生产的过程中采集全部管材的图像作为待检测图像，也可以预先设定检测周期，并在时间满足检测周期时采集管材图像以便于后续对管材的待检测图像进行分类处理。
可以理解的是，可以从管材上方采集待检测图像，也可以从管材的两端采集待检测图像。在采集待检测图像时，为了减小采集到的图像的畸变，可以使用光学成像设备采集待检测图像。在具体实施中，预先确定光学成像设备与待测管材的位置关系，以保证光学成像设备能够将垂直于光轴一定距离范围平面内的物体以固定的缩放倍率，低畸变的成像到图像采集装置的光电传感器上。例如：若需要测量待测管材的端面，则使光学成像设备的光轴与待测管材的端面垂直；若检测待测管材的外表面，则使待测管材位于光学成像设备采样区域的中心。具体的，本实施例中选用双远心镜头作为光学成像设备。双远心镜头的物、像两方的主入射光线是平行的，一旦图像采集设备如相机的型号确定，更准确来说是其光电传感器如CMOS，CCD的芯片型号确定，即靶面的像元尺寸确定，就可以确定拍摄的图像中一个像素对应实际物理空间中的尺寸。
可以理解的是，为了进一步提高待处理图像的图像质量，还可以在管材与光学成像设备间设置光源。
S11：利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练。
S12：根据分类结果判断管材是否为瑕疵管材。
在本实施例中，利用深度神经网络对待检测图像进行分类处理，以获取分类结果，并根据分类结果判断当前管材是否为瑕疵管材。
在具体实施中，为了减少人工设计深度神经网络的工作量，选用神经网络结构搜索网络获取深度神经网络的结构。神经结构搜索(Neural Architecture Search，简称NAS)是一种自动设计神经网络的技术，可以通过算法根据样本集自动设计出高性能的网络结构。NAS的原理是给定一个称为搜索空间的候选神经网络结构集合，用某种策略从中搜索出最优网络结构。神经网络结构的优劣即性能用某些指标如精度、速度来度量，称为性能评估。
在搜索过程的每次迭代中，从搜索空间产生“样本”即得到一个神经网络结构，称为“子网络”。在训练样本集上训练子网络，然后在验证集上评估其性能。逐步优化网络结构，直至找到最优的子网络。
本实施例中，通过在无标准的数据集上通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练，具体的，损失函数为：
其中，其中Zi代表正样本图像的特征向量，Zj代表负样本图像的特征向量，Zk为当前训练图像的特征向量，各特征向量的维度均为256。公式中sim代表相似度，此发明中用的是余弦相似度。τ是温度函数用于控制集中度，Li为当前训练图像的损失函数值，Lbatch为训练集的损失函数值。在对神经网络结构搜索网络进行训练的过程中，以优化该函数为目标，在达到预先设定的周期后停止。
本申请提供了一种管材瑕疵检测方法，包括：获取管材的待检测图像，以便于检测管材是否有瑕疵；利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练，并根据分类结果判断管材是否为瑕疵管材。由此可见，本申请所提供的管材瑕疵检测方法，通过深度神经网络对待检测图像进行分类处理以确定管材是否存在瑕疵，从而实现对管材瑕疵的快速检测，提高管材质量检测的效率和准确性，且深度神经网络为利用无标注历史图像对神经网络结构搜索网络进行训练获取的网络，无需人工设计网络和人工标注数据，进一步减少人力物力的浪费。
作为优选的实施例，通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：
获取神经网络结构搜索网络的结构参数，并根据结构参数初始化神经网络结构搜索网络；
对历史图像进行数据增广处理以获取正样本和负样本；
利用正样本和负样本对神经网络结构搜索网络进行反向梯度传播训练，以获取深度神经网络。
在具体实施中，在对神经网络结构搜索网络进行训练的步骤前，还需要对神经网络结构搜索网络进行初始化。具体的，预先确定神经网络搜索网络结构的深度d以及宽度w，可以根据实际需求调整，用于控制模型大小及参数量。其中宽度w代表初始通道数目。深度d代表组成深度神经网络的模块数量，每一个模块包含固定的1个输入层，4个中间层以及一个输出层，每个层均有卷积网络组成，层与层之间加入批归一化层(BN)以及非线性激活函数(Relu)。其中输出层结构由输入层以及所有中间层输出结果叠加形成。不同层之间初始存在7种不同的链接，分别包含1x1单位卷积，3x3可分卷积，5x5可分卷积，3x3扩张可分卷积，5x5扩张可分卷积，3x3最大池化，3x3平均池化。在d个网络模块结束后，还有一个额外的多层感知机(Multilayer Perceptron，MLP)接在最后面，其中MLP由两个线性层组成，层之间同样的顺序连接了批归一化层和激活函数，其中两个线性层的维度分别为2048和256。该MLP模块仅在模型搜索阶段存在，在模型搜索结束后就被移除替换为一个线性层映射特征空间维度到目标下游任务种类数目。
具体的，对历史图像进行数据增广处理以获取正样本和负样本包括：
对各历史图像进行两次数据增广处理以获取增广图像；
相应的，利用正样本和负样本对神经网络结构搜索网络进行反向梯度传播训练包括：
通过多层感知器获取正样本、负样本的特征向量，其中，对于各历史图像，其对应的增广图像为正样本，其他增广图像作为负样本；
将特征向量对神经网络结构搜索网络进行训练。
模型训练采用自监督算法构成监督信号，因此不需要人工标注。具体的，从无标注的管材图像数据集中随机采样N张管材图像构成一个批数据，然后对其中每一张图进行两次数据增广形成2N张图像。数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力，目前数据增广主要包括：水平/垂直翻转，旋转，缩放，裁剪，剪切，平移，对比度调整，随机色彩扭曲，随机高斯模糊等。
根据获取的2N张增广图像确定正样本和负样本，其中，对于N张管材图像中的任意一张图像来说，该图像的两张增广图像构成正样本、另外2(N-1)张增广图像构成负样本。从而实现拉进正样本、推远负样本间的距离的目的，使整个优化算法能够正确的区别管材图像数据集中的正样本以及负样本，从而产生梯度以便于根据通过反向梯度传播训练法更新网络结构。
由于在模型初始化阶段不同层之间有7种不同的操作链接，在神经网络结构搜索网络训练过程中，若同时把7种连接全部放入显存会导致模型在搜索阶段比常规阶段显存占用大7倍从而导致显存爆炸，影响训练效率。
为了解决这一问题，本实施例中采用操作二值化操作，并通过重参数化技巧保证可以通过梯度下降方式更新该离散操作。
其中，重参数化的目标是找到一种方法，以不同的方式重铸统计表达式，同时保留其含义，重新参数化的表达式必须等同于原始表达式。
具体的，重参数化是一种通过将基分布转换为所需分布来生成非均匀随机数的方法。从基分布到所需分布的变换必须是简单运算的某种组合，如加法、乘法、对数函数、指数函数和三角函数。基本分布也必须易于从中取样。有三种主要的方法来构建这种变换：
(1)反转。如果我们知道所需分布的累积密度函数，那么我们可以简单地反转它并将其应用于基本分布。在这种方法中，基本分布必须是均匀分布，以便它将恰好具有所需分布的累计分布函数。这种方法还假设累计分布函数是可逆的。鉴于这种方法的简单性，它非常流行。
(2)极坐标变换。此方法可用于表示从极坐标中的随机变量中提取的一对值。例如，如果我们从极坐标中提取(x，y)，我们可以将它们重写为(rcos a，rsin b)。通过极坐标变换，以保证随机变量能够被其他采样工具处理。
(3)坐标变换。坐标变换比极坐标变换更常见，坐标变换法使用平移和缩放变换(即加法和乘法)来对基本分布进行变换。这种方法是最简单的一种，通常用于重新参数化正态分布的变换。
图2为本申请实施例所提供的一种深度神经网络示意图，如图2所示，其中X是随机采样的原始图像，通过数据增广产生X'以及X”。每一个cell代表一个网络模块，代表深度。其中每一个cell中红色实线代表链接操作储存在显存当中，灰色虚线代表不在显存当中。末尾的两个模块代表MLP模块。其中网络模块有已经进行过剪枝和尚未进行剪枝两种，其中，对于已经进行过剪枝的模块，连续两层之间仅有一个操作保留下来且不会再变动；对于尚未进行剪枝的模块，连续两层之间仍保留了7中不同的操作，但是每个迭代周期仅有一个操作被采样放入显存之中。
由于神经网络结构搜索网络初始化时不同层间存在7个不同的操作链接，使神经网络结构搜索网络处于过参数化状态，导致搜索过程中的优化目标和最终目标网络优化目标不一致，为了克服该问题，本实施例提出前向渐进剪枝操作，在搜索过程中逐渐从前往后以模块为单位，逐渐进行剪枝，仅保留7个操作中权重最高的一种并完全丢弃其余6种。通过该操作，搜索网络空间逐渐靠近最终目标网络。通过该操作，本申请方案很大程度上缓解了优化目标不一致以及随机算法所带来的优化困难问题。
可以理解的是，考虑到计算机计算能力不足，传统的神经网络结构搜索算法多为先搜索较小的网络结构，最终将多个网络结构组合以生成最终的深度神经网络。因此，这一搜索方式无法保留搜索过程中的权重数据。本实施例通过重参数化数学技巧来实现保留梯度下降优化方式的同时极大地降低了显存操作，无需采用任何离散以及近似操作。因此本实施例所提供的方案中，在搜索过程中产生的权重数据完全匹配搜索出来的深度神经网络，可以直接用来作为初始化权重并根据下游任务的性能进行微调。
获取作为训练数据集的管材图像后，还需要对训练数据集进行预处理，例如：数据清洗和数据加强，最终得到标注好的训练数据集。可以理解的是，初始训练数据集中的数据可能会存在数据缺失或数据异常等情况，所以，为了排除异常数据对网络模型的影响，可以对初始训练数据集进行数据清洗。还有，为了进一步提高模型效果，可以对初始训练数据集进行数据加强，例如可以是对图片颜色的增强，分别对图片的亮度、对比度、色调饱和度进行增强，还可以对图片的各项属性在原图片的基础上进行(0.6，1.4)比例的随机调整等。
在本实施例中，通过对待检测图像进行数据清洗操作和图像增强操作，以提高管材分类的准确性。
在整个搜索流程结束后，根据搜索结果确定深度神经网络的机构和初始参数，还需要移除深度神经网络的MLP模块并获取分类任务信息，并根据分类任务信息确定线性分类层，将多层感知器替换为线性分类层，以执行下游分类任务。其中线性分类层权重采用随机初始化，但是其他网络结构参数都保留搜索过程中存留的操作权重。
在上述实施例中，对于管材瑕疵检测方法进行了详细描述，本申请还提供管材瑕疵检测装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图3为本申请实施例所提供的一种管材瑕疵检测装置的机构图，如图3所示，该装置包括：
获取模块10，用于获取管材的待检测图像。
分类模块11，用于利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练。
判断模块12，用于根据分类结果判断管材是否为瑕疵管材。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本实施例提供了一种管材瑕疵检测装置，包括：获取管材的待检测图像，以便于检测管材是否有瑕疵；利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练，并根据分类结果判断管材是否为瑕疵管材。由此可见，本申请所提供的管材瑕疵检测方法，通过深度神经网络对待检测图像进行分类处理以确定管材是否存在瑕疵，从而实现对管材瑕疵的快速检测，提高管材质量检测的效率和准确性，且深度神经网络为利用无标注历史图像对神经网络结构搜索网络进行训练获取的网络，无需人工设计网络和人工标注数据，进一步减少人力物力的浪费。
图4为本申请另一实施例提供的管材瑕疵检测装置的结构图，如图4所示，管材瑕疵检测装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例获取深度神经网络结构方法的步骤。
本实施例提供的管材瑕疵检测装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的管材瑕疵检测方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于待检测图像、历史管材图像等。
在一些实施例中，管材瑕疵检测装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图4中示出的结构并不构成对管材瑕疵检测装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的管材瑕疵检测装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：
获取管材的待检测图像。
利用深度神经网络对待检测图像进行分类处理，以获取分类结果，其中，深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，损失函数利用无标注的历史图像进行训练。
根据分类结果判断管材是否为瑕疵管材。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的管材瑕疵检测方法、装置、介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种管材瑕疵检测方法，其特征在于，包括：
获取管材的待检测图像；
利用深度神经网络对所述待检测图像进行分类处理，以获取分类结果，其中，所述深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，所述损失函数利用无标注的历史图像进行训练，所述神经网络结构搜索网络的各模块间的操作链接为利用前向渐进剪枝操作对初始存在7种不同的操作链接进行剪枝获得的链接，其中，所述操作链接包括：1x1单位卷积，3x3可分卷积，5x5可分卷积，3x3扩张可分卷积，5x5扩张可分卷积，3x3最大池化，相应的，所述通过反向梯度传播训练的方式对采用所述损失函数的神经网络结构搜索网络进行训练的过程包括：在每个迭代周期仅将各模块间一个所述操作链接采样并放入显存之中；利用重参数技巧重构所述损失函数；其中，所述通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：获取所述神经网络结构搜索网络的结构参数，并根据所述结构参数初始化所述神经网络结构搜索网络；对所述历史图像进行数据增广处理，并将处理后的任意两张所述历史图像作为正样本，其他作为负样本；利用所述正样本和所述负样本对所述神经网络结构搜索网络进行反向梯度传播训练，以获取所述深度神经网络；
根据所述分类结果判断所述管材是否为瑕疵管材。
2.根据权利要求1所述的管材瑕疵检测方法，其特征在于，对所述历史图像进行数据增广处理以获取正样本和负样本包括：
对各所述历史图像进行两次数据增广处理以获取增广图像；
相应的，所述利用所述正样本和所述负样本对所述神经网络结构搜索网络进行反向梯度传播训练包括：
通过多层感知器获取所述正样本、所述负样本的特征向量，其中，对于各所述历史图像，其对应的所述增广图像为所述正样本，其他所述增广图像作为所述负样本；
将所述特征向量对所述神经网络结构搜索网络进行训练。
3.根据权利要求1所述的管材瑕疵检测方法，其特征在于，所述获取管材的待检测图像的步骤后，还包括：
对所述待检测图像进行数据清洗操作和图像增强操作。
4.根据权利要求2所述的管材瑕疵检测方法，其特征在于，所述获取所述深度神经网络的步骤后，还包括：
获取分类任务信息，并根据所述分类任务信息确定线性分类层；
将所述多层感知器替换为所述线性分类层，以执行分类任务。
5.一种管材瑕疵检测装置，其特征在于，包括：
获取模块，用于获取管材的待检测图像；
分类模块，用于利用深度神经网络对所述待检测图像进行分类处理，以获取分类结果，其中，所述深度神经网络为通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练得到，所述损失函数利用无标注的历史图像进行训练，所述神经网络结构搜索网络的各模块层间的操作链接为利用前向渐进剪枝操作对初始存在7种不同的操作链接进行剪枝获得的链接，其中，所述操作链接包括：1x1单位卷积，3x3可分卷积，5x5可分卷积，3x3扩张可分卷积，5x5扩张可分卷积，3x3最大池化，相应的，所述通过反向梯度传播训练的方式对采用所述损失函数的神经网络结构搜索网络进行训练的过程包括：各模块间在每个迭代周期仅将一个所述操作链接采样并放入显存之中；利用重参数技巧重构所述损失函数；所述通过反向梯度传播训练的方式对采用损失函数的神经网络结构搜索网络进行训练包括：获取所述神经网络结构搜索网络的结构参数，并根据所述结构参数初始化所述神经网络结构搜索网络；对所述历史图像进行数据增广处理，并将处理后的任意两张所述历史图像作为正样本，其他作为负样本；利用所述正样本和所述负样本对所述神经网络结构搜索网络进行反向梯度传播训练，以获取所述深度神经网络；
判断模块，用于根据所述分类结果判断所述管材是否为瑕疵管材。
6.一种管材瑕疵检测装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的管材瑕疵检测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的管材瑕疵检测方法的步骤。
CN202210844630.1A 2022-07-19 2022-07-19 一种管材瑕疵检测方法、装置、介质 Active CN114972334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844630.1A CN114972334B (zh) 2022-07-19 2022-07-19 一种管材瑕疵检测方法、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844630.1A CN114972334B (zh) 2022-07-19 2022-07-19 一种管材瑕疵检测方法、装置、介质

Publications (2)

Publication Number Publication Date
CN114972334A CN114972334A (zh) 2022-08-30
CN114972334B true CN114972334B (zh) 2023-09-15

Family

ID=82968532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844630.1A Active CN114972334B (zh) 2022-07-19 2022-07-19 一种管材瑕疵检测方法、装置、介质

Country Status (1)

Country Link
CN (1) CN114972334B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237270B (zh) * 2023-02-24 2024-03-19 靖江仁富机械制造有限公司 耐磨防腐管道生产用成型控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629246A1 (en) * 2018-09-27 2020-04-01 Swisscom AG Systems and methods for neural architecture search
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法
CN113344089A (zh) * 2021-06-17 2021-09-03 北京百度网讯科技有限公司 模型训练方法、装置及电子设备
WO2022027937A1 (zh) * 2020-08-06 2022-02-10 苏州浪潮智能科技有限公司 一种神经网络压缩方法、装置、设备及存储介质
CN114241230A (zh) * 2021-11-19 2022-03-25 南方电网数字电网研究院有限公司 目标检测模型剪枝方法和目标检测方法
WO2022063247A1 (zh) * 2020-09-28 2022-03-31 华为技术有限公司 神经网络结构搜索方法及装置
CN114528990A (zh) * 2020-11-23 2022-05-24 暗物智能科技(广州)有限公司 一种神经网络搜索方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436498B2 (en) * 2020-06-09 2022-09-06 Toyota Research Institute, Inc. Neural architecture search system for generating a neural network architecture
US20220101089A1 (en) * 2020-09-25 2022-03-31 Samsung Electronics Co., Ltd. Method and apparatus for neural architecture search

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629246A1 (en) * 2018-09-27 2020-04-01 Swisscom AG Systems and methods for neural architecture search
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法
WO2022027937A1 (zh) * 2020-08-06 2022-02-10 苏州浪潮智能科技有限公司 一种神经网络压缩方法、装置、设备及存储介质
WO2022063247A1 (zh) * 2020-09-28 2022-03-31 华为技术有限公司 神经网络结构搜索方法及装置
CN114528990A (zh) * 2020-11-23 2022-05-24 暗物智能科技(广州)有限公司 一种神经网络搜索方法及系统
CN113344089A (zh) * 2021-06-17 2021-09-03 北京百度网讯科技有限公司 模型训练方法、装置及电子设备
CN114241230A (zh) * 2021-11-19 2022-03-25 南方电网数字电网研究院有限公司 目标检测模型剪枝方法和目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Self-supervised Neural Architecture Search";Sapir Kaplan等;《arXiv:2007.01500v1》;20200703;第1-12页 *

Also Published As

Publication number Publication date
CN114972334A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2019233297A1 (zh) 数据集的构建方法、移动终端、可读存储介质
Wang et al. Multi-scale dilated convolution of convolutional neural network for image denoising
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
KR101836096B1 (ko) 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN109903237B (zh) 一种基于分离低高频的多尺度人脸图像去模糊方法
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN114972334B (zh) 一种管材瑕疵检测方法、装置、介质
CN111833369A (zh) 一种矾花图像处理方法、系统、介质及电子设备
Wang et al. A novel multi-focus image fusion by combining simplified very deep convolutional networks and patch-based sequential reconstruction strategy
Camgözlü et al. Analysis of filter size effect in deep learning
Li et al. Motion-blur kernel size estimation via learning a convolutional neural network
CN115731166A (zh) 一种基于深度学习的高压电缆接头打磨缺陷检测方法
Dwivedi et al. Single image dehazing using extended local dark channel prior
Duan et al. Non-local multi-focus image fusion with recurrent neural networks
KR20180063869A (ko) 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
Wang et al. Learning an enhancement convolutional neural network for multi-degraded images
CN116452511B (zh) 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
Hsu et al. Structure-transferring edge-enhanced grid dehazing network
Aymaz et al. A novel approach with the dynamic decision mechanism (DDM) in multi-focus image fusion
JP2022090633A (ja) 高解像度画像内の物体検出を改善するための方法、コンピュータ・プログラム製品、およびコンピュータ・システム
Zhou et al. An infrared image impulse noise suppression algorithm based on fuzzy logic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant