CN113674255B - 一种面向缺陷检测的卷积神经网络正则化方法 - Google Patents

一种面向缺陷检测的卷积神经网络正则化方法 Download PDF

Info

Publication number
CN113674255B
CN113674255B CN202110983587.2A CN202110983587A CN113674255B CN 113674255 B CN113674255 B CN 113674255B CN 202110983587 A CN202110983587 A CN 202110983587A CN 113674255 B CN113674255 B CN 113674255B
Authority
CN
China
Prior art keywords
defect
region
boundary
area
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110983587.2A
Other languages
English (en)
Other versions
CN113674255A (zh
Inventor
徐洋
余智祺
盛晓伟
解国升
郭同建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202110983587.2A priority Critical patent/CN113674255B/zh
Publication of CN113674255A publication Critical patent/CN113674255A/zh
Application granted granted Critical
Publication of CN113674255B publication Critical patent/CN113674255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向缺陷检测的卷积神经网络正则化方法，涉及机器视觉领域。本发明包括以下步骤：获取缺陷区域a，处理所述缺陷区域a，得到缺陷区域b；缺陷区域a和缺陷区域b的差集外点的像素值保持不变；计算缺陷区域a和缺陷区域b的差集内点的像素值f(x，y)，得到正则化后的标签图。本发明充分考虑缺陷检测中缺陷标签边界模糊这一特点，更符合实际情况，使得检测结果更不容易产生过拟合现象；同时本发明由于对缺陷标签的边界进行了平滑，使得采用本方法训练得到的模型来预测的缺陷边界更加平滑。

Description

一种面向缺陷检测的卷积神经网络正则化方法
技术领域
本发明涉及机器视觉领域，更具体的说是涉及一种面向缺陷检测的卷积神经网络正则化方法。
背景技术
对于生产型企业而言，产品出现缺陷将直接影响到企业的经济效益和市场竞争力，因此对产品质量的把控尤为重要。随着技术的发展，机器视觉由于其非接触的工作方式，安全可靠效率高，可在恶劣环境下工作等优势，逐渐被用来替代人工进行缺陷检测。其中，得益于GPU算力的提升，卷积神经网络在图像领域应用中显示出巨大潜力。目前使用的方法多为需要标签的监督学习方法。
以分割任务为例，本发明人发现，不同于如车辆、行人等物体的检测，大多数缺陷不存在明确的边界，因此，不同人对缺陷标记的边界是不一致的。这虽然不会影响质检工人最后的评判，但会大大增加模型过拟合的风险。因为对需要依靠被标记的缺陷标签来训练、更新参数的神经网络模型来说，一旦边界确定，像素点是否为缺陷的概率便确定。模糊的边界被明确地标记后会造成大量像素的差异，从而使得模型对缺陷特征，尤其是对边界特征的提取产生不利影响。对此，往往需要对模型进行正则化来防止过拟合。
所谓的正则化，就是给模型加入先验条件，来限制其求解空间，从而防止模型出现过拟合情况。目前的正则化方法主要包括如L1、L2正则化等限制模型参数权重的方法，如drop out、drop block、早停等来自训练过程的方法，如label smooth等针对分类标签的方法等。这些正则化方法并不是针对缺陷标签边缘的模糊特性而提出的。
发明内容
有鉴于此，本发明提供了一种面向缺陷检测的卷积神经网络正则化方法。
为了实现上述目的，本发明采用如下技术方案：
一种面向缺陷检测的卷积神经网络正则化方法，其特征在于，包括以下步骤：
获取缺陷区域a，处理所述缺陷区域a，得到缺陷区域b；
缺陷区域a和缺陷区域b的差集外点的像素值保持不变；计算缺陷区域a和缺陷区域b的差集内点的像素值f(x,y)，得到正则化后的标签图。
优选的，处理所述缺陷区域a采用形态学中的膨胀/腐蚀操作扩大/缩小缺陷区域。
优选的，处理所述缺陷区域a采用图像处理中的仿射变换。
优选的，确定差集内点的像素值f(x,y)大小的方法如下：
若区域中不存在边界，则以该区域的几何中心(x,y)作为边界，计算如下：
其中，xi为该区域中第i个像素点的行坐标，yi为该区域中第i个像素点的列坐标，n为该区域中所含像素点的数量；
计算差集区域内点(x,y)的像素值f(x,y)，计算如下：
其中，d1为差集区域内点(x,y)距离内边界的最短距离，d2为差集区域内点(x,y)距离外边界最短距离。
优选的，其中，0≤f(x,y)≤1。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向缺陷检测的卷积神经网络正则化方法，具有以下有益效果：
1.本发明充分考虑缺陷检测中缺陷标签边界模糊这一特点，更符合实际情况，使得检测结果更不容易产生过拟合现象；
2.本发明由于对缺陷标签的边界进行了平滑，使得采用本方法训练得到的模型来预测的缺陷边界更加平滑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的原始缺陷标签图；
图2为本发明的原始缺陷标签图中某一横截面的示意图；
图3为本发明的原始缺陷标签扩大后图像；
图4为本发明的原始缺陷标签扩大后某一横截面的示意图；
图5为本发明的原始缺陷标签经过正则化后图像；
图6为本发明的原始缺陷标签经过正则化后某一横截面的示意图；
图7为本发明的流程示意图；
图8.1-图8.5为本发明对原始缺陷标签图处理过程图；
图9.1-图10.3为本发明对原始缺陷标签图确定边界的过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种面向缺陷检测的卷积神经网络正则化方法，以图1所示的织物断纱缺陷标签为例，该方法包括以下步骤，其中步骤流程图如图7所示：
步骤1)将标签中缺陷区域进行扩大，如图3所示。并将扩大后的区域边界记为外界，原缺陷区域边界记为内边界；
步骤2)将外边界以外区域概率标记为0，内边界以内区域概率标记为1；
步骤3)计算原缺陷区域与扩大后缺陷区域的差集内的像素值f(x,y)，得到最后的标签图，如图5所示。
通过上述步骤得到的新标签图边缘概率分布更加平滑，从而能有效缓解模型因缺陷边界模糊的原因产生的过拟合现象，以及提高模型对缺陷边缘预测的准确性，同时也能使得预测的边界更为平滑。
在本实施例中，上述步骤1)中采用扩大原缺陷区域的方法，用户可根据实际情况自行选择扩大还是缩小原缺陷区域，也可以先缩小再扩大，或先扩大再缩小。
上述扩大或缩小原缺陷区域的方法可以包括形态学、仿射变换等任意图像处理方法。本实施例使用形态学中的膨胀操作，结构元素为3×3的矩阵，锚点为结构元素的中心。
上述步骤3)中，差集区域及为缺陷的模糊边界。在本实施例中，考虑到越接近内边界的像素越倾向认为是缺陷，而越接近外边界的像素越倾向认为不是缺陷，则计算差集区域内像素值f(x,y)大小的方法如下：
其中，d1为差集区域内点(x,y)距离内边界的最短距离，d2为差集区域内点(x,y)距离外边界的最短距离。
上述确定差集区域内像素值得方法可以是多种多样的，例如使用指数函数或多项式函数，甚至是常数。但需要注意的是，对于标签而言，其图像上每一个像素值均表示该像素是否为缺陷的概率，因此要保证0≤f(x,y)≤1。
另外，若差集区域中不存在内或外边界，则需要计算该区域的几何中心(X,Y)作为内或外边界，计算如下：
其中：xi为该区域中第i个像素点的行坐标，yi为该区域中第i个像素点的列坐标，n为该区域中所含像素点的数量。
在本实施例中，设原始缺陷标签某一横截面为图8.1，区域a。正则化步骤如下：
1、先依某方法(如本实施例采用形态学操作)对区域a扩大(如图8.2)或缩小得到区域b(如图8.4)；
2、区域a和区域b的差集内像素依某一方法(如本实施例中采用的线性函数)进行计算得出，其他区域的像素值保持不变。正则化后标签图如图8.3或8.5所示。
图中可以看出正则化后得到的标签，其缺陷边缘与原始标签中的更平滑。
具体的，设原始缺陷标签某一横截面为图9.1或图10.1，区域a。一般区域a和区域b的差集的边界由区域a和区域b的边界共同构成。
当采用缩小区域a的策略时，若区域a较小(如图9.1)或缩小的程度较大导致区域b为空(如图9.2)，则差集中便不存在区域b的边界(如图9.3)，因此将该区域的几何中心视为区域b的边界；
当采用扩大区域a的策略时，若扩大的程度较大导致多个区域a(如图10.1)合并(如图10.2)，则差集中便不存在区域b的边界(如图10.3)，将该区域的几何中心视为区域b的边界。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种面向缺陷检测的卷积神经网络正则化方法，其特征在于，包括以下步骤：
获取缺陷区域a，处理所述缺陷区域a，得到缺陷区域b；处理所述缺陷区域a采用形态学中的膨胀/腐蚀操作扩大/缩小缺陷区域；
缺陷区域a和缺陷区域b的差集外点的像素值保持不变；计算缺陷区域a和缺陷区域b的差集内点的像素值f(x,y)，得到正则化后的标签图；
确定差集内点的像素值f(x,y)大小的方法如下：
若区域中不存在边界，则以该区域的几何中心(x,y)作为边界，计算如下：
其中，xi为该区域中第i个像素点的行坐标，yi为该区域中第i个像素点的列坐标，n为该区域中所含像素点的数量；
计算差集区域内点(x,y)的像素值f(x,y)，计算如下：
其中，d1为差集区域内点(x,y)距离内边界的最短距离，d2为差集区域内点(x,y)距离外边界最短距离。
2.根据权利要求1所述的一种面向缺陷检测的卷积神经网络正则化方法，其特征在于，处理所述缺陷区域a采用图像处理中的仿射变换。
3.根据权利要求1所述的一种面向缺陷检测的卷积神经网络正则化方法，其特征在于，其中，0≤f(x,y)≤1。
CN202110983587.2A 2021-08-25 2021-08-25 一种面向缺陷检测的卷积神经网络正则化方法 Active CN113674255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110983587.2A CN113674255B (zh) 2021-08-25 2021-08-25 一种面向缺陷检测的卷积神经网络正则化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110983587.2A CN113674255B (zh) 2021-08-25 2021-08-25 一种面向缺陷检测的卷积神经网络正则化方法

Publications (2)

Publication Number Publication Date
CN113674255A CN113674255A (zh) 2021-11-19
CN113674255B true CN113674255B (zh) 2023-11-03

Family

ID=78546311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110983587.2A Active CN113674255B (zh) 2021-08-25 2021-08-25 一种面向缺陷检测的卷积神经网络正则化方法

Country Status (1)

Country Link
CN (1) CN113674255B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111999305A (zh) * 2020-08-17 2020-11-27 浙江师范大学 机器视觉硬件系统和轮毂花键结合缝隙视觉检测方法
CN112528976A (zh) * 2021-02-09 2021-03-19 北京世纪好未来教育科技有限公司 文本检测模型的生成方法和文本检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111999305A (zh) * 2020-08-17 2020-11-27 浙江师范大学 机器视觉硬件系统和轮毂花键结合缝隙视觉检测方法
CN112528976A (zh) * 2021-02-09 2021-03-19 北京世纪好未来教育科技有限公司 文本检测模型的生成方法和文本检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shape Robust Text Detection with Progressive Scale Expansion Network;Xiang Li et al.;《arXiv》;第1-12页 *
基于语义分割的食品标签文本检测;田萱 等;《农业机械学报》;第51卷(第8期);第336-343页 *

Also Published As

Publication number Publication date
CN113674255A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN116740070B (zh) 基于机器视觉的塑料管道外观缺陷检测方法
CN103996209A (zh) 一种基于显著性区域检测的红外舰船目标分割方法
CN111640089A (zh) 一种基于特征图中心点的缺陷检测方法及装置
CN113610852B (zh) 基于图像处理的纱线牵伸质量监测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN113642576B (zh) 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN113506246B (zh) 基于机器视觉的混凝土3d打印构件精细检测方法
CN111915628A (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN116152261B (zh) 一种印刷制品质量的视觉检测系统
CN114881965A (zh) 一种基于人工智能和图像处理的木板节子检测方法
CN111754538A (zh) Usb表面缺陷检测的阈值分割方法
CN112200826A (zh) 一种工业弱缺陷分割方法
CN113674255B (zh) 一种面向缺陷检测的卷积神经网络正则化方法
CN101599172A (zh) 非均匀光照的文本图像的亮度补偿分割方法
CN114792310A (zh) 一种LCD屏幕中边缘模糊的Mura缺陷检测方法
CN114511530A (zh) 一种基于显微镜图像的鱼腥藻类细胞统计方法
CN112381844B (zh) 基于图像分块的自适应orb特征提取方法
CN114140416A (zh) 一种基于机器视觉的玻璃边缘检测方法和系统
CN114037657A (zh) 一种结合区域生长与环形校正的锂电池极耳缺陷检测方法
CN110930358B (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN108389162B (zh) 一种基于自适应邻域形状的图像边缘保持滤波方法
CN107292840B (zh) 图像复原方法及装置、计算机可读存储介质、终端
CN109426770B (zh) 虹膜识别方法
CN114782413A (zh) 一种基于显微镜图像的星杆藻类细胞统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant