CN114581339A - 一种金属工业产品表面缺陷数据增强方法 - Google Patents

一种金属工业产品表面缺陷数据增强方法 Download PDF

Info

Publication number
CN114581339A
CN114581339A CN202210285578.0A CN202210285578A CN114581339A CN 114581339 A CN114581339 A CN 114581339A CN 202210285578 A CN202210285578 A CN 202210285578A CN 114581339 A CN114581339 A CN 114581339A
Authority
CN
China
Prior art keywords
pixel
migration
defects
defect
surface defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210285578.0A
Other languages
English (en)
Inventor
齐泽通
张记霞
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202210285578.0A priority Critical patent/CN114581339A/zh
Publication of CN114581339A publication Critical patent/CN114581339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种金属工业产品表面缺陷数据增强方法，其方法步骤为：获得一些无缺陷的目标场景的产品图片和开源的金属表面缺陷图像；使用泊松图像拼接算法将缺陷进行材质，光影和纹理的自适应迁移，生成一批质量较高的迁移结果图；将迁移后的图像加入训练集，训练AI检测模型。本发明的有益效果：本发明金属工业产品的表面缺陷生成方法，对模型的性能有显著提升；本发明的方法合成的缺陷图可以扩充AI检测模型的数据集，可解决罕见缺陷类别在训练集中出现少的问题；本发明使用了像素梯度值来保留迁移区域图像局域特征，使用通过与目标迁移区的像素值进行匹配的方法来建立线性方程系统，使用优化器求解线性系统的方法得到迁移目标区域内的像素值。

Description

一种金属工业产品表面缺陷数据增强方法
技术领域
本发明涉及金属产品缺陷检测技术领域，尤其是一种金属工业产品表面缺陷数据增强方法。
背景技术
表面缺陷检测在现代工业生产过程中起着非常重要的作用。在传统的工业生产过程中，表面缺陷检测是由人工完成。这种检测具有很强的主观性，生产效率较低且检测不准确等缺点。为了提高工业生产的质量和效率，越来越多的机器视觉技术正被应用于工业领域，助力企业增产降本。
近些年AI检测模型越来越多的被用在了工业检测中。此类AI模型可以检测出传统视觉算法无法定义的缺陷；但这些模型学习如果去检测缺陷需要大量的训练数据。图像数据增强是一种常用的方法来增加模型学习的样本数量和样本多样性。但仍然还存在一些未解决的技术难点：
第一，目前现有的图像数据增强大多仅仅涉及图像的旋转，翻转，平移，马赛克等等，这些增强方法并未加入新的缺陷图像，没有增加缺陷的多样性，所以对于未出现在训练集的缺陷的检测能力并未有很大的提升。
第二，在很多工业检测场景下，很多缺陷在生产环境下由于不同工艺，出现频率极低，但是对产品致命，使得产品变成报废料。此种检测场景下需要模型对此种缺陷具有很高的检出率，但模型在样本数量少的情况下很难训练到高检出率的能力。
第三，一些不同场景之间的复制粘贴的图像增强方法，增强后的图像数据效果由于不同场景间的材质，光影，纹理和色调差异，很难做到有效且逼真的迁移，从而很难通过此类方法增强的数据训练来提高模型性能。
因此，针对上述问题提出一种金属工业产品表面缺陷数据增强方法。
发明内容
针对上述现有技术中存在的不足，本发明的目的在于提供一种金属工业产品表面缺陷数据增强方法。
一种金属工业产品表面缺陷数据增强方法，其方法步骤为：
步骤一：获得一些无缺陷的目标场景的产品图片和开源的金属表面缺陷图像；
步骤二：使用泊松图像拼接算法将缺陷进行材质，光影和纹理的自适应迁移，生成一批质量较高的迁移结果图；
步骤三：将迁移后的图像加入训练集，训练AI检测模型。
其中步骤一：在开源数据集中选择出具有代表性和迁移性的缺陷，适当调节缺陷的对比度和亮度来使缺陷更加明显；在目标场景的图像中选择不同的位置来作为迁移目标，来保证迁移后的缺陷的多样性。
其中步骤二：将缺陷移植到的目标图像为A，带有缺陷的源图像为B，融合的结果图为H；H和A的需要移植缺陷区域边界点的像素值应该完全相等，将这些边界像素值匹配然后从外向里推断：
Figure BDA0003558079670000021
所有的缺陷区域边界点的在H上的像素值，对于H上边界内部的像素值做解；H内部的像素梯度等于B内部的像素梯度
Figure BDA0003558079670000031
要把像素值梯度匹配转换成一个线性方程系统，对像素值的梯度信息做一个累加：
ΔB(x，y)＝4B(x，y)-B(z-1，y)-B(x+l，y)-B(x，y-l)-B(x，y+l)(2)
如任意一个像素值的邻居是一个边界点，那么它的值是固定的；如果该像素的邻居点位于迁移区域之外，该邻居不被包含在计算中；
Figure BDA0003558079670000032
(x,y)是在像素在2D坐标的位置，N是在选择像素邻居像素的数量，"Ω" 是H和B中选择的除去区域；
Figure BDA0003558079670000033
是选中区域的边缘，(dx,dy)是一个像素所有的邻居，在{(-1,0),(1,0),(0,-1),(0,1)}范围内；
公式(3)可以展开成一个带有k个变量线性方程系统，k是迁移区域的像素数量；使用线性优化器来解该优化问题，得到全局最优解；其解即为H中迁移区域的像素值。
与现有技术相比，本发明的有益效果：
1、本发明金属工业产品的表面缺陷生成方法，生成的图像相对于传统的旋转，平移，马赛克等增强方法，对模型的性能有显著提升；
2、本发明的方法合成的缺陷图可以扩充AI检测模型的数据集，可解决罕见缺陷类别在训练集中出现少的问题；
3、本发明使用了像素梯度值来保留迁移区域图像局域特征，并使用通过与目标迁移区的像素值进行匹配的方法来建立线性方程系统，通过使用优化器求解线性系统的方法得到迁移目标区域内的像素值；既能够保留缺陷区域的的特征，又能将特征适应迁移区域的不同的纹理，材质，光影和色调。
附图说明
图1为本发明的方法流程图；
图2为本发明的实施过程流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1并结合图2所示，一种金属工业产品表面缺陷数据增强方法，其方法步骤为：
步骤一：获得一些无缺陷的目标场景的产品图片和开源的金属表面缺陷图像；
步骤二：使用泊松图像拼接算法将缺陷进行材质，光影和纹理的自适应迁移，生成一批质量较高的迁移结果图；
步骤三：将迁移后的图像加入训练集，训练AI检测模型。
其中步骤一：在开源数据集中选择出具有代表性和迁移性的缺陷，适当调节缺陷的对比度和亮度来使缺陷更加明显；在目标场景的图像中选择不同的位置来作为迁移目标，来保证迁移后的缺陷的多样性。
其中步骤二：将缺陷移植到的目标图像为A，带有缺陷的源图像为B，融合的结果图为H；H和A的需要移植缺陷区域边界点的像素值应该完全相等，将这些边界像素值匹配然后从外向里推断：
Figure BDA0003558079670000041
所有的缺陷区域边界点的在H上的像素值，对于H上边界内部的像素值做解；现在需要H内部的像素梯度等于B内部的像素梯度
Figure BDA0003558079670000042
要把像素值梯度匹配转换成一个线性方程系统，需要对像素值的梯度信息做一个累加：
ΔB(x，y)＝4B(x，y)-B(x-1，y)-B(x+1，y)-B(x，y-1)-B(x，y+1) (2)
如果任意一个像素值的邻居是一个边界点，那么它的值是固定的；如果该像素的邻居点位于迁移区域之外，该邻居不被包含在计算中；
Figure BDA0003558079670000051
(x,y)是在像素在2D坐标的位置，N是在选择像素邻居像素的数量，"Ω" 是H和B中选择的除去区域；
Figure BDA0003558079670000052
是选中区域的边缘，(dx,dy)是一个像素所有的邻居，在{(-1,0)，(1,0)，(0,-1)，(0,1)}范围内；
公式(3)可以展开成一个带有k个变量线性方程系统，k是迁移区域的像素数量；使用线性优化器来解该优化问题，得到全局最优解；其解即为H中迁移区域的像素值。
与现有技术相比，本发明的有益效果：
1、本发明金属工业产品的表面缺陷生成方法，生成的图像相对于传统的旋转，平移，马赛克等增强方法，对模型的性能有显著提升；
2、本发明的方法合成的缺陷图可以扩充AI检测模型的数据集，可解决罕见缺陷类别在训练集中出现少的问题；
3、本发明使用了像素梯度值来保留迁移区域图像局域特征，并使用通过与目标迁移区的像素值进行匹配的方法来建立线性方程系统，通过使用优化器求解线性系统的方法得到迁移目标区域内的像素值；既能够保留缺陷区域的的特征，又能将特征适应迁移区域的不同的纹理，材质，光影和色调。
其中本发明对天池铝材数据集的局部缺陷进行分析，将局部缺陷的像素梯度信息反馈至匹配像素值，将目标检测场景下的金属工业产品数据反馈至匹配边缘像素值，建立k变量线性方程系统(k)，使用线性优化器解线性方程系统,将求得的像素值填补到目标区域，获得合成的迁移缺陷后的高质量数据，使用增强后的数据训练AI检测模型。
以上所述仅为发明的优选实施例，并非因此限制本发明的专利范围，凡是利用发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种金属工业产品表面缺陷数据增强方法，其特征在于：其方法步骤为：
步骤一：获得一些无缺陷的目标场景的产品图片和开源的金属表面缺陷图像；
步骤二：使用泊松图像拼接算法将缺陷进行材质，光影和纹理的自适应迁移，生成一批质量较高的迁移结果图；
步骤三：将迁移后的图像加入训练集，训练AI检测模型。
2.如权利要求1所述的一种金属工业产品表面缺陷数据增强方法，其特征在于：其中步骤一：在开源数据集中选择出具有代表性和迁移性的缺陷，适当调节缺陷的对比度和亮度来使缺陷更加明显；在目标场景的图像中选择不同的位置来作为迁移目标，来保证迁移后的缺陷的多样性。
3.如权利要求1所述的一种金属工业产品表面缺陷数据增强方法，其特征在于：其中步骤二：
将缺陷移植到的目标图像为A，带有缺陷的源图像为B，融合的结果图为H；H和A的需要移植缺陷区域边界点的像素值应该完全相等，将这些边界像素值匹配然后从外向里推断：
Figure FDA0003558079660000011
所有的缺陷区域边界点的在H上的像素值，对于H上边界内部的像素值做解；H内部的像素梯度等于B内部的像素梯度
Figure FDA0003558079660000012
像素值梯度匹配转换成一个线性方程系统，对像素值的梯度信息做一个累加：
ΔB(x，y)＝4B(x，y)-B(x-1，y)-B(x+1，y)-B(x，y-1)-B(x，y+1) (2)
如任意一个像素值的邻居是一个边界点，那么它的值是固定的；如该像素的邻居点位于迁移区域之外，该邻居不被包含在计算中；
Figure FDA0003558079660000021
(x，y)是在像素在2D坐标的位置，N是在选择像素邻居像素的数量，″Ω″是H和B中选择的除去区域；
Figure FDA0003558079660000022
是选中区域的边缘，(dx，dy)是一个像素所有的邻居，在{(-1，0)，(1，0)，(0，-1)，(0，1)}范围内；
公式(3)可以展开成一个带有k个变量线性方程系统，k是迁移区域的像素数量；使用线性优化器来解该优化问题，得到全局最优解；其解即为H中迁移区域的像素值。
CN202210285578.0A 2022-03-22 2022-03-22 一种金属工业产品表面缺陷数据增强方法 Pending CN114581339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210285578.0A CN114581339A (zh) 2022-03-22 2022-03-22 一种金属工业产品表面缺陷数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210285578.0A CN114581339A (zh) 2022-03-22 2022-03-22 一种金属工业产品表面缺陷数据增强方法

Publications (1)

Publication Number Publication Date
CN114581339A true CN114581339A (zh) 2022-06-03

Family

ID=81777698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210285578.0A Pending CN114581339A (zh) 2022-03-22 2022-03-22 一种金属工业产品表面缺陷数据增强方法

Country Status (1)

Country Link
CN (1) CN114581339A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546070A (zh) * 2022-11-25 2022-12-30 成都诺比侃科技有限公司 一种基于计算机视觉的接触网缺陷目标增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546070A (zh) * 2022-11-25 2022-12-30 成都诺比侃科技有限公司 一种基于计算机视觉的接触网缺陷目标增强方法

Similar Documents

Publication Publication Date Title
CN108022223B (zh) 一种基于对数映射函数分块处理融合的色调映射方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
Varekamp et al. Improved depth propagation for 2D to 3D video conversion using key-frames
CN114581339A (zh) 一种金属工业产品表面缺陷数据增强方法
CN114998141A (zh) 基于多分支网络的空间环境高动态范围成像方法
CN117114997B (zh) 基于缝合线搜索算法的图像拼接方法及装置
CN114862722A (zh) 一种图像亮度增强实现方法及处理终端
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN110555822B (zh) 一种面向实时视频融合的颜色一致性调整方法
CN106504203B (zh) 一种应用筛选策略的块匹配图像修复方法
JP2019029938A (ja) 誤差計算器およびそのプログラム
CN111861899A (zh) 一种基于光照不均匀的图像增强方法及系统
CN111311517A (zh) 基于抠图的颜色校正优化方法
CN109961393A (zh) 基于插值和迭代优化算法的亚像素配准与拼接技术
CN107203979B (zh) 一种低照度图像增强的方法
CN113506230B (zh) 一种基于机器视觉的光伏电站航拍影像匀光处理方法
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
CN1290058C (zh) 数字图像的划痕处理方法
CN114266803A (zh) 图像处理方法、装置、电子设备及存储介质
CN113505622A (zh) 一种自动识别多条码与led灯的测试系统及方法
CN109886901B (zh) 一种基于多通路分解的夜间图像增强方法
CN109801238B (zh) 一种基于简化大气散射模型的弱光照图像增强方法
Sun et al. Single image fog removal algorithm based on an improved dark channel prior method
CN113421229B (zh) 一种图像小区域缺损检测与修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination