CN114266768A - 表面划痕缺陷图像生成方法 - Google Patents

表面划痕缺陷图像生成方法 Download PDF

Info

Publication number
CN114266768A
CN114266768A CN202210190995.7A CN202210190995A CN114266768A CN 114266768 A CN114266768 A CN 114266768A CN 202210190995 A CN202210190995 A CN 202210190995A CN 114266768 A CN114266768 A CN 114266768A
Authority
CN
China
Prior art keywords
scratch
scratch defect
image
defect
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210190995.7A
Other languages
English (en)
Other versions
CN114266768B (zh
Inventor
周振宇
彭仁杰
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202210190995.7A priority Critical patent/CN114266768B/zh
Publication of CN114266768A publication Critical patent/CN114266768A/zh
Application granted granted Critical
Publication of CN114266768B publication Critical patent/CN114266768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及一种表面划痕缺陷图像生成方法,包括:选取无缺陷图片作为背景图像;随机采样一对坐标点作为基准点,拟合一条曲线;随机生成曲线姿态,随机产生曲线的划痕缺陷样式,再将划痕缺陷绘制到背景图像上,形成一张表面有划痕缺陷的图像。本发明可以在缺乏真实缺陷数据时,通过模拟表面划痕缺陷的特性,随机合成大量表面划痕缺陷图像,填补真实表面划痕缺陷图像数据不足的空白,从而辅助相关划痕缺陷检测算法提高检测性能。

Description

表面划痕缺陷图像生成方法
技术领域
本发明属于机器视觉检测技术领域,具体涉及一种表面划痕缺陷图像生成方法。
背景技术
在工业生产中总是经常遇到划痕等产品的表面缺陷问题,而这些问题不管对于人工检测还是机器视觉检测都极富挑战。现有的机器视觉检测方法中,基于深度学习的表面划痕缺陷检测方法存在两个核心问题:1.需要收集大量的表面划痕缺陷图像来提高算法的检测性能;2.对于一个新的产品,由于其表面划痕缺陷图像数据在短期内无法大量收集,导致算法无法很好的适应新的产品从而影响算法的检测性能。如CN109060838A一种基于机器视觉的产品表面划痕检测方法、CN105388162A基于机器视觉的原料硅片表面划痕检测方法、CN110514665A一种电子产品塑料外壳划痕缺陷的检测方法等等。
发明内容
本发明的目的在于提出一种表面划痕缺陷图像生成方法,可以在缺乏真实缺陷数据时,通过模拟表面划痕缺陷的特性,随机合成大量表面划痕缺陷图像,填补真实表面划痕缺陷图像数据不足的空白,从而辅助相关划痕缺陷检测算法提高检测性能。
为实现上述目的,本发明提供如下技术方案:
一种表面划痕缺陷图像生成方法,其特征在于:
选取无缺陷图片作为背景图像;
随机采样一对坐标点作为基准点,拟合一条曲线;
将曲线作为划痕缺陷绘制到背景图像上。
进一步地,以基准点为端点通过贝塞尔曲线拟合出一条平滑的曲线。
进一步地,将所述划痕缺陷以所述曲线为基础分为内外两个区域:内骨骼区域和外边缘区域。
进一步地,对内骨骼区域和外边缘区域分别随机确定划痕缺陷的样式。
进一步地,在曲线上进行采样,得到一组能够表示曲线的像素坐标。
进一步地,所述划痕缺陷的样式包括确定划痕粗细,以像素坐标为中心点,内骨骼区域和外边缘区域的半径值以真实划痕缺陷的内骨骼区域和外边缘区域的半径值分布为基准,进行随机采样获得,其中内骨骼区域的半径值小于外边缘区域的半径值。
进一步地,所述划痕缺陷的样式还包括确定划痕颜色,对内骨骼区域和外边缘区域分别着色。
进一步地,对内骨骼区域和外边缘区域着色包括以下两种方式:
根据真实划痕缺陷内骨骼区域和外边缘区域的像素值进行采样,可以获取真实划痕缺陷像素值的均值以及方差,再分别着色给内骨骼区域和外边缘区域;
或者,根据内骨骼区域和外边缘区域在背景图像中对应位置像素的邻域为基准,将像素值以一定的比率ratio进行放大或缩小,得到新的像素值着色给内骨骼区域和外边缘区域,其中ratio属于[0.7,1.3]。
进一步地,所述划痕缺陷的样式还包括确定划痕程度,通过以下公式重新计算划痕缺陷的像素值P,
Figure 47403DEST_PATH_IMAGE001
其中,alfa为程度系数,alfa 属于[0,1],
Figure 16496DEST_PATH_IMAGE002
表示无缺陷背景图像上与划痕缺 陷对应位置的像素值,
Figure 702692DEST_PATH_IMAGE003
表示着色后的划痕缺陷像素值。
进一步地,将划痕缺陷绘制到背景图像上后,再对背景图像进行中值滤波以及高斯滤波。
与现有技术相比,本发明的有益效果如下:本发明可以在进行划痕缺陷检测时,在缺乏真实缺陷数据时,通过模拟表面划痕缺陷的特性,随机合成大量表面划痕缺陷图像,填补真实表面划痕缺陷图像数据不足的空白,从而辅助相关划痕缺陷检测算法提高检测性能。基于深度学习的表面划痕缺陷检测方法利用合成的缺陷图像数据,可以有效的缩短算法迭代周期并提高算法的检测性能。本发明的方法可以覆盖各种姿态的划痕缺陷,生成的划痕缺陷图像具有多样性。而通过本发明所生成的划痕缺陷图像和真实缺陷图像十分相似,能起到数据扩增的效果,从而帮助相关划痕缺陷检测算法的性能提升。本发明生成划痕缺陷方法简单且效率高。
附图说明
图1 为划痕缺陷生成的流程图。
图2 为划痕缺陷姿态生成流程图。
图3为划痕缺陷样式生成流程图。
图4为真实的划痕缺陷图。
图5为生成的划痕缺陷图。
图6 为实施例中选取的真实无缺陷图像。
图7 为实施例中生成的划痕姿态对应的贝塞尔曲线。
图8 为实施例中生成的划痕样式对应的内骨骼区域。
图9 为实施例中生成的划痕样式对应的外边缘区域。
图10 为实施例中生成的划痕样式对应的内骨骼着色图。
图11 为实施例中生成的划痕样式对应的外边缘区域着色图。
图12 为实施例中生成的划痕替换在所选取的无缺陷图片原始像素值之后的图。
图13 为实施例中生成的划痕图经过中值滤波以及高斯滤波后的图。
具体实施方式
下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种表面划痕缺陷图像生成方法包括以下步骤:
S1、随机从无缺陷图片数据集中挑选一张图片数据作为背景图像,如图6。
S2、随机确定一个或者多个划痕缺陷姿态,如图2所示。每张背景图像上可以有一条或者多条划痕。
划痕缺陷姿态的确定包括:
(1)随机采样一对背景图像的坐标点作为基准点
Figure 706420DEST_PATH_IMAGE004
(2)利用
Figure 600295DEST_PATH_IMAGE004
拟合一条平滑的曲线L,其中曲线L采用贝塞尔曲线拟合,贝塞尔 曲线的形状因子K为随机选择,K属于[0.2,0.6]。如图7 所示的贝塞尔曲线(曲线L),两个端 点为的基准点
Figure 56685DEST_PATH_IMAGE004
(3)在曲线L上进行采样,得到一组能够表示曲线L的像素坐标
Figure 812151DEST_PATH_IMAGE005
S3、随机确定一个划痕缺陷的样式,所述划痕缺陷的样式包含划痕粗细、颜色、程 度,如图3所示。确定每个像素坐标
Figure 404806DEST_PATH_IMAGE005
的样式即得到曲线L的样式。
产品的真实划痕一般都有缺陷中部核心区域,相应的损坏程度更深;也有边缘与正常区域交界的区域,该区域的损坏程度相对较轻。
为了更加接近真实的划痕缺陷,如图8和9所示,我们也将模拟生成的划痕缺陷样式分为内外两个区域:内骨骼区域和外边缘区域。内骨骼区域对应真实划痕的缺陷中部核心区域,外边缘区域对应真实划痕的边缘与正常区域交界的区域:
(1)划痕缺陷粗细分为:以像素坐标
Figure 705469DEST_PATH_IMAGE006
为中心点,分别计算内骨骼区域半径
Figure 649154DEST_PATH_IMAGE007
和外边缘区域半径
Figure 208311DEST_PATH_IMAGE008
Figure 921052DEST_PATH_IMAGE009
,内骨骼区域为半径
Figure 894081DEST_PATH_IMAGE007
以内区域,外边缘区域为半径
Figure 325062DEST_PATH_IMAGE008
与半径
Figure 422331DEST_PATH_IMAGE007
之间的区域。半径数值以真实缺陷的内骨骼区域和外边缘区域的半径值分 布为基准,按高斯分布进行随机采样获得。
(2)划痕缺陷颜色可以采用以下两种方式获取:
①根据真实划痕的颜色(像素值)进行采样,可以获取真实划痕颜色的均值以及方差,再赋给曲线L,包括内骨骼区域和外边缘区域;
②根据待绘制缺陷在背景图像中位置像素邻域的为基准,以一定的比率ratio进行放大或缩小,ratio属于[0.7,1.3]。如图10,11所示,分别对应内骨骼区域着色图和外边缘区域着色图。
(3)所述划痕缺陷程度所描述的是对于缺陷在在物体表面所造成的损坏程度(如 深浅)。本方案采用一个程度系数alfa,alfa 属于[0,1],损坏程度越高 alfa值越大,反之 越小。对于划痕缺陷曲线L,其像素值P的计算方式为:
Figure 989579DEST_PATH_IMAGE010
其中,
Figure 881312DEST_PATH_IMAGE002
表示无缺陷背景图像与曲线L对应位置像素值,
Figure 550321DEST_PATH_IMAGE003
表示所生成的划 痕缺陷曲线L颜色像素值。
根据所得像素值P绘制曲线L最终的划痕缺陷形状。
S4、所述划痕缺陷形状(曲线L)的绘制分别先后绘制缺陷外边缘区域和内骨骼区域所包含像素区域,逐像素点替换背景图像的原始像素值。
S5、最后将图像进行中值滤波以及高斯滤波,使得所绘制的划痕缺陷形状(曲线L)边界更平滑。如图12、13, 分别对应平滑前与平滑后。
实施例一
1、随机从正常图缺陷表面图像中随机挑选一张图。
2、随机确定一个划痕缺陷姿态。
(1)随机采样一对图像坐标点作为基准点
Figure 185702DEST_PATH_IMAGE004
Figure 607456DEST_PATH_IMAGE011
(61,71),
Figure 935669DEST_PATH_IMAGE012
(261,332);
(2)利用
Figure 810084DEST_PATH_IMAGE004
拟合一条平滑的曲线L,其中曲线的拟合方法采用贝塞尔曲线拟 合,曲线的形状因子K为随机选择,K属于[0.2,0.6],K随机采样为 0.349;
(3)在曲线L上进行采样,得到图像上的一组连续的像素坐标
Figure 764003DEST_PATH_IMAGE013
。得到23个采样 点,分别为:(61.00,71.00),(63.11 ,79.98),...,(259.91,331.89)(261.00,332.00)。
3、随机确定一个划痕缺陷的样式(即同时确定23个采样点的样式):
(1)根据待绘制划痕缺陷形状(曲线L)所在背景图像位置的像素8邻域为基准,以一定的比率ratio进行放大或缩小,内骨骼区域颜色ratio取0.72,外边缘区域颜色ratio取0.99;
(2)取缺陷内骨骼区域半径
Figure 305843DEST_PATH_IMAGE014
为 1,外边缘区域半径
Figure 804957DEST_PATH_IMAGE008
为2;
(3)损坏程度alfa 取 0.9。
4、分别逐像素点替换无缺陷背景图像的原始像素值,生成表面划痕缺陷图像。
5、将表面划痕缺陷图像进行中值滤波以及高斯滤波,使得边界更平滑。
6、通过上述过程生成若干的表面划痕缺陷图像,训练缺陷检测模型,用于产品表面划痕的检测。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种表面划痕缺陷图像生成方法,其特征在于:
选取无缺陷图片作为背景图像;
随机采样一对坐标点作为基准点,拟合一条曲线;
将曲线作为划痕缺陷绘制到背景图像上。
2.根据权利要求1所述的表面划痕缺陷图像生成方法,其特征在于:以基准点为端点通过贝塞尔曲线拟合出一条平滑的曲线。
3.根据权利要求1所述的表面划痕缺陷图像生成方法,其特征在于:将所述划痕缺陷以所述曲线为基础分为内外两个区域:内骨骼区域和外边缘区域。
4.根据权利要求3所述的表面划痕缺陷图像生成方法,其特征在于:对内骨骼区域和外边缘区域分别随机确定划痕缺陷的样式。
5.根据权利要求4所述的表面划痕缺陷图像生成方法,其特征在于:在曲线上进行采样,得到一组能够表示曲线的像素坐标。
6.根据权利要求5所述的表面划痕缺陷图像生成方法,其特征在于:所述划痕缺陷的样式包括确定划痕粗细,以像素坐标为中心点,内骨骼区域和外边缘区域的半径值以真实划痕缺陷的内骨骼区域和外边缘区域的半径值分布为基准,进行随机采样获得,其中内骨骼区域的半径值小于外边缘区域的半径值。
7.根据权利要求6所述的表面划痕缺陷图像生成方法,其特征在于:所述划痕缺陷的样式还包括确定划痕颜色,对内骨骼区域和外边缘区域分别着色。
8.根据权利要求7所述的表面划痕缺陷图像生成方法,其特征在于:对内骨骼区域和外边缘区域着色包括以下两种方式:
根据真实划痕缺陷内骨骼区域和外边缘区域的像素值进行采样,可以获取真实划痕缺陷像素值的均值以及方差,再分别着色给内骨骼区域和外边缘区域;
或者,根据内骨骼区域和外边缘区域在背景图像中对应位置像素的邻域为基准,将像素值以一定的比率ratio进行放大或缩小,得到新的像素值着色给内骨骼区域和外边缘区域,其中ratio属于[0.7,1.3]。
9.根据权利要求8所述的表面划痕缺陷图像生成方法,其特征在于:所述划痕缺陷的样式还包括确定划痕程度,通过以下公式重新计算划痕缺陷的像素值P,
Figure DEST_PATH_IMAGE001
其中,alfa为程度系数,alfa 属于[0,1],
Figure 587078DEST_PATH_IMAGE002
表示无缺陷背景图像上与划痕缺陷对 应位置的像素值,
Figure 35377DEST_PATH_IMAGE003
表示着色后的划痕缺陷像素值。
10.根据权利要求1-9任一所述的表面划痕缺陷图像生成方法,其特征在于:将划痕缺陷绘制到背景图像上后,再对背景图像进行中值滤波以及高斯滤波。
CN202210190995.7A 2022-03-01 2022-03-01 表面划痕缺陷图像生成方法 Active CN114266768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210190995.7A CN114266768B (zh) 2022-03-01 2022-03-01 表面划痕缺陷图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210190995.7A CN114266768B (zh) 2022-03-01 2022-03-01 表面划痕缺陷图像生成方法

Publications (2)

Publication Number Publication Date
CN114266768A true CN114266768A (zh) 2022-04-01
CN114266768B CN114266768B (zh) 2022-08-19

Family

ID=80833782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210190995.7A Active CN114266768B (zh) 2022-03-01 2022-03-01 表面划痕缺陷图像生成方法

Country Status (1)

Country Link
CN (1) CN114266768B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质
CN116342589A (zh) * 2023-05-23 2023-06-27 之江实验室 一种跨视场划痕缺陷连续性检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060058619A1 (en) * 2004-08-16 2006-03-16 Deyoe Edgar A System and method for sensory defect simulation
CN103886332A (zh) * 2014-04-02 2014-06-25 哈尔滨工业大学 一种检测与识别金属网栅缺陷的方法
CN110189351A (zh) * 2019-04-16 2019-08-30 浙江大学城市学院 一种基于生成式对抗网络的划痕图像数据扩增方法
CN111551350A (zh) * 2020-05-18 2020-08-18 哈尔滨理工大学 一种基于U_Net网络的光学镜片表面划痕检测方法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及系统
CN112508937A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 生成划痕数据的方法、装置、电子设备和存储介质
CN113450307A (zh) * 2021-05-12 2021-09-28 西安电子科技大学 一种产品边缘缺陷检测方法
CN113724128A (zh) * 2020-05-25 2021-11-30 Tcl科技集团股份有限公司 一种训练样本的扩充方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060058619A1 (en) * 2004-08-16 2006-03-16 Deyoe Edgar A System and method for sensory defect simulation
CN103886332A (zh) * 2014-04-02 2014-06-25 哈尔滨工业大学 一种检测与识别金属网栅缺陷的方法
CN110189351A (zh) * 2019-04-16 2019-08-30 浙江大学城市学院 一种基于生成式对抗网络的划痕图像数据扩增方法
CN111551350A (zh) * 2020-05-18 2020-08-18 哈尔滨理工大学 一种基于U_Net网络的光学镜片表面划痕检测方法
CN113724128A (zh) * 2020-05-25 2021-11-30 Tcl科技集团股份有限公司 一种训练样本的扩充方法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及系统
CN112508937A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 生成划痕数据的方法、装置、电子设备和存储介质
CN113450307A (zh) * 2021-05-12 2021-09-28 西安电子科技大学 一种产品边缘缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质
CN116342589A (zh) * 2023-05-23 2023-06-27 之江实验室 一种跨视场划痕缺陷连续性检测方法和系统
CN116342589B (zh) * 2023-05-23 2023-08-22 之江实验室 一种跨视场划痕缺陷连续性检测方法和系统

Also Published As

Publication number Publication date
CN114266768B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN110473154B (zh) 一种基于生成对抗网络的图像去噪方法
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN114266768B (zh) 表面划痕缺陷图像生成方法
CN105825484B (zh) 一种基于深度学习的深度图像去噪及增强方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
Tang et al. Delicate textured mesh recovery from nerf via adaptive surface refinement
CN107358636B (zh) 一种基于纹理合成的疏松缺陷图像生成方法
CN103699900B (zh) 卫星影像中建筑物水平矢量轮廓自动批量提取方法
CN111982910B (zh) 一种基于人工缺陷仿真的弱监督机器视觉检测方法及系统
CN111242864B (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
CN112270651B (zh) 一种基于多尺度判别生成对抗网络的图像修复方法
CN110570381B (zh) 一种基于高斯总变差的半解耦图像分解暗光图像增强方法
CN103826032A (zh) 深度图后期处理方法
CN108416803A (zh) 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN106709964A (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN106952276A (zh) 一种图像抠图方法及装置
CN104952102A (zh) 面向延迟着色的统一反走样方法
CN111476758A (zh) Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN114782645B (zh) 虚拟数字人制作方法、相关设备及可读存储介质
CN107967675A (zh) 一种基于自适应投影移动最小二乘的结构化点云去噪方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN117496085A (zh) 一种基于手绘草图的参数化三维模型生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231213

Address after: Room 801, No. 1126 Shenbin South Road, Minhang District, Shanghai, 201107

Patentee after: MATRIXTIME ROBOTICS (SHANGHAI) Co.,Ltd.

Address before: 210000 east side of floor 5, building 4, Zhicheng Park, No. 6, Zhida Road, Jiangbei new area, Nanjing, Jiangsu Province

Patentee before: Jushi Technology (Jiangsu) Co.,Ltd.