CN115661156B - 图像生成方法、装置、存储介质、设备及计算机程序产品 - Google Patents
图像生成方法、装置、存储介质、设备及计算机程序产品 Download PDFInfo
- Publication number
- CN115661156B CN115661156B CN202211691158.9A CN202211691158A CN115661156B CN 115661156 B CN115661156 B CN 115661156B CN 202211691158 A CN202211691158 A CN 202211691158A CN 115661156 B CN115661156 B CN 115661156B
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- defect
- original image
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请的实施例公开了一种图像生成方法、装置、存储介质、设备及计算机程序产品,涉及人工智能技术领域,包括:将目标图像进行二值化,获得二值化图像;在二值化图像上绘制缺陷,获得缺陷图像;将缺陷图像输入已训练的转换模型,获得转换图像;转换模型能够将二值化图像转换为其对应的原始图像。本申请通过将实际状态下带有色彩的图像进行二值化处理,减少数据维度的同时排除原图中噪声带来的干扰,在二值化图像上能够进行主动地缺陷绘制,以人为制造出具有缺陷的图像,再将该图像输入转换模型,实现将缺陷图像还原至实际状态下具有色彩的图像,就得到既有缺陷又有色彩的图像,不依赖于实际产品出现的缺陷,得到大量假数据来训练高质量模型。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种图像生成方法、装置、存储介质、设备及计算机程序产品。
背景技术
PCB(印刷电路板)生产制造过工艺流程由多个段别组成,在复杂且繁琐的制造过程中也容易引入各种各样的产品缺陷,对产品进行缺陷检测尤为重要,对基于深度学习技术的缺陷检测而言,通常采用利用大量带缺陷的样本图像来训练检测模型进行检测的手段,实现自动、高效、高质量的检测,但对于某些特殊缺陷而言,其带来的影响十分严重,而发生概率很低,导致没有充足的样本来训练高质量的模型。
发明内容
本申请的主要目的在于提供一种图像生成方法、装置、存储介质、设备及计算机程序产品,旨在解决现有技术中训练模型以检测缺陷时的训练样本数量不足的问题。
为实现上述目的,本申请的实施例采用的技术方案如下:
第一方面,本申请实施例提供一种图像生成方法,包括以下步骤:
将目标图像进行二值化,获得二值化图像;
在二值化图像上绘制缺陷,获得缺陷图像;
将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。
将实际状态下带有色彩的图像进行二值化处理,减少了数据维度的同时排除原图中噪声带来的干扰,使得能够在二值化图像上进行主动地缺陷绘制,以人为制造出具有缺陷的图像,然后再将该图像输入转换模型,实现将缺陷图像又还原至实际状态下具有色彩的图像,就得到既具有缺陷又具有色彩的图像,可以不依赖于实际产品出现的缺陷,得到大量的假数据来满足高质量模型训练的要求。
在第一方面的一种可能实现方式中,将缺陷图像输入已训练的转换模型,获得转换图像之前,图像生成方法还包括:
对原始图像进行滤波处理,获得第一原始图像;
根据若干第一原始图像,获得第一数据集。
图像滤波处理,也即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,去除掉一部分噪声和纹理信息,经过图像滤波处理后的原始图像即为第一原始图像,为了简化训练难度,考虑到VRS彩图上的纹理信息对于形态类缺陷的学习并不必需,将其去除后以达到加速模型训练、提升转换效率的目的。
在第一方面的一种可能实现方式中,对原始图像进行滤波处理,获得第一原始图像,包括:
对原始图像进行均值滤波处理,获得第一原始图像。
均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素,可以理解为一个九宫格,以目标像素为中心的周围8个像素,构成一个滤波模板,即包括目标像素本身,再用模板中的全体像素的平均值来代替原来像素值。
在第一方面的一种可能实现方式中,对原始图像进行均值滤波处理,获得第一原始图像,包括:
分别以原始图像上的各像素点为中心像素点,获得中心像素点周围的八个像素点的像素;
以八个像素点的像素与中心像素点的像素的平均值作为中心点的像素,获得中心像素点的目标像素值;
根据若干中心像素点的目标像素值,获得第一原始图像。
在利用模板进行遍历下,所有图像上的像素都能够被处理,并且由于幅值近似相等且随机分布在不同位置上,这样的均值滤波处理可以平滑图像,并且处理的速度较快且算法简单。
在第一方面的一种可能实现方式中,对原始图像进行滤波处理,获得第一原始图像,包括:
对原始图像进行方向中值滤波处理,获得第一原始图像。
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,可以很好地过滤掉椒盐噪声,其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近真实值,从而消除孤立的噪声点。
在第一方面的一种可能实现方式中,对原始图像进行方向中值滤波处理,获得第一原始图像,包括:
遍历原始图像上的像素点,并分别计算四个方向上像素值与中心像素值的差值加权和;
根据差值加权和的大小,确定目标方向;其中,目标方向为最小的差值加权和所对应的方向;
根据目标方向上的除中心像素点以外的像素点,获得第一原始图像。
与均值滤波类似的,中值滤波也是以一个模板为基础进行遍历,其中一个为中心点,以坐标轴的形式描述,中心点的四个方向可以表示为X轴、Y轴、X=Y、X=-Y的方向,以权重为基础,排除差异较大的值,保留近似方向上的值,距离中心点越近,权重越大,计算完四条线上的加权和后,如果这四个加权和的最小值也大于阈值,说明每个方向上与中心点的差异都比较大,说明是噪声,否则是边缘或者平坦的区域,而后可以根据差值加权和的大小,找到最小的值对应的方向。
在第一方面的一种可能实现方式中,根据目标方向上的除中心像素点以外的像素点,获得第一原始图像,包括:
将目标方向上的除中心像素点以外的像素点加入像素窗口,获得第一像素窗口;
将第一像素窗口的中值作为中心像素点的像素值,获得第一原始图像。
将找到的目标方向上的四个像素重复一份加入到窗口模板中,比如在5*5的窗口中,窗口像素数量变为5*5+4,计算这个更新后窗口的中值作为该点的像素值,能够有效地去除椒盐噪声,并且不模糊图像,保留一定的清晰度。
在第一方面的一种可能实现方式中,根据目标方向上的除中心像素点以外的像素点,获得第一原始图像,包括:
以目标方向上的除中心像素点以外的像素点的加权平均值作为中心点的像素值,获得第一原始图像。
获得近似方向后,以权重信息为依据,能够优化中心像素值的选取,采用加权平均的方式来选取中心点像素值,也即将各个数据出现的频次作为参考,权重越高,说明出现的频次越高,那么相对的,数据就越重要。
在第一方面的一种可能实现方式中,将缺陷图像输入已训练的转换模型,获得转换图像之前,图像生成方法还包括:
获得若干原始图像,生成第一数据集;
将第一数据集中的各原始图像分别进行二值化,获得若干原始图像对应的二值化图像;
以若干原始图像对应的二值化图像,生成第二数据集;
基于第一数据集与第二数据集,训练获得转换模型。
提前训练出转换模型,以便于反复使用,保留原始图像作为一个数据集,并将其对应的二值化图像作为另一个数据集,将数据集输入现有的模型,在有监督模型下学习到以二值化图像为输入标签,以原始图像为输出标签,进而学习到将二值化图像转换为其对应的原始图像状态,以便于利用有色彩的图像训练缺陷检测模型。
在第一方面的一种可能实现方式中,在二值化图像上绘制缺陷,获得缺陷图像之前,图像生成方法还包括:
确定待绘制的缺陷的缺陷位置与缺陷类型,获得目标缺陷;
在二值化图像上绘制缺陷,获得缺陷图像,包括:
在二值化图像上绘制目标缺陷,获得缺陷图像。
由于针对的实际使用场景是生产过程当中一些特殊的缺陷,由于这些特殊的缺陷出现概率较低,导致了样本数量的不足,因此在训练检测模型时有必要确定出所需的目标类型,进而才能够针对性地训练出能够检出这类缺陷的模型,尽量还原实际场景。
第二方面,本申请实施例提供一种图像生成装置,包括:
二值化模块,二值化模块用于将目标图像进行二值化,获得二值化图像;
绘制模块,绘制模块用于在二值化图像上绘制缺陷,获得缺陷图像;
转换模块,转换模块用于将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。
第三方面,本申请实施例提供一种计算机可读存储介质,储存有计算机程序,计算机程序被处理器加载执行时,实现如上述第一方面中任一项提供的图像生成方法。
第四方面,本申请实施例提供一种电子设备,包括处理器及存储器,其中,
存储器用于存储计算机程序;
处理器用于加载执行计算机程序,以使电子设备执行如上述第一方面中任一项提供的图像生成方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被执行时,用于执行如上述第一方面中任一项提供的图像生成方法。
与现有技术相比,本申请的有益效果是:
本申请实施例提出的一种图像生成方法、装置、存储介质、设备及计算机程序产品,该方法通过将目标图像进行二值化,获得二值化图像;在二值化图像上绘制缺陷,获得缺陷图像;将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。本申请的方法通过将实际状态下带有色彩的图像进行二值化处理,在二值化图像上能够进行主动地缺陷绘制,以人为制造出具有缺陷的图像,然后再将该图像输入转换模型,实现将缺陷图像又还原至实际状态下具有色彩的图像,就得到既具有缺陷又具有色彩的图像,可以不依赖于实际产品出现的缺陷,得到大量的假数据来满足高质量模型训练的要求。
附图说明
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图;
图2为本申请实施例提供的图像生成方法的流程示意图;
图3为本申请实施例提供的图像生成装置的模块示意图;
图4为本申请实施例提供的图像生成方法中一种目标图像的示意图;
图5为图4所示的目标图像对应的二值化图像的示意图;
图6为本申请实施例提供的图像生成方法中一种缺陷图像的示意图;
图7为本申请实施例提供的图像生成方法中一种转换图像的示意图;
图中标记:101-处理器,102-通信总线,103-网络接口,104-用户接口,105-存储器。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:提出一种图像生成方法、装置、存储介质、设备及计算机程序产品,该方法包括:将目标图像进行二值化,获得二值化图像;在二值化图像上绘制缺陷,获得缺陷图像;将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。
印刷电路板(PCB)生产制造过工艺流程由多个段别组成,在复杂且繁琐的制造过程中也容易引入各种各样的产品缺陷,其中部分缺陷发生率低但影响十分严重,生产厂家对于这一类缺陷的检出十分重视。对于基于深度学习技术的缺陷检测而言,充足的缺陷样本对于训练出一个好模型是至关重要的,但对于上述缺陷,其发生率低、缺陷样本少,基于深度学习的自动缺陷检出方案对实际生产难以形成有效覆盖,因此针对样本稀少的关键缺陷的模型检出任务往往难以符合要求。
PCB电路印刷制造不同于大多数加工制造,每一块产品的实拍图(VRS)都一一对应了一张标准的电路设计图(CAM),通过直接使用CAM图转换得到VRS假数据来增加样本数据的方式并不可行,因为在图片构造不出类似的纹理,也就没有办法设计出自己要的形态,最终也自然无法转换得到自己需要的缺陷形态。
为此,本申请提供一种解决方案,通过将实际状态下带有色彩的图像进行二值化处理,在二值化图像上能够进行主动地缺陷绘制,以人为制造出具有缺陷的图像,然后再将该图像输入转换模型,实现将缺陷图像又还原至实际状态下具有色彩的图像,就得到既具有缺陷又具有色彩的图像,可以不依赖于实际产品出现的缺陷,得到大量的假数据来满足高质量模型训练的要求。
参照附图1,附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图,该电子设备可以包括:处理器101,例如中央处理器(Central Processing Unit,CPU),通信总线102、用户接口104,网络接口103,存储器105。其中,通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器105可选的可以是独立于前述处理器101的存储装置,存储器105可能是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可能是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器;处理器101可以是通用处理器,包括中央处理器、网络处理器等,还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域技术人员可以理解,附图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如附图1所示,作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在附图1所示的电子设备中,网络接口103主要用于与网络服务器进行数据通信;用户接口104主要用于与用户进行数据交互;本申请中的处理器101、存储器105可以设置在电子设备中,电子设备通过处理器101调用存储器105中存储的图像生成装置,并执行本申请实施例提供的图像生成方法。
参照附图2,基于前述实施例的硬件设备,本申请的实施例提供一种图像生成方法,包括以下步骤:
S10:将目标图像进行二值化,获得二值化图像。
在具体实施过程中,目标图像为任意的印刷电路板(PCB)图像,并且该印刷电路板是不具备缺陷的产品,也即目标图像为人为制造缺陷信息以获得样本数据的基础图像,可通过相机定点拍摄获得,也可以通过AOI/AVI设备获得,AOI设备为自动光学检测设备,AVI设备为计算机视觉检测设备,上述设备都可以通过扫描或者传感的方式对PCB板进行检测,获得对应图像,而其中,由于AOI设备能够直接输出灰度图像,因此通过AOI设备对实际产品进行检测获得的图像就不需要再进行二值化处理了。图像的二值化,就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果,也就是将实拍图先转换为二值化图像,一方面减少了数据维度,另一方面通过排除原图中噪声带来的干扰,可以凸显有效区域的轮廓结构,为在其上绘制缺陷提供了可能。如附图4所示的目标图像,二值化后对应的二值化图像如附图5所示。
S20:在二值化图像上绘制缺陷,获得缺陷图像。
在具体实施过程中,由于将图像二值化后,制造假数据成为可能,由此在二值化图像上可以人为绘制所需类型的缺陷,如附图6所示的缺陷图像,其上具有多种类型的缺陷,比如划痕、缺失、缺焊、焊料过多。可以采用现有的缺陷生成方法进行缺陷的生成,也可以通过图像处理的软件自行绘制,绘制的思路为,划痕类型的缺陷可以采用生成不规则的条状窄带,缺失类型的缺陷可以抹除掉图像上原有的部分,而缺焊、焊料过多类型的缺陷则是可以通过将PCB板上焊接部位进行抹除减小,或者延伸增加的方式生成对应的缺陷。
S30:将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像,如附图7所示,即为根据附图6获得的转换图像。
在具体实施过程中,已训练的转换模型,是指基于已有的深度学习模型,利用第一数据集与第二数据集训练获得的,如CycleGAN模型,采用深度学习生成式对抗神经网络技术获得,原始图像为无缺陷产品的实际拍摄图像,是具有实际色彩的图像,由于转换模型是以原始图像以及其对应的二值化图像作为训练样本,在有监督训练之后获得的模型能够学习到将二值化图像作为输入标签,将对应的原始图像作为输出标签,也就是说,经过转换模型可以将二值化图像转换为其对应的彩色图像。
本实施例中,将实际状态下带有色彩的图像进行二值化处理,减少了数据维度的同时排除原图中噪声带来的干扰,使得能够在二值化图像上进行主动地缺陷绘制,以人为制造出具有缺陷的图像,然后再将该图像输入转换模型,实现将缺陷图像又还原至实际状态下具有色彩的图像,就得到既具有缺陷又具有色彩的图像,可以不依赖于实际产品出现的缺陷,得到大量的假数据来满足高质量模型训练的要求。
在一种实施例中,将缺陷图像输入已训练的转换模型,获得转换图像之前,图像生成方法还包括:
对原始图像进行滤波处理,获得第一原始图像;
根据若干第一原始图像,获得第一数据集。
在具体实施过程中,图像滤波处理,也即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,去除掉一部分噪声和纹理信息,经过图像滤波处理后的原始图像即为第一原始图像,为了简化训练难度,考虑到VRS彩图上的纹理信息对于形态类缺陷的学习并不必需,将其去除后以达到加速模型训练、提升转换效率的目的。
在一种实施例中,提供一种对原始图像进行图像滤波处理的实施方式,具体来说:对原始图像进行滤波处理,获得第一原始图像,包括:
对原始图像进行均值滤波处理,获得第一原始图像。
在具体实施过程中,均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素,可以理解为一个九宫格,以目标像素为中心的周围8个像素,构成一个滤波模板,即包括目标像素本身,再用模板中的全体像素的平均值来代替原来像素值。具体的:
对原始图像进行均值滤波处理,获得第一原始图像,包括:
分别以原始图像上的各像素点为中心像素点,获得中心像素点周围的八个像素点的像素;
以八个像素点的像素与中心像素点的像素的平均值作为中心点的像素,获得中心像素点的目标像素值;
根据若干中心像素点的目标像素值,获得第一原始图像。
也就是说,在利用模板进行遍历下,所有图像上的像素都能够被处理,并且由于幅值近似相等且随机分布在不同位置上,这样的均值滤波处理可以平滑图像,并且处理的速度较快且算法简单。
在一种实施例中,提供另一种对原始图像进行图像滤波处理的实施方式,具体来说:对原始图像进行滤波处理,获得第一原始图像,包括:
对原始图像进行方向中值滤波处理,获得第一原始图像。
在具体实施过程中,中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,可以很好地过滤掉椒盐噪声,其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近真实值,从而消除孤立的噪声点。方法是用某种结构的二维滑动模板,将板内像素按照像素值的大小进行排序,生成单调上升(或下降)的为二维数据序列。
二维中值滤波输出为g(x,y)=med{f(x-k,y-l),(k,l∈W)} ,其中,f(x,y),g(x,y)分别为原始图像和处理后图像,W为二维模板,通常为3*3,5*5区域。本申请实施例再提出一种以差值加权和为依据的处理方式,具体的:
对原始图像进行方向中值滤波处理,获得第一原始图像,包括:
遍历原始图像上的像素点,并分别计算四个方向上像素值与中心像素值的差值加权和;
根据差值加权和的大小,确定目标方向;其中,目标方向为最小的差值加权和所对应的方向;
根据目标方向上的除中心像素点以外的像素点,获得第一原始图像。
在具体实施过程中,与均值滤波类似的,中值滤波也是以一个模板为基础进行遍历,其中一个为中心点,以坐标轴的形式描述,中心点的四个方向可以表示为X轴、Y轴、X=Y、X=-Y的方向,以权重为基础,排除差异较大的值,保留近似方向上的值,距离中心点越近,权重越大,计算完四条线上的加权和后,如果这四个加权和的最小值也大于阈值,说明每个方向上与中心点的差异都比较大,说明是噪声,否则是边缘或者平坦的区域,而后可以根据差值加权和的大小,找到最小的值对应的方向,即为目标方向。
实际操作当中,将上述找到的目标方向上的四个像素重复一份加入到窗口模板中,比如在5*5的窗口中,窗口像素数量变为5*5+4,计算这个更新后窗口的中值作为该点的像素值,能够有效地去除椒盐噪声,并且不模糊图像,保留一定的清晰度。具体的:
根据目标方向上的除中心像素点以外的像素点,获得第一原始图像,包括:
将目标方向上的除中心像素点以外的像素点加入像素窗口,获得第一像素窗口;
将第一像素窗口的中值作为中心像素点的像素值,获得第一原始图像。
在实际使用中,获得近似方向后,以权重信息为依据,能够优化中心像素值的选取,采用加权平均的方式来选取中心点像素值,也即将各个数据出现的频次作为参考,权重越高,说明出现的频次越高,那么相对的,数据就越重要,具体来说:
根据目标方向上的除中心像素点以外的像素点,获得第一原始图像,包括:
以目标方向上的除中心像素点以外的像素点的加权平均值作为中心点的像素值,获得第一原始图像。
在一种实施例中,将缺陷图像输入已训练的转换模型,获得转换图像之前,图像生成方法还包括:
获得若干原始图像,生成第一数据集;
将第一数据集中的各原始图像分别进行二值化,获得若干原始图像对应的二值化图像;
以若干原始图像对应的二值化图像,生成第二数据集;
基于第一数据集与第二数据集,训练获得转换模型。
在具体实施过程中,提前训练出转换模型,以便于反复使用,保留原始图像作为一个数据集,并将其对应的二值化图像作为另一个数据集,将数据集输入现有的模型,在有监督模型下学习到以二值化图像为输入标签,以原始图像为输出标签,进而学习到将二值化图像转换为其对应的原始图像状态,以便于利用有色彩的图像训练缺陷检测模型。
在一种实施例中,在二值化图像上绘制缺陷,获得缺陷图像之前,图像生成方法还包括:
确定待绘制的缺陷的缺陷位置与缺陷类型,获得目标缺陷。
在具体实施过程中,由于针对的实际使用场景是生产过程当中一些特殊的缺陷,由于这些特殊的缺陷出现概率较低,导致了样本数量的不足,因此在训练检测模型时有必要确定出所需的目标类型,进而才能够针对性地训练出能够检出这类缺陷的模型,尽量还原实际场景。一种情况下,缺陷出现的位置不特定,就可以通过随机确定的方式,而另一种情况下,对于一些只会出现在特定部位的缺陷,那么就需要在对应位置去进行绘制,换言之,如果在某个部位绘制了不可能出现的缺陷,采用这个图像训练出的模型会出现两种情况,一是检测模型可能无法学习到这类缺陷,二是学习到了错误的结果,导致缺陷的检测结果异常。
基于前述步骤对缺陷位置与类型的确定,在二值化图像上绘制缺陷,获得缺陷图像,包括:
在二值化图像上绘制目标缺陷,获得缺陷图像。
参照附图3,基于与前述实施例中同样的发明构思,本申请实施例还提供一种图像生成装置,该装置包括:
二值化模块,二值化模块用于将目标图像进行二值化,获得二值化图像;
绘制模块,绘制模块用于在二值化图像上绘制缺陷,获得缺陷图像;
转换模块,转换模块用于将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。
本领域技术人员应当理解,实施例中的各个模块的划分仅仅是一种逻辑功能的划分,实际应用时可以全部或部分集成到一个或多个实际载体上,且这些模块可以全部以软件通过处理单元调用的形式实现,也可以全部以硬件的形式实现,或是以软件、硬件结合的形式实现,需要说明的是,本实施例中图像生成装置中各模块是与前述实施例中的图像生成方法中的各步骤一一对应,因此,本实施例的具体实施方式可参照前述图像生成方法的实施方式,这里不再赘述。
基于与前述实施例中同样的发明构思,本申请的实施例还提供一种计算机可读存储介质,储存有计算机程序,计算机程序被处理器加载执行时,实现如本申请实施例提供的图像生成方法。
基于与前述实施例中同样的发明构思,本申请的实施例还提供一种电子设备,包括处理器及存储器,其中,
存储器用于存储计算机程序;
处理器用于加载执行计算机程序,以使电子设备执行如本申请实施例提供的图像生成方法。
此外,基于与前述实施例中同样的发明构思,本申请的实施例还提供一种计算机程序产品,包括计算机程序,当计算机程序被执行时,用于执行如本申请实施例提供的图像生成方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性地包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光 盘)中,包括若干指令用以使得一台多媒体终端设备(可以是手机,计算机,电视接收机,或者网络设备等)执行本申请各个实施例所述的方法。
综上,本申请提供的一种图像生成方法、装置、存储介质、设备及计算机程序产品,包括将目标图像进行二值化,获得二值化图像;在二值化图像上绘制缺陷,获得缺陷图像;将缺陷图像输入已训练的转换模型,获得转换图像;其中,转换模型基于第一数据集与第二数据集训练获得,第一数据集为原始图像的数据集,第二数据集为原始图像对应的二值化图像的数据集,转换模型能够将二值化图像转换为其对应的原始图像。本申请通过将实际状态下带有色彩的图像进行二值化处理,在二值化图像上能够进行主动地缺陷绘制,以人为制造出具有缺陷的图像,然后再将该图像输入转换模型,实现将缺陷图像又还原至实际状态下具有色彩的图像,就得到既具有缺陷又具有色彩的图像,可以不依赖于实际产品出现的缺陷,得到大量的假数据来满足高质量模型训练的要求。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像生成方法,其特征在于,包括以下步骤:
将目标图像进行二值化,获得二值化图像;
在所述二值化图像上绘制缺陷,获得缺陷图像;其中,所述缺陷为同类型的目标缺陷;
将所述缺陷图像输入已训练的转换模型,获得转换图像;其中,所述转换模型基于第一数据集与第二数据集训练获得,所述第一数据集为原始图像的数据集,所述第二数据集为所述原始图像对应的二值化图像的数据集,所述转换模型能够将二值化图像转换为其对应的原始图像;
其中,所述将所述缺陷图像输入已训练的转换模型,获得转换图像之前,所述图像生成方法还包括:
获得若干所述原始图像,生成所述第一数据集;
将所述第一数据集中的各所述原始图像分别进行二值化,获得若干所述原始图像对应的二值化图像;
以若干所述原始图像对应的二值化图像,生成所述第二数据集;
基于所述第一数据集与所述第二数据集,训练获得所述转换模型。
2.根据权利要求1所述的图像生成方法,其特征在于,所述将所述缺陷图像输入已训练的转换模型,获得转换图像之前,所述图像生成方法还包括:
对所述原始图像进行滤波处理,获得第一原始图像;
根据若干所述第一原始图像,获得所述第一数据集。
3.根据权利要求2所述的图像生成方法,其特征在于,所述对所述原始图像进行滤波处理,获得第一原始图像,包括:
对所述原始图像进行均值滤波处理,获得第一原始图像。
4.根据权利要求3所述的图像生成方法,其特征在于,所述对所述原始图像进行均值滤波处理,获得第一原始图像,包括:
分别以所述原始图像上的各像素点为中心像素点,获得所述中心像素点周围的八个像素点的像素;
以所述八个像素点的像素与所述中心像素点的像素的平均值作为所述中心像素点的像素,获得所述中心像素点的目标像素值;
根据若干所述中心像素点的目标像素值,获得第一原始图像。
5.根据权利要求2所述的图像生成方法,其特征在于,所述对所述原始图像进行滤波处理,获得第一原始图像,包括:
对所述原始图像进行方向中值滤波处理,获得第一原始图像。
6.根据权利要求5所述的图像生成方法,其特征在于,所述对所述原始图像进行方向中值滤波处理,获得第一原始图像,包括:
遍历所述原始图像上的像素点,并分别计算四个方向上像素值与中心像素值的差值加权和;
根据所述差值加权和的大小,确定目标方向;其中,所述目标方向为最小的所述差值加权和所对应的方向;
根据所述目标方向上的除所述中心像素点以外的像素点,获得第一原始图像。
7.根据权利要求6所述的图像生成方法,其特征在于,所述根据所述目标方向上的除所述中心像素点以外的像素点,获得第一原始图像,包括:
将所述目标方向上的除所述中心像素点以外的像素点加入像素窗口,获得第一像素窗口;
将所述第一像素窗口的中值作为所述中心像素点的像素值,获得第一原始图像。
8.根据权利要求6所述的图像生成方法,其特征在于,所述根据所述目标方向上的除所述中心像素点以外的像素点,获得第一原始图像,包括:
以所述目标方向上的除所述中心像素点以外的像素点的加权平均值作为所述中心像素点的像素值,获得第一原始图像。
9.根据权利要求1所述的图像生成方法,其特征在于,所述在所述二值化图像上绘制缺陷,获得缺陷图像之前,所述图像生成方法还包括:
确定待绘制的缺陷的缺陷位置与缺陷类型,获得目标缺陷;
所述在所述二值化图像上绘制缺陷,获得缺陷图像,包括:
在所述二值化图像上绘制所述目标缺陷,获得缺陷图像。
10.一种图像生成装置,其特征在于,包括:
二值化模块,所述二值化模块用于将目标图像进行二值化,获得二值化图像;
绘制模块,所述绘制模块用于在所述二值化图像上绘制缺陷,获得缺陷图像;其中,所述缺陷为同类型的目标缺陷;
转换模块,所述转换模块用于将所述缺陷图像输入已训练的转换模型,获得转换图像;其中,所述转换模型基于第一数据集与第二数据集训练获得,所述第一数据集为原始图像的数据集,所述第二数据集为所述原始图像对应的二值化图像的数据集,所述转换模型能够将二值化图像转换为其对应的原始图像;
其中,所述将所述缺陷图像输入已训练的转换模型,获得转换图像之前,还包括:
获得若干所述原始图像,生成所述第一数据集;
将所述第一数据集中的各所述原始图像分别进行二值化,获得若干所述原始图像对应的二值化图像;
以若干所述原始图像对应的二值化图像,生成所述第二数据集;
基于所述第一数据集与所述第二数据集,训练获得所述转换模型。
11.一种计算机可读存储介质,储存有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现如权利要求1-9中任一项所述的图像生成方法。
12.一种电子设备,其特征在于,包括处理器及存储器,其中,
所述存储器用于存储计算机程序;
所述处理器用于加载执行所述计算机程序,以使所述电子设备执行如权利要求1-9中任一项所述的图像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211691158.9A CN115661156B (zh) | 2022-12-28 | 2022-12-28 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211691158.9A CN115661156B (zh) | 2022-12-28 | 2022-12-28 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115661156A CN115661156A (zh) | 2023-01-31 |
CN115661156B true CN115661156B (zh) | 2023-04-14 |
Family
ID=85022568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211691158.9A Active CN115661156B (zh) | 2022-12-28 | 2022-12-28 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661156B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437227B (zh) * | 2023-12-20 | 2024-02-27 | 成都数之联科技股份有限公司 | 一种图像生成及缺陷检测方法、装置、介质、设备及产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6163619A (en) * | 1996-10-04 | 2000-12-19 | Advantest Corporation | Method of image processing |
JP2015178189A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像検査装置、画像形成システム及び画像検査プログラム |
CN108230321A (zh) * | 2018-01-19 | 2018-06-29 | 深圳市亿图视觉自动化技术有限公司 | 缺陷检测方法及装置 |
CN109658376A (zh) * | 2018-10-24 | 2019-04-19 | 哈尔滨工业大学 | 一种基于图像识别的表面缺陷识别方法 |
CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
WO2021012735A1 (zh) * | 2019-07-25 | 2021-01-28 | 研祥智能科技股份有限公司 | 屏幕显示缺陷的检测方法及系统 |
CN112419291A (zh) * | 2020-11-30 | 2021-02-26 | 佛山职业技术学院 | 一种瓶胚缺陷检测模型的训练方法、存储介质及终端设备 |
CN114677567A (zh) * | 2022-05-27 | 2022-06-28 | 成都数联云算科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555808B (zh) * | 2018-05-31 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、设备及机器可读存储介质 |
CN108961217B (zh) * | 2018-06-08 | 2022-09-16 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
CN113822095B (zh) * | 2020-06-02 | 2024-01-12 | 苏州科瓴精密机械科技有限公司 | 基于图像识别工作位置的方法、系统,机器人及存储介质 |
CN114359269A (zh) * | 2022-03-09 | 2022-04-15 | 广东工业大学 | 基于神经网络的虚拟食品盒缺陷生成方法及系统 |
CN114998192B (zh) * | 2022-04-19 | 2023-05-30 | 深圳格芯集成电路装备有限公司 | 基于深度学习的缺陷检测方法、装置、设备和存储介质 |
CN115222739B (zh) * | 2022-09-20 | 2022-12-02 | 成都数之联科技股份有限公司 | 缺陷标注方法、装置、存储介质、设备及计算机程序产品 |
-
2022
- 2022-12-28 CN CN202211691158.9A patent/CN115661156B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6163619A (en) * | 1996-10-04 | 2000-12-19 | Advantest Corporation | Method of image processing |
JP2015178189A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像検査装置、画像形成システム及び画像検査プログラム |
CN108230321A (zh) * | 2018-01-19 | 2018-06-29 | 深圳市亿图视觉自动化技术有限公司 | 缺陷检测方法及装置 |
CN109658376A (zh) * | 2018-10-24 | 2019-04-19 | 哈尔滨工业大学 | 一种基于图像识别的表面缺陷识别方法 |
WO2021012735A1 (zh) * | 2019-07-25 | 2021-01-28 | 研祥智能科技股份有限公司 | 屏幕显示缺陷的检测方法及系统 |
CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
CN112419291A (zh) * | 2020-11-30 | 2021-02-26 | 佛山职业技术学院 | 一种瓶胚缺陷检测模型的训练方法、存储介质及终端设备 |
CN114677567A (zh) * | 2022-05-27 | 2022-06-28 | 成都数联云算科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115661156A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11216932B1 (en) | Electronic substrate defect detection | |
CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
CN104517110A (zh) | 一种二维码图像的二值化方法及系统 | |
CN110245697B (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
CN115661156B (zh) | 图像生成方法、装置、存储介质、设备及计算机程序产品 | |
CN114240939A (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
CN113034447B (zh) | 一种边缘缺陷检测方法和装置 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN113538603A (zh) | 一种基于阵列产品的光学检测方法、系统和可读存储介质 | |
CN117437227B (zh) | 一种图像生成及缺陷检测方法、装置、介质、设备及产品 | |
CN115239734A (zh) | 模型训练方法、装置、存储介质、设备及计算机程序产品 | |
CN115861293A (zh) | 缺陷轮廓提取方法、装置、存储介质、设备及程序产品 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
CN106651816B (zh) | 数字图像的半色调处理方法和系统 | |
CN109886059B (zh) | 一种基于宽度学习的qr码图像检测方法 | |
CN112581374A (zh) | 散斑亚像素中心提取方法、系统、设备及介质 | |
CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
CN115187593B (zh) | 屏幕缺陷检测方法和装置 | |
CN114445318A (zh) | 一种缺陷检测方法、装置、电子设备和存储介质 | |
CN117115095A (zh) | 一种实现复杂纹理瓷砖细小缺陷检测的方法及系统 | |
CN108510636B (zh) | 图像分割方法、图像分割装置及终端设备 | |
CN105354833A (zh) | 一种阴影检测的方法和装置 | |
CN115239595A (zh) | 一种包装印刷品二维码合格性检测方法 | |
CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN115719326A (zh) | Pcb板缺陷检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |