CN117765372B - 一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 - Google Patents
一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117765372B CN117765372B CN202410194383.4A CN202410194383A CN117765372B CN 117765372 B CN117765372 B CN 117765372B CN 202410194383 A CN202410194383 A CN 202410194383A CN 117765372 B CN117765372 B CN 117765372B
- Authority
- CN
- China
- Prior art keywords
- semantic
- feature map
- decoding
- graph
- modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims description 16
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 20
- 230000010354 integration Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 5
- 102220070930 rs794728599 Human genes 0.000 claims description 5
- 102220465380 NF-kappa-B inhibitor beta_S23A_mutation Human genes 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种工业缺陷样本图像生成的方法，包括：对正常样本或特征图进行编码、卷积，获得编码特征图和第一语义调制参数；利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二或第四语义调制参数；通过第一和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图；对图像进行解码，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数；通过第三和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图；通过语义调整解码特征图进行卷积处理，生成缺陷图。本发明所述的工业缺陷样本图像生成的方法生成缺陷图时，缺陷边缘连接处平滑，且整体更为真实。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质。
背景技术
随着人工智能的发展，基于深度神经网络的目标检测算法开始大量应用于缺陷检测，但目标检测需要大量的数据集作为基础，才能提高缺陷检测的准确性。而工业场景中经常会遇到缺陷样本过少从而无法有效搭建机器学习、深度学习等缺陷检测算法模型。针对这种情况，传统的方式是采用人为制作缺陷样本且配合数据增强的方法来增加缺陷样本，但人为制作缺陷样本会提高成本，同时也无法复制天然产生的缺陷特征，即使通过数据增强的方式依旧无法增加缺陷样本本身的多样性，从而无法提升算法的精度。
基于此，现有技术通过生成对抗网络（GAN）进行缺陷图像生成，从而解决了缺陷样本过少的问题，其中，生成对抗网络通过一生成网络进行图像生成，并通过一判别器对其生成的图像进行判别是否真实，并根据其判别器的结果对生成网络的参数进行更新，促使生成网络生成的图像更真实。
但为了能精准控制生成缺陷位置、形状、大小等，需要结合一条件信息至生成网络进行生成，但如果生成网络仅依赖条件信息而忽略图像本身的特征来生成缺陷，会造成生成的缺陷和非缺陷区域的边缘连接处不够平滑，同时由于判别器往往是针对图像整体来判断真假，对于含有小缺陷图像容易误判，从而影响生成网络的质量，最终导致生成效果整体真实性不足。
发明内容
基于此，本发明的目的在于，提供一种工业缺陷样本图像生成的方法。
一种工业缺陷样本图像生成的方法，包括以下步骤：
S1：对正常样本或特征图分别进行特征提取、卷积，获得编码特征图和第一语义调制参数；
S2：利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二语义调制参数或第四语义调制参数；
S3：通过第一语义调制参数和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图；同时存储至一存储器中；
S4：判断语义调整编码特征图尺寸是否达到一编码特征图尺寸阈值；若为否，则执行步骤S1；若为是，则执行步骤S5；
S5：对特征图进行特征整合、上采样，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数；
S6：通过第三语义调制参数和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图；
S7：判断语义调整解码特征图尺寸是否达到一解码特征图尺寸阈值；若为否，则执行步骤S5；若为是，则执行步骤S8；
S8：将语义调整解码特征图进行卷积处理，生成缺陷图。
本发明所述的工业缺陷样本图像生成的方法，通过结合语义图与特征图自身对生成过程中的调节，不仅可以为待编辑区域引入语义信息，从而完成条件控制生成缺陷，还使待编辑区域与非编辑区域可以平滑过渡，使生成图像更趋近于真实。
进一步地，所述步骤S1包括以下步骤：
S11：对正常样本或特征图进行特征提取，获得编码特征图；同时传入至步骤S2；
S12：对编码特征图进行卷积，得到第一语义调制参数。
其中，为了使生成网络不仅仅关注于条件信息（语义图），本发明通过结合原样本自身的特征信息进行调节，使生成缺陷区域与非生成缺陷区域之间的连接能平滑过渡，增强生成缺陷图像的真实性。
进一步地， 所述步骤S5包括以下步骤：
S51：对特征图进行特征整合，获得解码特征图；
S52：对解码特征图进行上采样，获得上采样解码特征图；同时传入至步骤S2；
S53：提取存储器中的对应尺寸的语义调整编码特征图并与上采样解码特征图进行堆叠后卷积，获得融合解码特征图；
S54：对上采样解码特征图进行卷积，获得第三语义调制参数。
其中，通过堆叠深层和浅层的语义特征，可以使上采样解码特征图缺陷特征得到充分的补充。
进一步地，所述步骤S2包括以下步骤：
S21：判断当前输入的特征图是否为编码特征图；若为是，则执行步骤S22A、S23A；若为否，则执行步骤S22B、S23B；
S22A：将语义图进行调整至与编码特征图尺寸一致，得到编码调制语义图；
S22B：将语义图进行调整至与上采样解码特征图尺寸一致，得到解码调制语义图；
S23A：对编码调制语义图进行卷积，获得第二语义调制参数；
S23B：对解码调制语义图进行卷积，获得第四语义调制参数。
其中，本发明结合语义图的语义信息对生成网络的特征图进行像素级别的特征语义调制，使生成网络在编码和解码过程中空间对齐地融合缺陷的语义信息，最终达到精准调节缺陷生成位置、形状、大小以及生成图的高真实性的效果。
一种工业缺陷样本图像生成装置包括编码单元、语义图调制单元、编码语义融合模块、编码特征图尺寸判断模块、解码单元、解码语义融合模块、解码特征图尺寸判断模块和缺陷图像生成模块；
所述编码单元用于对正常样本或特征图分别进行特征提取、卷积，获得编码特征图和第一语义调制参数；
所述语义图调制单元用于利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二语义调制参数或第四语义调制参数；
所述编码语义融合模块用于通过第一语义调制参数和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图；
所述编码特征图尺寸判断模块用于判断语义调整编码特征图尺寸是否达到一编码特征图尺寸阈值；若为否，则调用所述编码单元；若为是，则调用所述解码单元；
所述解码单元用于对特征图进行特征整合、上采样，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数；
所述解码语义融合模块用于通过第三语义调制参数和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图；
所述解码特征图尺寸判断模块用于判断语义调整解码特征图尺寸是否达到一解码特征图尺寸阈值；若为否，则调用解码单元；若为是，则调用所述缺陷图像生成模块；
所述缺陷图像生成模块用于将语义调整解码特征图进行卷积处理，生成缺陷图。
进一步地，所述编码单元包括编码特征提取模块和第一语义调制参数获取模块；
所述编码特征提取模块用于对正常样本或特征图进行特征提取，获得编码特征图；同时传入至所述语义图调制单元；
所述第一语义调制参数获取模块用于对编码特征图进行卷积，得到第一语义调制参数。
进一步地，所述解码单元包括解码特征整合模块、解码特征上采样模块、特征连接模块和第三语义调制参数获取模块；
所述解码特征整合模块用于对特征图进行特征整合，获得解码特征图；
所述解码特征上采样模块用于对解码特征图进行上采样，获得上采样解码特征图；同时传入至所述语义图调制单元；
所述特征连接模块用于提取存储器中的对应尺寸的语义调整编码特征图并与上采样解码特征图进行堆叠后卷积，获得融合解码特征图；
所述第三语义调制参数获取模块用于对上采样解码特征图进行卷积，获得第三语义调制参数。
进一步地，所述语义图调制单元包括特征图判断模块、编码语义尺寸调整模块、解码语义尺寸调整模块、第二语义调制参数获取模块和第四语义调制参数获取模块；
所述特征图判断模块用于判断当前输入的特征图是否为编码特征图；若为是，则调用所述编码语义尺寸调整模块以及所述第二语义调制参数获取模块；若为否，则调用所述解码语义尺寸调整模块以及第四语义调制参数获取模块；所述编码语义尺寸调整模块用于将语义图进行调整至与编码特征图尺寸一致，得到编码调制语义图；
所述解码语义尺寸调整模块用于将语义图进行调整至与上采样解码特征图尺寸一致，得到解码调制语义图；
所述第二语义调制参数获取模块用于对编码调制语义图进行卷积，获得第二语义调制参数；
所述第四语义调制参数获取模块用于对解码调制语义图进行卷积，获得第四语义调制参数。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为工业缺陷样本图像生成装置的具体结构图；
图2为工业缺陷样本图像生成的方法的流程图；
图3为图2所示的具体流程图。
具体实施方式
为了使生成缺陷样本的缺陷区域可以精准控制，并且缺陷区域与非缺陷区域之间的连接处能平滑贴合，本发明设想在生成对抗网络中的生成网络中的编码和解码上，皆与语义图进行连接，让生成网络在浅层开始学习生成缺陷的特征，而深层则进一步精调缺陷，以得到生成的缺陷样本整体上更为真实。
基于上述的设计，本发明提出了一种工业缺陷样本图像生成的方法，并基于该方法提出了一种工业缺陷样本图像生成装置。
请同时参阅图1、图2和图3，图1为工业缺陷样本图像生成装置的具体结构图，图2为工业缺陷样本图像生成的方法的流程图，图3为图2所示的具体流程图。
所述工业缺陷样本图像生成装置包括编码单元1、语义图调制单元2、编码语义融合模块3、编码特征图尺寸判断模块4、解码单元5、解码语义融合模块6、解码特征图尺寸判断模块7和缺陷图像生成模块8。
所述编码单元1用于执行步骤S1：对正常样本或特征图分别进行特征提取、卷积，获得编码特征图和第一语义调制参数。
具体地，所述编码单元1包括编码特征提取模块11和第一语义调制参数获取模块12。
所述编码特征提取模块11用于执行步骤S11：对正常样本或特征图进行特征提取，获得编码特征图。同时传入语义调节单元2。
具体地，所述正常样本为原始样本，即无缺陷样本；所述特征图为对正常样本进行特征提取（下采样）后的特征图；所述特征提取为通过一卷积核对正常样本或特征图进行卷积操作，将正常样本或特征图上的特征提取成一编码特征图，同时通过将特征提取后的编码特征图传入至语义图调制单元2作为尺寸参考。
所述第一语义调制参数获取模块12用于执行步骤S12：对编码特征图进行卷积，得到第一语义调制参数。
具体地，所述第一语义调制参数分别具有两个语义调制参数，使融合过程中分别对特征图进行缩放和偏移。
其中，为了使生成网络不仅仅关注于条件信息（语义图），本发明还结合原样本自身的特征信息进行调节，使生成缺陷区域与非生成缺陷区域之间的连接能平滑过渡，增强生成缺陷图像的真实性。
所述语义图调制单元2用于执行步骤S2：利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二语义调制参数或第四语义调制参数。
具体地，所述语义图调制单元2包括特征图判断模块21、编码语义尺寸调整模块22A、解码语义尺寸调整模块22B、第二语义调制参数获取模块23A和第四语义调制参数获取模块23B。
所述特征图判断模块21用于执行步骤S21：判断当前输入的特征图是否为编码特征图；若为是，则调用所述编码语义尺寸调整模块22A；若为否，则调用所述解码语义尺寸调整模块22B；
所述编码语义尺寸调整模块22A用于执行步骤S22A：将语义图进行调整至与编码特征图尺寸一致，得到编码调制语义图。
具体地，所述调整操作为一缩放操作（Resize），采用最近邻插值法，将语义图调整为与编码特征图尺寸一致，同时保留语义图的特征信息。
其中，由于生成网络需要进行多次特征提取或上采样，因此其特征图的尺寸不同，为了使其特征图能与语义图的特征进行融合，语义图需要进行调整尺寸保持与目标特征图尺寸一致，同时通过使用最近邻差值法，以使语义图的语义信息完整保留。
所述语义图为一掩码图，其中通过不同标签标注待生成缺陷区域中的语义信息，以后续根据不同标签区分不同的语义，从而根据语义信息生成缺陷。
所述解码语义尺寸调整模块22B用于执行步骤S22B：将语义图进行调整至与上采样解码特征图尺寸一致，得到解码调制语义图。
所述第二语义调制参数获取模块23A用于执行步骤S23A：对编码调制语义图进行卷积，获得第二语义调制参数；并传入所述编码语义融合模块3。
具体地，所述第二语义调制参数分别具有两个语义调制参数，使融合过程中分别对特征图进行缩放和偏移。
其中，为了使生成网络基于条件信息（语义图）进行缺陷生成，本发明结合语义图的语义信息对生成网络的特征图进行像素级别的特征语义调制，使生成网络在编码和解码过程中空间对齐地融合缺陷的语义信息，最终达到精准调节缺陷生成位置、形状、大小以及生成图的高真实性的效果。
所述第四语义调制参数获取模块23B用于执行步骤S23B：对解码调制语义图进行卷积，获得第四语义调制参数；并传入所述解码语义融合模块6。
所述编码语义融合模块3用于执行步骤S3：通过第一语义调制参数和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图。
具体地，所述编码特征图与第一语义调制参数相乘融合，再与第一语义调制参数进行相加融合，从而使编码特征图充分融合自身特征信息。接着与第二语义调制参数相乘融合，再与第二语义调制参数进行相加融合，充分融合语义特征信息，并通过一激活函数，如Leaky ReLu，以获得语义调整编码特征图。
同时，将语义调整编码特征图输出至一存储空间进行存储，以供解码过程的特征图进行连接。
其中，相乘和相加都是逐元素（Element-Wise）操作，通过显式的像素对齐方式来引入条件语义信息和保留图像本身的风格信息，可以得到相对优的语义调制特征图。
一般生成网络在解码（上采样）引入条件信息（语义图）进行条件生成，但本发明在编码（特征提取、下采样）和解码（上采样）过程都引入条件信息，可以让生成网络在浅层就开始学习生成缺陷的粗略特征，而深层则可以进一步精调，从而达到更好的生成效果。
所述编码特征图尺寸判断模块4用于执行步骤S4：判断语义调整编码特征图尺寸是否达到一编码特征图尺寸阈值；若为否，则调用所述编码特征提取模块11，对所述语义调整编码特征图进一步操作；若为是，则调用所述解码单元5，对所述语义调整编码特征图进一步操作。
具体地，所述编码特征图尺寸阈值根据需求进行设置，其尺寸阈值越大则表示含有的细节信息越多，但同时生成网络的计算开销也会越大，由于该阈值根据环境、需求不同具备不同设置，本发明在此不作具体限定。
所述解码单元5用于执行步骤S5：对特征图进行特征整合、上采样，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数。
具体地，所述解码单元5包括解码特征整合模块51、解码特征上采样模块52、特征连接模块53和第三语义调制参数获取模块54。
所述解码特征整合模块51用于执行步骤S51：对特征图进行特征整合，获得解码特征图。
具体地，所述特征图为语义调整编码特征图或经过上采样后的特征图，所述特征整合为通过一卷积核对图像进行卷积操作，使特征图上特征信息进行融合处理。
所述解码特征上采样模块52用于执行步骤S52：对解码特征图进行上采样，获得上采样解码特征图。
具体地，对解码特征图进行双线性插值处理以扩大解码特征图的尺寸，获得上采样解码特征图。同时，将上采样解码特征图传入至语义图调制单元2。
其中，通过扩大解码特征图的尺寸，让生成网络逐渐还原特征图尺寸与原始图像相符，同时特征图的分辨率提高，获得的图像越清晰。
所述特征连接模块53用于执行步骤S53：提取存储器中的对应尺寸的语义调整编码特征图并与上采样解码特征图进行堆叠后卷积，获得融合解码特征图。
具体地，所述堆叠后卷积为将当前上采样后的上采样解码特征图与编码单元1中对应大小的语义调整编码特征图进行拼接后卷积，从而对上采样后的上采样解码特征图缺失特征进行补全。
其中，通过堆叠深层至浅层的语义特征后，卷积获得的上采样解码特征图，可以使上采样解码特征图缺失特征得到充分的补充。同时，还有助于模型训练时的梯度反向传播，缓解梯度消失的问题。此外，由于上采样解码特征图的堆叠对象为编码单元1中的语义调整编码特征图，因此该特征图已经过条件信息的调制，从而融合特征图也具备了一定的条件语义特征。
所述第三语义调制参数获取模块54用于执行步骤S54：对上采样解码特征图进行卷积，获得第三语义调制参数。
具体地，所述第三语义调制参数分别具有两个语义调制参数，使融合过程中分别对特征图进行缩放和偏移。
其中，与编码过程相同，在解码过程中，本发明结合解码特征图自身的特征信息进行调节，进一步增强生成缺陷图像的真实性。
所述解码语义融合模块6用于执行步骤S6：通过第三语义调制参数和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图。
具体地，所述融合解码特征图与第三语义调制参数相乘融合，再与第三语义调制参数进行相加融合，从而使融合解码特征图充分融合自身特征信息。再接着与第四语义调制相乘融合，再与第四语义调制进行相加融合，充分融合语义特征信息，并通过一激活函数，如Leaky ReLu，以获得语义调整解码特征图。
其中，相乘和相加都是逐元素（Element-Wise）操作，通过显式的像素对齐方式来引入条件语义信息和保留图像本身的风格信息，可以得到相对优的语义调制特征图。
所述解码特征图尺寸判断模块7用于执行步骤S7：判断语义调整解码特征图尺寸是否达到一解码特征图尺寸阈值；若为否，则调用所述解码特征整合模块51，对所述语义调整编码特征图进一步操作；若为是，则调用所述缺陷图像生成模块8。
具体地，所述解码特征图尺寸阈值根据需求进行设置，其尺寸阈值越大则表示含有的细节信息越多，但同时生成网络的计算开销也会越大，由于该阈值根据环境、需求不同具备不同设置，本发明在此不作具体限定。
所述缺陷图像生成模块8用于执行步骤S8：将语义调整解码特征图进行卷积处理，生成缺陷图。
具体地，通过使用卷积将语义调整解码特征图的通道数降至预设数，获得生成缺陷图。
其中，所述语义调整解码特征图通道预设数根据需求定义，例如灰度图则为一，由于该设置为本领域常规手段，本发明在此不作具体限定。
为了更好地训练生成器以提高生成缺陷图的质量，相对于通过分类器作为判别器，本发明使用基于语义分割的判别器，通过判断图像像素级别的真假和类别信息，可以提供给生成器更准确的监督信息，达到更加的生成效果，本发明所使用的判别器基于U-Net实现，由于该部分为本领域常规技术手段，本发明在此不作具体限定。
相对于现有技术，本发明通过结合语义图与特征图自身对生成过程中的调节，不仅可以为待编辑区域引入语义信息，从而完成条件控制生成缺陷，还使待编辑区域与非编辑区域可以平滑过渡，使生成图像更趋近于真实。同时，本发明将语义图与特征图空间对齐，保持尺寸一致方式进行条件控制，能使待编辑区域与语义图的类别信息高度对齐，从而使生成的缺陷图不需要进一步进行人工标注缺陷信息，生成的缺陷图和缺陷编辑区域标注可直接作为训练数据用于后续检测模型的训练。此外，本发明基于生成缺陷的应用场景，在编码（下采样）和解码（上采样）过程都进行条件信息的引入，可以让生成网络在浅层开始学习生成缺陷的粗略特征，而深层则可以进一步精调缺陷，从而获得更真实的缺陷图。
基于同一发明构思，本申请还提供一种电子设备，可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。该设备包括一个或多个处理器和存储器，其中处理器用于执行程序实现本发明实施例一种工业缺陷样本图像生成的方法；存储器用于存储可由所述处理器执行的计算机程序。
基于同一发明构思，本申请还提供一种计算机可读存储介质，与前述一种工业缺陷样本图像生成的方法的实施例相对应，所述计算机可读存储介质其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所记载的一种工业缺陷样本图像生成的方法的步骤。
本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。
Claims (10)
1.一种工业缺陷样本图像生成的方法，通过一生成对抗网络中的生成网络执行，所述生成网络包括编码部分和解码部分，所述编码部分用于执行特征提取及卷积操作，所述解码部分用于执行特征整合及上采样操作，其特征在于，包括以下步骤：
S1：对无缺陷样本或特征图进行特征提取、卷积，获得编码特征图和第一语义调制参数；
其中，所述第一语义调制参数为对所述编码特征图进行卷积获得的参数；
S2：利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二语义调制参数或第四语义调制参数；
其中，所述语义图为一掩码图，其中通过不同标签标注待生成缺陷区域中的语义信息；所述第二语义调制参数为对所述编码特征图对应的调制语义图进行卷积获得的参数；所述第四语义调制参数为对所述解码特征图对应的调制语义图进行卷积获得的参数；
S3：通过第一语义调制参数和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图；同时存储至一存储器中；
其中，所述编码特征图与第一语义调制参数相乘融合，再与第一语义调制参数进行相加融合；接着与第二语义调制参数相乘融合，再与第二语义调制参数进行相加融合；并通过一激活函数，获得语义调整编码特征图；
S4：判断语义调整编码特征图尺寸是否达到一编码特征图尺寸阈值；若为否，则执行步骤S1；若为是，则执行步骤S5；
S5：对特征图进行特征整合、上采样，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数；
其中，所述第三语义调制参数为对所述解码特征图进行卷积获得的参数；
S6：通过第三语义调制参数和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图；
其中，所述融合解码特征图与第三语义调制参数相乘融合，再与第三语义调制参数进行相加融合；接着与第四语义调制相乘融合，再与第四语义调制进行相加融合；并通过一激活函数，获得语义调整解码特征图；
S7：判断语义调整解码特征图尺寸是否达到一解码特征图尺寸阈值；若为否，则执行步骤S5；若为是，则执行步骤S8；
S8：将语义调整解码特征图进行卷积处理，生成缺陷图。
2.根据权利要求1所述的工业缺陷样本图像生成的方法，其特征在于，所述步骤S1包括以下步骤：
S11：对无缺陷样本或特征图进行特征提取，获得编码特征图；同时传入至步骤S2；
S12：对编码特征图进行卷积，得到第一语义调制参数。
3.根据权利要求2所述的工业缺陷样本图像生成的方法，其特征在于，所述步骤S5包括以下步骤：
S51：对特征图进行特征整合，获得解码特征图；
S52：对解码特征图进行上采样，获得上采样解码特征图；同时传入至步骤S2；
S53：提取存储器中的对应尺寸的语义调整编码特征图并与上采样解码特征图进行堆叠后卷积，获得融合解码特征图；
S54：对上采样解码特征图进行卷积，获得第三语义调制参数。
4.根据权利要求3所述的工业缺陷样本图像生成的方法，其特征在于，所述步骤S2包括以下步骤：
S21：判断当前输入的特征图是否为编码特征图；若为是，则执行步骤S22A、S23A；若为否，则执行步骤S22B、S23B；
S22A：将语义图进行调整至与编码特征图尺寸一致，得到编码调制语义图；
S22B：将语义图进行调整至与上采样解码特征图尺寸一致，得到解码调制语义图；
S23A：对编码调制语义图进行卷积，获得第二语义调制参数；
S23B：对解码调制语义图进行卷积，获得第四语义调制参数。
5.一种工业缺陷样本图像生成装置，包括一生成对抗网络中的生成网络，其特征在于，所述生成网络包括编码单元、语义图调制单元、编码语义融合模块、编码特征图尺寸判断模块、解码单元、解码语义融合模块、解码特征图尺寸判断模块和缺陷图像生成模块；
所述编码单元用于对无缺陷样本或特征图进行特征提取、卷积，获得编码特征图和第一语义调制参数；
其中，所述第一语义调制参数为对所述编码特征图进行卷积获得的参数；
所述语义图调制单元用于利用输入的特征图尺寸信息对语义图进行尺寸调整，并从与输入的特征图对应的调制语义图中提取出第二语义调制参数或第四语义调制参数；
其中，所述语义图为一掩码图，其中通过不同标签标注待生成缺陷区域中的语义信息；所述第二语义调制参数为对所述编码特征图对应的调制语义图进行卷积获得的参数；所述第四语义调制参数为对所述解码特征图对应的调制语义图进行卷积获得的参数；
所述编码语义融合模块用于通过第一语义调制参数和第二语义调制参数对编码特征图进行调制，获得语义调整编码特征图；
其中，所述编码特征图与第一语义调制参数相乘融合，再与第一语义调制参数进行相加融合；接着与第二语义调制参数相乘融合，再与第二语义调制参数进行相加融合；并通过一激活函数，获得语义调整编码特征图；
所述编码特征图尺寸判断模块用于判断语义调整编码特征图尺寸是否达到一编码特征图尺寸阈值；若为否，则调用所述编码单元；若为是，则调用所述解码单元；
所述解码单元用于对特征图进行特征整合、上采样，并将其上采样后特征进行融合和卷积，得到融合解码特征图和第三语义调制参数；
其中，所述第三语义调制参数为对所述解码特征图进行卷积获得的参数；
所述解码语义融合模块用于通过第三语义调制参数和第四语义调制参数对融合解码特征图进行调制，获得语义调整解码特征图；
其中，所述融合解码特征图与第三语义调制参数相乘融合，再与第三语义调制参数进行相加融合；接着与第四语义调制相乘融合，再与第四语义调制进行相加融合；并通过一激活函数，获得语义调整解码特征图；
所述解码特征图尺寸判断模块用于判断语义调整解码特征图尺寸是否达到一解码特征图尺寸阈值；若为否，则调用解码单元；若为是，则调用所述缺陷图像生成模块；
所述缺陷图像生成模块用于将语义调整解码特征图进行卷积处理，生成缺陷图。
6.根据权利要求5所述的工业缺陷样本图像生成装置，其特征在于，所述编码单元包括编码特征提取模块和第一语义调制参数获取模块；
所述编码特征提取模块用于对无缺陷样本或特征图进行特征提取，获得编码特征图；同时传入至所述语义图调制单元；
所述第一语义调制参数获取模块用于对编码特征图进行卷积，得到第一语义调制参数。
7.根据权利要求6所述的工业缺陷样本图像生成装置，其特征在于，所述解码单元包括解码特征整合模块、解码特征上采样模块、特征连接模块和第三语义调制参数获取模块；
所述解码特征整合模块用于对特征图进行特征整合，获得解码特征图；
所述解码特征上采样模块用于对解码特征图进行上采样，获得上采样解码特征图；同时传入至所述语义图调制单元；
所述特征连接模块用于提取存储器中的对应尺寸的语义调整编码特征图并与上采样解码特征图进行堆叠后卷积，获得融合解码特征图；
所述第三语义调制参数获取模块用于对上采样解码特征图进行卷积，获得第三语义调制参数。
8.根据权利要求7所述的工业缺陷样本图像生成装置，其特征在于，所述语义图调制单元包括特征图判断模块、编码语义尺寸调整模块、解码语义尺寸调整模块、第二语义调制参数获取模块和第四语义调制参数获取模块；
所述特征图判断模块用于判断当前输入的特征图是否为编码特征图；若为是，则调用所述编码语义尺寸调整模块以及所述第二语义调制参数获取模块；若为否，则调用所述解码语义尺寸调整模块以及第四语义调制参数获取模块；
所述编码语义尺寸调整模块用于将语义图进行调整至与编码特征图尺寸一致，得到编码调制语义图；
所述解码语义尺寸调整模块用于将语义图进行调整至与上采样解码特征图尺寸一致，得到解码调制语义图；
所述第二语义调制参数获取模块用于对编码调制语义图进行卷积，获得第二语义调制参数；
所述第四语义调制参数获取模块用于对解码调制语义图进行卷积，获得第四语义调制参数。
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的一种工业缺陷样本图像生成的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于权利要求1至4任一项所述的一种工业缺陷样本图像生成的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410194383.4A CN117765372B (zh) | 2024-02-22 | 2024-02-22 | 一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410194383.4A CN117765372B (zh) | 2024-02-22 | 2024-02-22 | 一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765372A CN117765372A (zh) | 2024-03-26 |
| CN117765372B true CN117765372B (zh) | 2024-05-14 |
Family
ID=90322341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410194383.4A Active CN117765372B (zh) | 2024-02-22 | 2024-02-22 | 一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765372B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102303A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学技术大学 | 基于单图像生成对抗网络的语义图像类比方法 |
| CN113436061A (zh) * | 2021-07-01 | 2021-09-24 | 中科人工智能创新技术研究院(青岛)有限公司 | 人脸图像重构方法及系统 |
| WO2022194398A1 (en) * | 2021-03-16 | 2022-09-22 | Huawei Technologies Co., Ltd. | Domain adaptive semantic segmentation |
| CN115205237A (zh) * | 2022-06-30 | 2022-10-18 | 重庆大学 | 一种解决单一语义多样性映射的工业划痕生成对抗网络系统 |
| CN115294103A (zh) * | 2022-09-26 | 2022-11-04 | 征图新视(江苏)科技股份有限公司 | 一种基于语义分割的实时工业表面缺陷检测方法 |
| CN115346224A (zh) * | 2022-08-24 | 2022-11-15 | 西安理工大学 | 基于多级语义引导生成对抗网络的汉字图像修复方法 |
| CN116229531A (zh) * | 2022-12-06 | 2023-06-06 | 重庆邮电大学 | 一种协作渐进生成对抗网络的人脸正面图像合成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11763135B2 (en) * | 2021-03-01 | 2023-09-19 | Robert Bosch Gmbh | Concept-based adversarial generation method with steerable and diverse semantics |
-
2024
- 2024-02-22 CN CN202410194383.4A patent/CN117765372B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102303A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学技术大学 | 基于单图像生成对抗网络的语义图像类比方法 |
| WO2022194398A1 (en) * | 2021-03-16 | 2022-09-22 | Huawei Technologies Co., Ltd. | Domain adaptive semantic segmentation |
| CN113436061A (zh) * | 2021-07-01 | 2021-09-24 | 中科人工智能创新技术研究院(青岛)有限公司 | 人脸图像重构方法及系统 |
| CN115205237A (zh) * | 2022-06-30 | 2022-10-18 | 重庆大学 | 一种解决单一语义多样性映射的工业划痕生成对抗网络系统 |
| CN115346224A (zh) * | 2022-08-24 | 2022-11-15 | 西安理工大学 | 基于多级语义引导生成对抗网络的汉字图像修复方法 |
| CN115294103A (zh) * | 2022-09-26 | 2022-11-04 | 征图新视(江苏)科技股份有限公司 | 一种基于语义分割的实时工业表面缺陷检测方法 |
| CN116229531A (zh) * | 2022-12-06 | 2023-06-06 | 重庆邮电大学 | 一种协作渐进生成对抗网络的人脸正面图像合成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多模态输入的对抗式视频生成方法;于海涛;杨小汕;徐常胜;;计算机研究与发展;20200707(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765372A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102628115B1 (ko) | 영상 처리 방법, 장치, 기록 매체 및 전자 장치 | |
| CN114612289A (zh) | 风格化图像生成方法、装置及图像处理设备 | |
| CN118096487B (zh) | 中间过程监督的深度学习图像水印提取方法及系统 | |
| CN114332150A (zh) | 手写笔迹擦除方法、装置、设备及可读存储介质 | |
| CN117765372B (zh) | 一种工业缺陷样本图像生成的方法、装置、电子设备及存储介质 | |
| CN112580656A (zh) | 一种端到端的文本检测方法、系统、终端及存储介质 | |
| US20230298135A1 (en) | Image super-resolution method using frequency domain features | |
| CN117575891A (zh) | 图像处理方法、装置及终端设备 | |
| CN116403142A (zh) | 视频处理方法、装置、电子设备及介质 | |
| CN112750065A (zh) | 载体对象处理和水印嵌入方法、装置及电子设备 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN115797171A (zh) | 合成图像的生成方法、装置、电子设备及存储介质 | |
| CN109712094B (zh) | 图像处理方法及装置 | |
| Lee et al. | An image-guided network for depth edge enhancement | |
| CN114663320A (zh) | 图像处理方法和数据集扩充方法、存储介质和电子设备 | |
| CN112001268B (zh) | 人脸校准方法及设备 | |
| CN117689669B (zh) | 基于结构自适应上下文敏感的视网膜血管分割方法 | |
| CN115601234A (zh) | 图像超分辨率重建方法、装置、设备及存储介质 | |
| CN110928542B (zh) | 网页适配方法、装置和系统、设备 | |
| CN118071598A (zh) | 一种可调节锐化程度的超分辨率影像重建方法及装置 | |
| CN118488289A (zh) | 一种视频生成的方法、装置、设备、介质及程序产品 | |
| KR20240131503A (ko) | 픽셀레벨 표현 기반 비디오 초해상도를 위한 장치 및 방법 | |
| CN117788967A (zh) | 特征表示模型的训练方法、装置、存储介质及电子设备 | |
| CN118154926A (zh) | 一种图片风格转换方法及设备 | |
| CN118644442A (zh) | 一种高实时性的工业缺陷检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |