CN117078853B - 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 - Google Patents
一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 Download PDFInfo
- Publication number
- CN117078853B CN117078853B CN202311048589.8A CN202311048589A CN117078853B CN 117078853 B CN117078853 B CN 117078853B CN 202311048589 A CN202311048589 A CN 202311048589A CN 117078853 B CN117078853 B CN 117078853B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- digital twin
- defect
- twin body
- defect sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003321 amplification Effects 0.000 title claims abstract description 24
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004088 simulation Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000004519 manufacturing process Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 20
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于数字孪生体的工件缺陷样本扩增方法，所述基于数字孪生体的工件缺陷样本扩增方法包括：采集产品数据并制作工件数字孪生体，所述产品数字孪生体包括建模、材质以及纹理；通过CA注意力机制改进ConSinGAN网络，使用所述ConSinGAN网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。本文提出的一种基于数字孪生体的工件缺陷样本扩增方法，能够为检测算法提供更多缺陷图案作为训练样本，解决由于训练样本不足导致缺陷检测效果欠佳的问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于数字孪生体的工件缺陷样本扩增方法及存储介质。
背景技术
工业产品缺陷检测方法中，基于深度学习的缺陷视觉检测方法由于效果好，适用性强，应用日益广泛，然而很多企业由于过去依赖人工质检，缺乏数据积累，在新技术应用时面临检测样本数据不足的问题。本文提出一种基于数字孪生体的缺陷样本扩增方法，解决工业上视觉检测算法由于训练样本不足，导致缺陷检测效果欠佳的问题。
针对缺陷样本不足的问题，通常采取以下两种解决方案
1.对现有缺陷采用图像变换的方式扩增，常用的有基于几何变换的扩增方法，对缺陷图像进行翻转，缩放，裁剪，平移，仿射变换等，主要可以减少位置差异，尺度差异，视角差异等带来的影响；基于像素点操作的扩增，对缺陷图像进行噪声加入，模糊，锐化等图像预处理方法，减少成像异常等特殊情况带来的影响。
2.利用无监督的深度学习方法进行数据扩充，其一般做法是使用图像生成模型生成虚拟数据样本对原始数据样本进行扩充。如使用现有缺陷对GAN网络进行训练，训练完成后输入随机噪声，即可生成全新的缺陷样本。
上述方法在缺陷样本扩增方面取得一定效果，但都存在一定不足
1.基于图像变换的扩增方式只能让检测算法更好的识别已有缺陷的不同状态，对未有缺陷的识别能力提升很小。而实际缺陷多种多样，在样本不足的情况下，此种方法对检测算法性能提升不算大。
2.基于生成网络的扩增方式能提升检测网络对未知缺陷的识别能力，但生成网络由于其网络构成的特殊性，其训练往往需要大量的数据支撑，虽然现在已有很多的改进方法降低生成网络的训练要求，但在工业产品缺陷种类多，单种缺陷图片数量少的特殊情况下，还是难以取得较好效果。
发明内容
为了解决上述技术问题，本发明第一方面公开了一种基于数字孪生体的工件缺陷样本扩增方法，所述方法包括：
所述基于数字孪生体的工件缺陷样本扩增方法包括：
制作工件数字孪生体，所述产品数字孪生体包括建模、材质以及纹理；
通过CA注意力机制改进ConSinGAN网络，使用所述ConSinGAN网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；
通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；
通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。
其中一实施方式中，所述采集产品数据并制作工件数字孪生体中，还包括：
测量实际工件产品数据，使用三维建模软件构建工件的三维模型；
制作与所述工件相同的贴图材质。
其中一实施方式中，在通过CA注意力机制改进所述ConSinGAN网络时，还使用SmoothL1损失以及多尺度结构相似度损失LMS-SSIM对损失函数进行改进，以获得模型损失函数：Ltotal＝Ladv+λ1Lrec+λ2LMS-SSIM，其中Ladv是对抗损失，Lrec是重构损失，LMS-SSIM是多尺度结构相似度损失，λ1和λ2是平衡后两个损失函数的超参数。
其中一实施方式中，所述SmoothL1损失的函数公式如下：
其中，y表示真实的图像，表示生成的图像，n表示图像中像素的数量，zi是一个平滑函数，用于计算每个像素点的损失值，当/>小于1时，使用平方误差作为损失函数，当大于等于1时，使用绝对误差作为损失函数。
其中一实施方式中，所述多尺度结构相似度损失LMS-SSIM的函数公式如下：
LMS-SSIM＝1-MS-SSIM(G，F)
其中，G，F分别表示生成器产生的图片和同尺寸缩小的原图，M：表示不同尺度，μG，μF：分别表示为G，F的平均值，σ2 G，σ2 F为G，F的方差，σGF是协方差，c1＝(k1L)2，c2＝(k2L)2是维持稳定的常数，L是图像的动态范围，k1＝0.01，k2＝0.03，βm,γm表示两项之间的相对重要性。
其中一实施方式中，在通过图像融合将扩增缺陷样本贴合至工件数字孪生体，所述图像融合为泊松融合算法，包括以下步骤：
根据实际缺陷位置计算其所在工业缺陷图片上的UV位置，将UV位置转换为像素坐标作为扩增缺陷样本融合中心位置；
对扩增缺陷样本进行图形变换得到最终缺陷样式，所述图形变换包括缩放、旋转；
使用泊松融合算法将扩增缺陷样本与工件图片进行融合，得到带缺陷的工件数字孪生体。
其中一实施方式中，通过引擎搭建工件缺陷成像仿真环境时，所述配置成像参数包括设置光源参数、设置相机和镜头参数、设置产线、设置工件和材质、选择生成缺陷。
其中一实施方式中，所述CA注意力机制的结构包括特征输入模块、池化层、Concat函数模块、卷积层、ReLU激活函数模块。
本发明第二方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于数字孪生体的工件缺陷样本扩增方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，通过制作与实际工业产品相同的工件数字孪生体，并通过ConSinGAN网络对已有的样本进行扩增，扩增缺陷样本后，将扩增缺陷样本图像融合到工件数字孪生体中，获得更多虚拟工件缺陷，为缺陷样本数据提供更多训练样本。本发明通过将CA注意力机制加入ConSinGAN网络，提高训练的稳定性和生成缺陷的多样性。通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。根据使用者的需求，对工件数字孪生体模型进行各种位姿的摆放，不同缺陷的工件贴图的更换，然后使用虚拟相机渲染出图，即可得到最终扩展的虚拟工件缺陷，为检测算法的深度学习提供更多缺陷样本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于数字孪生体的工件缺陷样本扩增方法的流程示意图；
图2是本发明实施例公开的一种基于数字孪生体的工件缺陷样本扩增方法的步骤流程图；
图3是本发明实施例公开的数字孪生体的结构示意图；
图4是本发明实施例公开的实际缺陷的结构示意图；
图5是本发明实施例公开的CA注意力机制的结构示意图；
图6是本发明实施例中使用注意力机制与生成器重构误差之间的关系图；
图7是本发明实施例中图像融合的步骤流程图；
图8是本发明实施例中工件缺陷成像仿真环境的结构示意图；
图9是本发明实施例中搭建工件缺陷成像仿真环境的步骤流程图；
图10是本发明实施例中虚拟工件缺陷样本的结构示意图；
图11是本发明实施例公开的一种计算机存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于数字孪生体的工件缺陷样本扩增方法及存储介质，首先通过制作与实际工业产品相同的工件数字孪生体，并通过ConSinGAN网络对已有的样本进行扩增，扩增缺陷样本后，将扩增缺陷样本图像融合到工件数字孪生体中，获得更多虚拟工件缺陷，为缺陷样本数据提供更多训练样本。本发明通过将CA注意力机制加入ConSinGAN网络，提高训练的稳定性和生成缺陷的多样性。通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。根据使用者的需求，对工件数字孪生体模型进行各种位姿的摆放，不同缺陷的工件贴图的更换，然后使用虚拟相机渲染出图，即可得到最终扩展的虚拟工件缺陷。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于数字孪生体的工件缺陷样本扩增方法的流程示意图。如图1和图2所示，该基于数字孪生体的工件缺陷样本扩增方法可以包括以下操作：
所述基于数字孪生体的工件缺陷样本扩增方法包括：
101制作工件数字孪生体，所述产品数字孪生体包括建模、材质以及纹理；其中一实施方式中，所述采集产品数据并制作工件数字孪生体中，还包括：测量实际工件产品数据，使用三维建模软件构建工件的三维模型；制作与所述工件相同的贴图材质。具体地，首先要构建工件的数字孪生体：测量实际工业产品数据，通过三维建模软件Blender构建产品的三维模型，并制作相应的材质，将材质导出PBR贴图，以便在游戏引擎中呈现出一样的材质效果。
102通过CA注意力机制改进ConSinGAN网络，使用所述ConSinGAN网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；可以理解的是，训练图片像素大小越大，网络训练速度就越慢，且考虑到工业缺陷样本大多具有背景单一且缺陷图像在整图中占比较小的特点，如果直接将缺陷原图给模型训练，不仅训练速度慢，且大面积的单一背景影响模型对缺陷特征的学习。因此为了进一步提高生成网络在此类特殊工作情况下的稳定性和生成图样的多样性，本方法采取仅将工件缺陷部分给予生成模型训练并生成虚拟缺陷，然后使用图像融合方法，将虚拟缺陷与真实工件图片融合以产生最终的虚拟工件缺陷的方法以减少ConSinGAN生成网络的运算量，提高运算速度。进一步，考虑到工件缺陷的匮乏性，极端情况下一个工件缺陷种类可能只有一两张图片的情况下，需要通过改进ConSinGAN生成网络提高训练的稳定性和生成缺陷的多样性。
因此在本申请中，引入CA注意力机制对ConSinGAN网络进行改进，注意力机制在深度学习领域得到广泛应用，特别是在计算机视觉中的目标检测和语义分割等任务中效果显著；如图5所示，CA注意力机制的结构包括特征输入模块、池化层、Concat函数模块、卷积层、ReLU激活函数模块。CA注意力机制与其他常见的SE、CBAM机制相比，在具有更小计算量的同时，更能在考虑局部结构信息的情况下，捕获空间位置和通道之间的关系来实现更为精细的全局上下文建模，有助于强化网络在面对小样本表面缺陷生成任务时的特征表达能力。如图6所示，图6为引入不同注意力机制的重构损失函数的训练过程中，生成器输出的图像与原始图像之间的重构误差关系图，可见引入坐标注意力机制的重构损失函数收敛最快，因此坐标注意力机制的引入还能够更好地约束生成器，使其生成更逼真的图像。
损失函数的设计会很大程度影响生成网络的稳定性和产出结果的多样性，ConSinGAN生成网络的原始损失函数包括对抗损失以及重构损失，公式如下：
其中一实施方式中，在通过CA注意力机制改进所述ConSinGAN网络时，还使用SmoothL1损失以及多尺度结构相似度损失LMS-SSIM对损失函数进行改进，以获得模型损失函数：Ltotal＝Ladv+λ1Lrec+λ2LMS-SSIM，其中Ladv是对抗损失，Lrec是重构损失，LMS-SSIM是多尺度结构相似度损失，λ1和λ2是平衡后两个损失函数的超参数。
具体地，SmoothL1损失是一种基于L1范数的平滑函数，相比于MSE损失，它对异常值的响应更加平滑，因此可以提高模型的稳定性，所述SmoothL1损失的函数公式如下：
其中，y表示真实的图像，表示生成的图像，n表示图像中像素的数量，zi是一个平滑函数，用于计算每个像素点的损失值，当/>小于1时，使用平方误差作为损失函数，当大于等于1时，使用绝对误差作为损失函数。
MS-SSIM是基于SSIM方法的改进，在MS-SSIM中，首先将两个图像分别进行多尺度分解，然后在每个尺度上分别计算SSIM指标，最后将不同尺度上的SSIM指标进行加权平均得到最终的MS-SSIM指标。相比于SSIM，MS-SSIM能更好地反映图像在多个尺度上的结构相似性，因此更适合需求图像质量更高、尺度多样的工业缺陷生成领域的应用，所述多尺度结构相似度损失LMS-SSIM的函数公式如下：
LMS-SSIM＝1-MS-SSIM(G，F)
其中，G，F分别表示生成器产生的图片和同尺寸缩小的原图，M：表示不同尺度，μG，μF：分别表示为G，F的平均值，σ2 G，σ2 F为G，F的方差，σGF是协方差，c1＝(k1L)2，c2＝(k2L)2是维持稳定的常数，L是图像的动态范围，k1＝0.01，k2＝0.03，βm,γm表示两项之间的相对重要性。
因此使用SmoothL1损失以及多尺度结构相似度损失LMS-SSIM对损失函数进行改进的ConSinGAN网络损失函数为Ltotal＝Ladv+λ1Lrec+λ2LMS-SSIM。
103通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；
其中一实施方式中，在通过图像融合将扩增缺陷样本贴合至工件数字孪生体，所述图像融合为泊松融合算法，如图7所示，包括以下步骤：
根据实际缺陷位置计算其所在工业缺陷图片上的UV位置，将UV位置转换为像素坐标作为扩增缺陷样本融合中心位置；
对扩增缺陷样本进行图形变换得到最终缺陷样式，所述图形变换包括缩放、旋转；
使用泊松融合算法将扩增缺陷样本与工件图片，即工件纹理的贴图进行融合，得到带缺陷的工件数字孪生体。
104通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。其中一实施方式中，通过游戏引擎搭建工件缺陷成像仿真环境时，成像仿真系统如图8所示，使用该成像仿真系统进行仿真成像的流程图9所示，使用者通过三维建模软件建模，搭建成像场景所需要的设备模型，然后导入游戏引擎Unity中，搭建一个成像场景；然后导入构建好的带缺陷的工件数字孪生体，参照PBR渲染流程，设置好产品的材质属性，以产生真实的渲染效果。最后对比真实缺陷的成像参数，设置好虚拟相机，镜头，光源等参数，做好最终成像准备；所述配置成像参数包括设置光源参数、设置相机和镜头参数、设置产线、设置工件和材质、选择生成缺陷。
完成上述准备后，根据使用者的需求，对工件数字孪生模型进行各种位姿的摆放，不同缺陷的工件贴图的更换，然后使用虚拟相机渲染出图，即可得到最终扩展的虚拟工件缺陷。如图10所示，从左到右分别为压痕，划痕，拉伤的虚拟工件缺陷样本。
本发明实施例至少具有以下有益效果：
(1)本发明通过仅将工件缺陷部分给予生成模型训练并生成虚拟缺陷，然后使用图像融合方法，将虚拟缺陷与真实工件图片融合以产生最终的虚拟工件缺陷的方法。降低训练图片像素过大和背景单一对GAN生成网络造成的影响，提高了生成网络的稳定性和生成图片的多样性，生成更多未有缺陷。
(2)在缺陷样本较少的情况下，通过CA注意力机制改进生成网络，确保在单种缺陷图像较少的情况下仍能够提高缺陷样本的质量和数量。
可见，实施图1所描述的基于数字孪生体的工件缺陷样本扩增方法，首先通过制作与实际工业产品相同的工件数字孪生体，并通过ConSinGAN网络对已有的样本进行扩增，扩增缺陷样本后，将扩增缺陷样本图像融合到工件数字孪生体中，获得更多虚拟工件缺陷，为缺陷样本数据提供更多训练样本。本发明通过将CA注意力机制加入ConSinGAN网络，提高训练的稳定性和生成缺陷的多样性。通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。根据使用者的需求，对工件数字孪生体模型进行各种位姿的摆放，不同缺陷的工件贴图的更换，然后使用虚拟相机渲染出图，即可得到最终扩展的虚拟工件缺陷。
实施例二
请参阅图11，图11是本发明实施例公开的一种计算机存储介质的结构示意图。如图11所示，本发明实施例公开了一种计算机存储介质201，计算机存储介质201存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的基于数字孪生体的工件缺陷样本扩增方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各通过SDK版本混搭进行快速修复的方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(RandomAccessMemory，RAM)、可编程只读存储器(ProgrammableRead-onlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory，EPROM)、一次可编程只读存储器(One-timeProgrammableRead-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammableRead-OnlyMemory，EEPROM)、只读光盘(CompactDiscRead-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于数字孪生体的工件缺陷样本扩增方法及存储介质所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (9)
1.一种基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述基于数字孪生体的工件缺陷样本扩增方法包括：
制作工件数字孪生体，所述工件数字孪生体包括建模、材质以及纹理；
通过CA注意力机制改进ConSinGAN网络，使用所述ConSinGAN网络对不同实际缺陷进行缺陷扩增预处理，获取若干扩增缺陷样本；
通过图像融合将扩增缺陷样本贴合至工件数字孪生体，生成带缺陷的工件数字孪生体；
通过引擎搭建工件缺陷成像仿真环境，配置成像参数并导入带缺陷的工件数字孪生体进行模拟，以获取虚拟缺陷样本。
2.根据权利要求1所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述制作工件数字孪生体中，还包括：
测量实际工件产品数据，使用三维建模软件构建工件的三维模型；
制作与所述工件相同的贴图材质。
3.根据权利要求1所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，在通过CA注意力机制改进所述ConSinGAN网络时，还使用SmoothL1损失以及多尺度结构相似度损失LMS-SSIM对损失函数进行改进，以获得模型损失函数：Ltotal＝Ladv+λ1Lrec+λ2LMS-SSIM，其中Ladv是对抗损失，Lrec是重构损失，LMS-SSIM是多尺度结构相似度损失，λ1和λ2是平衡后两个损失函数的超参数。
4.根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述SmoothL1损失的函数公式如下：
其中，y表示真实的图像，表示生成的图像，n表示图像中像素的数量，zi是一个平滑函数，用于计算每个像素点的损失值，当/>小于1时，使用平方误差作为损失函数，当大于等于1时，使用绝对误差作为损失函数。
5.根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述多尺度结构相似度损失LMS-SSIM的函数公式如下：
LMS-SSIM＝1-MS-SSIM(G，F)
其中，G，F分别表示生成器产生的图片和同尺寸缩小的原图，M：表示不同尺度，μG，μF：分别表示为G，F的平均值，σ2 G，σ2 F为G，F的方差，σGF是协方差，c1＝(k1L)2，c2＝(k2L)2是维持稳定的常数，L是图像的动态范围，k1＝0.01，k2＝0.03，βm,γm表示两项之间的相对重要性。
6.根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，在通过图像融合将扩增缺陷样本贴合至工件数字孪生体，所述图像融合为泊松融合算法，包括以下步骤：
根据实际缺陷位置计算其所在工业缺陷图片上的UV位置，将UV位置转换为像素坐标作为扩增缺陷样本融合中心位置；
对扩增缺陷样本进行图形变换得到最终缺陷样式，所述图形变换包括缩放、旋转；
使用泊松融合算法将扩增缺陷样本与工件图片进行融合，得到带缺陷的工件数字孪生体。
7.根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，通过引擎搭建工件缺陷成像仿真环境时，所述配置成像参数包括设置光源参数、设置相机和镜头参数、设置产线、设置工件和材质、选择生成缺陷。
8.根据权利要求3所述的基于数字孪生体的工件缺陷样本扩增方法，其特征在于，所述CA注意力机制的结构包括特征输入模块、池化层、Concat函数模块、卷积层、ReLU激活函数模块。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于数字孪生体的工件缺陷样本扩增方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048589.8A CN117078853B (zh) | 2023-08-18 | 2023-08-18 | 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048589.8A CN117078853B (zh) | 2023-08-18 | 2023-08-18 | 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078853A CN117078853A (zh) | 2023-11-17 |
| CN117078853B true CN117078853B (zh) | 2024-03-19 |
Family
ID=88711108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311048589.8A Active CN117078853B (zh) | 2023-08-18 | 2023-08-18 | 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078853B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016082454A (ja) * | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | 撮像装置 |
| CN112070716A (zh) * | 2020-08-03 | 2020-12-11 | 西安理工大学 | 一种基于深度学习的印刷缺陷智能识别方法 |
| CN113569475A (zh) * | 2021-07-21 | 2021-10-29 | 上海工程技术大学 | 一种基于数字孪生技术的地铁轴箱轴承故障诊断系统 |
| CN113902939A (zh) * | 2021-07-22 | 2022-01-07 | 深圳市深视创新科技有限公司 | 基于孪生网络的工业产品大缺陷检测方法 |
| KR20220011461A (ko) * | 2020-07-21 | 2022-01-28 | 한국전력공사 | 디지털 트윈 가상 모델을 이용한 발전 설비 고장 진단 장치 및 방법 |
| CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 |
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| CN114842284A (zh) * | 2022-03-17 | 2022-08-02 | 兰州交通大学 | 一种基于注意力机制和dcgan的钢轨表面缺陷图像扩充方法 |
| CN114880951A (zh) * | 2022-06-06 | 2022-08-09 | 浙江理工大学 | 一种基于数字孪生的织物瑕疵预测方法 |
| CN115393666A (zh) * | 2022-08-02 | 2022-11-25 | 广东工业大学 | 图像分类中基于原型补全的小样本扩充方法及系统 |
| CN115795343A (zh) * | 2022-11-22 | 2023-03-14 | 郑州轻工业大学 | 基于数字孪生的不平衡样本电表生产设备状态分析方法 |
| CN116593843A (zh) * | 2023-06-13 | 2023-08-15 | 广东电网有限责任公司 | 一种气体绝缘组合电器缺陷检测方法、系统、设备和介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943675A (zh) * | 2021-02-09 | 2022-08-26 | 富泰华工业（深圳）有限公司 | 瑕疵样本数据增广方法、电子设备及存储介质 |
-
2023
- 2023-08-18 CN CN202311048589.8A patent/CN117078853B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016082454A (ja) * | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | 撮像装置 |
| KR20220011461A (ko) * | 2020-07-21 | 2022-01-28 | 한국전력공사 | 디지털 트윈 가상 모델을 이용한 발전 설비 고장 진단 장치 및 방법 |
| CN112070716A (zh) * | 2020-08-03 | 2020-12-11 | 西安理工大学 | 一种基于深度学习的印刷缺陷智能识别方法 |
| CN113569475A (zh) * | 2021-07-21 | 2021-10-29 | 上海工程技术大学 | 一种基于数字孪生技术的地铁轴箱轴承故障诊断系统 |
| CN113902939A (zh) * | 2021-07-22 | 2022-01-07 | 深圳市深视创新科技有限公司 | 基于孪生网络的工业产品大缺陷检测方法 |
| CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 |
| CN114842284A (zh) * | 2022-03-17 | 2022-08-02 | 兰州交通大学 | 一种基于注意力机制和dcgan的钢轨表面缺陷图像扩充方法 |
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| CN114880951A (zh) * | 2022-06-06 | 2022-08-09 | 浙江理工大学 | 一种基于数字孪生的织物瑕疵预测方法 |
| CN115393666A (zh) * | 2022-08-02 | 2022-11-25 | 广东工业大学 | 图像分类中基于原型补全的小样本扩充方法及系统 |
| CN115795343A (zh) * | 2022-11-22 | 2023-03-14 | 郑州轻工业大学 | 基于数字孪生的不平衡样本电表生产设备状态分析方法 |
| CN116593843A (zh) * | 2023-06-13 | 2023-08-15 | 广东电网有限责任公司 | 一种气体绝缘组合电器缺陷检测方法、系统、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| Real-time implementation of fabric defect detection based on variational automatic encoder with structure similarity;Wei Wei;《Journal of Real-time Image Processing》;摘要 * |
| 数字孪生下的超大城市空间三维信息的建设与更新技术研究;李志鹏;金雯;王斯健;王伦;;科技资讯(22);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078853A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | Variational mesh segmentation via quadric surface fitting | |
| JP2018073393A (ja) | 深度マップからの現実の物体の３ｄ再構築 | |
| CN114092386A (zh) | 缺陷检测方法和设备 | |
| JP4880091B2 (ja) | ３ｄテクスチャの超解像のための画像生成装置及び方法 | |
| Tretschk et al. | Demea: Deep mesh autoencoders for non-rigidly deforming objects | |
| CN111199531A (zh) | 基于泊松图像融合及图像风格化的交互式数据扩展方法 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| CN109829353B (zh) | 一种基于空间约束的人脸图像风格化方法 | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN110021000B (zh) | 基于图层变形的发际线修复方法及装置 | |
| CN113450396B (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| CN109829925B (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
| US20220392025A1 (en) | Restoring degraded digital images through a deep learning framework | |
| CN112967373B (zh) | 一种基于非线性3dmm的人脸图像特征编码方法 | |
| CN112927354A (zh) | 基于实例分割的三维重建方法、系统、存储介质及终端 | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| Zhang et al. | Smartshadow: Artistic shadow drawing tool for line drawings | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| Dinev et al. | User‐guided lip correction for facial performance capture | |
| CN117078853B (zh) | 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质 | |
| Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
| Tous | Pictonaut: movie cartoonization using 3D human pose estimation and GANs | |
| CN116363561A (zh) | 一种时序动作定位方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |