CN114529689A - 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 - Google Patents

基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 Download PDF

Info

Publication number
CN114529689A
CN114529689A CN202210432863.0A CN202210432863A CN114529689A CN 114529689 A CN114529689 A CN 114529689A CN 202210432863 A CN202210432863 A CN 202210432863A CN 114529689 A CN114529689 A CN 114529689A
Authority
CN
China
Prior art keywords
point cloud
model
ceramic cup
defect
ceramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210432863.0A
Other languages
English (en)
Other versions
CN114529689B (zh
Inventor
郑泽胜
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yidao Intelligent Information Technology Co ltd
Original Assignee
Guangzhou Yidao Intelligent Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yidao Intelligent Information Technology Co ltd filed Critical Guangzhou Yidao Intelligent Information Technology Co ltd
Priority to CN202210432863.0A priority Critical patent/CN114529689B/zh
Publication of CN114529689A publication Critical patent/CN114529689A/zh
Application granted granted Critical
Publication of CN114529689B publication Critical patent/CN114529689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请涉及缺陷样本生成技术领域，特别地涉及一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统。该方法包括：基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；其中，所述第一对抗网络模型由点云数据训练得到；获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。本申请通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。

Description

基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
技术领域
本申请涉及缺陷样本生成技术领域，特别地涉及一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统。
背景技术
近年来，随着人工智能迅速发展，大数据的时代迅猛而来。在深度学习领域，卷积神经网络出现在人们视野当中，并应用在许多领域，推动着人工智能的更加迅速的发展，然而训练卷积神经网络需要大量的数据，数据的采集数量与质量决定着网络的稳定性与预测的准确性，并且有些数据难以采集。
比如在陶瓷杯缺陷检测中，需要大量且缺陷种类不同的陶瓷杯缺陷数据喂入网络进行训练，这种陶瓷杯缺陷数据往往需要通过人工采集，费时费力，而且很难采集到。
发明内容
为了解决或至少部分地解决上述技术问题，本申请提供了一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其中，该方法包括以下步骤：
基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；
其中，所述第一对抗网络模型由点云数据训练得到；
获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；
将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
可选的，所述第一对抗网络模型的搭建方法如下：
采集陶瓷杯RGB-D信息；
从所述陶瓷杯RGB-D信息中，分别读取RGB图片和深度图片，并将所述RGB图片和所述深度图片转换为点云数据；
将所述点云数据，训练采用ELU激活函数的AutoEncoder网络，得到所述第一对抗网络模型，通过所述第一对抗网络模型生成新点云数据；
其中， AutoEncoder网络中包括第一生成器、第一判别器；
ELU激活函数如下：
Figure 964439DEST_PATH_IMAGE001
x为输入数据，a为调节参数，a>0；
将新点云数据进行三维建模，得到点云模型。
可选的，所述第一对抗网络模型生成所述点云数据包括：
将数据G(z)输入至所述第一生成器中，生成陶瓷杯点云模型Input；
将所述陶瓷杯点云模型Input与完整陶瓷杯点云数据True输入至所述判别器中，经过所述第一生成器与所述第一判别器中的ELU激活函数限制下，判断陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度，生成真实陶瓷杯点云模型的新点云数据；
其中，数据G(z)为从随机均匀分布里采样一个噪声z所合成得到。
可选的，判断所述陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度包括：
提取获得的真实陶瓷杯点云模型的真实特征向量并存储；
从随机均匀分布里采样一个噪声z合成的数据G(z)并 输入至生成器中；及
提取当前模拟生成的陶瓷杯点云模型Input的模拟特征向量，并基于所述真实特征向量判断所述模拟特征向量的相似度。
可选的，所述陶瓷杯缺陷图集包括一种或者多种不同的陶瓷真实缺陷图像。
可选的，所述第二对抗网络模型包括第二生成器网络、第二判别器网络；当噪声图像数据输入至所述第二对抗网络模型时；
所述第二生成器生成陶瓷杯缺陷图；
所述第二判别器比对生成的所述缺陷图与陶瓷真实缺陷图，得到判别结果；
所述第二生成器根据所述判别结果改进相关参数；
所述第二生成器再生成陶瓷杯缺陷图。
可选的，所述预处理包括：依次对图像进行图像去噪操作、图像增强操作。
可选的，所述得到陶瓷缺陷模型的步骤中；
将所述模拟缺陷图，通过3DMax贴图到陶瓷杯模型上，并进行渲染构建所陷陶瓷缺陷模型。
可选的，贴图到陶瓷杯模型上的步骤中；
先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得三维模型。
本申请还提供了一种基于对抗神经网络的陶瓷杯缺陷样本扩增系统，包括：
点云数据模型模块，用于基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；
其中，所述第一对抗网络模型由点云数据训练得到；
缺陷图模块，用于获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；
贴合模块，用于将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
有益效果：
本申请提供的陶瓷杯缺陷样本扩增方法，通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
附图说明
为了更清楚地说明本申请的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本申请的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
图1为本申请实施方式提供的一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法的流程示意图。
图2为本申请实施方式提供的一种对抗神经网络的陶瓷杯缺陷样本扩增系统的结构示意图。
图3为适于用来实现根据本申请一实施方式的方法的计算机系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请发明人发现，在陶瓷杯生产线上采集陶瓷杯缺陷时，通常需要通过人工使用相机拍照。而人工拍照，无法保证每个照片的角度相同、清晰度能够相同（因为人的手存在抖动的情况）。通过人工拍照的方法费时费力，无法大量获取缺陷样本数据。
为此，本申请实施方式提供的技术方案中，基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；其中，所述第一对抗网络模型由点云数据训练得到；获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。通过第一对抗网络模型生成点云模型，通过第二对抗网络模型，生成模拟缺陷图，再进行贴合得到陶瓷缺陷模型，可以生成大量的陶瓷缺陷模型，解决了陶瓷杯缺陷样本难以采集的问题。
下面结合具体实施方式，进行更加详细的说明。
实施方式一
参见图1所示，图1为本申请实施方式提供的一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法的流程示意图。该方法包括以下步骤：
S1、获取陶瓷的图片信息，并转换为点云格式，基于预搭建的第一对抗网络模型，生成新点云数据，并利用新点云数据进行三维建模，得到点云模型；
其中，第一对抗网络模型，由以下方法获取：
步骤S11、深度相机采集陶瓷杯RGB-D信息。
在步骤S11中，通过深度相机获取陶瓷杯模型信息，并利用标准重建方法获得离散点云数据。
其中，标准重建方法为已有的技术，此处不再对其进行详细说明。
在步骤S12中，用Open3D软件，从陶瓷杯RGB-D信息中，分别读取RGB图片和深度图片，并将RGB图片和深度图片转换为点云(pcd)格式并存储，得到点云数据。
具体的，相机坐标下的点云数据是根据rgb图像提供的像素坐标系下的x、y坐标和相机内参就能求出相机坐标系下的X、Y坐标值。
同时深度图直接提供相机坐标系下的Z坐标值，进而得到坐标系下的坐标P=[X YZ]，相机坐标系下的障碍物点的坐标，就是点云传感器数据，也就是相机坐标系下的点云数据。
可以理解，在步骤S13中，利用点云数据，训练第一对抗网络模型，构造的深度卷积神经网络包括第一生成器与第一判别器，基于所搭建的第一对抗网络模型，生成新点云数据。
本申请中的第一对抗网络模型：
减少了三维点云在训练时，正常梯度与自然梯度之间的差距，从而加快了学习。本申请实施方式中的第一对抗网络模型，是在Achlioptas等人提出的AutoEncoder网络的基础上，采用ELU激活函数。
其ELU公式如下：
Figure 337652DEST_PATH_IMAGE002
其中x为输入数据，a为调节参数，a>0。
输入点云数据，对AutoEncoder网络进行训练，其中，相关训练数据有：
完整陶瓷杯形状的点云数据记为True，从一个随机均匀分布里采样一个噪声z所合成的数据G(z)记为Input，生成器所产生的新点云数据记为Output。
在训练过程中，首先将数据G(z)输入至第一生成器中，用于生成新的陶瓷杯点云模型Input，将所生成新的陶瓷杯点云模型Input与完整陶瓷杯点云数据True一起输入至第一判别器中，经过第一生成器与第一判别器中的ELU激活函数的限制下，判断模拟的陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度，从而生成逐渐逼近真实陶瓷杯点云模型的新点云数据。
此外，在步骤S13中，检测模拟的陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度主要通过以下步骤：
S131、提取获得的真实陶瓷杯点云模型的真实特征向量并存储；
S132、从一个随机均匀分布里采样一个噪声z合成的数据G(z)并 输入至第一生成器中；及
S133、第一判别器提取当前模拟生成的陶瓷杯点云模型Input的模拟特征向量，并基于真实特征向量判断模拟特征向量的相似度。
S14、将新点云数据导入3D Max工作面，根据点云结构特征，进行三维建模，得到点云模型。
可以理解，在步骤S14中，首先需要将采集到的点云数据的原始格式转换成AUTODESK软件可以利用的rcs文件，转换工具就是recap或者recap 360,转换完成之后，在3Dmax中实体建模工具下找到点云工具，加载点云，然后会有一个管理点云数据的BOX命令（BOX在里面是指可以绘制出长方体、立方体的命令），这个BOX命令用来显示和隐藏点云数据，方便于对遮挡比较严重的地方进行正确建模。接下来就是在不同显示界面内建模。
S2、获取陶瓷杯缺陷图集，输入预构建的第二对抗网络模型，生成模拟缺陷图；并进行预处理。
具体的，步骤S2包括：
S21、收集真实陶瓷杯缺陷图像。其中，真实陶瓷杯表面缺陷图像包括一种或者多种不同的真实缺陷图像，并进行图像预处理。此外，预处理步骤包括：依次对图像进行图像去噪操作、图像增强操作。
S22、使用真实陶瓷杯表面缺陷图像训练得到的第二对抗网络，可以生成各种类别不一的缺陷图片，模拟生成陶瓷杯表面缺陷图像。
可以理解，在步骤S22中，对于陶瓷杯表面缺陷图数据大量的虚拟生成，构建第二对抗神经网络，主要包括收集到陶瓷杯缺陷图数据并整理，网络参数的初始化，训练模型以及保存网络参数四个步骤。
构建第二对抗网络模型，需要训练2个网络，一个是生成器网络，另一个是判别器网络，其中，生成器网络是一个二分类神经网络，判别器网络是一个串联起来的长网络，也是一个二分类神经网络（只用假样本进行训练）。生成器网络模型输入噪声分布, 把噪声分布映射成很像真实分布的分布, 生成仿造的样本。判断模型输入生成模型的仿造样本, 区分这个样本是否为真实样本。
在步骤S22中，对第二对抗网络模型训练模式为：根据输入的噪声图像数据第二生成器生成一些陶瓷杯缺陷图——第二判别器比对生成的缺陷图与真实收集到的陶瓷杯缺陷图——第二生成器根据判别器结果改进自己的相关参数——第二生成器再生成陶瓷杯缺陷图…，这种模式会一直持续下去，直到生成网络和判别网络无法提升自己，这样整个对抗神经网络模型就会成为一个比较完美的模型，所虚拟生成的陶瓷杯缺陷图更加逼真。
此外，在步骤S22中，还可以使用软件photoshop对图片进行裁剪、旋转、调色，能够使纹理贴图的逼真。
S3、将预处理后的模拟缺陷图，贴合于点云模型，得到陶瓷缺陷模型。
为了使陶瓷缺陷模型更加逼真，进行纹理贴图，将模拟缺陷图，再通过3DMax贴图到陶瓷杯模型上，并进行渲染构建真实感逼真的陶瓷缺陷模型。此外，将二维陶瓷杯表面缺陷图片贴在三维模型的表面，需要先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得具有真实感的三维模型。
实施方式二
参见图2所示，图2为本申请实施方式提供的一种对抗神经网络的陶瓷杯缺陷样本扩增系统的结构示意图。该系统包括：
点云数据模型模块301，用于基于预搭建的第一对抗网络模型，生成新点云数据，并利用新点云数据进行三维建模，得到点云模型；
其中，第一对抗网络模型由点云数据训练得到；还用于：
第一对抗网络模型的搭建方法如下：
采集陶瓷杯RGB-D信息；
从陶瓷杯RGB-D信息中，分别读取RGB图片和深度图片，并将RGB图片和深度图片转换为点云数据；
将点云数据，训练采用ELU激活函数的AutoEncoder网络，得到第一对抗网络模型，通过第一对抗网络模型生成新点云数据；
其中， AutoEncoder网络中包括第一生成器、第一判别器；
ELU激活函数如下：
Figure 467282DEST_PATH_IMAGE001
x为输入数据，a为调节参数，a>0；
将新点云数据进行三维建模，得到点云模型。
第一对抗网络模型生成点云数据包括：
将数据G(z)输入至第一生成器中，生成陶瓷杯点云模型Input；
将陶瓷杯点云模型Input与完整陶瓷杯点云数据True输入至判别器中，经过第一生成器与第一判别器中的ELU激活函数限制下，判断陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度，生成真实陶瓷杯点云模型的新点云数据；
其中，数据G(z)为从随机均匀分布里采样一个噪声z所合成得到。
判断陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度包括：
提取获得的真实陶瓷杯点云模型的真实特征向量并存储；
从随机均匀分布里采样一个噪声z合成的数据G(z)并 输入至生成器中；及
提取当前模拟生成的陶瓷杯点云模型Input的模拟特征向量，并基于真实特征向量判断模拟特征向量的相似度。
陶瓷杯缺陷图集包括一种或者多种不同的陶瓷真实缺陷图像。
缺陷图模块302，用于获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；还用于：
第二对抗网络模型包括第二生成器网络、第二判别器网络；当噪声图像数据输入至第二对抗网络模型时；
第二生成器生成陶瓷杯缺陷图；
第二判别器比对生成的缺陷图与陶瓷真实缺陷图，得到判别结果；
第二生成器根据判别结果改进相关参数；
第二生成器再生成陶瓷杯缺陷。
贴合模块303，用于将预处理后的模拟缺陷图，贴合于点云模型，得到陶瓷缺陷模型。还用于：
得到陶瓷缺陷模型的步骤中；将模拟缺陷图，通过3DMax贴图到陶瓷杯模型上，并进行渲染构建陶瓷缺陷模型。
贴图到陶瓷杯模型上的步骤中；先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得三维模型。
参见图3所示，图3为适于用来实现根据本申请一实施方式的方法的计算机系统的结构示意图。
其中，计算机系统600包括处理器（CPU、GPU、FPGA等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行上述附图所示的实施方式中的部分或全部处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中节点中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，该方法包括以下步骤：
基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；
其中，所述第一对抗网络模型由点云数据训练得到；
获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；
将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
2.根据权利要求1所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述第一对抗网络模型的搭建方法如下：
采集陶瓷杯RGB-D信息；
从所述陶瓷杯RGB-D信息中，分别读取RGB图片和深度图片，并将所述RGB图片和所述深度图片转换为点云数据；
将所述点云数据，训练采用ELU激活函数的AutoEncoder网络，得到所述第一对抗网络模型，通过所述第一对抗网络模型生成新点云数据；
其中， AutoEncoder网络中包括第一生成器、第一判别器；
ELU激活函数如下：
Figure 732464DEST_PATH_IMAGE001
x为输入数据，a为调节参数，a>0；
将新点云数据进行三维建模，得到点云模型。
3.根据权利要求2所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述第一对抗网络模型生成所述点云数据包括：
将数据G(z)输入至所述第一生成器中，生成陶瓷杯点云模型Input；
将所述陶瓷杯点云模型Input与完整陶瓷杯点云数据True输入至所述判别器中，经过所述第一生成器与所述第一判别器中的ELU激活函数限制下，判断陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度，生成真实陶瓷杯点云模型的新点云数据；
其中，数据G(z)为从随机均匀分布里采样一个噪声z所合成得到。
4.根据权利要求3所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，判断所述陶瓷杯点云模型Input与真实陶瓷杯点云模型的相似度包括：
提取获得的真实陶瓷杯点云模型的真实特征向量并存储；
从随机均匀分布里采样一个噪声z合成的数据G(z)并 输入至生成器中；及
提取当前模拟生成的陶瓷杯点云模型Input的模拟特征向量，并基于所述真实特征向量判断所述模拟特征向量的相似度。
5.根据权利要求1所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述陶瓷杯缺陷图集包括一种或者多种不同的陶瓷真实缺陷图像。
6.根据权利要求5所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述第二对抗网络模型包括第二生成器网络、第二判别器网络；当噪声图像数据输入至所述第二对抗网络模型时；
所述第二生成器生成陶瓷杯缺陷图；
所述第二判别器比对生成的所述缺陷图与陶瓷真实缺陷图，得到判别结果；
所述第二生成器根据所述判别结果改进相关参数；
所述第二生成器再生成陶瓷杯缺陷图。
7.根据权利要求1所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述预处理包括：依次对图像进行图像去噪操作、图像增强操作。
8.根据权利要求7所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，所述得到陶瓷缺陷模型的步骤中；
将所述模拟缺陷图，通过3DMax贴图到陶瓷杯模型上，并进行渲染构建所述陶瓷缺陷模型。
9.根据权利要求8所述的基于对抗神经网络的陶瓷杯缺陷样本扩增方法，其特征在于，贴图到陶瓷杯模型上的步骤中；
先对三维模型网格进行划分，网格纹理坐标展开到平面后，将二维的陶瓷杯表面缺陷图片映射到三维网格上，根据纹理坐标值对网格进行渲染，最终获得三维模型。
10.一种基于对抗神经网络的陶瓷杯缺陷样本扩增系统，其特征在于，包括：
点云数据模型模块，用于基于预搭建的第一对抗网络模型，生成新点云数据，并利用所述新点云数据进行三维建模，得到点云模型；
其中，所述第一对抗网络模型由点云数据训练得到；
缺陷图模块，用于获取陶瓷杯缺陷图集，输入预搭建的第二对抗网络模型，生成模拟缺陷图，并进行预处理；
贴合模块，用于将预处理后的模拟缺陷图，贴合于所述点云模型，得到陶瓷缺陷模型。
11.一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1~8任一项所述的方法。
CN202210432863.0A 2022-04-24 2022-04-24 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 Active CN114529689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210432863.0A CN114529689B (zh) 2022-04-24 2022-04-24 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210432863.0A CN114529689B (zh) 2022-04-24 2022-04-24 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统

Publications (2)

Publication Number Publication Date
CN114529689A true CN114529689A (zh) 2022-05-24
CN114529689B CN114529689B (zh) 2022-08-16

Family

ID=81627928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210432863.0A Active CN114529689B (zh) 2022-04-24 2022-04-24 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统

Country Status (1)

Country Link
CN (1) CN114529689B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078853A (zh) * 2023-08-18 2023-11-17 广东工业大学 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144477A (zh) * 2019-12-25 2020-05-12 浙江工业大学之江学院 一种钢材表面缺陷的训练样本生成方法、系统及电子设备
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法
CN111899328A (zh) * 2020-07-10 2020-11-06 西北工业大学 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置
WO2021140510A2 (en) * 2020-01-09 2021-07-15 Datagen Technologies, Ltd. Large-scale generation of photorealistic 3d models
CN113240790A (zh) * 2021-04-14 2021-08-10 北京交通大学 一种基于3d模型和点云处理的钢轨缺陷图像生成方法
CN113593043A (zh) * 2021-08-19 2021-11-02 中山大学 一种基于生成对抗网络的点云三维重建方法与系统
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114359269A (zh) * 2022-03-09 2022-04-15 广东工业大学 基于神经网络的虚拟食品盒缺陷生成方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144477A (zh) * 2019-12-25 2020-05-12 浙江工业大学之江学院 一种钢材表面缺陷的训练样本生成方法、系统及电子设备
WO2021140510A2 (en) * 2020-01-09 2021-07-15 Datagen Technologies, Ltd. Large-scale generation of photorealistic 3d models
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法
CN111899328A (zh) * 2020-07-10 2020-11-06 西北工业大学 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置
CN113240790A (zh) * 2021-04-14 2021-08-10 北京交通大学 一种基于3d模型和点云处理的钢轨缺陷图像生成方法
CN113593043A (zh) * 2021-08-19 2021-11-02 中山大学 一种基于生成对抗网络的点云三维重建方法与系统
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114359269A (zh) * 2022-03-09 2022-04-15 广东工业大学 基于神经网络的虚拟食品盒缺陷生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缪永伟等: "基于生成对抗网络的点云形状保结构补全", 《中国科学:信息科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078853A (zh) * 2023-08-18 2023-11-17 广东工业大学 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质
CN117078853B (zh) * 2023-08-18 2024-03-19 广东工业大学 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质

Also Published As

Publication number Publication date
CN114529689B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
Berger et al. State of the art in surface reconstruction from point clouds
CA2597057C (en) Method and apparatus for enhancing a digital elevation model (dem) for topographical modeling
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110866531A (zh) 一种基于三维建模的建筑物特征提取方法、系统及存储介质
CN112085840B (zh) 语义分割方法、装置、设备及计算机可读存储介质
CN111488865A (zh) 图像优化方法、装置、计算机存储介质以及电子设备
EP2396766A1 (en) Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN106855996B (zh) 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、系统、装置
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
CN114119607B (zh) 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114972646B (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN114529689B (zh) 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
Gadasin et al. Application of Convolutional Neural Networks for Three-Dimensional Reconstruction of the Geometry of Objects in the Image
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
Väänänen et al. Inpainting occlusion holes in 3D built environment point clouds
CN115861409B (zh) 大豆叶面积测算方法、系统、计算机设备及存储介质
CN115375857B (zh) 三维场景重建方法、装置、设备及存储介质
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
CN116051980A (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant