CN114119607B - 基于深度神经网络的酒瓶缺陷样本生成方法及系统 - Google Patents

基于深度神经网络的酒瓶缺陷样本生成方法及系统 Download PDF

Info

Publication number
CN114119607B
CN114119607B CN202210065439.7A CN202210065439A CN114119607B CN 114119607 B CN114119607 B CN 114119607B CN 202210065439 A CN202210065439 A CN 202210065439A CN 114119607 B CN114119607 B CN 114119607B
Authority
CN
China
Prior art keywords
wine bottle
sample
defect
characteristic diagram
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210065439.7A
Other languages
English (en)
Other versions
CN114119607A (zh
Inventor
李博
郑泽胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yidao Intelligent Information Technology Co ltd
Original Assignee
Guangzhou Yidao Intelligent Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yidao Intelligent Information Technology Co ltd filed Critical Guangzhou Yidao Intelligent Information Technology Co ltd
Priority to CN202210065439.7A priority Critical patent/CN114119607B/zh
Publication of CN114119607A publication Critical patent/CN114119607A/zh
Application granted granted Critical
Publication of CN114119607B publication Critical patent/CN114119607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/073—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请涉及缺陷样本生成技术领域，特别地涉及一种基于深度神经网络的酒瓶缺陷样本生成方法及系统。该方法包括：获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，扩充后的数据集输入预搭建的对抗神经生成网络，扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。本申请的缺陷生成方法通过对抗神经生成网络输出大量的酒瓶缺陷虚拟样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。

Description

基于深度神经网络的酒瓶缺陷样本生成方法及系统
技术领域
本申请涉及缺陷样本生成技术领域，特别地涉及一种基于深度神经网络的酒瓶缺陷样本生成方法及系统。
背景技术
虚拟样本主要应用于生产线布局、生产过程物流仿真。随着VR虚拟现实技术和数字孪生技术的的快速发展，利用计算机进行产线仿真、预测和优化工业生产系统的虚拟技术日益成熟。而数字化工厂技术的快速发展，虚拟产线仿真技术作为验证实体工业产线稳定性和可用性的关键技术，也已日趋成熟。
酒瓶生产线是数字孪生虚拟仿真的重点行业，采用虚拟酒瓶缺陷样本来攻击和测试虚拟酒瓶生产线的稳定性的过程中有很多问题亟待解决。
目前虚拟酒瓶缺陷样本主要靠手工制作或者产线采集两种方式，即通过手工制作表面瑕疵表面模型，或者将真实拍照的瑕疵图片贴至酒瓶的三维模型上来达到仿真的效果。
而手工制作的方式中：
通过手工制作表面瑕疵缺陷模型的方法主要依赖于三维模型建模师的建模经验，该方法做出来的表面缺陷与真实的酒瓶表面缺陷会有一些差距，无法达到以假乱真的地步，且制作模型的过程中耗时耗力，无法达到大规模制作酒瓶表面缺陷检测的要求。
生产线采集的方式中：
通过产线拍摄瑕疵照片，再通过人工向三维模型贴合的方法虽然可以达到使缺陷样本看起来很逼真的目的，但是由于真实酒瓶生产环境中的缺陷样本较少，无法大量采集，所以也无法进行高效和大量的酒瓶缺陷样本生成，并不适用于大规模制作酒瓶表面缺陷检测。
发明内容
为了解决或至少部分地解决上述技术问题，本申请提供了一种基于深度神经网络的酒瓶缺陷样本生成方法，其中，该方法包括以下步骤：
获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，所述样本集包括训练样本；
扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；
其中，预搭建的所述对抗神经生成网络，通过所述训练样本进行训练得到；
所述对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过所述随机噪声网络结构进行处理生成特征图，并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及
将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。
通过采集真实酒瓶缺陷图片数据集，训练对抗神经生成网络，使用对抗神经网络缺陷样本生成技术，用少量真实采集的酒瓶缺陷样本图片来生成大量的酒瓶缺陷样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。
可选的，所述真实酒瓶缺陷图片数据集包括：
针对具有缺陷的酒瓶，拍照得到的图片；以及
针对无任缺陷的酒瓶，拍照得到的图片。
可选的，所述预处理包括：将所述真实酒瓶缺陷图片数据集进行配准、裁切。
可选的，所述扩充操作包括：将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，所述平移操作后空出的区域进行填充颜色，得到第一样本集；
将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，所述旋转操作后空出的区域进行填充颜色，得到第二样本集；
将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，所述镜像操作后空出的区域进行填充颜色，得到第三样本集；
将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；
将所述第一样本集、所述第二样本集、所述第三样本集、所述第四样本集、未进行预处理操作的所述原始样本集进行合并。
可选的，所述对抗神经生成网络中：
所述随机噪声网络结构接收输入的随机噪声图像，将所述随机噪声图像进行形变操作，得到第一特征图；
所述生成网络结构获取所述第一特征图，进行卷积操作得到第二特征图，第二特征图即虚拟样本。
可选的，所述形变操作包括：
在所述随机噪声图像中的第一控制点上拖拽轨迹；
将拉伸后的所述随机噪声图像，利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换；变换函数如下：
Figure 87078DEST_PATH_IMAGE002
其中，该式中
Figure 800956DEST_PATH_IMAGE003
为当前需要移动的像素点，
Figure 315114DEST_PATH_IMAGE004
，
Figure 498272DEST_PATH_IMAGE005
，
Figure 843803DEST_PATH_IMAGE006
，
Figure 400686DEST_PATH_IMAGE007
，
Figure 464457DEST_PATH_IMAGE008
，其中，T表示矩阵转置，
Figure 397778DEST_PATH_IMAGE009
为第i个移动前的第一控制点，
Figure 863394DEST_PATH_IMAGE010
为第i个移动后的第一控制点，
Figure 591179DEST_PATH_IMAGE011
为第j个移动后的图像像素点，
Figure 142246DEST_PATH_IMAGE012
为第j个移动后的图像像素点，
Figure 613679DEST_PATH_IMAGE013
为移动权重，
Figure 933802DEST_PATH_IMAGE014
为移动权重。
可选的，所述进行卷积操作得到第二特征图的步骤中；
所述生成网络结构中包括第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核；
当所述第一特征图输入至所述生成网络结构中时；
所述第一反卷积核对所述第一特征图进行卷积上采样，得到第一采样特征图；
所述第二反卷积核对所述第一采样特征图进行卷积上采样，得到第二采样特征图；
所述第三反卷积核对所述第二采样特征图进行卷积上采样，得到第三采样特征图；
所述第四反卷积核对所述第三采样特征图进行卷积上采样，得到第二特征图。
可选的，所述生成网络结构还包括判别网络结构，所述判别网络结构中包括第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核；
所述第二特征图、作为标签的预先采集的真实缺陷样本输入至所述判别网络结构，通过所述判别网络结构合成得到第三特征图；
所述第三特征图通过第五反卷积核卷积操作得到第一卷积特征图；
所述第一卷积特征图通过第六反卷积核卷积操作得到第二卷积特征图；
所述第二卷积特征图通过第七反卷积核卷积操作得到第三卷积特征图；
所述第三卷积特征图通过第八反卷积核卷积操作得到回归值；
其中，所述回归值用于判别生成的第二特征图与真实样本之间的相似度。
可选的，所述将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面的步骤中；
采用第二控制点对预先构建的3D酒瓶表面坐标的估计，得到3D酒瓶的展开图；
将所述第二特征图，根据所述展开图进行裁切，将每个独立的坐标进行参数化；
将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；
将所述图像面片的角点集合，与所述3D酒瓶表面上位置对应的四个角点集合进行仿射变换计算得到映射矩阵；
根据所述3D酒瓶表面的形状，将所述第二特征图进行仿射变换，并根据对应位置贴至所述3D酒瓶表面。
本申请还提供了一种基于深度神经网络的酒瓶缺陷样本生成系统，包括：
获取模块，用于获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，样本集包括训练样本；
生成模块，用于将扩充后的数据输入预搭建的对抗神经生成网络，生成虚拟样本；
其中，预搭建的对抗神经生成网络，通过训练样本进行训练得到；
对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过随机噪声网络结构进行处理生成特征图，并输入至生成网络结构，通过生成网络结构生成虚拟样本；
贴合模块，用于将虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。
有益效果：
1. 本申请提供的基于深度神经网络的酒瓶缺陷样本生成方法，通过采集真实酒瓶缺陷图片数据集，训练对抗神经生成网络，使用对抗神经网络缺陷样本生成技术，用少量真实采集的酒瓶缺陷样本图片来生成大量的酒瓶缺陷样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。
2. 本申请的酒瓶缺陷样本生成方法，仅需要以少量真实缺陷样本作为对抗神经网络的图像训练数据，便可以解决样本难收集、数量少等问题，以及可解决大规模生成问题，进而为社会节省人力、物力和财力资源。
3. 本申请提供的基于深度神经网络的酒瓶缺陷样本生成方法，通过仿射变换将2D图像贴合至3D物体表面，提高了生成缺陷模型后的逼真度，达到真实仿真的目的。
附图说明
为了更清楚地说明本申请的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本申请的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
图1为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法的流程示意图。
图2为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成系统的结构示意图。
图3为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中瓶盖和瓶身裁切图。
图4为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中对抗神经生成网络的结构图。
图5为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中2D图像贴合至3D模型表面的形变过程图。
图6为适于用来实现根据本申请一实施方式的方法的计算机系统的结构示意图。
图7为本申请实施方式提供的控制点的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
根据本申请实施方式提供的技术方案，获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，所述样本集包括训练样本；扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；其中，预搭建的所述对抗神经生成网络，通过所述训练样本进行训练得到；所述对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过所述随机噪声网络结构进行处理生成特征图，并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；以及将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。通过采集真实酒瓶缺陷图片数据集，训练对抗神经生成网络，同时通过对抗神经生成网络输出大量的酒瓶缺陷虚拟样本，使用对抗神经网络缺陷样本生成技术，用少量真实采集的酒瓶缺陷样本图片来生成大量的酒瓶缺陷样本，并贴合于3D酒瓶模型，提高酒瓶缺陷样本的生成效率、生成稳定性以及真实度。真实度越高，越逼真。
下面结合具体实施方式，进行更加详细的说明。
实施方式一
在描述基于深度神经网络的酒瓶缺陷样本生成方法之前，需要说明以下内容：
本申请所指的酒瓶缺陷，通常包括但不限于瓶盖瑕疵、标贴瑕疵、喷码瑕疵、瓶身瑕疵等。
此外，还需要建立酒瓶3D模型，酒瓶3D模型的建立可以包括以下步骤：
1）根据实际生产的酒瓶尺寸利用Solidworks等软件创建1：1酒瓶3D模型，模型表面设置为空白，为后期粘贴表面瑕疵图片做好准备；
2）根据酒瓶瓶盖表面和瓶身表面尺寸，设计酒瓶样本展开尺寸图；该尺寸图可以作为步骤S12中所需要的尺寸图，方便进行预处理步骤。
21）将瓶盖分为两部分进行裁切，即瓶盖顶部圆面和瓶盖腰部圆环。顶部圆面作为一张图片，腰部圆环部分拉伸成一个矩形图片，这两张平面尺寸图作为瓶盖数据采集、裁切和合成的尺寸标准；
22）对瓶身表面进行裁切，瓶身正面作为一张图片，瓶身背面作为一张图片，瓶身底部作为一张图片，这两张平面尺寸图作为瓶身数据采集、裁切和合成的尺寸标准，参见图3所示，图3为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中瓶盖和瓶身裁切图。
具体的，参见图1所示，图1为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法的流程示意图，该方法包括以下步骤：
一种基于深度神经网络的酒瓶缺陷样本生成方法，该方法包括以下步骤：
S1、获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，样本集包括训练样本；
具体的，在本步骤S1中，预处理可以包括以下步骤：
S11、在生产线上，利用相机从不同角度或者不同方向针对若干个含有缺陷的酒瓶进行图像采集，得到
Figure 98067DEST_PATH_IMAGE015
，其中，
Figure 136430DEST_PATH_IMAGE016
为第i个酒瓶的第k个图像数据，i、k均为正整数。
S12、将
Figure 145974DEST_PATH_IMAGE017
的组内数据，按照酒瓶样本尺寸图进行配准和裁切，得到
Figure 586183DEST_PATH_IMAGE018
，其中
Figure 655770DEST_PATH_IMAGE019
为酒瓶瓶盖顶部裁切图，
Figure 181429DEST_PATH_IMAGE020
为酒瓶瓶盖腰部圆环裁切图，
Figure 994664DEST_PATH_IMAGE021
为酒瓶瓶身正面裁切图，
Figure 289380DEST_PATH_IMAGE022
为酒瓶瓶身背面裁切图，n、a、b、c、d均为正整数。
S13、再利用相机从不同的角度针对k个不含有任何缺陷的酒瓶进行图像采集，并根据上述相同的步骤得到
Figure 795447DEST_PATH_IMAGE024
。进而得到真实酒瓶缺陷图片数据集
Figure 542823DEST_PATH_IMAGE025
。
S14、随机选取真实酒瓶缺陷图片数据集
Figure 159750DEST_PATH_IMAGE025
中的部分作为训练样本集，剩余的作为测试样本集；
在本申请实施方式中为：三分之二的样本作为训练样本集，剩下的三分之一样本作为测试样本集。
可以理解地，本申请实施方式中步骤S11提及的不同角度或者不同方向，通常可以包括但不限于以下：
拍摄者正对着酒瓶缺陷的角度或者方向；
或者，拍摄者朝向酒瓶缺陷方向与正对酒瓶缺陷方向的夹角为0-90度之间。
具体的，可以在真实生产线上采集瓶盖瑕疵、标贴瑕疵、喷码瑕疵、瓶身瑕疵四大类缺陷图片每类300张共计1200张，同时采集无缺陷酒瓶的图片作为正常样本，且正常样本为1200张，在进行预处理操作。
此外，扩充操作可以包括：
S15、将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，平移操作后空出的区域进行填充颜色，得到第一样本集。
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 308971DEST_PATH_IMAGE026
和
Figure 985940DEST_PATH_IMAGE027
进行平移操作，即将
Figure 220612DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 172388DEST_PATH_IMAGE028
）沿着x轴随机平移
Figure 379378DEST_PATH_IMAGE029
个像素，沿着y轴随机平移
Figure 289565DEST_PATH_IMAGE030
个像素，得到（
Figure 949217DEST_PATH_IMAGE031
），其中
Figure 970263DEST_PATH_IMAGE032
，w和h分别为图像的宽和高。平移后图像空出的区域由黑色像素进行填充。
S16、将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，旋转操作后空出的区域进行填充颜色，得到第二样本集；
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 766180DEST_PATH_IMAGE026
和
Figure 850198DEST_PATH_IMAGE027
进行旋转操作，即将
Figure 997146DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 821882DEST_PATH_IMAGE028
）以图像中心为旋转点沿着逆时针方向随机旋转a度，得到（
Figure 737886DEST_PATH_IMAGE031
），其中a
Figure 724296DEST_PATH_IMAGE033
。旋转后图像空出的区域由黑色像素进行、填充。
S17、将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，镜像操作后空出的区域进行填充颜色，得到第三样本集；
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 155278DEST_PATH_IMAGE026
和
Figure 455809DEST_PATH_IMAGE027
进行镜像操作，即将
Figure 554215DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 649210DEST_PATH_IMAGE028
）以图像中心x轴或者中心y轴为翻转中心进行翻转，得到（
Figure 833067DEST_PATH_IMAGE031
）。
S18、将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；具体为：
将真实酒瓶缺陷图片数据集中的各个样本
Figure 937289DEST_PATH_IMAGE026
添加高斯噪声，即将X数据集中的每个样本的任意像素（
Figure 624622DEST_PATH_IMAGE028
），添加随机噪声，得到（
Figure 156098DEST_PATH_IMAGE031
），即
Figure 296092DEST_PATH_IMAGE035
，其中
Figure 266322DEST_PATH_IMAGE036
为像素（
Figure 11424DEST_PATH_IMAGE028
）的像素值，
Figure 776118DEST_PATH_IMAGE037
为均值，
Figure 606671DEST_PATH_IMAGE038
为方差，二者服从均值为0，方差为0.1的高斯分布。
S19、将扩充后的第一样本集、第二样本集、第三样本集、第四样本集、未进行预处理的样本集进行合并。
将真实酒瓶缺陷图片数据集进行扩充，确保了训练样本的多样性。
未进行预处理的原始样本集可以是事先拍照得到的酒瓶缺陷图片。
S2、扩充后的数据集输入预搭建的对抗神经生成网络，生成具有酒瓶缺陷的虚拟样本；
其中，预搭建的对抗神经生成网络，通过训练样本进行训练得到；
对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过随机噪声网络结构进行处理生成特征图，并输入至生成网络结构，通过生成网络结构生成虚拟样本。
此外，在训练对抗神经生成网络时，可以使用三分之二的训练样本集训练对抗神经生成网络，三分之一的测试样本集进行测试，验证对抗神经生成网络的准确性。
在步骤S2中，搭建对抗神经生成网络的步骤如下：
S21、随机噪声网络结构接收外界输入的随机噪声图像，将随机噪声图像进行形变操作，得到第一特征图。
为保证生成缺陷的多样性，本申请实施方式采用复杂随机噪声生成方法。首先将n*50*50的随机噪声图像作为输入，利用随机噪声生成结构对该噪声图像进行形变操作；n表示图像的batchsize个数，取值为正整数；
具体的，该形变操作包括以下步骤：
S211、随机采取样本X图像中9个第一控制点，并在每个第一控制点上随机不同强度和方向拖拽轨迹；
可以理解地是，控制点一般是指图像几何校正、投影变换和图像配准等几何变换中,在图像上选取的用于建立几何变换函数的参考点。
参与图7所示，例如：当以地面实际坐标(经纬度、地图投影坐标等)为参照进行几何变换时,这时的控制点又称为地面控制点。每个控制点应包含两组坐标数据,即在输入图像上的坐标和在输出图像上的坐标,因此又称为控制点。针对不同的控制点进行拖曳。
S212、利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换，得到第一特征图。
其中，变换函数为
Figure 115012DEST_PATH_IMAGE040
；其中，该式中
Figure 714621DEST_PATH_IMAGE003
为当前需要移动的像素点，
Figure 650216DEST_PATH_IMAGE042
，
Figure 764803DEST_PATH_IMAGE005
，
Figure 748939DEST_PATH_IMAGE006
，
Figure 530950DEST_PATH_IMAGE007
，
Figure 575130DEST_PATH_IMAGE008
，其中，T表示矩阵转置，
Figure 442591DEST_PATH_IMAGE009
为第i个移动前的第一控制点，
Figure 230419DEST_PATH_IMAGE010
为第i个移动后的第一控制点，
Figure 866937DEST_PATH_IMAGE011
为第j个移动后的图像像素点，
Figure 82017DEST_PATH_IMAGE012
为第j个移动后的图像像素点，
Figure 174126DEST_PATH_IMAGE013
为移动权重，
Figure 765644DEST_PATH_IMAGE014
为移动权重，利用变换函数f对原图像的像素点v进行重映射。
则通过形变操作在原随机噪声的基础上产生了复杂的图形操作，进而得到高阶复杂噪声。实现将其重组和形变成n*4*4*1024的第一特征图。
可以理解的是，移动最小二乘法为现有技术，此处不再进行详细的描述。
S22、生成网络结构获取高阶噪声图像，即获取第一特征图，进行卷积操作得到第二特征图。
具体的，在步骤S22中；
生成网络结构中包括第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核；
当第一特征图输入至生成网络结构中时；
第一反卷积核对第一特征图进行卷积上采样，得到第一采样特征图；
第二反卷积核对第一采样特征图进行卷积上采样，得到第二采样特征图；
第三反卷积核对第二采样特征图进行卷积上采样，得到第三采样特征图；
第四反卷积核对第三采样特征图进行卷积上采样，得到第二特征图。
优选的，在本申请实施方式中，第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核分别为4*4*512的反卷积核、4*4*256的反卷积、4*4*128的反卷积、4*4*3的反卷积核。
在本申请实施方式中，当第一特征图输入至4*4*512的反卷积核时，4*4*512的反卷积核进行卷积上采样，生成n*8*8*512的特征图并输入至4*4*256的反卷积核，4*4*256的反卷积核进行卷积上采样，生成n*16*16*256的特征图并输入至4*4*128的反卷积核，4*4*128的反卷积核生成n*32*32*128的特征图并输入至4*4*3的反卷积核，最后4*4*3的反卷积核进行卷积上采样，生成n*64*64*3的图片，即得到第二特征图，第二特征图为2D酒瓶缺陷图像。
S3、将虚拟样本自适应贴合至预先构建的3D酒瓶模型表面。
在步骤S3中，为建立2D图像和3D模型表面的可预测密集像素之间的对应关系，本申请实施方式采用自适应仿射变换来对这些关系进行预测。
具体的，在步骤S3中包括：
S31、首先采用第二控制点对3D酒瓶表面坐标的估计并确定。将生成的第二特征图，根据3D酒瓶模型的展开图进行裁切，并将每个独立的部分局部坐标进行参数化，以识别该独立部分表面的任意一点的位置。
其中，本步骤中的估计，主要是指可以人为的粗略估计出第一控制点对3D酒瓶表面坐标。
第二控制点主要是指网格角点等。
S32、将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；在本申请实施方式，n1优选为5。
S33、计算图像每个微小面片矩形的四个角点集合
Figure 256668DEST_PATH_IMAGE043
，与3D酒瓶表面上位置对应的四个角点集合
Figure 642650DEST_PATH_IMAGE044
进行仿射变换计算，其仿射变换计算公式如下：
Figure 484704DEST_PATH_IMAGE045
其中：h为单应矩阵
Figure 411072DEST_PATH_IMAGE046
，
Figure 694286DEST_PATH_IMAGE047
、
Figure 579065DEST_PATH_IMAGE048
、
Figure 580519DEST_PATH_IMAGE049
、…
Figure 576157DEST_PATH_IMAGE050
分别为单应矩阵的参数，A为
Figure 713877DEST_PATH_IMAGE051
Figure 769558DEST_PATH_IMAGE052
其中，
Figure 258308DEST_PATH_IMAGE053
，
Figure 792058DEST_PATH_IMAGE054
。
Figure 49864DEST_PATH_IMAGE055
、
Figure 276446DEST_PATH_IMAGE056
分别代表了
Figure 783650DEST_PATH_IMAGE057
为图像像素横坐标，y为图像像素纵坐标，
Figure 58774DEST_PATH_IMAGE058
为转换后的图像横坐标，
Figure 498983DEST_PATH_IMAGE059
为转换后的图像纵坐标。
S34、求得映射矩阵后，根据酒瓶3D模型表面上的形状，将代表2D酒瓶缺陷图像的第二特征图进行仿射变换，并根据对应位置贴至3D表面相应位置，参见图5所示，图5为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中2D图像贴合至3D模型表面的形变过程图。
值得一提的是，本申请的酒瓶缺陷生成方法，通过第二特征图与3D酒瓶贴合后，生成酒瓶样本缺陷，还可以采用Yolo V5等目标检测算法，对原缺陷样本和真实生成样本进行缺陷检测，以从实际生产的角度验证生成样本与原样本的相似度。
而Yolo V5等目标检测算法为现有技术，此处不再进行详细说明。
本发明实施的案例构建了基于深度神经网络的酒瓶缺陷样本生成方法，通过少量的产线酒瓶样本缺陷来训练该网络，使其具备大规模、高真实、高效率地生成酒瓶样本缺陷。以便在数字孪生酒瓶制造产线等场景中可真实的模仿酒瓶缺陷以测试虚拟制造产线的稳定性，该方法可广泛应用到VR教学、机器视觉虚拟实验室等领域。
实施方式二
本申请人发现，当确定了代表2D酒瓶缺陷图像的第二样本，与真实样本之间的相似度，可以更好得对第二样本进行评价，确定是否需要对对抗神经生成网络进行优化。
为此，本申请实施方式在第一实施方式的基础上进行改进，参见图4所示，图4为本申请实施方式提供的一种基于深度神经网络的酒瓶缺陷样本生成方法中对抗神经生成网络的结构图，其改进之处为：
对抗神经生成网络还包括判别网络结构，判别网络结构中包括第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核；
第二特征图、作为标签的预先采集的真实缺陷样本输入至判别网络结构，通过判别网络结构合成得到第三特征图；
第三特征图通过第五反卷积核卷积操作得到第一卷积特征图；
第一卷积特征图通过第六反卷积核卷积操作得到第二卷积特征图；
第二卷积特征图通过第七反卷积核卷积操作得到第三卷积特征图；
第三卷积特征图通过第八反卷积核卷积操作得到回归值；
其中，回归值用于判别生成的第二特征图与真实样本之间的相似度。
具体的，第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核分别为4*4*128的卷积核、4*4*512的卷积核、4*4*1024的卷积核、4*4*1的卷积核。
具体判别的时候，首先将生成好的第一图片作为作为x输入，并将真实缺陷样本（事先采集即可得到）作为标签输入，进行合成后得到n*64*64*6的特征图，将该特征图使用4*4*128的卷积核进行卷积，得到n*32*32*128大小的特征图，继续使用4*4*512大小的卷积核进行卷积，得到n*8*8*512大小的特征图，继续使用4*4*1024大小的卷积核进行卷积，得到n*4*4*1024大小的特征图，最后使用4*4*1的卷积核对其进行卷积，得到n*1*1的回归值来判别生成样本和真实样本之间的相似度。其中，卷积操作公式如下：
Figure 568570DEST_PATH_IMAGE060
式中，
Figure 94229DEST_PATH_IMAGE061
表示第l层特征图，
Figure 907464DEST_PATH_IMAGE062
表示第l-1层特征图，
Figure 202179DEST_PATH_IMAGE063
表示
Figure 442668DEST_PATH_IMAGE064
的特征图与
Figure 455623DEST_PATH_IMAGE062
的特征图相连接的卷积核。
Figure 72549DEST_PATH_IMAGE065
表示的偏置，表示图像的卷积过程，F（·）表示激活函数，MAX（·）表示最大池化过程，i1、j1表示整数。
通过本申请实施方式，增加了判别网络结构，可以方便判断第二样本的准确性，以及方便确定是是否需要进行优化对抗神经生成网络。
实施方式三
本申请实施方式提供了一种基于深度神经网络的酒瓶缺陷样本生成系统，包括：
获取模块301，用于获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，样本集包括训练样本；还用于：
处理包括：
S11、利用相机从不同角度或者不同方向针对若干个含有缺陷的酒瓶进行图像采集，得到
Figure 221771DEST_PATH_IMAGE015
，其中，
Figure 695478DEST_PATH_IMAGE016
为第i个酒瓶的第k个图像数据，i、k均为正整数。
S12、将
Figure 867833DEST_PATH_IMAGE066
的组内数据，按照酒瓶样本尺寸图进行配准和裁切，得到
Figure DEST_PATH_IMAGE067
，其中
Figure 822538DEST_PATH_IMAGE019
为酒瓶瓶盖顶部裁切图，
Figure 91845DEST_PATH_IMAGE020
为酒瓶瓶盖腰部圆环裁切图，
Figure 674137DEST_PATH_IMAGE021
为酒瓶瓶身正面裁切图，
Figure 396105DEST_PATH_IMAGE022
为酒瓶瓶身背面裁切图，n、a、b、c、d均为正整数。
S13、再利用相机从不同的角度针对k个不含有任何缺陷的酒瓶进行图像采集，并根据上述相同的步骤得到
Figure DEST_PATH_IMAGE068
。得到获取真实酒瓶缺陷图片数据集
Figure 151571DEST_PATH_IMAGE025
。
S14、随机获取真实酒瓶缺陷图片数据集
Figure 213068DEST_PATH_IMAGE025
中的部分作为训练样本集，剩余的作为测试样本集；在本申请实施方式中为：三分之二的样本作为训练样本集，剩下的三分之一样本作为测试样本集。
可以理解地，本申请实施方式中的不同角度、不同方向，通常包括：
拍摄者正对着酒瓶缺陷的角度或者方向；
或者，拍摄者朝向酒瓶缺陷方向与正对酒瓶缺陷方向的夹角为0-90度之间。
具体的，可以在真实产线上采集瓶盖瑕疵、标贴瑕疵、喷码瑕疵、瓶身瑕疵四大类缺陷图片每类300张共计1200张，同时采集无缺陷酒瓶的图片作为正常样本，且正常样本为1200张。
在本申请实施方式中，扩充操作包括：
S15、将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，平移操作后空出的区域进行填充颜色，得到第一样本集。
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 294157DEST_PATH_IMAGE026
和
Figure 237842DEST_PATH_IMAGE027
进行平移操作，即将
Figure 734682DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 713003DEST_PATH_IMAGE028
）沿着x轴随机平移
Figure 902676DEST_PATH_IMAGE029
个像素，沿着y轴随机平移
Figure 599236DEST_PATH_IMAGE030
个像素，得到（
Figure 899767DEST_PATH_IMAGE031
），其中
Figure 732594DEST_PATH_IMAGE032
，w和h分别为图像的宽和高。平移后图像空出的区域由黑色像素进行填充。
S16、将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，旋转操作后空出的区域进行填充颜色，得到第二样本集；
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 93168DEST_PATH_IMAGE026
和
Figure 277025DEST_PATH_IMAGE027
进行旋转操作，即将
Figure 115668DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 68581DEST_PATH_IMAGE028
）以图像中心为旋转点沿着逆时针方向随机旋转a度，得到（
Figure 396794DEST_PATH_IMAGE031
），其中a
Figure 740050DEST_PATH_IMAGE033
。旋转后图像空出的区域由黑色像素进行、填充。
S17、将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，镜像操作后空出的区域进行填充颜色，得到第三样本集；
具体为：将真实酒瓶缺陷图片数据集中的各个样本
Figure 710280DEST_PATH_IMAGE026
和
Figure 455383DEST_PATH_IMAGE027
进行镜像操作，即将
Figure 220076DEST_PATH_IMAGE025
数据集中的每个样本的任意像素（
Figure 50629DEST_PATH_IMAGE028
）以图像中心x轴或者中心y轴为翻转中心进行翻转，得到（
Figure 293391DEST_PATH_IMAGE031
）。
S18、将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；具体为：
将真实酒瓶缺陷图片数据集中的各个样本
Figure 158579DEST_PATH_IMAGE026
添加高斯噪声，即将X数据集中的每个样本的任意像素（
Figure 94174DEST_PATH_IMAGE028
），添加随机噪声，得到（
Figure 412023DEST_PATH_IMAGE031
），即
Figure DEST_PATH_IMAGE069
，其中，
Figure 207546DEST_PATH_IMAGE036
为像素（
Figure 989557DEST_PATH_IMAGE028
）的像素值，
Figure 33736DEST_PATH_IMAGE037
为均值，
Figure 901198DEST_PATH_IMAGE038
为方差，二者服从均值为0，方差为0.1的高斯分布。
S19、将扩充后的第一样本集、第二样本集、第三样本集、第四样本集、未进行预处理的样本集进行合并。
将真实酒瓶缺陷图片数据集进行扩充，确保了训练样本的多样性。
生成模块302，用于将扩充后的数据输入预搭建的对抗神经生成网络，生成虚拟样本；
其中，预搭建的对抗神经生成网络，通过训练样本进行训练得到；
对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过随机噪声网络结构进行处理生成特征图，并输入至生成网络结构，通过生成网络结构生成虚拟样本；还用于：
搭建对抗神经生成网络的步骤如下：
S21、随机噪声网络结构接收外界输入的随机噪声图像，将随机噪声图像进行形变操作，得到第一特征图。
为保证生成缺陷的多样性，本申请实施方式采用复杂随机噪声生成方法。首先将n*50*50的随机噪声图像作为输入，利用随机噪声生成结构对该噪声图像进行形变操作；
具体的，该形变操作包括以下步骤：
S211、随机采取样本X图像中9个第一控制点，并在每个第一控制点上随机不同强度和方向拖拽轨迹；
可以理解地是，第一控制点一般是指图像几何校正、投影变换和图像配准等几何变换中,在图像上选取的用于建立几何变换函数的参考点。
例如：当以地面实际坐标(经纬度、地图投影坐标等)为参照进行几何变换时,这时的第一控制点又称为地面第一控制点。每个第一控制点应包含两组坐标数据,即在输入图像上的坐标和在输出图像上的坐标,因此又称为第一控制点。
S212、利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换，得到第一特征图。
其中，变换函数为
Figure DEST_PATH_IMAGE071
；
其中，该式中
Figure 485763DEST_PATH_IMAGE003
为当前需要移动的像素点，
Figure DEST_PATH_IMAGE072
，
Figure 591123DEST_PATH_IMAGE005
，
Figure 868520DEST_PATH_IMAGE006
，
Figure 895382DEST_PATH_IMAGE007
，
Figure 549217DEST_PATH_IMAGE008
，其中，T表示矩阵转置，
Figure 977925DEST_PATH_IMAGE009
为第i个移动前的第一控制点，
Figure 426223DEST_PATH_IMAGE010
为第i个移动后的第一控制点，
Figure 205961DEST_PATH_IMAGE011
为第j个移动后的图像像素点，
Figure 397907DEST_PATH_IMAGE012
为第j个移动后的图像像素点，
Figure 681121DEST_PATH_IMAGE013
为移动权重，
Figure 565901DEST_PATH_IMAGE014
为移动权重，利用变换函数f对原图像的像素点v进行重映射。
则通过形变操作在原随机噪声的基础上产生了复杂的图形操作，进而得到高阶复杂噪声。实现将其重组和形变成n*4*4*1024的第一特征图。
S22、生成网络结构获取高阶噪声图像，即获取第一特征图，进行卷积操作得到第二特征图。
具体的，在步骤S22中；
生成网络结构中包括第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核；
当第一特征图输入至生成网络结构中时；
第一反卷积核对第一特征图进行卷积上采样，得到第一采样特征图；
第二反卷积核对第一采样特征图进行卷积上采样，得到第二采样特征图；
第三反卷积核对第二采样特征图进行卷积上采样，得到第三采样特征图；
第四反卷积核对第三采样特征图进行卷积上采样，得到第二特征图。
优选的，在本申请实施方式中，第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核分别为4*4*512的反卷积核、4*4*256的反卷积、4*4*128的反卷积、4*4*3的反卷积核。
在本申请实施方式中，当第一特征图输入至4*4*512的反卷积核时，4*4*512的反卷积核进行卷积上采样，生成n*8*8*512的特征图并输入至4*4*256的反卷积核，4*4*256的反卷积核进行卷积上采样，生成n*16*16*256的特征图并输入至4*4*128的反卷积核，4*4*128的反卷积核生成n*32*32*128的特征图并输入至4*4*3的反卷积核，最后4*4*3的反卷积核进行卷积上采样，生成n*64*64*3的图片，即得到第二特征图，第二特征图为2D酒瓶缺陷图像。
对抗神经生成网络还包括判别网络结构，判别网络结构中包括第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核；
第二特征图、作为标签的预先采集的真实缺陷样本输入至判别网络结构，通过判别网络结构合成得到第三特征图；
第三特征图通过第五反卷积核卷积操作得到第一卷积特征图；
第一卷积特征图通过第六反卷积核卷积操作得到第二卷积特征图；
第二卷积特征图通过第七反卷积核卷积操作得到第三卷积特征图；
第三卷积特征图通过第八反卷积核卷积操作得到回归值；
其中，回归值用于判别生成的第二特征图与真实样本之间的相似度。
具体的，第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核分别为4*4*128的卷积核、4*4*512的卷积核、4*4*1024的卷积核、4*4*1的卷积核。
具体判别的时候，首先将生成好的第一图片作为作为x输入，并将真实缺陷样本（事先采集即可得到）作为标签输入，进行合成后得到n*64*64*6的特征图，将该特征图使用4*4*128的卷积核进行卷积，得到n*32*32*128大小的特征图，继续使用4*4*512大小的卷积核进行卷积，得到n*8*8*512大小的特征图，继续使用4*4*1024大小的卷积核进行卷积，得到n*4*4*1024大小的特征图，最后使用4*4*1的卷积核对其进行卷积，得到n*1*1的回归值来判别生成样本和真实样本之间的相似度。其中，卷积操作公式如下：
Figure DEST_PATH_IMAGE073
式中，
Figure 364092DEST_PATH_IMAGE061
表示第l层特征图，
Figure 828572DEST_PATH_IMAGE062
表示第l-1层特征图，
Figure DEST_PATH_IMAGE074
表示
Figure 28609DEST_PATH_IMAGE064
的特征图与
Figure 21973DEST_PATH_IMAGE062
的特征图相连接的卷积核。
Figure 307461DEST_PATH_IMAGE065
表示的偏置，表示图像的卷积过程，F（·）表示激活函数，MAX（·）表示最大池化过程，i1、j1表示整数。
通过本申请实施方式，增加了判别网络结构，可以方便判断第二样本的准确性，以及方便确定是是否需要进行优化对抗神经生成网络。
贴合模块303，用于将虚拟样本自适应贴合至预先构建的3D酒瓶模型表面；还用于：
S31、首先采用第二控制点对3D酒瓶表面坐标的估计并确定。将生成的第二特征图，根据3D酒瓶模型的展开图进行裁切，并将每个独立的部分局部坐标进行参数化，以识别该独立部分表面的任意一点的位置。
其中，本步骤中的估计，主要是指可以人为的粗略估计出第一控制点对3D酒瓶表面坐标。
第二控制点主要是指网格角点等。
S32、将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；在本申请实施方式，n1优选为5。
S33、计算图像每个微小面片矩形的四个角点集合
Figure 44472DEST_PATH_IMAGE043
，与3D酒瓶表面上位置对应的四个角点集合
Figure 364595DEST_PATH_IMAGE044
进行仿射变换计算，其计算公式如下：
Figure 263281DEST_PATH_IMAGE045
其中：h为单应矩阵
Figure 301644DEST_PATH_IMAGE046
，
Figure 576768DEST_PATH_IMAGE047
、
Figure 488748DEST_PATH_IMAGE048
、
Figure 886231DEST_PATH_IMAGE049
、…
Figure 83994DEST_PATH_IMAGE050
分别代表了单应矩阵的参数
Figure 225126DEST_PATH_IMAGE052
其中，
Figure 457524DEST_PATH_IMAGE053
，
Figure 760329DEST_PATH_IMAGE054
。
Figure 710968DEST_PATH_IMAGE055
、
Figure 390211DEST_PATH_IMAGE056
分别代表了
Figure 477115DEST_PATH_IMAGE057
为图像像素横坐标，y为图像像素纵坐标，
Figure 950822DEST_PATH_IMAGE058
为转换后的图像横坐标，
Figure 919915DEST_PATH_IMAGE059
为转换后的图像纵坐标。
S34、求得映射矩阵后，根据酒瓶3D模型表面上的形状，将代表2D酒瓶缺陷图像的第二特征图进行仿射变换，并根据对应位置贴至3D表面相应位置。
参见图6所示，图6为适于用来实现根据本申请一实施方式的方法的计算机系统的结构示意图。
其中，计算机系统600包括处理器（CPU、GPU、FPGA等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行上述附图所示的实施方式中的部分或全部处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中节点中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，该方法包括以下步骤：
获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，所述样本集包括训练样本；
扩充后的数据集输入预搭建的对抗神经生成网络，生成虚拟样本；
其中，预搭建的所述对抗神经生成网络，通过所述训练样本进行训练得到；
所述对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过所述随机噪声网络结构进行处理生成特征图，并输入至所述生成网络结构，通过生成网络结构生成虚拟样本；
所述对抗神经生成网络中：
所述随机噪声网络结构接收输入的随机噪声图像，将所述随机噪声图像进行形变操作，得到第一特征图；
所述生成网络结构获取所述第一特征图，进行卷积操作得到第二特征图，第二特征图即虚拟样本；以及
将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面；
所述将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面的步骤中；
采用第二控制点对预先构建的3D酒瓶表面坐标的估计，得到3D酒瓶的展开图；
将所述第二特征图，根据所述展开图进行裁切，将每个独立的坐标进行参数化；
将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；
将所述图像面片的角点集合，与所述3D酒瓶表面上位置对应的四个角点集合进行仿射变换计算得到映射矩阵；
根据所述3D酒瓶表面的形状，将所述第二特征图进行仿射变换，并根据对应位置贴至所述3D酒瓶表面。
2.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述真实酒瓶缺陷图片数据集包括：
针对具有缺陷的酒瓶，拍照得到的图片；以及
针对无任缺陷的酒瓶，拍照得到的图片。
3.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述预处理包括；
将所述真实酒瓶缺陷图片数据集进行配准、裁切。
4.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述扩充操作包括：
将真实酒瓶缺陷图片数据集中的各个样本进行平移操作，所述平移操作后空出的区域进行填充颜色，得到第一样本集；
将真实酒瓶缺陷图片数据集中的各个样本进行旋转操作，所述旋转操作后空出的区域进行填充颜色，得到第二样本集；
将真实酒瓶缺陷图片数据集中的各个样本进行镜像操作，所述镜像操作后空出的区域进行填充颜色，得到第三样本集；
将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声，得到第四样本集；
将所述第一样本集、所述第二样本集、所述第三样本集、所述第四样本集、未进行预处理操作的样本集进行合并。
5.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述形变操作包括：
在所述随机噪声图像中的第一控制点上拖拽轨迹；
将拉伸后的所述随机噪声图像，利用移动最小二乘法对第一控制点周围的像素进行平移，再通过变换函数进行变换；变换函数如下：
Figure 818051DEST_PATH_IMAGE001
其中，该式中
Figure 735191DEST_PATH_IMAGE002
为当前需要移动的像素点，
Figure 701879DEST_PATH_IMAGE003
，
Figure 97088DEST_PATH_IMAGE004
，
Figure 849143DEST_PATH_IMAGE005
，
Figure 671606DEST_PATH_IMAGE006
，
Figure 627055DEST_PATH_IMAGE007
，其中，T表示矩阵转置，
Figure 763638DEST_PATH_IMAGE008
为第i个移 动前的第一控制点，
Figure 432517DEST_PATH_IMAGE009
为第i个移动后的第一控制点，
Figure 612831DEST_PATH_IMAGE010
为第j个移动后的图像像素点，
Figure 367161DEST_PATH_IMAGE011
为 第j个移动后的图像像素点，
Figure 104172DEST_PATH_IMAGE012
为移动权重，
Figure 565241DEST_PATH_IMAGE013
为移动权重。
6.根据权利要求5所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述进行卷积操作得到第二特征图的步骤中；
所述生成网络结构中包括第一反卷积核、第二反卷积核、第三反卷积核、第四反卷积核；
当所述第一特征图输入至所述生成网络结构中时；
所述第一反卷积核对所述第一特征图进行卷积上采样，得到第一采样特征图；
所述第二反卷积核对所述第一采样特征图进行卷积上采样，得到第二采样特征图；
所述第三反卷积核对所述第二采样特征图进行卷积上采样，得到第三采样特征图；
所述第四反卷积核对所述第三采样特征图进行卷积上采样，得到第二特征图。
7.根据权利要求6所述的基于深度神经网络的酒瓶缺陷样本生成方法，其特征在于，所述生成网络结构还包括判别网络结构，所述判别网络结构中包括第五反卷积核、第六反卷积核、第七反卷积核、第八反卷积核；
所述第二特征图、作为标签的预先采集的真实缺陷样本输入至所述判别网络结构，通过所述判别网络结构合成得到第三特征图；
所述第三特征图通过第五反卷积核卷积操作得到第一卷积特征图；
所述第一卷积特征图通过第六反卷积核卷积操作得到第二卷积特征图；
所述第二卷积特征图通过第七反卷积核卷积操作得到第三卷积特征图；
所述第三卷积特征图通过第八反卷积核卷积操作得到回归值；
其中，所述回归值用于判别生成的第二特征图与真实样本之间的相似度。
8.一种基于深度神经网络的酒瓶缺陷样本生成系统，其特征在于，包括：
获取模块，用于获取真实酒瓶缺陷图片数据集，进行预处理、扩充操作得到样本集，样本集包括训练样本；
生成模块，用于将扩充后的数据输入预搭建的对抗神经生成网络，生成虚拟样本；
其中，预搭建的对抗神经生成网络，通过训练样本进行训练得到；
对抗神经生成网络中包括随机噪声网络结构、生成网络结构，输入数据通过随机噪声网络结构进行处理生成特征图，并输入至生成网络结构，通过生成网络结构生成虚拟样本；所述对抗神经生成网络中：
所述随机噪声网络结构接收输入的随机噪声图像，将所述随机噪声图像进行形变操作，得到第一特征图；
所述生成网络结构获取所述第一特征图，进行卷积操作得到第二特征图，第二特征图即虚拟样本；
贴合模块，用于将虚拟样本自适应贴合至预先构建的3D酒瓶模型表面；
所述将所述虚拟样本自适应贴合至预先构建的3D酒瓶模型表面的步骤中；
采用第二控制点对预先构建的3D酒瓶表面坐标的估计，得到3D酒瓶的展开图；
将所述第二特征图，根据所述展开图进行裁切，将每个独立的坐标进行参数化；
将裁剪部分图像分割为小于n1*n1的图像面片，并进行标记；其中n1为≤5的正整数；
将所述图像面片的角点集合，与所述3D酒瓶表面上位置对应的四个角点集合进行仿射变换计算得到映射矩阵；
根据所述3D酒瓶表面的形状，将所述第二特征图进行仿射变换，并根据对应位置贴至所述3D酒瓶表面。
9.一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1~7任一项所述的方法。
CN202210065439.7A 2022-01-20 2022-01-20 基于深度神经网络的酒瓶缺陷样本生成方法及系统 Active CN114119607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210065439.7A CN114119607B (zh) 2022-01-20 2022-01-20 基于深度神经网络的酒瓶缺陷样本生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210065439.7A CN114119607B (zh) 2022-01-20 2022-01-20 基于深度神经网络的酒瓶缺陷样本生成方法及系统

Publications (2)

Publication Number Publication Date
CN114119607A CN114119607A (zh) 2022-03-01
CN114119607B true CN114119607B (zh) 2022-05-13

Family

ID=80360945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210065439.7A Active CN114119607B (zh) 2022-01-20 2022-01-20 基于深度神经网络的酒瓶缺陷样本生成方法及系统

Country Status (1)

Country Link
CN (1) CN114119607B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359269A (zh) * 2022-03-09 2022-04-15 广东工业大学 基于神经网络的虚拟食品盒缺陷生成方法及系统
CN114529689B (zh) * 2022-04-24 2022-08-16 广州易道智慧信息科技有限公司 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
CN117078853B (zh) * 2023-08-18 2024-03-19 广东工业大学 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932500B (zh) * 2018-07-09 2019-08-06 广州智能装备研究院有限公司 一种基于深度神经网络的动态手势识别方法及系统
CN109255831B (zh) * 2018-09-21 2020-06-12 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN111612759B (zh) * 2020-05-19 2023-11-07 佛山科学技术学院 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN111724424A (zh) * 2020-06-24 2020-09-29 上海应用技术大学 图像配准方法
CN111709948B (zh) * 2020-08-19 2021-03-02 深兰人工智能芯片研究院（江苏）有限公司 容器瑕疵检测方法和装置
CN113052976A (zh) * 2021-03-18 2021-06-29 浙江工业大学 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法
CN112802016B (zh) * 2021-03-29 2023-08-08 深圳大学 基于深度学习的实时布匹缺陷检测方法及系统
CN113689325A (zh) * 2021-07-12 2021-11-23 深圳数联天下智能科技有限公司 一种数字化美型眉毛的方法、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多流神经网络的PET瓶坯缺陷检测研究;段春梅 等;《计算机仿真》;20210531;第38卷(第5期);第1-2页 *

Also Published As

Publication number Publication date
CN114119607A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114119607B (zh) 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN108648270B (zh) 实时同步定位与地图构建的无人机实时三维场景重建方法
CN109242855B (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN109635843B (zh) 一种基于多视角图像的三维物体模型分类方法
CN107358576A (zh) 基于卷积神经网络的深度图超分辨率重建方法
CN111340944B (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN113298936B (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
US20230169677A1 (en) Pose Estimation Method and Apparatus
CN111932673B (zh) 一种基于三维重建的物体空间数据增广方法及系统
CN109035327B (zh) 基于深度学习的全景相机姿态估计方法
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN113345063B (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
CN111709307B (zh) 一种基于分辨率增强的遥感图像小目标检测方法
Badías et al. An augmented reality platform for interactive aerodynamic design and analysis
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN112509106A (zh) 文档图片展平方法、装置以及设备
GB2578510A (en) Environment map generation and hole filling
CN110517348B (zh) 基于图像前景分割的目标物体三维点云重建方法
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN116402976A (zh) 三维目标检测模型训练方法及装置
CN113505799B (zh) 显著性检测方法及其模型的训练方法和装置、设备、介质
CN114529689B (zh) 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant