CN113516656B - 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 - Google Patents

一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 Download PDF

Info

Publication number
CN113516656B
CN113516656B CN202111071256.8A CN202111071256A CN113516656B CN 113516656 B CN113516656 B CN 113516656B CN 202111071256 A CN202111071256 A CN 202111071256A CN 113516656 B CN113516656 B CN 113516656B
Authority
CN
China
Prior art keywords
layer
image data
module
cameralink
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111071256.8A
Other languages
English (en)
Other versions
CN113516656A (zh
Inventor
钟洪萍
章灵伟
胡美琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuangyuan Technology Co ltd
Original Assignee
Zhejiang Shuangyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuangyuan Technology Co ltd filed Critical Zhejiang Shuangyuan Technology Co ltd
Priority to CN202111071256.8A priority Critical patent/CN113516656B/zh
Publication of CN113516656A publication Critical patent/CN113516656A/zh
Application granted granted Critical
Publication of CN113516656B publication Critical patent/CN113516656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，通过收集少量真实缺陷图样数据来训练增强型ACGAN网络，再通过增强型ACGAN生成器生成逼近真实缺陷数据传入Cameralink相机仿真系统，解决了现有仿真系统黑盒测试普遍适用性差的问题。本发明基于ACGAN和Cameralink相机，实现了对各类片材表面缺陷的数据生成、仿真和识别，提高了现有图像生成方法生成的缺陷样式的随机性和多样性，同时解决了现有仿真系统测试功能单一、测试过程不完整和可扩展性不高的缺点。

Description

一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真 方法
技术领域
本发明涉及机器视觉的片材表面缺陷检测技术领域，尤其是涉及一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法。
背景技术
随着计算机技术的高速发展，在片材表面缺陷检测领域涌现了大量性能优异的算法，但在可用数据缺乏的情况下也会显得束手无策。现有数据生成技术主要有“贴图”和基于拉普拉斯金字塔变换的图像融合等手段。前者是从现有寥寥无几的真实缺陷图像样本中先通过阈值化确定目标区域，然后将缺陷目标从原图中剥离出来，再通过贴图的形式放在真实无缺陷的背景图像中，其中可能还会通过一些边缘优化处理使贴图与背景更加相近。后者则先通过计算原缺陷图像样本与感兴趣的背景区域的高斯金字塔，再基于高斯金字塔计算出各层的拉普拉斯金字塔，然后将两张图最高层级的高斯金字塔、各个层级的拉普拉斯金字塔融合，最后从顶层开始逐层从上至下依次上采样重构还原细节，使人眼看上去更加真切。
如公开号为CN104182954A的中国专利文献公开了一种实时的多模态医学图像融合方法，包括：对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量；基于稀疏表示的方法对所有源图像的低频分量进行融合处理，基于系数绝对值的方式对所有源图像的高频分量进行融合处理；将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
公开号为CN105139371A的中国专利文献公开了基于脉冲耦合神经网络(PCNN)与拉普拉斯金字塔变换(LP)，提出了一种有效的多聚焦图像融合算法。首先，利用LP对图像进行塔形结构的多尺度分解，并利用PCNN对每一尺度的分解图像进行处理，以获取描述特征聚类的神经元点火频率图。然后，基于点火频率图的局部空间频率(LSF)，实现了图像在每一LP分解尺度上的融合。最后通过LP分解的重构算法实现了对多聚焦图像的融合。
然而上述方法的通病在于缺乏随机性，无法生成逼近真实缺陷分布的模式，满足不了表面缺陷可能复杂多变的真实应用场景。数据量的不足以及数据生成方法缺少随机性，给后期检测算法的开发和测试阶段都会带来不便的影响。
而且目前的仿真技术大都用在软件领域测试，国内有通过PCIe接口或USB接口虚拟输出Camerallink相机信号的技术方案，然而这些都是简单的由上位机产生特定的测试图像或原始图像，功能比较单一，测试的完整性不高。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，可以解决前期数据量不足和多样性差无法满足开发和测试的需求以及测试功能单一的问题。
一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，包括以下步骤：
（1）构建增强型ACGAN网络，所述的增强型ACGAN网络包含生成器和判别器；
（2）收集真实缺陷图像数据并标注类别标签；将随机噪声和类别标签输入至生成器中先进行向量嵌入，然后进一步生成对应类别标签的假图像数据；将生成器生成的假图像数据与对应类别标签的真实图像数据输入判别器中，分别得到两者的真假概率和类别概率；
根据真假概率和类别概率计算训练的损失函数来调整生成器网络输出，直至判别器对生成器的输出在识别对应的缺陷类型时无法判断其真假；
（3）ACGAN网络的生成器和判别器训练完成后，根据用户设置，将设置的随机噪声和类别标签输入至训练好的生成器中，得到该标签类别对应的假缺陷图像数据；
（4）将假缺陷图像数据或真实缺陷图像数据，通过数据发送控制模块以以太网通讯的形式发送至仿真相机；
（5）仿真相机的数据接收及调度模块分别与DDR数据缓存区以及Cameralink行数据信号产生模块进行通信；
（6）Cameralink行数据信号产生模块产生的行图像数据通过Cameralink协议与目标设备进行通讯，目标设备得到仿真缺陷图像数据。
进一步地，步骤（1）中，所述生成器的构建过程如下：
（1-1-1）随机噪声和类别标签经过向量嵌入模块后得到特征图，将得到的特征图先经过第一层网络模块后送入多层残差模块；
其中，所述的第一层网络模块由上采样层、卷积层、以relu为激活函数的激活层和归一化层组成；所述的残差模块由卷积层、以relu为激活函数的激活层和卷积层依次构成，用于增加特征图的细节信息；
（1-1-2）将第一层网络模块的输出与第一层残差模块的输出通过Add层进行特征融合，下一层残差模块的输出均通过Add层与上一层残差模块的输出进行特征融合作为下一级的输入；
（1-1-3）在经过最后一层残差模块后放置一个卷积层和归一化层，将该归一化层的输出与第一层网络模块的输出通过跳连接的形式，经过Add层特征融合，增加输出特征图的分辨率；
（1-1-4）接下来通过多层上采样模块后得到预计输出维度的特征图；所述的采样模块由上采样层、卷积层和以relu为激活函数的激活层组成。
进一步地，步骤（1-1-1）中，随机噪声和类别标签经过向量嵌入模块后得到特征图的具体过程为：
将类别标签通过Embedding层转换为固定大小的稠密向量，并将相同维度的一维随机噪声信号通过矩阵对应位置相乘的形式与转化后的类别标签向量进行融合；
将随机噪声与类别标签融合后的向量通过全连接层扩展成高维空间，再通过reshape层重塑成特征图。
进一步地，所述判别器的构建过程如下：
（1-2-1）由生成器生成的特征图先经过多层卷积模块，然后送入全局平均池化层；所述的卷积模块由卷积层、以leaky relu为激活函数的激活层和归一化层组成；
（1-2-2）全局平均池化层的输出分别输入以sigmoid为激活函数和以softmax为激活函数的全连接层，前者输出对生成图像与真实图像样本的真假判别，后者输出对生成图像与真实图像样本的类别判别。
进一步地，步骤（2）中，根据真假概率和类别概率计算训练的损失函数来调整生成器网络输出的过程为：
随机选取batch_size个真实的图像样本和类别标签，然后将随机生成batch_size个N维噪声向量和其对应的类别标签，利用Embedding层组合，传入到增强型ACGAN的生成器中生成batch_size个虚假的图像样式；
判别器的损失函数由两部分组成，一部分是真假的判断结果与真实情况的对比，另一部分是图片所属标签的判断结果与真实情况的对比；生成器的损失函数也由两部分组成，一部分是生成的图片是否被判别器判断为真，另一部分是生成的图片是否被分成了正确的类。
进一步地，判断真假的损失函数
Figure 499830DEST_PATH_IMAGE001
为：
Figure 644504DEST_PATH_IMAGE002
分类的损失函数
Figure 898898DEST_PATH_IMAGE003
为：
Figure 620867DEST_PATH_IMAGE004
式中，
Figure 251699DEST_PATH_IMAGE005
和
Figure 109934DEST_PATH_IMAGE006
分别表示关于真假图像和类别的对数似然损失，
Figure 564924DEST_PATH_IMAGE007
表示生成器对类别标签
Figure 383975DEST_PATH_IMAGE008
和随机噪声
Figure 677553DEST_PATH_IMAGE009
的输出假图像，即
Figure 265661DEST_PATH_IMAGE010
，而
Figure 517650DEST_PATH_IMAGE011
则表示真实图像数据；判别器给出了输入图像的真假概率分布
Figure 89577DEST_PATH_IMAGE012
和类标签分布
Figure 826327DEST_PATH_IMAGE013
；
判别器的损失函数
Figure 393574DEST_PATH_IMAGE014
为：
Figure 691832DEST_PATH_IMAGE015
；判别器被训练为使
Figure 485475DEST_PATH_IMAGE016
最大化，对判别器而言，既能实现正确分类又能正确分辨数据真假。
生成器的损失函数
Figure 120856DEST_PATH_IMAGE017
为：
Figure 683556DEST_PATH_IMAGE018
；生成器被训练为使
Figure 453846DEST_PATH_IMAGE019
最大化，对生成器而言，既能生成正确的类别，但又不让判别器分辨出数据的真假。
进一步地，步骤（4）中，所述的数据发送控制模块根据用户设置的仿真相机的车速模式自适应下发图像数据；
如果是页间歇模式，则一次连续发送用户指定行数的图像数据；如果是固定车速，则定时向仿真相机下发相机数据；如果是仿真相机控制车速模式，则数据发送控制模块根据仿真相机上传的数据需求行数，自动下发对应的数据。
进一步地，步骤（5）中，仿真相机的数据接收及调度模块接收从数据发送控制模块下发的行图像数据，暂存于DDR数据缓存区，DDR数据缓存区采用FIFO先进先出模式；同时，数据接收及调度模块实现相机输出数据的调度功能。
进一步地，所述的Cameralink行数据信号产生模块接收数据接收及调度模块发出的行图像数据，根据相机输出的Cameralink模式进行编码后输出到Cameralink接口；同时，Cameralink行数据信号产生模块实现目标设备通过Cameralink的串行命令信号进行接收解码和响应，解码的部分设置结果和CC1同步控制信号输出到仿真相机数据接收及调度模块。
与现有技术相比，本发明具有以下有益效果。
1、现有的仿真技术只能发送简单的原始相机图像或测试图像，对于需要测试的内容针对性不强，测试耗时。本发明采用基于增强型ACGAN的图像生成和识别技术，生成的缺陷图样质量高且具有随机性和多样化，避免了测试图样变化不灵活的弊端。在训练过程中不但完成了生成器的训练，也完成了判别器的训练，无需重新开发缺陷识别检测算法，从而让测试过程更简单高效，目的性明确。其次，与现有技术的CameraLink相机仿真技术采用PICe或USB技术相比，采用网络模式来下传图像数据，具有扩展性强、仿真相机距离远及安装灵活的特点。最后，有别于现有仿真技术简单的上位机单向控制输出数据模式，本发明可以同时支持多个相机同时仿真，数据流控制可以由硬件驱动，这样可以更完美的实现真实环境下的多相机系统级仿真测试。
2、本发明的仿真方法不限于某类特定类型的片材表面缺陷仿真，对其他片材缺陷类型数据的仿真和分析具有普遍适用性。与现有技术比较，本发明的方法具有测试过程完整性强、自动化程度高和适用范围广的特点。
附图说明
图1为本发明基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法的系统架构图。
图2为本发明提出的增强型ACGAN网络的训练流程示意图。
图3为本发明提出的增强型ACGAN网络中生成器网络结构示意图。
图4为本发明提出的增强型ACGAN网络中判别器网络结构示意图。
图5为本发明提出的方法结合具体实施例由增强型ACGAN网络的生成器生成的缺陷图样效果图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
为了解决现有缺陷数据仿真系统测试图像简单，测试功能单一及测试方案完整度不高等问题，本发明提出了一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，通过增强型ACGAN生成更多复杂多变的接近真实缺陷图样，满足开发及测试阶段的数据需求。Cameralink相机提供了高扩展性和自动化的功能，使测试过程跟接近真实场景，提升了方法的适用范围。
参见图1，一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，包括：用于多种缺陷类型数据生成和识别的增强型ACGAN模型的训练步骤和基于Cameralink相机的仿真系统。其中用于多种缺陷类型数据生成和识别的增强型ACGAN模型训练步骤，具体包括：
S1、预处理；
将随机噪声和类别标签进行向量嵌入，并输入至增强型ACGAN的生成器中；
具体如下：将标签通过Embedding层转换为固定大小的稠密向量，并将相同维度的一维随机噪声信号通过矩阵对应位置相乘的形式与转化后的标签向量进行融合。避免了one-hot编码对于具有非常多类型的类别变量，变换后的向量维数过于巨大，且过于稀疏，以及成员映射之间完全独立，并不能表示出不同类别之间的关系。且相较于one-hot编码，Embedding生成的变量并不是指定位置为1，其他为0的形式，而是每个位置的值都是一个浮点数，把输入映射到多维空间，这样做的好处在于使得空间特征更加丰富。随后将噪声与标签融合后的向量通过全连接层扩展成高维空间，再reshape成特征层的样式（特征图），随后送入至增强型ACGAN的生成器模型。
S2、增强型ACGAN的生成器模型的构建；
增强型ACGAN的生成器模型由深度卷积神经网络和残差模块组成，构建过程具体如下：
S2-1、特征图先经过第一层由上采样层、卷积层、以relu为激活函数的激活层和归一化层组成的网络模块，然后送入多层残差模块，在实施例中设计了4段残差模块。
S2-2、残差模块由卷积层、以relu为激活函数的激活层和卷积层依次构成，用于增加特征图的细节信息。
S2-3、将第一层网络模块的输出与残差模块的输出通过Add层进行特征融合，接下来的残差模块层的输出均通过Add层与上一层残差模块的输出进行特征融合作为下一级的输入。
S2-4、在经过最后一层残差模块后放置一个卷积层和归一化层，将该归一化层的输出与第一层网络模块的输出通过跳连接的形式，经过Add层特征融合，增加输出特征图的分辨率。
S2-5、接下来通过多层由上采样层、卷积层和以relu为激活函数的激活层组成的上采样模块，得到预计输出维度的特征图，实施例中设计了3段上采样模块。
S2-6、最后再通过卷积层和以tanh为激活函数的激活层，得到输出特征图的样式，增强型ACGAN生成器模型如图3所示。
S3、ACGAN的判别器模型的构建；
ACGAN的判别器模型由卷积层、激活层、归一化层、全局平均池化层以及全连接层组成，构建过程具体如下：
S3-1、由生成器生成的特征图先经过多层由卷积层、以leaky relu为激活函数的激活层和归一化层组成的卷积模块，然后送入全局平均池化层，实施例中设计了5段卷积模块；
S3-2、全局平均池化层的输出分别输入以sigmoid为激活函数和以softmax为激活函数的全连接层，前者输出对生成图像与真实图像样本的真假判别，后者输出对生成图像与真实图像样本的类别判别，ACGAN判别器模型如图4所示。
S4、模型训练；
此步骤的具体实施例为：由生成器生成的对应类别标签的假图像数据与相应类别标签的真实图像数据输入ACGAN的判别器中，分别得到两者的真假概率和类别概率。再根据真假概率和类别概率计算训练的损失函数来调整增强型ACGAN的生成器网络输出，直至判别器对生成器的输出在识别对应的缺陷类型时无法判断其真假，即真假概率相等。训练流程如图2所示。判别器的loss函数由两部分组成，一部分是真假的判断结果与真实情况的对比，另一部分是图片所属标签的判断结果与真实情况的对比。生成器的loss函数也由两部分组成，一部分是生成的图片是否被判别器判断为真，另一部分是生成的图片是否被分成了正确的类。判断真假的损失函数
Figure 469207DEST_PATH_IMAGE001
为：
Figure 173858DEST_PATH_IMAGE002
分类的损失函数
Figure 591064DEST_PATH_IMAGE003
为：
Figure 90178DEST_PATH_IMAGE004
式中，
Figure 592835DEST_PATH_IMAGE005
和
Figure 570018DEST_PATH_IMAGE006
分别表示关于真假图像和类别的对数似然损失，
Figure 605845DEST_PATH_IMAGE007
表示生成器对类别标签
Figure 10281DEST_PATH_IMAGE008
和随机噪声
Figure 124868DEST_PATH_IMAGE009
的输出假图像，即
Figure 781108DEST_PATH_IMAGE010
，而
Figure 297540DEST_PATH_IMAGE011
则表示真实图像数据；判别器给出了输入图像的真假概率分布
Figure 13824DEST_PATH_IMAGE012
和类标签分布
Figure 615706DEST_PATH_IMAGE013
；
判别器的损失函数
Figure 810058DEST_PATH_IMAGE014
为：
Figure 180997DEST_PATH_IMAGE015
；判别器被训练为使
Figure 566717DEST_PATH_IMAGE016
最大化，对判别器而言，既能实现正确分类又能正确分辨数据真假。
生成器的损失函数
Figure 390316DEST_PATH_IMAGE017
为：
Figure 653938DEST_PATH_IMAGE018
；生成器被训练为使
Figure 879383DEST_PATH_IMAGE019
最大化，对生成器而言，既能生成正确的类别，但又不让判别器分辨出数据的真假。
S5、数据生成；
根据用户设置，将随机噪声和类别标签输入至训练好的增强型ACGAN的生成器，得到对应标签的假缺陷图像数据，随后将缺陷图像数据下发至仿真相机，图5为由增强型ACGAN模型的生成器生成的缺陷图样效果图，分别包含了暗斑、孔洞、亮斑和异物四种缺陷类型。
S6、基于Cameralink相机的仿真系统；
仿真系统包括数据发送控制模块和仿真相机，仿真相机由数据接收及调度模块、DDR数据缓存区和Cameralink行数据信号产生模块组成，如图1所示。在具体实施例中：
S6-1、数据发送控制模块接收增强型ACGAN模型的生成器生成的假缺陷图像或真实缺陷图像，根据用户设置的仿真相机的车速模式自适应下发图像数据。如果是页间歇模式，则一次连续发送用户指定行数的图像数据；如果是固定车速，则定时向仿真相机下发相机数据；如果是仿真相机控制车速模式，则模块根据仿真相机上传的数据需求行数，自动下发对应的数据。
S6-2、仿真相机的数据接收及调度模块接收从数据发送控制模块下发的行图像数据，暂存于DDR数据缓存区，DDR数据缓存区采用FIFO先进先出模式。同时，本模块实现相机输出数据的调度功能。当仿真相机设置为仿真相机控制车速模式，根据Cameralink目标设备对仿真相机的设置，采用Cameralink接口CC1控制行输出或仿真相机内部定时控制。此时，仿真相机根据缓存区数据量，主动向上位机发送合适的数据行数请求，以保证后续正常的行数据输出。当仿真相机设置为其他模式时，相机数据输出的节奏由上位机进行控制，仿真相机按照上位机设置的行间隔，连续发送缓存里的数据，直到缓存没有数据为止。
S6-3、Cameralink行数据信号产生模块接收仿真相机数据接收及调度模块发出的行图像数据，根据相机输出的Cameralink模式进行编码后输出到Cameralink接口。同时，本模块实现目标设备通过Cameralink的串行命令信号的接收解码和响应，解码的部分设置结果和CC1同步控制信号输出到仿真相机数据接收及调度模块。
S6-4、目标设备得到输入的图像数据。
本发明的实施例中对纸张片材表面多种缺陷类型的数据进行生成、仿真和识别，但本发明不限于上述片材材料表面的缺陷类型仿真分析，对其他片材材料表面的缺陷类型的仿真和分析具有普遍适用性。
本发明提出的方法，通过采用增强型ACGAN的图像生成和识别技术，生成的缺陷图样像素质量高且具有随机性和多样化，满足了在算法开发阶段的数据需求，同时避免了测试图样单一的缺陷。基于Cameralink相机的缺陷数据处理，特别针对缺陷检测领域，采用黑盒方式测试设计的软硬件往往存在着覆盖面低、重复性差和耗时长的问题。本发明采用缺陷生成的技术，用户可以方便地重复或定时将挑选过的缺陷图像数据输出到仿真相机的Cameralink接口，从而大大节省测试时间,提高测试的完整性。同时，本系统具有一个上位机同时控制多个仿真相机的功能来满足多功能测试的需求。综上所述，本发明的方法具有简单高效，自动化程度高和可扩展性强的特点。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，包括以下步骤：
（1）构建增强型ACGAN网络，所述的增强型ACGAN网络包含生成器和判别器；所述生成器的构建过程如下：
（1-1-1）随机噪声和类别标签经过向量嵌入模块后得到特征图，将得到的特征图先经过第一层网络模块后送入多层残差模块；
其中，所述的第一层网络模块由上采样层、卷积层、以relu为激活函数的激活层和归一化层组成；所述的残差模块由卷积层、以relu为激活函数的激活层和卷积层依次构成，用于增加特征图的细节信息；
（1-1-2）将第一层网络模块的输出与第一层残差模块的输出通过Add层进行特征融合，下一层残差模块的输出均通过Add层与上一层残差模块的输出进行特征融合作为下一级的输入；
（1-1-3）在经过最后一层残差模块后放置一个卷积层和归一化层，将该归一化层的输出与第一层网络模块的输出通过跳连接的形式，经过Add层特征融合，增加输出特征图的分辨率；
（1-1-4）接下来通过多层上采样模块后得到预计输出维度的特征图；所述的采样模块由上采样层、卷积层和以relu为激活函数的激活层组成；
（2）收集真实缺陷图像数据并标注类别标签；将随机噪声和类别标签输入至生成器中先进行向量嵌入，然后进一步生成对应类别标签的假图像数据；将生成器生成的假图像数据与对应类别标签的真实图像数据输入判别器中，分别得到两者的真假概率和类别概率；
根据真假概率和类别概率计算训练的损失函数来调整生成器网络输出，直至判别器对生成器的输出在识别对应的缺陷类型时无法判断其真假；
（3）ACGAN网络的生成器和判别器训练完成后，根据用户设置，将设置的随机噪声和类别标签输入至训练好的生成器中，得到该标签类别对应的假缺陷图像数据；
（4）将假缺陷图像数据或真实缺陷图像数据，通过数据发送控制模块以以太网通讯的形式发送至仿真相机；
（5）仿真相机的数据接收及调度模块分别与DDR数据缓存区以及Cameralink行数据信号产生模块进行通信；
（6）Cameralink行数据信号产生模块产生的行图像数据通过Cameralink协议与目标设备进行通讯，目标设备得到仿真缺陷图像数据。
2.根据权利要求1所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，步骤（1-1-1）中，随机噪声和类别标签经过向量嵌入模块后得到特征图的具体过程为：
将类别标签通过Embedding层转换为固定大小的稠密向量，并将相同维度的一维随机噪声信号通过矩阵对应位置相乘的形式与转化后的类别标签向量进行融合；
将随机噪声与类别标签融合后的向量通过全连接层扩展成高维空间，再通过reshape层重塑成特征图。
3.根据权利要求1所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，步骤（1）中，所述判别器的构建过程如下：
（1-2-1）由生成器生成的特征图先经过多层卷积模块，然后送入全局平均池化层；所述的卷积模块由卷积层、以leaky relu为激活函数的激活层和归一化层组成；
（1-2-2）全局平均池化层的输出分别输入以sigmoid为激活函数和以softmax为激活函数的全连接层，前者输出对生成图像与真实图像样本的真假判别，后者输出对生成图像与真实图像样本的类别判别。
4.根据权利要求1所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，步骤（2）中，根据真假概率和类别概率计算训练的损失函数来调整生成器网络输出的过程为：
随机选取batch_size个真实的图像样本和类别标签，然后将随机生成batch_size个N维噪声向量和其对应的类别标签，利用Embedding层组合，传入到增强型ACGAN的生成器中生成batch_size个虚假的图像样式；
判别器的损失函数由两部分组成，一部分是真假的判断结果与真实情况的对比，另一部分是图片所属标签的判断结果与真实情况的对比；生成器的损失函数也由两部分组成，一部分是生成的图片是否被判别器判断为真，另一部分是生成的图片是否被分成了正确的类。
5.根据权利要求4所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，判断真假的损失函数
Figure 41466DEST_PATH_IMAGE001
为：
Figure 309636DEST_PATH_IMAGE002
分类的损失函数
Figure 239546DEST_PATH_IMAGE003
为：
Figure 200549DEST_PATH_IMAGE004
式中，
Figure DEST_PATH_IMAGE005
和
Figure 114278DEST_PATH_IMAGE006
分别表示关于真假图像和类别的对数似然损失，
Figure 61505DEST_PATH_IMAGE007
表示生成器对类别标签
Figure 236135DEST_PATH_IMAGE008
和随机噪声
Figure 741940DEST_PATH_IMAGE009
的输出假图像，
Figure 736441DEST_PATH_IMAGE010
表示真实图像数据；判别器给出了输入图像的真假概率分布
Figure 487359DEST_PATH_IMAGE011
和类标签分布
Figure 391861DEST_PATH_IMAGE012
；
判别器的损失函数
Figure 429088DEST_PATH_IMAGE013
为：
Figure 910884DEST_PATH_IMAGE014
判别器被训练为使
Figure 465494DEST_PATH_IMAGE015
最大化，使得判别器既能实现正确分类又能正确分辨数据真假；
生成器的损失函数
Figure 83557DEST_PATH_IMAGE016
为：
Figure 456464DEST_PATH_IMAGE017
生成器被训练为使
Figure 566502DEST_PATH_IMAGE018
最大化，使得生成器既能生成正确的类别，又不让判别器分辨出数据的真假。
6.根据权利要求1所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，步骤（4）中，所述的数据发送控制模块根据用户设置的仿真相机的车速模式自适应下发图像数据；
如果是页间歇模式，则一次连续发送用户指定行数的图像数据；如果是固定车速，则定时向仿真相机下发相机数据；如果是仿真相机控制车速模式，则数据发送控制模块根据仿真相机上传的数据需求行数，自动下发对应的数据。
7.根据权利要求1所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，步骤（5）中，仿真相机的数据接收及调度模块接收从数据发送控制模块下发的行图像数据，暂存于DDR数据缓存区，DDR数据缓存区采用FIFO先进先出模式；同时，数据接收及调度模块实现相机输出数据的调度功能。
8.根据权利要求7所述的基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法，其特征在于，所述Cameralink行数据信号产生模块接收数据接收及调度模块发出的行图像数据，根据相机输出的Cameralink模式进行编码后输出到Cameralink接口；同时，Cameralink行数据信号产生模块实现目标设备通过Cameralink的串行命令信号进行接收解码和响应，解码的部分设置结果和CC1同步控制信号输出到仿真相机数据接收及调度模块。
CN202111071256.8A 2021-09-14 2021-09-14 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 Active CN113516656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071256.8A CN113516656B (zh) 2021-09-14 2021-09-14 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071256.8A CN113516656B (zh) 2021-09-14 2021-09-14 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法

Publications (2)

Publication Number Publication Date
CN113516656A CN113516656A (zh) 2021-10-19
CN113516656B true CN113516656B (zh) 2021-12-14

Family

ID=78063051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071256.8A Active CN113516656B (zh) 2021-09-14 2021-09-14 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法

Country Status (1)

Country Link
CN (1) CN113516656B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292155B (zh) * 2022-06-22 2024-01-16 广州汽车集团股份有限公司 测试用例生成方法、装置以及车辆
CN115100195B (zh) * 2022-08-24 2022-11-22 浙江双元科技股份有限公司 一种用于片材检测的一体化工业相机
CN117744483B (zh) * 2023-12-18 2024-06-07 南京工业大学 基于孪生信息模型和实测数据融合的轴承故障诊断方法
CN117952983B (zh) * 2024-03-27 2024-07-26 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110909770A (zh) * 2019-11-05 2020-03-24 上海眼控科技股份有限公司 结合acgan的图像样本处理方法、装置、系统和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544555B (zh) * 2018-11-26 2021-09-03 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN109741328B (zh) * 2019-02-02 2023-04-14 东北大学 一种基于生成式对抗网络的汽车表观质量检测方法
CN109948693B (zh) * 2019-03-18 2021-09-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN111814875B (zh) * 2020-07-08 2023-08-01 西安电子科技大学 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN112085734B (zh) * 2020-09-25 2022-02-01 西安交通大学 一种基于gan的图像修复的缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110909770A (zh) * 2019-11-05 2020-03-24 上海眼控科技股份有限公司 结合acgan的图像样本处理方法、装置、系统和介质

Also Published As

Publication number Publication date
CN113516656A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516656B (zh) 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN111429418A (zh) 一种基于YOLO v3神经网络的工业零件检测方法
CN105654066A (zh) 一种车辆识别方法及装置
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
Wang et al. Hand-drawn electronic component recognition using deep learning algorithm
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN110245683A (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN114187506B (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN116994049A (zh) 全自动针织横机及其方法
CN114549391A (zh) 一种基于偏振先验的电路板表面缺陷检测方法
CN116893162A (zh) 基于yolo及注意力神经网络的罕见抗核抗体核型探测方法
CN115294392B (zh) 基于生成网络模型的可见光遥感图像云去除方法及系统
Cortiglioni et al. Automated star-galaxy discrimination for large surveys
CN111553202B (zh) 进行活体检测的神经网络的训练方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant