CN108734690A

CN108734690A - 一种视觉缺陷检测设备及其检测方法

Info

Publication number: CN108734690A
Application number: CN201810173748.XA
Authority: CN
Inventors: 胡华亮; 彭宏京; 陶淳; 牛双云; 利红平; 邓刚
Original assignee: Suzhou Hante Visual Technology Co Ltd
Current assignee: Suzhou Hante Visual Technology Co Ltd
Priority date: 2018-03-02
Filing date: 2018-03-02
Publication date: 2018-11-02
Anticipated expiration: 2038-03-02
Also published as: CN108734690B

Abstract

本发明涉及提供一种视觉缺陷检测设备及其检测方法，通过生成对抗网络获得标准件数字图像的分布概率，训练得到可将隐空间向量映射到标准件数字图像的生成器G，再通过训练得到可实现数字图像到隐空间向量映射的解码器D，最后将经预处理后得到的被检测工件二值灰度图像依次输入解码器D、生成器G得到与被检测工件最接近的最接近标准图像，利用差影法获得被检测工件二值灰度图像与最接近标准图像的差异值，通过比较差异值和阈值得出被检测工件是缺陷件或非缺陷件的判断；该检测方法具有移植性高，通用性强，试错时间短、检测精度高的优点。

Description

一种视觉缺陷检测设备及其检测方法

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种视觉缺陷检测设备及其检测方法。

背景技术

视觉检测是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专门的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。简而言之，视觉检测即是一种通过机器来代替人眼做测量和判断的方式。

机器视觉检测的特点是提高生产的柔性和自动化程度，目前在一些不适合人工作业的危险工作环境或人工视觉难以满足要求的场合，常采用机器视觉来代替人工视觉；同时对于大批量工业生产过程中，因人工视觉检查产品效率低下且检测结果的精度较低，也会通过采用机器视觉来达到提高生产效率和检测精度的目的。

机器视觉检测的一般工作流程包括如下步骤：1)工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图标采集部分发送触发脉冲，可分为连续触发和外部触发；2)图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲；3)摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描；4)摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定；5)另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配；6)摄像机曝光后，正式开始一帧图像的扫描和输出；7)图像采集部分接收模拟视频信号通过A/D将其数字化，或者是直接接收摄像机数字化后的数字视频数据；8)图像采集部分将数字图像存在在处理器或计算机的内存中；9)处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值；10)处理结果控制流水线的动作，进行定位、纠正运动的误差等；11)通过Excel等方式打印缺陷输出结果。

从上述机器视觉检测的一般流程可以看出，机器视觉检测设备包括下述结构：1)摄像机，用以捕捉被检测工件的图像；2)照明部件，提供照明；3)软件算法，存储于可读存储介质或存储器内；4)图像部件，摄像机将捕捉到的被检测工件的数字图像发送至图像部件，图像部件的处理器执行存储在可读存储介质内或存储器内的软件算法以完成检测。

因此，一个稳定的软件算法是获得理想检测结果的关键。但是因形成工件缺陷的原因各异，使得即便是同类工件，不同工件之间形成缺陷的样式、位置等也存在较大差异。

目前市场上推出的视觉缺陷检测算法能够在部分工件上获得较为理想的检测结果，但将其移植到其他工件上应用时则往往出现无法达到预期结果的现象，必须经过多次的迭代试错，如此一来，给企业增加了时间成本和人力成本。

发明内容

本发明实施例的目的在于提供一种视觉缺陷检测设备及其检测方法，以解决现有视觉缺陷检测方法在部分工件上可获得理想的检测结果，移植至其它工件则无法达到预期检测结果的技术问题。

本发明第一方案提供：一种视觉缺陷检测方法，包括：

基于获取的标准件数字图像训练生成对抗网络GANs，采用WGAN-GP模型生成在先128维随机向量Z，以WGAN-GP模型的Gradient Penalty作为损失函数，得到能够实现隐空间向量向标准件数字图像映射的生成器G；

对在先128维随机向量Z作卷积神经网络运算，获得在后128维向量Z’；

将在先128维随机向量Z输入生成器G，得到在先图像；将在后128维向量Z’输入生成器G，得到在后图像；

计算在先图像和在后图像的明度差值并以其为损失值，得到能够实现使数字图像映射到隐空间向量的解码器D；

对获取的被检测工件数字图像作归一化预处理，获得被检测工件的二值灰度图像；

将被检测工件的二值灰度图像依次输入解码器D、生成器G，得到与被检测工件最接近的最接近标准图像；

基于差影法计算被检测工件的二值灰度图像与最接近标准图像的差异值；

比较预设的阈值与二值灰度图像与最接近标准图像的差异值并根据比较结果作出被检测工件为缺陷件或非缺陷件的判断。

本发明的第二方案提供：一种视觉缺陷检测设备，包括：

用于基于获取的标准件数字图像训练生成对抗网络GANs，采用WGAN-GP模型生成在先128维随机向量Z，以WGAN-GP模型的Gradient Penalty作为损失函数，得到能够实现隐空间向量向标准件数字图像映射的生成器G的装置；

用于对在先128维随机向量Z作卷积神经网络运算，获得在后128维向量Z’的运算装置；

用于将在先128维随机向量Z输入生成器G，得到在先图像；将在后128维向量Z’输入生成器G，得到在后图像的装置；

用于计算在先图像和在后图像的明度差值并以其为损失值，得到能够实现使数字图像映射到隐空间向量的解码器D的装置；

用于对获取的被检测工件数字图像作归一化预处理，获得被检测工件的二值灰度图像的图像预处理装置；

用于将被检测工件的二值灰度图像依次输入解码器D、生成器G，得到与被检测工件最接近的最接近标准图像的装置；

用于基于差影法计算被检测工件的二值灰度图像与最接近标准图像的差异值的装置；

用于比较预设的阈值与二值灰度图像与最接近标准图像的差异值并根据比较结果作出被检测工件为缺陷件或非缺陷件的判断的判断装置。

本发明的第三方案提供：一种计算机可读存储介质，存储有与具有处理器的视觉缺陷检测设备结合使用的程序，所述程序被处理器执行以实现第一方案提供的视觉缺陷检测方法。

本发明第四方案提供：一种视觉缺陷检测设备，其特征是，包括一个或多个处理器；存储器；一个或多个程序，其中一个或多个所述程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行第一方案提供的视觉缺陷检测方法的指令。

本发明涉及提供的上述技术方案，与现有技术相比，具有如下有益效果：

1)可移植性强，不受工件本身形状、位置、花纹、角度等因素的影响；

2)通用性强，不受缺陷的形式、大小、位置等因素的影响；

3)试错时间短，本发明涉及提供的技术方案在进行移植应用时，仅需要若干张待检测工件的标准件图像，通过约4小时的训练即可获得与待检测工件适配的缺陷检测方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例的程序流程图。

具体实施方式

在下面的详细描述中，提出了许多具体细节，以便于对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好地理解。

为能够更清楚地理解本发明涉及揭示的技术方案，现对以下技术术语作简要的阐述。

判别模型：判别模型类似于分类，具有一个判别界限，通过这个判别界限实现对样本的区分，从概率角度来分析获得的样本x属于类别y的概率，是一个条件概率P(yx)。

生成模型：生成模型需要在整个条件内去产生数据的分布，类似于高斯分布，需要对整个分布进行拟合，从概率角度分析样本x在整个分布中产生的概率，即联合概率P(xy)。

生成对抗网络(Generative Adversarial Networks，GANs)：GANs的原理本质上酷似博弈论中的二人零和博弈。简单来说，就是用到判别模型和生成模型两个模型，生成模型的任务是生成一幅与真实图像接近的模拟图像，判别模型的任务则是对输入的模型进行是否为真实图像的判断；最开始生成模型和判别模型均为进行训练，生成模型和判别模型一起进行对抗训练，并在训练的过程中逐渐变强，最终达到稳态。

卷积神经网络：卷积神经网络本质上是一种输入到输出的映射，它能够学习大量输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积网络加以训练，网络就有了输入输出对之间的映射能力。卷积神经网络执行的是有监督的导师训练，所有样本是由形如输入向量，理想输出向量对构成。

灰度图像：灰度图像是每个像素只有一个采样颜色的图像。

二值灰度图像：二值灰度图像的像素值只能为0或1，其灰度级为2。

差影法：差影法就是图像的相减运算。

HSL：HSL色彩模式是工业界的一种颜色标准，是通过对色相(H)、饱和度(S)、明度(L)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

H代表色相；S代表饱和度；L代表明度。

下面将结合附图，对本发明实施例的技术方案进行描述。

本发明第一实施例涉及揭示一种视觉缺陷检测方法，如图1所示，包括：

步骤101，基于获取的标准件数字图像训练生成对抗网络GANs，采用WGAN-GP模型生成在先128维随机向量Z，以WGAN-GP模型的Gradient Penalty作为损失函数，得到能够实现隐空间向量向标准件数字图像映射的生成器G；

步骤102，对在先128维随机向量Z作卷积神经网络运算，获得在后128维向量Z’；

步骤103，将在先128维随机向量Z输入生成器G，得到在先图像；将在后128维向量Z’输入生成器G，得到在后图像；

步骤104，计算在先图像和在后图像的明度差值并以其为损失值，得到能够实现使数字图像映射到隐空间向量的解码器D；

步骤105，对获取的被检测工件数字图像作归一化预处理，获得被检测工件的二值灰度图像；

步骤106，将被检测工件的二值灰度图像依次输入解码器D、生成器G，得到与被检测工件最接近的最接近标准图像；

步骤107，基于差影法计算被检测工件的二值灰度图像与最接近标准图像的差异值；

步骤108，比较预设的阈值与二值灰度图像与最接近标准图像的差异值并根据比较结果作出被检测工件为缺陷件或非缺陷件的判断。

具体的，标准件数字图像可通过摄像机捕获标准件并经数字化处理得到，也可使用现有的标准件数字图像。

归一化预处理可根据处理目的选用合适的归一化算法，比如上述实施例中进行归一化预处理的目的是将标准件数字图像转化为二值灰度图像，则可选用0均值标准化方法。

预设的阈值与待检测工件相对应，不同类型的待检测工件的阈值不同。阈值的设定根据待检测工件的产品要求确定，具体阈值的数值确定则是通过样本试验获得。即选定一定数量的标准件样本，捕获标准件样本的样本数字图像，分别计算各个样本数字图像与标准件数字图像的差异值，根据待检测工件的产品要求确定阈值的数值。

另外，在本发明第二实施例中揭示了一种视觉缺陷检测设备，包括：

具体的，该装置获取的标准件数字图像可由摄像机捕获标准件并经数字化处理后输入，也可直接输入现有的标准件数字图像。

具体的，该装置内可封装有一种或多种归一化算法，可根据处理目的人为选择其中的一种方法。比如上述实施例中进行归一化预处理的目的是将标准件数字图像转化为二值灰度图像，则可选用0均值标准化方法。

用于比较预设的阈值与差异值并根据比较结果作出被检测工件为缺陷件或非缺陷件的判断的判断装置。

具体的，该判断装置内可预先输入一个或多个阈值，一个或多个阈值分别与待检测工件的类型一一对应。举例来说，即若该判断装置内存有阈值A和阈值B，则阈值A对应工件A，阈值B对应于工件B。

阈值的设定根据待检测工件的产品要求确定，具体阈值的数值确定则是通过样本试验获得。即选定一定数量的标准件样本，捕获标准件样本的样本数字图像，分别计算各个样本数字图像与标准件数字图像的差异值，根据待检测工件的产品要求确定阈值的数值。

另外，在本发明的第三实施例中揭示了一种计算机可读存储介质，存储有与具有处理器的视觉缺陷检测设备结合使用的程序，程序被处理器执行以实现本发明第一实施例揭示的视觉缺陷检测方法。

具体的，本实施例中的计算机可读存储介质与处理器共同为视觉缺陷检测设备图像部件的分部件，视觉缺陷检测设备图像部件还包括用于存储标准件数字图像、待检测工件数字图像的存储器。处理器执行计算机可读存储介质中的程序，完成本发明第一实施例的检测方法。

另外，本发明第四实施例还揭示了一种视觉缺陷检测设备，包括一个或多个处理器；存储器；一个或多个程序，其中一个或多个程序被存储在存储器中，并且被配置成由一个或多个处理器执行，程序包括用于执行本发明第一实施例提供的视觉缺陷检测方法的指令。

具体的，本实施例中，包括多个存储器和多个处理器，多个存储器中的其中一个存储器用于存储标准件数字图像、待检测工件数字图像，多个存储器中的另一个存储器用于存储本发明第一实施例提供的视觉缺陷检测方法的程序。多个处理器中的其中一个处理器被配置为用于执行程序的指令。

实施上述实施例，可以达到如下预期的有益效果：

1)可应用于不同工件的缺陷检测，不受工件本身形状、位置、花纹、角度等因素的影响；

2)可实现不同缺陷的检测，不受缺陷的形式、大小、位置等因素的影响；

3)试错时间短，在进行应用移植时，仅需要若干张待检测工件的标准件图像，通过约4小时的训练即可获得与待检测工件适配的缺陷检测方法。

在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所述涉及的动作和模块并不一定是本发明所必须的。

本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口，装置或单元之间的间接耦合或通信连接，可以是电信或者其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案，而非对发明的保护范围进行限制。显然，所描述的实施例仅仅是本发明部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明所要保护的范围。尽管参照上述实施例对本发明进行了详细的说明，本领域普通技术人员依然可以在不冲突的情况下，不作出创造性劳动对本发明各实施例中的特征根据情况相互组合、增删或作其他调整，从而得到不同的、本质未脱离本发明的构思的其他技术方案，这些技术方案也同样属于本发明所要保护的范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视觉缺陷检测方法，其特征是，包括：

2.一种视觉缺陷检测设备，其特征是，包括：

3.一种计算机可读存储介质，其特征是，存储有与具有处理器的视觉缺陷检测设备结合使用的程序，所述程序被处理器执行以实现如权利要求1所述的视觉缺陷检测方法。

4.一种视觉缺陷检测设备，其特征是，包括一个或多个处理器；存储器；一个或多个程序，其中一个或多个所述程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1所述的视觉缺陷检测方法的指令。