CN114066835A - 图像检测、自动光学检测方法、装置、存储介质及设备 - Google Patents

图像检测、自动光学检测方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114066835A
CN114066835A CN202111323602.7A CN202111323602A CN114066835A CN 114066835 A CN114066835 A CN 114066835A CN 202111323602 A CN202111323602 A CN 202111323602A CN 114066835 A CN114066835 A CN 114066835A
Authority
CN
China
Prior art keywords
image
model
target object
training
object image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111323602.7A
Other languages
English (en)
Inventor
林剑冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robotics Robotics Shenzhen Ltd
Original Assignee
Robotics Robotics Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robotics Robotics Shenzhen Ltd filed Critical Robotics Robotics Shenzhen Ltd
Priority to CN202111323602.7A priority Critical patent/CN114066835A/zh
Publication of CN114066835A publication Critical patent/CN114066835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请提供一种图像检测、自动光学检测方法、装置、存储介质及设备。其中，图像检测方法，用于对自动光学检测设备的初检结果进行复检，包括：获取初检结果为不合格的目标物图像；以不合格的目标物图像作为复检模型的输入，以得到复检结果。通过采用上述图像检测方法可以提高自动光学检测结果的准确率。

Description

图像检测、自动光学检测方法、装置、存储介质及设备
技术领域
本申请涉及目标物的自动光学检测技术领域，特别是涉及一种图像检测、自动光学检测方法、装置、存储介质及设备。
背景技术
随着科技水平的提高，自动光学检测(Automatic Optic Inspection AOI)在各个领域得到快速发展和广泛应用。以电路板的自动光学检测为例，可以基于AOI技术对电路板上缺锡、少锡；元件漏料、偏移、立碑；电路板的印刷电路存在缺陷等问题进行检测。
但是，基于现有的AOI技术对目标物进行缺陷检测，往往得到的误判等结果较多。
发明内容
本申请提供一种图像检测、自动光学检测方法、装置、存储介质及设备，以提高自动光学检测的结果的准确率。
本申请第一方面提供一种图像检测方法，用于对自动光学检测设备的初检结果进行复检，所述方法包括：
获取初检结果为不合格的目标物图像；
以所述不合格的目标物图像作为复检模型的输入，以得到复检结果。
在一个实施方式中，所述方法还包括：
获取由合格和不合格的目标物图像样本构成的训练样本；
获取复检模型的初始模型；
以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
在一个实施方式中，所述复检模型由输入到输出端依次包括：
第一编码单元、解码单元和第二编码单元；其中，
所述第一编码单元，用于对输入的所述目标物图像解析，以提取所述目标物图像中的特征向量，并将所述特征向量发送给所述解码单元；
所述解码单元，用于对所述特征向量进行重构，以得到重构目标物图像，并将所述重构目标物图像发送给所述第二编码单元；
所述第二编码单元，用于对所述重构目标物图像解析，以得到重构特征向量。
在一个实施方式中，所述以所述训练样本对所述初始模型进行训练包括：
基于对比损失函数，以所述训练样本对所述复检模型的进行训练；其中，
所述损失函数的公式为：
Loss(L,y)＝k*y*L+k*(1-y)*max(0,margin-L) ①
L＝||z-z'||2+||I-I'||1 ②；
其中，margin＝1；当为正样本时，y＝1；当为负样本时，y＝0；z为所述特征向量，z’为所述重构特征向量；I为所述目标物图像；I’为所述重构图像；0<k。
在一个实施方式中，所述方法还包括：
基于所述目标物的种类，从复检模型库中选取所述复检模型；其中，
所述复检模型库中的多个复检模型预先基于目标物的种类进行分类，使得同一种类的目标物对应同一所述复检模型；不同种类的所述复检模型相互独立。
在一个实施方式中，所述方法还包括：
根据所述目标物的尺寸大小，从复检模型库中选取所述复检模型的子模型；
其中，
所述子模型包括大图检测子模型和小图检测子模型；
所述大图检测子模型，用于检测目标物的全部区域；
所述小图检测子模型，用于检测目标物的局部区域。
在一个实施方式中，所述方法还包括：
发送所述复检结果和/或所述不合格的目标物图像给显示器和/或下游设备。
本申请第二方面提供一种自动光学检测方法，适用于自动光学检测设备，所述方法包括：
对所述目标物图像进行初检，得到目标物图像合格或不合格的初检结果；以及，第一方面所述的图像检测方法。
本申请第三方面提供一种复检模型的训练方法，所述方法包括：
获取由合格和不合格的目标物图像样本构成的训练样本；
获取复检模型的初始模型；
以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
本申请第四方面提供一种上面任一项所述的复检模型，所述复检模型由输入到输出端依次包括：
第一编码单元、解码单元和第二编码单元；其中，
所述第一编码单元，用于对输入的所述目标物图像解析，以提取所述目标物图像中的特征向量，并将所述特征向量发送给所述解码单元；
所述解码单元，用于对所述特征向量进行重构，以得到重构目标物图像，并将所述重构目标物图像发送给所述第二编码单元；
所述第二编码单元，用于对所述重构目标物图像解析，以得到重构特征向量。
本申请第五方面提供一种检测装置，所述装置包括：
图像获取模块，用于获取初检结果为不合格的目标物图像；
图像复检模块，用于以所述不合格的目标物图像作为复检模型的输入，得到复检结果；或
图像初检模块，用于对目标物图像进行初检，得到目标物图像合格或不合格的初检结果；
图像获取模块，用于获取所述初检结果为不合格的目标物图像；
图像复检模块，用于以所述不合格的目标物图像作为复检模型的输入，得到复检结果；
本申请第六方面提供一种复检模型训练装置，所述装置包括：
样本获取模块，用于获取由合格和不合格的目标物图像样本构成的训练样本；
模型获取模块，用于获取所述标记模型的初始模型；
模型训练模块，用于以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
本申请第七方面提供一种控制器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的图像检测方法；第二方面所述的自动光学检测方法；和/或第三方面所述的复检模型训练方法。
本申请第八方面提供一种自动光学检测设备，所述设备包括：光源、图像传感器和第六方面所述的控制器；
所述控制器通信连接所述图像传感器；
所述光源，用于照射所述目标物；
所述图像传感器，用于采集所述目标物在所述光源照射下的所述目标物图像。
本申请第九方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面所述的图像检测方法；第二方面所述的自动光学检测方法；和/或第三方面所述的复检模型训练方法。
附图说明
图1为本申请一个实施方式中的自动光学检测设备的第一结构示意图；
图2为本申请一个实施方式中的自动光学检测设备的第二结构示意图；
图3为本申请一个实施方式中的计算机设备的第一结构示意图；
图4为本申请一个实施方式中的复检模型的第一结构示意图；
图5为本申请一个实施方式中的目标物图像中不同部分分别对应大图检测子模型和小图检测子模型的示意图；
图6为本申请一个实施方式中的图像检测方法的第一流程示意图；
图7为本申请一个实施方式中的图像检测方法的第二流程示意图；
图8为本申请一个实施方式中的图像检测方法的第三流程示意图；
图9为本申请一个实施方式中的图像检测方法的第四流程示意图；
图10为本申请一个实施方式中的图像检测方法的第五流程示意图；
图11为本申请一个实施方式中的自动光学检测方法的第一流程示意图；
图12为本申请一个实施方式中的检测模型训练方法的第一流程示意图；
图13为本申请一个实施方式中的图像检测装置的第一结构框图；
图14为本申请一个实施方式中的自动光学检测装置的第一结构框图；
图15为本申请一个实施方式中的检测模型训练装置的第一结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本申请进行进一步详细说明。应当理解，此处描述的具体实施方式仅仅用以解释本申请，并不用于限定本申请。
本申请实施方式提供的图像检测、自动光学检测方法、装置、存储介质及设备，可以应用于自动光学检测技术领域，通过该方法可以提高自动光学检测结果的准确率。
为方便理解，首先对本申请中涉及的一些基本概念进行介绍。
本申请中所述的自动光学检测(Automatic Optic Inspection AOI)可以是指基于光源照射目标物，再通过图像传感器采集光源照射下的目标物的图像，根据像素分布和亮度、颜色等信息，结合某些算法等生成目标物合格或不合格的检测结果。
本申请中所述的各人工智能模型可以包括但不限于是各种神经网络(NeuralNetworks，NN)。比如，卷积神经网络(Convolutional Neural Networks，CNN)，常见的CNN模型可以包括但不限于：LeNet，AlexNet，ZF，Net，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，YOLO，SSD，BB8,YOLO-6D，Deep-6dPose，PoseCNN,Hourglass,CPN以及其他现在已知或将来开发的网络模型结构。
人工智能模型的训练方法可以根据人工智能模型的用途等的不同而不同，比如：可以采用监督学习、半监督学习的方法。以监督学习为例，可以将训练数据输入到具有初始参数的神经网络模型中，基于损失函数将模型的输出结果与已经预先标记的标准输出结果进行对比，根据差值迭代更新模型的参数，直到满足终止条件(比如：差值小于某个阈值)。
如图1所述，本申请实施方式提供一种自动光学检测设备，用于对目标物进行自动光学检测，该设备包括：光源11、图像传感器12和控制器13。
需要说明的是，目标物可以根据需要设定为任意。为方便理解，如图1或2所示，本申请实施方式以目标物为电路板上焊接电子元件引脚的焊锡M为例进行说明，通过该AOI设备可以对电路板上的焊锡M进行检测，以筛选出存在缺陷的焊锡，比如：多锡或少锡都可能会影响电路板的性能，因此多锡或少锡都视为不合格产品，需要被筛选出来。
控制器13通常包括处理器和存储器，存储器用于存储程序，处理器用于执行存储器存储的程序，以实现下面实施例所述的图像检测方法和自动光学检测方法中的各方法步骤等。具体地，控制器13可以根据预先固定的程序，结合预先存储的信息、参数；人工输入的信息、参数；和/或图像传感器等采集的数据信息等生成程序、指令，后面实施方式会有进一步详细说明。
需要说明的是，对于下面实施方式所述的图像检测方法和自动光学检测方法可以通过同一个控制器基于执行不同的程序等实现；也可以分别采用两个独立设置的控制器，本申请不做限定。
具体地，控制器可以为计算机终端(Personal Computer，PC)、工业控制计算机终端(Industrial Personal Computer，IPC)、移动终端、服务器、包括终端和服务器的系统(通过终端和服务器的交互实现控制)、可编程逻辑控制器(Programmable LogicController，PLC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processer，DSP)或微控制器(Microcontroller unit，MCU)等类似的运算装置中执行。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)，以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接。
示例性的，控制器13可以为如图3所示的计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的器件等进行有线或无线方式的通信。该计算机程序被处理器执行时以实现本申请实施方式所述的相关检测方法。
控制器13与图像传感器12通信连接。
其中，通信连接可以是指控制器通过有线或者无线的方式直接或者间接地与图像传感器通信连接。
具体地，无线的方式可以但不限于是：3G/4G/5G、IEEE规范802.11(Wi-Fi)、蓝牙、WiMAX(Worldwide Interoperability for Microwave Access，全球互通微波访问)、IEEE规范802.15.4(Zigbee，紫蜂)、UWB(Ultra Wide Band，超宽带)，以及其它现在已知或将来开发的无线连接方式。
具体地，图像传感器可以但不限于是：照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑)等。图像传感器可以包括各种2D图像传感器，在一些实施例中，图像传感器还可以包括3D图像传感器(比如：3D激光传感器、深度传感器)。图像传感器的数量可以根据需要设计为一组或者多组，每组图像传感器可以根据需要为一个或者多个。
光源11，用于照射目标物M。
具体地，光源的数量、颜色、排布形状等可以根据需要进行任意设置。示例性的，如图1所示，以焊锡等检测为例，光源11可以为红、绿、蓝三色环形光。
如图2所示，在一个实施方式中，该自动光学检测设备还可以包括显示器14。
显示器14与控制器13通信连接；
控制器13，用于将复检结果发送给显示器14，以通过显示器14对复检结果进行显示。
在一个实施方式中，控制器13，还可以用于将初检结果不合格的目标物图像发送给显示器，以通过显示器对不合格的目标物图像进行显示。
具体地，显示器可以为LED、LCD、CRT或触控屏等各种现在已有或将来开发的显示屏；以及包括上述显示屏的计算机终端、移动终端等。
需要说明的是，上面实施方式中提到的光源、目标物、传感器等，既可以是真实环境下的真实的物体，也可以是仿真平台下的虚拟的物体，通过仿真环境以达到连接真实物体的效果。可以将依赖虚拟环境完成训练后的控制器，移植到真实环境下，对真实的物体进行控制或者再训练，可以节省训练过程的资源和时间。
本领域技术人员可以理解，图1、2和3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的装置、设备或系统等的限定，具体地装置、设备或系统等可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图6所示，在一个实施方式中，提供一种图像检测方法，用于对自动光学检测设备的初检结果进行复检，以该方法应用于图1中所示的自动光学检测设备的控制器为例，该方法可以包括如下方法步骤：
步骤S110获取初检结果为不合格的目标物图像；
步骤S120以不合格的目标物图像作为复检模型的输入，得到目标物图像的复检结果。
通过对初检不合格的目标物图像基于人工智能的方法进行复检，可以提高最终检测结果的准确率。
为方便理解，下面进行进一步详细说明。
步骤S110获取初检结果为不合格的目标物图像。
在一个实施方式中，控制器可以访问存储的目标物图像对应的存储地址，从访问的存储空间中提取经初检判断为不合格的目标物图像。在一个实施方式中，也可将目标物图像存储在服务器中，通过网络将不合格的目标物图像发送至控制器。
具体的，对于上述“合格”和“不合格”的目标物图像，“合格”可以是指经过对目标物图像进行检测判断目标物没有缺陷，而“不合格”可以是指经过对目标物图像进行检测判断目标物存在缺陷。
示例性的，继续以焊锡检测为例，当经过对包括电子元件的焊锡的图像进行检测，发现焊锡存在多锡、少锡等情况时，判断该图像为不合格；当经过检测，判断图像中的焊锡不存在上述缺陷时，视为该图像合格。
步骤S120以不合格的目标物图像作为复检模型的输入，得到目标物图像的复检结果。
在一个实施方式中，控制器可以访问预先生成或在线已经生成的并存储的复检模型对应的存储地址，从访问的存储空间中提取存储的复检模型；在一个实施方式中，复检模型已生成并存储在服务器中，控制器可以生成复检模型获取请求，通过网络将复检模型获取请求发送至服务器；服务器接收复检模型获取请求，根据复检模型获取请求中的数据标识从数据库中提取复检模型，通过网络将复检模型发送至控制器。
在一个实施例中，上述复检结果可以为目标物图像合格或不合格的复判断，比如，基于模型可以输出“PASS”or“NG”的判断结果，“PASS”代表合格，“NG”代表不合格。
需要说明的是，复检模型可以根据需要采用各种现在已有或将来开发的可基于目标物图像得到复检判断结果的人工智能模型。
如图4A所示，在一个实施方式中，复检模型由输入到输出端依次包括如下结构：
第一编码单元(Encoder1)、解码单元(Decode)和第二编码单元(Encoder2)；上述Encoder1、Decode和Encoder2可以为各种现在已有或将来开发的能实现对应功能的神经网络模型。
在一个实施方式中，如图4B所示，Encoder1可以包括多层conv(卷积层)+BN(Batchnormalization)+relu(激活函数)，用于对输入的目标物图像逐级的获取特征，最终输出特征向量z，并将特征向量发送给Decode。
在一个实施方式中，如图4C所示，Decode可以包括多层deconv(反卷积层)+BN(Batch normalization)+relu(激活函数)，用于基于特征向量重构，以得到重构的目标物图像，并将重构的目标物图像发送给Encoder2。
在一个实施方式中，Encoder2的结构可以与Encoder1相同，可以包括多层conv(卷积层)+BN(Batch normalization)+relu(激活函数)，用于逐级的获取特征，对重构目标物图像解析，以得到重构特征向量z’。
需要说明的是，上述复检模型通过对正样本进行训练，网络会重构出相似的图像或特征，重构出来图像和/或特征与正样本的图像和/或特征之间的相似度距离会比较小；对负样本进行训练，网络会重构出与正样本不相似的图像和/或特征，也就是重构出来图像和/或特征与正样本的图像和/或特征之间的相似度距离会比较大。
实际的在线检测阶段，基于输入的目标物图像，复检模型的Decode输出的是重构图像I’，Encoder2输出的是重构特征z’。在一个实施方式中，可以单独用特征与重构特征的距离||z-z'||2来判断；也可以单独用目标物图像与重构图像的距离||I-I'||1来判断；或者，也可以两者结合来判断||z-z'||2+||I-I'||1。通过判断重构图像与目标物图像和/或重构特征与特征之间的相似度是否满足预设条件，来判断输入的目标物图像是否存在异常。比如：通过判断重构图像与目标物图像和/或重构特征与特征之间的距离是否大于预设阈值，若大于，则判断目标物图像存在异常；若小于或等于，则判断目标物图像不存在异常。
如图8所示，在一个实施方式中，步骤S120之前需要对复检模型进行训练，具体可以包括如下方法步骤：
步骤S160获取由合格和不合格的目标物图像样本构成的训练样本；
在一个实施方式中，可以基于人工或者自动的方式对大量的训练样本图像进行标注，得到标注后的正样本(合格的目标物图像样本)和负样本(不合格的目标物图像样本)。
步骤S170获取复检模型的初始模型；
步骤S180以训练样本对初始模型进行训练，得到复检模型。
上述模型训练的方法步骤通常预先在线下完成；但需要说明的是，也可以在线上完成，本申请不做限定。有关步骤S160-步骤S180可以参见下面的实施方式中的进一步说明。
进一步，在一个实施方式中，以上面实施方式所列举的复检模型的框架结构为例，上述步骤S180可以包括：基于对比损失函数，以训练样本对复检模型进行训练。
目标物图像I先经过encoder 1，得到特征向量z，z特征向量经过decoder 1得到重构图像I’，重构图像I’经过encoder 2得到重构特征向量z’。
需要说明的是，损失函数可以根据需要设定为任意。
在一个实施方式中，损失函数的公式可以为如下：
Loss(L,y)＝k*y*L+k*(1-y)*max(0,margin-L) ①
L＝||z-z'||2+||I-I'||1 ②；
其中，margin＝1；当为正样本时，y＝1；当为负样本时，y＝0；z为特征向量，z’为重构特征向量；I为目标物图像；I’为重构图像；0<k；示例性的，k＝0.5。
训练过程是当样本是正样本(也即合格的目标物图像样本)时，训练网络使得L最小，而当样本是负样本(也即不合格的目标物图像样本)时，训练网络使得L尽可能大。
如图9所示，在一个实施方式中，上述检测方法还可以包括：
步骤S190基于目标物的种类，从复检模型库中选取复检模型。
在一个实施方式中，可以根据目标物种类的不同预先存储多个复检模型，多个复检模型可以根据目标物的种类进行分类，使得同一种类的目标物对应同一所述复检模型；不同种类的复检模型相互独立。
示例性的，可以元件库名区分，即所有相同库名的元件可以共享同一个神经网络模型，并且在不同型号板子上可复用相同元件库名的神经网络模型。通过上述方法，相同库名的元件可以采用同一神经网络模型进行复检，从而可以减少模型的训练，减小模型训练的时间，降低了成本。
如图10所示，在一个实施方式中，上述图像检测方法还包括：
步骤S200基于目标物的尺寸大小，从复检模型库中选取复检模型的对应子模型；
如图5A所示在一个实施方式中，复检模型可以包括复检模型大图检测子模型和小图检测子模型。如图5B所示，其中，大图检测子模型，用于检测目标物的全部区域L1；小图检测子模型，用于检测目标物的局部区域L2。
具体的，复检模型针对不同检测任务会有不一样的神经网络子模型，比如：检测元件漏料、偏移、立碑等检测任务会有大图检测子模型负责预测，对于少锡、多锡等检测任务会有小图检测子模型负责预测，目的是为了分别提高大尺寸和小尺寸检测任务的检测精度。
具体地，大图检测子模型和小图检测子模型可以用相同的网络结构也可以用不同的网络结构；当采用相同的网络结构时，规模不一样。所谓规模不一样是指神经网络参数的数量不一样，大模型参数多一点，但是速度慢一点，而小模型参数少一点，速度快一点。
如图7所示，在一个实施方式中，步骤S120之后还可以包括如下方法步骤：
步骤S150发送复检结果和/或不合格的目标物图像给显示器和/或下游设备。
在一个实施方式中，控制器13可以将生成的复检结果和/或不合格的目标物图像通过控制器的输出接口将复检结果和/或不合格的目标物图像发送给显示器显示，以方便进行后续操作。
在一个实施方式中，控制器13还通信连接下游设备。控制器13可以将复检结果和/或不合格的目标物图像通过控制器的输出接口发送给下游设备，以供下游设备基于复检结果和/或不合格的目标物图像进行后续操作。比如：可以发送给分板设备，分板设备根据检测结果，将合格和不合格的电路板分开输送。
需要说明的是，上述不合格的目标物图像可以是在初检后(未得到复检结果前)就通过控制器发给显示器和/或下游设备，也可以是在复检后与复检结果一起发送给显示器和/或下游设备等，本申请不做限定。
如图11所示，本申请实施方式提供一种自动光学检测方法，以该方法适用于图1或图2所示的自动光学检测设备为例，该方法包括如下方法步骤：
步骤S210对目标物图像进行初检，得到目标物图像的合格或不合格的初检结果；以及，
步骤S220上面实施方式所述的图像检测相关的方法步骤。
有关图像检测方法的步骤参见上面的实施方式，在此不再重复赘述，下面仅对步骤S210进行进一步说明。
在一个实施方式中，控制器13获取图像传感器12采集并发送的基于光源11照射下的目标物M的图像，基于人工智能的方法，或者根据像素分布和亮度、颜色等信息，结合某些算法等生成目标物合格或不合格的检测结果。
示例性的，如图1所示，以焊锡检测为例，三色光源11照射位于电路板上的电子元件的针脚的焊锡M，图像传感器12采集针脚的焊锡M反射光图像，根据图像中的像素分布与模板图像中的像素分布进行对比，从而得到该焊锡是否合格的检测结果；或者，也可以将图像输入预先经过训练的检测模型，从而直接输出是否合格的检测结果等。
在一个实施方式中，步骤S210之前还可以包括：
步骤S240对目标物图像进行预处理。
具体地，对目标物图像进行预处理可以包括但不限于：颜色空间变化、灰度归一化等，通过对目标物进行预处理，可以去掉部分影响目标物检测的干扰因素，从而提高检测结果和复检结果的精度。
如图12所示，在一个实施方式中，本申请还提供一种复检模型的训练方法，该方法可以包括如下方法步骤：
步骤3210获取由合格和不合格的目标物图像样本构成的训练样本；
步骤S320获取复检模型的初始模型；
步骤S330以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
因为实际生产中正样本很容易收集，而负样本比较难收集，支持正样本训练，能大大提升易用性，减少建模时间；另外，如果仅支持正样本学习的模型对于瑕疵比较小的图像检测效果并不好,本方法支持少量负样本的学习能提升模型检测的准确性，因此，基于正样本和负样本构建的训练样本对模型进行训练可以大大提升易用性，减少建模时间，并提升模型检测的准确性。
示例性的，继续以焊锡检测为例，在某些情况下，基于经大量真实跑板数据统计，AOI设备误报率大概在0.2％～0.6％之间，而AI复查加持后，预计误报率可降到0.02％～0.06％，大概有1个数量级的提升，比如原来1条产线需要1个员工复检，加了AI复查功能后可能5～10条线只需要1个员工复检，能大大减低生产成本。
应该理解的是，虽然图6-12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6-12的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图13所示，在一个实施方式中，提供一种图像检测装置，该装置包括：
图像获取模块110，用于获取初检结果为不合格的目标物图像；
图像复检模块120，用于以不合格的目标物图像作为复检模型的输入，得到复检结果。
在一个实施方式中，图像检测装置还包括：
样本获取模块，用于获取由合格和不合格的目标物图像样本构成的训练样本；
模型获取模块，用于获取标记模型的初始模型；
模型训练模块，用于以训练样本对初始模型进行训练，以得到复检模型。
在一个实施例中，所述图像检测装置还包括：
第一模型选取模块，用于基于目标物的种类，从复检模型库中选取复检模型；
在一个实施例中，图像检测装置还包括：
第二模型选取模块，根据目标物的尺寸大小，从复检模型库中选取复检模型的子模型。
在一个实施例中，图像检测装置还包括：
结果发送模块，用于发送复检结果和/或不合格的目标物图像给显示器和/或下游设备。
如图14所示，在一个实施方式中，提供一种自动光学检测装置，该装置包括：图像初检模块210和图像检测装置。
图像初检模块210，用于对目标物图像进行初检，得到目标物图像合格或不合格的初检结果。
在一个实施方式中，所述自动光学检测装置还包括：
图像预处理模块240，用于对目标物图像进行预处理。
有关图像检测装置参见上面实施方式中所述，在此不再重复赘述。
如图15所示，在一个实施方式中，提供一种复检模型训练装置，该装置包括：
样本获取模块310，用于获取由合格和不合格的目标物图像样本构成的训练样本；
模型获取模块320，用于获取标记模型的初始模型；
模型训练模块330，用于以训练样本对初始模型进行训练，以得到复检模型。
关于上述各图像检测装置、自动光学检测装置、复检模型训练装置的具体限定可以参见上文中对于图像检测方法、自动光学检测方法、复检模型训练方法的限定，在此不再赘述。上述各个图像检测装置、自动光学检测装置、复检模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供一种控制器(比如：如图3所示的计算机设备)，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像检测方法、自动光学检测方法和/或复检模型训练方法的步骤。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述检测方法、自动光学检测方法和/或复检模型训练方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体地实施方式的目的，不是用于限制本发明。
本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“S110”、“S120”“S130”等等(如果存在)是用来区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如：包括了一系列步骤或者模块的过程、方法、系统、产品或机器人不必限于清楚地列出的那些步骤或者模块，而是包括没有清楚地列出的或对于这些过程、方法、系统、产品或机器人固有的其它步骤或模块。
需要说明的是，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的结构和模块并不一定是本发明所必须的。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像检测方法，用于对自动光学检测设备的初检结果进行复检，其特征在于，所述方法包括：
获取初检结果为不合格的目标物图像；
以所述不合格的目标物图像作为复检模型的输入，以得到复检结果。
2.根据权利要求1所述的图像检测方法，其特征在于，所述方法还包括：
获取由合格和不合格的目标物图像样本构成的训练样本；
获取复检模型的初始模型；
以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
3.根据权利要求2所述的图像检测方法，其特征在于，所述复检模型由输入到输出端依次包括：
第一编码单元、解码单元和第二编码单元；其中，
所述第一编码单元，用于对输入的所述目标物图像解析，以提取所述目标物图像中的特征向量，并将所述特征向量发送给所述解码单元；
所述解码单元，用于对所述特征向量进行重构，以得到重构目标物图像，并将所述重构目标物图像发送给所述第二编码单元；
所述第二编码单元，用于对所述重构目标物图像解析，以得到重构特征向量。
4.根据权利要求3所述的图像检测方法，其特征在于，所述以所述训练样本对所述初始模型进行训练包括：
基于对比损失函数，以所述训练样本对所述复检模型的进行训练；其中，
所述损失函数的公式为：
Loss(L,y)＝k*y*L+k*(1-y)*max(0,margin-L) ①
L＝||z-z'||2+||I-I'||1 ②；
其中，margin＝1；当为正样本时，y＝1；当为负样本时，y＝0；z为所述特征向量，z’为所述重构特征向量；I为所述目标物图像；I’为所述重构图像；0<k。
5.根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述方法还包括：
基于所述目标物的种类，从复检模型库中选取所述复检模型；其中，
所述复检模型库中的多个复检模型预先基于目标物的种类进行分类，使得同一种类的目标物对应同一所述复检模型；不同种类的所述复检模型相互独立。
6.根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述方法还包括：
根据所述目标物的尺寸大小，从复检模型库中选取所述复检模型的子模型；其中，
所述子模型包括大图检测子模型和小图检测子模型；
所述大图检测子模型，用于检测目标物的全部区域；
所述小图检测子模型，用于检测目标物的局部区域。
7.根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述方法还包括：
发送所述复检结果和/或所述不合格的目标物图像给显示器和/或下游设备。
8.一种自动光学检测方法，其特征在于，适用于自动光学检测设备，所述方法包括：
对所述目标物图像进行初检，得到目标物图像合格或不合格的初检结果；以及，
权利要求1-7任一项所述的图像检测方法。
9.一种权利要求1-7任一项所述的复检模型的训练方法，其特征在于，所述方法包括：
获取由合格和不合格的目标物图像样本构成的训练样本；
获取复检模型的初始模型；
以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
10.一种权利要求1-9任一项所述的复检模型，其特征在于，所述复检模型由输入到输出端依次包括：
第一编码单元、解码单元和第二编码单元；其中，
所述第一编码单元，用于对输入的所述目标物图像解析，以提取所述目标物图像中的特征向量，并将所述特征向量发送给所述解码单元；
所述解码单元，用于对所述特征向量进行重构，以得到重构目标物图像，并将所述重构目标物图像发送给所述第二编码单元；
所述第二编码单元，用于对所述重构目标物图像解析，以得到重构特征向量。
11.一种检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取初检结果为不合格的目标物图像；
图像复检模块，用于以所述不合格的目标物图像作为复检模型的输入，得到复检结果；或
图像初检模块，用于对目标物图像进行初检，得到目标物图像合格或不合格的初检结果；
图像获取模块，用于获取所述初检结果为不合格的目标物图像；
图像复检模块，用于以所述不合格的目标物图像作为复检模型的输入，得到复检结果。
12.一种复检模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取由合格和不合格的目标物图像样本构成的训练样本；
模型获取模块，用于获取所述标记模型的初始模型；
模型训练模块，用于以所述训练样本对所述初始模型进行训练，以得到所述复检模型。
13.一种控制器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的图像检测方法；权利要求8所述的自动光学检测方法；和/或权利要求9所述的复检模型训练方法。
14.一种自动光学检测设备，其特征在于，所述设备包括：光源、图像传感器和权利要求12所述的控制器；
所述控制器通信连接所述图像传感器；
所述光源，用于照射所述目标物；
所述图像传感器，用于采集所述目标物在所述光源照射下的所述目标物图像。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的图像检测方法；权利要求8所述的自动光学检测方法；和/或权利要求9所述的复检模型训练方法。
CN202111323602.7A 2021-11-08 2021-11-08 图像检测、自动光学检测方法、装置、存储介质及设备 Pending CN114066835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111323602.7A CN114066835A (zh) 2021-11-08 2021-11-08 图像检测、自动光学检测方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111323602.7A CN114066835A (zh) 2021-11-08 2021-11-08 图像检测、自动光学检测方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN114066835A true CN114066835A (zh) 2022-02-18

Family

ID=80274553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111323602.7A Pending CN114066835A (zh) 2021-11-08 2021-11-08 图像检测、自动光学检测方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114066835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344378A (zh) * 2023-03-31 2023-06-27 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344378A (zh) * 2023-03-31 2023-06-27 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法
CN116344378B (zh) * 2023-03-31 2024-01-23 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法

Similar Documents

Publication Publication Date Title
US11341626B2 (en) Method and apparatus for outputting information
TWI706318B (zh) 錫膏印刷品質檢測方法、數據處理裝置及電腦存儲介質
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
US20190200494A1 (en) Printed circuit board inspecting apparatus, method for determining fault type of screen printer and computer readable recording medium
CN109060817B (zh) 人工智能复检系统及其方法
CN112966772A (zh) 一种多人在线的图像半自动标注方法及系统
CN114549512A (zh) 一种电路板缺陷检测方法、装置、设备及介质
TWI794718B (zh) 電路板檢測方法、電子裝置及存儲介質
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN103913150B (zh) 智能电能表电子元器件一致性检测方法
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
CN117437227B (zh) 一种图像生成及缺陷检测方法、装置、介质、设备及产品
JP6907508B2 (ja) 検査システム、検査装置の制御方法及びプログラム
CN112184717A (zh) 用于质检的自动化分割方法
CN110554956A (zh) 一种bdms自动化测试方法
CN115601341A (zh) Pcba板缺陷检测方法、系统、设备、介质及产品
JP2021042955A (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20220113708A1 (en) Rapid automation system and method for line clearance
CN110958346B (zh) 一种手机相机智能测评方法及系统
KR102613633B1 (ko) 진단 키트의 검사 결과를 판독하는 ai 모델 학습 장치 및 그 동작 방법
CN116601663A (zh) 利用板载神经网络训练的用于目视检查的人工智能摄像机
CN116664509A (zh) 多模型协同决策的射线图像缺陷识别方法、系统和设备
CN117292312A (zh) 一种监控画面安检机运行识别方法、装置、系统及存储介质
CN114418940A (zh) Ai人工智能视觉检测分级方法、装置及可读介质
Byrne* et al. Comparative analysis of vision systems for electroplating surface quality inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination