CN110726735A - 一种基于深度学习的全自动电路板缺陷检测系统及方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的全自动电路板缺陷检测系统及方法，包括处理器、标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统，所述处理器内设有深度学习检测模块，所述标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统均与处理器连接，本发明在于运用深度神经学习网络，通过大量的质量缺陷图像的训练，得到计算机识别模型，在检测设备中，该识别模型在代检物图像中自动识别缺陷并进行分类、记录坐标，自动录入数据库。

Description

一种基于深度学习的全自动电路板缺陷检测系统及方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于深度学习的全自动电路板缺陷检测系统及方法。

背景技术

人工智能技术从2012年开始进入到深度神经学习网络这一全新的发展阶段，其本质是多层次的人工神经网络算法，即从结构上模拟人脑的运行机制，从最基本的单元上模拟了人类大脑的运行机制。2018年12月27日，中国信通院在新华社主办的第六届中国新兴媒体产业融合大会上发布了《人工智能发展白皮书-产业应用篇(2018年)》，其中指出人工智能是一种引发诸多领域产生颠覆性变革的前沿技术，当今的人工智能技术以机器学习，特别是深度学习为核心，在视觉、语音、自然语言等应用领域迅速发展，已经开始像水电煤一样赋能于各个行业。基于深度学习的新一代人工智能与传统人工智能技术相比，体现了极大的优势和应用价值。

在电路板及柔性印制电路板的质量缺陷检测方面，运用原有技术的检测方法原理在于，检测前须预制线路的宽度、面积、颜色等标准数值，人工摆放代检物后，由计算机图形识别方法进行边缘检测，计算宽度、面积、颜色等，再与标准值进行比对，如有出入则在屏幕上作出提示，由人工进行二次判断、识别、分类、录入数据库。可参考《一种混合场景下的柔性印制电路缺陷检测系统及方法》(申请号201810895170.9)。工作效率慢，加大了人工的负担。

发明内容

本发明的目的是提供一种基于深度学习的全自动电路板缺陷检测系统及方法。

本发明的目的是通过以下技术方案来实现：包括处理器、标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统，所述处理器内设有深度学习检测模块，所述标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统均与处理器连接。

在优选的实施方案中，所述深度学习检测模块包括：

带有标注信息的质量缺陷图像库，用于保存、记录训练识别模型所需的原始资料，所述标注信息保存为xml格式或json格式或其他格式化信息的一组数据或一系列数据；

深度神经网络，用于读取质量缺陷图像库并训练识别模型；

计算机识别模型，为通过训练后得到计算机程序，用于人工输入或自动读取图像，在图像中自动进行特征提取，自动识别质量缺陷，判断其种类、获得其位置信息，并通过数据接口输出识别结果；

缺陷记录数据库，用于自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息和后续生产线质量分析。

在优选的实施方案中，所述标注信息包括质量缺陷的原始清晰图像、缺陷种类、位置。

在优选的实施方案中，所述深度神经网络为DenseNet或ResNet或GoogLeNet或VGGNet或AlexNet或Yolo或用于多目标识别的深度神经网络，或以上几种的组合。

在优选的实施方案中，所述计算机识别模型的识别结果为单一缺陷或多个同种类缺陷或多个多种类缺陷，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

在优选的实施方案中，所述缺陷记录数据库为本地数据库或云端数据库或上述两种结合的混合云。

在优选的实施方案中，所述标记模块为颜色标记机，根据根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，在待检物上涂抹或喷涂不同的颜色。

一种基于深度学习的全自动电路板缺陷检测方法，包括以下步骤：

S1：将带有质量缺陷的原始清晰图像、缺陷种类、位置的原始材料进行信息标注，标注方式为矩形框，或者是沿着缺陷边缘所描绘的矢量图及其坐标数据集，并以xml格式或json格式或其他格式化信息保存进质量缺陷图像库内；

S2：深度神经网络读取质量缺陷图像库并训练识别模型，得到计算机识别模型；

S3：通过上料系统将待检物置于图像采集设备下的摄像台上，图像采集设备采集图像并通过计算机识别模型进行缺陷检测，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

S4：通过缺陷记录数据库自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息；

S5：根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，标记模块使用带有颜色的标记在代检物表面进行标记；

S6：通过下料系统将待检物取下。

本发明的有益效果为：

1、本发明在于运用深度神经学习网络，通过大量的质量缺陷图像的训练，得到计算机识别模型，在检测设备中，该识别模型在代检物图像中自动识别缺陷并进行分类、记录坐标，自动录入数据库；

2、本发明无需二次人工检测、识别、录入，极大地减轻了人工负担；

3、自动上料、自动下料、自动缺陷品分拣。

附图说明

下面根据附图对本发明作进一步详细说明。

图1是本发明实施例所述的基于深度学习的全自动电路板缺陷检测系统的流程图。

图中：

1、处理器；2、深度学习检测模块；3、质量缺陷图像库；4、深度神经网络；5、计算机识别模型；6、缺陷记录数据库；7、穹顶光源；8、上料系统；9、下料系统；10、可调速传动系统；11、图像采集设备；12、标记模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面将参照附图和具体实施例对本发明作进一步的说明。

如图1所示，本发明实施例的一种基于深度学习的全自动电路板缺陷检测系统及方法，包括处理器、标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统，处理器为计算机，安装有内存及运行软件的必要模块，作为控制器，运行深度学习检测模块的同时控制硬件设备运行；图像采集设备为摄像设备，指业界已成熟运用的各种专业摄像设备，其精度达到微米级，可清晰拍摄微米级的线路板，其焦距为固定焦距或自动快速对焦方式。穹顶光源指业界已成熟运用的防反光拍摄辅助设备，可以保证在拍摄过程中避免代检物或周边设备的反光。上料系统指人工放置代检物于摄像台上，或自动传送带等业界已成熟运用的相关设备。下料系统指人工取下代检物，或自动传送带等业界已成熟运用的相关设备。可调速传送系统指自动上料或下料设备可根据实际生产需要调节传送速度。所述处理器内设有深度学习检测模块，所述标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统均与处理器连接。图像采集设备将待检物的图像采集上传至处理器经过深度学习检测模块处理，处理器控制个硬件设备运行。

所述深度学习检测模块包括：

带有标注信息的质量缺陷图像库，用于保存、记录训练识别模型所需的原始资料，原始资料为带有缺陷的清晰图像，所述标注信息保存为xml格式或json格式或其他格式化信息的一组数据或一系列数据；原始资料为人工上传至质量缺陷图像库或经过图像采集设备采集到的原始数据。

深度神经网络，用于读取质量缺陷图像库并训练识别模型；所述深度神经网络为DenseNet或ResNet或GoogLeNet或VGGNet或AlexNet或Yolo或用于多目标识别的深度神经网络，或以上几种的组合。

计算机识别模型，为通过训练后得到计算机程序，用于人工输入或自动读取图像，在图像中自动进行特征提取，自动识别质量缺陷，判断其种类、获得其位置信息，并通过数据接口输出识别结果；

缺陷记录数据库，用于自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息和后续生产线质量分析。

所述标注信息包括质量缺陷的原始清晰图像、缺陷种类、位置。标注方式可以是矩形框，或者是沿着缺陷边缘所描绘的矢量图及其坐标数据集。

所述计算机识别模型的识别结果为单一缺陷或多个同种类缺陷或多个多种类缺陷，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

所述缺陷记录数据库为本地数据库或云端数据库或上述两种结合的混合云。

所述标记模块为颜色标记机，根据根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，在待检物上涂抹或喷涂不同的颜色。

一种基于深度学习的全自动电路板缺陷检测方法，包括以下步骤：

S1：将带有质量缺陷的原始清晰图像、缺陷种类、位置的原始材料进行信息标注，标注方式为矩形框，或者是沿着缺陷边缘所描绘的矢量图及其坐标数据集，并以xml格式或json格式或其他格式化信息保存进质量缺陷图像库内；

S2：深度神经网络读取质量缺陷图像库并训练识别模型，得到计算机识别模型；

S3：通过上料系统将待检物置于图像采集设备下的摄像台上，图像采集设备采集图像并通过计算机识别模型进行缺陷检测，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

S4：通过缺陷记录数据库自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息；

S5：根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，标记模块使用带有颜色的标记在代检物表面进行标记；

S6：通过下料系统将待检物取下。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于深度学习的全自动电路板缺陷检测系统，其特征在于：包括处理器、标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统，所述处理器内设有深度学习检测模块，所述标记模块、图像采集设备、穹顶光源、上料系统、下料系统和可调速传送系统均与处理器连接。

2.根据权利要求1所述的检测系统，其特征在于：所述深度学习检测模块包括：

带有标注信息的质量缺陷图像库，用于保存、记录训练识别模型所需的原始资料，所述标注信息保存为xml格式或json格式或其他格式化信息的一组数据或一系列数据；

深度神经网络，用于读取质量缺陷图像库并训练识别模型；

计算机识别模型，为通过训练后得到计算机程序，用于人工输入或自动读取图像，在图像中自动进行特征提取，自动识别质量缺陷，判断其种类、获得其位置信息，并通过数据接口输出识别结果；

缺陷记录数据库，用于自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息和后续生产线质量分析。

3.根据权利要求2所述的检测系统，其特征在于：所述标注信息包括质量缺陷的原始清晰图像、缺陷种类、位置。

4.根据权利要求2所述的检测系统，其特征在于：所述深度神经网络为DenseNet或ResNet或GoogLeNet或VGGNet或AlexNet或Yolo或用于多目标识别的深度神经网络，或以上几种的组合。

5.根据权利要求2所述的检测系统，其特征在于：所述计算机识别模型的识别结果为单一缺陷或多个同种类缺陷或多个多种类缺陷，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

6.根据权利要求2所述的检测系统，其特征在于：所述缺陷记录数据库为本地数据库或云端数据库或上述两种结合的混合云。

7.根据权利要求2所述的检测系统，其特征在于：所述标记模块为颜色标记机，根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，在待检物上涂抹或喷涂不同的颜色。

8.一种基于深度学习的全自动电路板缺陷检测方法，其特征在于：包括以下步骤：

S1：将带有质量缺陷的原始清晰图像、缺陷种类、位置的原始材料进行信息标注，标注方式为矩形框，或者是沿着缺陷边缘所描绘的矢量图及其坐标数据集，并以xml格式或json格式或其他格式化信息保存进质量缺陷图像库内；

S2：深度神经网络读取质量缺陷图像库并训练识别模型，得到计算机识别模型；

S3：通过上料系统将待检物置于图像采集设备下的摄像台上，图像采集设备采集图像并通过计算机识别模型进行缺陷检测，并以xml格式或json格式或其他形式的格式化数据集记录并输出。

S4：通过缺陷记录数据库自动记录代检物批次标识、代检物个体编号、缺陷数量、缺陷种类、缺陷位置信息；

S5：根据计算机识别模型的识别结果，对应不同的缺陷种类和位置，标记模块使用带有颜色的标记在代检物表面进行标记；

S6：通过下料系统将待检物取下。