CN111951225A - 一种pcb焊接异常检测方法、装置及存储介质 - Google Patents

一种pcb焊接异常检测方法、装置及存储介质 Download PDF

Info

Publication number
CN111951225A
CN111951225A CN202010700461.5A CN202010700461A CN111951225A CN 111951225 A CN111951225 A CN 111951225A CN 202010700461 A CN202010700461 A CN 202010700461A CN 111951225 A CN111951225 A CN 111951225A
Authority
CN
China
Prior art keywords
pcb
abnormal
detection
welding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010700461.5A
Other languages
English (en)
Inventor
王翔
谭林丰
陈宏君
经鹏
张敏
顾欢欢
李响
刘国伟
陈永涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NR Electric Co Ltd
NR Engineering Co Ltd
Original Assignee
NR Electric Co Ltd
NR Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NR Electric Co Ltd, NR Engineering Co Ltd filed Critical NR Electric Co Ltd
Priority to CN202010700461.5A priority Critical patent/CN111951225A/zh
Publication of CN111951225A publication Critical patent/CN111951225A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

本申请实施例公开了一种PCB焊接异常检测方法、装置及存储介质，该方法包括：基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；将PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对异常PCB进行二次检测，输出异常PCB的检测结果；检测结果指示异常PCB存在焊接异常时，确定异常PCB焊接异常；检测结果指示异常PCB不存在焊接异常时，确定异常PCB焊接正常。这样，对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。

Description

一种PCB焊接异常检测方法、装置及存储介质
技术领域
本申请涉及深度学习技术，尤其涉及一种印制电路板(Printed Circuit Board，PCB)焊接异常检测方法、装置、设备及存储介质。
背景技术
当前深度学习在机器视觉中的应用越来越广泛，随着各类数据集的丰富与各类深度学习网络的出现，在图片分类、目标检测、图像分割等领域，深度学习方法达到的准确度已经远远超过了传统的机器学习方法，成为了很多领域的最优方法。
在PCB焊接检测中自动光学检测技术的应用由来已久，其主要基于传统的机器视觉方法，需要通过复杂的参数调整与不断的人工修正来达到较好的检测效果，而且为了防止漏掉焊接异常的PCB，通过调整检测参数将检测门槛设置较高，这样会产生大量的焊接异常误报信息，此时需要经验丰富的工程人员去判断焊接异常信息是否为误报信息，会消耗大量的人力资源，且检测效率不高。
发明内容
为解决上述技术问题，本申请实施例期望提供一种PCB焊接异常检测方法、装置及存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种PCB焊接异常检测方法，该方法包括：
基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
将所述PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
第二方面，提供了一种PCB焊接异常检测装置，该装置包括：
获取单元，用于基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
检测单元，用于将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
确定单元，用于所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
所述确定单元，还用于所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
第三方面，又提供了一种PCB焊接异常检测装置，该装置包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第四方面，还提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种PCB焊接异常检测方法、装置及存储介质，该方法包括：基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；将所述PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。这样，对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。
附图说明
图1为本申请实施例中PCB焊接异常检测方法的第一流程示意图；
图2为本申请实施例中PCB焊接异常检测方法的第二流程示意图；
图3为本申请实施例中用户交互界面的示意图；
图4为本申请实施例中PCB焊接异常检测方法的第三流程示意图；
图5为本申请实施例中PCB焊接异常检测装置的第一组成结构示意图；
图6为本申请实施例中获取单元的组成结构示意图；
图7为本申请实施例中检测单元的组成结构示意图；
图8为本申请实施例中PCB焊接异常检测装置的第二组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例提供了一种PCB焊接异常检测方法，如图1所示，该方法具体可以包括：
步骤101：基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
实际应用中，PCB生产厂家为了检测PCB是否焊接异常会基于初始检测策略对焊接完成的PCB进行焊接异常检测，再对初始检测策略得到的异常PCB进行人工复核。然而，本申请实施例对初始检测策略得到的异常PCB，利用PCB异常检测模型进行二次检测，筛选出的确存在焊接异常的PCB。
本申请实施例提供的PCB焊接异常检测方法应用于PCB焊接异常检测装置。实际应用中，基于初始检测策略构建一独立的初始检测装置。初始检测装置通过设定的检测门槛判断PCB板上焊接的器件引脚是否存在虚焊、桥接、焊锡过少、焊锡过多等焊接异常的问题，初始检测装置将异常PCB的PCB图像上传到PCB焊接异常检测装置，PCB焊接异常检测装置运行本申请实施例的PCB焊接异常检测方法，实现对初始检测装置确定的异常PCB的复检。
实际应用中，初始检测策略也可以直接在PCB焊接异常检测装置中应用，即PCB焊接异常检测装置先采用初始检测策略对PCB进行初始检测，再利用PCB异常检测模型对初始检测的异常PCB进行二次检测。
在一些实施例中，PCB图像可以为彩色图像、灰度图像或红外图像等任何类型图像。
步骤102：将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
在一些实施例中，该方法还包括：基于深度学习算法构建目标检测模型；获取存在焊接异常PCB的样本图像集；对所述样本图像集中的样本图像进行标注，得到标注后的样本图像集；利用标注后的样本图像集训练所述目标检测模型，得到训练好的PCB异常检测模型。
实际应用中，目标检测模型从层次结构上，可分为两阶段(two-stage)和单阶段(one-stage)。Two-stage检测器以R-CNN系列为代表，其模型的第一阶段输出粗糙的物体候选框(proposal)，第二阶段进一步回归物体坐标和分类物体类别。Two-stage检测器的优势在于：RoIPool的候选框尺度归一化对小物体具有较好的鲁棒性；进一步的区域(region)分类对于较多类别的检测需求更为友好。One-stage检测器以YOLO和SSD系列为代表，其特点是全卷积网络(FCN)直接输出物体的坐标和类别，为移动端加速提供了便利。
在一些实施例中，所述得到训练好的PCB异常检测模型之后，所述方法还包括：基于深度学习加速组件OpenVino转化所述PCB异常检测模型，得到优化后的PCB异常检测模型；
相应的，所述将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果，包括：将所述PCB图像输入到优化后的PCB异常检测模型对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
这里，利用加速工具OpenVino优化PCB异常检测模型，实现模型运行时间的加速，提高模型检测效率。
步骤103：所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
步骤104：所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
也就是说，根据PCB异常检测模型输出的检测结果，能够筛选出真正存在焊接异常的PCB。
在一些实施例中，所述确定所述异常PCB焊接异常之后，该方法还包括：获取所述异常PCB的异常信息；其中，所述异常信息包括：所述异常PCB的异常类型和异常位置；控制显示单元显示所述异常PCB的PCB图像和异常信息。
具体的，异常类型可以分为虚焊、桥接、焊锡过少、焊锡过多等焊接异常类型，异常位置可以包括异常PCB的板卡型号、异常元件编号、异常引脚编号等指示焊接异常位置的信息。
也就是说，在筛选出真正存在焊接异常的PCB之后，控制显示单元在显示界面上显示异常PCB的PCB图像和异常信息，供工程人员查看，复核异常情况。
这里，步骤101至步骤104的执行主体可以为PCB焊接异常检测装置的处理器。
如此，对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。
为了能更加体现本申请的目的，在本申请上述实施例的基础上，进行进一步的举例说明，如图2所示，该方法具体包括：
步骤201：基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
步骤202：将所述PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
在一些实施例中，该方法还包括：基于深度学习算法构建目标检测模型；获取存在焊接异常PCB的样本图像集；对所述样本图像集中的样本图像进行标注，得到标注后的样本图像集；利用标注后的样本图像集训练所述目标检测模型，得到训练好的PCB异常检测模型。
在一些实施例中，所述得到训练好的PCB异常检测模型之后，所述方法还包括：基于深度学习加速组件OpenVino转化所述PCB异常检测模型，得到优化后的PCB异常检测模型。
示例性的，基于深度学习算法构建目标检测模型CenterNet，利用收集到的样本图像集对目标检测模型进行训练，样本图像集中对样本图像根据PCB焊接异常类型进行分类，对存在焊接异常的PCB样本图像中的正常焊接引脚和异常焊接引脚进行标注。在此样本图像集上完成模型的训练，得到训练好的PCB异常检测模型，利用训练良好的模型完成PCB焊接异常检测。
实际应用中，还可以利用加速工具OpenVino优化PCB异常检测模型，实现模型运行时间的加速。优化后的PCB异常检测模型实时检测接收到PCB图像，检测其中焊接异常的区域和类型。
步骤203：所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
步骤204：获取所述异常PCB的异常信息；其中，所述异常信息包括：所述异常PCB的异常类型和异常位置；
在一些实施例中，所述基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，该方法还包括：获取基于所述初始检测策略检测到的所述异常PCB的第一异常信息；
相应的，所述获取所述异常PCB的异常信息，包括：获取所述第一异常信息，以及所述检测结果中的第二异常信息。
也就是说，基于初始检测策略检测到PCB存在焊接异常时，会得到异常PCB板的第一异常信息。使用PCB异常检测模型对PCB图像进行二次检测时，会得到异常PCB板的第二异常信息，如果第一异常信息和第二异常信息所表示的异常情况不同时，显示单元可以同时显示第一异常信息和第二异常信息，供工程人员查阅，复核异常情况。
在另一些实施例中，所述获取所述异常PCB的异常信息，包括：获取所述检测结果中的第二异常信息。
实际应用中，由于PCB异常检测模型的检测准确率较高，得到的第二异常信息可信度也较高，显示单元可以只显示第二异常信息，供工程人员查阅，复核异常情况。通过二次检测可以过滤掉误检的异常PCB板，减少人工复核PCB焊接异常的时间，节省人力成本。
步骤205：控制显示单元显示所述异常PCB的PCB图像和异常信息；
示例性的，在显示界面上以列表的形式列出异常PCB的板卡信息、检测时间、PCB图像、异常信息以及其他基本信息。
在一些实施例中，该步骤具体可以包括：基于所述异常信息，控制所述显示单元在所述PCB图像中显示异常位置和异常类型。
也就是说，由于异常信息包含了异常类型和异常位置，因此可以在PCB图像中直接标注出异常位置和异常类型，提高工程人员的复核效率。
在一些实施例中，该方法还包括：控制所述显示单元显示异常操作标识；获取到针对所述异常操作标识的确认指令时，保存所述异常PCB的PCB图像和异常信息；获取到针对所述异常操作标识的否认指令时，忽略所述异常PCB的PCB图像和异常信息。
也就是说，本申请实施例还提供了工程人员浏览操作PCB焊接异常检测结果的界面，该界面可以包括PCB焊接异常检测结果表格、焊接异常的PCB图像、异常定位和判断窗口。工程人员可在操作界面查看PCB焊接异常信息，并据此进一步对焊接异常进行核实，在判断窗口内输入确认指令或否认指令。
图3为本申请实施例中用户交互界面的示意图，如图3所示，在用户交互界面的左上方，包括工程菜单和设置菜单，用于建立异常检测的项目，设置一些基本参数，包括自动光学系统初步检测结果的位置、项目文件的存储位置、进行结果扫描与推理的定时间隔、检测的焊接异常类型等参数。界面左侧就是PCB焊接异常检测结果表格，表格中列出了PCB焊接异常的板卡型号、元件编号，故障类型和异常类型等信息。界面右侧就是焊接异常的PCB图像、异常定位和判断窗口，其中显示了存在焊接异常的PCB红外图片，异常焊接区域位置(图片中白色矩形框框出的区域)，在显示界面上还可以提供图片的放大、缩小、移动等操作，同时在判断窗口提供人工进行焊接异常结果判断的操作按钮，当点击“推断正确”时，确认该PCB的确存在焊接异常；当点击“推断错误”时，确认该PCB焊接正常。
步骤206：所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
实际应用中，当确认基于初始检测策略检测到的异常PCB不存在焊接异常(误检)时，可以忽略针对该PCB的焊接异常的检测结果，或者收集这些误检的PCB信息，供检测人员查看，确定误检原因，进一步可以调整初始检测策略，提高整个系统的检测准确性。
如此，对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。
为了能更加体现本申请的目的，在本申请上述实施例的基础上，进行进一步的举例说明，如图4所示，该方法具体包括：
步骤401：基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像和第一异常信息；
具体的，基于定时器不断的查询自动光学检测装置的初步检测结果，解析其中所涉及的PCB板卡、异常位置和异常类型得到第一异常信息，获取对应的PCB图像，并将PCB图像送入PCB异常检测模型进行二次检测，或者将第一异常信息和PCB图像都送入PCB异常检测模型进行二次检测。
步骤402：将所述PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
在一些实施例中，步骤402可以替换为将所述PCB图像和第一异常信息输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
也就是说，PCB异常检测模型可以直接对全部PCB图像进行图像特征检测，得到检测结果，或者根据第一异常信息对PCB图像中第一异常信息所指示的异常位置进行图像特征检测，确定异常位置是否真的异常。采用第一种检测方法能够对PCB板的焊接异常情况进行全面检测，检测范围较大检测结果更全面。采用第二种检测方法能够缩小图像检测范围，图像检测较快，筛选效率更高。
在一些实施例中，该方法还包括：基于深度学习加速组件OpenVino转化所述PCB异常检测模型，得到优化后的PCB异常检测模型；将所述PCB图像输入到优化后的PCB异常检测模型对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；或者，将第一异常信息和PCB图像都输入到优化后的PCB异常检测模型，输出所述异常PCB的检测结果。
具体的，基于深度学习加速组件OpenVino转化PCB异常检测模型实时检测发送过来的PCB图像，检测其中焊接异常的区域和类型，并将确实存在焊接异常的PCB的异常信息和PCB图像进行显示，本申请实施例还提供了工程人员浏览操作PCB焊接异常检测结果的界面，包括PCB焊接异常检测结果表格、焊接异常的PCB图像、异常定位和判断窗口。工程人员可在操作界面查看PCB焊接异常信息，并据此进一步对焊接异常进行核实。
步骤403：所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
步骤404：获取所述第一异常信息，以及所述检测结果中的第二异常信息；
步骤405：控制显示单元显示异常PCB的PCB图像、第一异常信息和第二异常信息；
实际应用中，如果第一异常信息和第二异常信息所表示的异常情况不同时，显示单元可以同时显示第一异常信息和第二异常信息，供工程人员查阅。
在一些实施例中，步骤405具体可以包括：控制所述显示单元显示所述第一异常信息及其第一标识信息，以及所述第二异常信息及其第二标识信息；其中，所述第一标识信息用于指示所述第一异常信息来源，所述第二标识信息用于指示所述第二异常标识信息来源。也就是指示哪些异常信息是初始检测策略得到的，哪些异常信息是由PCB异常检测模型得到的。
在一些实施例中，步骤404也可替换为获取所述检测结果中的第二异常信息；相应的，步骤405也可替换为控制显示单元显示异常PCB的PCB图像和第二异常信息。
实际应用中，由于PCB异常检测模型的检测准确率较高，得到的第二异常信息可信度也较高，显示单元可以只显示第二异常信息，供维护人员查阅，复核异常情况。
步骤406：所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
如此，对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种PCB焊接异常检测装置，如图5所示，该装置包括：
获取单元501，用于基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
检测单元502，用于将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
确定单元503，用于所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
所述确定单元503，还用于所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
在一些实施例中，所述确定所述异常PCB焊接异常之后，所述确定单元503，还用于获取所述异常PCB的异常信息；其中，所述异常信息包括：所述异常PCB的异常类型和异常位置；
该装置还包括：显示单元(图5中未示出)，用于显示所述异常PCB的PCB图像和异常信息。
在一些实施例中，所述显示单元，具体用于基于所述异常信息，在所述PCB图像中显示异常位置和异常类型。
在一些实施例中，所述获取单元501，还用于所述基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取基于所述初始检测策略检测到的所述异常PCB的第一异常信息；
所述确定单元503，具体用于获取所述第一异常信息，以及所述检测结果中的第二异常信息。
在一些实施例中，所述确定单元503，具体用于获取所述检测结果中的第二异常信息。
在一些实施例中，显示单元，还用于显示异常操作标识；
该装置还包括：存储单元(图5中未示出)，用于获取到针对所述异常操作标识的确认指令时，保存所述异常PCB的PCB图像和异常信息；获取到针对所述异常操作标识的否认指令时，忽略所述异常PCB的PCB图像和异常信息。
在一些实施例中，所述获取单元501，还用于所述基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取基于所述初始检测策略检测到的所述异常PCB的第一异常信息；
所述检测单元502，具体用于将所述PCB图像和所述第一异常信息输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
在一些实施例中，所述方法还包括:构建单元(图5中未示出)，用于基于深度学习算法构建目标检测模型；获取存在焊接异常PCB的样本图像集；对所述样本图像集中的样本图像进行标注，得到标注后的样本图像集；利用标注后的样本图像集训练所述目标检测模型，得到训练好的PCB异常检测模型。
在一些实施例中，构建单元，还用于所述得到训练好的PCB异常检测模型之后，基于深度学习加速组件OpenVino转化所述PCB异常检测模型，得到优化后的PCB异常检测模型；
相应的，检测单元502，具体用于将所述PCB图像输入到优化后的PCB异常检测模型对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
在上述检测装置的基础上，对各个单元的功能进行更详细的举例说明，图6为本申请实施例中获取单元的组成结构示意图，如图6所示，获取单元功能可以由以下两个子单元来实现，具体包括：解析子单元601和发送子单元602；
解析子单元601，用于扫描自动光学系统的初步检测结果文件，解析初步检测结果中所涉及的PCB板卡、焊接异常区域和类型等异常信息，获取对应的PCB图像。
发送子单元602；用于根据解析得到的焊接异常信息，将异常信息和PCB图像打包发送给检测单元，然后继续去扫描自动光学系统检测结果，整个流程构成一个循环，不断地获取实时自动光学系统初步检测结果并加以解析。
图7为本申请实施例中检测单元的组成结构示意图，如图7所示，检测单元功能可以由以下四个子单元来实现，具体包括：接收子单元701、PCB异常检测模型702、解析子单元703和发送子单元704；
接收子单元701，用于接收获取单元发送过来的异常信息与PCB图像，将PCB图像作为PCB异常检测模型702的输入。
PCB异常检测模型702，用于对PCB图像进行图像特征检测，得到图像特征信息；
解析子单元703，用于依据预定义的异常类型对图像特征信息进行解析得到检测结果，检测结果包括PCB的异常位置和异常类型等。
发送子单元704，用于将异常信息和PCB图像打包发送给显示单元，来显示这些信息，然后检测流程回到接收子单元，整个检测流程构成一个循环，不断地获取PCB图像并检测其中是否真的存在焊接异常的情况。
基于上述PCB焊接异常检测装置中各单元的硬件实现，本申请实施例还提供了另一种PCB焊接异常检测装置，如图8所示，该装置包括：处理器801和配置为存储能够在处理器上运行的计算机程序的存储器802；
其中，处理器801配置为运行计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图8所示，该装置中的各个组件通过总线系统803耦合在一起。可理解，总线系统803用于实现这些组件之间的连接通信。总线系统803除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统803。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
利用上述PCB异常检测装置，能够对初始检测策略检测到的异常PCB再采用本申请的PCB异常检测模型进行二次检测，筛选出真正存在焊接异常的PCB，排除初始检测时误检的PCB，以减少后续对异常PCB复核的工作量，提高异常检测效率。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由PCB焊接异常检测装置的处理器执行，以完成前述方法的步骤。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种PCB焊接异常检测方法，其特征在于，所述方法包括：
基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
将所述PCB图像输入到基于深度学习算法建立的PCB异常检测模型中，对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
2.根据权利要求1所述的方法，其特征在于，所述确定所述异常PCB焊接异常之后，所述方法还包括：
获取所述异常PCB的异常信息；其中，所述异常信息包括：所述异常PCB的异常类型和异常位置；
控制显示单元显示所述异常PCB的PCB图像和异常信息。
3.根据权利要求2所述的方法，其特征在于，所述控制显示单元显示所述异常PCB的PCB图像和异常信息，包括：
基于所述异常信息，控制所述显示单元在所述PCB图像中显示异常位置和异常类型。
4.根据权利要求2所述的方法，其特征在于，所述基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，所述方法还包括：
获取基于所述初始检测策略检测到的所述异常PCB的第一异常信息；
所述获取所述异常PCB的异常信息，包括：
获取所述第一异常信息，以及所述检测结果中的第二异常信息。
5.根据权利要求2所述的方法，其特征在于，所述获取所述异常PCB的异常信息，包括：
获取所述检测结果中的第二异常信息。
6.根据权利要求2所述的方法，其特征在于，所述确定所述异常PCB焊接异常之后，所述方法还包括：
控制所述显示单元显示异常操作标识；
获取到针对所述异常操作标识的确认指令时，保存所述异常PCB的PCB图像和异常信息；
获取到针对所述异常操作标识的否认指令时，忽略所述异常PCB的PCB图像和异常信息。
7.根据权利要求1所述的方法，其特征在于，所述基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，所述方法还包括：
获取基于所述初始检测策略检测到的所述异常PCB的第一异常信息；
所述将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果，包括：
将所述PCB图像和所述第一异常信息输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括:
基于深度学习算法构建目标检测模型；
获取存在焊接异常PCB的样本图像集；
对所述样本图像集中的样本图像进行标注，得到标注后的样本图像集；
利用标注后的样本图像集训练所述目标检测模型，得到训练好的PCB异常检测模型。
9.根据权利要求8所述的方法，其特征在于，所述得到训练好的PCB异常检测模型之后，所述方法还包括：
基于深度学习加速组件OpenVino转化所述PCB异常检测模型，得到优化后的PCB异常检测模型；
所述将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果，包括：
将所述PCB图像输入到优化后的PCB异常检测模型对所述异常PCB进行二次检测，输出所述异常PCB的检测结果。
10.一种PCB焊接异常检测装置，其特征在于，所述装置包括：
获取单元，用于基于预设的初始检测策略检测到印制电路板PCB存在焊接异常时，获取异常PCB的PCB图像；
检测单元，用于将所述PCB图像输入到PCB异常检测模型中对所述异常PCB进行二次检测，输出所述异常PCB的检测结果；
确定单元，用于所述检测结果指示所述异常PCB存在焊接异常时，确定所述异常PCB焊接异常；
所述确定单元，还用于所述检测结果指示所述异常PCB不存在焊接异常时，确定所述异常PCB焊接正常。
11.一种PCB焊接异常检测装置，其特征在于，所述装置包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至9任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。
CN202010700461.5A 2020-07-20 2020-07-20 一种pcb焊接异常检测方法、装置及存储介质 Withdrawn CN111951225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010700461.5A CN111951225A (zh) 2020-07-20 2020-07-20 一种pcb焊接异常检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010700461.5A CN111951225A (zh) 2020-07-20 2020-07-20 一种pcb焊接异常检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111951225A true CN111951225A (zh) 2020-11-17

Family

ID=73341656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010700461.5A Withdrawn CN111951225A (zh) 2020-07-20 2020-07-20 一种pcb焊接异常检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111951225A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307136A (zh) * 2020-11-25 2021-02-02 上海望友信息科技有限公司 元件和封装的查询方法及计算机可读存储介质
CN113012097A (zh) * 2021-01-19 2021-06-22 富泰华工业（深圳）有限公司 图像复检方法、计算机装置及存储介质
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
CN114002228A (zh) * 2021-11-05 2022-02-01 华能国际电力股份有限公司上海石洞口第二电厂 基于图像识别的皮带裂缝检测方法
CN117828499A (zh) * 2024-03-04 2024-04-05 深圳市恒天翊电子有限公司 Pcba异常件确定方法、系统、存储介质及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307136A (zh) * 2020-11-25 2021-02-02 上海望友信息科技有限公司 元件和封装的查询方法及计算机可读存储介质
CN112307136B (zh) * 2020-11-25 2024-02-20 上海望友信息科技有限公司 元件和封装的查询方法及计算机可读存储介质
CN113012097A (zh) * 2021-01-19 2021-06-22 富泰华工业（深圳）有限公司 图像复检方法、计算机装置及存储介质
TWI780580B (zh) * 2021-01-19 2022-10-11 大陸商富泰華工業（深圳）有限公司 圖像複檢方法、電腦裝置及儲存介質
CN113012097B (zh) * 2021-01-19 2023-12-29 富泰华工业（深圳）有限公司 图像复检方法、计算机装置及存储介质
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
CN114002228A (zh) * 2021-11-05 2022-02-01 华能国际电力股份有限公司上海石洞口第二电厂 基于图像识别的皮带裂缝检测方法
CN117828499A (zh) * 2024-03-04 2024-04-05 深圳市恒天翊电子有限公司 Pcba异常件确定方法、系统、存储介质及电子设备
CN117828499B (zh) * 2024-03-04 2024-05-28 深圳市恒天翊电子有限公司 Pcba异常件确定方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111951225A (zh) 一种pcb焊接异常检测方法、装置及存储介质
CN108827970B (zh) 基于aoi系统的适应不同面板缺陷自动判等方法和系统
US11449980B2 (en) System and method for combined automatic and manual inspection
CN111289538B (zh) 基于机器视觉的pcb板元件检测系统及检测方法
US20110218754A1 (en) Method for supporting analytical work of solder printing state and solder printing inspection machine
CN111060515A (zh) Pcba质量检测方法、系统、计算机设备
CN107561737B (zh) 一种aoi系统ipc参数自动调整的方法、装置及工具
CN111476582A (zh) 一种不良品处理方法、装置及计算机可读存储介质
US20230162344A1 (en) Appearance inspection apparatus and appearance inspection method
CN112730406A (zh) 产品测试方法、系统及可读存储介质
CN111141529B (zh) 一种汽车仪表信号的自动化测试方法
CN111421954B (zh) 智能判定回馈方法及装置
JP2007184723A (ja) 検査システム及び検査方法
CN113111903A (zh) 智能产线监测系统及监测方法
CN113469991B (zh) 一种锂电池极耳激光焊点视觉在线检测方法
CN104950489A (zh) 一种液晶屏检测方法
CN108072399B (zh) 检查系统、检查装置的控制方法及计算机可读存储介质
CN113096111A (zh) 物料检测方法、系统、计算机程序产品及可读存储介质
CN113269735A (zh) 显示屏检测方法、系统及存储介质
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
US8184898B2 (en) Analysis of leaded components
CN116778836A (zh) 显示系统的信息监控方法、系统、装置和存储介质
WO2020135097A1 (zh) 显示终端通道切换检测方法和装置
CN106845466A (zh) 一种基于图像的产品识别方法及其系统
CN216209508U (zh) 一种检测设备以及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201117