CN113218952B - Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 - Google Patents

Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN113218952B
CN113218952B CN202110445674.2A CN202110445674A CN113218952B CN 113218952 B CN113218952 B CN 113218952B CN 202110445674 A CN202110445674 A CN 202110445674A CN 113218952 B CN113218952 B CN 113218952B
Authority
CN
China
Prior art keywords
image
thread
message
detection
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110445674.2A
Other languages
English (en)
Other versions
CN113218952A (zh
Inventor
胡跃明
易义辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Original Assignee
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Institute of Modern Industrial Technology filed Critical South China University of Technology SCUT
Priority to CN202110445674.2A priority Critical patent/CN113218952B/zh
Publication of CN113218952A publication Critical patent/CN113218952A/zh
Priority to JP2023528118A priority patent/JP2023551398A/ja
Priority to PCT/CN2021/124984 priority patent/WO2022227424A1/zh
Application granted granted Critical
Publication of CN113218952B publication Critical patent/CN113218952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种IC封装载板多尺度外观缺陷检测方法、装置、设备和介质，所述方法包括：利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。本发明设计的多种成像系统外观缺陷检测模式，满足了在多尺度场合下对IC封装载板的外观缺陷检测需求，且提升了检测效率。

Description

IC封装载板多尺度外观缺陷检测方法、装置、设备和介质
技术领域
本发明涉及IC封装载板工艺制造流程中质量检测技术领域，特别是涉及IC封装载板多尺度外观缺陷检测方法、装置、设备和介质。
背景技术
随着智能穿戴设备、军工、医疗、航空航天等技术领域的强势兴起，IC封装载板以其精度高、稳定性好、轻便、可弯折等特点在多个战略领域得到了广泛应用，因此，对其制造工艺、质量检测要求也愈发严格，且针对不同的应用领域，有着多尺度精度检测要求。
IC封装载板外观缺陷检测属于整个生产流程的最后一道工序，需要检测的缺陷类型繁多，如氧化、压痕、划痕、异物、撕裂等常见的影响电路正常导电性的缺陷。目前IC封装载板外观缺陷检测方法主要有五种：X光检测、超声波扫描检测、红外热成像检测、磁流成像检测和表面声波检测，但受限于检测精度，上述检测方法在高精密的IC封装载板外观缺陷检测中应用甚少。
目前各大公司和厂商对于低精度IC封装载板外观缺陷检测大多使用模板匹配的方法，对于高精度的IC封装载板的外观缺陷检测还是使用传统的人工目检。长时间工作易产生疲劳，对质量的把控也会下降，导致效率低下。部分厂商使用显微镜匹配合适的算法逐步代替人工，但是其必须先经过外观缺陷初检，把缺陷数据上传数据库，再在不同的车间进行精检，整体串行流程相较之前人工目检的效率有所提升，但是生产流程的时间被延长，因此具有较大的改进空间。
发明内容
为了解决上述现有技术的不足，本发明提供了一种IC封装载板多尺度外观缺陷检测方法、装置、设备和介质，通过构建多种成像系统外观缺陷检测模式，利用多种成像系统外观缺陷检测模式对不同尺度的IC封装载板进行检测，成像系统外观缺陷检测模式主要包括运动控制线程、图像采集线程、图像拼接线程、图像检测线程和图像显示线程五个线程，五个线程通过线程消息机制进行通讯，触发事件回调函数，进行相应操作，在线程中将缺陷分类信息上传数据库，从而完成对IC封装载板的检测。实现了对于不同检测精度的需求，能够快速检测IC封装载板的外观缺陷。
本发明的第一个目的在于提供一种IC封装载板多尺度外观缺陷检测方法。
本发明的第二个目的在于提供一种IC封装载板多尺度外观缺陷检测装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
进一步的，所述成像系统外观缺陷检测模式为三种，分别为微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式。
进一步的，所述微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式均包括运动控制线程、图像采集线程、图像显示线程和图像检测线程，其中：
所述运动控制线程用于规划相机的运动路线及计算相机拍摄位置的坐标，使相机按照指定的运动方式移动到目标位置并给图像采集线程发送消息；
所述图像采集线程用于初始化相机资源，设置相机必要参数，注册图像回调事件；在接收到运动控制线程发送的消息后，触发相机拍摄图像，并发送消息给图像检测线程；
所述图像检测线程用于检测拍摄的图像中是否有指定精度范围的外观缺陷；在接收到图像采集线程发送的消息后，检测图片检测缓冲区是否有图像，若有，则发送消息给图像显示线程，并对图片检测缓冲区的图像进行检测；检测之后发送消息给图像显示线程；若所有的图像检测完毕，将统计的缺陷信息上传至数据库；
所述图像显示线程用于在接收到图像显示线程发送的消息后显示当前拍摄的图像，并同步显示检测之后的结果图像。
进一步的，所述微米级精度成像系统外观缺陷检测模式中，所述相机为普通变倍镜相机，所述指定精度范围为微米级精度范围；
所述纳米级精度成像系统外观缺陷检测模式中，所述相机为精密显微镜变倍镜相机，所述指定精度范围为纳米级精度范围；
所述亚微米级精度混合成像系统外观缺陷检测模式中，所述相机包括普通变倍镜相机和精密显微镜变倍镜相机，所述指定精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围；
所述使相机按照指定的运动方式移动到目标位置，具体包括：
若相机为普通变倍镜相机，则相机按照点位运动方式移动到指定拍摄位置，保证拍摄的每个位置都能到达；
若相机为精密显微镜变倍镜相机，则相机按照jog运动方式平滑移动到指定拍摄区域，保证拍摄图像质量。
进一步的，所述亚微米级精度混合成像系统外观缺陷检测模式还包括图像拼接线程；
所述图像拼接线程用于在接收到图像采集线程发送的消息后，拼接普通变倍镜相机采集的图像，并进行粗略检测，提供精密显微镜相机需要拍摄的位置。
进一步的，所述根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测，具体包括：
根据待测IC封装载板的信息对IC封装载板的模板样板进行检测区域的划分、参数的设置，将待检测区域划分成多个小区域单元；
若待测IC封装载板确定的检测精度范围为微米级精度范围，则选择微米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为纳米级精度范围，则选择纳米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围，则选择亚微米级精度混合成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
其中，所述微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式中的所有线程是并发开启的。
进一步的，所述利用期望的IC封装载板电子设计图信息对IC封装载板的信息，进行初步匹配以及智能视觉校正，具体包括：
将期望的IC封装载板电子设计图和待测IC封装载板中的编号、类型、长度、宽度、有效检测区域面积的信息进行确认与比对；
根据期望的IC封装载板电子设计图对待测IC封装载板的信息进行校正，所述校正为使用mark点校正待测IC封装载板的倾斜度。
本发明的第二个目的可以通过采取如下技术方案达到：
一种IC封装载板多尺度外观缺陷检测装置，所述装置包括：
匹配与校正模块，用于利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
构建多种成像系统外观缺陷检测模式模块，用于针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
检测模块，用于根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的IC封装载板多尺度外观缺陷检测方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的IC封装载板多尺度外观缺陷检测方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明针对不同精度的IC封装载板设计了不同的成像系统外观缺陷检测模式，例如微米级精度成像系统外观缺陷检测模式、亚微米级精度混合成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式等，通过多种成像系统外观缺陷检测模式检测精度覆盖范围广，满足了在多尺度场合下对IC封装载板的外观缺陷检测需求。
2、本发明通过多种成像系统外观缺陷检测模式中的多线程技术实现了检测工序多个子流程的并发运作，使得检测效率提升了30％-40％，实时性能优越。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的IC封装载板多尺度外观缺陷检测方法的流程图。
图2为本发明实施例1的多种成像系统外观缺陷检测模式的结构框图。
图3为本发明实施例1的jog运动方式的示意图。
图4为本发明实施例1的微米级精度成像系统外观缺陷检测模式的流程图。
图5为本发明实施例1的纳米级精度成像系统外观缺陷检测模式的流程图。
图6为本发明实施例1的亚微米级精度成像系统外观缺陷检测模式的流程图。
图7为本发明实施例1的电梯式路径规划的示意图。
图8为本发明实施例1的IC封装载板多尺度外观缺陷检测系统的结构框图。
图9为本发明实施例2的IC封装载板多尺度外观缺陷检测装置的结构框图。
图10为本发明实施例3的计算机设备的结构框图。
对于图4、5、6中带有虚线箭头与圆圈数字的标记表示消息的发送与接收，标号一致的箭头表明消息的出发地和目的地，对于图6中的标号①代表正常的流程走向。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种IC封装载板多尺度外观缺陷检测方法，所述方法包括以下步骤：
S101、利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正。
进一步的，步骤S101具体包括：
将期望的IC封装载板电子设计图和待测IC封装载板(实物)中的编号、类型、长度、宽度、有效检测区域面积的信息进行确认与比对；若确认成功，则进行后续操作。
根据期望的IC封装载板电子设计图对待测IC封装载板(实物)的信息进行校正。具体包括对IC封装载板(实物)的mark点进行校正，因为待测样版放入机器后，有可能摆放位置不正，会倾斜一定的角度，易导致检测不准确，这时mark点可用来进行位置和角度的校正。
S102、针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式。
如图2所示，在本实施例中，多种成像系统外观缺陷检测模式，包括微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式。
微米级精度成像系统外观缺陷检测模式适用的检测精度范围为5um至20um，亚微米级精度混合成像系统外观缺陷检测模式适用的检测精度范围为1um至5um，纳米级精度成像系统外观缺陷检测模式适用的检测精度范围为70nm至1um。
在选择成像系统外观缺陷检测模式后，将成像系统外观缺陷检测模式中的运动控制线程、图像采集线程、图像显示线程、图像拼接线程、图像检测线程在主进程中并发开启，进行通讯协调，从而完成外观缺陷的检测分类并将缺陷数据上传数据库。
进一步的，步骤S102具体包括：
S1021、微米级精度成像系统外观缺陷检测模式。
所述微米级精度成像系统外观缺陷检测模式，包括运动控制、图像采集、图像显示、图像检测四个线程，其中：
运动控制线程负责规划运动路线及计算拍摄位置坐标，按照点位运动方式移动相机到指定拍摄位置，保证拍摄的每个位置都能到达；
图像采集线程负责初始化普通变倍镜相机资源，设置相机必要参数，如曝光时间、增益、触发方式、图像格式，注册图像回调事件，并在接收到触发消息后，触发相机捕获图像；
图像显示线程负责显示当前拍摄图片，并同步显示检测之后的结果图像；
图像检测线程负责检测拍摄图像中是否有微米级外观缺陷，并统计缺陷信息上传数据库。
所述点位运动，是基于位置的运动方式，以运动平台的原点为绝对原点，给定合理位置，运动平台运动至对应的位置。
此种成像系统外观缺陷检测模式适用于元件及线路规则分布，且整版由多个小区域单元组合而成的IC封装载板，其特点是检测外观缺陷精度要求不高的元件及区域，适用于单幅视野中包含一个或多个待检测单元。
S1022、纳米级精度成像系统外观缺陷检测模式。
所述纳米级精度成像系统外观缺陷检测模式，包括运动控制、图像采集、图像显示、图像检测四个线，其中：
运动控制线程负责规划运动路线及计算拍摄区域位置坐标，按照jog运动方式平滑移动相机到指定拍摄区域，保证拍摄图像质量；
图像采集线程负责初始化精密显微镜变倍镜相机资源，设置相机必要参数，如曝光时间、增益、触发方式、图像格式，注册图像回调事件，并在接收到触发消息后，触发相机拍摄图像；
图像显示线程负责显示当前拍摄图片，并同步显示检测之后的结果图像；
图像检测线程负责检测拍摄图像中是否有纳米级外观缺陷，并统计缺陷分类信息上传数据库。
此成像系统外观缺陷检测模式对精度要求1um以下，70nm以上IC封装载板的精密元件进行检测。此系统中的检测步骤基本和微米级精度成像系统外观缺陷检测模式一致，在运动控制线程中采用jog运动方式，保证图像采集质量。
所述jog运动，是基于速度的运动方式，因为精密显微镜的精度要求高，视野范围小，极小的抖动都会造成图像质量的下降，因此在待检测区域低匀速运动，保证精密显微镜采集的图像质量。具体运动方式见附图3。
S1023、亚微米级精度混合成像系统外观缺陷检测模式。
所述亚微米级精度混合成像系统外观缺陷检测模式，包括运动控制、图像采集、图像拼接、图像显示、图像检测五个线程，其中：
运动控制线程包含普通变倍镜相机和精密显微镜相机两套成像系统的路径规划，普通变倍镜相机采用点位运动方式，精密显微镜相机使用jog运动方式；
图像采集线程分别初始化普通变倍镜相机和精密显微镜相机的资源，设置不同的曝光时间、增益、触发方式、图像格式，注册图像回调事件参数；
图像拼接线程负责拼接普通变倍镜相机采集的图像，并进行粗略检测，提供精密显微镜相机需要拍摄的位置；
图像检测线程负责检测整版缺陷，并将缺陷信息分类上传数据库；
图像显示线程显示普通变倍镜相机以及精密显微镜相机拍摄的图像和检测的结果图像。
此成像系统外观缺陷检测模式适用于需要整版检测，但元件检测精度要求不同的IC封装载板，精密元件如金手指、芯片焊盘区域，此区域要求调用精密显微镜进行图像拍摄，而对于字符与油墨等精度要求不高的区域则使用普通变倍镜拍摄图像即可。
S103、根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
首先根据待测IC封装载板的信息对IC封装载板的模板样板进行检测区域的划分、参数的设置，将检测区域划分成多个小区域单元，利用成像系统外观缺陷检测模式对所有的小区域单元进行外观缺陷的检测。
所述IC封装载板的模板样板，指存储在电子设备中的IC封装载板的模板样板。
进一步的，步骤S103具体包括：
S1031、若待测IC封装载板的检测外观缺陷精度要求不高，即为微米级，则选择微米级精度成像系统外观缺陷检测模式对待测的IC封装载板进行检测。
如图4所示，具体步骤如下：
(1)在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程。
(2)在运动控制线程中，初始化运动板卡资源，由于成像系统固定在运动模组上，对电机参数进行设置，例如位置、加速度、速度、运动步长参数等，做好运动控制的前期准备工作，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取点位运动方式运动，到达指定位置触发消息事件机制，发送消息①给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送消息②，并返回起点，结束线程。
(3)在图像采集过线程中，需要对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，普通变倍镜和精密显微镜的初始化资源方式基本一致，但形式各异。然后准备等待图像的触发，一旦触发消息①到来便使用软件触发方式触发快门获得图像，并触发图像到达消息事件回调函数，发送消息③给图像检测线程，判断是否完成了所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程。
(4)在图像检测线程中，需要对常见或者某种需要特定检测外观缺陷类型进行选择，然后等待消息③的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送消息④；便检测当前图像，检测完后发送消息⑤，之后判断是否检测完了所有图片，若没有则继续检测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程。
(5)在图像显示线程中，首先对图像显示资源进行初始化，包括图像从相机到显示需要的格式转换方式，然后等待图像的到来，显示线程将接受消息④、⑤来判断图片检测缓冲区中是否有图要显示，若无，则继续等待消息④的到来；若有则显示当前的最新图片，并继续判断检测任务是否完成，若未完成，则继续等待消息④、⑤的到来，若检测任务全部完成，则显示检测结果图像，结束线程。
S1032、若待测IC封装载板的检测外观缺陷精度要求高，即为纳米级，则选择纳米级精度成像系统外观缺陷检测模式对待测的IC封装载板进行检测。
如图5所示，具体步骤如下：
(1)在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程。
(2)在运动控制线程中，初始化运动板卡资源，由于成像系统固定在运动模组上，对电机参数进行设置，例如位置、加速度、速度、运动步长参数等，做好运动控制的前期准备工作，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取jog运动方式运动，到达指定位置触发消息事件机制，发送消息①给图像采集线程，并依次判断是否完成单个区域和整个监测区域拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送消息②，并返回起点，结束线程。
(3)在图像采集过线程中，需要对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，普通变倍镜和精密显微镜的初始化资源方式基本一致，但形式各异。然后准备等待图像的触发，一旦触发消息①到来便使用软件触发方式触发快门获得图像，并触发图像到达消息事件回调函数，发送消息③给图像检测线程，判断是否完成了所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程。
(4)在图像检测线程中，需要对常见或者某种需要特定检测外观缺陷类型进行选择，然后等待消息③的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送消息④；便检测当前图像，检测完后发送消息⑤，判断是否检测完了所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程。
(5)在图像显示线程中，首先对图像显示资源进行初始化，包括图像从相机到显示需要的格式转换方式，然后等待图像的到来，显示线程将接受消息④、⑤来判断图片的显示缓冲区中是否有图要显示，若有则显示当前的最新图片，并继续判断检测任务是否完成，若未完成，则继续等待消息④、⑤的到来，否则显示检测结果图像，结束线程。
S1033、若待测IC封装载板的检测外观缺陷精度要求为不同的精度，则选择亚微米级精度混合成像系统外观缺陷检测模式对待测的IC封装载板进行检测。
本实施例中，适用的检测精度范围为1um至5um。
如图6所示，具体步骤如下：
(1)在主进程中并发开启运动控制线程、图像采集线程、图像拼接线程、图像显示线程和图像检测线程；
(2)在运动控制线程中，初始化运动板卡资源，由于成像系统固定在运动模组上，对电机参数进行设置，例如位置、加速度、速度、运动步长参数等，做好运动控制的前期准备工作，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，按照“电梯式”路径规划，以队列存储模式对拍摄位置进行顺序入队，然后采取点位运动方式运动，到达指定位置触发消息事件机制，发送消息②给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送消息④，再根据消息⑨来判断是否需要启动精密显微镜成像系统，还是返回起点，结束线程。在确认需要精密显微镜检测之后，将类似的启动精密显微镜的运动控制线程，此时精密显微镜将进行jog运动，对待检测区域逐个进行检测，在到达指定拍摄位置之后将发送消息③至图像采集线程，所有检测区域都拍摄完成后将图像采集线程发送通知消息⑤；之后便返回起点，结束线程。
“电梯式”路径规划，具体方式见附图7。
(3)在图像采集线程中，需要对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，普通变倍镜和精密显微镜的初始化资源方式基本一致，但形式各异。然后准备等待图像的触发，一旦触发消息②或③到来便使用软件触发方式触发快门获得图像，并触发图像到达消息事件回调函数，发送消息⑥给图像显示线程，若触发的图片是普通变倍镜拍摄的图片则认为目前进行的是初检，于是发送触发消息⑧给图像拼接线程，若不是则认为目前进行的是精密显微镜精检过程，发送消息⑦给检测线程和图像显示线程，再判断是否完成了所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源；
(4)由于采用的是“电梯式”运动方式，图像拼接线程需要根据图像采集线程发送来的消息⑧判断是否已经拍摄完一行图像来进行单行图像的拼接，进行行拼接之后粗略检测，判断是否有需要进行精检的元件来确定是否有需要启动显微镜，若不需要则直接结束线程，若需要则进行相邻行拼接，并触发消息⑨发送给运动控制线程，并判断是否已经完成了行列拼接，若已经完成便进行全局图像的拼接，并发送消息⑩，对拼接结果图像进行显示，若还未完成拼接任务，则继续等待拼接；
(5)在图像显示线程中，首先对图像显示资源进行初始化，包括图像从相机到显示需要的格式转换方式，然后等待图像的到来，显示线程将接受消息⑥、⑩、
Figure BDA0003036732570000111
来判断图片的显示缓冲区中是否有图要显示，若有则显示当前的最新图片，或者拼接完成之后的全局拼接图像。收到图像检测线程发送过来的消息，显示线程将会完整拷贝图像信息，防止在图像检测线程中算法部分对原图像的修改，并转换成对应格式对当前图像进行显示，然后将判断当前的检测任务是否已经完成，若已经完成，将对检测的一系列图像结果进行显示，若还没完成便继续等待触发消息的到来。
(6)在图像检测线程中，需要对常见或者某种需要特定检测外观缺陷类型进行选择，然后等待消息⑦、⑩的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达便检测当前图像，并发送消息
Figure BDA0003036732570000112
，之后判断是否检测完了所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程。
如图8所示，本实施例还提供了一种IC封装载板多尺度外观缺陷检测系统，所述系统包括X，Y，Z三轴运动模组、成像系统和外观缺陷检测装置，外观缺陷检测装置用于实现上述的IC封装载板多尺度外观缺陷检测方法，其中：
运动模组主要负责搭载成像系统运动，成像系统主要负责在待检测区域进行图像采集，成像系统为双视觉成像系统。
外观缺陷检测装置主要包括7个单元：蚀刻工序检测单元、钻孔工序检测单元、外观工序检测单元、运动控制单元、数据存储单元、智能分析单元和视图单元；其中：
蚀刻工序检测单元，由图像采集线程和图像检测线程实现，用于检测尺寸(mm)在25*25～470*470，厚度(mm)在0.5～3.0样版的线宽/线距、开路/短路等类型缺陷，检测精度可达70nm。
钻孔工序检测单元，由图像采集线程和图像检测线程实现，用于检测尺寸(mm)在25*25～470*470，厚度(mm)在0.5～3.0样版的圆孔、空洞、针孔等类型缺陷，检测精度范围为0.5μm～10μm。
外观工序检测单元，由图像采集线程、图像检测线程和图像拼接线程实现，用于检测、压痕、氧化、凹凸痕、划伤/划痕、皱折/皱纹、异物、气泡、外观颜色、刻蚀过度/不足、油墨、沾污、裂痕、翘曲等多尺度外观缺陷。检测精度范围为2μm～10μm。可根据需求另外配置更高分辨率的工业相机和更高放大倍数的显微镜，同时满足70nm和2μm级别的检测研究需求。
运动控制单元，由运动控制线程实现，用于通过串口通信实现工控主机与运动控制板卡之间的控制指令传递与消息反馈。可通过人机交互界面向运动控制板卡发送执行指令，由交流伺服电机、C1级滚珠丝杆以及大理石真空吸盘等部件配合完成指令。
数据存储单元用于存储缺陷数据和样版信息，为后期智能分析单元提供数据支持，可通过视图单元对数据进行展示与查询。
智能分析单元，用于对柔性IC封装载板的线宽/线距、圆形度、孔径等关键物理参数进行统计与监控，并对制造过程进行稳定性评估。技术人员可在智能分析单元中查看本批次样版检测数据以及载板的标准信息等。
视图单元，由图像显示线程实现，主要是对各类信息的可视化展示，其中：日志记录模块记录操作工序流程，辅助操作人员快速定位当前进程、提升操作效率，且有利于技术人员进行故障诊断；缺陷显示模块辅助操作人员定位缺陷，快速判定样版的优劣；数据查看模块显示当前检测样版批次的缺陷数据，辅助操作人员鉴定样版缺陷并进行快速标记。
蚀刻工序检测单元、钻孔工序检测单元和外观工序检测单元，均由图像检测线程实现，具体包括：
若选用微米级精度成像系统外观缺陷检测模式时，则由外观工序检测单元检测外观缺陷；
若选用亚微米级精度混合成像系统观缺陷检测模式时，则先由外观工序检测单元检测外观缺陷；通过外观工序检测单元的结果，判断是否需要由钻孔工序检测单元或者蚀刻工序检测单元检测外观缺陷；
若选用纳米级精度成像系统观缺陷检测模式时，则由钻孔工序检测单元或者蚀刻工序检测单元检测外观缺陷。
检测结果由视图单元中的缺陷显示模块展示，检测信息在日志模块输出。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2
如图9所示，本实施例提供了一种IC封装载板多尺度外观缺陷检测装置，该装置包括匹配与校正模块901、构建多种成像系统外观缺陷检测模式模块902和检测模块903，其中：
匹配与校正模块901，用于利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
构建多种成像系统外观缺陷检测模式模块902，用于针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
检测模块903，用于根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图10所示，其通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1006和内存储器1007，该非易失性存储介质1006存储有操作系统、计算机程序和数据库，该内存储器1007为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1002执行存储器存储的计算机程序时，实现上述实施例1的IC封装载板多尺度外观缺陷检测方法，如下：
利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的IC封装载板多尺度外观缺陷检测方法，如下：
利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明根据不同精度要求，构建了多种成像系统外观缺陷检测模式，包括微米级精度成像系统外观缺陷检测模式、亚微米级精度混合成像系统外观缺陷检测模式和纳米级精度成像系统外观缺陷检测模式，在不同的成像系统外观缺陷检测模式中，规划不同的检测区域；并发启动成像系统外观缺陷检测模式中的所有线程，线程之间通过线程消息机制进行通讯，触发事件回调函数，进行相应操作，最后将检测线程中的缺陷分类信息上传数据库。本发明针对不同的IC封装载板精度设计了不同的成像系统外观缺陷检测模式，满足了在多尺度场合下IC封装载板的外观缺陷检测要求，且提升了检测效率。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种IC封装载板多尺度外观缺陷检测方法，其特征在于，所述方法包括：
利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测，具体包括：
根据待测IC封装载板的信息对IC封装载板的模板样板进行待检测区域的划分、参数的设置，将待检测区域划分成多个小区域单元；
若待测IC封装载板确定的检测精度范围为微米级精度范围，则选择微米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为纳米级精度范围，则选择纳米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围，则选择亚微米级精度混合成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
所述微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式均包括运动控制线程、图像采集线程、图像显示线程和图像检测线程，其中：
所述运动控制线程用于规划相机的运动路线及计算相机拍摄位置的坐标，使相机按照指定的运动方式移动到目标位置并给图像采集线程发送消息；
所述图像采集线程用于初始化相机资源，设置相机必要参数，注册图像回调事件；在接收到运动控制线程发送的消息后，触发相机拍摄图像，并发送消息给图像检测线程；
所述图像检测线程用于检测拍摄的图像中是否有指定精度范围的外观缺陷；在接收到图像采集线程发送的消息后，检测图片检测缓冲区是否有图像，若有，则发送消息给图像显示线程，并对图片检测缓冲区的图像进行检测；检测之后发送消息给图像显示线程；若所有的图像检测完毕，将统计的缺陷信息上传至数据库；
所述图像显示线程用于在接收到图像检测线程发送的消息后显示当前拍摄的图像，并同步显示检测之后的结果图像；
所述微米级精度成像系统外观缺陷检测模式中，所述相机为普通变倍镜相机，所述指定精度范围为微米级精度范围；
所述纳米级精度成像系统外观缺陷检测模式中，所述相机为精密显微镜变倍镜相机，所述指定精度范围为纳米级精度范围；
所述亚微米级精度混合成像系统外观缺陷检测模式中，所述相机包括普通变倍镜相机和精密显微镜变倍镜相机，所述指定精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围；
所述选择微米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程；
在运动控制线程中，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取点位运动方式运动，到达指定位置触发消息事件机制，发送第一消息给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第二消息，并返回起点，结束线程；
在图像采集过线程中，等待图像的触发，一旦触发的第一消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第三消息给图像检测线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第三消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送第四消息；检测当前图像，检测完后发送第五消息，判断是否检测完所有图片，若没有则继续检测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程；
所述选择纳米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程；
在运动控制线程中，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取jog运动方式运动，到达指定位置触发消息事件机制，发送第一消息给图像采集线程，并依次判断是否完成单个区域和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第二消息，并返回起点，结束线程；
在图像采集过线程中，等待图像的触发，一旦触发的第一消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第三消息给图像检测线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第三消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送第四消息；检测当前图像，检测完后发送第五消息，判断是否检测完所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程；
所述选择亚微米级精度混合成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像拼接线程、图像显示线程和图像检测线程；
在运动控制线程中，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，按照“电梯式”路径规划，以队列存储模式对拍摄位置进行顺序入队，采取点位运动方式运动，到达指定位置触发消息事件机制，发送第二消息给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第四消息，根据第九消息来判断是否需要启动精密显微镜成像系统，还是返回起点，结束线程；在确认需要精密显微镜检测之后，将启动精密显微镜的运动控制线程，此时精密显微镜将进行jog运动，对待检测区域逐个进行检测，在到达指定拍摄位置之后将发送第三消息至图像采集线程，所有检测区域都拍摄完成后将图像采集线程发送通知第五消息；之后便返回起点，结束线程；
在图像采集线程中，等待图像的触发，一旦触发的第二消息或第三消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第六消息给图像显示线程，若触发的图片是普通变倍镜拍摄的图片则认为目前进行的是初检，则发送触发第八消息给图像拼接线程，若不是则认为目前进行的是精密显微镜精检过程，发送第七消息给检测线程和图像显示线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源；
在图像拼接线程中，根据图像采集线程发送来的第八消息判断是否已经拍摄完一行图像来进行单行图像的拼接，进行拼接之后粗略检测，判断是否有需要进行精检的元件来确定是否有需要启动显微镜，若不需要则直接结束线程，若需要则进行相邻行拼接，并触发第九消息发送给运动控制线程，并判断是否已经完成了行列拼接，若已经完成便进行全局图像的拼接，并发送第十消息，对拼接结果图像进行显示，若还未完成拼接任务，则继续等待拼接；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第七消息、第十消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达便检测当前图像，并发送第十一消息，判断是否检测完所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程。
2.根据权利要求1所述的IC封装载板多尺度外观缺陷检测方法，其特征在于，所述使相机按照指定的运动方式移动到目标位置，具体包括：
若相机为普通变倍镜相机，则相机按照点位运动方式移动到指定拍摄位置，保证拍摄的每个位置都能到达；
若相机为精密显微镜变倍镜相机，则相机按照jog运动方式平滑移动到指定拍摄区域，保证拍摄图像质量。
3.根据权利要求1所述的IC封装载板多尺度外观缺陷检测方法，其特征在于，所述亚微米级精度混合成像系统外观缺陷检测模式还包括图像拼接线程；
所述图像拼接线程用于在接收到图像采集线程发送的消息后，拼接普通变倍镜相机采集的图像，并进行粗略检测，提供精密显微镜相机需要拍摄的位置。
4.根据权利要求1-3任一项所述的IC封装载板多尺度外观缺陷检测方法，其特征在于，所述利用期望的IC封装载板电子设计图信息对IC封装载板的信息，进行初步匹配以及智能视觉校正，具体包括：
将期望的IC封装载板电子设计图和待测IC封装载板中的编号、类型、长度、宽度、有效检测区域面积的信息进行确认与比对；
根据期望的IC封装载板电子设计图对待测IC封装载板的信息进行校正，所述校正为使用mark点校正待测IC封装载板的倾斜度。
5.一种IC封装载板多尺度外观缺陷检测装置，其特征在于，所述装置包括：
匹配与校正模块，用于利用期望的IC封装载板电子设计图对待测IC封装载板的信息，进行初步匹配以及智能视觉校正；
构建多种成像系统外观缺陷检测模式模块，用于针对待测IC封装载板不同尺度的检测需求，构建多种成像系统外观缺陷检测模式；
检测模块，用于根据待测IC封装载板的检测精度，在多种成像系统外观缺陷检测模式中选择合适的成像系统外观缺陷检测模式，并在选定的成像系统外观缺陷检测模式中对待测的IC封装载板进行检测，具体包括：
根据待测IC封装载板的信息对IC封装载板的模板样板进行待检测区域的划分、参数的设置，将待检测区域划分成多个小区域单元；
若待测IC封装载板确定的检测精度范围为微米级精度范围，则选择微米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为纳米级精度范围，则选择纳米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
若待测IC封装载板确定的检测精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围，则选择亚微米级精度混合成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测；
所述微米级精度成像系统外观缺陷检测模式、纳米级精度成像系统外观缺陷检测模式和亚微米级精度混合成像系统外观缺陷检测模式均包括运动控制线程、图像采集线程、图像显示线程和图像检测线程，其中：
所述运动控制线程用于规划相机的运动路线及计算相机拍摄位置的坐标，使相机按照指定的运动方式移动到目标位置并给图像采集线程发送消息；
所述图像采集线程用于初始化相机资源，设置相机必要参数，注册图像回调事件；在接收到运动控制线程发送的消息后，触发相机拍摄图像，并发送消息给图像检测线程；
所述图像检测线程用于检测拍摄的图像中是否有指定精度范围的外观缺陷；在接收到图像采集线程发送的消息后，检测图片检测缓冲区是否有图像，若有，则发送消息给图像显示线程，并对图片检测缓冲区的图像进行检测；检测之后发送消息给图像显示线程；若所有的图像检测完毕，将统计的缺陷信息上传至数据库；
所述图像显示线程用于在接收到图像检测线程发送的消息后显示当前拍摄的图像，并同步显示检测之后的结果图像；
所述微米级精度成像系统外观缺陷检测模式中，所述相机为普通变倍镜相机，所述指定精度范围为微米级精度范围；
所述纳米级精度成像系统外观缺陷检测模式中，所述相机为精密显微镜变倍镜相机，所述指定精度范围为纳米级精度范围；
所述亚微米级精度混合成像系统外观缺陷检测模式中，所述相机包括普通变倍镜相机和精密显微镜变倍镜相机，所述指定精度范围为所述纳米级精度范围的最大值与所述微米级精度范围的最小值之间的范围；
所述选择微米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程；
在运动控制线程中，初始化运动板卡资源，对电机参数进行设置，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取点位运动方式运动，到达指定位置触发消息事件机制，发送第一消息给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第二消息，并返回起点，结束线程；
在图像采集过线程中，对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，等待图像的触发，一旦触发的第一消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第三消息给图像检测线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第三消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送第四消息；检测当前图像，检测完后发送第五消息，判断是否检测完所有图片，若没有则继续检测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程；
所述选择纳米级精度成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像显示线程和图像检测线程；
在运动控制线程中，初始化运动板卡资源，对电机参数进行设置，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，采取jog运动方式运动，到达指定位置触发消息事件机制，发送第一消息给图像采集线程，并依次判断是否完成单个区域和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第二消息，并返回起点，结束线程；
在图像采集过线程中，对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，等待图像的触发，一旦触发的第一消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第三消息给图像检测线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源，结束线程；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第三消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达，则向图像显示线程发送第四消息；检测当前图像，检测完后发送第五消息，判断是否检测完所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程；
所述选择亚微米级精度混合成像系统外观缺陷检测模式对所有小区域单元进行外观缺陷的检测，具体包括：
在主进程中并发开启运动控制线程、图像采集线程、图像拼接线程、图像显示线程和图像检测线程；
在运动控制线程中，初始化运动板卡资源，对电机参数进行设置，计算每一个成像系统拍摄位置的具体坐标再转化成运动控制平台的运动坐标，按照“电梯式”路径规划，以队列存储模式对拍摄位置进行顺序入队，采取点位运动方式运动，到达指定位置触发消息事件机制，发送第二消息给图像采集线程，并依次判断是否完成一行和整版拍摄，若未完成任务就继续运动拍摄，若拍摄完整版则发送第四消息，根据第九消息来判断是否需要启动精密显微镜成像系统，还是返回起点，结束线程；在确认需要精密显微镜检测之后，将启动精密显微镜的运动控制线程，此时精密显微镜将进行jog运动，对待检测区域逐个进行检测，在到达指定拍摄位置之后将发送第三消息至图像采集线程，所有检测区域都拍摄完成后将图像采集线程发送通知第五消息；之后便返回起点，结束线程；
在图像采集线程中，对相机的底层资源进行初始化，打开相机接口，设置曝光时间、触发方式、图像回调采集方式参数，等待图像的触发，一旦触发的第二消息或第三消息到来便触发快门获得图像，并触发图像到达消息事件回调函数，发送第六消息给图像显示线程，若触发的图片是普通变倍镜拍摄的图片则认为目前进行的是初检，则发送触发第八消息给图像拼接线程，若不是则认为目前进行的是精密显微镜精检过程，发送第七消息给检测线程和图像显示线程，判断是否完成所有图像的采集，若没完成便进行下一次等待触发，若已经完成便关闭相机，还原相机设置，并释放掉底层资源；
在图像拼接线程中，根据图像采集线程发送来的第八消息判断是否已经拍摄完一行图像来进行单行图像的拼接，进行拼接之后粗略检测，判断是否有需要进行精检的元件来确定是否有需要启动显微镜，若不需要则直接结束线程，若需要则进行相邻行拼接，并触发第九消息发送给运动控制线程，并判断是否已经完成了行列拼接，若已经完成便进行全局图像的拼接，并发送第十消息，对拼接结果图像进行显示，若还未完成拼接任务，则继续等待拼接；
在图像检测线程中，对检测外观缺陷类型进行选择，等待第七消息、第十消息的到来，判断图像检测缓冲区是否有图像已经抵达，若确认抵达便检测当前图像，并发送第十一消息，判断是否检测完所有图片，若没有则继续监测，若已经完成则对当前图像进行缺陷分类，将缺陷数据信息上传数据库，并释放相应的图片缓存区内存，结束线程。
6.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-4任一项所述的IC封装载板多尺度外观缺陷检测方法。
7.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-4任一项所述的IC封装载板多尺度外观缺陷检测方法。
CN202110445674.2A 2021-04-25 2021-04-25 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 Active CN113218952B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110445674.2A CN113218952B (zh) 2021-04-25 2021-04-25 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质
JP2023528118A JP2023551398A (ja) 2021-04-25 2021-10-20 Ｉｃパッケージ搭載板のマルチスケール外観欠陥検査方法及びその装置、デバイス及び媒体
PCT/CN2021/124984 WO2022227424A1 (zh) 2021-04-25 2021-10-20 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110445674.2A CN113218952B (zh) 2021-04-25 2021-04-25 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113218952A CN113218952A (zh) 2021-08-06
CN113218952B true CN113218952B (zh) 2022-11-01

Family

ID=77089111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110445674.2A Active CN113218952B (zh) 2021-04-25 2021-04-25 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质

Country Status (3)

Country Link
JP (1) JP2023551398A (zh)
CN (1) CN113218952B (zh)
WO (1) WO2022227424A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113218952B (zh) * 2021-04-25 2022-11-01 华南理工大学 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质
US20230051313A1 (en) * 2021-08-11 2023-02-16 FootPrintKu Inc. Method and system for analyzing specification parameter of electronic component, computer program product with stored program, and computer readable medium with stored program
CN113465529B (zh) * 2021-08-31 2021-11-23 武汉飞恩微电子有限公司 一种基于视觉识别的芯片应变测量方法与系统
CN114136991A (zh) * 2021-10-29 2022-03-04 武汉精创电子技术有限公司 一种分层的外观检测系统及方法
CN113781486B (zh) * 2021-11-15 2022-03-15 新恒汇电子股份有限公司 Ic卡图像缺陷检测方法
CN114994082A (zh) * 2022-06-28 2022-09-02 深圳市合力泰光电有限公司 一种双精度mark点图形结构及识别方法
CN115953404B (zh) * 2023-03-14 2023-05-30 常州微亿智造科技有限公司 应用于工业质检的切图方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157588A (zh) * 2014-08-11 2014-11-19 东南大学 Sot封装类芯片引脚三维尺寸缺陷并行检测方法
CN104655641A (zh) * 2015-01-31 2015-05-27 华南理工大学 一种高精密全自动fpc缺陷检测装置及检测工艺
CN107283236A (zh) * 2017-08-21 2017-10-24 梧州学院 基于运动控制器的平面玻璃打磨方法及其设备
CN206696201U (zh) * 2017-04-07 2017-12-01 华南理工大学 一种面向柔性电路板的多尺度自动视觉检测装置
CN107688029A (zh) * 2017-09-20 2018-02-13 广州视源电子科技股份有限公司 外观检测方法和装置
CN109187584A (zh) * 2018-08-08 2019-01-11 华南理工大学 一种混合场景下的柔性印制电路缺陷检测系统及方法
CN109765242A (zh) * 2019-01-15 2019-05-17 南京信息工程大学 一种高检测效率高分辨率的光滑表面质量测量装置及方法
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测系统及方法
CN112396599A (zh) * 2020-12-04 2021-02-23 惠州高视科技有限公司 一种透明封装ic缺陷的视觉检测方法
CN112505056A (zh) * 2021-02-08 2021-03-16 常州微亿智造科技有限公司 缺陷检测方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001168160A (ja) * 1999-12-07 2001-06-22 Sony Corp 半導体ウェハの検査システム
JP2009109398A (ja) * 2007-10-31 2009-05-21 Toppan Printing Co Ltd カラーフィルタ基板のカラーフィルタ欠陥検査方法
CN107677678A (zh) * 2017-09-20 2018-02-09 广州视源电子科技股份有限公司 基于自动路径规划的外观检测方法和装置
CN110109945B (zh) * 2019-04-10 2021-05-07 Tcl华星光电技术有限公司 应用于基板的aoi检测方法、装置、存储介质及aoi检测设备
CN110261391A (zh) * 2019-06-17 2019-09-20 武汉大学 一种led芯片外观检测系统及方法
CN113218952B (zh) * 2021-04-25 2022-11-01 华南理工大学 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157588A (zh) * 2014-08-11 2014-11-19 东南大学 Sot封装类芯片引脚三维尺寸缺陷并行检测方法
CN104655641A (zh) * 2015-01-31 2015-05-27 华南理工大学 一种高精密全自动fpc缺陷检测装置及检测工艺
CN206696201U (zh) * 2017-04-07 2017-12-01 华南理工大学 一种面向柔性电路板的多尺度自动视觉检测装置
CN107283236A (zh) * 2017-08-21 2017-10-24 梧州学院 基于运动控制器的平面玻璃打磨方法及其设备
CN107688029A (zh) * 2017-09-20 2018-02-13 广州视源电子科技股份有限公司 外观检测方法和装置
CN109187584A (zh) * 2018-08-08 2019-01-11 华南理工大学 一种混合场景下的柔性印制电路缺陷检测系统及方法
CN109765242A (zh) * 2019-01-15 2019-05-17 南京信息工程大学 一种高检测效率高分辨率的光滑表面质量测量装置及方法
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测系统及方法
CN112396599A (zh) * 2020-12-04 2021-02-23 惠州高视科技有限公司 一种透明封装ic缺陷的视觉检测方法
CN112505056A (zh) * 2021-02-08 2021-03-16 常州微亿智造科技有限公司 缺陷检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于 CPAC 的轴承圆度测量仪控制系统;刘洋 等;《仪表技术与传感器》;20170930(第9期);第63-66、87页 *

Also Published As

Publication number Publication date
CN113218952A (zh) 2021-08-06
WO2022227424A1 (zh) 2022-11-03
JP2023551398A (ja) 2023-12-08

Similar Documents

Publication Publication Date Title
CN113218952B (zh) Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质
JP4859340B2 (ja) 平坦なパターン形成済み媒体検査用の方法と装置
WO2021128787A1 (zh) 一种定位的方法及装置
US20170140208A1 (en) System and method for reviewing and analyzing cytological specimens
JP5292043B2 (ja) 欠陥観察装置及び欠陥観察方法
CN111352227A (zh) 显微镜系统中样本平面的距离确定
TW512220B (en) Image processing method and device
CN112912783B (zh) 用于自动映射基板上的流动对象的方法和系统
WO2021115259A1 (zh) 藻类计数方法
Xia et al. An efficient and robust target detection algorithm for identifying minor defects of printed circuit board based on PHFE and FL-RFCN
JP4842782B2 (ja) 欠陥レビュー方法および装置
CN113172636A (zh) 一种自动手眼标定方法、装置及存储介质
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
CN111656247B (zh) 一种细胞图像处理系统、方法、自动读片装置与存储介质
JP2000081324A (ja) 欠陥検査方法およびその装置
JPH08313217A (ja) 非接触画像計測システム
CN114518217A (zh) 镜头间中心距离确定方法、显微镜控制设备及存储介质
CN113628284A (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
Fontana et al. Flexible vision based control for micro-factories
JP2013003821A (ja) パターン位置検出方法
JP2000251824A (ja) 電子ビーム装置及びそのステージ移動位置合せ方法
CN116930207B (zh) 展示区与实时区视野同步放大的显示方法
KR102622174B1 (ko) 딥러닝 알고리즘을 적용한 반도체 불량분석용 자동 광학측정장치
CN115616018B (zh) 用于扫描电镜的定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant