CN112834529A - 基于多角度成像的3d缺陷检测系统及方法 - Google Patents

基于多角度成像的3d缺陷检测系统及方法 Download PDF

Info

Publication number
CN112834529A
CN112834529A CN202110014162.0A CN202110014162A CN112834529A CN 112834529 A CN112834529 A CN 112834529A CN 202110014162 A CN202110014162 A CN 202110014162A CN 112834529 A CN112834529 A CN 112834529A
Authority
CN
China
Prior art keywords
measured object
camera
image
plane
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110014162.0A
Other languages
English (en)
Inventor
林宜龙
刘飞
王能翔
林涛
滕键
官声文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Grand Intelligent Equipment Co ltd
Original Assignee
Shenzhen Grand Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Grand Intelligent Equipment Co ltd filed Critical Shenzhen Grand Intelligent Equipment Co ltd
Priority to CN202110014162.0A priority Critical patent/CN112834529A/zh
Publication of CN112834529A publication Critical patent/CN112834529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种基于多角度成像的3D缺陷检测系统及方法,该检测系统包括承载装置、图像采集装置和图像处理装置;承载装置,用于承载被测物,并装载被测物移动至图像采集装置的正下方;图像采集装置,用于采集被测物的多方位图像;图像处理装置,用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。本发明通过本发明通过采集被测物的多方位图像,重合多方位图像,从而对重合后的图像进行3D缺陷检测。

Description

基于多角度成像的3D缺陷检测系统及方法
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于多角度成像的3D缺陷检测系统及方法。
背景技术
随着以集成电路为代表的半导体技术的发展,小型化与多功能成了大家共同追求的目标,加速了IC(Integrated circuit,集成电路)芯片设计的发展,也对检测设备对被测物品的检测能力要求更加苛刻。但是,被测物往往具有三维的多面结构,实际检测中需要多角度成像,被测物的规格、大小、形状等特征也会呈现出多样性和复杂性。例如对芯片进行封装,现有的芯片在封装之前对芯片与连接点连接的线弧高度有一定要求,如果线弧高度过高,在封装过程中容易导致连接线外露、被压断或者造成连接线之间误触,导致芯片报废;如果线弧塌陷,则可能导致断路或短路,而人工检测生产成本高、检测速度慢、易出现误差。因此,对被测物进行准确的3D缺陷检测成为目前需要解决的技术问题。
发明内容
本发明提供一种基于多角度成像的3D缺陷检测系统及方法,用于解决现有技术中无法准确对被测物的3D缺陷进行检测的问题。
第一方面,本发明提供一种基于多角度成像的3D缺陷检测系统,包括:承载装置、图像采集装置和图像处理装置;
承载装置,用于承载被测物,并装载被测物移动至图像采集装置的正下方;
图像采集装置,用于采集被测物的多方位图像;
图像处理装置,用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。
可选地,图像采集装置包括安装支架、相机组和调节装置;安装支架,用于安装相机组;相机组,包括正向相机和正向相机镜头,以及倾斜相机和倾斜相机镜头,相机组用于采集被测物的多方位图像;调节装置,用于调节倾斜相机和倾斜相机镜头的镜平面之间的角度。
可选地,正向相机与被测物拍摄面成垂直关系;倾斜相机与被测物拍摄面成特定倾斜角度,倾斜相机包括X轴相机和Y轴相机。
可选地,正向相机包括一个,倾斜相机包括一个或多个。
可选地,图像处理装置包括:存储库、定点机构和运算机构;存储库,用于存储多方位图像;定点机构,用于定位多方位图像的特征点;运算机构,用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。
可选地,被测物的物平面、被测物的像平面、以及倾斜相机镜头的镜平面的延长面相交于一线。
可选地,被测物的物平面与倾斜相机镜头的镜平面之间的夹角a,被测物的像平面与倾斜相机镜头的镜平面之间的夹角b,被测物的物平面与倾斜相机镜头的镜平面的距离u,被测物的像平面与倾斜相机镜头的镜平面的距离v,满足关系式:b=arctan(tan(a)*v/u)。
可选地,被测物包括芯片的焊线,3D缺陷包括线弧高度。
可选地,传输装置,用于将被测物的3D缺陷传输至工控机。
另一方面,本发明提供一种基于多角度成像的3D缺陷检测方法,包括:承载被测物,并装载被测物移动至图像采集装置的正下方;采集被测物的多方位图像;匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。
由上述技术方案可知,本发明通过承载装置、图像采集装置和图像处理装置;承载装置,用于承载被测物,并装载被测物移动至图像采集装置的正下方;图像采集装置,用于采集被测物的多方位图像;图像处理装置,用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行处理获取被测物的3D缺陷信息。本发明通过采集被测物的多方位图像,重合多方位图像,从而对重合后的图像进行3D缺陷检测。
附图说明
图1为本发明一实施例提供的一种基于多角度成像的3D缺陷检测系统的结构示意图;
图2为本发明一实施例提供的一种基于多角度成像的3D缺陷检测系统的整体结构示意图;
图3为本发明一实施例提供的一种基于多角度成像的3D缺陷检测系统的成像原理示意图;
图4为本发明一实施例提供的一种基于多角度成像的3D缺陷检测系统的镜平面、物平面、像平面关系示意图;
图5为本发明一实施例提供的一种基于多角度成像的3D缺陷检测系统的整体流程示意图;
图6为本发明一实施例提供的一种基于多角度成像的3D缺陷检测方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例,都属于本发明保护的范围。
图1示出了本发明一实施例提供的基于多角度成像的3D缺陷检测系统的结构示意图,如图1所示,本实施例的检测系统结构包括:承载装置11、图像采集装置12和图像处理装置13。
在具体实施例中,承载装置11,包括一个盘体,用于承载被测物,例如芯片料条,并装载被测物移动至图像采集装置12的正下方;图像采集装置12,用于采集被测物的多方位图像;图像处理装置13,用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。
在具体实施例中,图2示出了本发明一实施例提供的基于多角度成像的3D缺陷检测系统的整体结构示意图,如图2所示,图像采集装置12包括安装支架、相机组和调节装置6,安装支架1用于安装相机组,相机组包括正向相机2和正向相机镜头,以及倾斜相机4和倾斜相机镜头,其中,正向相机2与被测物拍摄面成垂直关系;倾斜相机3与被测物拍摄面成特定倾斜角度,根据被测物的检测需要,可以预先设置特定倾斜角度,倾斜相机4包括X轴相机和Y轴相机,以被测物为平面设置坐标,处于X轴上的相机为X轴相机,处于Y轴上的相机为Y轴相机。正向相机2和正向相机镜头采集被测物的正上方图像,倾斜相机4和倾斜相机镜头采集被测物的斜侧方图像,正向相机2包括一个,倾斜相机4包括一个或多个,相机组可获取被测物的多方位图像,多方位图像包括正上方和斜侧方获取的被测物图像。
图3示出了本发明一实施例提供的基于多角度成像的3D缺陷检测系统的成像原理示意图,如图3所示,调节装置6用于调节倾斜相机4和倾斜相机镜头5的镜平面之间的角度,使得被测物的物平面、被测物的像平面、以及倾斜相机镜头的镜平面的延长面相交于一线,使倾斜相机在倾斜时仍能对被测物的物平面清晰成像。
图4示出了发明一实施例提供的基于多角度成像的3D缺陷检测系统的镜平面、物平面、像平面关系示意图,如图4所示,被测物的物平面、被测物的像平面、以及倾斜相机镜头的镜平面的延长面相交于一线,被测物的物平面与倾斜相机镜头的镜平面之间的夹角为a,被测物的像平面与倾斜相机镜头的镜平面之间的夹角为b,被测物的物平面与倾斜相机镜头的镜平面的距离为u,被测物的像平面与倾斜相机镜头的镜平面的距离为v,被测物的物平面、被测物的像平面、以及倾斜相机镜头的镜平面之间的关系如公式(1)所示:
b=arctan(tan(a)*v/u) (1)
图5示出了本发明一实施例提供的基于多角度成像的3D缺陷检测系统的整体流程示意图,如图5所示,图像处理装置13包括:存储库7、定点机构8和运算机构9,存储库7用于存储被测物多方位图像;定点机构8用于定位多方位图像的特征点;运算机构9用于匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。具体包括:存储库7存储多方位图像;定位机构8定位多方位图像的特征点,例如芯片的长度,宽度,高度和引脚等特征点;运算机构9匹配多方位图像特征点,根据匹配的特征点将多方位图像进行重合,对重合后的图像进行3D缺陷检测,例如根据匹配的芯片的长度,宽度,高度和引脚将芯片的正上方图像和斜侧方图像进行重合获取重合后的图像,计算重合后的芯片图像的线弧高度,对芯片的线弧高度进行缺陷检测,可包括:判断芯片的线弧高度是否在合格区间判断芯片是否有缺陷。
在具体实施例中,被测物包括芯片的焊线,3D缺陷包括线弧高度,不限于对芯片的线弧高度进行检测,任何微小物料的3D缺陷都可以通过对重合后的图像进行检测获取3D缺陷。
在具体实施例中,对芯片进行训练调试,按照类别训练智能相机,建立模板,设置参数,存储设置文件,芯片训练调试成功后,根据需要切换调用芯片,例如对单片机STM32F103进行训练调试成功后,在单片机STM32F103封装前,调用检测系统,就可对符合要求的单片机STM32F103进行3D缺陷检测,实现3D缺陷检测自动化、标准化以及信息化,以实现芯片封装前的缺陷检测。
在具体实施例中,基于多角度成像的3D缺陷检测系统还包括报警装置;报警装置用于根据被测物的3D缺陷进行报警,例如,相机组拍照与3D缺陷检测同时进行,在芯片移出到导轨末端,检测结果全部检测出来,可检视出芯片线弧高度是否有缺陷,若检测出不合格,报警系统会进行报警。
在具体实施例中,基于多角度成像的3D缺陷检测系统还包括传输装置;传输装置用于将被测物的3D缺陷传输至工控机,以备调用和查看。
图6示出了本发明一实施例提供的基于多角度成像的3D缺陷检测方法的流程示意图,如图6所示,本实施例的检测方法,包括:
601、承载被测物,并装载被测物移动至图像采集装置的正下方;
602、采集被测物的多方位图像;
603、匹配多方位图像的特征点,重合多方位图像,对重合后的图像进行3D缺陷检测。
由于上述方法是基于检测系统基础上,因此,本方法在工作原理与上述检测系统的原理相同,在此不再赘述。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以理解:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (10)

1.一种基于多角度成像的3D缺陷检测系统,其特征在于,包括:承载装置、图像采集装置和图像处理装置;
所述承载装置,用于承载被测物,并装载所述被测物移动至所述图像采集装置的正下方;
所述图像采集装置,用于采集所述被测物的多方位图像;
所述图像处理装置,用于匹配所述多方位图像的特征点,重合所述多方位图像,对重合后的图像进行3D缺陷检测。
2.根据权利要求1所述的检测系统,其特征在于,所述图像采集装置包括安装支架、相机组和调节装置;
所述安装支架,用于安装所述相机组;
所述相机组,包括正向相机和正向相机镜头,以及倾斜相机和倾斜相机镜头,所述相机组用于采集所述被测物的多方位图像;
所述调节装置,用于调节所述倾斜相机和所述倾斜相机镜头的镜平面之间的角度。
3.根据权利要求2所述的检测系统,其特征在于,还包括:
所述正向相机与所述被测物拍摄面成垂直关系;
所述倾斜相机与所述被测物拍摄面成特定倾斜角度,所述倾斜相机包括X轴相机和Y轴相机。
4.根据权利要求3所述的检测系统,其特征在于,所述正向相机包括一个,所述倾斜相机包括一个或多个。
5.根据权利要求1所述的检测系统,其特征在于,所述图像处理装置包括:存储库、定点机构和运算机构;
所述存储库,用于存储所述多方位图像;
所述定点机构,用于定位所述多方位图像的特征点;
所述运算机构,用于匹配所述多方位图像的特征点,重合所述多方位图像,对重合后的图像进行3D缺陷检测。
6.根据权利要求2所述的检测系统,其特征在于,还包括:
所述被测物的物平面、所述被测物的像平面、以及所述倾斜相机镜头的镜平面的延长面相交于一线。
7.根据权利要求6所述的检测系统,其特征在于,还包括:
所述被测物的物平面与所述倾斜相机镜头的镜平面之间的夹角a,所述被测物的像平面与所述倾斜相机镜头的镜平面之间的夹角b,所述被测物的物平面与所述倾斜相机镜头的镜平面的距离u,所述被测物的像平面与所述倾斜相机镜头的镜平面的距离v,满足关系式:b=arctan(tan(a)*v/u)。
8.根据权利要求1所述的检测系统,其特征在于,还包括:
所述被测物包括芯片的焊线,所述3D缺陷包括线弧高度;
9.根据权利要求1所述的检测系统,其特征在于,还包括传输装置;
所述传输装置,用于将所述被测物的3D缺陷传输至工控机。
10.一种基于多角度成像的3D缺陷检测方法,其特征在于,包括:
承载被测物,并装载所述被测物移动至所述图像采集装置的正下方;
采集所述被测物的多方位图像;
匹配所述多方位图像的特征点,重合所述多方位图像,对重合后的图像进行3D缺陷检测。
CN202110014162.0A 2021-01-06 2021-01-06 基于多角度成像的3d缺陷检测系统及方法 Pending CN112834529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110014162.0A CN112834529A (zh) 2021-01-06 2021-01-06 基于多角度成像的3d缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110014162.0A CN112834529A (zh) 2021-01-06 2021-01-06 基于多角度成像的3d缺陷检测系统及方法

Publications (1)

Publication Number Publication Date
CN112834529A true CN112834529A (zh) 2021-05-25

Family

ID=75926322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110014162.0A Pending CN112834529A (zh) 2021-01-06 2021-01-06 基于多角度成像的3d缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN112834529A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109364A (zh) * 2021-03-22 2021-07-13 深圳格芯集成电路装备有限公司 一种芯片缺陷的检测方法及装置
CN114813759A (zh) * 2022-06-24 2022-07-29 四川英创力电子科技股份有限公司 一种精密检测印制电路板上孔数的检孔装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4872052A (en) * 1986-12-03 1989-10-03 View Engineering, Inc. Semiconductor device inspection system
CN111351799A (zh) * 2020-03-11 2020-06-30 凌云光技术集团有限责任公司 一种适用于显示屏缺陷检测的成像装置
CN112179920A (zh) * 2020-11-29 2021-01-05 惠州高视科技有限公司 一种芯片焊线缺陷的检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4872052A (en) * 1986-12-03 1989-10-03 View Engineering, Inc. Semiconductor device inspection system
CN111351799A (zh) * 2020-03-11 2020-06-30 凌云光技术集团有限责任公司 一种适用于显示屏缺陷检测的成像装置
CN112179920A (zh) * 2020-11-29 2021-01-05 惠州高视科技有限公司 一种芯片焊线缺陷的检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王莎莎: "多视角图像的特征点提取与立体匹配研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109364A (zh) * 2021-03-22 2021-07-13 深圳格芯集成电路装备有限公司 一种芯片缺陷的检测方法及装置
CN113109364B (zh) * 2021-03-22 2021-12-17 深圳格芯集成电路装备有限公司 一种芯片缺陷的检测方法及装置
CN114813759A (zh) * 2022-06-24 2022-07-29 四川英创力电子科技股份有限公司 一种精密检测印制电路板上孔数的检孔装置及方法
CN114813759B (zh) * 2022-06-24 2022-09-09 四川英创力电子科技股份有限公司 一种精密检测印制电路板上孔数的检孔装置及方法

Similar Documents

Publication Publication Date Title
JP6820891B2 (ja) ウェーハの検査システム及び方法
EP2387796B1 (en) System and method for inspecting a wafer
KR101638883B1 (ko) 웨이퍼 검사 시스템 및 방법
CN108802046B (zh) 一种混合集成电路组件缺陷光学检测装置及其检测方法
CN112834529A (zh) 基于多角度成像的3d缺陷检测系统及方法
JPH09504401A (ja) ボールボンド検査システム用の方法および装置
KR20180106856A (ko) 자동 광학 검사 시스템 및 그 동작 방법
CN106030283B (zh) 用于检验半导体封装的装置与方法
US7139421B1 (en) Methods and apparatuses for detecting similar features within an image
US20220207686A1 (en) System and method for inspecting an object for defects
CN112834528A (zh) 3d缺陷检测系统及方法
KR200392078Y1 (ko) 다방향 동시검사 기능을 갖는 검사장치
CN116438447A (zh) 外观检查装置及方法
US6614926B1 (en) Methods and apparatuses for generating from an image a model of an object
CN113109364A (zh) 一种芯片缺陷的检测方法及装置
JP7450272B2 (ja) 重なり合うボンドワイヤのループ高さの測定
EP3988926A1 (en) Inspection system
CN114264243A (zh) 一种检测压接焊点以及测量压接焊点之间线弧高度的方法
JPH033941B2 (zh)
US20170018068A1 (en) Probe device
TWI635463B (zh) Method for detecting appearance of articles with continuous image capturing function
JPH02150705A (ja) 線状物体検査装置
CN116413279A (zh) 被动元件检测设备及方法
JPS61237444A (ja) Ic製品検査用ハンドラ装置
JP2000241124A (ja) 電子部品のリード検査方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210525

RJ01 Rejection of invention patent application after publication