CN111462242B - 一种基于改进的可变形部件模型的矩形引脚芯片定位方法 - Google Patents

一种基于改进的可变形部件模型的矩形引脚芯片定位方法 Download PDF

Info

Publication number
CN111462242B
CN111462242B CN202010167610.6A CN202010167610A CN111462242B CN 111462242 B CN111462242 B CN 111462242B CN 202010167610 A CN202010167610 A CN 202010167610A CN 111462242 B CN111462242 B CN 111462242B
Authority
CN
China
Prior art keywords
pin
chip
area
potential
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167610.6A
Other languages
English (en)
Other versions
CN111462242A (zh
Inventor
孙昊
于兴虎
高会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010167610.6A priority Critical patent/CN111462242B/zh
Publication of CN111462242A publication Critical patent/CN111462242A/zh
Application granted granted Critical
Publication of CN111462242B publication Critical patent/CN111462242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Image Analysis (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

一种基于改进的可变形部件模型的矩形引脚芯片定位方法，涉及图像处理技术领域，针对现有技术中的定位方法无法准确的定位出带有形变的矩形引脚芯片的问题，包括步骤一：获取芯片区域图像；步骤二：对图像中引脚区域进行提取，得到初步筛选的潜在引脚区域；步骤三：得到芯片整体模型的分数，进而在局部位置搜索最优的形变；步骤四：根据步骤三中获得的局部位置最优形变及芯片整体模型的分数，通过非最大化抑制方法判断局部最大值，进而判断图片中芯片的位置。本发明首先从芯片图片中提取潜在引脚区域及其参数，然后在局部位置上搜索芯片形变，最后在全图片上搜索芯片形变。本发明可以准确的定位出带有形变的矩形引脚芯片，抗干扰能力强。

Description

一种基于改进的可变形部件模型的矩形引脚芯片定位方法
技术领域
本发明涉及图像处理技术领域，具体为一种基于改进的可变形部件模型的矩形引脚芯片定位方法。
背景技术
随着电子元器件向着微小化发展，机器视觉检测技术在各个领域得到了广泛的应用。对于芯片检测行业而言，由于芯片的高度集成化，芯片之间的间距越来越小，中心检测与引脚定位的难度越来越大，精度要求也越来越高，对芯片引脚进行准确的定位显得十分重要，利用一种高精度的技术对芯片引脚进行定位是急需解决的问题。现有针对引脚芯片的定位方法无法准确的定位出带有形变的矩形引脚芯片。
发明内容
本发明的目的是：针对现有技术中的定位方法无法准确的定位出带有形变的矩形引脚芯片的问题，提出一种基于改进的可变形部件模型的矩形引脚芯片定位方法。
本发明为了解决上述技术问题采取的技术方案是：
一种基于改进的可变形部件模型的矩形引脚芯片定位方法，包括以下步骤：
步骤一：获取芯片区域图像；
步骤二：对图像中引脚区域进行提取，得到初步筛选的潜在引脚区域；
步骤三：首先通过带旋转角度的滑动窗口法，在芯片图像中确定多个带有旋转角度的检测位置，其次根据带有旋转角度的检测位置确定引脚的理想位置，然后根据引脚的理想位置与初步筛选的潜在引脚区域逐个判断是否重叠，若重叠则该区域为对应引脚模型的形变实例，之后计算引脚模型的分数和根模型的分数，从而得到芯片整体模型的分数，进而在局部位置搜索最优的形变；
步骤四：根据步骤三中获得的局部位置最优形变及芯片整体模型的分数，通过非最大化抑制方法判断局部最大值，进而判断图片中芯片的位置。
进一步的，所述步骤二的具体步骤为：
步骤二一：采用基于高斯混合模型的图像分割算法对输入图像进行图像分割，并在芯片图像中提取潜在引脚像素；
步骤二二：基于图像分割的结果，利用联通区域标记算法对潜在引脚像素进行标记，获得联通的区域，并将联通的区域作为潜在引脚区域；
步骤二三：根据步骤二二得到的潜在引脚区域，估计其带有旋转角度的外接矩形；
步骤二四：提取潜在引脚区域的参数，所述参数包括：尺寸和矩形度；
步骤二五：在潜在引脚区域中，剔除尺寸过小或矩形度过小的区域，得到初步筛选的潜在引脚区域。
进一步的，所述矩形度的公式为：
Figure BDA0002408010840000021
其中，Aregion为联通区域的面积，Arectangle为有旋转角度的外接矩形的面积。
进一步的，所述对应引脚模型的形变实例通过引脚搜索金字塔得到，所述引脚搜索金字塔包含四层区域，所述四层区域为无旋转芯片级搜索区域、有旋转芯片级搜索区域、引脚组级搜索区域和引脚级搜索区域；
所述无旋转芯片级搜索区域执行如下步骤：首先定义一个无旋转的搜索空间，使其覆盖所有旋转角度的芯片空间，然后将所有潜在引脚区域中与无旋转的芯片级搜索空间重叠的区域作为无旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若无旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则认为，此位置上可能存在芯片，则由有旋转芯片级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述有旋转芯片级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义一个有旋转的芯片级搜索空间，使其覆盖所有引脚，然后将无旋转的搜索空间内潜在引脚区域中，与有旋转的芯片级搜索空间重叠的潜在引脚区域，作为有旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若有旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚组级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚组级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚组级搜索空间，使其覆盖该组引脚，然后将有旋转的芯片级搜索空间内潜在引脚区域中，与引脚组级搜索空间重叠的潜在引脚区域，作为引脚组级搜索空间内潜在引脚区域，之后设定一个阈值，若引脚组级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚级搜索空间，使其覆盖该引脚，然后将引脚组级搜索空间内潜在引脚区域中，与引脚级搜索空间重叠的潜在引脚区域，作为该引脚模型的形变实例，若引脚模型的形变实例的个数为零，则该检测位置上该引脚模型找不到合适的形变。
进一步的，所述步骤三的具体步骤为：
步骤三一：通过带旋转角度的滑动窗口法，在芯片图像中确定多个带旋转角度的待检测位置；
步骤三二：在每个带旋转角度的待检测位置上，确定芯片及其引脚的理想位置，其中芯片的理想位置与待检测位置相同，芯片的理想角度与待检测位置的角度相同，所述引脚的理想位置根据芯片的标准参数获得；
步骤三三：通过引脚搜索金字塔得到引脚模型对应的引脚区域，进而得到芯片引脚模型的形变实例；
步骤三四：根据步骤三三得到的引脚模型对应的引脚区域，计算第i个引脚模型Li的分数si(·)，分数si(·)为：
si(δr，δ1，…，δn)＝s1i(p(δr，δi))+s2i(p(δr，δi)，pi(δr，δ1，…，δn))
若引脚模型有一个引脚区域，则s1i(p(δr，δi))的定义为：
s1i(p(δr，δi))＝α1×(swl+hl)+2×r
式中：
α1和α2为常参数，设置为1；其中，
Figure BDA0002408010840000031
为引脚宽度的缩放程度，为潜在引脚的宽度，ws为输入参数重引脚的标准宽度，
Figure BDA0002408010840000032
为引脚长度的缩放程度，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度，r为引脚区域的矩形度；
若引脚模型有两个引脚区域，分别为root和foot，则s1i(p(δr，δi))的定义为：
Figure BDA0002408010840000033
式中：α1、α2、α3和α4为常参数，可以设置为1；
Figure BDA0002408010840000034
为引脚区域的宽度的缩放程度，其中，wk为潜在引脚区域的宽度，wks为输入参数中引脚区域的标准宽度；
Figure BDA0002408010840000041
为引脚区域的长度的缩放程度，其中，hk为潜在引脚区域的宽度，hks为输入参数中引脚区域的标准宽度；
rk为引脚区域的矩形度；
Figure BDA0002408010840000042
为引脚宽度的缩放程度，其中，w为潜在引脚的宽度，ws为输入参数重引脚的标准宽度；
Figure BDA0002408010840000043
为引脚长度的缩放程度，其中，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度；
Figure BDA0002408010840000044
为两个引脚区域之间距离的缩放程度，其中，d为潜在引脚区域的距离，ds为输入参数中引脚区域之间的距离，
s2i(p(δr，δi)，pi(δr，δ1，…，δn))的定义为：
s2i(p(δr，δi)，pi(δr，δ1，…，δn))＝β×(sld+sa)
式中：
β为常参数，设置为1；
Figure BDA0002408010840000045
引脚位置的偏移度，其中，dmax为引脚相对于标准位置的偏移的最大容许值，d为引脚相对于标准位置的偏移的实际值；
Figure BDA0002408010840000046
引脚角度的偏移度，其中，θmax为引脚相对于标准位置旋转角度的最大容许值，θ为引脚相对于标准位置旋转角度的实际值；
步骤三五：根据步骤三四得到的引脚的位置，进而得到芯片的位置，然后计算芯片根模型的分数：
步骤三六：根据步骤三四中引脚模型的分数和步骤三五中得到的根模型的分数计算芯片整体模型的分数，并将待检测位置上最大分数的形变作为当前位置的局部位置最优形变。
进一步的，所述步骤三五中计算芯片的根模型的分数公式为:
Figure BDA0002408010840000051
式中：
l0为图像对角线长度的一半，lc为芯片中心到图像中心的距离；θmax为芯片的旋转角度最大容许值，θ为芯片的旋转角度，li为第i个干扰区域到芯片中心的距离，ri为第i个干扰区域的矩形度，rt为引脚区域的矩形度阈值。
进一步的，所述引脚区域的矩形度阈值rt为0.7。
进一步的，所述步骤三六中计算芯片整体模型的分数公式为：
Figure BDA0002408010840000052
其中，sr为根模型的分数。
本发明的有益效果是：本发明首先从芯片图片中提取潜在引脚区域及其参数，然后在局部位置上搜索芯片形变，最后在全图片上搜索芯片形变。本发明可以准确的定位出带有形变的矩形引脚芯片，抗干扰能力强。
附图说明
图1为本发明的流程图；
图2为引脚搜索金字塔图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，包括以下步骤：
步骤一：获取芯片区域图像；
步骤二：对图像中引脚区域进行提取，得到初步筛选的潜在引脚区域；
步骤三：首先通过带旋转角度的滑动窗口法，在芯片图像中确定多个带有旋转角度的检测位置，其次根据带有旋转角度的检测位置确定引脚的理想位置，然后根据引脚的理想位置与初步筛选的潜在引脚区域逐个判断是否重叠，若重叠则该区域为对应引脚模型的形变实例，之后计算引脚模型的分数和根模型的分数，从而得到芯片整体模型的分数，进而在局部位置搜索最优的形变；
步骤四：根据步骤三中获得的局部位置最优形变及芯片整体模型的分数，通过非最大化抑制方法判断局部最大值，进而判断图片中芯片的位置。
所述引脚的理想位置指的是没有形变的情况下芯片和引脚的位置。
所述步骤一采用黑白相机获取芯片图像。
步骤二：对图像中引脚区域进行提取
步骤二一：采用基于高斯混合模型的图像分割算法对输入图像进行图像分割，将芯片图片分为背景像素和引脚像素；
步骤二二：基于图像分割的结果，基利用联通区域标记算法对潜在引脚像素进行标记，获得联通的区域，并将联通的区域作为潜在引脚区域；
步骤二三：根据步骤二二得到的潜在引脚区域，估计其带有旋转角度的外接矩形；
步骤二四：提取潜在引脚区域的参数，包括：尺寸(长度、宽度、面积)、矩形度，其中矩形度的定义为：
Figure BDA0002408010840000061
其中，Aregion为联通区域的面积，Arectangle为有旋转角度的外接矩形的面积；
步骤二五：在潜在引脚区域中，在潜在引脚区域中，剔除尺寸过小或矩形度过小的区域，得到初步筛选的潜在引脚区域。
步骤三：局部位置搜索芯片形变
步骤三一：通过带旋转角度的滑动窗口法，在芯片图片中确定多个带旋转角度的待检测位置。
步骤三二：在每个带旋转角度的待检测位置上，确定芯片及其引脚的理想位置，其中芯片的理想位置与待检测位置相同，芯片的理想角度与待检测位置的角度相同，所述引脚的理想位置根据芯片的标准参数获得；
步骤三三：通过引脚搜索金字塔得到引脚模型对应的引脚区域，进而得到芯片引脚模型的形变实例，
搜索芯片的引脚模型的形变实例，可以通过一个四层的引脚搜索金字塔来搜索引脚，引脚搜索金字塔如图2所示，其具体结构为：
所述引脚搜索金字塔包含四层区域，所述四层区域为无旋转芯片级搜索区域、有旋转芯片级搜索区域、引脚组级搜索区域和引脚级搜索区域；
所述无旋转芯片级搜索区域执行如下步骤：首先定义一个无旋转的搜索空间，使其覆盖所有旋转角度的芯片空间，然后将所有潜在引脚区域中与无旋转的芯片级搜索空间重叠的区域作为无旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若无旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则认为，此位置上可能存在芯片，则由有旋转芯片级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述有旋转芯片级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义一个有旋转的芯片级搜索空间，使其覆盖所有引脚，然后将无旋转的搜索空间内潜在引脚区域中，与有旋转的芯片级搜索空间重叠的潜在引脚区域，作为有旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若有旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚组级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚组级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚组级搜索空间，使其覆盖该组引脚，然后将有旋转的芯片级搜索空间内潜在引脚区域中，与引脚组级搜索空间重叠的潜在引脚区域，作为引脚组级搜索空间内潜在引脚区域，之后设定一个阈值，若引脚组级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚级搜索空间，使其覆盖该引脚，然后将引脚组级搜索空间内潜在引脚区域中，与引脚级搜索空间重叠的潜在引脚区域，作为该引脚模型的形变实例，若引脚模型的形变实例的个数为零，则该检测位置上该引脚模型找不到合适的形变。
步骤三四：计算芯片的引脚模型的分数
根据步骤三三引脚模型对应的引脚区域，可以计算第i个引脚模型Li的分数si(·)，分数si(·)由两部分组成：
si(δr，δ1，…，δn)＝s1i(p(δr，δi))+s2i(p(δr，δi)，pi(δr，δ1，…，δn))式2
其中，s1i(·)只处理与引脚区域自身相关的信息，而s2i(·)还需要考虑其它引脚和芯片整体的信息。
引脚模型分数的第一部分s1i(p(δr，δi))只与引脚自身的形变相关，主要反映的是引脚的缩放形变和引脚的矩形度。对于引脚内区域数目不同，s1i(p(δr，δi))的定义不同:
1.对于引脚只要一个区域的情况，s1i(p(δr，δi))的定义为：
s1i(p(δr，δi))＝α1×(swl+hl)+2×r式3
式中：
α1和α2为常参数，设置为1；
Figure BDA0002408010840000081
为引脚宽度的缩放程度，其中，w为潜在引脚的宽度，ws为输入参数重引脚的标准宽度；
Figure BDA0002408010840000082
为引脚长度的缩放程度，其中，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度；
r为引脚区域的矩形度。
2.对于引脚有两个区域的情况，两个区域分布为根部和足部，s1i(p(δr，δi))的定义为：
Figure BDA0002408010840000083
式中：
α1、α2、α3和α4为常参数，设置为1；
Figure BDA0002408010840000084
为引脚区域的宽度的缩放程度，其中，wk为潜在引脚区域的宽度，wks为输入参数中引脚区域的标准宽度；
Figure BDA0002408010840000085
为引脚区域的长度的缩放程度，其中，hk为潜在引脚区域的宽度，hks为输入参数中引脚区域的标准宽度；
rk为引脚区域的矩形度；
Figure BDA0002408010840000086
为引脚宽度的缩放程度，其中，w为潜在引脚的宽度，ws为输入参数重引脚的标准宽度；
Figure BDA0002408010840000087
为引脚长度的缩放程度，其中，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度；
Figure BDA0002408010840000091
为两个引脚区域之间距离的缩放程度，其中，d为潜在引脚区域的距离，ds为输入参数中引脚区域之间的距离。
引脚模型分数的第二部分s2i(p(δr，δi)，pi(δr，δ1，…，δn))的定义为：
s2i(p(δr，δi)，pi(δr，δ1，...，δn))＝β×(sld+sa)
式中：
β，常参数，可以设置为1；
Figure BDA0002408010840000092
引脚位置的偏移度，其中，dmax为引脚相对于标准位置的偏移的最大容许值，d为引脚相对于标准位置的偏移的实际值；
Figure BDA0002408010840000093
引脚角度的偏移度，其中，θmax为引脚相对于标准位置旋转角度的最大容许值，θ为引脚相对于标准位置旋转角度的实际值。
步骤三五:根据步骤三四得到的引脚的位置，进而得到芯片的位置，然后计算芯片根模型的分数：
Figure BDA0002408010840000094
式中：
l0图片对角线的长度的一半；
lc芯片中心到图像中心的距离；
θmax芯片的旋转角度最大的容许值；
θ芯片的旋转角度；
li第i个干扰区域到芯片中心的距离；
ri第i个干扰区域的矩形度；
rt引脚区域的矩形度阈值，一般设置为0.7。
步骤三六:根据步骤三四中引脚模型的分数和步骤三五中得到的根模型的分数计算芯片整体模型的分数，并将待检测位置上最大分数的形变作为当前位置的局部位置最优形变。
计算芯片整体模型的分数为：
Figure BDA0002408010840000101
将待检测位置上最大的分数作为当前位置的分数。
步骤四:全图片位置搜索芯片形变：
根据步骤三中获得的局部位置最优形变及芯片整体模型的分数，通过非最大化抑制方法判断局部最大值，进而判断图片中芯片的位置。
在步骤三中，已经为图片的每个潜在位置上获得了分数及对应的形变实例，可以通过最大化抑制的方法，判断局部最大值，来判断图片中芯片的位置。
实施例：
为了验证本发明提出的定位方法，发明人收集了本节的实验采用多种分组的矩形引脚芯片采集数据，包括SOT23-4、SOP16、QFP32和QFP114四种芯片，其中，SOT32-4和SOP16是双列引脚芯片，QFP32和QFP144是四列引脚芯片；另一方面，四种芯片的引脚数目从4个到144个，数目变化也非常大。综上所述，本节选用的四种芯片基本覆盖了矩形引脚芯片的大多数特点。在各种光照下采集了20张图片，因此一共有800个测试样本。
在实验中，用本章讨论的芯片定位算法处理这些测试样本，并将算法得到的芯片位置与三星SM482机器得到的结果进行对比。如表1-1所示，将本文所提算法与标准值求差后，求得误差绝对值的平均值，如表1-1所示。从表中可以看出，本文所提算法得到的x坐标和y坐标的平均误差与像素宽度相近，已达到设备的最小系统误差。
表1-1本发明的定位误差
Figure BDA0002408010840000102
本发明中所述的非最大化抑制即为非极大值抑制算法(Non-maximumsuppression,NMS)
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (7)

1.一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于包括以下步骤：
步骤一：获取芯片区域图像；
步骤二：对图像中引脚区域进行提取，得到初步筛选的潜在引脚区域；
步骤三：首先通过带旋转角度的滑动窗口法，在芯片图像中确定多个带有旋转角度的检测位置，其次根据带有旋转角度的检测位置确定引脚的理想位置，然后根据引脚的理想位置与初步筛选的潜在引脚区域逐个判断是否重叠，若重叠则该区域为对应引脚模型的形变实例，之后计算引脚模型的分数和根模型的分数，从而得到芯片整体模型的分数，进而在局部位置搜索最优的形变；
步骤四：根据步骤三中获得的局部位置最优形变及芯片整体模型的分数，通过非最大化抑制方法判断局部最大值，进而判断图片中芯片的位置；
所述对应引脚模型的形变实例通过引脚搜索金字塔得到，所述引脚搜索金字塔包含四层区域，所述四层区域为无旋转芯片级搜索区域、有旋转芯片级搜索区域、引脚组级搜索区域和引脚级搜索区域；
所述无旋转芯片级搜索区域执行如下步骤：首先定义一个无旋转的搜索空间，使其覆盖所有旋转角度的芯片空间，然后将所有潜在引脚区域中与无旋转的芯片级搜索空间重叠的区域作为无旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若无旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则认为，此位置上可能存在芯片，则由有旋转芯片级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述有旋转芯片级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义一个有旋转的芯片级搜索空间，使其覆盖所有引脚，然后将无旋转的搜索空间内潜在引脚区域中，与有旋转的芯片级搜索空间重叠的潜在引脚区域，作为有旋转的搜索空间内潜在引脚区域，之后设定一个阈值，若有旋转的芯片级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚组级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚组级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚组级搜索空间，使其覆盖该组引脚，然后将有旋转的芯片级搜索空间内潜在引脚区域中，与引脚组级搜索空间重叠的潜在引脚区域，作为引脚组级搜索空间内潜在引脚区域，之后设定一个阈值，若引脚组级搜索空间内潜在引脚区域的数目大于该阈值，则由引脚级搜索区域处理；若引脚区域的数目小于该阈值，则终止操作；
所述引脚级搜索区域执行如下步骤：首先根据待检测位置的位姿和芯片参数定义引脚级搜索空间，使其覆盖该引脚，然后将引脚组级搜索空间内潜在引脚区域中，与引脚级搜索空间重叠的潜在引脚区域，作为该引脚模型的形变实例，若引脚模型的形变实例的个数为零，则该检测位置上该引脚模型找不到合适的形变。
2.根据权利要求1所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述步骤二的具体步骤为：
步骤二一：采用基于高斯混合模型的图像分割算法对输入图像进行图像分割，并在芯片图像中提取潜在引脚像素；
步骤二二：基于图像分割的结果，利用联通区域标记算法对潜在引脚像素进行标记，获得联通的区域，并将联通的区域作为潜在引脚区域；
步骤二三：根据步骤二二得到的潜在引脚区域，估计其带有旋转角度的外接矩形；
步骤二四：提取潜在引脚区域的参数，所述参数包括：尺寸和矩形度；
步骤二五：在潜在引脚区域中，剔除尺寸过小或矩形度过小的区域，得到初步筛选的潜在引脚区域。
3.根据权利要求2所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述矩形度的公式为：
Figure FDA0003049960680000021
其中，Aregion为联通区域的面积，Arectangle为有旋转角度的外接矩形的面积。
4.根据权利要求1所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述步骤三的具体步骤为：
步骤三一：通过带旋转角度的滑动窗口法，在芯片图像中确定多个带旋转角度的待检测位置；
步骤三二：在每个带旋转角度的待检测位置上，确定芯片及其引脚的理想位置，其中芯片的理想位置与待检测位置相同，芯片的理想角度与待检测位置的角度相同，所述引脚的理想位置根据芯片的标准参数获得；
步骤三三：通过引脚搜索金字塔得到引脚模型对应的引脚区域，进而得到芯片引脚模型的形变实例；
步骤三四：根据步骤三三得到的引脚模型对应的引脚区域，计算第i个引脚模型Li的分数si(·)，分数si(·)为：
si(δr，δ1，…，δn)＝s1i(p(δr，δi))+s2i(p(δr，δi)，pi(δr，δ1，…，δn))
若引脚模型有一个引脚区域，则s1i(p(δr，δi))的定义为：
s1i(p(δr，δi))＝α1×(swl+shl)+α2×r
式中：
α1和α2为常参数，设置为1；其中，
Figure FDA0003049960680000031
为引脚宽度的缩放程度，w为潜在引脚的宽度，ws为输入参数重引脚的标准宽度，
Figure FDA0003049960680000032
为引脚长度的缩放程度，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度，r为引脚区域的矩形度；
若引脚模型有两个引脚区域，分别为root和foot，则s1i(p(δr，δi))的定义为：
Figure FDA0003049960680000033
式中：α1、α2、α3和α4为常参数，可以设置为1；
Figure FDA0003049960680000034
为引脚区域的宽度的缩放程度，其中，wk为潜在引脚区域的宽度，wks为输入参数中引脚区域的标准宽度；
Figure FDA0003049960680000035
为引脚区域的长度的缩放程度，其中，hk为潜在引脚区域的宽度，hks为输入参数中引脚区域的标准宽度；
rk为引脚区域的矩形度；
Figure FDA0003049960680000036
为引脚宽度的缩放程度，其中，w为潜在引脚的宽度，ws为输入参数重引脚的标准宽度；
Figure FDA0003049960680000037
为引脚长度的缩放程度，其中，h为潜在引脚的宽度，hs为输入参数重引脚的标准宽度；
Figure FDA0003049960680000041
为两个引脚区域之间距离的缩放程度，其中，d为潜在引脚区域的距离，ds为输入参数中引脚区域之间的距离，
s2i(p(δr，δi)，pi(δr，δ1，…，δn))的定义为：
s2i(p(δr，δi)，pi(δr，δ1，…，δn))＝β×(sld+sa)
式中：
β为常参数，设置为1；
Figure FDA0003049960680000042
引脚位置的偏移度，其中，dmax为引脚相对于标准位置的偏移的最大容许值，d为引脚相对于标准位置的偏移的实际值；
Figure FDA0003049960680000043
引脚角度的偏移度，其中，θmax为引脚相对于标准位置旋转角度的最大容许值，θ为引脚相对于标准位置旋转角度的实际值；
步骤三五：根据步骤三四得到的引脚的位置，进而得到芯片的位置，然后计算芯片根模型的分数：
步骤三六：根据步骤三四中引脚模型的分数和步骤三五中得到的根模型的分数计算芯片整体模型的分数，并将待检测位置上最大分数的形变作为当前位置的局部位置最优形变。
5.根据权利要求4所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述步骤三五中计算芯片的根模型的分数公式为:
Figure FDA0003049960680000044
式中：
l0为图像对角线长度的一半，lc为芯片中心到图像中心的距离；θmax为芯片的旋转角度最大容许值，θ为芯片的旋转角度，li为第i个干扰区域到芯片中心的距离，ri为第i个干扰区域的矩形度，rt为引脚区域的矩形度阈值。
6.根据权利要求5所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述引脚区域的矩形度阈值rt为0.7。
7.根据权利要求4所述的一种基于改进的可变形部件模型的矩形引脚芯片定位方法，其特征在于所述步骤三六中计算芯片整体模型的分数公式为：
Figure FDA0003049960680000051
其中，sr为根模型的分数。
CN202010167610.6A 2020-03-11 2020-03-11 一种基于改进的可变形部件模型的矩形引脚芯片定位方法 Active CN111462242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167610.6A CN111462242B (zh) 2020-03-11 2020-03-11 一种基于改进的可变形部件模型的矩形引脚芯片定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167610.6A CN111462242B (zh) 2020-03-11 2020-03-11 一种基于改进的可变形部件模型的矩形引脚芯片定位方法

Publications (2)

Publication Number Publication Date
CN111462242A CN111462242A (zh) 2020-07-28
CN111462242B true CN111462242B (zh) 2021-06-18

Family

ID=71680069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167610.6A Active CN111462242B (zh) 2020-03-11 2020-03-11 一种基于改进的可变形部件模型的矩形引脚芯片定位方法

Country Status (1)

Country Link
CN (1) CN111462242B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840572A (zh) * 2010-04-13 2010-09-22 河海大学常州校区 一种基于区域分割的qfp元件位置误差视觉检测方法
CN105005997B (zh) * 2015-08-05 2017-11-14 哈尔滨工业大学 一种基于行列直线聚类的多类型bga芯片视觉识别方法
US20170206430A1 (en) * 2016-01-19 2017-07-20 Pablo Abad Method and system for object detection
CN106485269B (zh) * 2016-09-28 2019-08-20 武汉大学 基于混合统计分布与多部件模型的sar图像目标检测方法
CN107464240B (zh) * 2017-08-11 2020-07-24 哈尔滨工业大学 一种基于模板匹配的带矩形引脚芯片的定位算法
CN110084802B (zh) * 2019-04-29 2023-07-07 江苏理工学院 一种高精度pcb板芯片引脚中心定位方法

Also Published As

Publication number Publication date
CN111462242A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
JP2021184307A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
US6151406A (en) Method and apparatus for locating ball grid array packages from two-dimensional image data
CN110689579A (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
US20080205769A1 (en) Apparatus, method and program product for matching with a template
CN111444964B (zh) 一种基于自适应roi划分的多目标快速图像匹配方法
US6236746B1 (en) Method to extract circuit information
CN113393447B (zh) 基于深度学习的针尖正位度检测方法及系统
CN116862910A (zh) 基于自动化裁切生产的视觉检测方法
JP2022009474A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN111462242B (zh) 一种基于改进的可变形部件模型的矩形引脚芯片定位方法
US6633663B1 (en) Method and system for determining component dimensional information
CN113705564A (zh) 一种指针式仪表识别读数方法
CN112102415A (zh) 基于标定球的深度相机外参数标定方法、装置及设备
CN112419225A (zh) 一种基于引脚分割的sop型芯片检测方法及系统
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling
US11645827B2 (en) Detection method and device for assembly body multi-view change based on feature matching
CN111563883B (zh) 屏幕视觉定位方法、定位设备及存储介质
US20030185431A1 (en) Method and system for golden template image extraction
JP4097255B2 (ja) パターンマッチング装置、パターンマッチング方法およびプログラム
CN113423191A (zh) 一种贴片机mark点相机的校正方法及系统
US20040146194A1 (en) Image matching method, image matching apparatus, and wafer processor
CN112132237A (zh) 一种纯净像元光谱库建立方法及装置
CN111325802A (zh) 一种直升机风洞试验中圆形标记点识别匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant