CN115170669B - 基于边缘特征点集配准的识别定位方法及系统、存储介质 - Google Patents

基于边缘特征点集配准的识别定位方法及系统、存储介质 Download PDF

Info

Publication number
CN115170669B
CN115170669B CN202211076630.8A CN202211076630A CN115170669B CN 115170669 B CN115170669 B CN 115170669B CN 202211076630 A CN202211076630 A CN 202211076630A CN 115170669 B CN115170669 B CN 115170669B
Authority
CN
China
Prior art keywords
point set
pixel
row
points
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211076630.8A
Other languages
English (en)
Other versions
CN115170669A (zh
Inventor
贺琛
唐学峰
吴欢欢
傅亚男
于缓缓
陈凌升
金长明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Anxin Precision Technology Co Ltd
Original Assignee
Hefei Anxin Precision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Anxin Precision Technology Co Ltd filed Critical Hefei Anxin Precision Technology Co Ltd
Priority to CN202211076630.8A priority Critical patent/CN115170669B/zh
Publication of CN115170669A publication Critical patent/CN115170669A/zh
Application granted granted Critical
Publication of CN115170669B publication Critical patent/CN115170669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及表面贴片设备技术领域，具体公开了一种基于边缘特征点集配准的识别定位方法及系统、存储介质，所述方法包括以下步骤：计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；对亚像素边缘点筛选抽稀得到目标特征点集；依据目标特征点集建立元件的形状模板点集；将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。该方案能够在元件图像质量存在变化的前提下，使用同一套识别参数稳定、高效地完成识别定位要求。

Description

基于边缘特征点集配准的识别定位方法及系统、存储介质
技术领域
本发明涉及表面贴片设备技术领域，具体地涉及一种基于边缘特征点集配准的识别定位方法及系统、存储介质。
背景技术
贴片机作为表面贴装生产的核心单元，其工作过程是利用机械臂拾取各类形状和规格的表面贴装元件。为了消除生产过程中不可避免的机械偏差，依靠视觉纠偏系统确定元件的准确贴装位置。随着贴片机朝着高速、高精度方向的发展，要求视觉纠偏系统具备高识别速度、识别精度达到亚像素级。
尽管基于机器视觉的纠偏系统具有非接触、易于实现、定位准确等优点，但是在实际生产应用中，该方法的稳定性和定位精度受图像的质量影响大。当获取到的元件图像亮度不稳定，但采用同一套识别参数进行识别时，提取到的元件特征(边缘轮廓、角点)不稳定，导致产生识别偏差进而影响贴装的准确性和稳定性。
基于边缘轮廓拟合方法和基于模板匹配方法是视觉纠偏系统中常用的两种识别定位方法。其中，边缘轮廓拟合方法，需要将元件图像进行二值化处理，当图像亮度不稳定时，采样同样的二值化阈值参数分割出的二值化图像将发生显著变化，提取出的边缘轮廓中出现难以预计的信息丢失、噪声引入，难以准确反映元件的真实边缘轮廓；而模板匹配方法由于不使用二值化阈值，采用模板图像与目标图像子集之间的灰度值相关系数作为评价指标，具备基本的抵抗图像质量变化能力，然而该方法在匹配同时存在平移变、旋转、缩放变换的元件图像时，准确性依赖于搜索步长。另外，模板匹配方法的耗时会因为步长减小，搜索次数呈指数级增加，识别速度大幅降低。
综上所述，在元件图像质量存在变化的前提下，难以使用同一套识别参数稳定、高效地完成识别定位要求，以上问题已然成为制约贴装稳定性进一步提高的一个重要因素。
发明内容
本发明的目的是为了克服现有技术存在的问题，提供一种基于边缘特征点集配准的识别定位方法及系统、存储介质。
为了实现上述目的，本发明第一方面提供一种基于边缘特征点集配准的识别定位方法，包括以下步骤：
计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
对亚像素边缘点筛选抽稀得到目标特征点集；
依据目标特征点集建立元件的形状模板点集；
将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。
优选地，所述根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量，包括以下步骤：
分别计算元件灰度图像中各个像素位置的X和Y方向梯度值，X方向梯度值GX(row,col)＝0.5*(gray(row,col+1)-gray(row,col-1))，Y方向梯度值GY(row,col)＝0.5*(gray(row+1,col)-gray(row-1,col))；其中，GX(row，col)表示位于图像第row行第col列的像素的X方向梯度值，GY(row，col)表示位于图像第row行第col列的像素的Y方向梯度值，gray(row+1,col)表示位于图像第row+1行第col列的像素的灰度值，gray(row-1,col)表示位于图像第row-1行第col列的像素的灰度值；
在X方向梯度值中筛选出局部极值点作为纵向候选边缘点；在Y方向梯度值中筛选出局部极值点作为横向候选边缘点；
以候选边缘点为中心确定邻域，采用亚像素边缘线y＝ɑx+b将领域分为两部分；
以候选边缘点邻域内的梯度值确定亚像素边缘线两侧的边界位置，并计算其中一侧边界位置至亚像素边缘线之间的面积Sp；
分别计算两侧边界位置的像素平均值，得到区域灰度值，面积Sp所在侧的区域灰度值记为A，另一侧的区域灰度值记为B；
计算单行像素的灰度值之和SumF，公式如下：
Figure GDA0003900724900000031
其中，i为单个像素点，h为像素的大小，N为单行像素的个数，m和n分别为像素所在行的边界位置坐标，所述单行像素是指沿所述候选边缘点对应的梯度方向，grad(i)为i的灰度值；
根据Sp和SumF得到亚像素边缘线的参数ɑ、b，计算出亚像素边缘点的位置为(row,col+b)和对应的梯度向量
Figure GDA0003900724900000032
本发明第二方面提供一种基于边缘特征点集配准的识别定位系统，包括：
亚像素边缘检测模块，用于计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
筛选抽稀模块，用于对亚像素边缘点筛选抽稀得到目标特征点集；
形状模板点集模块，用于依据目标特征点集建立元件的形状模板点集；
配准识别模块，用于将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息。
本发明第三方面提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述方法的步骤。
通过上述技术方案，对边缘点集进行了筛选抽稀，并使用最大相关熵作为评价准则，相比于常用的均方差评价准则，更能够抵抗异常值干扰，迭代计算模板点集与目标特征点集之间投影距离实现配准，获得了亚像素级定位结果。另外，为提高识别速度，采用包含梯度方向的特征点作为目标特征点集，提供了更多的配准信息，经过迭代后，同时获得形状模板点集与目标特征点集之间的平移、旋转、缩放变换信息。因此，本发明提出的元件识别定位方案具有稳定性好、抗干扰能力强、识别精度高、识别速度快的优点。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述。
图1是本发明提出的基于边缘特征点集配准的表面贴装元件识别定位流程示意图；
图2是本发明提出的亚像素边缘提取原理示意图；
图3是单行像素单元示意图；
图4为不同光照亮度下的原始元件图像；
图5为二值化阈值为120时的二值图像；
图6是不同光照亮度下元件图像的亚像素边缘轮廓；
图7是矩形元件边缘轮廓中存在的干扰点和圆角位置示意图；
图8是本发明中从元件边缘轮廓中筛选抽稀获得的目标特征点集；
图9是本发明中建立的元件形状模板点集；
图10是形状模板点集和实际元件边缘之间的差异示意图；
图11是本发明提出的目标特征点集配准原理示意图；
图12是本发明中目标特征点集配准结果图；
图13是本发明中低亮度元件图像特征点集配准过程的迭代次数-误差曲线；
图14是本发明中适中亮度元件图像特征点集配准过程的迭代次数-误差曲线；
图15是本发明中高亮度元件图像特征点集配准过程的迭代次数-误差曲线；
图16是不同光照亮度下元件灰度图像的识别定位结果。
具体实施方式
为了进一步说明本发明的特征，下面通过具体的实施方式对本发明的技术方案进行更加详细的说明。但是本发明能够以很多不同于此描述地在其他地方展开实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
为了能够使用同一套识别参数完成对不同亮度变化元件图像的识别定位，本发明第一方面提出了基于边缘特征点集配准的表面贴装元件识别定位方法，基本思想为：首先对原始图像进行预处理，减弱噪声干扰；然后在元件灰度图中进行亚像素边缘提取，获得元件的亚像素边缘轮廓，以及各个边缘点位置的梯度方向；其次，利用元件的亚像素边缘轮廓信息，筛选抽稀获得元件图像的目标特征点集；再次，根据元件的形状参数与相机标尺(单位像素所表示的实际长度，μm/像素)，建立元件的形状模板点集；最后，利用点集配准方法，迭代配准获得元件的位姿信息。基于边缘特征点集配准的识别定位方法，包括以下步骤：
S1：元件灰度图像预处理；
S2：计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
S3：对亚像素边缘点筛选抽稀得到目标特征点集；
S4：依据目标特征点集建立元件的形状模板点集；
S5：将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。
进一步的，在步骤S1中，考虑到在贴片机获取到的原始图像中会存在难以避免的噪声干扰，如元件表面由于部分氧化出现的斑点和不均匀等，以及为了提高识别效率，对原始图像中感兴趣区域(ROI)进行预处理，消除部分干扰，具体为：
S11：首先，利用5×5的模板对原始的元件灰度图像进行中值滤波处理，消除去图像中的椒盐噪声；
S12：然后，利用核尺寸为11×11的双边滤波器，减弱噪声的同时，增强图像中的边缘信息，输出滤波增强后的元件灰度图像。
经过以上预处理后，原始图像中ROI的噪声点将被抑制、消除，同时提高了图像的对比度和增强了边缘。
进一步的，在步骤S2中，由于贴片机获取到的元件图像会存在光照亮度变化，或明或暗，若采用同一套识别参数提取这些元件图像的二值化边缘，会造成元件信息丢失或引入大量干扰信息，以及所提取出的二值化边缘仅为像素级精度。因此，直接利用预处理后的ROI灰度图像进行亚像素边缘轮廓提取，包括以下步骤：
S21：分别计算ROI元件灰度图像中各个像素位置X、Y方向的梯度值，其中，X方向梯度值为
GX(row,col)＝0.5*(gray(row,col+1)-gray(row,col-1)) (1)
Y方向梯度值为
GY(row,col)＝0.5*(gray(row+1,col)-gray(row-1,col)) (2)
其中，GX(row，col)表示位于图像第row行第col列的像素的X方向梯度值，GY(row，col)表示位于图像第row行第col列的像素的Y方向梯度值，gray(row+1,col)表示位于图像第row+1行第col列的像素的灰度值，gray(row-1,col)表示位于图像第row-1行第col列的像素的灰度值；
S22：在X方向梯度值中筛选出局部极值点作为纵向候选边缘点；在Y方向梯度值中筛选出局部极值点作为横向候选边缘点；
S23：为获得亚像素级精度，根据候选边缘点邻域内灰度分布信息，计算出亚像素边缘点的位置和对应的梯度向量。
进一步地，不同于常见的多项式拟合法、Zernike矩算子检测法，步骤S23中所述计算亚像素边缘点的位置及对应梯度方向的方法是依据局部灰度分布信息确定偏移量和梯度方向，可以快速地计算偏移量值。步骤S23包括以下步骤：
S231：以候选边缘点为中心确定邻域，采用亚像素边缘线y＝αx+b将领域分为两部分；
S232：以候选边缘点邻域内的梯度值确定亚像素边缘线两侧的边界位置，并计算其中一侧边界位置至亚像素边缘线之间的面积Sp；
S233：分别计算两侧边界位置的像素平均值，得到区域灰度值，面积Sp所在侧的区域灰度值记为A，另一侧的区域灰度值记为B；
S234：计算单行像素的灰度值之和SumF，公式如下：
Figure GDA0003900724900000071
其中，i为单个像素点，h为像素的大小，N为单行像素的个数，m和n分别为像素所在行的边界位置坐标，所述单行像素是指沿所述候选边缘点对应的梯度方向，grad(i)为i的灰度值；
S235：根据Sp和SumF得到亚像素边缘线的参数ɑ、b，计算出亚像素边缘点的位置为(row,col+b)和对应的梯度向量
Figure GDA0003900724900000072
示例性地，如图2所示，在某纵向候选边缘点(row,col)及其3×9邻域中，候选边缘点位于中央，亚像素边缘线y＝ɑx+b将该区域分为左右两部分，三行分别标记为U、M、D；由U、M、D行的中心位置向两侧搜索边界位置，比较搜索方向上相邻像素点X方向梯度值的大小，标记各行的左侧边界坐标分别为U1、M1、D1，右侧边界坐标分别为U2、M2、D2；
分别将两侧边界像素取平均，得到左侧区域灰度值A＝(gray(U1)+gray(M1)+gray(D1))/3,右侧区域灰度值B＝(gray(U2)+gray(M2)+gray(D2))/3；计算U、M、D各行中位于边缘线左侧的面积，记作SU、SM、SD，值分别为
Figure GDA0003900724900000081
其中，h为像素的大小，本发明实施例中h＝1,Sp＝SU+SM+SD。
如图3所示，假设图像的灰度值在边缘处分布不连续，而在其余位置均连续分布，对于单行像素单元，其灰度值之和可计算为
Figure GDA0003900724900000082
其中，A、B分别为边缘线两侧的灰度值；SP——边缘线左侧的面积。
因此，联立式(3)、(4)求出亚像素边缘线的参数ɑ、b；
计算亚像素边缘点位置为(row,col+b)，梯度方向
Figure GDA0003900724900000083
如图4所示，图4中的一组图片是贴片机采集到的一组不同光照亮度下元件图像，若采用同一套识别参数提取该组图像的二值化边缘，在亮度低的图像中会丢失元件信息、而亮度高的图像中会出现其他干扰信息，进而导致提取到的元件特征(边缘轮廓、角点)不稳定，识别不准确，如图5所示。
同样，采用同一套识别参数，使用步骤S2中的方法提取图4中元件图像的亚像素边缘轮廓，结果如图6所示，在不同亮度变化的元件图像中均提取出了元件的边缘轮廓，且达到了亚像素精度，同时包含了边缘轮廓的梯度方向信息。
进一步的，在步骤S3中，考虑到在步骤S2中提取到的元件亚像素边缘轮廓中，往往会存在冗余的干扰点、离群点，以及矩形元件边缘会存在圆角，如图7所示。为了提高识别稳定性和识别精度，对亚像素边缘轮廓点集进行筛选抽稀，基本思想是：首先利用局部异常因子算法计算边缘点的邻域密度，根据密度阈值剔除离群点；其次，评估边缘点与k个近邻点之间的梯度方向一致性，剔除点集中的干扰点和矩形中圆角边缘点；最后，对边缘点集进行均匀抽样，得到经过筛选抽稀的目标特征点集。
具体包括以下过程：
S31：利用局部异常因子算法计算各个亚像素边缘点在半径为r的邻域中的点密度d，若点密度d小于阈值dth，则认为该点为离群点，将其从亚像素边缘点集中剔除；
S32：利用K最近邻算法计算各个亚像素边缘点在点集中的k个最近邻点，评估这k+1个亚像素边缘点的梯度方向一致性。当这k+1个亚像素边缘点的梯度方向差值
Figure GDA0003900724900000091
时，则认为该亚像素边缘点为干扰点，将其从亚像素边缘点集中剔除；
S33：在剩余的亚像素边缘点集中进行均匀采样，等间隔抽取N_target个边缘点，并提取出亚像素边缘点对应的梯度向量，与亚像素边缘点坐标共同组成特征点，最终得到筛选抽稀元件目标特征点集。
采用本发明提出的筛选抽稀元件的边缘轮廓点集得到的目标特征点集如图8所示，其中计算参数设置为邻域半径r＝3、密度阈值dth＝2.0、最近邻数目k＝5、方向阈值为
Figure GDA0003900724900000092
以及点集数目N_target＝100，从图中可以看出，该方法能有效剔除异常点。
进一步的，在步骤S4中，为了从元件的边缘轮廓中得到位姿信息，边缘拟合类方法使用边缘点位置信息拟合外接矩形或者边缘直线，容易受到局部异常值的干扰，稳定性差。因此，本发明基于模板匹配的思想，通过点集配准获得元件的位姿信息，首先需要利用元件的形状参数建立模板点集。
步骤S4具体的实现步骤如下：
S41：由于元件的形状参数中单位为毫米，需要将其通过相机标尺转换为像素单位，转换后的长边记为W、宽边记为H；
S42：设定形状模板点集数目为Num，按比例分配给各条边，向W分配floor(W/(W+H)×Num/2)个点，向H分配floor(H/(W+H)×Num/2)个点，其中floor表示向下取整；
S43：由于矩形元件的拐角为圆角，圆角位置的实际半径难以确定，为减少拐角位置的干扰，在拐角位置设置了空余系数s，在W的两侧留出s×W的空余，以及在H的两侧留出s×H的空余。最后等间隔生成各条边上的点，建立元件的形状模板点集。
进一步优选地，空余系数s的设置范围与边长有关，s的取值范围为：10/H≤s≤30/H，以保证既要消除圆角的干扰，同时避免模板点集的失真。
示例性地，本发明按照元件的形状参数和相机标尺，采用Num＝100，s＝0.05所构建的模板点集如图9所示。
进一步的，在步骤S5中，为获得元件的偏转角度和X、Y方向偏移量，利用迭代配准方法对步骤S3中的目标特征点集和步骤S4中的形状模板点集进行配准。另外，由于元件的标称尺寸与实际尺寸之间存在一定的偏差，如图10所示，因此，需要同时配准获得目标特征点集和形状模板点集之间的缩放系数。基本思想是：将形状模板点集S＝{si∈R2|i＝1，...，Ns}和目标特征点集D＝{dj∈R2|j＝1，...，Nd}之间的配准问题变为寻找一个刚性变换T，使得配准后的对应点投影距离之和最小化，如图11所示，在确定形状模板点集与目标特征点集的对应关系后，计算出各个对应点对的投影距离为dti-2、dti-1、dti、dti+1、dti+2，将投影距离之和作为迭代配准误差，即目标函数如下：
Figure GDA0003900724900000111
其中，T表示刚性变换，包括旋转变换、缩放变换或平移变换，argmin表示求目标函数的最小值；i表示形状模板点集中点的计数编号；Si表示形状模板点集中第i个点；Ns表示形状模板点集中点的个数；Nd表示目标特征点集中特征点的个数；c(i)表示用于确定模板点i在目标特征点集中对应点的关系函数；
Figure GDA0003900724900000112
表示目标特征点集中对应第i个模板点的特征点的梯度向量，dc(i)表示目标特征点集中与模板点集第i个点相对应的特征点。
Figure GDA0003900724900000113
其中，其中，S表示缩放变换矩阵；R表示旋转变换矩阵；t表示平移变换矩阵；βx为横向缩放系数；βy纵向缩放系数；α旋转角度；six表示第i个模板点的x坐标值；siy表示第i个模板点的y坐标值；tx横向位移；ty纵向位移。
由于在目标特征点集中仍不可避免地会存在少量干扰点，使用式(5)中的均方误差作为评价准则难以抵抗干扰点的影响，因此，本发明中引入最大相关熵准则，进一步提高识别稳定性，此时的目标函数为
Figure GDA0003900724900000114
其中，argmax表示求目标函数的最大值；σ表示高斯核因子，根据目标特征点集的平均密度meanDist设置，采用σ＝50*meanDist；c(i)表示用于确定点i在目标特征点集中对应点的关系函数，本发明中采用k-d树进行最近邻搜索确定。
利用拉格朗日乘子法求解式(7)中的优化问题，迭代求解S、R、t的最优解，直到达到最大迭代次数或者配准误差满足要求。
最终的点集配准结果如图12所示，图中圆圈组成的点集为模板点集，实心带箭头点集为目标特征点集，以及不同亮度元件图像的配准迭代误差曲线如图13-图15所示，依次记录了低亮度、适中亮度、高亮度元件图像从配准开始到迭代停止过程中，随迭代次数增加，配准误差的变化情况，横轴为迭代次数，纵轴为配准误差，迭代次数越少，则表明该方法的识别速度越快。
进一步地，将配准结果转换为识别定位结果，这里需要由旋转矩阵转换为偏转角度，识别定位结果如图16所示，图16中矩形的图框即为定位结果。
基于同一发明构思，本发明第二方面提供一种与该基于边缘特征点集配准的识别定位方法对应的基于边缘特征点集配准的识别定位系统，由于本发明实施例中的系统解决问题的原理与本发明实施例的基于边缘特征点集配准的识别定位方法相似，因此系统的实施可以参见方法的实施，重复之处不再赘述，所述系统包括：
亚像素边缘检测模块，用于计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
筛选抽稀模块，用于对亚像素边缘点筛选抽稀得到目标特征点集；
形状模板点集模块，用于依据目标特征点集建立元件的形状模板点集；
配准识别模块，用于将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息。
基于同一发明构思，本发明第三方面提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述基于边缘特征点集配准的识别定位方法的步骤。
综上所述，本发明提出了一种基于边缘特征点集配准的表面贴装元件识别定位方法，针对识别存在亮度变化的元件图像时，难以稳定地提取边缘特征和稳健地完成亚像素级识别定位的问题，根据元件ROI图像的灰度分布信息在不同亮度变化图像中均有效地提取出了元件的亚像素边缘，未丢失元件边缘信息。为提高识别稳定性，对边缘点集进行了筛选抽稀，并使用最大相关熵作为评价准则，相比于常用的均方差评价准则，更能够抵抗异常值干扰，迭代计算模板点集与目标特征点集之间投影距离实现配准，获得了亚像素级定位结果。另外，为提高识别速度，采用包含梯度方向的特征点作为目标特征点集，提供了更多的配准信息，加快了迭代收敛速度。经过识别测试200张元件图像样本，本发明的整体识别耗时为7.63ms。
因此，本发明提出的元件识别定位方法具有识别精度高、识别速度快、稳定性好、抗干扰能力强的优点。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本邻域的普通技术人员而言，如QFP(方型扁平式封装)、PLCC(特殊引脚芯片封装)等元件均可采用本文方法进行元件识别定位。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于边缘特征点集配准的识别定位方法，其特征在于，包括以下步骤：
计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
对亚像素边缘点筛选抽稀得到目标特征点集；
依据目标特征点集建立元件的形状模板点集，包括以下过程：设定形状模板点集数目为Num，向长边分配floor(W/(W+H)×Num/2)个点，向短边分配floor(H/(W+H)×Num/2)个点，W为以像素单位计的长边长度，H为以像素单位计的短边长度，floor表示向下取整数；在长边两侧留出s×W的空余，在短边两侧留出s×H的空余后，等间隔选取各条边上的点，建立元件的形状模板点集，s表示空余系数；
将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量，包括以下步骤：
分别计算元件灰度图像中各个像素位置的X和Y方向梯度值，X方向梯度值GX(row,col)＝0.5*(gray(row,col+1)-gray(row,col-1))，Y方向梯度值GY(row,col)＝0.5*(gray(row+1,col)-gray(row-1,col))；其中，GX(row，col)表示位于图像第row行第col列的像素的X方向梯度值，GY(row，col)表示位于图像第row行第col列的像素的Y方向梯度值，gray(row+1,col)表示位于图像第row+1行第col列的像素的灰度值，gray(row-1,col)表示位于图像第row-1行第col列的像素的灰度值,gray(row,col+1)表示位于图像第row行第col+1列的像素的灰度值,gray(row,col-1)表示位于图像第row行第col-1列的像素的灰度值；
在X方向梯度值中筛选出局部极值点作为纵向候选边缘点；在Y方向梯度值中筛选出局部极值点作为横向候选边缘点；
以候选边缘点为中心确定邻域，采用亚像素边缘线y＝ɑx+b将领域分为两部分；
以候选边缘点邻域内的梯度值确定亚像素边缘线两侧的边界位置，并计算其中一侧边界位置至亚像素边缘线之间的面积Sp；
分别计算两侧边界位置的像素平均值，得到区域灰度值，面积Sp所在侧的区域灰度值记为A，另一侧的区域灰度值记为B；
计算单行像素的灰度值之和SumF，公式如下：
Figure FDA0003900724890000021
其中，i为单个像素点，h为像素的大小，N为单行像素的个数，m和n分别为像素所在行的边界位置坐标，所述单行像素是指沿所述候选边缘点对应的梯度方向，grad(i)为i的灰度值；
根据Sp和SumF得到亚像素边缘线的参数ɑ、b，计算出亚像素边缘点的位置为(row,col+b)和对应的梯度向量
Figure FDA0003900724890000022
3.根据权利要求2所述的方法，其特征在于，所述以候选边缘点为中心确定邻域中，所述邻域沿该候选边缘点对应的梯度方向取3行，分别记为U、M、D，h取值为1，则
Sp＝SU+SM+SD，且
Figure FDA0003900724890000031
其中，U1、M1、D1分别为各行中位于亚像素边缘线一侧的边界位置坐标，SU、SM、SD分别为各行边界位置至亚像素边缘线之间的面积。
4.根据权利要求1所述的方法，其特征在于，所述对亚像素边缘点筛选抽稀得到目标特征点集包括以下过程：
利用局部异常因子算法计算各个亚像素边缘点在半径为r的邻域中的点密度d，若点密度d小于阈值dth，则认为该点为离群点，将其从亚像素边缘点集中剔除；
利用K最近邻算法计算各个亚像素边缘点在点集中的k个最近邻点，评估这k+1个亚像素边缘点的梯度方向一致性，当这k+1个亚像素边缘点的梯度方向差值
Figure FDA0003900724890000032
时，则认为该亚像素边缘点为干扰点，将其从亚像素边缘点集中剔除，其中，
Figure FDA0003900724890000033
表示第i个点的梯度向量的方向角，
Figure FDA0003900724890000034
表示第i+1个点的梯度向量的方向角，
Figure FDA0003900724890000035
表示方向阈值；
在剩余的亚像素边缘点集中进行均匀采样，等间隔抽取N_target个亚像素边缘点，并提取出亚像素边缘点对应的梯度向量和坐标值构成目标特征点集。
5.根据权利要求1所述的方法，其特征在于，s的取值范围为：10/H≤s≤30/H。
6.根据权利要求1所述的方法，其特征在于，所述将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息包括以下过程：
确定形状模板点集和目标特征点集的对应关系，将形状模板点集向目标特征点集对应的梯度向量上投影，计算各个对应点对的投影距离；
将投影距离之和作为迭代配准误差，目标函数如下：
Figure FDA0003900724890000041
其中，T表示刚性变换，包括旋转变换、缩放变换或平移变换，argmin表示求目标函数的最小值；i表示形状模板点集中点的计数编号；Si表示形状模板点集中第i个点；Ns表示形状模板点集中点的个数；Nd表示目标特征点集中特征点的个数；c(i)表示用于确定模板点i在目标特征点集中对应点的关系函数；
Figure FDA0003900724890000042
表示目标特征点集中对应第i个模板点的特征点的梯度向量，dc(i)表示目标特征点集中与模板点集第i个点相对应的特征点；
Figure FDA0003900724890000043
其中，S表示缩放变换矩阵；R表示旋转变换矩阵；t表示平移变换矩阵；βx为横向缩放系数；βy纵向缩放系数；α旋转角度；six表示第i个模板点的x坐标值；siy表示第i个模板点的y坐标值；tx横向位移；ty纵向位移；
向所述目标函数中引入最大相关熵准则，得到新的目标函数：
Figure FDA0003900724890000051
其中，σ表示高斯核因子，根据目标特征点集的平均密度meanDist设置，采用σ＝50*meanDist；
迭代求解S、R、t的最优解，直到达到最大迭代次数或配准误差满足要求，得到配准结果，将配准结果转换为元件的识别定位结果。
7.根据权利要求1-6任意一项所述的方法，其特征在于，还包括对原始元件灰度图像预处理，具体为：
对原始元件灰度图像进行中值滤波处理，消除图像中的椒盐噪声；
利用双边滤波器处理，输出滤波增强后的所述元件灰度图像。
8.一种基于边缘特征点集配准的识别定位系统，其特征在于，包括：
亚像素边缘检测模块，用于计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；
筛选抽稀模块，用于对亚像素边缘点筛选抽稀得到目标特征点集；
形状模板点集模块，用于依据目标特征点集建立元件的形状模板点集，包括以下过程：设定形状模板点集数目为Num，向长边分配floor(W/(W+H)×Num/2)个点，向短边分配floor(W/(W+H)×Num/2)个点，W为以像素单位计的长边长度，H为以像素单位计的短边长度，floor表示向下取整数；在长边两侧留出s×W的空余，在短边两侧留出s×H的空余后，等间隔选取各条边上的点，建立元件的形状模板点集，s表示空余系数；
配准识别模块，用于将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息。
9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-7中任一所述的方法的步骤。
CN202211076630.8A 2022-09-05 2022-09-05 基于边缘特征点集配准的识别定位方法及系统、存储介质 Active CN115170669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211076630.8A CN115170669B (zh) 2022-09-05 2022-09-05 基于边缘特征点集配准的识别定位方法及系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211076630.8A CN115170669B (zh) 2022-09-05 2022-09-05 基于边缘特征点集配准的识别定位方法及系统、存储介质

Publications (2)

Publication Number Publication Date
CN115170669A CN115170669A (zh) 2022-10-11
CN115170669B true CN115170669B (zh) 2022-11-22

Family

ID=83480352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211076630.8A Active CN115170669B (zh) 2022-09-05 2022-09-05 基于边缘特征点集配准的识别定位方法及系统、存储介质

Country Status (1)

Country Link
CN (1) CN115170669B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775278B (zh) * 2023-02-13 2023-05-05 合肥安迅精密技术有限公司 包含局部特征约束的元件识别定位方法及系统、存储介质
CN116188024B (zh) * 2023-04-24 2023-07-04 山东蓝客信息科技有限公司 一种医疗安全支付系统
CN116309570B (zh) * 2023-05-18 2023-08-04 山东亮马新材料科技有限公司 一种钛合金棒材质量检测方法及系统
CN116385976B (zh) * 2023-05-29 2023-08-11 杭州芯业电子科技有限公司 基于计算机视觉的消防安防一体化监测系统
CN116824577B (zh) * 2023-08-31 2023-11-24 泰安金冠宏食品科技有限公司 一种基于机器视觉的预制菜生产检测方法
CN117078730B (zh) * 2023-10-12 2024-01-23 资阳建工建筑有限公司 基于模版匹配的防凸卡具配准方法
CN117853484B (zh) * 2024-03-05 2024-05-28 湖南建工交建宏特科技有限公司 一种基于视觉的桥梁损伤智能监测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390280A (zh) * 2013-07-26 2013-11-13 无锡信捷电气股份有限公司 基于灰度-梯度二维对称Tsallis交叉熵的快速阈值分割方法
CN110986778A (zh) * 2019-12-25 2020-04-10 电子科技大学 碳纤维复合材料铆钉孔尺寸检测系统及方法
CN111028292A (zh) * 2019-12-13 2020-04-17 中国电子科技集团公司第二十研究所 一种亚像素级图像匹配导航定位方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034963B2 (en) * 2001-07-11 2006-04-25 Applied Materials, Inc. Method for adjusting edges of grayscale pixel-map images
JP4504417B2 (ja) * 2005-01-31 2010-07-14 オリンパス株式会社 画像処理装置、顕微鏡システム、及び領域特定プログラム
CN102831606B (zh) * 2012-08-01 2014-10-22 中国科学院自动化研究所 在医学影像中获取发音器官轮廓的方法
DE102014107143B4 (de) * 2013-05-22 2021-03-04 Cognex Corp. System und Verfahren zur Messung der Verschiebung einer Objektoberfläche
CN104089575B (zh) * 2014-07-02 2018-05-11 北京东方迈视测控技术有限公司 智能平面检测仪及检测方法
CN104268857B (zh) * 2014-09-16 2017-07-18 湖南大学 一种基于机器视觉的快速亚像素边缘检测与定位方法
CN105335973B (zh) * 2015-10-20 2018-08-03 上海交通大学 运用于带钢加工生产线的视觉处理方法
CN105930858B (zh) * 2016-04-06 2021-03-26 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390280A (zh) * 2013-07-26 2013-11-13 无锡信捷电气股份有限公司 基于灰度-梯度二维对称Tsallis交叉熵的快速阈值分割方法
CN111028292A (zh) * 2019-12-13 2020-04-17 中国电子科技集团公司第二十研究所 一种亚像素级图像匹配导航定位方法
CN110986778A (zh) * 2019-12-25 2020-04-10 电子科技大学 碳纤维复合材料铆钉孔尺寸检测系统及方法

Also Published As

Publication number Publication date
CN115170669A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN107369159B (zh) 基于多因素二维灰度直方图的阈值分割方法
CN110136120B (zh) 一种基于机器视觉的丝网印刷样板尺寸测量方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
WO2020019648A1 (zh) 一种机器视觉定位方法
CN104331695A (zh) 一种鲁棒的圆形标志符形状质量检测方法
CN111932504A (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
CN114022439A (zh) 一种基于形态学图像处理的柔性电路板缺陷检测方法
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN112560538A (zh) 一种根据图像冗余信息快速定位受损qr码的方法
CN113793309B (zh) 一种基于形态学特征的亚像素级椭圆检测方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN111178210B (zh) 一种十字标记的图像识别及对准方法
CN114998571B (zh) 基于固定尺寸标志物的图像处理及颜色检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant