CN104156938B - 一种图像连通区域描述方法及其在图像配准中的应用方法 - Google Patents
一种图像连通区域描述方法及其在图像配准中的应用方法 Download PDFInfo
- Publication number
- CN104156938B CN104156938B CN201310181815.XA CN201310181815A CN104156938B CN 104156938 B CN104156938 B CN 104156938B CN 201310181815 A CN201310181815 A CN 201310181815A CN 104156938 B CN104156938 B CN 104156938B
- Authority
- CN
- China
- Prior art keywords
- image
- connected region
- context
- region
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像连通区域描述方法,以及一种基于此连通区域描述方法的图像配准方法。为刻画图像当前连通区域的局部形状特征和全局相对位置信息,本发明定义了局部距离上下文和全局距离上下文;局部距离上下文和全局距离上下文均具有平移、旋转、尺度不变性,组合在一起构成了一种良好的图像连通区域描述子。基于此连通区域描述子,本发明提供一种图像配准方法,该方法可对两幅同时存在旋转、平移、尺度变化的图像进行精确配准,因而可应用于自动光学检测(如印刷电路板瑕疵检测)中的图像配准。
Description
技术领域:本发明涉及数字图像处理领域,具体涉及一种图像连通区域描述方法及其在图像配准中的应用方法。
背景技术:
为保证100%的质量达标,自动光学检测(AOI)广泛应用于工业生产如印刷电路板(PCB)生产领域。图像配准在AOI技术中占有重要地位。现有的图像配准方法大致可分为两类:基于区域的方法和基于特征的方法.
基于区域的方法也称为类相关法或模板匹配法。该方法只利用两幅图像的某种统计信息作为相似性判别标准,采用适当的搜索算法得到令相似性判别标准最大化的图像转换形式,以达到图像配准的目的。主要特点是实现比较简单,但应用范围较窄,不能直接用于校正图像的非线性形变,而且在最优变换的搜索过程中运算量较大。如文献1(S.Mashohor,J.R.Evans,T.Arslan.Image Registration of Printed Circuit Boardsusing Hybrid Genetic Algorithm.IEEE Congress on Evolutionary Computation,page(s):2685-2690,2006)提出一种混合爬山(hill-climbing)、精英(elitism)策略的遗传算法进行图像配准,该算法能处理图像配准中较简单的平移和旋转变换,但难以处理其他复杂的变换,而且很耗时,对初始化参数比较敏感。
基于特征的图像配准算法通过抽取某些几何特征如角点、高曲率点、线片段、目标轮廓或边缘等特征,并对他们进行匹配以实现图像的匹配。这类方法配准时计算量小,速度较快,应用也更为广泛。但由于角点、高曲率点、线片段、目标轮廓或边缘等的定位易受噪声及光照变化的影响,图像配准精度通常难以满足AOI这种对精度要求较高的场合。
对图像形状的描述,常用的有傅里叶描述子(FD:Fourier descriptor)、曲率尺度空间描述子(CSSD:curvature scale space descriptor)、形状上下文描述子等。文献2(D.Zhang,G.Lu.A comparative study of curvature scale space and Fourierdescriptors.Journal of visual communication and image representation,2003,14(1):41-60.)对FD和CSSD在图像检索中的应用进行了比较,发现FD在效果和效率方面优于CSSD。文献3(C.S.Chen,C.W.Yeh,P.Y.Yin.A novel Fourier descriptor based imagealignment algorithm for automatic optical inspection.Journal of visualcommunication and image representation,2009,20:178-189.)提出根据连通区域轮廓的傅里叶描述子的幅值和相位相似测度实现图像配准,所使用的FD具有平移、旋转、尺度不变性,但FD毕竟只是一种局部特征描述子,当图像中包含若干相似的目标轮廓时,使用FD无法对他们进行区分,因而基于FD的图像配准方法精度仍难以保证。
发明内容:
为克服现有图像描述子如傅里叶描述子的不足,本发明提供一种同时包含局部形状信息与全局位置信息的、满足平移、旋转、尺度不变性的计算简单的图像连通区域描述方法,并在此基础上提供一种精度高、计算量小的图像配准方法。
一种图像连通区域描述方法,包括以下步骤:
A1,输入待处理图像P;
A2,提取图像P中的连通区域及其参考点,记R1、R2...RN为从图像P中提取出的N个连通区域,且Ri:{(xij,yij)|j=1...ni}(其中ni为Ri中的点的个数),Ri的参考点记为(xi,yi)(i=1...N);
A3,对图像P中每一个连通区域Ri(i=1...N),计算其局部距离上下文和全局距离上下文并将和分别作为连通区域Ri的局部形状描述子和全局相对位置描述子;
A4,输出图像P中每一个连通区域Ri的描进
步骤A2所述连通区域提取方法如下:首先利用预设的阈值t将图像P二值化,记二值化结果为B,即然后对二值图像B进行连通区域标记,B中标记出来的面积大于某一预设参数的连通区域即为所需的从图像P中提取的连通区域。
步骤A2所述连通区域Ri(i=1...N)的参考点(xi,yi)为连通区域Ri的质心(或形心)或连通区域Ri的轮廓坐标的统计平均量。
步骤A3所述连通区域Ri(i=1...N)的局部距离上下文定义为Ri的参考点(xi,yi)与Ri中各点(xij,yij)(j=1...ni)的归一化加权距离直方图,设该直方图的频数为Kl,加权函数为wl(),的计算步骤如下:
B1,初始化
B2,计算点(xi,yi)与(xij,yij)的距离dij(j=1...ni),并令di为中的最大值,即
B3,统计的加权距离直方图:
对j=1到ni,执行
若则
B4,对进行归一化处理:计算并令
步骤A3所述连通区域Ri(i=1...N)的全局距离上下文定义为Ri的参考点(xi,yi)与其余连通区域Rj(1≤j≤Ni,j≠i)的参考点(xj,yj)的归一化加权距离直方图,设该直方图的频数为Kg,加权函数为wg(),的计算步骤如下:
C1,初始化
C2,计算点(xi,yi)与(xj,yj)(1≤j≤N,j≠i)的距离δij,并令δi为{δij:1≤j≤N,j≠i}中的最大值,即
C3,统计{δij|1≤j≤N,j≠i}的加权距离直方图:
对j=1...i-1,i+1...N,执行
若则
C4,对进行归一化处理:计算并令
一种基于图像连通区域距离上下文的图像配准方法,包括以下步骤:
D1,输入参考图像P和待配准图像T;
D2,提取参考图像P和待配准图像T中的连通区域,设Rr1、Rr2...Rrm和Rt1、Rt2...Rtn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域;
D3,令局部距离上下文和全局距离上下文中直方图的频数为K,根据步骤B1-B4和C1-C4所描述方法,计算连通区域Rri(i=1...m)的局部距离上下文和全局距离上下文以及连通区域Rtj(j=1...n)的局部距离上下文和全局距离上下文
D4,由和计算连通区域Rri和连通区域Rtj的距离
其中α>0和β>0为加权系数满足α+β=1;
D5,根据Cij(i=1...m,j=1...n)确定参考图像P和待配准图像T之间相互匹配的连通区域对:{RrI,RtJ}为一对相互匹配的连通区域对,当且仅当且
D6,根据步骤D5所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息,利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度等变换参数;
D7,根据步骤D6估计的变换参数对参考图像P与待配准图像T进行配准。
本发明所述的局部距离上下文和全局距离上下文,计算简单,具有旋转、平移、尺度不变性,分别包含了图像连通区域的局部形状信息和全局位置信息;所述基于图像连通区域距离上下文的图像配准方法,具有精度高,计算简单的特点,可对两幅同时存在旋转、平移、尺度变化的图像进行精确配准。
附图说明:
图1为基于图像连通区域距离上下文的图像配准方法流程图;
图2为两幅原始PCB胶片图像,其中(a)参考图像,(b)为待配准图像,大小均为900x900;
图3为图2中的PCB胶片图像的阈值化结果,其中图3(a)和图3(b)分别对应于图2(a)和图2(b);
图4为与待配准图像配准后的参考图像;
图5(a)为图4与图2(b)的差值图像(两图像之差的绝对值);图5(b)为根据图5(a)对待配准图像图2(b)进行瑕疵检测的结果,其中的亮点对应图2(b)中的瑕疵点。
具体实施方式:
下面将结合附图对本发明作进一步的详细描述。
首先给出距离上下文的定义及其计算方法。
给定一点c和一点集P={p1,p2...pn},点c相对于点集P的距离上下文定义为点c到点集P中各点的归一化加权距离直方图。
设直方图的频数为K,加权函数为w(·),则点c相对于点集P的距离上下文h的计算步骤如下:
S101,初始化h(j)=0(j=1..K);
S102,计算点c到点pi的距离di(i=1...n)并令d为{d1,d2...dn}的最大值,即
S103,统计{d1,d2...dn}的加权距离直方图:
对i=1到n执行
若则h(j)=h(j)+w(di/d);
S104,对h进行归一化处理:计算并令h(j)=h(j)/a,(j=1...K)。
本发明所述一种图像连通区域描述方法,包括以下步骤:
S201,输入待处理图像P;
S202,提取图像P中的连通区域及其参考点:1)对图像P进行二值化,设所得二值图像为Bw;2)通过对Bw进行连通标注,提取Bw中的连通区域,设R1、R2...RN为从图像Bw中提取出的N个连通区域,且Ri:{(xij,yij)|j=1...ni}(其中ni为Ri中的点的个数)(i=1...N),则R1、R2...Rn即为图像P的N个连通区域;设Ri(i=1...N)的参考点为(xi,yi),则
S203,对图像P中每一个连通区域Ri(i=1...N),计算其局部距离上下文和全局距离上下文定义为点(xi,yi)相对于点集{(xij,yij)|j=1...ni}的距离上下文,定义为点(xi,yi)相对于点集{(xj,yj):1≤j≤N,j≠i}的距离上下文,和均按步骤S101-S104所述距离上下文计算方法计算。
S204,输出图像P中每一个连通区域Ri(i=1...N)的描述
图1是本发明一种基于图像连通区域距离上下文的图像配准方法的流程图。如图1所示,本发明包括以下步骤
S301,输入参考图像P和待配准图像T;
S302,提取参考图像P和待配准图像T中的连通区域,设Rr1、Rr2...Rrm和Rt1、Rt2...Rtn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域;
S303,设定局部距离上下文和全局距离上下文使用的直方图频数均为K,根据本发明所述一种图像连通区域描述方法,计算连通区域Rri(i=1...m)的局部距离上下文hl ri和全局距离上下文hg ri,以及连通区域Rtj(j=1...n)的局部距离上下文hl tj和全局距离上下文hg tj;
S304,由{hl ri,hg ri}(i=1...m)和{hl tj,hg tj}(j=1...n)计算连通区域Rri和连通区域Rtj的距离
其中α>0和β>0为加权系数满足α+β=1。
S305,根据Cij(i=1...m,j=1...n)确定参考图像P和待配准图像T之间相互匹配的连通区域对,{RrI,RtJ}为一对相互匹配的连通区域对,当且仅当且
S306,根据步骤S305所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息,利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度等变换参数;
S307,根据步骤S306所估计的变换参数对参考图像P与待配准图像T进行配准。
实施例:
图2(a)和图2(b)为本实施例选取的两幅PCB胶片图像,其大小均为900x900,其中图2(a)为参考图像,图2(b)为待配准图像,且已知图2(a)和图2(b)之间存在的旋转角为25度,缩放尺度系数为0.9。
本实施例的程序运行平台为Windows xp系统(1.81Ghz双核处理器,2G内存)、MATLAB2009a开发平台。
根据本发明所述一种基于图像连通区域距离上下文的图像配准方法,在步骤S302中,为提取图2(a)和图2(b)中的连通区域,先使用最大类间方差法即Otsu方法对2(a)和图2(b)进行阈值化,阈值化结果分别如图3(a)和图3(b)所示;在步骤S303中,设定直方图频数K=10,局部距离上下文计算中的权函数w≡1,全局距离上下文计算中的权函数w(x)=exp(-x/10);在步骤S304中,设定加权系α=0.6,β=0.4。
根据本发明所述一种基于图像连通区域距离上下文的图像配准方法,估计出的参考图像图2(a)和待配准图像图2(b)之间的旋转角度为24.9916度、缩放尺度系数为0.9000。图4为根据估计得到的平移、旋转、尺度参数对参考图像图2(a)进行相似变换后的结果,图5(a)为图4与图2(b)的差异图像,图5(b)为根据图5(a)对待配准图像图2(b)进行瑕疵检测的结果,其中的亮点对应图2(b)中的瑕疵点。从参考图像读取、处理,待配准图像读取、处理到配准参数的估计整个过程所消耗的CPU时间为0.3193秒。
以上具体实施例表明,本发明所描述的图像配准算法具有速度快、精度高的优点,可直接应用于PCB胶片瑕疵检测。
本发明提供了一种图像连通区域描述方法及应用于图像配准的方法,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (4)
1.一种图像连通区域描述方法,其特征在于,包括以下步骤:
S1-1,输入待处理图像P;
S1-2,提取图像P中的连通区域及其参考点,记R1、R2...RN为从图像P中提取出的N个连通区域,且Ri:{(xij,yij)|j=1...ni},其中ni为Ri中的点的个数,Ri的参考点记为(xi,yi),i=1...N;
步骤S1-2所述连通区域提取方法如下:首先利用预设的阈值t将图像P二值化,记二值化结果为B,即然后对二值图像B进行连通区域标记,B中标记出来的面积大于某一预设参数的连通区域即为从图像P中所需提取的连通区域;
步骤S1-2所述连通区域Ri,i=1...N,的参考点(xi,yi)为连通区域Ri的质心或形心或连通区域Ri的轮廓坐标的统计平均量;
S1-3,对图像P中每一个连通区域Ri,i=1...N,计算其局部距离上下文和全局距离上下文并将和分别作为连通区域Ri的局部形状描述子和全局相对位置描述子;
S1-4,输出图像P中每一个连通区域Ri,i=1...N,的描述
2.根据权利要求1所述的方法,其特征在于,步骤S1-3所述连通区域Ri,i=1...N,的局部距离上下文定义为Ri的参考点(xi,yi)与Ri中各点(xij,yij),j=1...ni的归一化加权距离直方图,设该直方图的频数为Kl,加权函数为wl(),的计算步骤如下:
S4-1,初始化k=1..Kl;
S4-2,计算点(xi,yi)与(xij,yij)的距离dij,j=1...ni,并令di为中的最大值,即
S4-3,统计的加权距离直方图:
对j=1到ni,执行
若则
S4-4,对进行归一化处理:计算并令k=1...Kl。
3.根据权利要求1所述的方法,其特征在于,步骤S1-3所述连通区域Ri(i=1...N)的全局距离上下文定义为Ri的参考点(xi,yi)与其余连通区域Rj,1≤j≤Ni,j≠i的参考点(xj,yj)的归一化加权距离直方图,设该直方图的频数为Kg,加权函数为wg(),的计算步骤如下:
S5-1,初始化k=1..Kg;
S5-2,计算点(xi,yi)与(xj,yj),1≤j≤N,j≠i,的距离δij,并令δi为{δij:1≤j≤N,j≠i}中的最大值,即
S5-3,统计{δij|1≤j≤N,j≠i}的加权距离直方图:
对j=1...i-1,i+1...N,执行
若则
S5-4,对进行归一化处理:计算并令k=1...Kg。
4.基于权利要求1所述的图像连通区域描述方法,提供一种基于图像连通区域距离上下文的图像配准方法,其特征在于,包括以下步骤:
S6-1,输入参考图像P和待配准图像T;
S6-2,提取参考图像P和待配准图像T中的连通区域,记Rr1、Rr2...Rrm和Rt1、Rt2...Rtn分别为从参考图像P和待配准图像T中提取的m个和n个连通区域;
S6-3,令局部距离上下文和全局距离上下文中的直方图频数为K,根据权利要求1所描述方法,计算连通区域Rri,i=1...m,的局部距离上下文和全局距离上下文以及连通区域Rtj,j=1...n,的局部距离上下文和全局距离上下文
S6-4,由i=1...m,和j=1...n,计算连通区域Rri和连通区域Rtj的距离
其中α>0和β>0为加权系数满足α+β=1;
S6-5,根据Cij,i=1...m,j=1...n,确定参考图像P和待配准图像T之间相互匹配的连通区域对:{RrI,RtJ}为一对相互匹配的连通区域对,当且仅当且
S6-6,根据步骤S6-5所确定的参考图像P与待配准图像T之间相互匹配的连通区域对信息,利用最小二乘法估计参考图像与待配准图像之间的平移、旋转、尺度;
S6-7,根据步骤S6-6估计的变换参数对参考图像P与待配准图像T进行配准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310181815.XA CN104156938B (zh) | 2013-05-14 | 2013-05-14 | 一种图像连通区域描述方法及其在图像配准中的应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310181815.XA CN104156938B (zh) | 2013-05-14 | 2013-05-14 | 一种图像连通区域描述方法及其在图像配准中的应用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156938A CN104156938A (zh) | 2014-11-19 |
CN104156938B true CN104156938B (zh) | 2017-08-11 |
Family
ID=51882429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310181815.XA Expired - Fee Related CN104156938B (zh) | 2013-05-14 | 2013-05-14 | 一种图像连通区域描述方法及其在图像配准中的应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156938B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095344B (zh) * | 2015-05-29 | 2018-08-17 | 南昌正业科技有限公司 | 一种时空环数据结构的建模方法及装置 |
CN107945172A (zh) * | 2017-12-08 | 2018-04-20 | 博众精工科技股份有限公司 | 一种字符检测方法及系统 |
CN113095385B (zh) * | 2021-03-31 | 2023-04-18 | 安徽工业大学 | 一种基于全局和局部特征描述的多模图像匹配方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000688A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 多张人脸照片自动合成方法 |
CN101533512A (zh) * | 2009-04-24 | 2009-09-16 | 西安电子科技大学 | 基于人类视觉注意系统的图像感兴趣区域自动提取方法 |
CN102136142A (zh) * | 2011-03-16 | 2011-07-27 | 内蒙古科技大学 | 基于自适应三角形网格的非刚性医学图像配准方法 |
-
2013
- 2013-05-14 CN CN201310181815.XA patent/CN104156938B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101000688A (zh) * | 2007-01-15 | 2007-07-18 | 浙江大学 | 多张人脸照片自动合成方法 |
CN101533512A (zh) * | 2009-04-24 | 2009-09-16 | 西安电子科技大学 | 基于人类视觉注意系统的图像感兴趣区域自动提取方法 |
CN102136142A (zh) * | 2011-03-16 | 2011-07-27 | 内蒙古科技大学 | 基于自适应三角形网格的非刚性医学图像配准方法 |
Non-Patent Citations (1)
Title |
---|
"Shape Matching and Recognition–Using Generative Models and Informative Features";Zhuowen Tu et al;《ECCV》;20040514;第3023卷;第202页第6-10段 * |
Also Published As
Publication number | Publication date |
---|---|
CN104156938A (zh) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017004480A (ja) | 顕著性情報取得装置及び顕著性情報取得方法 | |
CN111709909A (zh) | 基于深度学习的通用印刷缺陷检测方法及其模型 | |
Wang et al. | Background-driven salient object detection | |
CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
CN110751154B (zh) | 一种基于像素级分割的复杂环境多形状文本检测方法 | |
CN104200461A (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
WO2020151148A1 (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
CN104156938B (zh) | 一种图像连通区域描述方法及其在图像配准中的应用方法 | |
JP2018142189A (ja) | プログラム、測距方法、及び測距装置 | |
CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
CN113139544A (zh) | 一种基于多尺度特征动态融合的显著性目标检测方法 | |
Wang et al. | License plate recognition system | |
CN111339932B (zh) | 一种掌纹图像预处理方法和系统 | |
CN110956184A (zh) | 一种基于hsi-lbp特征的抽象图方向确定方法 | |
CN114494751A (zh) | 证照信息识别方法、装置、设备及介质 | |
CN111160372B (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
CN110349129B (zh) | 一种高密度柔性ic基板外观缺陷检测方法 | |
Li et al. | Efficient properties-based learning for mismatch removal | |
Zhao et al. | Blur feature extraction plus automatic KNN matting: a novel two stage blur region detection method for local motion blurred images | |
CN111160262A (zh) | 一种融合人体关键点检测的人像分割方法 | |
JP2018013887A (ja) | 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム | |
CN114445649A (zh) | 用多尺度超像素融合检测rgb-d单幅图像阴影的方法 | |
CN115050066A (zh) | 人脸伪造检测方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
DD01 | Delivery of document by public notice |
Addressee: Wuyi University Document name: Notification to Pay the Fees |
|
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: WUYI University Document name: Notification of Termination of Patent Right |
|
DD01 | Delivery of document by public notice | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170811 Termination date: 20190514 |
|
CF01 | Termination of patent right due to non-payment of annual fee |