CN102567724A - 图像校正系统及方法 - Google Patents

Abstract

本发明提供一种图像校正系统。该系统提取参考图及待测图中的特征点，根据特征点的特征向量之间的欧式距离确定参考图及待测图的特征点对，并根据特征点对构建两个矩阵，再根据该两个矩阵计算映射矩阵。该系统还根据参考图的基准点及映射矩阵确定各待测图中的匹配点，根据匹配点构成的匹配区域与坐标系X轴正方向的夹角确定待测图需要校正的角度，然后以待测图中心为旋转点对待测图旋转相应角度进行校正。之后，该系统将校正后的待测图中的匹配区域与参考图中基准点构成的参考区域比较、查找匹配区域中的差异点，以定位电路板上的设计不良位置。本发明还提供一种图像校正方法。

Description

图像校正系统及方法

技术领域

本发明涉及一种图像处理系统及方法，尤其是关于一种图像校正系统及方法。

背景技术

在光学自动检测系统(automatic optic inspection，AOI)中，需要将工业相机拍摄印刷电路板得到的待测图与参考图进行比较，以查找待测印刷电路板上的设计不良位置。由于拍摄时工业相机和被拍摄的印刷电路板之间可能存在一定角度，或者是印刷电路板未被摆正，导致拍摄得到的待测图可能存在一定角度的倾斜。如果不对待测图进行校正，则可能导致后续比较得到的结果存在较大误差。

目前，有基于像素点检测图像的倾斜角度并通过迭代运算来准确的实现倾斜文档图像的校正方法，还有基于图像轮廓边缘信息结合变换矩阵计算图像倾斜角度并进行校正的方法。由于图像中像素点的数量巨大，导致这些校正方法涉及的计算量过大，速度较慢。

发明内容

鉴于以上内容，本发明提出一种图像校正系统及方法，可以快速确定对倾斜的图像进行校正。

一种图像校正系统，应用于计算装置。该系统包括：信息读取模块、特征点提取模块、矩阵构建模块、匹配点确定模块及校正模块。信息读取模块用于从存储器读取符合电路板设计规范的参考图及拍摄电路板得到的待测图。特征点提取模块用于利用数学算法提取参考图及待测图中的特征点及各特征点的特征向量，并根据特征向量间的欧式距离确定参考图及待测图的特征点对。矩阵构建模块用于根据所述特征点对构建两个1*n矩阵，并根据该两个1*n矩阵计算得到映射矩阵。匹配点确定模块用于根据参考图中各基准点的坐标及映射矩阵确定各基准点在待测图中的匹配点的坐标。校正模块用于根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴正方向的夹角，当所述夹角不等于零时，以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图，并确定校正后待测图中的匹配点及匹配区域。

一种图像校正方法，应用于计算装置。该方法包括：(A)读取拍摄电路板得到的待测图及符合电路板设计规范的参考图；(B)利用数学算法提取参考图及待测图中的特征点及各特征点的特征向量，并根据特征向量间的欧式距离确定参考图及待测图的特征点对；(C)根据所述特征点对构建两个1*n矩阵，并根据该两个1*n矩阵计算得到映射矩阵；(D)读取参考图中各基准点的坐标；(E)根据各基准点的坐标及映射矩阵确定各基准点在待测图中的匹配点的坐标；及(F)根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴正方向的夹角，当所述夹角不等于零时，以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图，并确定校正后的待测图中的匹配点及匹配区域。

相较于现有技术，本发明所提供的图像校正系统及方法根据参考图及待测图中的特征点确定待测图与参考图的映射关系，根据映射关系确定待测图中与参考图中参考区域匹配的匹配区域，并根据匹配区域与坐标系X轴正方向的夹角确定待测图需要校正的角度，可以快速实现对倾斜的图像进行校正。

附图说明

图1是本发明图像校正系统较佳实施例的应用环境图。

图2是本发明图像校正系统较佳实施例的功能模块图。

图3是本发明图像校正方法较佳实施例的流程图。

图4是参考图中基准点的示意图。

图5是校正前及校正后的待测图中匹配点的示意图。

主要元件符号说明

计算装置

100

工业相机	200
		电路板	300
存储器	10
		处理器	20
显示器	40
		图像校正系统	30
信息读取模块	31
		特征点提取模块	32
矩阵构建模块	33
		匹配点确定模块	34
校正模块	35

具体实施方式

参阅图1所示，是本发明图像校正系统30较佳实施例的应用环境图。该图像校正系统30应用于计算装置100。该计算装置100可以为个人电脑，服务器，或其它有数据处理能力的电子产品。在本实施例中，该计算装置100与工业相机200相连接。工业相机200拍摄待测电路板300，得到待测图，并将待测图传送至计算装置100。

计算装置100还包括存储器10、处理器20及显示器40。存储器10存储图像资料，包括拍摄待测电路板300得到的待测图及符合电路板设计规范的参考图。存储器10还存储图像校正系统30的程序化代码。处理器20执行所述程序化代码，实现图像校正系统30提供的下述功能：提取参考图及待测图中的特征点，根据待测图及参考图中特征点的对应关系，在待测图中确定参考图上各基准点的匹配点，根据匹配点构成的匹配区域与坐标系X轴正方向的夹角确定待测图需要校正的角度，然后以待测图中心为旋转点对待测图旋转相应角度进行校正。

显示器40用于显示所述参考图以及校正前后的待测图。

参阅图2所示，是图1中图像校正系统30的功能模块图。该图像校正系统30包括信息读取模块31、特征点提取模块32、矩阵构建模块33、匹配点确定模块34及校正模块35。

信息读取模块31用于从存储器10读取所述参考图及一张待测图。在本实施例中，该参考图及待测图为二维图像。

特征点提取模块32用于利用数学算法提取参考图及待测图中的特征点(feature points)及各特征点附加的特征信息。在本实施例中，该数学算法为SURF算法或SIFT算法。所述特征点为特征值大于预设阀值的像素点。各特征点附加的特征信息包括该特征点的方向(direction)、尺度(scale)及特征向量(feature vector)等。

特征点提取模块32还用于根据特征向量间的欧式距离确定参考图及待测图的特征点对。其中，参考图中的一个特征点与待测图中的一个对应特征点组成一个特征点对。特征向量间的欧式距离(Euclideandistance)比值越小说明两个特征点的相似性越大。例如，特征点提取模块32取参考图中的某个特征点A1，在待测图中找出其与特征点A1欧式距离最近的特征点B 1、次近的特征点B2，如果最近的距离除以次近的距离小于预设的比例阈值a，则特征点A1与特征点B1为一个特征点对。

矩阵构建模块33用于根据参考图及待测图的特征点对构建两个1*n矩阵。例如，若特征点对包括参考图中的特征点A1，A2，A3，...，An，这些特征点在待测图中的对应特征点分别为B1，B2，B3，...，Bn，则矩阵构建模块33构建第一1*n矩阵A＝[A1，A2，A3，...，An]，第二1*n矩阵B＝[B1，B2，B3，...，Bn]。

矩阵构建模块33还用于根据该两个1*n矩阵计算得到映射矩阵。例如，矩阵构建模块33根据公式A*E＝B计算得到映射矩阵E。

信息读取模块31还用于读取参考图中各基准点的坐标。所述基准点可以为参考图中的特征点，也可以为除特征点外的像素点，用于确定参考区域的范围。基准点的数量至少为2个。在本实施例中，信息读取模块31读取4个基准点P1(0，0)，P2(w，0)，P3(w，h)，P4(0，h)，其中w＞0，h＞0，第一个基准点为坐标系原点，w表示参考图的宽度，h表示参考图的高度。在其它实施例中，也可以只取P1(0，0)和P3(w，h)2个基准点，用于确定参考区域的范围。

匹配点确定模块34用于根据各基准点的坐标及映射矩阵计算各基准点在待测图中的匹配点的坐标。例如，假设参考图中的基准点为Q1、Q2、Q3、Q4(如图4所示)，该4个基准点在在待测图中的匹配点分别为P1、P2、P3、P4(如图5所示)，则Q1*E＝P1，Q2*E＝P2，Q3*E＝P3，Q4*E＝P4。需要说明的是，如果计算得到的匹配点的坐标落入待测图之外，则匹配点确定模块34还用于将落入待测图之外的匹配点移动至待测图中，并对相应的基准点作相同位移操作。

校正模块35用于根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴正方向的夹角。其中，该匹配区域为匹配点构成的最小面积的外接矩形。匹配区域与坐标系X轴方向的夹角为零，则表明待测图不需要校正；若匹配区域与坐标系X轴方向的夹角不为零，则表明待测图需要校正。

校正模块35还用于当所述夹角不等于零时，以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图，并确定校正后的待测图中的匹配点及匹配区域。确定校正后的待测图中的匹配点及匹配区域的方法是通过提取校正后的待测图中的特征点，根据参考图及校正后的待测图的特征点对构建两个新的1*n矩阵，并根据该两个新的1*n矩阵计算得到新的映射矩阵，再根据参考图中的基准点及该新的映射矩阵计算校正后的待测图中的匹配点及匹配区域，具体细节不再赘述。如图5所示，匹配点为P1、P2、P3、P4构成的最小面积的外接矩形与坐标系X轴正方向的夹角为a(a不等于0)，则校正模块35以待测图的中心P为旋转点将待测图顺时针旋转角度a得到校正后的待测图，校正后的待测图中的匹配点分别为P1’、P2’、P3’、P4’，匹配区域为P1’、P2’、P3’、P4’构成的最小面积的外接矩形。

校正模块35还用于将待测图中的匹配区域(若待测图被校正，则为校正后的待测图中的匹配区域)与参考图中基准点构成的参考区域进行比较，查找匹配区域中的差异点，以定位电路板300上的设计不良位置。例如，图4中的基准点为Q1、Q2、Q3、Q4构成的最小面积的外接矩形为参考区域，图5中的P1’、P2’、P3’、P4’构成的最小面积的外接矩形为匹配区域。

参阅图3所示，是本发明图像校正方法较佳实施例的流程图。

步骤S301，信息读取模块31从存储器10读取参考图及一张待测图。特征点提取模块32利用数学算法提取参考图及待测图中的特征点(feature points)及各特征点附加的特征信息。在本实施例中，该参考图及待测图为二维图像，该数学算法可以为SURF算法或者SIFT算法。所述特征点为特征值大于预设阀值的像素点。各特征点附加的特征信息包括该特征点的方向(direction)、尺度(scale)及特征向量(featurevector)等。

步骤S303，特征点提取模块32根据特征向量间的欧式距离确定参考图及待测图的特征点对。其中，参考图中的一个特征点与待测图中的一个对应特征点组成一个特征点对，欧式距离比值越小说明两个特征点的相似性越大。例如，特征点提取模块32取参考图中的某个特征点A1，在待测图中找出其与特征点A1欧式距离最近的特征点B1、次近的特征点B2，如果最近的距离除以次近的距离小于预设的比例阈值a，则特征点A1与特征点B1为一个特征点对。

步骤S305，矩阵构建模块33根据参考图及待测图的特征点对构建两个1*n矩阵。例如，若特征点对包括参考图中的特征点A1，A2，A3，...，An，这些特征点在待测图中的对应特征点分别为B 1，B2，B3，...，Bn，则矩阵构建模块33构建第一1*n矩阵A＝[A1，A2，A3，...，An]，第二1*n矩阵B＝[B1，B2，B3，...，Bn]。

步骤S307，矩阵构建模块33根据该两个1*n矩阵计算得到映射矩阵。例如，矩阵构建模块33根据公式A*E＝B计算得到映射矩阵E。

步骤S309，信息读取模块31读取参考图中各基准点的坐标。所述基准点可以为参考图中的特征点，也可以为除特征点以外的像素点，用于确定参考区域的范围。基准点的数量至少为2个。在本实施例中，信息读取模块31读取4个基准点P1(0，0)，P2(w，0)，P3(w，h)，P4(0，h)，其中w＞0，h＞0，第一个基准点为坐标系原点，w表示参考图的宽度，h表示参考图的高度。在其它实施例中，也可以只取P1(0，0)和P3(w，h)2个基准点，用于确定参考区域的范围。

步骤S311，匹配点确定模块34根据各基准点的坐标及映射矩阵确定各基准点在待测图中的匹配点的坐标。例如，假设参考图中的基准点为Q1、Q2、Q3、Q4(如图4所示)，该4个基准点在在待测图中的匹配点分别为P1、P2、P3、P4(如图5所示)，则Q1*E＝P1，Q2*E＝P2，Q3*E＝P3，Q4*E＝P4。需要说明的是，如果计算得到的匹配点的坐标落入待测图之外，则匹配点确定模块34还用于将落入待测图之外的匹配点移动至待测图中，并对相应的基准点作相同位移操作。

步骤S313，校正模块35根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴方向的夹角。其中，该匹配区域为匹配点构成的最小面积的外接矩形。

步骤S315，校正模块35判断所述夹角是否等于零。若所述夹角等于零，则表明待测图不需要校正，流程直接进入步骤S319，校正模块35将待测图中的匹配区域与参考图中基准点构成的参考区域进行比较，查找匹配区域中的差异点，以定位电路板300上的设计不良位置。若所述夹角不等于零，则表明待测图需要校正，流程进入步骤S317。

步骤S317，校正模块35以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图，并确定校正后待测图中的匹配点及匹配区域。确定校正后的待测图中的匹配点及匹配区域的方法也是通过提取校正后的待测图中的特征点，根据参考图及校正后的待测图的特征点对构建两个新的1*n矩阵，并根据该两个新的1*n矩阵计算得到新的映射矩阵，再根据参考图中的基准点及该新的映射矩阵计算校正后的待测图中的匹配点及匹配区域(具体方法参阅步骤S301至S311)。如图5所示，匹配点为P1、P2、P3、P4构成的最小面积的外接矩形与坐标系X轴正方向的夹角为a(a不等于0)，则校正模块35以待测图的中心P为旋转点将待测图顺时针旋转角度a得到校正后的待测图，校正后的待测图中的匹配点分别为P1’、P2’、P3’、P4’，匹配区域为P1’、P2’、P3’、P4’构成的最小面积的外接矩形。

步骤S319，校正模块35将校正后的待测图中的匹配区域与参考图中的参考区域进行比较，查找匹配区域中的差异点，以定位电路板300上的设计不良位置。例如，图4中的基准点为Q1、Q2、Q3、Q4构成的最小面积的外接矩形为参考区域，图5中的P1’、P2’、P3’、P4’构成的最小面积的外接矩形为匹配区域。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种图像校正系统，应用于计算装置，该计算装置与工业相机相连接，工业相机拍摄待测电路板得到待测图，其特征在于，该系统包括：

信息读取模块，用于从存储器读取符合电路板设计规范的参考图及所述待测图；

特征点提取模块，用于利用数学算法提取参考图及待测图中的特征点及各特征点的特征向量，并根据根据特征向量间的欧式距离确定参考图及待测图的特征点对；

矩阵构建模块，用于根据所述特征点对构建两个1*n矩阵，并根据该两个1*n矩阵计算得到映射矩阵；

匹配点确定模块，用于根据参考图中各基准点的坐标及映射矩阵确定各基准点在待测图中的匹配点的坐标；及

校正模块，用于根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴方向的夹角，当所述夹角不等于零时，以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图。

2.如权利要求1所述的图像校正系统，其特征在于，当待测图校正后：

所述特征点提取模块，还用于利用数学算法提取校正后的待测图中的特征点及各特征点的特征向量，并根据参考图中的特征点与校正后的待测图中的特征点的特征向量之间的欧式距离确定参考图及校正后的待测图的特征点对；

所述矩阵构建模块，还用于根据参考图及校正后的待测图的特征点对构建两个新的1*n矩阵，并根据该两个新的1*n矩阵计算得到新的映射矩阵；

所述匹配点确定模块，还用于根据参考图中各基准点的坐标及该新的映射矩阵确定各基准点在校正后的待测图中的匹配点及匹配区域。

3.如权利要求2所述的图像校正系统，其特征在于，所述校正模块还用于将校正后的待测图中的匹配区域与参考图中基准点确定的参考区域进行比较，查找校正后的待测图中的匹配区域中的差异点，以定位电路板上的设计不良位置。

4.如权利要求1所述的图像校正系统，其特征在于，所述特征点为特征值大于预设阀值的像素点。

5.如权利要求1所述的图像校正系统，其特征在于，参考图中的一个特征点与待测图中的一个对应特征点组成一个特征点对。

6.一种图像校正方法，该方法应用于计算装置，该计算装置与工业相机相连接，工业相机拍摄待测电路板得到待测图，其特征在于，该方法包括：

读取所述待测图及符合电路板设计规范的参考图；

利用数学算法提取参考图及待测图中的特征点及各特征点的特征向量，并根据特征向量间的欧式距离确定参考图及待测图的特征点对；

根据所述特征点对构建两个1*n矩阵，并根据该两个1*n矩阵计算得到映射矩阵；

读取参考图中各基准点的坐标；

根据各基准点的坐标及映射矩阵确定各基准点在待测图中的匹配点的坐标；及

根据匹配点确定待测图中的匹配区域，并计算匹配区域与坐标系X轴方向的夹角，当所述夹角不等于零时，以待测图中心为旋转点对待测图旋转相应角度得到校正后的待测图。

7.如权利要求6所述的图像校正方法，其特征在于，该方法还包括：

确定校正后待测图中的匹配点及匹配区域；及

将校正后的待测图中的匹配区域与参考图中基准点确定的参考区域进行比较，查找匹配区域中的差异点，以定位电路板上的设计不良位置。

8.如权利要求7所述的图像校正方法，其特征在于，确定校正后待测图中的匹配点及匹配区域包括：

利用数学算法提取校正后的待测图中的特征点及各特征点的特征向量，并根据参考图中的特征点与校正后的待测图中的特征点的特征向量之间的欧式距离确定参考图及校正后的待测图的特征点对；

根据参考图及校正后的待测图的特征点对构建两个新的1*n矩阵，并根据该两个新的1*n矩阵计算得到新的映射矩阵；

根据参考图中各基准点的坐标及该新的映射矩阵确定各基准点在校正后的待测图中的匹配点及匹配区域。

9.如权利要求6所述的图像校正方法，其特征在于，所述特征点为特征值大于预设阀值的像素点。

10.如权利要求6所述的图像校正方法，其特征在于，参考图中的一个特征点与待测图中的一个对应特征点组成一个特征点对。

Images