CN103617625A - 一种图像匹配方法及图像匹配装置 - Google Patents

Abstract

本发明提供一种图像匹配方法及图像匹配装置。图像匹配方法包括：截取基准图像；载入模板图像；对上述图像进行二值化处理；确定候选匹配点的位置和数目；将模板移至某一候选匹配点；设定搜索窗口，其圆心为模板几何中心在基准图像中对应的像素点，半径为设定的像素数；对各像素点的灰度值根据设定值M进行粗匹配，并通过基于卷积的互相关方法找到匹配位置；判断是否找到匹配位置，如果未找到，将模板移至基准图像的另一候选匹配点；如果找到，输出匹配位置的坐标信息。图像匹配装置包括：图像采集单元、图像存储单元、图像处理单元、数据输出单元。本发明降低了灰度信息变化、光照变化、噪声的影响，提高了图像匹配的速度、匹配准确度和抗旋转性。

Description

一种图像匹配方法及图像匹配装置

技术领域

本发明涉及图像匹配领域，特别涉及一种图像匹配方法和装置。

背景技术

随着科学技术的发展，图像匹配技术在近代信息处理领域中的应用范围越来越广泛。常用的匹配方法有基于灰度的图像匹配方法，直接利用图像的灰度信息进行匹配，通过象素对之间某种相似性度量(如最小均方差、归一化积相关、SSDA等)的全局最优化实现匹配。这类匹配方法需要解决的问题是：对灰度信息变化、光照变化、噪声非常敏感，没有充分利用灰度统计特性，对每一点的灰度信息依赖较大，不适应于匹配对象存在旋转和缩放情况下的匹配问题。于是，提出了基于圆投影匹配方法，但是它是直接在搜索图的每个位置进行相似度比较，没有充分利用匹配对象的灰度特征，计算量大，匹配速度慢，不满足匹配的实时性要求。常用的图像匹配方法还有金字塔方法，虽然这种降低了计算量，提高了匹配速度，但是由于它采用分层搜索方法,降低了图像的分辨率，从而降低了匹配准确度。

发明内容

本发明是为了解决现有技术中的上述问题而提出的，其目的在于提供一种满足匹配实时性要求，同时能够抵消灰度信息变化、光照变化、噪声的影响，具有一定抗旋转性而且方法易于硬件化的图像处理方法及装置。

本发明的图像处理装置包括图像采集单元，其用于截取基准图像；图像存储单元，其用于载入模板图像；图像处理单元，其用于对图像的二值化和逻辑运算与控制；数据输出单元，其用于输出匹配位置的相关信息。

本发明图像匹配方法包括：截取基准图像；载入模板图像；对基准图像和模板图像进行二值化处理；确定候选匹配点的位置和数目；将模板移至基准图像上某一候选匹配点；设定搜索窗口，其圆心为模板几何中心在基准图像中对应的像素点，半径为设定的像素数；对搜索窗口范围内各像素点灰度值根据设定值M进行粗匹配，并通过基于卷积的互相关方法找到匹配位置；判断是否找到匹配位置，如果未找到，将模板移至基准图像的另一候选匹配点；如果找到，输出匹配位置的坐标信息。

有益效果

本发明采用了基于卷积的互相关算法和图像二值化处理，优化了匹配的数据类型，可抵消灰度信息变化、光照变化、噪声的影响，提高了抗旋转性。

本发明通过逻辑与运算和采用卷积的运算模式优化了相似度函数，减少匹配运算量，提高了匹配速度。

本发明以像素数为半径限定搜索范围和根据设定值M进行粗匹配，有效的减少了搜索位置数，降低了运算量。同时，并没有降低图像的分辨率，提高了匹配精度。

总之，本发明从匹配的数据类型、相似性度量函数和搜索策略三个方面提高了图像匹配的匹配速度、匹配准确度、实时性和鲁棒性。

附图说明

图1为本发明所涉及的图像匹配装置的结构图；

图2为本发明所涉及的图像匹配方法的流程图；

图3为本发明所涉及的基于卷积的互相关方法的流程图；

图4为本发明所涉及的大气能见度视频观测中黑体和光源的定标流程图；

图5a为一贴片电容模板图像：

图5b为一芯片模板图像；

图5c为一钽电容模板图像；

图6a为旋转电路图像；

图6b为添加高斯噪声的旋转电路图像；

图6c为亮度变化的旋转电路图像；

图6d为对比度变化的旋转电路图像；

图7为图6b电路图像中高斯噪声与匹配概率关系示意图；

图8为图6c电路图像中亮度与匹配概率关系示意图；

图9为图6d电路图像中对比度与匹配概率关系示意图。

具体实施方式

下面，结合附图详细说明本发明的实施例。

图1为本发明所涉及的图像匹配装置的结构图，本发明的图像匹配装置包括图像采集单元10、图像存储单元20、图像处理单元30、数据输出单元40。

图像采集单元10，用于截取基准图像；图像存储单元20，用于载入模板图像；图像处理单元30,将基准图像和模板图像进行二值化处理后确定候选匹配点的位置和数目，将模板图像移动到基准图像的某一候选匹配点，进行搜索和逻辑运算找到匹配位置，此匹配点所有设定搜索区域搜索完毕后，若找到匹配位置则将匹配位置的坐标信息传输给数据输出单元40；若未找到匹配位置，将此信息传输给图像存储单元20和图像采集单元10，将模板移动至基准图像的另一候选匹配点；数据输出单元40用于输出匹配位置的坐标信息。

优选地，图像处理单元30可以包括二值化处理器、与运算控制器、加法器、乘法器、码率为1/N的卷积码编码器、中央控制单元。

图2为本发明所涉及的图像匹配方法的流程图，本发明所涉及的图像匹配方法的步骤包括：S210截取基准图像;S220载入模板图像;S230对基准图像和模板图像进行二值化处理，假设二值化处理后图像仅存在0和r两个灰度值，其中，0≦r≦255且为整数;S240确定基准图像上候选匹配点的位置和数目；S250将模板移至基准图像上某一候选匹配点，确定了上述候选匹配点的坐标，搜索圆心为模板的几何中心在基准图像上的坐标点;S260以设定的像素数为半径组成圆形搜索窗口;S270确定了搜索窗口，根据基于卷积的互相关方法找到匹配位置;S280判断是否找到匹配位置；S290a若找到匹配位置，则输出匹配位置的坐标信息；S290b若未找到匹配位置，则将模板移至基准图像上另一候选匹配点，重复S260-S280的步骤，直至找到匹配位置。

优选地，每一个候选匹配点可以设定多个不同像素半径的搜索窗口。

图像匹配方法在经历了图2所示S210-S260步骤之后，在步骤S270中要运用基于卷积的互相关方法，图3为其流程图，其中，基于卷积的互相关方法包括以下几个步骤：

S310，模板各像素点灰度值求和Ф；

S320，根据精度需要，设定M值；

S330，判断模板覆盖基准子图象各像素点灰度值之和Ψ是否大于M并且不大于模板各像素点灰度值之和Ф；

S340a，将模板图像和基准子图像的对应像素点的灰度值进行逻辑与运算；

S340b,移动模板图像，重复S330的步骤；

S350，将与运算的结果卷积求和；

S360，模板各像素点灰度值平方求和N;

S370，求和结果进行归一化处理得到互相关度量ρ（u,v）；

步骤S370后，图像匹配方法要经历步骤S280-S290b,具体地，

在步骤S280中，判断是否找到匹配位置，即，判断此候选匹配点的搜索窗口内，基准图像上像素点的互相关度量函数值ρ（u,v）是否有最接近1的数值；

在步骤S290a中，若基准图像上像素点的互相关度量函数值ρ（u,v）存在最接近1的数值则找到匹配位置，从而输出匹配位置的坐标信息；

在步骤S290b中，若基准图像上像素点的互相关度量函数值ρ（u,v）不存在最接近1的数值则未找到匹配位置，从而将模板移至基准图像上另一候选匹配点，重复S260-S280的步骤，直至找到匹配位置。

优选地，不同候选匹配点的设定值M可以相同，提高匹配速度。

在步骤S310中，模板图像为GS,大小为Ms×Ns，其中Ms、Ns分别为模板图像像素的行数和列数，模板图像各像素点灰度值之和为Ф，即，

$\mathrm{\Φ}=\underset{i=1}{\overset{M_S}{\mathrm{\Σ}}}\underset{J=1}{\overset{M_S}{\mathrm{\Σ}}}{G}_S(i,j)$

其中，i为模板中某像素点在模板中的横坐标，j为模板中的此像素点在模板中纵坐标,GS(i,j)为模板图像上此像素点的灰度值；

在步骤S320中，设定值M根据精度的需要设定，其值大于0且小于模板各像素点灰度值之和Ф；

在步骤S330中，基准图像为Gr，大小为Mr×Nr，其中Mr、Nr分别为基准图像像素的行数和列数；基准图像上某一候选匹配点坐标为(u,v)，其中，u为基准图像上某一候选匹配点的横坐标，v为基准图上此候选匹配点的纵坐标。首先将模板图像移至此点，根据模板的几何中心定位搜索圆心，以预先设定的像素数为半径，组成圆形搜索窗口，在搜索窗口中，模板所覆盖下基准图大小为Ms×Ns的基准子图为Gr(u,v)。随后进行粗匹配，即判断模板覆盖基准图各像素点灰度值之和Ψ是否大于M并且不大于模板各像素点灰度值之和Ф，这有效防止了基准图上各像素点灰度值全为r时导致ρ=1的误匹配，Μ可根据精度需要自行调整，例如可以取Μ=Φ/2。当模板移动的时候，仅计算模板覆盖下的子图灰度值之和在这个范围内的即可，从而不但可以有效加速运算速度，而且还能剔除大量的虚假匹配位置；

若在此粗匹配的范围内则进行步骤S340a，在此步骤中，将模板图像Gs和基准子图Gr（u,v）的对应象素点的灰度值进行逻辑与运算，即，

Gr(i+u,j+v)·Gs(i,j)                               （1）

其中，i+u为与模板中坐标（i,j）像素点在基准图像上对应点的横坐标，j+v为与模板中坐标（i,j）像素点在基准图像上对应点的纵坐标，Gr（i+u,j+v）为基准图像上坐标为（i+u,j+v）像素点的灰度值，由于二值化处理后图像仅存在0和r两个灰度值，所以与运算的结果为0或者r2；

若不在此粗匹配的范围内，则进行步骤S340b,将模板图像围绕搜索窗口的圆心，以设定像素数半径进行从左而右从上而下的移动搜索；

在步骤S350中，将公式（1）与运算的结果采用卷积的运算模式求和，即，

$\underset{i=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\mathrm{Gr}(i+u,j+v)\·\mathrm{Gs}(i,j)$

在步骤S360中，模板各像素点灰度值平方之和为N,即，

$N=\underset{i=1}{\overset{M_S}{\mathrm{\Σ}}}\underset{J=1}{\overset{M_S}{\mathrm{\Σ}}}{G}_S{(i,j)}^2$

在步骤S370中，归一化常数N为步骤S360中模板各像素点灰度值平方和N，将公式（2）的结果进行归一化处理，从而得到在基准图像上以点（u,v）为原点的搜索窗口内模板图像和基准子图的归一化互相关度量ρ（u,v）：

$\mathrm{\ρ}(u,v)=\frac{1}{N}[\underset{i=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\mathrm{Gr}(i+u,j+v)\·\mathrm{Gs}(i,j)]$

实施例一

在进行大气能见度观测时，系统的黑体和光源定标位置，对能见度的观测结果有极大的影响。所以，定标必须准确，保证观测的准确性。同时，系统对匹配速度要求很高，以便保证大气能见度观测数据保持足够的密度（秒级）。

图4为本发明所涉及的大气能见度视频观测中黑体和光源的定标流程图，具体包括以下几个步骤：

S410截取一帧能见度视频图像；

S420载入事先存储的黑体模板图像；

S430二值化视频图像和黑体模板图像；

S440确定候选匹配点的数目和位置；

S450根据黑体的几何形状定位搜索圆心；

S460以设定的像素数为半径进行搜索；

S470进行逻辑运算与控制，找到最黑位置；

S480将黑体定位点移动到最黑位置。

在步骤S410中，基准图像为一帧能见度视频图像，只需要是模板图像大小的3-5倍即可；

在步骤S420中，模板图像为已经知道的黑体的横向照片，载入的模板图像是以普通正常天气状况下，所获取的图像，它符合大多数的天气状态，能够更好的有助匹配；

在步骤S440中，由于摄像头的位置固定，黑体和光源在视频窗口中的大致位置是已知的，所以候选匹配点的位置和数目很容易确定；

在步骤S450-S460中，确定了候选匹配点的位置，以黑体几何中心在视频图像中的初始位置为圆心，以设定的像素数为半径进行搜索，例如设定搜索半径依次为6、4、2个像素（可根据需要修改设定）；

在步骤S470-S480中，对搜索范围内的各点的灰度值进行基于卷积的互相关逻辑运算，得到此范围内归一化互相关度量ρ（u,v），找到此数值与1最接近的位置，就是匹配位置；如果在搜索范围内没有更黑的位置出现，则不改黑体的位置，以便尽量减少时间消耗，否则，将黑体移动到最黑的位置上。

在实际中视频图像上有多个黑体，优选地，在由近到远的黑体上，依此进行最佳匹配位置的搜索（即最黑位置）。

本方法有效防止了因为大风、重型车辆的经过等致相机发生震动，使黑体和光源定标位置产生加大偏离。

将本方法与圆投影方法和二层金字塔加速的互相关匹配方法，在视频能见度系统中进行了观测对比实验，其数据结果如表1所示：

表1

从表中数据可以看出，本发明采用的基于卷积的互相关方法优势十分明显，匹配速度是最快的，其他两种算法占用较多匹配时间，降低观测数据的密度。

实施例二

本实施例中，模板图像为：

图5a为一贴片电容模板图像；

图5b为一芯片模板图像；

图5c为一钽电容模板图像；

基准图像为添加了各种类型的噪声（旋转、亮度、对比度和高斯噪声变化）的电路板图像，具体地，

图6a为旋转电路图像；

图6b为添加高斯噪声的旋转电路图像；

图6c为亮度变化的旋转电路图像；

图6d为对比度变化的旋转电路图像。

将5a、5b、5c三个模板图像依次移至基准图像上的某一个位置，根据模板的几何形状分别定为各自的圆心，分别按照设定的像素数进行搜索，根据基于卷积的互相关方法进行逻辑运算，找到各自相应的匹配位置，如图6a、6b、6c、6d所示。图5a、5b、5c所示的3个模板图像在所有这些不同变化的电路板图像中，都能够准确的获得其对应的匹配位置，这说明本发明所述图像处理方法对每一点的灰度信息依赖较小，适应于匹配对象存在一定旋转和缩放情况下的匹配问题。

图7为图6b电路图像中高斯噪声与匹配概率关系示意图，如图所示，因为图像的预处理，特别是图像二值化处理和逻辑与运算处理减弱了高斯噪声的影响。

图8为图6c电路图像中亮度与匹配概率关系示意图；图9为图6d电路图像中对比度与匹配概率关系示意图。如图8、9所示，当亮度变化超过90％时（-40-40像素范围内），算法依然有效。一方面是因为算法本质上还是基于互相关算法，因此它对光照亮度、对比度变化具有一定的“免疫性”。另一方面，图像二值化和逻辑与运算处理几乎完全消除了亮度变化和对比度变化带来的影响。

图7、8、9的纵坐标都为匹配概率，匹配概率描述了排除错误位置，找到模板对应图像中正确位置的纠错能力。在图7、8、9中每个模板图像都分别给定了5、15、20、30、40个候选匹配点，显然，匹配概率的大小和候选匹配点的多少具有很大的关系，候选匹配点越多，匹配概率越高，但是消耗的时间也越长。在实际应用中要根据精度设定匹配点的数目。

尽管参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (5)

1.一种图像匹配方法，包括以下步骤：

利用图像采集单元截取基准图像；

利用图像存储单元载入模板图像；

对基准图像和模板图像进行二值化处理；

确定基准图像上候选匹配点的位置和数目；

将模板移至基准图像上某一候选匹配点；

以模板的几何中心在基准图像中对应的像素点为圆心，以设定的像素数为半径设定搜索窗口；

通过基于卷积的互相关方法找到匹配位置;

判断是否找到匹配位置；

若未找到，将模板移至基准图像上另一个候选匹配点；

若找到，输出匹配位置的坐标信息。

2.根据权利要求1所述的图像匹配方法，其中，所述基于卷积的互相关方法包括：

模板各像素点灰度值求和Ф;

设定M值；

进行粗匹配；

若不匹配，移动模板，重复上述步骤；

若匹配，对模板各像素点灰度值和相对应的基准子图各像素点的灰度值进行逻辑与运算；

将与运算的结果卷积求和；

将求和的结果进行归一化处理,从而得到在基准图像上以点（u,v）为原点的搜索窗口内模板图像和基准子图的归一化互相关度量ρ(u,v)：

$\mathrm{\ρ}(u,v)=\frac{1}{N}[\underset{i=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{Ms}}{\mathrm{\Σ}}}\mathrm{Gr}(i+u,j+v)\·\mathrm{Gs}(i,j)]$

其中，

i为模板中某像素点在模板中的横坐标，j为模板中的此像素点在模板中纵坐标,GS(i,j)为模板图像上坐标为（i,j）像素点的灰度值；u为基准图像上某一候选匹配点的横坐标，v为基准图像上此候选匹配点的纵坐标，i+u为与模板中坐标（i,j）像素点对应的基准图像上此点的横坐标，j+v为与模板中坐标（i,j）像素点对应的基准图像上此点的纵坐标，Gr（i+u,j+v）为基准图像上坐标为（i+u,j+v）像素点的灰度值；Ms、Ns分别为模板图像像素的行数和列数。

3.根据权利要求2所述的基于卷积的互相关方法，其中，设定值M根据精度需要设定，M值小于模板各像素点灰度值之和Ф。

4.根据权利要求2所述的基于卷积的互相关方法，其中，所述粗匹配为判断模板覆盖基准图各像素点灰度值之和Ψ是否大于设定值M并且不大于模板各像素点灰度值之和Ф。

5.一种根据权利要求1所述的图像匹配装置，其特征在于包括：

图像采集单元，其用于截取基准图像；

图像存储单元，其用于载入模板图像；

图像处理单元，其用于对图像的二值化和逻辑运算与控制；

数据输出单元，其用于输出匹配位置的相关信息。

Images