CN103226831A - 利用分块布尔运算的图像匹配方法 - Google Patents

Abstract

本发明涉及数字图像处理领域，为提供一种将图像的特征点矩阵压缩后，剔除图像拼接中的误匹配对的随机抽样一致算法。该算法能够大大提高运算速度，且适合于并行运算，从而可以大大提高匹配的效率，为现今多种多样的多媒体设备提供一种可选的图像拼接融合解决方案。为此，本发明采用的技术方案是，利用分块布尔运算的图像匹配方法，包括下列步骤：矩阵的划分步骤；矩阵的压缩和布尔转换步骤；进行两幅图像布尔格式的特征矩阵块之间的匹配步骤；搜索最佳特征匹配对步骤；然后进行RANSAC算法的匹配运算，最终确认最佳仿射矩阵。本发明主要应用于数字图像处理。

Description

利用分块布尔运算的图像匹配方法

技术领域

本发明涉及数字图像处理领域，具体讲，涉及利用分块布尔运算的图像匹配方法。

技术背景

数字图像拼接是数字图像处理中的关键技术之一，是其他一些数字图像处理，如全景视频、智能视频监控等的基础，如何实现高速高质量的图像拼接，对于整个系统而言都是至关重要的。

图像拼接是通过基于图像特征匹配的理论，对图像的灰度值进行特征点选择和提取，然后对提取的特征点进行匹配，从而找出源图像和目标图像之间的仿射矩阵，利用仿射矩阵便可将二者进行拼接从而得到高精度广角度的拼接图像。

在图像拼接技术中，往往容易出现误匹配的情况，即所匹配的特征点对并不是真实的，从而导致匹配失败，拼接出来的图像模糊不清。最常用的剔除误匹配对的方法就是随机抽样一致算法(Random Sample Consensus，RANSAC)。然后传统的RANSAC算法是通过对特征点的完全遍历来剔除误匹配点，从而确定正确的特征点对，但是由于计算能力和计算速度的限制，完全遍历在实际运算中往往是不可实现的，通常只能通过设定计算次数来求得近似的结果。但限制计算次数又会带来降低匹配精度的不良后果，造成图像拼接部分扭曲模糊。

发明内容

为克服现有技术的不足，本发明的目的在于提供一种将图像的特征点矩阵压缩后，剔除图像拼接中的误匹配对的随机抽样一致算法。该算法能够大大提高运算速度，且适合于并行运算，从而可以大大提高匹配的效率，为现今多种多样的多媒体设备提供一种可选的图像拼接融合解决方案。

为了达到上述目的，本发明采用的技术方案是，利用分块布尔运算的图像匹配方法，包括下列步骤：

矩阵的划分步骤：利用对两幅图像的特征矩阵进行分区，划分出N×N的块；

矩阵的压缩和布尔转换步骤：在每个块中将S×S的矩阵压缩为一个点，若此S×S矩阵中包含特征点则该点值为1，若此S×S矩阵中并无特征点则该点值为0，从而将整个特征矩阵转化为一个压缩了S×S倍的布尔矩阵；

进行两幅图像布尔格式的特征矩阵块之间的匹配步骤：在第一个布尔矩阵中找出含值1最多的块，这个块是包含特征点最多的，将此块在第二个布尔矩阵中进行匹配搜索，找出和其最相似的块；

搜索最佳特征匹配对步骤：然后将含值1最多的块与和其最相似的块还原为原来的特征矩阵，再次进行匹配搜索，找出最相似的区域；

然后进行RANSAC算法的匹配运算，最终确认最佳仿射矩阵。

矩阵的划分步骤进一步具体为：对要进行拼接融合的两幅图像A和B利用哈里斯角点检测算法(Harris)找出图像所有的特征点，形成特征点矩阵将得到了两个特征点矩阵同时划分为相同数目的矩阵块(M×N)，即每块含M行，每行含N个点，在一帧图像中将图像特征矩阵化为了大小为M×N的矩阵块，两幅图像所划块的大小保持一致，对于图像不能凑成M×N的尾行或尾列可以单独成块，合并入前一块中，其中M和N均为正整数。

矩阵的压缩和布尔转换步骤具体为：在划分的每一个矩阵块中，以大小为S×S的矩阵作为一个单元，若单元中包含一个或多个特征点，则将此S×S矩阵转化为一个值1的矩阵元素，若单元中不包含特征点，则将此S×S矩阵转化为一个值0的矩阵元素，这样一个M×N的矩阵块就压缩为大小仅为(M/S)×(N/S)的布尔矩阵块，进而形成第一幅图像的特征点布尔矩阵A’，从而为下一步的矩阵匹配降低了难度，其中，S为正整数，根据图像大小选择其大小。

两幅图像布尔格式的特征矩阵块之间的匹配步骤进一步具体为：在将所有的矩阵块压缩转换后，在第一幅图像中挑选含1最多的矩阵块((M/S)×(N/S))，这个矩阵块就作为标准块，任意选取含1多的K×K大小的块，K为正整数，根据图像大小任意选取，在第二幅图像的特征点布尔矩阵B’中进行矩阵匹配搜索，寻找出与之最相似的矩阵块((M/S)×(N/S))，然后再任意另选一块含1较的K×K大小的块，在B’中进行矩阵匹配搜索，直至找到最相似矩阵。如此循环，找出A’和B’中相似度最高的两个矩阵块。

搜索最佳特征匹配对步骤进一步具体为：将布尔压缩后的矩阵块匹配中找到的两个矩阵块((M/S)×(N/S))恢复到无压缩状态，即恢复到M×N的大小，再次选择L×L大小的块在两个矩阵块中进行匹配搜索，将相似的范围压缩到L×L大小的范围内；在L×L的范围内，L为正整数，可根据图像大小任意选取，利用图像灰度值归一化互相关方法寻找特征点匹配对。

本发明具备下列技术效果：

与传统随机抽样一致算法相比，本发明的算法将建立似然评估模型的矢量运算转化为布尔运算，大大降低了运算的难度，并通过压缩，减小了搜索的难度，大大提高了运算的速度，且其分块的原则使该算法非常适合并行运算，从而可以更加快速地进行搜索采样，更加准确地寻找图像中的特征点匹配对，从而可以更加快速地建立似然模型来剔除图像拼接中的误匹配特征点，使得图像拼接更加准确快速。

而且本算法也具有极好的可扩展性和适用性，可以应用于大规模非稠密矩阵的搜索和匹配。

附图说明

图1图像矩阵分块并逐块进行布尔压缩转换。

图2图像矩阵中逐层分解搜索匹配。

图3利用分块布尔运算的图像匹配方法的流程图。

具体实施方式

本发明的目的是提供一种将图像的特征点矩阵压缩后转为为布尔匹配运算，剔除图像拼接中的误匹配对的随机抽样一致(RANSAC)算法。该算法能够大大提高运算速度，且适合于并行运算，从而可以大大提高匹配的效率，为现今多种多样的多媒体设备提供一种可选的图像拼接融合解决方案。

本发明所采用的基于布尔运算匹配的随机抽样一致算法是利用对两幅图像的特征矩阵进行分区，划分出N×N的块，然后在每个块中将3×3的矩阵压缩为一个点，若此3×3矩阵中包含特征点则该点值为1，若此3×3矩阵中并无特征点则该点值为0，从而将整个特征矩阵转化为一个压缩了9倍的布尔矩阵。在第一个布尔矩阵中找出含值1最多的块，这个块是包含特征点最多的，将此块在第二个布尔矩阵中进行匹配搜索，找出和其最相似的块，然后将这两块还原为原来的特征矩阵，再次进行匹配搜索，找出最相似的区域，然后进行RANSAC匹配运算，最终确认最佳仿射矩阵。该算法将建立似然评估模型的矢量运算转化为布尔运算，大大降低了运算的难度，并通过压缩，减小了搜索的难度，大大提高了运算的速度，且其分块的原则使该算法非常适合并行运算，从而可以大大提高匹配的效率。

本发明中，改进了传统的RANSAC算法中随机抽取两幅图像间的特征点对建立仿射矩阵并进行验证的方法。利用将特征对匹配的矢量运算转化为布尔标量运算的方法来匹配特征点，提高了特征点对的准确率。这一技术发明的技术要点具体阐述如下：

矩阵的划分

对要进行拼接融合的两幅图像A和B利用哈里斯角点检测算法(Harris)找出所有的特征点，形成特征点矩阵。将得到了两个特征点矩阵同时划分为相同数目的矩阵块(M×N)，即每块含M行，每行含N个特征点。如图1所示。对每一个矩阵块的转换和压缩的思路及方法相同，以下仅以第一幅图像A的其中一个矩阵块为例进行介绍。如图1中所示，在一帧图像中将图像矩阵化为了大小为M×N的矩阵块。两幅图像所划块的大小保持一致。对于图像不能凑成M×N的尾行或尾列可以单独成块，也可合并入前一块中。其中M和N均为正整数，可根据图像大小选择其大小，通常M，N∈[4，10]。

矩阵的压缩和布尔转换

在划分的每一个矩阵块中，以大小为S×S的矩阵作为一个单元。若单元中包含一个或多个特征点，则将此S×S矩阵转化为一个值1的矩阵元素，若单元中不包含特征点，则将此S×S矩阵转化为一个值0的矩阵元素。如图1所示。这样一个M×N的矩阵块就压缩为大小仅为(M/S)×(N/S)的布尔矩阵块，进而形成第一幅图像的特征点布尔矩阵A’，从而为下一步的矩阵匹配降低了难度。其中，S为正整数，可根据图像大小选择其大小，通常S∈[3，9]。这里，常取S为3。

两幅图像布尔格式的特征矩阵块之间的匹配

在将所有的矩阵块压缩转换后，在第一幅图像中挑选含1最多的矩阵块((M/S)×(N/S))。这个矩阵块就作为标准块，任意选取含1多的K×K(K为正整数，可根据图像大小任意选取，通常K∈[3，9])大小的块，在第二幅图像的特征点布尔矩阵B’中进行矩阵匹配搜索。寻找出与之最相似的矩阵块((M/S)×(N/S))。然后再任意另选一块含1较的K×K大小的块，在B’中进行矩阵匹配搜索，直至找到最相似矩阵。如此循环，找出A’和B’中相似度最高的两个矩阵块。

搜索最佳特征匹配对

将布尔压缩后的矩阵块匹配中找到的两个矩阵块((M/S)×(N/S))恢复到无压缩状态，即恢复到M×N的大小，再次选择L×L(L为正整数，可根据图像大小任意选取，通常L∈[3，9])大小的块在两个矩阵块中进行匹配搜索，将相似的范围压缩到L×L大小的范围内。在L×L的范围内，利用图像灰度值归一化互相关等方法寻找特征点匹配对。

求解并验证图像拼接的仿射变化矩阵T

从

无压缩的最佳特征匹配块中的特征点对中随机抽取3对(为不共线的3对特征点)计算出仿射变换矩阵。

$T=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ m_7& m_8& 0\end{array}\right]$

只要求得仿射矩阵T就可以计算不同图像之间的配准信息。其中参数m₁、m₂、m₄和m₅表示尺度和旋转量的变换；m₃表示水平方向位移；m₆表示垂直方向位移；m₇和m₈表示水平和垂直方向的变形量，对于仿射变换来说一般取0。

按照传统Ransac算法，在任意选择三点后，需要计算大量剩余点的矩阵转换，从而判断其为内点或外点。

本发明提出的利用分块布尔运算的图像匹配方法的流程框图如图3所示。

本发明中，先将图像的特征点矩阵进行分块压缩，使可以较快地确认相似的矩阵块((M/S)×(N/S))；然后如图2所示，采用多层塔式结构，将所确定的矩阵块复原为M×N，在矩阵块的范围内进一步搜索确认更小范围的相似矩阵(L×L)；在这个最小范围内对两幅图像的灰度值进行归一化互相关，从而找出最佳的特征点对；最后利用传统RANSAC算法求解并验证放射变换矩阵T。

本发明所实现的基于布尔运算匹配的随机抽样一致算法的具体步骤如图3所示。

在本发明中，对于两幅图像特征点的提取采用了最简单且快速的哈里斯角点检测算法(Harris)。哈里斯特征点矩阵中进行块的划分，通常是划分为16块。

将图像特征点矩阵按照S×S进行布尔运算压缩，综合考虑各种因素，通常是按照3×3的大小来对特征点矩阵进行压缩。通过这一步，可以将进行矩阵相似搜索的尺寸压缩9倍。压缩后的特征点布尔矩阵也是包含16个矩阵块的，只是此时每个矩阵块的大小变为(M/3)×(N/3)。

在第一幅图像的特征点布尔矩阵中，找出含1最多的矩阵块，这也是含图像角点(即图像的特征点)最多的区域。以此矩阵块为标准，在第二幅图像的特征点布尔矩阵中寻找与其最相似的矩阵块，因为这两个矩阵块之间的最有可能出现特征点匹配对。

在已选定的标准特征点布尔矩阵块中，随机选取含1较多的一个矩阵K×K，在这里，利用矩阵减法在第二幅图像的整个特征点布尔矩阵中进行搜索。两个矩阵相减，结果矩阵中含0越多表示二者相似度越高。如果搜索找到了最相似矩阵，则再次随机选取一个K×K矩阵再进行一次相似搜索。分别通过三个随机K×K矩阵获得三个相似矩阵，从中选择最优结果，确定最相似的两个分属于两幅图像的(M/3)×(N/3)的特征点布尔矩阵块。

将确定的两个特征点布尔矩阵块还原为原来的大小(M×N)，在第一幅图像的这个特征点矩阵块中，选择L×L大小的矩阵进行矩阵相似度的再一次搜索，找出第二幅图像的M×N矩阵块中与之最相似的区域。重复三次，从三对随机L×L矩阵块中找出最优结果，确定最相似的两个分属于两幅图像的L×L的区域。

在这两个L×L区域内，对图像的灰度值进行归一化互相关的计算，找出区域内互相匹配的特征点，然后根据传统RANSAC算法的方法计算并验证仿射变换矩阵，从而完成图像的拼接融合。

在本发明中，通过对图像提取特征点，建立特征点矩阵，然后对特征点矩阵进行划块并布尔运算压缩，使得可以在较小的区域内进行相似度搜索，通过随机抽取和反复搜索，增大了相似度的可靠性。在此算法中采用了多层塔式结构，大大减小了需要搜索采样的区域，加快了进行匹配的速度，大大降低了RANSAC算法中运算负载过大的问题，同时也在很大程度上提高了特征点匹配的准确度，提高了图像匹配融合的质量。

Claims (5)

1.一种利用分块布尔运算的图像匹配方法，其特征是，包括下列步骤

矩阵的划分步骤：利用对两幅图像的特征矩阵进行分区，划分出N×N的块；

矩阵的压缩和布尔转换步骤：在每个块中将S×S的矩阵压缩为一个点，若此S×S矩阵中包含特征点则该点值为1，若此S×S矩阵中并无特征点则该点值为0，从而将整个特征矩阵转化为一个压缩了S×S倍的布尔矩阵；

进行两幅图像布尔格式的特征矩阵块之间的匹配步骤：在第一个布尔矩阵中找出含值1最多的块，这个块是包含特征点最多的，将此块在第二个布尔矩阵中进行匹配搜索，找出和其最相似的块；

搜索最佳特征匹配对步骤：然后将含值1最多的块与和其最相似的块还原为原来的特征矩阵，再次进行匹配搜索，找出最相似的区域；

然后进行RANSAC算法的匹配运算，最终确认最佳仿射矩阵。

2.根据权利要求1所述的利用分块布尔运算的图像匹配方法，其特征是，矩阵的划分步骤进一步具体为：对要进行拼接融合的两幅图像A和B利用哈里斯角点检测算法(Harris)找出图像所有的特征点，形成特征点矩阵将得到了两个特征点矩阵同时划分为相同数目的矩阵块(M×N)，即每块含M行，每行含N个点，在一帧图像中将图像特征矩阵化为了大小为M×N的矩阵块，两幅图像所划块的大小保持一致，对于图像不能凑成M×N的尾行或尾列可以单独成块，合并入前一块中，其中M和N均为正整数。

3.根据权利要求1所述的利用分块布尔运算的图像匹配方法，其特征是，矩阵的压缩和布尔转换步骤具体为：在划分的每一个矩阵块中，以大小为S×S的矩阵作为一个单元，若单元中包含一个或多个特征点，则将此S×S矩阵转化为一个值1的矩阵元素，若单元中不包含特征点，则将此S×S矩阵转化为一个值0的矩阵元素，这样一个M×N的矩阵块就压缩为大小仅为(M/S)×(N/S)的布尔矩阵块，进而形成第一幅图像的特征点布尔矩阵A’，从而为下一步的矩阵匹配降低了难度，其中，S为正整数，根据图像大小选择其大小。

4.根据权利要求1所述的利用分块布尔运算的图像匹配方法，其特征是，两幅图像布尔格式的特征矩阵块之间的匹配步骤进一步具体为：在将所有的矩阵块压缩转换后，在第一幅图像中挑选含1最多的矩阵块((M/S)×(N/S))，这个矩阵块就作为标准块，任意选取含1多的K×K大小的块，K为正整数，根据图像大小任意选取，在第二幅图像的特征点布尔矩阵B’中进行矩阵匹配搜索，寻找出与之最相似的矩阵块((M/S)×(N/S))，然后再任意另选一块含1较的K×K大小的块，在B’中进行矩阵匹配搜索，直至找到最相似矩阵。如此循环，找出A’和B’中相似度最高的两个矩阵块。

5.根据权利要求1所述的利用分块布尔运算的图像匹配方法，其特征是，搜索最佳特征匹配对步骤进一步具体为：将布尔压缩后的矩阵块匹配中找到的两个矩阵块((M/S)×(N/S))恢复到无压缩状态，即恢复到M×N的大小，再次选择L×L大小的块在两个矩阵块中进行匹配搜索，将相似的范围压缩到L×L大小的范围内；在L×L的范围内，L为正整数，可根据图像大小任意选取，利用图像灰度值归一化互相关方法寻找特征点匹配对。

Images