CN107680126B - 随机抽样一致性的图像匹配去噪处理系统及方法 - Google Patents

Abstract

本发明公开了一种随机抽样一致性的图像匹配去噪处理技术，主要解决目前图像匹配去噪方法很难满足实时处理场合应用要求的问题，其实现方案是：对两幅待匹配图像的特征点进行抽样，共抽取4对特征点，分别组成两个样本矩阵；根据第一样本矩阵，得到对称矩阵h；并根据对称矩阵h，得到逆矩阵h^‑1；再根据两个样本矩阵和逆矩阵h^‑1，得到单应矩阵H；然后根据单应矩阵H、两幅待匹配图像的其他特征点坐标向量和设定的阈值m，得到去噪后的特征点；最后根据设定的内点值n和去噪后的特征点数量，判断输出去噪后的特征点标记，完成图像匹配去噪或重新抽样。本发明大幅地降低了计算复杂度，易于工程实现，可用于图像三维重建和图像拼接。

Description

随机抽样一致性的图像匹配去噪处理系统及方法

技术领域

本发明属于数字图像处理技术领域，特别涉及一种图像匹配去噪处理系统及方法，可用于图像三维重建和图像拼接。

背景技术

在图像拼接或图像三维重建系统中，图像匹配是必要的前期环节，在图像匹配过程中，根据图像的特征点做图像匹配，通常得到的结果中存在一定比例的误匹配点，这些误匹配点会直接影响图像匹配的精度，甚至导致图像匹配失败，从而影响后续的高级处理。所以，滤除以误匹配点为代表的噪声是数字图像处理领域中一项十分重要的工作。

目前提出的效果良好的图像匹配去噪方法很多基于软件方法实现，如曲天伟在《改进的RANSAC算法在图像配准中的应用》中提出的改进的RANSAC方法，这种方法在软件实现过程中，对于估计模型计算单应矩阵需要求解8阶线性方程，计算非常复杂，很难满足实时图像匹配场合的要求。目前提出的基于硬件实现的图像去噪方法，如Zahra Hossein-nejad在《Image Registration based on SIFT Features and Adaptive RANSACTransform》中提出的自适应RANSAC变换方法，该方法由于在实现过程中对抽样估计模型使用了简化的单应矩阵，使得其适用性有限，特别是当待匹配的两张图像之间的变换关系为透视变换时，该方法无法完成图像匹配去噪。

发明内容

本发明的目的在于提供一种随机抽样一致性的图像匹配去噪处理系统及方法，旨在解决目前图像匹配去噪软件算法存在的计算复杂，且难以满足实时图像处理场合应用要求的问题，和目前的硬件实现算法使用范围存在局限的问题。

为实现上述目的，本发明随机抽样一致性的图像匹配去噪处理系统，包括：

抽样单元，用于输入待匹配的图像A与待匹配图像B的成对特征点坐标并缓存，对缓存的特征点进行抽样，并将这两幅待匹配图像的抽样特征点的坐标向量分别组成的第一样本矩阵a与第二样本矩阵b，缓存这两个矩阵，以待后续单元使用；

单应矩阵计算单元，用于将抽样单元缓存的第一样本矩阵a与第二样本矩阵b通过矩阵特征值分解和矩阵乘法计算出单应矩阵H并缓存，以待后续单元使用；

一致性比较单元，用于将单应矩阵计算单元缓存的单应矩阵H与待匹配图像A中的其他特征点坐标向量相乘，并将相乘结果与待匹配的图像B中对应的特征点坐标向量作差，差值d：

如果d＜阈值m，则标记特征点为内点，记录内点数量k，若k≥内点值n，则计算结束，输出内点标记；

如果d≥阈值m，将其忽略。

所述阈值m和内点值n，根据工程的实际情况设定。

为实现上述目的，本发明随机抽样一致性的图像匹配去噪处理方法，包括：

1)对两幅待匹配的图像A和待匹配图像B的特征点进行抽样，共抽取4对特征点，用这两幅待匹配图像的特征点坐标向量分别组成第一样本矩阵a和第二样本矩阵b；

2)将第一样本矩阵a乘以其转置，得到对称矩阵h；

3)将对称矩阵h进行特征值分解，得到逆矩阵h^-1；

4)用第二样本矩阵b乘以第一样本矩阵a的转置，再乘以对称矩阵h的逆矩阵h^-1，得到单应矩阵H；

5)用单应矩阵H与待匹配图像A中的其他特征点坐标向量相乘，并将相乘的结果与待匹配图像B中对应的特征点坐标向量作差，得到差值d；

6)根据工程的实际情况，设定阈值m，将步骤5)中的差值d与阈值m进行比较：

若差值d＜m，则标记特征点为内点，即去噪后的特征点，并记录内点数量k，执行步骤7)；

若差值d≥m，则将其忽略；

7)根据工程的实际情况，设定内点值n，将步骤6)中记录的内点数量k与内点值n进行比较：

若内点数量k≥n，则结束计算，输出内点标记；

若内点数量k＜n，则返回步骤1)，重新抽样。

本发明相比于现有技术，具有以下优点：

1、本发明由于在抽样过程中，将输入特征点平均分为4个区域，并在每个区域随机抽取一个特征点，既能确保每次的抽样具有代表整张图像的性质，又减少了对同一个样本的重复抽取，且实现过程简单。

2、本发明由于使用矩阵的特征值分解计算单应矩阵H，使得计算复杂度大幅降低，易于工程实现。

3、本发明由于所有功能完全使用FPGA逻辑资源实现，使得实现过程不需要依赖任何外部存储器，易于移植。

4、本发明由于采用3级流水线设计，并且发挥了硬件实现的并行性优势，使得系统提高了处理速度，根据理论计算，本发明时钟频率在100Mhz情况下，对于小于等于1280x720分辨率的输入图像，其特征点数量在小于等于2832时，处理速度达到了30fps。

附图说明

图1是本发明的随机抽样一致性的图像匹配去噪处理系统结构示意图；

图2是本发明系统中的抽样单元结构示意图；

图3是本发明系统中的单应矩阵计算单元结构示意图；

图4是本发明系统中的一致性比较单元结构示意图；

图5是本发明随机抽样一致性的图像匹配去噪处理方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

针对目前图像匹配去噪软件算法存在计算复杂，很难满足实时处理场合应用要求的问题，和硬件算法使用范围存在局限的问题，本发明提出一种随机抽样一致性的图像匹配去噪处理系统及实现方法，相比于传统算法在保证算法精度的前提下，可以实时处理，并且易于实现。

参照图1，本发明实施例的随机抽样一致性的图像匹配去噪处理系统，包括抽样单元1、单应矩阵计算单元2及一致性比较单元3，这三个单元依次连接。其中：

抽样单元1，用于对输入的两幅待匹配图像A和待匹配图像B成对的特征点坐标进行缓存并抽样，再用待匹配图像A的抽样特征点坐标向量组成第一样本矩阵a，用待匹配图像B的抽样特征点坐标向量组成第二样本矩阵b，第一样本矩阵a和第二样本矩阵b均为3行4列，第一行与第二行是抽样特征点的横坐标和纵坐标，第三行固定为1，将这两个矩阵缓存在两个3行4列的寄存器阵列中，以待后续单元使用；

单应矩阵计算单元2，用于使用串行相乘相加的方法将抽样单元1缓存的第一样本矩阵a与其转置相乘，得到对称矩阵h；使用串行相乘相加的方法将抽样单元1缓存的第二样本矩阵b与第一样本矩阵a的转置相乘，得到过渡矩阵ba^T；然后使用对角线元素相乘相加的方法计算对称矩阵h的行列式值|h|，使用二阶子矩阵对角线元素相乘相加的方法计算对称矩阵h的伴随矩阵h^*；再使用串行相除的方法将伴随矩阵h^*与行列式值|h|相除，得到逆矩阵h^-1；最后使用串行相乘相加的方法将逆矩阵h^-1与过渡矩阵ba^T相乘，得到单应矩阵H，并将其缓存在3行3列的寄存器阵列中，以待后续单元使用。

一致性比较单元3，用于使用串行相乘相加的方法将单应矩阵计算单元2计算的单应矩阵H与第一幅待匹配图像A中的其他特征点坐标向量相乘，得到坐标向量v，再将坐标向量v与第二幅待匹配图像B中对应的特征点坐标向量作差，得到差值d，通过将该差值d与设定阈值m比较，输出去噪后的特征点标记。

参照图2，所述抽样单元1，包括图像特征点缓存模块11、抽样缓存模块12。该图像特征点缓存模块11，将输入的第一幅待匹配图像A与第二幅待匹配图像B成对的特征点坐标进行缓存，并将其平均划分为4个区域；该抽样缓存模块12，在图像特征点缓存模块11中的每个特征点缓存区域随机抽取一对特征点，共抽样4对特征点，再用第一幅待匹配图像A的抽样特征点坐标向量组成第一样本矩阵a，用第二幅待匹配图像B的抽样特征点坐标向量组成第二样本矩阵b，这两个矩阵a和b均为3行4列，且第一行与第二行是抽样特征点的横坐标和纵坐标，第三行固定为1，这两个矩阵分别缓存在两个3行4列的寄存器阵列中。

参照图3，所述单应矩阵计算单元2，包括矩阵乘法模块21、矩阵行列式计算模块22、伴随矩阵计算模块23、矩阵除法模块24、矩阵乘法模块25和矩阵乘法模块26。该矩阵乘法模块21，接收抽样缓存模块12缓存的第一样本矩阵a，使用串行相乘相加的方法将第一样本矩阵a与其转置相乘，得到对称矩阵h并缓存在3行3列的寄存器阵列中，以待后续模块使用；该矩阵行列式计算模块22，用于接收矩阵乘法模块21缓存的对称矩阵h，使用对角线相乘相加的方法计算对称矩阵h的行列式值|h|，并将其缓存在1个寄存器中，以待后续模块使用；该伴随矩阵计算模块23，接收矩阵乘法模块21缓存的对称矩阵h，使用二阶子矩阵相乘相加的方法计算对称矩阵h的伴随矩阵h^*，并将其缓存在3行3列的寄存器阵列中，以待后续模块使用；该矩阵除法模块24，接收矩阵行列式计算模块22缓存的行列式值|h|和伴随矩阵计算模块23缓存的伴随矩阵h^*，使用串行相除的方式计算伴随矩阵h^*除以行列式值|h|的商矩阵，并将其缓存在3行3列的寄存器阵列中，以待后续模块使用，该商矩阵即逆矩阵h^-1；该矩阵乘法模块25，接收抽样缓存模块12缓存的第一样本矩阵a与第二样本矩阵b，使用串行相乘相加的方法将第二样本矩阵b与第一样本矩阵a的转置相乘，得到过渡矩阵ba^T，并将其缓存在3行3列的寄存器阵列中，以待后续模块使用；该矩阵乘法模块26，接收矩阵乘法模块25缓存的过渡矩阵ba^T和矩阵除法模块24缓存的逆矩阵h^-1，使用串行相乘相加的方法将过渡矩阵ba^T与逆矩阵h^-1相乘，得到单应矩阵H，并将其缓存在3行3列的寄存器阵列中。

参照图4，所述一致性比较单元3，包括矩阵乘法模块31、阈值比较模块32。该矩阵乘法模块31，将矩阵乘法模块26缓存的单应矩阵H与图像特征点缓存模块11中缓存的待匹配图像A的其余特征点坐标向量的相乘，得到坐标向量v，并缓存在1行2列的寄存器阵列中，以待后续模块使用；该阈值比较模块32，将矩阵乘法模块31缓存的坐标向量v与第二幅待匹配的图像B中对应的特征点坐标向量作差，得到差值d，将差值d与设定阈值m比较：

如果d＜阈值m，则标记特征点为内点，该内点即去噪后的特征点，记录内点数量k，若k≥内点值n，则计算结束，输出内点标记，完成图像匹配去噪；

如果d≥阈值m，将该特征点忽略。

所述阈值m和内点值n，根据工程的实际情况设定。

上述所有模块均使用硬件描述语言VerilogHDL实现。

参照图5，本发明随机抽样一致性的图像匹配去噪处理方法，其实现步骤如下：

步骤1，构造抽样矩阵。

1a)将第一幅待匹配的图像A与第二幅待匹配图像B成对的特征点坐标存储在图像特征点缓存模块11中的寄存器阵列中，并将其平均分划分为4个区域；

1b)从每个图像特征点缓存区域抽取一对特征点，共抽取4对特征点；

1c)用第一幅待匹配图像A的抽样特征点坐标向量组成第一样本矩阵a，用第二幅待匹配图像B的抽样特征点坐标向量组成第二样本矩阵b，这两个样本矩阵a和b均为3行4列，第一行与第二行是抽样特征点的横坐标和纵坐标，第三行固定为1，这两个样本矩阵a和b分别存储在抽样缓存模块12中的2个3行4列的寄存器阵列中。

步骤2，计算对称矩阵h。

根据第一样本矩阵a，以串行相乘相加的方法，计算得到对称矩阵h＝a×a^T，并将其存储在矩阵乘法模块21中的3行3列的寄存器阵列中，^T表示矩阵转置。

步骤3，计算逆矩阵h^-1。

3a)根据对称矩阵h，以串行提取并相乘相加的方法，计算得到行列式值:|h|＝h₁₁×h₂₂×h₃₃+h₁₃×h₂₁×h₃₂+h₃₁×h₁₂×h₂₃-h₁₃×h₂₂×h₃₁-h₁₂×h₂₁×h₃₃-h₁₁×h₂₃×h₃₂，并将其缓存在矩阵行列式计算模块22中的寄存器中，其中h₁₁～h₃₃表示对称矩阵h的第一行第一列至第三行第三列的元素；

3b)根据对称矩阵h，以提取二阶子矩阵的方法，对二阶子矩阵串行提取对角线元素并相乘相加，计算得到伴随矩阵h^*，并将其缓存在伴随矩阵计算模块23中的3行3列寄存器阵列中；

3c)根据伴随矩阵h^*和行列式值|h|，以串行相除的方法，计算得到逆矩阵h^-1＝h^*÷|h|，并将其缓存在矩阵除法模块24中的3行3列的寄存器阵列中。

步骤4，计算单应矩阵H。

4a)根据两个样本矩阵a和b，以串行相乘相加的方法，计算得到过渡矩阵ba^T＝b×a^T，其中^T表示矩阵转置；

4b)根据过渡矩阵ba^T和逆矩阵h^-1，以串行相乘相加的方法，计算得到单应矩阵H＝ba^T×h^-1，并将其存储在矩阵乘法模块26中的3行3列的寄存器阵列中。

步骤5，坐标向量作差。

5a)将单应矩阵H与第一幅待匹配图像A中的其他特征点坐标向量u相乘，计算得到坐标向量v＝H×u；

5b)将坐标向量v与第二幅待匹配图像B中对应的特征点坐标向量w作差，计算得到差值

步骤6，根据差值确定去噪后的特征点。

根据工程的实际情况，设定阈值m，将步骤5中的差值d与阈值m进行比较：

若d＜m，则标记特征点为内点，即去噪后的特征点，并记录内点数量k，执行步骤7；

若d≥m，则将其忽略。

步骤7，判断输出。

根据工程的实际情况，设定内点值n，将步骤6中记录的内点数量k与内点值n进行比较：

若k≥n，则结束计算，输出内点标记，图像匹配去噪完成；

若k＜n，则返回步骤1，重新抽样。

本发明的效果可通过以下测试进一步说明：

1.测试条件：

计算机配置环境为Intel Core i7-7700hq 2.8Ghz，内存8GB，操作系统Windows10，Mentor Graphics公司仿真软件Modelsim10.4c版本。

2.测试内容：

本发明选择不同分辨率、不同特征点数目的测试图片，在时钟100MHz的条件下，进行测试，结果如表1。

表1 对不同图片的测试结果

测试图片	分辨率	特征点数	最高帧率
				basmati	265x175	579	237fps
scene	512x384	1021	115fps
				lab	858x570	2255	56fps
books	718x800	2510	53fps
				bird	1280x720	2832	45fps

从表1可以看出，对于分辨率小于等于1280x720、特征点数目小于2832的输入图片，本发明均能够以大于30fps的处理速度完成图像匹配去噪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种随机抽样一致性的图像匹配去噪处理系统，其特征在于，包括：

抽样单元(1)，用于输入待匹配的图像A与待匹配图像B成对的特征点坐标并缓存，对缓存的特征点进行抽样，再将这两幅待匹配图像的抽样特征点的坐标向量分别组成的第一样本矩阵a与第二样本矩阵b并缓存，以待后续单元使用；

单应矩阵计算单元(2)，用于将抽样单元(1)缓存的第一样本矩阵a与第二样本矩阵b通过矩阵特征值分解和矩阵乘法计算出单应矩阵H并缓存，以待后续单元使用；所述的单应矩阵计算单元(2)，包括：

矩阵乘法模块(21)，用于接收抽样缓存模块(12)缓存的第一样本矩阵a，将第一样本矩阵a与其转置相乘，得到对称矩阵h并缓存，以待后续模块使用；

矩阵行列式计算模块(22)，用于接收矩阵乘法模块(21)缓存的对称矩阵h，计算对称矩阵h的行列式值|h|并缓存，以待后续模块使用；

伴随矩阵计算模块(23)，用于接收矩阵乘法模块(21)缓存的对称矩阵h，计算对称矩阵h的伴随矩阵h^*并缓存，以待后续模块使用；

矩阵除法模块(24)，用于接收矩阵行列式计算模块(22)缓存的行列式值|h|和伴随矩阵计算模块(23)缓存的伴随矩阵h^*，计算伴随矩阵h^*除以行列式值|h|的商矩阵并缓存，以待后续模块使用，该商矩阵即为逆矩阵h^-1；

矩阵乘法模块(25)，用于接收抽样缓存模块(12)缓存的第一样本矩阵a与第二样本矩阵b，再将第二样本矩阵b与第一样本矩阵a的转置相乘，得到过渡矩阵ba^T并缓存，以待后续模块使用；

矩阵乘法模块(26)，用于接收矩阵乘法模块(25)缓存的过渡矩阵ba^T和矩阵除法模块(24)缓存的逆矩阵h^-1，将过渡矩阵ba^T与逆矩阵h^-1相乘，得到单应矩阵H并缓存；

一致性比较单元(3)，用于将单应矩阵计算单元(2)缓存的单应矩阵H与待匹配图像A中的其他特征点坐标向量相乘，并将相乘结果与待匹配的图像B中对应的特征点坐标向量作差，得到差值d，通过将该差值d与设定阈值m比较，输出去噪后的特征点标记。

2.如权利要求1所述的系统，其特征在于，所述的抽样单元(1)，包括：

图像特征点缓存模块(11)，用于将输入待匹配的图像A与待匹配的图像B的成对的特征点坐标缓存，并将其平均分为4个区域，以待后续模块使用；

抽样缓存模块(12)，用于在图像特征点缓存模块(11)中的每个特征点缓存区域随机抽取一对特征点，共抽样4对特征点，用待匹配图像A的抽样特征点坐标向量组成个第一样本矩阵a，用待匹配图像B的抽样特征点坐标向量组成第二样本矩阵b，并缓存这两个矩阵。

3.如权利要求1或2所述的系统，其特征在于，所述的一致性比较单元(3)，包括：

矩阵乘法模块(31)，用于将矩阵乘法模块(26)缓存的单应矩阵H与图像特征点缓存模块(11)中缓存的待匹配图像A的其余特征点坐标向量的相乘，并缓存相乘后的向量，以待后续模块使用；

阈值比较模块(32)，用于将矩阵乘法模块(31)缓存的结果向量与待匹配的图像B中对应的特征点坐标向量作差。

4.一种随机抽样一致性的图像匹配去噪处理方法，其特征在于，包括：

1)对两幅待匹配的图像A和待匹配图像B的特征点进行抽样，抽取4对特征点，用这两幅待匹配图像的特征点坐标向量分别组成第一样本矩阵a和第二样本矩阵b；

2)将第一样本矩阵a乘以其转置，得到对称矩阵h；

3)将对称矩阵h进行特征值分解，得到逆矩阵h^-1；

4)用第二样本矩阵b乘以第一样本矩阵a的转置，再乘以对称矩阵h的逆矩阵h^-1，得到单应矩阵H；

5)将单应矩阵H与待匹配图像A中的其他特征点坐标向量相乘，并将相乘的结果与待匹配图像B中对应的特征点坐标向量作差，得到差值d；

6)根据工程的实际情况，设定阈值m，将步骤5)中的差值d与阈值m进行比较：

若d＜m，则标记特征点为内点，即去噪后的特征点，并记录内点数量k，执行步骤7)；

若d≥m，则将其忽略；

7)根据工程的实际情况，设定内点值n，将步骤6)中记录的内点数量k与内点值n进行比较：

若k≥n，则结束计算，输出内点标记，图像匹配去噪完成；

若k＜n，则返回步骤1)，重新抽样。

Images