CN102968785A - 一种基于多核dsp的高速并行图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于多核DSP的高速并行图像匹配方法，采用三层金字塔结构的匹配优化算法，包括首次粗匹配、再次粗匹配和精匹配三步骤；首次粗匹配通过局部区域逐像素点遍历得到较佳匹配点，再次粗匹配从首次粗匹配得到的较佳匹配点及其临近的三个像素点中选出较佳匹配点，精匹配从二次粗匹配得到的较佳匹配点及其相邻三个像素点中选出最佳匹配点；在每一匹配步骤中，采用基于图像圆投影向量的匹配方法，其计算量均分到多核DSP的各核中进行处理。本发明选用易于硬件实现的基于图像的圆投影向量的匹配方法，同时在硬件实现上，结合多核DSP处理器低功耗与低成本的双重优势，实现高速的并行图像匹配。

Description

一种基于多核DSP的高速并行图像匹配方法

技术领域

本发明属于图像匹配技术领域，具体涉及一种基于多核DSP的高速并行图像匹配方法。

背景技术

图像匹配技术是近年来迅速发展的图像处理技术之一，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。图像匹配就是从不同时间,不同传感器或不同视点获得的图像的空间匹配和叠加.这些图像经过必要的变换处理,使它们的空间位置、空间坐标达到匹配，叠加后获得互补信息,增加信息量的过程。

对于各种各样的匹配定位方法，按其利用图像信息的不同，一般可划分为两类，一类是直接基于图像灰度信息的匹配定位方法:另一类是基于图像特征空间信息的匹配定位方法。

基于特征的图像匹配首先提取图像信息的特征，然后以这些特征为模型进行匹配。提取各类图像中保持不变特征，如点特征(包括角点、高曲率点等)、直线段、边缘、轮廓、闭合区域以及统计特征不变量、重心等，作为两幅图像匹配的参考信息。经现有文献的查阅，中国专利号CN200910241543.1，名称是一种基于特征检测的图像匹配方法，其公开了一种利用基准图像基于harris函数的特征检测算法和最邻近匹配算法对测试图像进行匹配。由于很少部分的图像灰度信息被使用，所以这种方法对特征提取和特征匹配的错误更敏感，要求可靠地特征提取和保持特征的鲁棒性和一致性。

基于灰度的图像匹配方法：该类方法通常不需要图像进行复杂的预处理，而是利用图像本身具有灰度的一些统计特征量来衡量图像的相似程度，然后采用某种搜索方法，寻找使相似性度量最大或最小的变换模型的参数值。这些特性包括：灰度相关性、灰度组合，频域分析等。这种方法中由于和像素灰度值有密切关系，易受光照条件影响，且通常只能处理平移变换。但是其算法简单，易于实现，可并行处理，可以用硬件算法提高运算速度。

图像匹配过程具有很大的运算量，并且运算量主要为大量重复进行的乘法和加法运算，中国专利号：200710176506.8，名称是一种基于DSP的并行计算装置及系统，公开了一种采用DSP作为并行运算核心，解决并行计算设备的高成本，高占地面积，高功耗的问题。但传统的单核DSP本身具有运算低，硬件结构不可重构，开发升级周期长等不可移植等的缺点。美国专利文献号2002/0056030A1，名称为：shared program memry for use inmulticore DSP devices,提出了包含共享式的程序存储器的多核DSP能减少功耗开销。中国专利号：102073481.A，名称为：多核DSP可重构专用集成电路系统。公开了一种多核DSP可重构专用集成电路系统，以DSP多核阵列为核心，实现了灵活，高效的大规模运算。但是这些专利却未尝试把该方法运用到数字图像处理中。

发明内容

为了克服目前在图像匹配中存在大量重复的乘法运算，需要消耗大量的运算时间的问题，本发明提供了一种基于多核DSP的高速并行图像匹配方法，以实现高速的并行图像匹配。

一种基于多核DSP的高速并行图像匹配方法，采用多核DSP执行以下步骤：

首次粗匹配步骤：分别在原始待匹配图像和模板图像中，每隔d1个像素提取一个像素，得到第一粗匹配区域和第一粗匹配模板；采用第一粗匹配模板在第一粗匹配区域内逐像素点遍历，计算第一粗匹配模板与其在遍历像素点处覆盖的搜索子图之间的相关系数值，选取相关系数值最大者对应的遍历像素点为第一匹配点；在第一粗匹配区域内，以第一匹配点作为基准点确定相关系数值呈逐渐变大趋势的方位；

再次粗匹配步骤：在原始待匹配图像中，以第一匹配点为基准点，沿在首次粗匹配步骤中确定的相关系数呈逐渐变大趋势的方位，提取三个像素点，该三个像素点与第一匹配点一起构成边长为2像素的正方形四角点；计算模板图像与其分别在原始待匹配图像中第一匹配点以及对应提取的三个像素点处覆盖的搜索子图之间的相关系数值，选取其中相关系数值最大者对应的像素点为第二匹配点；

精匹配步骤：在原始待匹配图像中，以第二匹配点为基准点，在第一匹配点以及提取的三个像素点构成的区域内，选取三个像素点，该三个像素点与第二匹配点一起构成边长为1像素的正方形四角点；计算模板图像与其分别在原始待匹配图像中第二匹配点以及对应提取的三个像素点处覆盖的搜索子图之间的相关系数值，选取其中相关系数值最大者对应的像素点为最佳匹配点；

上述三匹配步骤中相关系数值的计算量均分到多核DSP的各核中进行处理。

所述相关系数值的计算方法为：

$f=\frac{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}[p_t\left(r\right)-\stackrel{\‾}{p_t}]\×[p_{s}m,n\left(r\right)-\stackrel{\‾}{p_{s}m,n}]}{\sqrt{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}{[p_t\left(r\right)-\stackrel{\‾}{p_t]}}^2}\·\sqrt{\underset{r=0}{\overset{R_S}{\mathrm{\Σ}}}{[p_{s}m,m\left(r\right)-\stackrel{\‾}{p_{s}m,m}]}^2}}$

其中，f为模板图像t与搜索子图s^m，n的相关系数值，p_t(r)是模板图像t的圆投影向量，

是搜索子图s^m，n的圆投影向量，

是模板图像t的圆投影均值向量，

是搜索子图s^m，n的圆投影均值向量，模板图像t与搜索子图s^m，n的相似系数的取值范围为[0,1]，R_t和R_s分别为模板图像和搜索子图的最大内切圆半径。

所述d1的取值要合适，当所匹配图像像素点越多，d1相应取较大值，一般可取2≤d1≤6。

本发明在算法改进中设计三层金字塔结构的匹配优化算法。整个流程分三步执行：首次粗匹配、二次粗匹配和精匹配。在硬件上包含n个核的多核DSP处理中，每次计算相关系数的时候，每个核心执行1/n的原始图像与1/n的模板直接的计算，n个核心计算完毕之后得到最终的匹配系数。

本发明针对目前在图像匹配中存在大量重复的乘法运算，需要消耗大量的运算时间的问题。在算法上，选用易于硬件实现的基于图像的圆投影向量的匹配方法，改进该原始的相对系数的计算算法，减少运算。同时在硬件实现上，结合多核DSP处理器低功耗与低成本的双重优势，采用专用的多核DSP做图像匹配，使得速度和稳定性能都得到了保证。

附图说明

图1为本发明圆投影匹配分析图，图1a为基准图，图1b为模板图，图1c为圆投影向量图；

图2为本发明金字塔结构的原理图；

图3为本发明多核DSP并行框图。

具体实施方式

以下结合附图和实施例对本发明做进一步的详细描述。

本发明提供了一种高速并行图像匹配的多核DSP处理方法，用以解决在基于图像圆投影向量的图像匹配中的用于硬件实现时候计算量大，速度慢的问题。

基于图像圆投影向量的匹配方法不需要对待处理图像进行复杂的预处理同时算法简单，易于实现，可并行处理，同时匹配里面的大量重复进行的乘法和加法运算该可以用硬件算法提高运算速度。本发明用基于图像圆投影向量的匹配方法，求灰度图像的圆投影向量之间的相关系数，遍历完成所有位置之后，得到一个最大的相关系数，与之对应的位置便为模板在原始图像中的位置。

图像的圆投影向量的定义：在圆投影匹配分析图，如图（1)所示。s为N×N的基准图，t为M×M的模板图，s^m，n为模板图覆盖下的搜索子图。用极坐标表示t，以图像的中心"O″作为原点。"O″在原坐标中的坐标为(α,β)，则圆投影向量p(r)定义为：

0≤r≤R    （1）

其中，

表示图像最大的内切圆的半径。图像的圆投影均值向量定义为

因为图像发生旋转时，任一半径圆上的像素也跟着做同心圆旋转，则表明圆投影p(r)是保持不变的。灰度图像的（圆投影向量）相关系数计算如下：

$f=\frac{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}[p_t\left(r\right)-\stackrel{\‾}{p_t}]\×[p_{s}m,n\left(r\right)-\stackrel{\‾}{p_{s}m,n}]}{\sqrt{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}{[p_t\left(r\right)-\stackrel{\‾}{p_t]}}^2}\·\sqrt{\underset{r=0}{\overset{R_S}{\mathrm{\Σ}}}{[p_{s}m,m\left(r\right)-\stackrel{\‾}{p_{s}m,m}]}^2}}---\left(2\right)$

其中，f为模板图像t与搜索子图s^m，n的相关系数值，p_t(r)是模板图像t的圆投影向量，是搜索子图s^m，n的圆投影向量，

是模板图像t的圆投影均值向量，

是搜索子图s^m，n的圆投影均值向量，模板图像t与搜索子图s^m，n的相似系数的取值范围为[0,1]，R_t和R_s分别为模板图像和搜索子图的最大内切圆半径。

上述投影法的不足在于运算量大，特别是涉及大量乘法运算，为提高算法执行效率，本发明提出基于多核DSP的金字塔匹配方法，实现快速图像匹配。

本发明实施例整个流程分三步执行：首次粗匹配、再次粗匹配和精匹配，如图2所示：

首次粗匹配过程中，首先在原始待匹配图像和模板图像这两个图像中，分别每隔4个像素提取出一个像素。这样在原始图像和模板图像的基础上分别产生了新的匹配图像和新的模板图像。用新模板在新匹配图像中逐像素点遍历，计算相关系数，求最佳的匹配点作为第一匹配点。比较第一匹配点的相邻四个像素点对应的相关系数，以第一匹配点作为基准点确定相关系数逐渐变大趋势的方位；参见图2，本实例中相关系数逐渐变大趋势的方位在以第一匹配点为起点的第四象限。

再次粗匹配过程中，根据第一步粗匹配中找到的最佳匹配点为起点，沿在首次粗匹配步骤中确定的相关系数存在逐渐变大趋势的方位即第四象限，提取三个像素点，该三个像素点与第一匹配点构成边长为2像素的正方形的四个角点；计算模板图像与其分别在原始待匹配图像中第一匹配点以及提取的三个像素点对应的搜索子图之间的相关系数值，选取其相关系数值最大者对应的像素点为第二匹配点；

最后执行精匹配，以第二步再次粗匹配中找到的最佳匹配点为起点，在第一匹配点以及提取的三个像素点的相关系数构成的区域内，选取三个像素点，该三个像素点与第二匹配点构成边长为1像素的正方形的四个角点；计算模板图像与其分别在原始待匹配图像中第二匹配点以及提取的三个像素点对应的搜索子图之间的相关系数值，选取其相关系数值最大者对应的像素点为最佳匹配点。

该改进的金字塔结构的算法验证了可行性之后，被移植到6核DSP中处理。采用多核的DSP处理，任务可以划分到多个内核，各个内核之间基本同时执行，即任务分配于各个时钟频率较低的核心内，多核处理器的性能远超过以3或者4倍时钟频率运行的单核器件。如图3所示，6核DSP从被其控制的一路DDR2 SDRAM中读取到原始图像和模板图像的图像数据，然后开始执行改进算法。在执行改进算法的步骤的粗匹配中，得到新的图像对，将每次遍历时候的计算过程平均分配到6个核心中，即每个核心完成整个计算过程的1/6的计算量，粗匹配执行完毕之后得到一个粗匹配的最佳匹配点。进行第二步的较粗匹配，只需要计算4次，得到一个较粗匹配的最佳匹配点。最终执行细匹配过程，只需要计算4次，得到最终的细匹配的最佳匹配点。在以上过程中，每次计算相关系数的时候，每个核心执行1/6的原始图像与1/6的模板直接的计算，6个核心计算完毕之后得到最终的匹配系数。

在完成了系统的软件算法改进，多核DSP的优化设计之后，对系统的性能做了如下的测试。在PC端运行，建立工程，并设置工程的参数，编写多核并行计算的代码；连接PC与DSP，载入程序然后开始运行程序。图4为在多核DSP上执行并行计算的现场。

本发明实施例采用软件算法改进，多核DSP的并行处理后，极大的提高了图像匹配的运算速度，同时运用了TI公司的6核的TMS320C6472，是也同时具备低功耗与低成本的双重优势。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多核DSP的高速并行图像匹配方法，采用多核DSP执行以下步骤：

首次粗匹配步骤：分别在原始待匹配图像和模板图像中，每隔d1个像素提取一个像素，得到第一粗匹配区域和第一粗匹配模板；采用第一粗匹配模板在第一粗匹配区域内逐像素点遍历，计算第一粗匹配模板与其在遍历像素点处覆盖的搜索子图之间的相关系数值，选取相关系数值最大者对应的遍历像素点为第一匹配点；在第一粗匹配区域内，以第一匹配点作为基准点确定相关系数值呈逐渐变大趋势的方位；

再次粗匹配步骤：在原始待匹配图像中，以第一匹配点为基准点，沿在首次粗匹配步骤中确定的相关系数呈逐渐变大趋势的方位，提取三个像素点，该三个像素点与第一匹配点一起构成边长为2像素的正方形四角点；计算模板图像与其分别在原始待匹配图像中第一匹配点以及对应提取的三个像素点处覆盖的搜索子图之间的相关系数值，选取其中相关系数值最大者对应的像素点为第二匹配点；

精匹配步骤：在原始待匹配图像中，以第二匹配点为基准点，在第一匹配点以及提取的三个像素点构成的区域内，选取三个像素点，该三个像素点与第二匹配点一起构成边长为1像素的正方形四角点；计算模板图像与其分别在原始待匹配图像中第二匹配点以及对应提取的三个像素点处覆盖的搜索子图之间的相关系数值，选取其中相关系数值最大者对应的像素点为最佳匹配点；

上述三匹配步骤中相关系数值的计算量均分到多核DSP的各核中进行处理。

2.根据权利要求1所述的基于多核DSP的高速并行图像匹配方法，其特征在于，所述相关系数值的计算方法为：

$f=\frac{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}[p_t\left(r\right)-\stackrel{\‾}{p_t}]\×[p_{s}m,n\left(r\right)-\stackrel{\‾}{p_{s}m,n}]}{\sqrt{\underset{r=0}{\overset{R_t}{\mathrm{\Σ}}}{[p_t\left(r\right)-\stackrel{\‾}{p_t]}}^2}\·\sqrt{\underset{r=0}{\overset{R_S}{\mathrm{\Σ}}}{[p_{s}m,m\left(r\right)-\stackrel{\‾}{p_{s}m,m}]}^2}}$

其中，f为模板图像t与搜索子图s^m，n的相关系数值，p_t(r)是模板图像t的圆投影向量，是搜索子图s^m，n的圆投影向量，

是模板图像t的圆投影均值向量，

是搜索子图s^m，n的圆投影均值向量，模板图像t与搜索子图s^m，n的相似系数的取值范围为[0,1]，R_t和R_s分别为模板图像和搜索子图最大的内切圆的半径。

3.根据权利要求1或2所述的基于多核DSP的高速并行图像匹配方法，其特征在于，所述2≤d1≤6。

Images