CN111967475A - 一种基于遥感影像sift处理的软件硬件化方法 - Google Patents

Abstract

本发明公开了一种基于遥感影像SIFT处理的软件硬件化方法。本方法为：1)对SIFT算法进行修改，即删除SIFT算法中所调用的OpenCV库函数，并使用C语言重新编写该OpenCV库函数；2)利用修改后的SIFT算法建立SIFT图像尺度空间、检测图像尺度空间极值点、关键点定位、确定关键点方向、关键点描述；其中，采用高斯尺度空间和基于差分高斯DoG尺度空间的层次滤波策略创建SIFT图像尺度空间；将高斯尺度空间中相邻的图像进行相减所得图像重新构造的金字塔作为DoG金字塔，所述图像尺度空间极值点为DoG尺度空间中的局部极值点，根据DoG尺度空间中的局部极值点确定关键点、关键点方向和关键点描述。

Description

一种基于遥感影像SIFT处理的软件硬件化方法

技术领域

本发明涉及航空航天遥感、计算机图像以及摄影测量等领域，具体涉及一种基于遥感影像SIFT处理的软件硬件化方法。

背景技术

在无人机遥感、航空影像处理以及摄影测量等领域，对获取到的航空影像进行图像匹配、拼接等处理时，传统方法是应用基于PC平台软件的SIFT算法来完成。随着摄影技术和存储技术的发展，航空影像的清晰度与图像的尺寸正以极快的速度增加，这也意味着图像处理过程的耗时增加，效率降低。目前利用传统的PC设备不能满足航空影像处理的效率需求，在处理速度、实时临场处理等方面难以达到目前无人机遥感领域的应用要求。

现有的航空遥感图像处理技术中，SIFT算法经过多年的改进和反复验证，已经成为一种较为成熟且应用广泛的图像处理算法，可用于图像匹配、拼接、融合等等。SIFT算法是由

D.G.Lowe在1999年首次提出，并在2004年对其做了一定的完善与总结。该算法具有很强的鲁棒性，提取的特征点在图像发生平移、旋转以及仿射变换等情况下也能够保持一定的稳定性，甚至对于不同角度下拍摄的图像也具有稳定可靠的处理能力，其对于光线、噪声等微视角改变的容忍度相当高。由于这些特性，SIFT算法应用相当广泛。但SIFT算法需要对每个特征点构造最高达128维的特征向量，算法复杂度较高，虽然后续经过H Bay、YanKe、郑永斌等人改进下的SIFT算法的速度得到了一定提升，但在海量的遥感影像的处理需求下，仍会带来巨大的运算量。

针对SIFT算法运算量较大的问题，国内外已有包括Luo Y、郑顺义等多位研究人员开发基于DSP嵌入式平台的SIFT算法。目前的第六代DSP芯片C66x具有性能强大的浮点运算能力，同时支持C语言编程，为SIFT算法的移植和高效运行奠定了基础。

发明内容

由于遥感数据量日益庞大，对遥感影像的快速、准确、实时匹配已经成为了迫切需要解决的问题，UAV机上实时快速影像处理将是航空影像处理领域上一个跨越式的发展，但从算法方面提高遥感图像的匹配速度与精度是非常有限的，而从硬件方面——通过对SIFT算法进行硬件化加速，可以实现UAV机上快捷影像处理。因此为了实现遥感UAV机上实时处理，以及提高处理遥感影像的效率，本发明提出了一种基于遥感影像SIFT处理的软件硬件化方法。

本发明是一种提高航空遥感影像处理速度的新型技术手段，由于图像处理主要是关于数字信号的运算，因此利用DSP以数字的方式来处理模拟信号的特点，可以获得强大的信息处理能力和运算速度，相比于基于传统PC设备的SIFT算法，本发明改善了实时性、提高了计算效率、实现了UAV机上的航空遥感影像的实时快速处理。本发明所采用的多核DSP硬件平台不同于传统的PC设备，在将SIFT算法编译为DSP硬件核(软件硬件化过程)后，它能够在硬件系统里完成加速，以嵌入式系统完成相关算法的软件硬件化过程，最终可以实现航空影像在UAV机上的图像匹配、识别、拼接等操作的实时快捷处理。

为实现以上目的，本发明使用以下技术方案：

一种基于遥感影像SIFT处理的软件硬件化方法，其步骤包括：

1)对SIFT算法进行修改，即删除SIFT算法中所调用的OpenCV库函数，并使用C语言重新编写该OpenCV库函数；

2)利用步骤1)修改后的SIFT算法建立SIFT图像尺度空间、检测图像尺度空间极值点、关键点定位、确定关键点方向、关键点描述；其中，采用高斯尺度空间和基于差分高斯DoG尺度空间的层次滤波策略创建SIFT图像尺度空间；将高斯尺度空间中相邻的图像进行相减所得图像重新构造的金字塔作为DoG金字塔，所述图像尺度空间极值点为DoG尺度空间中的局部极值点，根据DoG尺度空间中的局部极值点确定关键点、关键点方向和关键点描述。

进一步的，寻找DoG尺度空间中的局部极值点的方法为：将图像中的每个像素点A在DoG尺度空间中的点a与该像素点A在DoG尺度空间中同一尺度空间的图像域的相邻点进行比较、以及与该像素点A在DoG尺度空间中相邻尺度空间的尺度域的所有相邻点进行比较，当其大于或者小于所有相邻点时，则该点a为局部极值点。

进一步的，所述SIFT特征描述向量为关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息。

进一步的，修改后的SIFT算法运行于八核DSP开发板，其主处理器为TMS320C6678。

进一步的，通过对局部极值点进行三维二次函数拟合进行关键点定位。

进一步的，根据局部极值点的邻域像素的梯度方向分布特性确定关键点方向。

进一步的，对关键点周围图像区域分块，然后根据分块的块内梯度直方图生成SIFT特征描述向量，作为关键点描述。

一种图像处理方法，其步骤包括：主核对待处理图像进行分片处理，每个从核处理一张分片；所有从核处理完毕后发送处理完成消息给主核，主核进行数据收集并通过TCP/IP协议发送给上位机。

本发明的DSP硬件平台包括两个主要部分：软件部分、硬件部分。其中硬件部分包括：八核DSP开发板，其中主处理器为TMS320C6678；软件部分包括：在CCS(Code ComposerStudio)平台上进行硬件化修改后的SIFT算法、SIFT算法多核并行处理工程包。本发明所使用的SIFT算法去除了原始SIFT算法中所调用的OpenCV库函数，并使用C语言进行了重新实现，以此实现硬件化修改。

所述的SIFT算法的计算流程包括：建立图像尺度空间、检测图像尺度空间极值点、关键点定位、确定关键点方向、关键点描述。SIFT图像尺度空间在实现时采用高斯尺度空间(Gauss Scale Space)和基于差分高斯DoG(Difference of Gaussian)尺度空间的层次滤波策略创建SIFT图像尺度空间。在获得高斯尺度空间后，用其相邻的图像进行相减，得到所有图像重新构造的金字塔就是DoG金字塔，其中的关键点是由DoG尺度空间的局部极值点组成的。为了寻找尺度空间的极值点，每个像素点要和其图像域(同一尺度空间)和尺度域(相邻的尺度空间)的所有相邻点进行比较，当其大于(或者小于)所有相邻点时，这个点就是极值点。此时通过对极值点进行三维二次函数拟合，可以精确确定关键点的位置，而后对于在DoG金字塔中检测出的极值点，利用其邻域像素的梯度方向分布特性，可以确定每个关键点的方向参数。最后通过对关键点周围图像区域分块，计算块内梯度直方图，可生成具有独特性的向量，此向量使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8＝128维向量表征，最终得到SIFT特征描述向量。

以上所述SIFT算法，经CCS(Code Composer Studio)环境下的硬件化修改，包括重写、编译和仿真后，即可将SIFT算法移植入多核DSP硬件平台。重写的主要代码部分主要包括OpenCV库函数剔除，并基于C语言进行自主实现。

本发明所采用的硬件平台是TMS320C6678，该芯片属于推出的TMS320C66x系列第六代多核DSP，性能超过业界大部分DSP内核，TMS320C6678在单芯片上集成8个1.25GHZ内核，一片8核的TMS320C6678运算速度高达320GMAC(定点运算)和160GFLOP(单精度浮点并行运算)，比较适合应用于超高性能以及低功耗的可编程计算。

所述的DSP硬件平台上所运行的SIFT算法基于能在Visual Studio上完整运行的RobHess版本SIFT代码，将代码移植到CCS平台上后与PC上的Visual Studio中的程序进行运行结果和运行效率的对照，并进行基于C6678的代码优化。代码优化旨在利用TMS320C66x采用的基于增强VLIW(Very Long Instruction Word，超长指令集)的ISA架构，以及C66x内的双路.L/.S/.M/.D功能单元，实现软件流水技术，软件流水技术的实现方式包括：使用内联函数替代复杂的C语言代码；减少冗余循环；使用restrict关键字修饰指针；启用#pragma伪指令。系统运行流程为：基于TCP/IP协议，DSP接收到电脑端发来的待处理图像；TMS320C6678平台主核对输入图像进行分片处理，每个内核(包括主核和从核)处理一张图片分片；然后主核等待所有从核处理结束的信号，这期间主核类同于从核与其他从核进行同样的处理；所有从核处理完毕，发送处理完成消息给主核，主核进行数据收集并通过TCP/IP协议发送给上位机。CCS平台上的代码经优化后与PC上的Visual Studio中的程序运行结果一致性较高，且CCS平台上代码运行的效率达到了工程需求。

所述的SIFT算法多核处理系统基于SYS/BIOS系统，其提供了抢占式多线程，硬件抽象，实时分析和配置工具，优化的内存分配和堆栈管理，能够最大限度地减少对内存和CPU的要求。SIFT算法的并行实现采用了主从模式，包括两个工程主核(Master)工程和从核(Slave)工程。主核发送给从核的消息主要包括各个从核需要处理的图像分片的首地址；从核给主核发送处理完毕的消息，并将提取出的图像特征点描述子信息列表存储在外部存储器。

经实验验证，多核处理系统相对于单核，拥有更高的处理效率。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明对SIFT图像匹配算法进行全面的优化，对于算法内部调用的OpenCV计算机视觉库进行剔除，并完全基于C语言进行自主实现，使其能够全部移植到DSP平台，使得SIFT算法可以完整地发挥其功能，并且可以实现稳定运行和硬件加速，以此可构建应急数据的现场实时快捷处理系统。

2、本发明基于T多核C66XX系列DSP，将SIFT算法移植入TMS320C6678芯片进行软件硬件化并应用于遥感领域属国内首次。依据对TMS320C6678DSP内核架构的完全分析，针对性设计了本系统包括多核并行处理模型、主从模式下的核间通信等硬件结构，使多核系统的处理效率达到最大化。

3、本发明对DSP硬件平台的内核进行了硬件加速优化，降低函数指针之间的关联性、将算法的子函数嵌入主程序和展开并简化多层循环，使得代码能够充分利用软件流水技术，最大化使用硬件计算资源。

4、本发明的功耗和精度均达到了UAV机载进行遥感作业的要求。DSP核心板的典型值电压为9.17V、典型值电流为961.6mA、典型值功耗为8.82W；DSP整板的典型值电压为11.97V、典型值电流为1092mA、典型值功耗为13.07W。提取的遥感图像特征点描述子信息准确率达到99.9％。

如今的遥感与摄影测量领域，轻小型无人机正在飞速发展，在国家重灾害应急、地理国情监测、国土测绘、城市建设规划、农业病虫害监测等领域的应用越来越广泛。将传统基于PC的无人机影像数据处理软件进行硬件化，将算法完整地移植到机上的嵌入式硬件平台，并且使用多核并行处理手段进行硬件加速，这不但提高了整体作业效率，同时对于发生临时突发事件时的临场应急处理也具有非常大的优势。本发明涉及的DSP硬件平台具有低能耗、高性能、轻小型的特点，因此非常适合搭载于小型无人机上进行实时数据处理。

本发明可广泛应用于遥感领域，基于DSP硬件平台，将SIFT算法编译为硬件核，在硬件系统里完成加速，同时外围以嵌入式系统作为系统管理与调度完成相关算法的软件硬件过程。待匹配图像通过千兆网传入DSP平台，在DSP内部进行SIFT图像特征点提取，最后将提取的特征点信息通过千兆网发送给计算机。可以实现UAV机上实时处理的跨越，满足实时数据处理的需求。

附图说明

图1为本发明实施案例提供的本系统软硬件工作流程图；

图2为本发明实施案例提供的本系统软件部分设计流程图；

图3为本发明实施案例提供的本系统硬件部分结构图；

图4为本发明实施案例提供的本系统软件部分代码优化流程图；

图5为本发明实施案例提供的本系统软件部分SIFT算法并行处理流水线流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，本系统的软件部分和硬件部分进行分别设计。软件部分设计流程包括：以PC端SIFT算法程序为基础针对DSP平台的特点对SIFT算法进行适配性修改并移植、用样图进行仿真测试、完成DSP端的SIFT算法编写、进行多核工程搭建以实现并行处理；硬件部分设计流程包括：选取高性能的DSP平台、DSP平台与PC端进行连接、实现数据传输。

请参阅图2，以下对本发明的软件部分进行描述。

本系统软件部分包括在CCS(Code Composer Studio)平台上进行硬件化适配性修改后的SIFT算法、SIFT算法多核并行处理工程包。本系统的软件部分在PC端的CCS平台上进行开发。

首先需配置SIFT算法在PC端的仿真环境。本系统所建立的DSP工程包括头文件、库文件、源文件、.CCXML文件(目标配置文件)和.CMD文件。

进一步地，需对SIFT算法进行针对DSP硬件平台的硬件化适配和调整，对所有调用的OpenCV函数基于C语言进行重写。

参阅图3，本系统的硬件部分为八核DSP开发板，其中主处理器为TMS320C6678。

参阅图4，进行基于C6678的代码优化，并实现软件流水技术(参阅图5)。软件流水技术的具体实现方式如下：使用内联函数替代复杂的C语言代码，如求绝对值函数int_abs(int src)和int_abs2(int src)，加法指令int_sadd(int src1,int src2)，减法指令int_ssub(int src1,int src2)；减少冗余循环；使用restrict关键字修饰指针；启用#pragmaMUST_ITERATE(min,max,multiple)伪指令，放在循环体之前，告知开发板某段程序确定的循环次数。

进一步地，基于SYS/BIOS操作系统实现多核并行处理模型。为提高算法执行效率，本系统采用主从模式的多核并行处理模型。

参阅图3，开发板上有自带的仿真电路以及外部仿真器接口，将安装有CCS的PC通过USB连接线连接至开发板的XDS200mini模块，通过以太网接口用网线连接即可进行在线仿真调试。PC端的Code Composer Studio软件集成开发环境用于程序的调试、加载、中断和显示等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于遥感影像SIFT处理的软件硬件化方法，其步骤包括：

1)对SIFT算法进行修改，即删除SIFT算法中所调用的OpenCV库函数，并使用C语言重新编写该OpenCV库函数；

2)利用步骤1)修改后的SIFT算法建立SIFT图像尺度空间、检测图像尺度空间极值点、关键点定位、确定关键点方向、关键点描述；其中，采用高斯尺度空间和基于差分高斯DoG尺度空间的层次滤波策略创建SIFT图像尺度空间；将高斯尺度空间中相邻的图像进行相减所得图像重新构造的金字塔作为DoG金字塔，所述图像尺度空间极值点为DoG尺度空间中的局部极值点，根据DoG尺度空间中的局部极值点确定关键点、关键点方向和关键点描述。

2.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，寻找DoG尺度空间中的局部极值点的方法为：将图像中的每个像素点A在DoG尺度空间中的点a与该像素点A在DoG尺度空间中同一尺度空间的图像域的相邻点进行比较、以及与该像素点A在DoG尺度空间中相邻尺度空间的尺度域的所有相邻点进行比较，当其大于或者小于所有相邻点时，则该点a为局部极值点。

3.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，所述SIFT特征描述向量为关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息。

4.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，修改后的SIFT算法运行于八核DSP开发板，其主处理器为TMS320C6678。

5.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，通过对局部极值点进行三维二次函数拟合进行关键点定位。

6.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，根据局部极值点的邻域像素的梯度方向分布特性确定关键点方向。

7.如权利要求1所述的基于遥感影像SIFT处理的软件硬件化方法，其特征在于，对关键点周围图像区域分块，然后根据分块的块内梯度直方图生成SIFT特征描述向量，作为关键点描述。

8.一种基于权利要求1所述基于遥感影像SIFT处理的软件硬件化方法的图像处理方法，其步骤包括：主核对待处理图像进行分片处理，每个从核处理一张分片；所有从核处理完毕后发送处理完成消息给主核，主核进行数据收集并通过TCP/IP协议发送给上位机。

Images