CN112016356A - 基于zynq的高光谱目标识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于ZYNQ的高光谱目标识别系统及方法，用以相对现有技术，提供更高的识别精度和实时性。其中基于ZYNQ的高光谱目标识别系统，由两部分构成：PS端以及PL端；所述PS端为以双核ARM Cortex‑A9为核心的处理器系统，所述PL端为可编程逻辑端；其中，PS端包括数据输入模块、ARM处理器和DDR3外部存储器；PL端包括VDMA模块、HLS生成的高光谱图像处理模块和HDMI输出模块；算法中耗时较多并且适合硬件实现的部分在PL端执行，所述算法包括：高光谱图像的特征提取、图像缩放；特征矩阵欧氏距离的计算以及对系统各个模块的初始化在PS端执行；系统数据的输入是由ARM处理器控制，用来读取SD卡中存储的图像数据。

Description

基于ZYNQ的高光谱目标识别系统及方法

技术领域

本发明涉及一种目标识别系统及方法，具体用于高光谱图像的目标识别。

背景技术

目前目标识别技术受到越来越多的重视，在很多领域得到极大的发展和应用，例如人脸识别、行人检测、车牌检测和识别等，但目标识别的准确度和实时性仍有待提高。不同材料、物质属性的目标其光谱特性是不同的，利用高光谱相机获取的图像具有较高的空间分辨率和光谱分辨率，因此将高光谱图像用于目标识别可以提高对外观相似目标的区分度。

由于高光谱图像数据量较大，对其进行特征提取具有较高的时间复杂度，严重影响目标识别的实时性。而FPGA与其它的计算平台相比，可以最大限度的系统的并行度并大幅提高系统的数据吞吐量。因此利用FPGA对高光谱图像进行数据处理是非常理想的选择。

梯度方向直方图(HOG)是一种能对物体进行检测的基于形状边缘特征的描述算法，在图像处理领域得到广泛应用。但是，HOG特征提取过程涉及浮点数乘方、开方以及除法等不适合硬件语言实现的计算。因此需要对HOG特征提取算法进行改进，以及设计其FPGA加速方案，在保证计算精度的前提下，提高其计算速度。

发明内容

本发明的目的是公开一种基于ZYNQ的高光谱目标识别系统及方法，用以相对现有技术，提供更高的识别精度和实时性。

为了达到上述目的，本发明采用以下技术方案予以实现：

基于ZYNQ的高光谱目标识别系统，由两部分构成：PS端以及PL端；所述PS端为以双核ARM Cortex-A9为核心的处理器系统，所述PL端为可编程逻辑端；

其中，PS端包括数据输入模块、ARM处理器和DDR3外部存储器；

PL端包括VDMA模块、HLS生成的高光谱图像处理模块和HDMI输出模块；

算法中耗时较多并且适合硬件实现的部分在PL端执行，所述算法包括：高光谱图像的特征提取、图像缩放；

特征矩阵欧氏距离的计算以及对系统各个模块的初始化在PS端执行；

系统数据的输入是由ARM处理器控制，用来读取SD卡中存储的图像数据，图像数据包括待识别的图像数据以及目标识别库中所有图像序列数据；系统数据的输出是由ARM端控制adv7511芯片，将识别结果通过HDMI显示屏进行显示。

所述HLS生成的高光谱图像处理模块为HLS图像处理模块，所述HLS图像处理模块是由HLS工具生成并优化的图像处理IP核，运行在PL端，用于对高光谱图像处理算法进行硬件加速。

作为本发明公开的基于ZYNQ的高光谱目标识别系统的一种优选实施方式：所述HLS图像处理模块包含两个功能：高光谱图像特征提取，以及图像缩放；

所述图像特征提取是采用基于方向梯度直方图的特征提取方法，对高光谱图像进行空间及光谱联合特征提取；

图像缩放功能是调用HLS工具中集成的视频处理库函数对高光谱图像进行特征提取以及缩放具有较高的时间复杂度。

作为本发明公开的基于ZYNQ的高光谱目标识别系统的一种优选实施方式：所述PL端和PS端通过AXI总线通讯。

作为本发明公开的基于ZYNQ的高光谱目标识别系统的一种优选实施方式：所述采用基于方向梯度直方图的特征提取方法包含如下步骤：

首先，将要处理图像逐像素地送入到行缓存进行存储，并将相邻9个像素点信息存入窗缓存中，当缓存到第3行第3列数据时，开始求取其横向、纵向梯度；然后计算梯度幅值以及方向信息，并将梯度幅值信息以及方向信息通过两个输出端口进行输出；最后，在ARM端将幅值累加到特征矩阵相应位置。

本发明还公开了任一上述的基于ZYNQ的高光谱目标识别方法，其包括以下几个步骤：

步骤(1)：通过ARM处理器对PL端各模块进行初始化；

步骤(2)：读取SD卡中待识别高光谱图像数据，并写入DDR3存储器；

步骤(3)：将要处理的目标区域图像数据写入存储器中VDMA发送区；

步骤(4)：ARM处理器控制HLS图像处理模块开始工作，对VDMA发送区的图像数据进行特征提取以及图像缩放，并将处理结果写入VDMA接收区；

步骤(5)：对SD卡中存储的目标识别库所有图像序列执行步骤2-4，然后在ARM中对待识别图像特征矩阵与目标识别库序列图像的特征矩阵做匹配，得到相似响应分数，根据响应分数判断目标所属类别；

步骤(6)：将识别结果在待识别图像中进行标注，并通过HDMI输出模块在显示屏进行显示。

本发明有益效果是：

(1)针对灰度、彩色图像信息不足导致的识别过程易受干扰的问题，利用高光谱成像技术采集的信息量更为丰富的高光谱图像进行目标识别，能有效提高目标识别的精确度以及鲁棒性。

(2)对HOG特征提取算法进行改进，以适应FPGA硬件加速。对识别算法结构进行设计，然后分平台计算：将图像缩放、特征提取中梯度幅值以及位置信息求解等适合流水线或并行计算部分进行设计，放到PL端执行；将幅值累加运算以及特征矩阵欧氏距离计算等需要很大的存储空间，并且需要浮点数参与运算的部分，放在PS端执行。这样在保证识别实时性的同时还具有较高的计算精度。

附图说明

图1为本发明的特征提取硬件结构图；

图2为本发明的硬件系统结构图；

图3为本发明的目标识别算法流程图。

具体实施方式

下面结合附图及实施例描述本发明具体实施方式：

如图2所示，本发明提供一种基于ZYNQ的高光谱图像目标识别系统，主要由两部分构成：以双核ARM Cortex-A9为核心的处理器系统(PS端)以及可编程逻辑(PL端)。其中，PS端包括数据输入模块、处理器(ARM)和DDR3外部存储器；PL端包括VDMA模块、HLS生成的高光谱图像处理模块、HDMI输出模块。

本发明公开的目标识别系统的重点是采用软硬件协同设计的方案，将算法中耗时较多并且适合硬件实现的部分在PL端执行，算法包括：高光谱图像的特征提取、图像缩放。特征矩阵欧氏距离的计算以及对系统各个模块的初始化在PS端执行。

系统数据的输入是由ARM处理器控制，用来读取SD卡中存储的图像数据，图像数据包括待识别的图像数据以及目标识别库中所有图像序列数据。系统数据的输出是由ARM端控制adv7511芯片，将识别结果通过HDMI显示屏进行显示。

HLS图像处理模块是由HLS工具生成并优化的图像处理IP核，运行在PL端，用于对高光谱图像处理算法进行硬件加速。该模块具有两个功能：高光谱图像特征提取，以及图像缩放。其中图像特征提取是采用一种改进的基于方向梯度直方图的特征提取方法，对高光谱图像进行空间及光谱联合特征提取；图像缩放功能是调用HLS工具中集成的视频处理库函数：hls::Resize。对高光谱图像进行特征提取以及缩放具有较高的时间复杂度，将这两部份算法在PL端执行，通过FPGA的流水线以及并行计算方式可大大缩短计算时间，提高目标识别的实时性。

HOG特征是用来提取图像空间上的梯度信息，我们也可以将其用于提取高光谱图像光谱梯度信息。将HOG特征提取算法用于高光谱图像，提取到的是信息量更加丰富的空间光谱联合特征。

同时为了方便移植到FPGA端运算，对HOG特征提取算法进行改进，如图1所示：首先，将要处理图像逐像素地送入到行缓存进行存储，并将相邻9个像素点信息存入窗缓存中，当缓存到第3行第3列数据时，开始求取其横向、纵向梯度；然后计算梯度幅值以及方向信息，并将梯度幅值信息以及方向信息通过两个输出端口进行输出；最后，在ARM端将幅值累加到特征矩阵相应位置。

在上述梯度幅值以及方向信息的求解涉及到浮点数的乘方、开方运算，如果采用硬件语言实现，一般采用将浮点转化为定点，或者二值化等方式，这会严重损失计算精度。本发明将上述计算在HLS软件中采用高级语言实现，可以保证较高的计算精度，并且通过将算法编译为硬件语言，可以在PL端进行加速计算；另外，本发明将特征提取部分算法分为两部分，在PL端和PS端分别计算，原因是：梯度幅值以及方向信息求解过程非常适合流水线以及并行计算，可以通过FPGA进行加速；而对特征矩阵的累加运算，涉及到浮点数的加法，并且需要开辟大量的存储空间，为了保证计算精度和减少PL端资源的使用，放到了PS端执行。这样设计可以保证计算速度的同时，减少计算误差以及资源消耗。

如图3所示，基于ZYNQ的高光谱图像目标识别流程包括以下几个步骤：

步骤1：通过ARM处理器对PL端各模块进行初始化；

步骤2：读取SD卡中待识别高光谱图像数据，并写入DDR3存储器；

步骤3：将要处理的目标区域图像数据写入存储器中VDMA发送区；

步骤4：ARM处理器控制HLS图像处理模块开始工作，对VDMA发送区的图像数据进行特征提取以及图像缩放，并将处理结果写入VDMA接收区；

步骤5：对SD卡中存储的目标识别库所有图像序列执行步骤2-4，然后在ARM中对待识别图像特征矩阵与目标识别库序列图像的特征矩阵做匹配，得到相似响应分数，根据响应分数判断目标所属类别；

步骤6：将识别结果在待识别图像中进行标注，并通过HDMI输出模块在显示屏进行显示。

本发明的有益效果是：

(1)针对灰度、彩色图像信息不足导致的识别过程易受干扰的问题，利用高光谱成像技术采集的信息量更为丰富的高光谱图像进行目标识别，能有效提高目标识别的精确度以及鲁棒性。

(2)对HOG特征提取算法进行改进，以适应FPGA硬件加速。对识别算法结构进行设计，然后分平台计算：将图像缩放、特征提取中梯度幅值以及位置信息求解等适合流水线或并行计算部分进行设计，放到PL端执行；将幅值累加运算以及特征矩阵欧氏距离计算等需要很大的存储空间，并且需要浮点数参与运算的部分，放在PS端执行。这样在保证识别实时性的同时还具有较高的计算精度。

本发明的具体实施例的描述中，PL是指Programmable Logic的缩写；PS是指Processing Systemd的缩写；ZYNQ是赛灵思公司(Xilinx)推出的行业第一个可扩展处理平台Zynq系列。旨在为视频监视、汽车驾驶员辅助以及工厂自动化等高端嵌入式应用提供所需的处理与计算性能水平。HLS(High-Level Synthesis)是FPGA代码的高层次综合技术。利用HLS工具可将C或C++代码编译成VHDL或者Verilog代码，然后以IP的形式供FPGA调用。VDMA是Xilinx提供的一款IP核——AXI VDMA(Video Direct Memory Access)。

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (5)

1.基于ZYNQ的高光谱目标识别系统，其特征在于：由两部分构成：PS端以及PL端；所述PS端为以双核ARM Cortex-A9为核心的处理器系统，所述PL端为可编程逻辑端；

其中，PS端包括数据输入模块、ARM处理器和DDR3外部存储器；

PL端包括VDMA模块、HLS生成的高光谱图像处理模块和HDMI输出模块；

算法中耗时较多并且适合硬件实现的部分在PL端执行，所述算法包括：高光谱图像的特征提取、图像缩放；

特征矩阵欧氏距离的计算以及对系统各个模块的初始化在PS端执行；

系统数据的输入是由ARM处理器控制，用来读取SD卡中存储的图像数据，图像数据包括待识别的图像数据以及目标识别库中所有图像序列数据；系统数据的输出是由ARM端控制adv7511芯片，将识别结果通过HDMI显示屏进行显示。

所述HLS生成的高光谱图像处理模块为HLS图像处理模块，所述HLS图像处理模块是由HLS工具生成并优化的图像处理IP核，运行在PL端，用于对高光谱图像处理算法进行硬件加速。

2.如权利要求1所述的基于ZYNQ的高光谱目标识别系统，其特征在于：所述HLS图像处理模块包含两个功能：高光谱图像特征提取，以及图像缩放；

所述图像特征提取是采用基于方向梯度直方图的特征提取方法，对高光谱图像进行空间及光谱联合特征提取；

图像缩放功能是调用HLS工具中集成的视频处理库函数对高光谱图像进行特征提取以及缩放具有较高的时间复杂度。

3.如权利要求1所述的基于ZYNQ的高光谱目标识别系统，其特征在于：所述PL端和PS端通过AXI总线通讯。

4.如权利要求1所述的基于ZYNQ的高光谱目标识别系统，其特征在于：所述采用基于方向梯度直方图的特征提取方法包含如下步骤：

首先，将要处理图像逐像素地送入到行缓存进行存储，并将相邻9个像素点信息存入窗缓存中，当缓存到第3行第3列数据时，开始求取其横向、纵向梯度；然后计算梯度幅值以及方向信息，并将梯度幅值信息以及方向信息通过两个输出端口进行输出；最后，在ARM端将幅值累加到特征矩阵相应位置。

5.如权利要求1-4任一所述的基于ZYNQ的高光谱目标识别方法，其特征在于：

包括以下几个步骤：

步骤(1)：通过ARM处理器对PL端各模块进行初始化；

步骤(2)：读取SD卡中待识别高光谱图像数据，并写入DDR3存储器；

步骤(3)：将要处理的目标区域图像数据写入存储器中VDMA发送区；

步骤(4)：ARM处理器控制HLS图像处理模块开始工作，对VDMA发送区的图像数据进行特征提取以及图像缩放，并将处理结果写入VDMA接收区；

步骤(5)：对SD卡中存储的目标识别库所有图像序列执行步骤2-4，然后在ARM中对待识别图像特征矩阵与目标识别库序列图像的特征矩阵做匹配，得到相似响应分数，根据响应分数判断目标所属类别；

步骤(6)：将识别结果在待识别图像中进行标注，并通过HDMI输出模块在显示屏进行显示。

Images