CN108520262A - 一种基于fpga实时提取fhog特征的方法 - Google Patents

Abstract

本发明涉及一种基于FPGA实时提取FHOG特征的方法，其采用图像缩放模块、梯度计算模块、直方图统计模块、归一化模块和降维处理模块来实现。本发明在低密度FPGA平台高性能实现，全局模块使用流水线设计，减少处理延时，提高带内带宽，减小对外部存储DDR的带宽要求，减小成本和功耗。优化bram和DSP使用，使其最大性能发挥价值，本发明中的每个功能模块通过深度优化层级流水线，平衡前后带宽，减少了短板效应，整体的提升了处理速度和实时性。

Description

一种基于FPGA实时提取FHOG特征的方法

技术领域

本发明涉及机器视觉领域，具体涉及一种基于FPGA实时提取FHOG特征的方法。

背景技术

方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。基于方向梯度直方图(HOG)的图像特征融合方法，具有显著方向性的局部梯度统计值，其构成融合的方向梯度直方图(FHOG),有效地解决了多分辨率(MR)图像融合存在的不足。使用传统CPU做FHOG特征提取，缺点是速度慢，涉及较复杂的内存读写操作，难以满足视频系统实时性要求。

发明内容

本发明的目的在于提供一种基于FPGA实时提取FHOG特征的方法，其运行速度块，实时性高。

为实现上述目的，本发明采用的技术方案是：

一种基于FPGA实时提取FHOG特征的方法，其采用图像缩放模块、梯度计算模块、直方图统计模块、归一化模块和降维处理模块来实现，具体如下：

步骤1、采用图像缩放模块对输入的图像进行处理；

缩放采用双线性插值实现，经过灰度化后的1080P图像从AXI接口输入，然后使用两个具有四个18K的bram做数据行缓存，并进行奇偶点存储；输出像素根据行场缩放比例计算映射到输入图像的位置点，确定插值权重,得到新的像素值，并输出到梯度计算模块中；

步骤2、采用梯度计算模块计算缩放后的图像的梯度值和方向；

缩放模块输出图像后，立刻启动梯度计算，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量gradscalx，然后用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向的梯度分量gradscaly，并根据16维单位梯度向量计算当前点最大的梯度方向，经梯度分量和底图方向组成的梯度图输出给直方图统计模块；

步骤3、采用直方图统计模块求取梯度直方图；

一旦梯度计算模块有输出，就启动直方图统计模块工作；将梯度图分成4*4和8*8两种大小的特征块，每个特征块分为16个维度；输入的梯度图根据不同的方向叠加梯度值到相应的特征维度上，一个梯度点叠加到四个邻域的4*4或者8*8的块中，且其叠加的权重不同；使用真双口RAM进行并行乒乓读写，在统计当前行的直方图特征时，归一化模块读取上一行或者上几行的数据做归一化处理；

步骤4、采用归一化模块对直方图特征进行归一化处理；

将直方图里面的16个维度数据首尾相加并取平方后得到归一化的新值，得到的新值在一个3*3的窗口中；将四个相邻归一化值开方后取倒数得到四个特征值，同时取出当前点的16个维度的统计直方图信息，经过乘法、累加以及比较处理后得到32维的特征数据；

步骤5、采用降维处理模块对归一化后的图像进行降维处理；

使用非线性支持向量机算法训练得到一组PCA降维系数，将归一化模块输出的32维特征降低到16维特征，得到FHOG特征。

采用上述方案后，本发明在低密度FPGA平台高性能实现，全局模块使用流水线设计，减少处理延时，提高带内带宽，减小对外部存储DDR的带宽要求，减小成本和功耗。优化bram和DSP使用，使其最大性能发挥价值，本发明中的每个功能模块通过深度优化层级流水线，平衡前后带宽，减少了短板效应，整体的提升了处理速度和实时性。

附图说明

图1为本发明系统框图；

图2为本发明FHOG特征提取流程框图；

图3为本发明图像缩放处理流程框图；

图4为本发明图像梯度计算流程框图；

图5为本发明图像归一化处理流程框图。

具体实施方式

如图1和图2所示，本发明揭示了一种基于FPGA实时提取FHOG特征的方法，其采用图像缩放模块、梯度计算模块、直方图统计模块、归一化模块和将维处理模块来实现，上述模块并行运行，保证运行过程中充分利用各个模块的流水线时隙，平衡各个模块的负载，前后模块之间都带有握手信号，方便扩展和控制带宽，最大程度提高整体带宽。每一级处理都实现实时流水线处理，所有计算过程满负荷运行，高度优化FPGA内部DSP，bram的计算和存储带宽。设计每个模块前后级的流水线，乒乓加速计算。具体如下：

步骤1、采用图像缩放模块对输入的图像进行处理；

缩放采用双线性插值实现，经过灰度化后的1080P图像从AXI接口输入，然后使用两个具有四个18K的bram做数据行缓存，并进行奇偶点存储，这样保证双线性插值取数据时能够同时取出四个像素点；输出像素根据行场缩放比例计算映射到输入图像的位置点，确定插值权重；得到新的像素值，并输出到下一级模块中；

该图像缩放模块可以根据后级模块的反馈信号动态开启和关闭改模块的运算，避免数据溢出。

因为要检测的目标有大有小，可能分布在不同的尺度下，所以需要对图像做缩放处理，每次得到的缩放图针对性的检测指定大小的目标物。按照2^1/5的比例缩小，然后每个尺度需要做如下处理：使用FHOG算法实现特征提取，特征提取时对每个尺度做两个细粒度下的实现（sbin=8和sbin=4），生成若干组特征图，分布于各个尺度下，供后级检测算法实现使用。本发明检测目标物大小在1080P分辨率下，检测大小范围为：32*32-732*732。计算速度远远超出普通CPU，满足了系统实时性要求。图像的尺度大小与级数分布情况如表1所示。

尺度级数	图像宽	图像高
			1	1280	720
2	1114	627
			3	970	546
4	844	475
			5	735	414
6	640	360
			7	557	313
8	485	273
			9	422	238
10	368	207
			11	320	180
12	279	157
			13	243	136
14	211	119
			15	184	103

表1

步骤2、采用梯度计算模块计算缩放后的图像的梯度值和方向；

如图4所示，缩放后的图像输出后，立刻启动梯度计算，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向（水平方向，以向右为正方向）的梯度分量gradscalx，然后用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向（竖直方向，以向上为正方向）的梯度分量gradscaly,根据16个梯度向量计算当前点最大的梯度方向,输出给后一级模块。

步骤3、采用直方图统计模块求取梯度直方图

一旦上一级模块有输出，就启动本级模块工作；将计算后的梯度图像分成4*4和8*8两种大小的特征块，每个梯度特征块包含了16个方向的权值，存储了不同的方向梯度值，而不同的梯度方向根据FHOG算法需要叠加到不同的位置。输入的梯度图根据不同的方向叠加梯度值到相应地址上。这个目的在于，通过叠加不同维度的梯度，根据它的权重，我们可以知道这个区域块中它的图像主要的梯度方向，用于目标物检测。一个梯度点需要叠加到四个邻域的4*4或者8*8的块中，且权重不一样，这样可以避免图像块效应。使用真双口RAM实现并行乒乓读写，需要在上一个时钟读取旧值，下一个时钟写入新值，同时读写两个真双口RAM。这里涉及RAM接口和流水线的精细操作，我们设计的乒乓真双口RAM框架，读写RAM交错处理，流水线设计读取，叠加和写入，既利用了RAM的带内高带宽特性，又不降低直方图统计的速度。同时设计行缓存时，使用乒乓缓存架构，在计算直方图的同时前后级梯度计算和归一化计算同时进行。

步骤4、采用归一化模块对直方图特征进行归一化处理；

如图5所示， 将直方图里面的16个维度数据首尾相加后取平方后得到归一化的新值，得到的新值需要在一个3*3的窗口中，将四个相邻归一化值开方后取倒数得到四个特征值，同时取出当前点的16个维度的统计直方图信息，经过乘法、累加以及比较处理后得到32维的特征数据。

步骤5、采用降维处理模块对归一化后的图像进行降维处理；上一级模块输出的数据量比较大，每个block中有32维特征数据，需要通过进一步的压缩处理，提取主要的信息成分，所以采用PCA(主成分分析方法)进行降维处理。使用非线性支持向量机(SVM)算法训练得到一组PCA降维系数，将其32维数据降低到16维特征，得到FHOG特征。

本发明全局使用流水线设计，高度利用FPGA的并行性的特点。输入输出都是标准的AXI接口，配置数据接口也是AXI实现。本发明在低密度FPGA平台高性能实现，是本发明核心创新点，全局模块使用流水线设计，减少处理延时，提高带内带宽，减小对外部存储DDR的带宽要求，减小成本和功耗。优化bram和DSP使用，使其最大性能发挥价值，每个功能模块通过深度优化层级流水线，平衡前后带宽，减少了短板效应，整体的提升了处理速度。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于FPGA实时提取FHOG特征的方法，其特征在于：所述方法采用图像缩放模块、梯度计算模块、直方图统计模块、归一化模块和降维处理模块来实现，具体如下：

步骤1、采用图像缩放模块对输入的图像进行处理；

缩放采用双线性插值实现，经过灰度化后的1080P图像从AXI接口输入，然后使用两个具有四个18K的bram做数据行缓存，并进行奇偶点存储；输出像素根据行场缩放比例计算映射到输入图像的位置点，确定插值权重,得到新的像素值，并输出到梯度计算模块中；

步骤2、采用梯度计算模块计算缩放后的图像的梯度值和方向；

缩放模块输出图像后，立刻启动梯度计算，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量gradscalx，然后用[1,0,-1]^T梯度算子对原图像做卷积运算，得到y方向的梯度分量gradscaly，并根据16维单位梯度向量计算当前点最大的梯度方向，经梯度分量和底图方向组成的梯度图输出给直方图统计模块；

步骤3、采用直方图统计模块求取梯度直方图；

一旦梯度计算模块有输出，就启动直方图统计模块工作；将梯度图分成4*4和8*8两种大小的特征块，每个特征块分为16个维度；输入的梯度图根据不同的方向叠加梯度值到相应的特征维度上，一个梯度点叠加到四个邻域的4*4或者8*8的块中，且其叠加的权重不同；使用真双口RAM进行并行乒乓读写，在统计当前行的直方图特征时，归一化模块读取上一行或者上几行的数据做归一化处理；

步骤4、采用归一化模块对直方图特征进行归一化处理；

将直方图里面的16个维度数据首尾相加并取平方后得到归一化的新值，得到的新值在一个3*3的窗口中；将四个相邻归一化值开方后取倒数得到四个特征值，同时取出当前点的16个维度的统计直方图信息，经过乘法、累加以及比较处理后得到32维的特征数据；

步骤5、采用降维处理模块对归一化后的图像进行降维处理；

使用非线性支持向量机算法训练得到一组PCA降维系数，将归一化模块输出的32维特征降低到16维特征，得到FHOG特征。