CN102044053A - 基于fpga的逆透视变换方法 - Google Patents

Abstract

本发明涉及一种基于FPGA的逆透视变换图像处理算法的实现，属于信号处理技术、控制技术，是以FPGA芯片作为数字图像的处理单元，利用其硬件逻辑处理速度快的特点，通过芯片内部LE单元搭建出实现IPM算法的逻辑电路，以硬件的方式实现对图像的逆透视变换，得到无畸的二维鸟瞰图像，方便后续的车道检测特征提取等操作，其突出的优点是：将该图像处理算法硬件化，不需要工控机或DSP等核心处理单元，系统实时性能好，可扩展性强。

Description

基于FPGA的逆透视变换方法

技术领域

本发明涉及一种基于FPGA的逆透视变换图像处理算法的实现，属于信号处理技术、控制技术。

背景技术

图像处理技术已经广泛应用于交通检测、飞行制导、模式识别等众多领域，这其中，逆投影变换(Inverse Perspective Mapping Algorithm)作为对图像预处理的一种算法，在高速公路车道线检测，无人机跑道识别等方面具有广泛的应用。然而对采集到的数字图像预先进行逆透视变换增加了运算开销，从而会在某种程度上降低系统对图像的处理速度，而在有些对实时性有苛刻要求的应用场合，处理的速度则是至关重要的。同时，实际的应用领域不管是在机载或者车载的环境都需要检测设备所占用的空间和重量要尽可能的小，因此要充分利用该预处理算法的优点，必须选择合适的实现方式。目前，传统的IPM算法实现方式，有以下两种：

①基于车载或者机载计算机的实现方式，该方式以车载或机载计算机作为检测系统的处理核心来进行逆透视变换，由于车载或机载计算机的处理速度较快，这种实现方式可以在一定程度上满足系统实时性的要求，但是这种实现方式不可避免的会使车载或航空电子设备的体积变的十分庞大，成本也相对过高；

②基于DSP+FPGA的实现方式，该方式以FPGA作为图像采集的逻辑控制单元，DSP作为视频图像的处理核心，FPGA将采集的图像数据存储在外扩RAM存储器中，DSP从RAM中读取图像并进行逆透视变换。这种实现方式便携性好，可靠性高，但是由于图像处理需要的超大循环运算量以及DSP处理器本身的速度限制，当系统对图像处理有实时性要求时这种方式往往显得力不从心；而且对于像自动驾驶、自主着陆控制等应用中，DSP除了图像处理外还要进行姿态校正、传感器信息采集等工作，这些都严重限制了其处理效率。

随着大规模现场可编程逻辑器件的高速发展，系统设计进入了“片上可编程系统(SOPC)”的新纪元，这其中特别引人注目的是所谓FPGA动态可重构技术的开拓，推动了数字系统设计观念的发生巨大转变。FPGA芯片大规模、高集成度、高可靠性以及硬件实现高度并行性的优点，使其成为复杂系统小型化的理想平台，而基于FPGA的图像处理系统设计也已成为新的研究方向。

发明内容

为了克服传统车载或者机载实时图像处理方案设备体积大、处理速度慢的各种弊端，本发明设计了一种基于FPGA的IPM算法实现方式，它利用FPGA芯片具有硬件逻辑处理速度快的特点，利用其内部LE单元搭建出实现IPM算法的逻辑电路，以硬件的方式实现对图像的逆透视变换，得到无畸的二维鸟瞰图像，方便后续的车道检测特征提取等操作，其突出的优点是：将该图像处理算法硬件化，不需要工控机或DSP等核心处理单元，系统实时性能好，可扩展性强。

本发明解决其技术问题所采用的技术方案：基于FPGA的逆投影变换实现方法，其特点是：

(a)以FPGA芯片为核心实现了一种适合机载或车载环境的嵌入式图像处理模块，它利用FPGA芯片内部门阵列，搭建出实现IPM算法的逻辑电路，将该图像处理算法硬件化，大大减少图像处理模块所占用的空间和所耗费的成本；

(b)利用外部传感器实时获取摄像机架设高度h及光轴与地面倾角θ作为算法的输入参数，以实现对图像的无偏校正；

(c)根据从图像采集模块获取的像素值及地址，将其转换为变换后的IPM图像的二维下标，并通过以下公式进行坐标转换：

$x=h\×\mathrm{ctg}(\frac{2\mathrm{\α}}{R_y-1}u-\mathrm{\α}+\mathrm{\θ})\×\sin (\frac{2\mathrm{\α}}{R_x-1}v-\mathrm{\α}+\mathrm{\γ})+d$

$y=h\×\mathrm{ctg}(\frac{2\mathrm{\α}}{R_y-1}u-\mathrm{\α}+\mathrm{\θ})\×\cos (\frac{2\mathrm{\α}}{R_x-1}v-\mathrm{\α}+\mathrm{\γ})+l$

z＝0

式中，u，v为原图像像素的行列下标；x，y，z为变换后图像的三维坐标；h为摄像头安装位置距地面的高度；其中，三角函数通过基于FPGA的查找表方法实现，以1度为精度，将0到90度的角度正弦值存入FPGA芯片内部ROM区，以角度大小进行寻址来求取正弦值，对于负的角度将查找到的结果算术取反；对于余弦按照角度的余角进行查表；除法器通过迭代移位减法来实现；

(d)利用按照步骤(c)计算的像素行列下标，计算出该像素对应的一维地址，接着将该地址与上一像素对应的地址做差，若差不为0，则将其间的空隙用该像素值进行填充，以避免产生像素空白产生，并将对应像素值写入FPGA外扩RAM中；

(e)按照步骤(c)(d)处理完毕一帧图像，将处理后的图像通过FPGA接口向外发送。

本发明的有益效果是：利用外部传感器模块实时获取的摄像机架设高度及光轴与地面倾角参数，大大降低IPM算法的参数误差；利用FPGA芯片内部门阵列，搭建出实现IPM算法的逻辑电路，将该图像处理算法硬件化，并进行了并行性设计大大提高了算法的处理速度，同时也减少了机载或者车载图像处理模块占用的空间和资金成本。

下面结合附图和实施例对本发明做进一步说明。

附图说明

附图1是本发明基于FPGA的逆投影变换模块输入输出结构图。

附图2是本发明基于FPGA的逆投影变换模块算法流程图。

附图3是本发明基于FPGA的逆投影变换模块三角函数实现图。

附图4是本发明基于FPGA的逆投影变换模块状态机并行化设计图。

具体实施方式

在基于FPGA的逆投影变换模块设计过程中，输入参数为摄像机架设高度、摄像机光轴与地面夹角、基准时钟以及原始图像的一维地址，输出为校正后IPM图像的一维输出地址，参照图1。

该模块的具体实施包括输入图像一维地址转换为像素坐标、三角函数模块设计、乘法器除法器设计、逆投影变换后图像像素坐标到一维地址的转换等几个步骤，如图2所示。

逆投影变换的实现采用Alter公司的EP1C12系列芯片作为载体，模块首先将输入像素的一维地址转换为像素二维坐标，接着根据二维坐标以及输入的摄像机参数，利用IPM算法公式依次通过三角函数模块、乘法器除法器模块进行处理，然后将校正后IPM图像的二维坐标转换为一维地址形式输出。

在实现的过程中，三角函数采用基于查找表和的方式实现，其实现流程如图3所示。同时，为了保证处理的时序，将模块拆分为几个并行的步骤，并用状态机串连起来，也使得每个分离的步骤都能在一个时钟周期内完成，状态机结构参见图4所示。

Claims (3)

1.一种基于FPGA的逆透视变换方法，其特征在于：以FPGA芯片为核心实现了一种适合机载或车载环境的嵌入式图像处理模块，它利用FPGA芯片内部门阵列，搭建出实现IPM算法的逻辑电路，将该图像处理算法硬件化，大大减少图像处理模块所占用的空间和所耗费的成本；

2.根据权利要求1所述的基于FPGA的逆透视变换(IPM)方法，其特征在于：利用外部传感器实时获取摄像机架设高度h及光轴与地面倾角θ作为算法的输入参数，以实现对图像的无偏校正；

3.根据权利要求1所述的基于FPGA的逆透视变换(IPM)方法，其特征在于包括以下步骤：

(a)根据从图像采集模块获取的像素值及地址，将其转换为变换后的IPM图像的二维下标，并通过以下公式进行坐标转换：

$x=h\×\mathrm{ctg}(\frac{2\mathrm{\α}}{R_y-1}u-\mathrm{\α}+\mathrm{\θ})\×\sin (\frac{2\mathrm{\α}}{R_x-1}v-\mathrm{\α}+\mathrm{\γ})+d$

$y=h\×\mathrm{ctg}(\frac{2\mathrm{\α}}{R_y-1}u-\mathrm{\α}+\mathrm{\θ})\×\cos (\frac{2\mathrm{\α}}{R_x-1}v-\mathrm{\α}+\mathrm{\γ})+l$

z＝0

式中，u，v为原图像像素的行列下标；x，y，z为变换后图像的三维坐标；h为摄像头安装位置距地面的高度；其中，三角函数通过基于FPGA的查找表方法实现，以1度为精度，将0到90度的角度正弦值存入FPGA芯片内部ROM区，以角度大小进行寻址来求取正弦值，对于负的角度将查找到的结果算术取反；对于余弦按照角度的余角进行查表；除法器通过迭代移位减法来实现；

(b)利用按照步骤(a)计算的像素行列下标，计算出该像素对应的一维地址，接着将该地址与上一像素对应的地址做差，若差不为0，则将其间的空隙用该像素值进行填充，以避免产生像素空白产生，并将对应像素值写入FPGA外扩RAM中；

(c)按照步骤(a)(b)处理完毕一帧图像，将处理后的图像通过FPGA接口向外发送。

Images