CN201690518U - 基于fpga的嵌入式鱼眼图像实时畸变校正装置 - Google Patents

Abstract

一种基于FPGA的嵌入式鱼眼图像实时畸变校正装置。该装置由鱼眼图像传感器、基于FPGA的嵌入式图像处理硬件电路(包括图像采集、图像校正和存储器访问控制电路三个子模块)、存储装置、显示装置等四大部分组成。鱼眼图像传感器采集到的视频信号传送到基于FPGA的嵌入式图像处理硬件电路的视频输入端，由图像采集电路模块将视频信号整合为一帧完整图像，然后由图像校正电路模块对采集到的鱼眼畸变图像进行畸变校正，将校正后的图像数据存储在存储装置中并由显示装置进行显示。本实用新型集成度高，工作稳定可靠，尤其满足了安装空间要求较小，成本要求较低，实时性要求较高的场合。

Description

基于FPGA的嵌入式鱼眼图像实时畸变校正装置 

【技术领域】：

本实用新型属于图像处理领域，具体涉及一种基于FPGA的嵌入式鱼眼图像实时畸变校正装置，特别是采用FPGA技术实现鱼眼图像畸变校正。 

【背景技术】：

鱼眼镜头是一种超广角的特殊镜头，由于为了让镜头达到最大的视角，这种镜头的前镜片直径很短且呈抛物状向镜头前部凸出，和鱼的眼睛相似，故名鱼眼镜头。鱼眼镜头具有相当长的景深与广阔的视角，有利于全空域包容和全时域实时信息的获取。但是鱼眼镜头将半球形物面成像为平面，而平面不可能与球面相似，所以鱼眼镜头所拍摄的影像严重扭曲变形，对于人类视觉上感受是相当不自然的。而且，在机器人视觉导航领域，也必须将畸变影像校正后，才能准备对自主移动机器人进行准确的定位，所以需要将这些变形影像校正为人们所习惯的透视投影影像。鱼眼图像畸变校正技术已经得到了很广泛的研究，其中基于球面模型的算法，因为对参数依赖性差，校正效果好，得到广泛应用。不论是哪种校正算法，一般必须有繁重且复杂的计算过程。而对于鱼眼镜头采集的视频数据，数据量大，在传统的PC机平台或DSP平台，由于指令执行的串行特性，很难实现实时的校正处理，并且这种平台一般功耗大，这使其应用受到了很大限制。 

有鉴于此，本实用新型针对上述公知技术的缺陷，提出了一种基于FPGA的嵌入式鱼眼图像实时畸变校正装置，以有效克服上述的问题。 

【实用新型内容】：

本实用新型目的是解决目前鱼眼图像校正算法很难实现实时校正处理的问题，提供一种基于FPGA的嵌入式鱼眼图像实时畸变校正装置。 

本实用新型提供的基于FPGA的嵌入式鱼眼图像实时畸变校正装置包括： 

鱼眼图像传感器：用于采集原始鱼眼图像； 

基于FPGA的嵌入式图像处理硬件电路：由图像采集电路模块、图像校正模块和内存访问控制模块构成；其中，图像采集电路模块用于采集鱼眼图像传感器获得的原始鱼眼图像，并通过内存访问控制模块存储在存储装置中的原始鱼眼图像存储区；图像校正模块通过内存访问控制模块对存储装置进行访问，并将存储装置中的原始鱼眼图像进行逐点校正，校正完成后的图像将存储在存储装置中的校正图像存储区； 

存储装置：用于存放由基于FPGA的嵌入式图像处理硬件电路发送来的原始鱼眼图像和校正后的图像； 

显示装置：对由存储装置发送来的校正后的图像进行显示。 

其中所述的鱼眼图像传感器包括鱼眼镜头、模拟摄像机和图像采集芯片三部分。 

所述的存储装置包括：SRAM存储器和Flash存储器两部分。 

其中基于FPGA的嵌入式图像处理硬件电路安装在自主导航机器人、视频监控装置或基于鱼眼镜头的智能相机中。 

本实用新型工作原理： 

鱼眼图像传感器采集的视频信号在图像采集模块的控制下，将有效图像数据存放在SRAM中。当一帧图像采集完成后，图像校正模块开始对采集到的原始鱼眼图像进行逐点校正，校正完成后的图像存储在存储装置中的校正图像存储区，然后对校正后的图像进行显示。用FPGA来实现鱼眼图像的校正，大大提高了系统的集成度和实时性。 

本实用新型采用基于球面投影的模型来实现鱼眼图像的校正，基于球面投影的模型具体如图2所示，其中，M为空间中任一点，摄像机中心O，Z与主光轴同向，连接M与O，交半球面于P，过P做平行于Z轴的线段，交平面XOY于Q，平面点Q即为成像点。设点M(x，y，z)，Q(u，v)，则可以得到如下的对应关系： 

$\frac{u^2+v^2}{x^2+y^2}=\frac{R}{\sqrt{x^2+y^2+z^2}}=\frac{u}{x}=\frac{v}{y}$

$\left\{\begin{array}{c}x=\frac{\mathrm{zu}}{\sqrt{R^2-u^2-v^2}}\\ y=\frac{\mathrm{zv}}{\sqrt{R^2-u^2-v^2}}\end{array}\right.$

$\left\{\begin{array}{c}u=\frac{\mathrm{Rx}}{\sqrt{x^2+y^2+z^2}}\\ v=\frac{\mathrm{Ry}}{\sqrt{x^2+y^2+z^2}}\end{array}\right.$

$\left\{\begin{array}{c}x-x_0=\frac{z(u-u_0)}{\sqrt{R^2-{(u-u_0)}^2-{(v-v_0)}^2}}\\ y-y_0=\frac{z(v-v_0)}{\sqrt{R^2-{(u-u_0)}^2-{(v-v_0)}^2}}\end{array}\right.$

其中(x₀，y₀)为高斯成像空间中的图像中心，(u₀，v₀)为畸变图像空间中光轴的中心，R为变换球面的半径。 

本实用新型的优点和积极效果： 

本实用新型具有很高的电路集成度，连续工作的可靠性和稳定性较高，尤其满足了安装空间要求较小，功耗要求较低、实时性要求较高的场合，而且成本也比基于PC机及图像采集卡的系统低。 

【附图说明】：

图1是基于FPGA的嵌入式鱼眼图像实时畸变校正装置原理框图； 

图2是鱼眼镜头的球面模型； 

【具体实施方式】：

实施例1： 

如图1所示，本实用新型基于FPGA的嵌入式鱼眼图像实时畸变校正装置的硬件结构由鱼眼图像传感器、基于FPGA的嵌入式图像处理硬件电路、存储装置、显示装置等四大部分组成。 

鱼眼图像传感器包括三个部分：普通鱼眼镜头、普通模拟摄像机、和Philips公司的SAA7113图像采集芯片；基于FPGA的嵌入式图像处理硬件电路：由图像采集电路模块、图像校正模块和内存访问控制模块构成，FPGA芯片采用Altera公司的Cyclone II系列的EP2C20Q240C8；存储装置分为两个部分：SRAM和Flash存储；显示装置由三个部分组成：TIDSP5502、CY7C68001USB芯片、和PC机。 

整个系统的工作过程如下： 

模拟摄像机采集到的模拟视频信号经由视频解码芯片的视频输入端子进入视频解码芯片，视频数据经过视频解码芯片数字化之后，输出到FPGA芯片相应管脚。 

FPGA中的图像采集模块根据SAA7113提供的协议，对输入的字节流进行提取，解析出有效图像数据之后，通过内存访问控制模块，将有效图像数据存储至SRAM中。当一帧图像采集完成后，图像校正模块采用重采样的方式对图像进行校正。具体工作过程如下： 

在SRAM中另开辟一块内存，用来存放校正后的图像。图像校正模拟逐点扫描这块内存，按照上述原理说明中的公式，计算出每一个像素点对应的原始图像中的相应像素点的坐标，将原始图像中的像素值重采样到此像素对的内存单元中，作为此像素的值。当这块内存扫描完成后，就可以得到了一张校正后不发生畸变的图像。当一副图像校正完成后，重新采集一副新图像，同时发送中断给DSP程序，由DSP程序负责将校正后的图像数据经过USB口发送至PC机进行显示。 

图像校正硬件电路模块是本装置的核心功能模块。众所周知，FPGA对于复杂的算术运算不能进行综合，在这里，实现校正算法时，大量采用了Altera公司提供的算术运算IP核，来实现复杂的算术运算。 

Claims (3)

1.一种基于FPGA的嵌入式鱼眼图像实时畸变校正装置，其特征在于该装置包括：

鱼眼图像传感器：用于采集原始鱼眼图像；

基于FPGA的嵌入式图像处理硬件电路：由图像采集电路模块、图像校正模块和内存访问控制模块构成：其中，图像采集电路模块用于采集鱼眼图像传感器获得的原始鱼眼图像，并通过内存访问控制模块存储在存储装置中的原始鱼眼图像存储区；图像校正模块通过内存访问控制模块对存储装置进行访问，并将存储装置中的原始鱼眼图像进行逐点校正，图像校正完成后从新存储在存储装置中的校正图像存储区；

存储装置：用于存放由基于FPGA的嵌入式图像处理硬件电路发送来的原始鱼眼图像和校正后的图像；

显示装置：对由存储装置发送来的校正后的图像进行显示。

2.根据权利要求1所述的装置，其特征在于所述的鱼眼图像传感器包括鱼眼镜头、模拟摄像机和图像采集芯片三部分。

3.根据权利要求1或2所述的装置，其特征在于所述的存储装置包括：SRAM存储器和Flash存储器两部分。

Images