CN110363705A - 基于fpga的固定相机周视成像系统及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的固定相机周视成像系统及方法，该系统包括图像采集模块、图像存储模块、图像处理模块和图像显示模块；图像采集模块，包括位于同一水平面沿圆周均布的若干个相机，用于获取多幅周围环境的图像信息，并将图像传输到图像存储模块；图像存储模块，用于缓存图像数据；图像处理模块，基于FPGA实现，用于对多幅图像进行图像预处理、拼接、融合，并将处理结果传输至图像显示模块；图像显示模块，用于显示拼接后的图像。本发明能实现快速完成多路视频图像的数据传输、拼接和显示工作，且实时性好、分辨率高。

Description

基于FPGA的固定相机周视成像系统及方法

技术领域

本发明属于视频拼接技术领域，特别是一种基于FPGA的固定相机周视成像系统及方法。

背景技术

随着生活水平的提升，汽车的普及率越来越高，随之而来的是交通事故的频发。为了降低事故的发生率，需要了解车辆周围实时路况。但是由于传统摄设备视场角的限制，只能看到局部的图像。而如果通过云台等设备获取全景图，其实时性将无法得到保证更何况是瞬息万变的道路。

视频图像拼接的主要步骤是图像配准和图像融合两步。目前实现这两步一般基于纯软件，但针对分辨率要求较高的场合，软件处理的数据量将大大增加，这样不可避免的将要造成拼接后显示画面的延时。

FPGA(现场可编程门阵列)相比较于ARM和通用CPU因其天生的并行处理特性而被广泛应用于视频图像处理和信号处理领域。随着FPGA设计和制造工艺的进步，FPGA的性能越来越强大，加之各大FPGA厂商在自家的EDA工具中集成了大量的软核，使得FPGA开发变得更方便。结合FPGA等硬件研究图像拼接具有重要的意义。

发明内容

本发明的目的在于提供一种利用位置固定的相机、用于加速运算和控制的FPGA实现图像快速传输、拼接以及显示的成像系统及方法。

实现本发明目的的技术解决方案为：基于FPGA的固定相机周视成像系统，包括依次相连的图像采集模块、图像存储模块、图像处理模块和图像显示模块；

所述图像采集模块，用于采集多幅周围环境的图像信息，并将图像传输到图像存储模块；

所述图像存储模块，用于缓存图像数据；

所述图像处理模块，用于读取图像存储模块的多幅图像并对其进行图像预处理、拼接、融合，之后将处理结果传输至图像显示模块；

所述图像显示模块，用于显示拼接后的图像。

进一步地，图像采集模块包括位于同一水平面沿圆周均布的N个CMOS相机，实现多路同步采集图像。

进一步地，图像处理模块具体在FPGA上实现，采用两级工作方式：第一级为两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行预处理、拼接、融合；第二级为将第一级的拼接结果传输至第三片FPGA芯片进行最终的拼接融合。

基于上述系统的周视成像方法，包括以下步骤：

步骤1、位于同一水平面沿圆周均布的N个CMOS相机同步采集环境图像，并存储至DDR3 SDRAM；

步骤2、第一级的两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行预处理、拼接、融合，并将结果分别存储至相应的DDR3 SDRAM；

步骤3、第二级的FPGA芯片对上述拼接融合后的两幅图像进行进一步拼接融合，获得最终拼接融合后的图像，并将其传输至VGA显示器进行显示。

本发明与现有技术相比，其显著优点为：实时性好、分辨率高，能快速完成多路视频图像的数据传输、拼接和显示工作。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明实施例中基于FPGA的固定相机周视成像系统硬件组成框图。

图2为本发明实施例中基于FPGA的固定相机周视成像系统软件算法框图。

图3为本发明实施例中基于FPGA的固定相机周视成像系统数据读写框图。

具体实施方式

本发明基于FPGA的固定相机周视成像系统，包括图像采集模块、图像存储模块、图像处理模块和图像显示模块；

图像采集模块，用于采集多幅周围环境的图像信息，并将图像传输到图像存储模块；

图像存储模块，用于缓存图像数据；

图像处理模块，用于读取图像存储模块的多幅图像并对其进行图像预处理、拼接、融合，之后将处理结果传输至图像显示模块；

图像显示模块，用于显示拼接后的图像。

结合图1，进一步地，图像采集模块包括位于同一水平面沿圆周均布的N个CMOS相机，实现多路同步采集图像。

示例性优选地，N＝8，八个CMOS相机固定于八角形铁架上。

示例性地，CMOS相机的型号为OV5640。

进一步地，图像处理模块具体在FPGA上实现，采用两级工作方式：第一级为两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行拼接、融合；第二级为将第一级的拼接结果传输至第三片FPGA芯片进行最终的拼接融合。

示例性地，在N＝8的基础上，m＝4。

进一步地，图像存储模块包括与FPGA芯片一一对应的三片DDR3 SDRAM，其均在FPGA内置IP核的控制下采用乒乓操作的方式完成图片的缓存和读取。

示例性优选地，图像预处理具体为中值滤波；

图像拼接具体结合基于Harris角点检测的图像配准算法以及RANSAC特征点提纯算法实现；

融合具体采用加权平均的方法。

进一步地，图像显示模块具体采用FPGA驱动的VGA显示器，以滑动的方式显示拼接后的图像。

基于上述系统的周视成像方法，包括以下步骤：

步骤1、位于同一水平面沿圆周均布的N个CMOS相机同步采集环境图像，并存储至DDR3 SDRAM；

步骤2、第一级的两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行拼接、融合，并将结果分别存储至相应的DDR3 SDRAM；

步骤3、第二级的FPGA芯片对上述拼接融合后的两幅图像进行进一步拼接融合，获得最终拼接融合后的图像，并将其传输至VGA显示器进行显示。

下面结合实施例对本发明作进一步详细的说明。

实施例

本实施例中搭建的系统如图1所示，包括同一水平面沿圆周均布的8个OV5640相机，其中相邻的四个相机为一组共将所有相机分为两组，每组相机对应一个FPGA芯片(分别记为1号FPGA、2号FPGA)和DDR3 SDRAM(1号DDR3、2号DDR3)，两个FPGA芯片之后还对应一个FPGA芯片(记为3号FPGA)和DDR3 SDRAM(3号DDR3)。

结合图2、图3，基于上述系统进行周视成像包括以下过程：

1、在FPGA的控制下，设置OV5640采集图像的信息。本实施例中OV5640通过SCCB总线，分别设置输出图像的分辨率为640×480，数据输出格式为RGB565，输出的数据通过DVP接口传输到FPGA。

2、两组相机分别采集周围环境图像，并传输至相应的FPGA芯片和DDR3 SDRAM。

3、1号FPGA、2号FPGA分别对接收到的图像数据进行中值滤波等降噪处理以及矫正处理，之后结合基于Harris角点检测的图像配准算法和RANSAC特征点提纯算法实现图像拼接(因为相机的位置保持不变，该过程只进行一次，加快了拼接的速度)，最后通过加权平均融合法消除拼接缝。

4、3号FPGA对上述拼接融合后的两幅图进行进一步拼接融合，获得最终拼接后的360°图像，并通过滑动显示的方式将该图在VGA显示器进行显示，滑动窗口的大小为640×480。

相比于现有采用纯软件实现图像拼接的技术，本发明能实现快速完成多路视频图像的数据传输、拼接和显示工作，且实时性好、分辨率高。

Claims (9)

1.一种基于FPGA的固定相机周视成像系统，其特征在于，包括图像采集模块、图像存储模块、图像处理模块和图像显示模块；

所述图像采集模块，用于采集多幅周围环境的图像信息，并将图像传输到图像存储模块；

所述图像存储模块，用于缓存图像数据；

所述图像处理模块，用于读取图像存储模块的多幅图像并对其进行预处理、拼接、融合，之后将处理结果传输至图像显示模块；

所述图像显示模块，用于显示拼接后的图像。

2.根据权利要求1所述的基于FPGA的固定相机周视成像系统，其特征在于，所述图像采集模块包括位于同一水平面沿圆周均布的N个CMOS相机，实现多路同步采集图像。

3.根据权利要求1或2所述的基于FPGA的固定相机周视成像系统，其特征在于，所述N＝8，八个CMOS相机固定于八角形铁架上。

4.根据权利要求3所述的基于FPGA的固定相机周视成像系统，其特征在于，所述CMOS相机的型号为OV5640。

5.根据权利要求4所述的基于FPGA的固定相机周视成像系统，其特征在于，所述图像处理模块具体在FPGA上实现，采用两级工作方式：第一级为两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行预处理、拼接、融合；第二级为将第一级的拼接结果传输至第三片FPGA芯片进行最终的拼接融合。

6.根据权利要求5所述的基于FPGA的固定相机周视成像系统，其特征在于，所述图像存储模块包括与FPGA芯片一一对应的三片DDR3 SDRAM芯片，其均在FPGA内置IP核的控制下采用乒乓操作的方式完成图片的缓存和读取。

7.根据权利要求6所述的基于FPGA的固定相机周视成像系统，其特征在于，所述图像预处理具体为中值滤波；

所述图像拼接具体结合基于Harris角点检测的图像配准算法以及RANSAC特征点提纯算法实现；

所述融合具体采用加权平均的方法。

8.根据权利要求7所述的基于FPGA的固定相机周视成像系统，其特征在于，所述图像显示模块具体采用FPGA驱动的VGA显示器，以滑动的方式显示拼接后的图像。

9.基于权利要求1所述系统的周视成像方法，其特征在于，包括以下步骤：

步骤1、位于同一水平面沿圆周均布的N个CMOS相机同步采集环境图像，并存储至DDR3SDRAM；

步骤2、第一级的两片FPGA芯片分别对m个CMOS相机采集的图像、剩余的N-m个CMOS相机采集的图像进行预处理、拼接、融合，并将结果分别存储至相应的DDR3SDRAM；

步骤3、第二级的FPGA芯片对上述拼接融合后的两幅图像进行进一步拼接融合，获得最终拼接融合后的图像，并将其传输至VGA显示器进行显示。