CN213879937U

CN213879937U - 一种基于Zynq的实时多路图像拼接装置

Info

Publication number: CN213879937U
Application number: CN202023125313.XU
Authority: CN
Inventors: 裴海龙; 宋逸凡
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2021-08-03
Anticipated expiration: 2030-12-22

Abstract

本实用新型公开了一种基于Zynq的实时多路图像拼接装置，包括4个全局式快门图像传感器、Zynq核心板及其配套的底板，Zynq核心板包含PL单元和PS单元，PL单元包括MIPI CSI‑2 RX IP模块，图像预处理IP模块、图像拼接IP模块和VDMA模块；PS单元中DDR4内存保存VDMA模块实时发送过来的图像数据，CPU运行Linux系统，控制整个实时多路图像拼接装置的运行，把处理后的图像数据保存到SD卡和发送到数传模块。本实时多路图像拼接装置具有相比于CPU更强的并行计算能力和相比于GPU、DSP更灵活、功耗更低的数据处理能力，适用于对算力和功耗有要求的嵌入式图像处理系统。

Description

一种基于Zynq的实时多路图像拼接装置

技术领域

本实用新型涉及涉及图像拼接和嵌入式图像处理系统设计技术领域，具体涉及一种基于Zynq的实时多路图像拼接装置。

背景技术

图像拼接(image mosaic)是一个日益流行的研究领域，它已成为计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接通常是通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，得到比单个图像更高的分辨率和更大的视野。

嵌入式图像处理系统由于其特殊用途，对硬件会有特定要求。例如，当嵌入式图像处理系统应用于移动场景例如无人机及无人小车(AGV)中，由于系统安置在快速移动的平台上，普通的卷帘式快门图像传感器拍摄的图像会有果冻效应，物体会有严重的形变，影响图像拼接算法的效果，选择全局式快门的图像传感器可以有效避免这个问题。图像拼接需要对多个图像传感器得到的图像进行融合，对多个图像传感器使用同步触发获取同一时刻的图像，可以很好的提高图像拼接的效果。另外，由于图像拼接需要合成一幅大尺寸、高分辨率的图像，使其算法较为复杂、计算量较大，如果要实现实时图像拼接的效果，对硬件处理速度有一定的要求，在传统PC机中运行图像算法时使用大规模GPU的做法在嵌入式系统中不再使用，因此如何提高嵌入式图像处理系统的处理能力成为了当前比较热门的研究课题。

在图像处理过程中，具有很强通用性和逻辑判断能力但并行处理能力不足CPU变得不再合适，目前主流的图像处理方案是选择DSP、GPU或者FPGA平台来实现。DSP，GPU，CPU对图像的处理基本都是以帧为单位的，从相机采集到的图像数据会先存在DDR内存中，然后GPU会读取内存中的图像数据进行处理。假如采集图像的帧率是30帧，那么DSP，GPU要是能在1/30秒内在DDR中把图像数据读取出来，完成一帧图像的处理后再把数据存回内存中，就可以达到实时处理的效果。

而FPGA对图像进行实时流水线运算是以行为单位的。FPGA可以直接和图像传感器芯片连接采集图像数据流。FPGA能进行实时流水线处理的关键是它可以用内部的BlockRam缓存若干行的图像数据。Block Ram可以说是类似于CPU、GPU里面的Cache缓存，但Cache缓存不是完全可控的，而Block Ram是完全可控的，可以用它实现各种灵活的运算处理。这样FPGA通过缓存若干行图像数据就可以对图像进行实时处理，图像数据就这样一边流过就一边完成处理，不需要送入DDR内存了之后再读出来处理。

此外，FPGA的布线资源丰富，可重复编程和集成度高可以使系统的功耗和处理能力大大提高，使FPGA在嵌入式图像处理系统受到广泛使用。赛灵思公司推出的Zynq系列SoC创新性地把CPU和FPGA封装在同一块芯片，大大降低了CPU和FPGA的通信功耗和难度，其中FPGA负责大规模并发的简单计算，CPU负责运行操作系统和处理复杂的逻辑问题。两者结合带来的诸多优点使Zynq系列SoC在嵌入式图像处理系统得到愈加广泛的使用。

实用新型内容

本实用新型的目的是为了解决现有技术中的上述缺陷，提供一种基于Zynq的实时多路图像拼接装置。

本实用新型的目的可以通过采取如下技术方案达到：

一种基于Zynq的实时多路图像拼接装置，所述实时多路图像拼接装置包括：4个图像传感器、1个Zynq核心板及其配套的底板，其中，

所述4个图像传感器均采用全局式快门图像传感器，具有全局式快门和外触发工作模式的特点，所述4个图像传感器通过外触发接口实现同步触发；

所述Zynq核心板上的Zynq芯片包含PS单元和PL单元，分别对应CPU和FPGA资源，PS单元用于运行Linux系统，控制整个实时多路图像拼接装置的运行；PL单元包含多种图像处理IP模块，用于完成图像解码和图像拼接算法，达到硬件加速的效果；

所述底板包括电源模块、用于与Zynq核心板连接的外围设备以及用于安装和固定Zynq核心板和4个图像传感器的FEP高速接口。

进一步地，所述4个图像传感器最高支持1280*800分辨率以及每秒66帧的拍摄速度。

进一步地，所述4个图像传感器分别安装在底板的前、后、左、右四个方向，所述4个图像传感器的外触发引脚和时钟输入引脚分别接在一起，再连接到Zynq核心板的PS单元，由Zynq核心板中PS单元的时钟模块发送触发信号实现同步触发的效果。

进一步地，所述Zynq核心板中PL单元包括依次顺序连接的MIPI CSI-2RX IP模块、图像预处理IP模块、图像拼接IP模块和VDMA模块。

进一步地，所述Zynq核心板中PS单元包括1个四核Cortex-A53CPU、4GB DDR4内存以及支持多路时钟信号输出可编程的时钟模块。

进一步地，所述4个图像传感器的MIPI接口连接到Zynq核心板中PL单元的差分信号接口，所述4个图像传感器的I2C接口连接到Zynq核心板中PL单元的模拟I2C接口。

进一步地，所述底板的外围设备包括SD卡以及数传模块，其中，SD卡和数传模块分别通过底板的电路连接到Zynq核心板的SPI接口和USB接口。

本实用新型相对于现有技术具有如下的优点及效果：

(1)本实用新型公开的实时多路图像拼接装置，主要包括4个全局式快门图像传感器、Zynq核心板以及其配套的底板。底板包括Zynq核心板的外围设备以及用于安装和固定Zynq核心板和图像传感器的接口。其中，图像传感器工作在外触发模式，外触发引脚和时钟输入引脚分别接在一起，实现同步触发的效果。Zynq具有PL单元和PS单元，PL单元包括MIPICSI-2RX IP模块、图像预处理IP模块、图像拼接IP模块和VDMA模块，图像传感器输出MIPI信号，MIPI CSI-2RX IP模块对MIPI信号进行解码，图像预处理IP模块对图像进行畸变校正和图像参数归一化，图像拼接IP模块实时输出拼接结果。PS单元主要使用CPU和DDR4内存这两种资源，VDMA模块实时拼接结果发送给DDR4内存中；CPU上运行Linux系统，Linux系统会运行程序会把VDMA模块发送到DDR4内存的拼接结果保存到SD卡中。本实用新型图像拼接系统基于Zynq，具有相比于CPU更强的并行计算能力和相比于GPU更灵活、功耗更低的数据处理能力，因此本实用新型系统适用于对算力和功耗有要求的嵌入式设备。

(2)本实用新型公开的实时多路图像拼接装置采用全局式快门图像传感器，该全局式快门的图像传感器可以有效避免果冻效应，并且帧率最高可达66fps。此外，图像传感器工作在外触发模式，外触发引脚和时钟输入引脚分别接在一起，通过PS单元中的时钟模块发送触发信号实现同步触发的效果。相对于传统记录时间戳的同步方案，使用传感器自带的触发功能实现的同步方案可以实现更加精准的同步效果，使得实时多路图像拼接装置在高速运动下仍然能够得到同一时刻生成的图像，可以有效降低误匹配，提高图像拼接的效果。因此本实用新型适用于高速移动、对帧率要求比较高的场景。

(3)本实用新型公开的实时多路图像拼接装置中利用全局式快门图像传感器的MIPI接口，相比于DVP接口，MIPI接口使用差分方式串行传输数据，因此连接引脚更少、传输速率更快、信号的抗干扰能力更强；相比于USB接口，MIPI接口的延时性更低；因此本实用新型适用于多摄像头、高分辨率、高帧数的场景。

附图说明

图1是本实用新型公开的实时多路图像拼接装置的示意图；

图2是本实用新型公开的实时多路图像拼接装置的功能方块图。

图3是本实用新型公开的3V3-1V8电平转换电路的原理图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例

本实施例公开了一种多路图像拼接装置。图1是本实用新型实时图像拼接装置的示意图，主要包括4个全局式快门图像传感器、Zynq核心板以及其配套的底板。

在本实施例中采用的图像传感器具有全局式快门、封装小、镜头可更换和具有主动触发模式的特点。采用全局式快门是为了避免本实用新型图像拼接系统考虑应用在高速移动场景下产生果冻效应，影响图像拼接的成像效果；采用小封装是为了减小硬件的重量和功耗，满足应用场景对整个系统的尺寸要求；可更换镜头是为了应付不同的使用场景，使图像传感器模块可以具有不同的视场。具有主动触发模式是为了更加精准的控制图像传感器的工作状态，实现同步触发的效果，提高图像拼接的效果。

如图1所示，4个图像传感器分别安装在底板前后左右四个方向。图像传感器工作在外触发模式，图像传感器的输出接口采用MIPI接口。图像传感器具体可以采用安森美公司的AR0144全局式快门图像传感器，最高支持1280*800的分辨率以及每秒66帧的拍摄速度。4个图像传感器的外触发引脚和时钟输入引脚需要分别接在一起，与Zynq核心板中PS单元的引脚相连，由Zynq核心板中PS单元的时钟模块发送触发信号实现同步触发的效果。图像传感器的图像数据输出接口为MIPI接口，采用差分信号串行传输数据的方式。此外，图像传感器输出的图像数据要通过Zynq核心板中PL单元进行解码和处理，达到硬件加速的效果。因此图像传感器的MIPI接口要连接到Zynq核心板中PL单元的差分信号接口。由于本实施例的外设较多，PS单元的I2C接口数量不足，无法挂载所有外设。因此需要在PL单元上使用I2C IP模块，通过模拟的方式生成4个I2C接口。所以，图像传感器的I2C接口需要连接到PL单元上。

底板的外围设备主要包含SD卡以及数传模块。SD卡和数传模块通过底板的电路分别连接到Zynq核心板中PS单元的SPI接口和USB接口。供电模块包括5V稳压电源、3V3稳压电源、2V8稳压电源，分别为Zynq核心板、外围设备和图像传感器提供电源输入。SD卡与Zynq核心板中PS单元的SPI接口连接，支持SDIO模式，用于用来保存数据和程序，如Linux系统、文件系统。PS单元中SD卡相关的引脚是MIO[40-47]，其中包含SD卡检测信号。SD卡由于没有写保护功能，因此写保护不起作用。由于SD卡工作电压为3.3V，而Zynq核心板的接口电压为1.8V。因此，采用如图3所示的电平转换电路，使用TXS02612作为电平桥接芯片。

Zynq核心板上的Zynq芯片具体可以采用赛灵思Zynq UltraScale+系列的xczu3cg。如图2所示，Zynq包含PS和PL两个单元，分别对应SoC的CPU和FPGA资源。PL单元内有MIPI CSI-2RX IP模块，图像预处理IP模块、图像拼接IP模块和VDMA模块。

MIPI CSI-2RX IP模块会对图像传感器传来的MIPI信号进行处理，解码为BMP格式的图像。图像拼接IP模块完成图像拼接算法，并把处理后的数据发送到VDMA模块。VDMA模块把接收到的数据存放到DDR4内存中，待CPU去读取数据。

以上IP模块的接口主要可以分为控制接口和数据接口。在本实施例中，各IP模块的控制接口使用AXI4-Lite总线接口，数据接口使用AXI4-Stream总线接口。AXI4-Lite总线接口是一个轻量级的地址映射单次传输总线接口，占用较少的资源。IP模块的控制接口用于对完成IP模块的参数配置和读取IP模块的工作状态，不需要传输大量数据和频繁使用，因此选用AXI4-Lite总线接口。AXI4-Stream总线接口去掉了地址传输的功能，允许无限制的数据突发传输，无需考虑地址映射。在本实施例中，IP模块的数据接口主要用于传输图像数据，需要比较高速的数据流传输，因此选用AXI4-Stream总线接口。IP模块通过标准化的AXI4总线接口，可以比较快捷和高效的实现各IP模块之间的通信。

PS单元包括1个四核Cortex-A53CPU、4GB DDR4内存以及支持多路输出频率的可编程时钟模块。在本实用新型中，PS单元的CPU上运行Linux系统，在DDR4内存上缓存处理后的图像数据。Linux系统会运行程序会把VDMA发送到DDR4内存的图像数据保存在SD卡中以作备份，同时把数据发送到数传模块中，把图像数据传送回控制基站。时钟模块用于发送图像传感器的触发信号，实现4个图像传感器的同步触发。此外，触发信号的频率可以通过对时钟模块进行配置而改变，从而实现图像传感器拍摄帧率的控制。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims

1.一种基于Zynq的实时多路图像拼接装置，其特征在于，所述实时多路图像拼接装置包括：4个图像传感器、1个Zynq核心板及其配套的底板，其中，

所述4个图像传感器均采用全局式快门图像传感器，全局式快门图像传感器是外触发工作模式，所述4个图像传感器通过外触发接口实现同步触发；

所述Zynq核心板上的Zynq芯片包含PS单元和PL单元，分别对应CPU和FPGA资源，PS单元用于运行Linux系统，控制整个实时多路图像拼接装置的运行；PL单元包含多种图像处理IP模块，用于完成图像解码和图像拼接；

所述底板包括电源模块、外围设备以及用于安装和固定Zynq核心板和4个图像传感器的FEP高速接口。

2.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述4个图像传感器最高支持1280*800分辨率以及每秒66帧的拍摄速度。

3.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述4个图像传感器分别安装在底板的前、后、左、右四个方向，所述4个图像传感器的外触发引脚和时钟输入引脚分别接在一起，再连接到Zynq核心板的PS单元，由Zynq核心板中PS单元的时钟模块发送触发信号实现同步触发的效果。

4.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述Zynq核心板中PL单元包括依次顺序连接的MIPI CSI-2RX IP模块、图像预处理IP模块、图像拼接IP模块和VDMA模块。

5.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述Zynq核心板中PS单元包括1个四核Cortex-A53 CPU、4GB DDR4内存以及支持多路时钟信号输出可编程的时钟模块。

6.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述4个图像传感器的MIPI接口连接到Zynq核心板中PL单元的差分信号接口，所述4个图像传感器的I2C接口连接到Zynq核心板中PL单元的模拟I2C接口。

7.根据权利要求1所述的一种基于Zynq的实时多路图像拼接装置，其特征在于，所述底板的外围设备包括SD卡以及数传模块，其中，SD卡和数传模块分别通过底板的电路连接到Zynq核心板的SPI接口和USB接口。