CN108449554A - 一种基于SoC的多源图像配准融合加速系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于SoC的多源图像配准融合加速系统及控制方法，属于图像处理技术领域。本发明采用软硬件协同设计的思想，硬件平台系统包括片上系统和周边外设器件；片上系统异构了硬核ARM处理器与FPGA并行逻辑，其中硬核ARM处理器搭载嵌入式操作系统，FPGA并行逻辑实现图像采集、配准融合加速处理和图像显示功能；周边外设器件用于支持操作系统交互、实现加速系统图像数据接口。软件视频流控制方法采用多线程控制方法，实现视频流在FPGA并行逻辑中各逻辑功能模块间的快速、有序处理。本发明于单芯片上实现了多源图像传感器配准与融合处理，速度达到60FPS且无明显延迟，达到了实时处理的目的。

Description

一种基于SoC的多源图像配准融合加速系统及控制方法

技术领域

本发明涉及一种基于SoC的多源图像配准融合加速系统及控制方法，属于数字图像处理技术领域。

背景技术

图像配准融合是图像处理技术领域的关键技术。图像配准是指采取一定方法确定成像间像素之间的空间几何位置关系，而图像融合是指将多源图像的像素进行选取，进而合成一幅图像，以达到去除信息冗余、实现信息互补和改善成像质量的目的。一般来说图像配准是图像融合处理的基础。

包括多源图像配准融合在内的数字图像处理，要求处理平台足够的运算能力和存储资源，而一般的处理平台(通用CPU、DSP等)往往不能很好满足这方面要求，造成系统实时性不高，这需要更高效的加速处理；图像处理一般需要经过图像采集、特定图像加速处理、图像显示/传输等步骤，如何充分压缩各个环节的处理时间并整合实现整体系统的高速处理，需要更好的软件和硬件协同设计。

多源图像配准融合加速在遥感、军事和医疗等领域有着广泛的应用。比如在图像配准加速装置方面，国外红外与激光工程2011年第40卷中的《Key techique of real-timescene matching system based on FMT》论述了使用定点DSP TMS320C6416实现FMT算法在景象匹配上的应用，但是该系统耗时较长(40ms)，且对实际应用中广泛存在的平移变换无能为力；在图像融合方面，国际会议FSKD在2015年的《Design for a reconfigurableimage fusion system base on All Programmable System on Chip》论述了使用APSoC实现拉普拉斯融合的方法，但是该装置采用顶层软件控制DMA在加速逻辑间反复搬运数据的方式增大了数据延迟，造成实时性不高。

在多源图像配准融合加速处理方面，目前并没有较好实现图像配准、图像融合加速的设计，更缺乏将两者结合，实现两者功能并进一步提高实时性的系统和装置。本发明的目的是致力于解决上述加速系统的实时性问题。

发明内容

本发明的目的在于解决多源图像配准或融合存在功能不全、实时性不高的技术缺陷，分别采用傅里叶梅林(FMT)图像配准算法和拉普拉斯金字塔图像融合算法，提出了一种基于SoC的多源图像配准融合加速系统及控制方法。

一种基于SoC的多源图像配准融合加速系统及控制方法包括一种基于SoC的多源图像配准融合加速系统，简称硬件平台系统以及软件视频流控制方法；

其中，硬件平台系统包括片上系统和周边外设器件；片上系统又包括通用ARM处理器、内存管理控制器、DMA引擎单元、I²C总线控制模块、图像采集模块、配准融合算法加速模块、图像显示模块以及系统总线互联模块；

其中，系统总线互联模块采用AMBA总线协议，又包括AXI4和AXI-Lite两种类型的总线协议；其中，AXI-Lite是AXI4的功能简化；

周边外设器件包括DDR内存器件、多路摄像头、人机交互设备、本地显示器及驱动芯片；

其中，人机交互设备包括鼠标、键盘和操作系统显示器；

硬件平台系统，简称系统，其中各个模块的功能如下：

通用ARM处理器的功能是运行操作系统，完成人机交互、系统各个模块的管理控制以及图像加速应用调用为主的任务；

内存管理控制器的功能是实现对此硬件平台系统上各个主设备对DDR内存器件的访问以及实现大容量的数据缓存；

DMA引擎单元的功能是实现大数据，即视频流从DDR内存器件到具体加速处理逻辑的数据传输；

I²C总线控制模块可以实现I²C接口总线协议，根据接收命令字实现对从设备(双路摄像头和本地显示驱动芯片)的读写访问；

图像采集模块的功能是接收双路视频流的输入数据，同时保证输出图像数据的完整性；

配准融合算法加速模块的功能是实现图像配准和图像融合算法的加速处理，其输入为若干固定的双路视频流数据，模块完成FMT图像配准处理后将配准参数映射到状态寄存器中，同时存入缓存中供操作系统读取，然后根据配准结果对输入进行校正，最后完成图像融合并输出；

其中，图像配准，即FMT；图像融合算法为拉普拉斯金字塔算法；配准参数包括缩放倍数、旋转角度、水平与垂直平移量；

图像显示模块的功能是接收外部视频流数据，产生规范的视频流时序并匹配相应的像素数据，输出到片外的显示芯片，另外该模块还具有数据自动对齐功能，可以克服本地时序产生后输入视频流数据滞后导致的显示错位问题；

系统总线互联模块的功能是将本模块与片上系统中的其他模块连接起来，具体通过统一地址映射实现系统中各个模块的通信传输，采用AMBA总线协议实现；

周边外设器件内的各个模块功能如下：

DDR(Double-Data-Rate SDRAM)内存器件的功能是缓冲存储大数据，操作系统启动后，DMA引擎单元会从中划出一部分供其专用；

多路摄像头的功能是采集外部场景，产生稳定的数字视频流；

本地显示器及驱动芯片的功能是采集、融合图像以及配准结果实时显示；

人机交互设备的功能是完成与操作人员的信息交互；

硬件平台系统中各部分的连接关系：

通用ARM处理器、内存管理控制器、DMA引擎单元的SG(Scatter/Gather)端口连接到系统总线互联模块的AXI部分，DMA引擎单元、图像采集、配准融合算法加速模块、图像显示和I²C总线控制模块的控制端口连接到系统总线互联模块的AXI-Lite部分，图像采集、配准融合算法加速模块、图像显示和I²C总线控制模块的数据通道端口连接到DMA引擎单元的数据通道，DDR内存器件连接到内存管理控制器，人机交互设备连接到系统总线互联模块的AXI部分，多路摄像头的数据通道连接到图像采集模块，本地显示器及驱动芯片连接到图像显示模块，I²C总线控制器的输出连接到多路摄像头和本地显示器及驱动芯片的控制端口；

软件视频流控制方法，包括以下步骤：

步骤1、通用ARM处理器搭载嵌入式Linux系统，嵌入式Linux系统的主程序完成各个部分的配置，初始化帧缓存空间，并创建多线程；

其中，多线程主要包括状态线程、控制台线程以及与底层各个硬件视频流的操作线程；

步骤2、步骤1创建的底层各个硬件视频流的操作线程查询帧缓存空间状态，依照一定顺序完成对帧缓存的数据读写操作，更新其状态并进行线程间通信，同时DMA引擎单元工作于Scatter/Gather模式，自动查询缓存链表并完成数据缓存与图像采集、配准融合加速模块以及图像显示模块间的数据传输；

步骤3、步骤1创建的状态线程实时打印应用运行状态，控制台线程接受操作员命令，完成结束标志更新，各线程依次退出，主线程回收资源并退出应用；

至此，经过步骤1到步骤3，完成了软件视频流控制方法。

有益效果

一种基于SoC的多源图像配准融合加速系统及控制方法，与现有加速系统与方法相比，具有如下有益效果：

1.功能上实现了创新，目前并没有将配准与融合算法整体加速的设计，本发明在功能上实现了创新；

2.实时性得到较大提高，现有相关图像配准与融合系统的处理速度一般为30FPS，而本发明处理通过软硬件任务解耦，可以大大提高流处理速度，目前系统在图像采集速度足够的情况下，处理256x256大小图像的速度可以达到90FPS以上；

3.体积、功耗小，由于将大量功能模块集成于单片SoC芯片内，搭载该系统的装置可以极大缩小体积与功耗，特别适合于嵌入式场合；

4.可拓展能力强，ARM处理器等硬核ASIC与FPGA图像配准融合算法、图像采集、图像显示等逻辑相结合，使系统同时具有Linux的优越生态系统与算法并行、可编程加速双重优点，软件核硬件都具有更大拓展能力。

附图说明

图1是本发明一种基于SoC的多源图像配准融合加速系统及控制方法中的硬件平台系统的结构框图；

图2是本发明一种基于SoC的多源图像配准融合加速系统及控制方法中的软件视频流控制方法中的多线程软件视频流控制示意图；

图3是本发明一种基于SoC的多源图像配准融合加速系统及控制方法中的I²C总线控制器读写命令字示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明和详细描述。

实施例

本实施例采用Xilinx公司xc7z020器件，这种片上系统SoC内部划分为PS(Processing-System)和PL(Programmable-Logic)，前者为专用电路ASIC，后者为可编程逻辑FPGA；如图1所示，所述通用ARM处理器、系统总线互联模块和内存管理控制器均位于PS侧，其上运行嵌入式Linux系统，且硬核形式相比传统软核有着巨大的性能优势；所述DMA引擎、图像采集、配准融合算法加速模块、图像显示均在PL部分完成设计并实现，利用FPGA并行、可编程的特点完成算法加速，并实现系统数据接口功能；整个系统处理图像大小为256x256像素。

所述双路摄像头采用的是MT9V034灰度图像传感器，这是一种全局曝光CMOS传感器，在全像素(752Hx480V)输出时速度为60FPS，SoC片上系统在初始化时通过I²C接口将其输出配置为256x256大小，其后器件自动采集并将连续数据(包括场/行同步)输入到SoC器件PL部分的图像采集模块；

所述本地显示器及驱动芯片采用ADV7511芯片及支持HDMI接口的显示器，ADV7511是一种多媒体传输驱动器件，支持视频与音频功能，SoC片上系统在初始化时通过I²C配置ADV7511，其后SoC器件PL部分的图像显示模块生成时序信号(包括场/行同步)并耦合DMA传输的像素数据，其输出到该驱动芯片，该器件自动产生HDMI/DVI信号驱动显示器，显示的内容包括参考图、输入图、融合图，以及配准参数；

所述图像配准融合加速模块采用的算法分别为傅里叶梅林配准和拉普拉斯金字塔融合，该模块采用Verilog HDL设计描述，利用FPGA进行并行加速，完成一帧图像配准与融合耗时约10ms，SoC片上系统在初始化时通过AXI-Lite总线完成配置，其后接受双通道DMA连续数据流，完成算法处理后，分别将各帧配准参数和融合图像存储到各自的FIFO通道，以供DMA读取；

所述I²C总线控制器接收一系列命令字，生成I²C主设备时序，以完成对板上器件(MT9V034与ADV7511)的读写配置，其读写命令操作方法如图3所示，图中I²C_Master首先向TX_FIFO写入1Byte的配置字节，低2bits(lane)为总线通道(物理上支持多条总线)选择，高6bits(length)给出本次交易需要传送的数据长度(最长63Bytes)；接下来的1Bytes高6位(Slave_addr)为从设备号，最低位(w/r)给出该次交易类型(0-写操作，1-读操作)；操作的寄存器地址位于第3字节(mem_address)，当前只支持8bits的地址长度；其后为指定长度的写入数据(读操作时缺省)；硬件I²C_Master会将读入的数据依次写入RX_FIFO中(写操作时该部分缺省)，并在最后写入硬件和交易的状态字(status)。

以上分别叙述了操作系统以下底层逻辑的数据流，完成以上逻辑的驱动设计后，在操作系统层面将这些数据流视为标准IO数据文件。

本发明的整个操作流程：系统完成片上Linux系统启动，DMA引擎向操作系统申请专用内存空间并锁定以防止操作系统自动空间置换；操作人员打开终端，调用加速软件应用并给出帧缓冲区域帧数据包个数；应用软件向用户操作空间申请帧缓冲区并锁定，根据图2完成缓存初始化，图中由于缓冲区操作时首尾相接，称为环形帧缓冲区，包含指定的帧数据包，每个帧数据包均按照图2中进行区域划分(参考图、输入图、融合图、配准参数)；应用软件通过I²C总线控制模块配置双路摄像头与ADV7511，初始化图像配准融合算法加速模块；为各个独立数据通道创建线程，并提高各线程优先级，如图2所示，各线程独立负责相应数据通道的管理(图2中各线程位置自左向右移动并回环)，分别打开对应IO文件后，操作帧数据包对应的空间，并通过信号量Sem[0]～Sem[6]进行线程同步，以保证后方(如输入图读线程位于参考图读线程后方)线程不会越过前方线程，防止不正确的数据覆盖，同时所有帧数据包被标记为S0～S6状态，根据线程操作完成状态转换，状态线程在终端更新显示帧缓冲区状态，控制台程序监视键盘输入；操作人员通过键入“quit”并回车完成应用终止运行；控制台线程检测到“quit”命令后，通过置位标志使各个线程顺序退出，主进程回收各线程资源，关闭IO文件并退出应用。

本实例中，系统采用源同步的运行方式，经过上板实验可以达到60FPS的运行速度，无明显延迟，相比于现有设计20～30FPS的处理速度，实时性得到较大提高，并能取得较高的配准、融合效果；另外，系统具有更快的处理速度潜力(理论最高达到100FPS)。本发明在功能将配准、结合，功能上实现了独创性；同时在加速性方面实现了对现有加速设计的明显提升。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (2)

1.一种基于SoC的多源图像配准融合加速系统，其特征在于：包括片上系统和周边外设器件；片上系统又包括通用ARM处理器、内存管理控制器、DMA引擎单元、I²C总线控制模块、图像采集模块、配准融合算法加速模块、图像显示模块以及系统总线互联模块；

其中，系统总线互联模块采用AMBA总线协议，又包括AXI4和AXI-Lite两种类型的总线协议；其中，AXI-Lite是AXI4的功能简化；

周边外设器件包括DDR内存器件、多路摄像头、人机交互设备、本地显示器及驱动芯片；

其中，人机交互设备包括鼠标、键盘和操作系统显示器；

硬件平台系统，简称系统，其中各个模块的功能如下：

通用ARM处理器的功能是运行操作系统，完成人机交互、系统各个模块的管理控制以及图像加速应用调用为主的任务；

内存管理控制器的功能是实现对此硬件平台系统上各个主设备对DDR内存器件的访问以及实现大容量的数据缓存；

DMA引擎单元的功能是实现大数据，即视频流从DDR内存器件到具体加速处理逻辑的数据传输；

I²C总线控制模块可以实现I²C接口总线协议，根据接收命令字实现对从设备(双路摄像头和本地显示驱动芯片)的读写访问；

图像采集模块的功能是接收双路视频流的输入数据，同时保证输出图像数据的完整性；

配准融合算法加速模块的功能是实现图像配准和图像融合算法的加速处理，其输入为若干固定的双路视频流数据，模块完成FMT图像配准处理后将配准参数映射到状态寄存器中，同时存入缓存中供操作系统读取，然后根据配准结果对输入进行校正，最后完成图像融合并输出；

其中，图像配准，即FMT；图像融合算法为拉普拉斯金字塔算法；配准参数包括缩放倍数、旋转角度、水平与垂直平移量；

图像显示模块的功能是接收外部视频流数据，产生规范的视频流时序并匹配相应的像素数据，输出到片外的显示芯片，另外该模块还具有数据自动对齐功能，可以克服本地时序产生后输入视频流数据滞后导致的显示错位问题；

系统总线互联模块的功能是将本模块与片上系统中的其他模块连接起来，具体通过统一地址映射实现系统中各个模块的通信传输，采用AMBA总线协议实现；

周边外设器件内的各个模块功能如下：

DDR(Double-Data-Rate SDRAM)内存器件的功能是缓冲存储大数据，操作系统启动后，DMA引擎单元会从中划出一部分供其专用；

多路摄像头的功能是采集外部场景，产生稳定的数字视频流；

本地显示器及驱动芯片的功能是采集、融合图像以及配准结果实时显示；

人机交互设备的功能是完成与操作人员的信息交互；

硬件平台系统中各部分的连接关系：

通用ARM处理器、内存管理控制器、DMA引擎单元的SG(Scatter/Gather)端口连接到系统总线互联模块的AXI部分，DMA引擎单元、图像采集、配准融合算法加速模块、图像显示和I²C总线控制模块的控制端口连接到系统总线互联模块的AXI-Lite部分，图像采集、配准融合算法加速模块、图像显示和I²C总线控制模块的数据通道端口连接到DMA引擎单元的数据通道，DDR内存器件连接到内存管理控制器，人机交互设备连接到系统总线互联模块的AXI部分，多路摄像头的数据通道连接到图像采集模块，本地显示器及驱动芯片连接到图像显示模块，I²C总线控制器的输出连接到多路摄像头和本地显示器及驱动芯片的控制端口。

2.软件视频流控制方法，其特征在于：包括以下步骤：

步骤1、通用ARM处理器搭载嵌入式Linux系统，嵌入式Linux系统的主程序完成各个部分的配置，初始化帧缓存空间，并创建多线程；

其中，多线程主要包括状态线程、控制台线程以及与底层各个硬件视频流的操作线程；

步骤2、步骤1创建的底层各个硬件视频流的操作线程查询帧缓存空间状态，依照一定顺序完成对帧缓存的数据读写操作，更新其状态并进行线程间通信，同时DMA引擎单元工作于Scatter/Gather模式，自动查询缓存链表并完成数据缓存与图像采集、配准融合加速模块以及图像显示模块间的数据传输；

步骤3、步骤1创建的状态线程实时打印应用运行状态，控制台线程接受操作员命令，完成结束标志更新，各线程依次退出，主线程回收资源并退出应用；

至此，经过步骤1到步骤3，完成了软件视频流控制方法。