CN102096892A - 嵌入式实时图像处理平台装置 - Google Patents

Abstract

本发明公开了一种嵌入式实时图像处理平台装置，包括：接口模块，提供多种连接外部设备的接口；控制模块，用于运行操作系统进行管理和监控；计算模块，通过利用多个DSP进行数据的高速计算；以及电源管理模块，用于提供整个装置的供电方案；外部的视频流和/或图像数据，在所述控制模块的管理和调度下，经一外部A/D转换模块从所述接口模块输入，然后传输到所述计算模块进行处理，结果数据进行存储或经所述接口模块的输出接口输出显示，从而完成实时图像处理。本发明计算效率高、交互性好、实时性强、可靠性好、结构灵活、通用性好、扩展性强，能进行常用接口开发和高速计算处理，可有效应用于数字图像处理领域多种方法的研究、测试和开发。

Description

嵌入式实时图像处理平台装置

技术领域

本发明属于数字信号处理装置领域，具体涉及一种嵌入式实时图像处理平台装置，可用于多种应用背景下数字图像处理方法的研究、测试和开发。

背景技术

嵌入式系统是指以应用为中心、以计算机技术为基础、软硬件可裁剪、适用于系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。进几十年来嵌入式技术发展非常迅速，越来越多的图像处理问题、实时控制问题等都可以在嵌入式系统中得以实现。嵌入式系统能够得到迅猛发展的原因除了它的体积小之外，最重要的还有伴随嵌入式系统应运而生的嵌入式实时操作系统，操作系统方便了嵌入式系统开发者的软件编写工作，同时在多任务、多中断环境中显示了强大的优势。

实时系统是指对于外来信息能够及时进行处理，并在控制对象允许时间范围内做出快速反应的系统。实时系统对响应时间的要求更高，逻辑和时序出现的偏差将会引起严重的后果。实时图像处理与一般信号处理系统的差别在于需要处理的是大流量的二维数据，这也意味着硬件系统必须具有高速的数据处理能力和数据传输能力。在有限体积下提高系统计算能力的一个途径是采用高性能DSP计算芯片，而我国在军事、宇航应用中，受到封锁，能够获得的适应环境需要的计算芯片落后于需求。提高计算能力的另一个途径是在体积、核心芯片选定的情况下，通过系统结构的设计提高系统的计算和通信效率，硬件平台的计算结构与算法的计算结构相适应，二者完全匹配时，计算效率最高。

基于ARM核的微控制器被认为是目前世界上最先进的微控制器，它在监视控制、人机接口、支持实时操作系统等方面拥有强大的功能。其指令密度相对其他RISC机器更大，存储器的利用率很高，芯片结构相对简单，体积和功耗都很小，能很好地支持高级语言的开发，但其数字信号处理能力和速度相对于DSP要显得有限。而DSP在声音、视频、图像等数字信号处理方面的能力也是微控制器无法比拟的。ARM和DSP，各有千秋，各有不足。因此，在嵌入式实时处理系统中，采用ARM+DSP的结构组合，可以充分发挥两种处理器的优势。其中，ARM作为主处理器，负责任务管理、输入输出，控制外部设备，运行操作系统；而DSP作为从处理器，仅仅负责快速的数据运算处理；两个处理器核之间通用共用部分存储器或使用通信接口进行交互。此外，大规模场可编程门阵列FPGA，因其出色的并行处理能力和灵活的逻辑设计能力，可作为辅助计算资源或完成辅助的控制功能。

目前出现的这类技术较多，如华东交通大学信息工程学院的邓海峰、袁可风等人在《一种嵌入式图像处理平台的设计与实现》(计算机应用，2005，25(3)：1001-9081)中以开放式、平台化的指导思想，设计了一个以DSP和ARM为核心处理器的嵌入式实时多路图像处理开发平台，但是该系统的计算能力有限且不具备扩展能力；华中科技大学图像识别与人工智能研究所的颜路新、张天序等人在《用FPGA实现互连的多DSP并行系统结构》(系统工程与电子技术，2005，27(10))中介绍了采用基于FPGA实现互连的多DSP并行结构，但其互连结构采用静态连接方式，系统不具有动态可重构特性。

发明内容

本发明的目的是提供一种嵌入式实时图像处理平台装置，将硬件平台与操作系统结合，在通用控制平台上实现多种接口功能和数字信号的高速计算，成为模块化、可重构、可扩展的嵌入式开发平台。

本发明的一种嵌入式实时图像处理平台装置，利用ARM实现系统控制、DSP实现计算处理、FPGA实现计算结构可编程，包括接口模块、控制模块、计算模块、扩展模块、JTAG接口模块和电源管理模块，接口模块包括音视频等多种输入输出接口，控制模块运行操作系统进行系统的管理和监控，计算模块利用多个DSP进行高速计算，扩展模块用于叠加子处理板以增加计算模块来增强系统的计算能力，JTAG接口模块用于系统调试，电源管理模块提供了整个系统的供电方案；系统的原始数据来自于外部成像器等A/D模块，在控制模块的管理和调度下，原始数据经输入接口输入，然后传输到计算模块进行高速处理，处理后的结果数据输出到控制模块进行存储或经输出接口进行显示；其特征在于：

(1)接口模块上实现了丰富的外设接口，包括2路视频输入接口、1路静态图像输入接口、3路输出显示接口、音频输入输出接口、USB接口、UART串口、网口和SD卡接口；

(2)控制模块在ARM核上运行嵌入式操作系统，负责整个系统的资源管理，包括中断资源、总线资源、存储器资源，并在各个外设和计算模块之间实现数据流的传输控制；

该控制模块包括数据输入单元、数据输出显示单元、音频处理单元、通信单元和控制总线：

(2.1)数据输入单元实现对A/D模块输出的视频流和图像数据进行接收，并通过IIC总线对A/D转换芯片进行配置，以获得所需格式的视频流数据和图像数据；

(2.2)数据输出显示单元生成三种显示设备所需的显示信号，实际使用过程中可以根据需要进行选择；

(2.3)音频处理单元，将IIS总线控制器与音频编解码芯片相连，得到音频输入通道和音频输出通道，实现音频数据的录制、播放等功能；

(2.4)通信单元，负责对USB接口、UART串口和网口进行控制，为系统和外界装置进行通信提供了丰富而快速的通道；USB接口可以包括一个USB主机接口和一个USB设备接口，UART串口可实现RS232或RS485等通信端口，网口可实现10M、100M等以太网接口；

(2.5)控制总线连接到计算模块，用于控制模块向计算模块加载程序、传输数据，实现对计算模块的实时控制；

该控制模块还可以包括SD卡控制器，支持各种SD卡接口，用于较大数据量的固态存储，扩展系统的存储能力；

(3)计算模块与控制模块通过控制总线相连，实现输入数据的高速计算处理；计算模块基于FPGA+双DSP的架构，拥有自己的存储单元，其中两个DSP负责核心的计算任务，FPGA实现数据通道的逻辑控制；也可以利用FPGA完成辅助的计算功能；

(3.1)控制总线和两DSP外部存储器接口EMIFA总线都连接到FPGA的数据动态互连通道，根据算法处理特点，FPGA可编程实现数据通道的多种互连方式，从而实现两DSP并行、串性或并串结合的多种处理结构，以达到最大的计算效率；

(3.2)两DSP还通过多通道缓冲串口McBSP和串行高速输入输出端口RapidIO直接互连，实现两DSP间数据的直接高速传输；

(4)扩展模块包括板间数据高速通道和扩展插口，通过叠加子处理板，实现计算模块两两互连，相邻计算模块的4个DSP，则直接通过RapidIO通道交替实现全互连结构和环形互连结构；

(5)电源管理模块由分布式的电源管理芯片和监控芯片构成，产生系统运行所需的各种电压，并对电压的稳定性进行监控。

所述的嵌入式实时图像处理平台装置，其特征在于，控制总线直接连接到两DSP的主机端口HPI，实现了ARM+双DSP的主从控制结构，ARM作为主机可直接对DSP进行初始化、程序加载和数据传输等操作，并通过总线切换开关实现对两DSP的分时操作，即某一时段内ARM只对一个DSP进行操作，然后根据系统运行状态切换到另一个DSP进行操作，总线切换开关由FPGA实现。

所述的嵌入式实时图像处理平台装置，其特征在于，存储器中包含多个不同的数据处理算法，它们按处理的需要组成不同的算法子集，根据应用需要的不同，控制模块可以向计算模块加载不同的算法子集。

所述的嵌入式实时图像处理平台装置，其特征在于，控制模块利用HPI端口实现对DSP的动态配置和实时传输；手动设置拨码开关，可以选择FPGA中加载的逻辑程序版本，实现FPGA的动态重构。

本发明的计算模块和连接各计算模块DSP的数据通道可以根据实际应用的需要灵活配置。一方面，在每个计算模块内部，其核心器件DSP可以不同，部分计算模块中可以采用具有高计算性能的DSP芯片，而另一些计算模块中可以采用控制能力强、接口资源丰富，而计算能力稍弱的DSP芯片；另一方面，每个计算模块内部的存储资源配置也可以不同，与该计算模块主要执行的任务以及DSP性能相匹配，在DSP芯片内存小、同时又需要保存大量中间结果的计算模块，需要配置较大的存储器，而对实时性要求高、DSP芯片内存较大的计算模块可以配置较小的存储器。而连接各计算模块DSP的数据通道，一方面，是由FPGA实现的数据动态互连通道和板间数据高速通道，可以根据实际应用的需要灵活配置，实现多种互连结构和处理方式；另一方面，还包括实现DSP器件之间直接互连的McBSP通道和RapidIO通道，加快了计算速度，提高了计算模块的实时处理能力。

本发明的计算能力由DSP、FPGA和ARM共同提供，三者在可编程能力和计算性能上的区别使其在嵌入式信息处理平台装置中发挥不同的作用。考虑到处理任务的广泛性和适应性，本发明中三种芯片的作用作如下划分：以可编程能力强的DSP芯片作为计算模块的核心器件，用DSP实现主要的计算功能，以FPGA芯片作为协处理器件，而控制能力强的ARM芯片只完成少量的计算任务。在嵌入式操作系统的支持下，DSP芯片可以调用和执行不同的算法程序，完成不同的图像处理任务；DSP芯片计算单元有限，只能实现有限的并行，所以部分计算结构规则，并可以用大量简单计算单元组合实现的算法采用FPGA实现，既提供了较强的计算能力，又可以通过对FPGA逻辑的重新编程改变其功能或实现功能的方法；对用于数据输入输出接口部分，应用频繁且处理简单的算法，为提高计算效率，可以采用ARM实现。

由于DSP芯片内存有限，同时也为了降低实时计算软件设计的难度和增加系统的灵活性，减少通过系统外部接口加载算法软件的需要，采用了将多个算法子集的执行代码合并为一个代码文件写入到计算模块的DSP程序存储空间中的方法。系统上电后，操作系统将特定的算法子集代码加载到DSP内存中。在程序执行过程中，根据算法的计算结果和嵌入式操作系统中预先设定的程序，或响应外部控制信号，操作系统向DSP中加载新的算法子集代码。

本发明的特点在于：

(1)基于微控制器ARM+大规模FPGA+高性能DSP的结构

本发明中采用微控制器ARM实现对各个外设和计算模块的初始化、加载和数据流控制，实现对整个系统资源的分配与管理，是系统控制模块的核心；采用大规模可编程FPGA实现系统部分的控制逻辑，提高系统的集成度，同时为系统功能变换提供足够的灵活性；采用高性能DSP实现根据不同的图像处理任务、针对不同的应用背景等需要改变的算法，以保证系统的计算灵活性。

(2)结构可编程、可重构

本发明采用FPGA集中连接控制总线和DSP的EMIFA口总线，在设计的数据动态互连通道和板间数据高速通道的支持下，可以实现多片DSP的有效互连。而且通过改变数据动态互连通道的拓扑形式可以实现互连结构的动态重构。同时，本发明还采用DSP提供的McBSP通道和RapidIO通道实现其直接互连，结构简洁、灵活、可重构。

(3)嵌入式操作系统

本发明开发了嵌入式操作系统，在实现系统资源管理的同时为实时图像处理任务提供了保障。将算法设计与硬件系统相分离，提高了算法软件在不同计算模块、不同系统中的可移植能力。操作系统的图形显示界面，提供了便利的人机交互环境。

本发明拥有丰富的外设接口和强大的计算能力，并具有灵活的计算功能，可以根据算法需要构造不同的计算结构，保证了装置具有高计算效率，能有效适应多种应用背景下的实时图像处理要求。

附图说明

图1为本发明的整体结构框图；

图2为嵌入式操作系统的层次结构示意图；

图3为DSP的HPI boot过程示意图；

图4为总线切换模块的连接示意图；

图5为计算模块的内部结构示意图；

图6为本发明的扩展结构连接示意图。

具体实施方式

以下对本发明进一步说明：

本发明的实施例系统结构如图1所示：包括接口模块、控制模块、计算模块、扩展模块、JTAG接口模块和电源管理模块，接口模块包括音视频等多种输入输出接口，控制模块运行操作系统进行系统的管理和监控，计算模块利用多个DSP进行高速计算，扩展模块用于叠加子处理板以增加计算模块来增强系统的计算能力，JTAG接口模块用于系统调试，电源管理模块提供了整个系统的供电方案。系统的原始数据来自于外部成像器等A/D模块，在控制模块的管理和调度下，原始数据经输入接口输入，然后传输到计算模块进行高速处理，处理后的结果数据输出到控制模块进行存储或经输出接口进行显示。

1、接口模块

本实施例的接口模块实现了丰富的接口资源，下面进行详细说明：

(1)数据输入接口

本实施例可同时接收2路视频流数据的输入和1路图像数据的输入，并进行处理，扩展了装置的处理能力和处理范围，可适用于多种应用背景下的图像处理任务。

(2)显示接口

本实施例包括1路LCD接口，1路VGA接口和1路TV接口。LCD接口提供数字LCD显示信号和模拟触摸屏信号，用于外接STN/TFT液晶显示器和触摸屏，适用于要求携带轻便、显示便利的情况；VGA接口提供标准的模拟VGA显示信号，用于外接VGA液晶显示器，增强了显示效果；以上两种接口都支持彩色、高分辨率的液晶显示器，主要用于显示操作系统的图形显示界面，并可配合触摸屏、键盘、鼠标等设备使用，提供了一个非常便利的人机交互操作环境。TV接口提供模拟电视显示信号，通过电缆外接电视监视器，支持远距离传输显示。

(3)音频接口

本实施例的音频输入接口用于外接麦克风等音频输入设备，音频输出接口用于外接音箱等音频输出设备，系统可对音频数据进行录制、播放等各种处理。

(4)USB接口

本实施例包括一个USB主机接口和一个USB设备接口。USB主机接口用于外接键盘、鼠标、摄像头等各种USB设备，装置作为主机对USB设备进行操作；装置通过USB设备接口连接到上位机，上位机作为主机对其进行操作。

(5)UART串口

本实施例包括一个RS232串口和一个RS485串口，两者都是标准串行数据接口。RS232串口常用于与上位机通信，传输速率较慢，通信距离小于15米；RS485串口支持远距离传输，最大通信距离达1200米，最多可并联32个通信单元。

(6)网络接口

本实施例包括一个100M的以太网接口，带连接和传输指示灯，用于接入以太网进行网络通信。

(7)SD卡接口

本实施例的SD卡接口，可以插接大容量的SD存储卡。SD卡拥有高记忆容量、快速数据传输率以及极大的移动灵活性。

2、控制模块

本实施例的控制模块包括数据输入单元、数据输出显示单元、音频处理单元、通信单元、SD卡控制器和控制总线。控制模块运行嵌入式操作系统，在实现整个系统资源管理的同时为实时图像处理任务提供了保障。操作系统的层次结构如图2所示。

(1)数据输入单元

数据输入单元通过IIC总线对A/D模块进行配置，完成对A/D模块输出视频流数据和图像数据的接收，然后将接收到的原始数据进行缓存或直接传输给计算模块进行处理。

(2)数据输出显示单元

数据输出显示单元生成三类显示设备所需的显示信号：一路是数字的LCD显示信号，通过LCD接口输出；一路是模拟的VGA显示信号，通过VGA接口输出；一路是模拟的TV显示信号，通过TV接口输出。不同的输出接口接不同的显示设备，模拟显示信号都通过专用的D/A转换芯片产生。

(3)音频处理单元

音频处理单元包括IIS总线、L3总线和音频编解码模块，支持IIS标准和MSB标准的数据格式。本系统把IIS总线与音频数字信号编解码器相连，得到音频输入通道和音频输出通道。同时，系统利用ARM的GPIO管脚模拟L3总线，对编解码模块的音频处理参数和控制参数进行配置。

(4)通信单元

通信单元按照USB协议、UART串行通信协议、TCP/IP网络协议，实现对USB接口、RS232串口和RS485串口、100M网络接口的支持，控制本系统与接口设备之间的数据通信。

(5)SD卡控制器

控制模块的SD卡控制器按照SD卡协议，支持大容量SD卡的插入。

(6)控制总线

控制模块的控制总线，一方面连接到数据动态互连通道，与DSP实现动态互连；另一方面，通过总线切换开关连接到DSP的HPI端口，与DSP实现直接互连；数据动态互连通道和总线切换开关都由FPGA实现。

控制总线直接连接到DSP的HPI端口，可以实现ARM+双DSP的主从控制结构。此时，DSP工作于HPI boot模式，ARM作为主机，可以直接访问DSP的存储空间，实现对DSP的初始化、程序加载和数据传输等操作。DSP复位时，如果选择了HPI boot模式，则只有DSP内核进入复位状态，其余模块保持激活状态。这样，主机可以通过HPI接口访问DSP的整个存储空间(包括片内的外设寄存器)，对它们进行初始化。完成有关设置之后，主机向DSP的HPIC寄存器的DSPINT位写1，将DSP从复位状态唤醒，接下来CPU将从地址0开始执行程序。图3显示了这一操作过程。另外，在HPI boot模式下，主机与DSP间的通信，同样也必须按照这一过程进行。

ARM使用总线切换开关实现对两DSP的分时操作，即某一时段内ARM只对一个DSP进行操作，然后根据系统运行状态切换到另一个DSP进行操作，这样避免了总线冲突。总线开关如图4所示，利用一个2选1的多路选择器和一个反相器实现。多路器的输入信号为两DSP的状态输出信号，控制信号来自ARM，输出信号接到ARM的总线延时管脚。ARM根据程序运行状态，改变控制信号的电平，以更换当前进行状态检测的DSP，实现总线切换。

3、计算模块

本实施例的计算模块基于FPGA+双DSP结构，包括一个FPGA芯片和两个DSP芯片，拥有自己的存储器。计算模块的具体结构如图5所示。该模块两DSP的EMIFA口都连接到FPGA器件，两DSP的McBSP和RapidIO端口则直接相连；同时，两DSP的HPI端口和FPGA的可编程IO管脚都连接到控制总线；此外，两DSP的RapidIO端口和FPGA的可编程IO管脚还连接到扩展插口。可编程器件FPGA内部包括总线切换开关、数据动态互连通道和板间数据高速通道等逻辑模块。

计算模块的两DSP，一方面利用FPGA内部的数据动态互联通道进行可控制数据传输，另一方面利用McBSP和RapidIO两种高速通道直接传输数据。数据动态互连通道在FPGA的可编程控制下，可以实现控制模块与两DSP之间数据通道的多种构成方式，根据算法的处理特点，可以实现两DSP并行、串行或并串结合的灵活处理结构。多通道缓冲串口McBSP，包括一个串行发送通道和一个串行接受通道，支持全双工通信，最大传输带宽在100Mbps以上。串行高速输入输出端口RapidIO，包括一个串行差分发送端口和一个串行差分接受端口，支持全双工通信，传输带宽可设置为1.25Gbps、2.5Gbps和3.125Gbps三种。McBSP通道和RapidIO通道为实现DSP之间的直接互连提供了更多的选择方案。

4、扩展模块

本实施例的扩展模块包括板间数据高速通道和扩展插口，扩展插口连接板间由FPGA实现的数据高速通道和板间DSP的RapidIO通道。板间数据高速通道连接到数据动态互连通道，是数据动态互连通道的扩展，实现了多DSP处理模块的扩展；RapidIO通道实现了板间多个DSP之间的直接互连，使得计算结构灵活可变，保证了高的计算效率。

系统的扩展方式是在主处理板的扩展插口上叠加子处理板，子处理板可在其扩展插口上继续叠加子处理板，各处理板的计算模块之间通过扩展模块实现连接。系统的扩展结构如图6所示，各计算模块的FPGA通过数据高速通道连接；每个计算模块包括两个DSP芯片，每个DSP提供4个RapidIO通道，为了充分利用RapidIO资源形成尽可能灵活的多DSP互连结构，主处理板上每个DSP提供2个RapidIO通道用于扩展连接，子处理板上每个DSP提供3个RapidIO通道用于扩展连接，这样交替形成相邻计算模块内4个DSP的全互连结构和环形互连结构。

5、电源管理模块

本发明需要的电压种类较多，且需要提供稳定的电流。为此，本实施例采用分布式的电源管理芯片产生各电路所需要的电压，将外部输入的+5V变换为本装置电路所需要的+3.3V、+2.5V、+1.8V、+1.3V、+1.25V和+1.2V，+3.3V和+1.8V经由滤波电路产生模拟+3.3V和+1.8V提供给模拟电路使用。此外，本实施例还采用监控芯片对+3.3V、+2.5V和+1.8V三路电压进行实时监控。

Claims (7)

1.一种嵌入式实时图像处理平台装置，包括：

接口模块，提供多种连接外部设备的接口；

控制模块，用于运行操作系统进行整个装置的管理和监控；

计算模块，通过利用多个DSP进行数据的高速计算；以及

电源管理模块，用于提供整个装置的供电方案；

来自于外部的视频流和/或图像数据，在所述控制模块的管理和调度下，经一外部A/D转换模块从所述接口模块的输入接口输入，然后传输到所述计算模块进行计算处理，处理后的结果数据进行存储或经所述接口模块的输出接口输出显示，完成实时图像处理。

2.根据权利要求1所述的装置，其特征在于，所述的控制模块由ARM芯片实现，该ARM芯片中运行有嵌入式操作系统，负责所述装置的资源管理，包括中断资源、总线资源和存储器资源，并在外设和所述计算模块之间实现数据流的控制，该控制模块包括：

数据输入单元，用于实现对外部输入的视频流和/或图像数据进行接收，并通过IIC总线对所述A/D转换模块进行配置，以获得所需格式的视频流和/或图像数据，并将接收到的原始数据进行缓存或直接传输给所述计算模块进行处理；

数据输出显示单元，用于生成并输出给显示设备所需的显示信号；

音频处理单元，将IIS总线控制器与音频编解码芯片相连，得到音频输入通道和音频输出通道，实现音频数据的录制和播放功能；

通信单元，用于对通信端口进行控制，以用于所述装置和外界的通信；

控制总线，其连接到所述计算模块，用于所述控制模块向计算模块加载程序和传输数据，实现对计算模块的实时控制。

3.根据权利要求1或2所述的装置，其特征在于，所述计算模块为可编程器件FPGA和双DSP的架构，其中两DSP用于计算，FPGA用于实现数据通道的逻辑控制；所述可编程器件FPGA内部包括总线切换开关、数据动态互连通道和板间数据高速通道逻辑模块，所述控制总线和两DSP外部存储器接口EMIFA总线都连接到FPGA的数据动态互连通道，此外，两DSP的EMIFA口都连接到FPGA，两DSP还通过多通道缓冲串口McBSP和串行高速输入输出端口RapidIO端口直接相连，实现两DSP间数据的直接高速传输；同时，两DSP的HPI端口和FPGA的可编程IO管脚都连接到所述控制总线。

4.根据权利要求1-3之一所述的装置，其特征在于，该装置还包括扩展模块，所述扩展模块包括板间数据高速通道和扩展插口，用于叠加子处理板以增加一个或多个所述计算模块来增强所述装置的计算能力。

5.根据权利要求1-4之一所述的装置，其特征在于，所述接口模块包括视频输入接口、静态图像输入接口、输出显示接口、音频输入输出接口、USB主机和设备接口、RS232和RS485串口、100M网络接口和SD卡接口。

6.根据权利要求1-5之一所述的装置，其特征在于，所述的电源管理模块由分布式的电源管理芯片和监控芯片构成，各电源管理芯片将外部输入的电压变换为本装置电路所需要的电压，所述监控芯片用于对各路电压的实时监控。

7.根据权利要求1-6之一所述的装置，其特征在于，该装置还包括JTAG接口模块，用于该装置的系统调试。

Images