CN2917134Y - 基于dsp的嵌入式实时全景图像采集处理装置 - Google Patents

Abstract

本实用新型公开了一种基于DSP的嵌入式实时全景图像采集处理装置，它由全景图像传感器，基于DSP处理器的嵌入式全景图像采集处理硬件电路及图像显示装置三大部分组成。全景图像传感器输出图像信号传到基于DSP处理器的嵌入式全景图像采集处理硬件电路的视频输入端，对视频进行数字化，并进行各种全景图像相关的展开，跟踪等算法，实现一定的功能，而且可以对处理后的图像数据实时送到图像显示装置显示。本实用新型集成度高，工作稳定可靠，尤其满足了安装空间要求较小，实时性要求很高的场合。可广泛应用于无人智能平台，包括自主机器人(如月球探测机器人)、无人机、无人艇、电视/红外制导导弹等；也可装备于坦克车、装甲车、武装侦察直升机；亦可应用于视频会议、虚拟现实等民用领域。

Description

基于DSP的嵌入式实时全景图像采集处理装置

技术领域

本实用新型涉及一种基于DSP的嵌入式实时全景图像采集处理装置。

背景技术

当前全景成像传统方法采取以下两种方法实现：(1)图像拼接方法；(2)鱼眼透镜方法。图像拼接方法原始数据量大，拼接算法复杂，一般只能实现非实时柱面全景成像。鱼眼透镜方法也可以得到无畸变的全景图像，但一方面成像视场很难超越半球，另一方面必须经过十分复杂的校正运算，实时性差，而且系统昂贵。

传统视觉系统视场有限，一方面需要附加一套随动系统以锁定目标，增加了整个系统的体积、重量导致效能下降，更为严重的是，总存在着跟踪目标丢失的问题，另一方面传统视觉系统一次只能获取周围环境局部视场的信息，大部分视场信息被放弃了，视场受限不能够提供全方位的决策依据。

图像处理是近年来得到迅速发展的一种实用技术，这是随着计算机技术、光电技术发展而发展起来的，  是一种多学科综合应用的技术邻域。图像处理可分为非实时系统和实时系统。实时图像系统通常由摄像机、图像采集卡、专用图像处理卡等组成，在实时系统中是由图像处理卡的硬件和软件程序指令去控制执行机构动作。目前在全景图像采集系统中，如应用在监视，机器人导航等方面都是比较典型的实时图像处理系统。对于像机器人导航定位这样系统来说如果由基于PC机的图像采集卡实现实时采集处理图像，那样不仅系统集成度低，而且不易实现，就算实现那样系统将显得十分复杂，可靠性也差。

因此利用最新的数字图像信号处理系技术，从系统的高度对硬件和软件进行了优化，开发了一种基于DSP的嵌入式实时全景图像采集处理装置，对于减小安装空间，提高实时性及可靠性要求是非常必要的。

发明内容

本实用新型的目的是提供一种实现360度大视场全景视觉图像采集，处理，输出显示的基于DSP的嵌入式实时全景图像采集处理装置。该装置具有很高电路集成度，连续工作的可靠性和稳定性，尤其满足了安装空间要求较小，实时性要求很高的场合，而且成本也比基于PC机及图像采集卡全景系统大大降低。全景成像指大于半球视场(360°×180°)的球面成像，本装置利用反射镜通过CCD成像单元一次成像大于半球视场(360°×180°)，一次获取整个场景的目标信息，不再需要为光电跟踪系统附加一套随动系统。

本实用新型的主要构成包括全景图像传感器[1]、基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]及图像显示装置[2]三大部分，(见附图1)。

全景图像传感器[1]可以是球面、抛物线旋转体或双曲线旋转体等反射镜，全景视觉摄像机及连接前两者的机械结构组成。

基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]其组成包括数据SRAM[3]，数据SDRAM[4]，视频解码器A/D[5]，DSP处理器[6]，通讯接口[7]，三态门[8]，可编程逻辑控制器件[9]，视频编码器D/A[10]；其中基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]安装在机器人或其它装置[12]中。

本实用新型工作原理：

带全景图像摄像机的全景视觉传感器[1]实时采集图像，通过数据传输线送到基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]视频输入端口，视频信号经过视频解码器A/D[5]数字化后，在可编程逻辑控制器件[9]调度下，把每帧图像暂时存放在数据SRAM[3]中，并能过通过三态门[8]进行总线隔离，避免引起总线冲突。每帧图像采集完毕后，在可编程逻辑控制器件[9]调度下，控制三态门[8]使总线开放，把全景图像数据转移到数据SDRAM[4]中，当转移完成后，再次通过三态门[8]进行总线隔离，DSP处理器[6]再完成各种关于图像处理的算法，并把处理完的图像数据送到视频编码器D/A[10]，通过相连的图像显示装置[2]实时显示相关图像。在全景图像数据从数据SRAM[3]到数据SDRAM[4]转移完毕，即转入下一帧图像采集过程，在这同时进行相关算法的处理，直到下一帧图像采集开始，如此循环往复，通过三态门[8]总线隔离及图像数据缓存技术实现图像采集及处理并行处理，提高系统实时性。系统还通过通讯接口[7]如串口等可扩展实现与其它系统的通信。

本实用新型的软件实现如下：

完整可靠的、符合系统性能要求的硬件电路设计是DSP应用系统设计的前提条件，而完善的软件设计则是发挥硬件资源潜能，最终达到系统指标不可或缺的必要条件。在前面一部分中主要介绍了关于DSP处理器[6]及外部电路的接口设计，以下论述针对该基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]的系统软件设计，主要包括硬件控制程序及图像处理程序。

基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]所采用的器件较多，软件设计较为复杂，需要考虑对周边众多器件进行控制和通讯，同时还要实时完成图像处理算法，软件设计时需要充分考虑各子程序的协同工作，对于中断的妥善处理。整个系统软件按功能模块可分为系统初始化程序、中断服务程序、图像预处理算法、DSP程序引导加载等模块。系统上电之后，DSP启动引导加载程序，然后对系统外围设备及片外设备进行初始化，将它们配置到系统要求的工作状态。初始化完成之后启动视频图像采集模块，并等待其发出一场结束中断信号，一旦接收到中断信号，则转入中断服务子程序，屏蔽外部中断源，关DSP中断。之后启动QDMA将数据SRAM[3]中图像数据搬移到数据SDRAM[4]中，运行图像处理算法，如有需要则可通过通讯接口[7]与其它系统进行通信。等这硬件电路初始化完成之后，开放外部中断源，开DSP中断，等待下一个中断信号到来，如此反复循环。具体见附图2系统软件的总体流程图。

本实用新型可实现如下功能：

1.实时全景图像采集显示：通过全景图像传感器[1]传入的视频视号，经过视频解码器A/D[5]数字化后，传视频编码器D/A[10]进行实时显示。

2.实时全景图像柱面及透视展开：由于全景原图是高度畸变的图像，可通过相关的算法处理生成柱面还原图，以及透视图像。

3.环境监控功能：在监视视角需要很大的场合，普通的监视摄像机由于视角受限，往往需要多个摄像头才能覆盖整个监视区域，而基于DSP处理器的嵌入式全景图像采集处理装置只需要安装一个就要满足要求。

4.移动机器人[12]自身定位：移动机器人[12]通过全景图像传感器[1]传过来的全景原图像展开成柱面图，然后对柱面展开图进行相应的算法处理，便可实现在空间中自身定位。

本装置是一套无运动部件的360度的全景成像嵌入式系统，具有小尺寸，轻结构，景深无限远，远近物体不用调焦的光学，机械学及电子学方法，工程实用化后，应用于无人智能平台，包括自主机器人(如月球探测机器人)、无人机、无人艇、电视/红外制导导弹等；也可装备于坦克车、装甲车、武装侦察直升机；亦可应用于视频会议、虚拟现实等民用领域。

附图说明

图1基于DSP的嵌入式实时全景图像采集处理装置的组成框图

图2基于DSP的嵌入式实时全景图像采集处理装置的软件总体流程图

图3基于DSP的嵌入式实时全景图像采集处理装置的主处理器部分开发底板电路图

图4基于DSP的嵌入式实时全景图像采集处理装置的FPGA部分开发底板电路图

图5基于DSP的嵌入式实时全景图像采集处理装置的视频解码及编码部分开发底板电路图

图6基于DSP的嵌入式实时全景图像采集处理装置的数据存储及三态门部分开发底板电路图

具体实施方式

在本装置中的全景图像传感器[1]选用双曲面反射镜，全景摄像机选用普通民用摄像头，再设计相应的机械结构将两者连结。图像显示装置[2]采用台式电脑的显示器或普通监视器。

基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]是整个装置的关键部分，并且其实现也比较困难，因为数字视频图像采集所产生的数据量特别大，对采集速度和DSP的处理速度都有很高的要求。因此，本系统DSP处理器[6]采用美国德克萨斯仪器公司(Texas Instruments)浮点系列DSP中的TMS320C6000系列。其较高的工作频率、丰富的片上资源、完善的C/C++编译环境，可实现多种DSP算法。将模拟视频信号转化为数字信号的视频解码器A/D[5]和视频编码器D/A[10]这里选用荷兰Philips公司的低压低功耗视频解码芯片SAA7111AHZ，视频解码芯片SAA7120H。系统中还用到了一片现场可编程门阵列器件(FPGA)作为可编程逻辑控制器件[9]，可采用Altera公司的FLEX10K系列FPGA，它主要用于系统所有外部接口逻辑设计、视频图像采集控制、图像数据存储以及与DSP之间的总线切换逻辑控制。

视频图像信号经CCD摄像机输入后，进入SAA7111AHZ数字化视频解码芯片数字化。由于视频A/D采样所产生的数字视频图像数据量特别大，以PAL制式视频信号为例，输出的数字图像数据若采用RGB565或YUV格式，每个象素用两个字节表示，每帧图像为720pixels×576lines×16bit＝414720×16bit＝405k×16bit，分成奇数场和偶数场两场。在图像处理领域，通常只需要黑白图像，每象素用一个字节表示，每帧图像为720pixels×576lines×8bit＝405k×8bit。为了兼容黑白和彩色图像采集模式，数据存储空间按彩色图像的数据量来设计。这里采用一片SRAM，来构成高速图像数据缓存。系统还配置了一片大容量的SDRAM存储器，用于外部数据存储空间的进一步扩展，同时也为DSP后续图像进一步处理提供了存储余量。

如果该装置作为某个大系统的一部分，比如作为机器人[12]的一个子系统，本系统还需与机器人[12]的其他组成部分进行相互协调和联系，这部分功能可通过通讯接口[7]，如串口RS232总线来完成。

由于本实用新型对整个装置的硬件及控制程序进行了优化，使得电路的集成度大为提高，提高了装置工作的可靠性和稳定性，尤其满足了安装空间要求较小，实时性要求很高的场合，而且成本也比基于PC机及图像采集卡全景系统大大降低。

Claims (4)

1.一种基于DSP的嵌入式实时全景图像采集处理装置，其结构包括全景图像传感器[1]，基于DSP处理器的嵌入式全景图像采集处理硬件电路[11]及图像显示装置[2]三大部分，其特征在于基于DSP处理器的嵌入式全景图像采集处理系统[11]由数据SRAM[3]，数据SDRAM[4]，视频解码器A/D[5]，DSP处理器[6]，通讯接口[7]，三态门[8]，可编程逻辑控制器件[9]，视频编码器D/A[10]组成；视频解码器A/D[5]，DSP处理器[6]，视频编码器D/A[10]依次电信号连接，并通过总线在可编程逻辑控制器件[9]调度下与数据SRAM[3]，数据SDRAM[4]连接；视频编码器D/A[10]与图像显示装置[2]电连接。

2.如权利要求1所述的基于DSP的嵌入式实时全景图像采集处理装置，其特征在于全景图像传感器[1]由双曲线旋转体反射镜，全景视觉摄像机及连接前两者的机械结构组成；全景视觉摄像机与视频解码器A/D[5]进行电连接。

3.如权利要求1所述的基于DSP的嵌入式实时全景图像采集处理装置，其特征在于全景图像传感器[1]还可由抛物线旋转体反射镜、全景视觉摄像机及连接前两者的机械结构组成。

4.如权利要求1所述的基于DSP的嵌入式实时全景图像采集处理装置，其特征在于全景图像传感器[1]还可由球面反射镜、全景视觉摄像机及连接前两者的机械结构组成。

Images