CN201813480U - 一种基于dsp+fpga的智能视频处理装置 - Google Patents

Abstract

本实用新型的目的在于公开一种基于DSP+FPGA的智能视频处理装置，可以对输入的视频信号进行智能处理，视频采集方式兼顾数字和模拟方式，并能对图像进行的实时显示、传输和存储；可以为普通监视摄像机的提供相关的智能视频处理，如模糊，去雾等，具有很强的功能性和实用性，可作为牌照识别、人脸检测、去雾增强等产品应用，也可作为城市安防系统的智能化前端设备应用，实现本实用新型的目的。

Description

一种基于DSP+FPGA的智能视频处理装置

技术领域

本实用新型涉及一种视频处理装置，特别涉及一种基于DSP+FPGA的智能视频处理装置。

背景技术

对于智能视频处理的研究，日本、德国和美国等发达国家早在上世纪六十年代就开始了，到上世纪九十年代，随着光电子技术和计算机技术的发展才取得了广泛的应用，其市场潜力十分巨大。据“视觉系统国际公司”的一份调研报告显示：1999-2004年北美的智能视频系统市场规模从16.8亿美元增长到19亿美元；而在中国，智能视频处理的开发还刚刚起步。

当前，视频监控在公安业务和公共安防领域中的重要性越来越突出，而传统的视频监控系统已无法满足人们对图像的质量以及视频智能化处理方面的需求。智能视频处理平台作为监控系统的关键技术部件，因其具有广泛的应用前景，对此进行的研究正方兴未艾。在目前的电子技术条件下，基于DSP技术和超大规模FPGA技术的智能视频处理系统成为解决问题的热点方案之一。

嵌入式DSP实时图像处理技术是结合图像处理、模式识别、传感器、以及微电子学等多学科门类的一门前沿技术。在电子技术迅猛发展的推动下，嵌入式实时图像处理成为了可能。嵌入式实时图像处理技术是从PC-Based系统演变而来。PC-Based系统的特点即为图像处理工作由PC机上运行的软件来完成，此类系统更加适用于实验室使用。而对于实时安防监控和工业控制现场而言，嵌入式实时图像处理技术则是大势所趋。随着专用数字处理芯片(DSP)和FPGA的性能的不断提高，体积的不断减小，使得智能视频处理平台性能不断增加的同时体积和功耗不断的减小，使其应用的范围越来越广。另外，嵌入式系统绝大部分是以C语言为基础开发，使用高级语言的优点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高、可维护性好。对图像的智能识别，目前国内外算法研究有些已经基本成熟，但产品研究均处于计算机或和小部分独立系统试制阶段。除指纹识别已经较好地用于独立产品中外，其它识别算法如虹膜识别、人脸识别、形态识别、牌照识别等均处于基于计算机的产品阶段。鉴于近几年来，以数字图像处理为对象的嵌入式处理芯片的不断涌现，为高速图像处理的硬件实现奠定了较好的物质基础。在一些专业领域，正在尝试用嵌入式芯片作为数字图像的主处理芯片。特别在一些专业仪器中，开始进行了嵌入式芯片进行数字图像的采集、预处理、压缩解压缩、内容识别等方面的应用研究。随着芯片设计制造业的发展，智能识别算法在嵌入式芯片中的应用水平将会有更大的提高。

未来智能视频处理系统将会有如下几个趋势：随着国内半导体和电子市场已初具规模，同时对于产品的高质量、高密集度的要求将越来越高。嵌入式智能视频处理将作为图像数据采集和智能视频处理一体化的产品出现，逐步替代现有的监控系统。伴随着产业化进程的进一步加快和技术的进一步提高，智能视频处理系统将具备各类复杂识别功能和更高的可靠性。

综上所述，针对现有的存在的上述缺陷，特别需要一种基于DSP+FPGA的智能视频处理装置，以解决以上提到的问题。

实用新型内容

本实用新型的目的在于提供一种基于DSP+FPGA的智能视频处理装置，针对现有技术的不足，兼顾现有主流的标准模拟视频输入和高清晰数字视频输入，并配备现场实时显示。

本实用新型所解决的技术问题可以采用以下技术方案来实现：

一种基于DSP+FPGA的智能视频处理装置，其特征在于，包括装置本体，在所述装置本体中设置有一由进行视频图像处理的DSP芯片和用于采集模拟视频图像的FPGA芯片构成处理装置、一用于采集数字视频图像的图像采集装置、一用于存储视频图像的存储装置及一显示装置；所述图像采集装置、所述存储装置和所述显示装置分别与所述处理装置连接，所述处理装置上设置有网络接口并连接有电源装置。

在本实用新型的一个实施例中，所述图像采集装置为CCD图像传感器。

在本实用新型的一个实施例中，所述处理装置中的DSP芯片与FPGA芯片之间通过EMIF接口互相通信连接并通过FIFO机制进行数据传输。

在本实用新型的一个实施例中，所述存储装置为一SDRAM存储器。

进一步，所述SDRAM存储器通过外部存储器接口EMIF与所述处理装置连接。

本实用新型的基于DSP+FPGA的智能视频处理装置，可以对输入的视频信号进行智能处理，视频采集方式兼顾数字和模拟方式，并能对图像进行的实时显示、传输和存储；可以为普通监视摄像机的提供相关的智能视频处理，如模糊，去雾等，具有很强的功能性和实用性，可作为牌照识别、人脸检测、去雾增强等产品应用，也可作为城市安防系统的智能化前端设备应用，实现本实用新型的目的。

本实用新型的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。

附图说明

图1为本实用新型的基于DSP+FPGA的智能视频处理装置的原理框图；

图2为本实用新型的基于DSP+FPGA的智能视频处理装置的结构框图；

图3为本实用新型的数字图像采集的框图；

图4为本实用新型的FPGA的设计框图；

图5为本实用新型的DSP的设计框图。

具体实施方式

为了使本实用新型实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本实用新型。

如图1、图2所示，本实用新型的基于DSP+FPGA的智能视频处理装置，包括装置本体100，在装置本体100中设置有一处理装置110、一图像采集装置120、一存储装置130及显示装置140；图像采集装置120、存储装置130和显示装置140分别与处理装置110连接，处理装置110上设置有网络接口150并连接有电源装置160，电源装置160提供处理装置110及外围元件所需要的3.3V、1.4V、5V电压。

本实用新型的基于DSP+FPGA的智能视频处理装置，采用DSP+FPGA设计，处理装置110由一个高速DSP芯片111的微处理器和一块高速大规模集成电路FPGA芯片112组成的协处理器构成，由DSP芯片111和FPGA芯片112完成所有电路的内部逻辑控制、算法实现和网络通信等工作。

本实用新型的基于DSP+FPGA的智能视频处理装置兼顾将数字和模拟视频图像采集到处理装置110的DSP芯片111中，视频编解码采用JPEG和MEPG4，模拟视频通过DSP芯片111的VPORT端口进行采集，采集的模拟图像经A/D转换器TVP5146转换成数字图像数据送入DSP芯片111进行处理，数字视频通过图像采集装置120采集到FPGA芯片112中，采集完成后FPGA芯片112再把图像传送给DSP芯片111。

采集的视频图像在DSP芯片111中实现自动白平衡，自动增益算法，着重解决多线程问题，提高系统运算的高效性，达到一机多任务的需求。

本实用新型的基于DSP+FPGA的智能视频处理装置使用50MHz晶体作为DSP芯片111的外部时钟输入，内部锁相环使用×12模式，主频为600MHz。

如图3所示，在本实用新型中，图像采集装置120为CCD图像传感器，现场图像经CCD图像传感器将图像进行光电转换后，以数字方式输入处理器，既避免了模拟图像A/D变化带来的电路复杂性，又使得图像质量大大提高并满足后期识别运算需要的图像质量。

在本实用新型中，CCD图像传感器采用Sony公司的ICX205AK，该款彩色CCD光学尺寸为1/2英寸，有效像素为1392mm(H)×1040mm(V)，具有很高的信噪比和动态范围，支持每秒15帧的图像采样；CCD图像传感器的图像采样主要由AD9849来实现，Analog Device公司的该款芯片集成了信号采集的控制电路和相关参数调节功能。具体有：1、相关双取样电路(CDS，CorrelatedDouble Sampling)，CCD传感器的每个像素的输出波形只在一部分时间内是图像信号，其余时间内是复位电平和干扰。为了取出图像信号并消除干扰，要采用取样保持电路。每个像素信号被取样后，由一电容把信号保持下来，直到取样下一个像素信号。2、图像增益调节(PGA，Pixel Gain Amplifier)，前端采集的图像可实现-2db到+10db的增益调节功能。3、高精度A/D转换功能，将采样的信号转化成12位的Bayer数据。4、时序驱动(TG，Time Generating)，驱动脉冲产生电路产生CCD传感器所需的垂直CCD移位寄存器多相时钟驱动信号和水平CCD读出寄存器多相时钟驱动信号。

FPGA芯片112采用Xilinx公司的Spartan-3E系列FPGA，该系列芯片采用先进的90nm制造工艺技术生产，并且价格低端；Spartan-3E系列的器件密度范围为10万到160万系统门，本系统使用的XC3S500E为50万门，它含有集成于芯片的模块存储器，支持多种I/O标准。

在本实用新型中，由于进行数字图像处理需要大量的存储空间，而DSP芯片111(TMS320DM642)内部只有16KB的数据存储器、16KB的程序存储器和256KB的二级缓存器，无法满足系统运行要求；本实用新型的基于DSP+FPGA的智能视频处理装置通过外部存储器接口EMIF连接有存储装置130，存储装置130为128M字节的SDRAM存储器。

为了使本系统成为独立的运行系统，还需要非易失存储器用来保存程序及DSP芯片111的初始化数据，本实用新型的基于DSP+FPGA的智能视频处理装置选用ATMEL公司的AT29LV020FLASH芯片，便于得到汽车图像采集的精确时间。

在本实用新型中，存储器采用的是ISSI公司的SRAM，用来暂存传感器获得的图像信息。

在本实用新型中，处理装置110中的DSP芯片111与FPGA芯片112之间通过EMIF接口互相通信连接并通过FIFO机制进行数据传输，实现采集图像的现场实时显示；视频的现场实时的显示由FPGA芯片112来实现，模拟视频的显示通道是DSP芯片111的VPORT端口，FPGA芯片112接收DSP芯片111的视频数据并完成实时显示

在本实用新型中，显示装置140采用LG公司的6.4寸TFT LCD的LCD(Liquid Crystal Display)屏幕，分辨率为640*480。

处理装置110上设置有网络接口150，处理后视频的采用网络接口150进行传输，实现网络传输，并根据网络传输信道容量，适时调整压缩传输的指标，使得活动图像传输达到系统最高设计量。

如图4所示，FPGA芯片112功能划分三大功能块：采集模块、存储显示模块、图像传输模块。模块程序均由VHDL代码编写，在Xilinx的FPGA开发工具ISE(Integrated Software Environment)上综合实现。

(1)采集模块：通过标准的I2C总线对AD9849寄存器进行设置，主要包括CDS的初始化，PGA和ADC的参数设置。产生相关的行列时序，从AD9849采集进12位的Bayer数据。

(2)存储显示模块：将12位Bayer数据作白平衡处理，并将处理完的数据转换为RGB格式的图像。设计一个SRAM控制接口，并具有开关切换功能，实现存储的乒乓操作。设计一个LCD显示控制接口，对在SRAM缓存的图像实时进行显示。

(3)图像传输模块：将采集的图像通过EMIF接口传输给DSP处理。

如图5所示，DSP芯片111由低层驱动和算法两部分组成；识别算法在这里不再赘述，底层软件设计主要完成硬件系统的初始化工作以及内部存储器控制驱动等工作；智能视频处理图像处理采用DM642DSP芯片，可以研究高效的多线程处理算法，在相同的外围电路条件下，可以完成图像信号的处理。主程序保持摄像机与网络的通信和处于待机状态；CCD控制程序：确保图像扫描的正确性和图像形成所需要的时序控制；图像压缩和保存：对获取的数字图像，根据需要进行JPEG或MJPEG压缩处理并暂存到缓存时的时序控制。逻辑协调：管理底层逻辑电路工作状态；参量设置：提供远程或现场状态的设置与控制。

DSP芯片111完成图像的JPEG压缩，网络传输，图像存储、菜单生成、按键控制信息的接受处理等功能。图像显示控制系统以大规模FPGA为主要部件，完成对图像的显示以及按键的控制功能，实现RGB图像在LCD屏幕上的显示。

本实用新型的基于DSP+FPGA的智能视频处理装置的工作流程如下：FPGA芯片112上电配置完成后，对前端AD9849进行初始化设置，采集CCD图像；采集到的图像需要进行一些滤波和白平衡处理，此处理完的数据为Bayer格式，FPGA芯片112内部需要对其进行图像格式的转换，此处将其转换成RGB格式；转换完后对数据进行存储显示，这里两片SRAM组成了一个乒乓结构，其中一个SRAM存储完了一帧图像后送显示装置140显示，同时另一片SRAM接着存储下一副图像数据。

DSP芯片111在接收到FPGA芯片112的图像后缓存目标图像，同时将图像进行必要的压缩处理；在保存图像的同时，对原始图像进行必要的视频算法处理，根据处理的结果控制FPGA芯片112和图像采集装置120的工作；网络接口150提供信号传输通道，可数据上传，同时兼有命令下传和设置功能；需要的数据信息经由网络接口150传送至相应的服务器，同时做到网络远程算法控制以及软件化升级无需改动硬件系统；图像输出提供现场安装监视接口，完成人机交互和控制处理，参数断电保存，OSD显示；电源装置160除提供摄像机本身的电源外，必要时，可提供外设需要的小功率供电。

以上显示和描述了本实用新型的基本原理和主要特征和本实用新型的优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围的前提下，本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内，本实用新型要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于DSP+FPGA的智能视频处理装置，其特征在于，包括装置本体，在所述装置本体中设置有一由进行视频图像处理的DSP芯片和用于采集模拟视频图像的FPGA芯片构成处理装置、一用于采集数字视频图像的图像采集装置、一用于存储视频图像的存储装置及一显示装置；所述图像采集装置、所述存储装置和所述显示装置分别与所述处理装置连接，所述处理装置上设置有网络接口并连接有电源装置。

2.如权利要求1所述的基于DSP+FPGA的智能视频处理装置，其特征在于，所述图像采集装置为CCD图像传感器。

3.如权利要求1所述的基于DSP+FPGA的智能视频处理装置，其特征在于，所述处理装置中的DSP芯片与FPGA芯片之间通过EMIF接口互相通信连接并通过FIFO机制进行数据传输。

4.如权利要求1所述的基于DSP+FPGA的智能视频处理装置，其特征在于，所述存储装置为一SDRAM存储器。

5.如权利要求4所述的基于DSP+FPGA的智能视频处理装置，其特征在于，所述SDRAM存储器通过外部存储器接口EMIF与所述处理装置连接。

Images