CN105430334A - 一种基于dsp和fpga视频图像采集处理系统 - Google Patents

一种基于dsp和fpga视频图像采集处理系统 Download PDF

Info

Publication number
CN105430334A
CN105430334A CN201510810133.XA CN201510810133A CN105430334A CN 105430334 A CN105430334 A CN 105430334A CN 201510810133 A CN201510810133 A CN 201510810133A CN 105430334 A CN105430334 A CN 105430334A
Authority
CN
China
Prior art keywords
dsp
fpga
chip
processing system
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510810133.XA
Other languages
English (en)
Inventor
蔡旭东
姜惠启
孙淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Zhongke Software Co Ltd
Original Assignee
Qingdao Zhongke Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Zhongke Software Co Ltd filed Critical Qingdao Zhongke Software Co Ltd
Priority to CN201510810133.XA priority Critical patent/CN105430334A/zh
Publication of CN105430334A publication Critical patent/CN105430334A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种基于DSP和FPGA视频图像采集处理系统，包括DSP芯片、FPGA芯片、RAM、存储模块、输入模块和输出模块，所述FPGA芯片、存储模块、输入模块和输出模块分别与DSP芯片相连，所述RAM与FPGA芯片相连。本发明的基于ADSP-BF561+FPGA的图像采集与处理系统，结合BF561的PPI视频接口与其DMA的特点，设计了图像采集与显示算法，充分利用了DSP芯片的流水线执行与FPGA芯片及双核DSP芯片并行处理的优势。通过实验论证，图像显示的刷新时间能够达到25frame/s，达到了实时性要求。并且该图像采集与处理系统还具有结构紧凑、功耗低、集成度高、执行效率高等优点。为整个数字图像处理系统的设计实现奠定了重要的实践基础。

Description

一种基于DSP和FPGA视频图像采集处理系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于DSP和FPGA视频图像采集处理系统。
背景技术
实时视频图像处理技术的应用十分广泛，在民用领域有机器人视觉、资源探测和医学图像分析等；在军用领域有导弹精确制导、敌方目标侦察与跟踪等。上述应用对视频图像的质量和图像处理的实时性等都有较高的要，而如何在有限的时间内完成大数据量的采集与运算，保证系统工作的实时性是视频图像处理领域一项核心内容。因此对实时视频图像采集与处理系统的设计研究具有重要的研究意义与实用价值。
发明内容
本发明的基于DSP和FPGA视频图像采集处理系统，具有结构紧凑、功耗低、集成度高、执行效率高等优点。
为了实现上述目的，本发明采用如下技术方案：一种基于DSP和FPGA视频图像采集处理系统，包括DSP芯片、FPGA芯片、RAM、存储模块、输入模块和输出模块，所述FPGA芯片、存储模块、输入模块和输出模块分别与DSP芯片相连，所述RAM与FPGA芯片相连。
优选地，所述DSP芯片采用ADI公司的高性能双核DSP-BF561。
优选地，所述输入模块包括摄像头和视频解码器，所述摄像头和视频解码器相连，所述视屏解码器与DSP芯片相连。
优选地，所述视频解码器采用7181B视频解码器。
优选地，所述摄像头采用CCD摄像头。
优选地，所述输出模块包括视频编码器和监视器，所述视频编码器分别与DSP芯片和监视器相连。
优选地，所述视频编码器采用ADI公司的7171视频编码器。
本发明的基于ADSP-BF561+FPGA的图像采集与处理系统，结合BF561的PPI视频接口与其DMA的特点，设计了图像采集与显示算法，充分利用了DSP芯片的流水线执行与FPGA芯片及双核DSP芯片并行处理的优势。通过实验论证，图像显示的刷新时间能够达到25frame/s，达到了实时性要求。并且该图像采集与处理系统还具有结构紧凑、功耗低、集成度高、执行效率高等优点。为整个数字图像处理系统的设计实现奠定了重要的实践基础。
附图说明
图1为本发明系统硬件结构图；
图2为输入模块硬件连接；
图3为图像采集与显示流程；
图4为图像数据流处理流程。
具体实施方式
下面结合具体实施方式对本发明进行详细的描述。
一种基于DSP和FPGA视频图像采集处理系统，包括DSP芯片、FPGA芯片、RAM、存储模块、输入模块和输出模块，所述FPGA芯片、存储模块、输入模块和输出模块分别与DSP芯片相连，所述RAM与FPGA芯片相连。
所述DSP芯片采用ADI公司的高性能双核DSP-BF561。
所述输入模块包括摄像头和视频解码器，所述摄像头和视频解码器相连，所述视屏解码器与DSP芯片相连。
所述视频解码器采用7181B视频解码器。
所述摄像头采用CCD摄像头。
所述输出模块包括视频编码器和监视器，所述视频编码器分别与DSP芯片和监视器相连。
所述视频编码器采用ADI公司的7171视频编码器。
本系统中采用了DSP+FPGA的硬件结构，DSP采用ADI公司的高性能双核DSP-BF561作为主处理器，负责整个算法的调度和数据流的控制，完成图像数据的采集与显示及核心算法的实现；而FPGA芯片作为DSP芯片的协处理器，依托其高度的并行处理能力，完成图像预处理中大量的累乘加运算。DSP芯片的2个内核与FPGA芯片通过中断进行通信响应，使系统的各处理器并行工作，提高了DSP芯片内核及FPGA芯片的利用效率，保证了系统采集与显示的实时性。
图像采集与处理系统主要包括4大模块：输入模块、存储模块、处理模块和输出模块。图1所示为DSP+FPGA的图像采集与处理系统硬件结构框图。
系统的前端输入模块由CCD摄像头及视频解码器7181B实现，视频解码器将CCD接收到的模拟视频信号转换为标准的YUV4：2：2数字视频格式，图像大小为720X576。转换后的图像数据通过ADSP-BF561的专用视频接口PPIO先存储到RAM中，当采集完一帧图像数据时DSP芯片的DMA产生中断，此时FPGA首先对采集来的图像数据完成图像的预处理，然后DSP芯片再将预处理的数据取回完成相应图像处理算法，最后通过PPI1接口由DMA控制器将处理完的视频数据送到视频编码器7171，转换成标准的模拟PAL视频信号到监视器上进行显示。FLASH的作用是存储系统运行的程序，引导系统的启动。
针对系统要求，DSP芯片选用AnalogDevice、公司的ADSP-BF561处理器，该DSP芯片是专门针对多媒体和通信应用方而的一款16位定点DSP芯片，它集成了2个Blackfin处理器内核，每个内核可实现600MHz持续工作。
FPGA芯片选用Altera公司的EP2C5，它拥有4608个逻辑单元，13个18X18硬件乘法器，多达142个用户自定义IO口。
CCD摄像头采集来标准的PA工制式模拟视频，设计选用ADI的ADV7181B视频解码芯片对模拟信号进行A/D转换。ADV7181B是Analog公司的一款应用广泛的视频解码芯片。该芯片可以自动检测输入的复合视频信号，通过I2C总线配置接口，可选择图像输出格式。由于黑白图像已能够满足系统的检测需要，因此把模拟信号以ITU-R-656格式YUV(4：2：2)输出。Y信号是亮度信号，U，V信号是色度信号。这样就可以直接提取该格式的亮度信号，操作比转换为传统的RGB格式要简单得多。在此格式下，水平(H)、垂直(V)和场(F)同步信号作为视频数据流的嵌入部分来发送，此时不使用接口的同步引脚。
ADV7181B的8根数据线与DSP的PPIO口的8根数据线相连接，通过DSP芯片的2根可编程标志引脚PF来模仿L2C总线，进而对7181B进行相关配置。从而将采集、量化后的视频信号传进DSP芯片缓冲区中。输入模块的硬件连接如图2所示。
由于一帧YUV(4：2：2)格式的图像有720X5762＝810KByte，而BF561和FPGA芯片的内部存储空间分别只有328KByte及14KByte，因此，将SDRAM和RAM存储器分别作为DSP芯片及FPGA芯片的外扩存储器。这样输入的视频数据存到外部扩展存储器中，可以使系统具有大容量、高吞吐率和高存取速度的特点，实现大数据量和实时性的要求。
系统采用2片32MB的HY57V561620CSDRAM，组成32位的数据输入与输出，通过4根数据屏蔽线(SDQM[3：o])，可以进行8位、16位、32位的数据读写。选用1片4MByte，32位宽的RAM挂接到FPGA芯片上，其地址线，数据线都与SDRAM的分开。其选通信号CS#与读写信号WE#，()E#也由FPGA芯片控制。
DSP芯片与FPGA芯片作为图像处理模块的核心，协同完成图像的处理任务，DSP芯片作为系统的主控制器，FPGA芯片上电后由DS芯片P来完成配置。DS芯片P和FPGA芯片的功能划分按照算法流程进行，DSP芯片负责整个算法的调度和数据流的控制，而FPGA芯片作为DSP芯片的协处理器。DSP芯片通过AMS3#来片选FPGA芯片，AWE#、AOE#作为读写使能，同时DSP芯片的24位地址线(A[25：2])和32位数据线(D[31：0])都挂接到FPGA芯片上，这样DSP芯片与FPGA芯片就可以进行数据的交换。它们各自在系统中完成的任务如下：
1)DSP芯片控制数据流的流向，通过自己特有的PPI图像接口完成图像数据的采集与发送，并完成图像中目标的识别算法；
2)FPGA芯片是DSP芯片的协处理器，FPGA芯片作为DSP芯片的逻辑扩展，帮助DSP芯片来复位视频编解码器等这些外部设备；FPGA芯片对采集到RAM中的原始图像数据完成一些数据密集，但算法简单、重复性高的图像预处理功能。再将处理后的数据送回到DSP中完成最后的口标识别算法。
在数宇视频数据处理完成后，选用ADI公司的视频编码器7171将数字信号转换成PA工制式电视信号，用专用的监视器将图像结果显示出来。
BF561的PPI1口的8根数据线与7171的数据线相连，输出时7171由DSP芯片通过I2C总线配置为输出PAL制式。
系统的软件设计主要包括系统的初始化、图像的采集与显示2大部分。针对BF561的双核结构，这里DSP芯片的coreA完成系统的初始化以及图像采集与显示，coreB完成目标识别算法，这样可以减少双核的公共变量及数据共享，简化双核交互的时序控制设计，使系统更加稳定的工作，而FPGA芯片进行图像的预处理。
首先，要对BF561的PLL锁相环时钟、EBIU外部总线接口及中断向量表进行初始化设置。外部晶振产生的27MHz时钟通过PLL的20倍频使内核工作在540MHz的时钟频率下；EBIU配置为外部总线接口打开。
EBIU配置好后，对DSP芯片的外设进行初始化设置，依次对SDRAM，FPGA芯片等外设进行初始化。将地址0x2E800000，0x2EF00000映射到FPGA芯片上产生一个8位控制寄存器Reg1和32位控制寄存器Reg2，向寄存器Reg1写控制字，控制7181，7171硬复位，并配置PPI口的驱动时钟，向寄存器Reg2写控制字，控制RAM地址总线及数据总线与DSP的对接。系统图像采集与显示的软件流程图如图3所示。
系统初始化结束后，对负责图像编解码的7181B和7171通过I2C总线进行初始化。将7181配置输出为ITU-R-656模式，7171配置输出为PAL制式。通过编写控制字到PPI口的控制寄存器PPIx_CONTROL，相应地PPI0口配置为接收ITU-R-656模式，并采用有效场模式，PPI0口仅输出每场的有效数据到DSP芯片中，而把消隐行的数据过滤掉，减小图像数据的存储空间，并节约内核开销；PPI1口则配置为GP模式，这时需要BF561产生水平同步信号和垂直同步信号配合PPI1口完成数据输出。
BF561的PPI口必须和DMA引擎一起使用。每个PPI_DMA通道可配置为发送或接收操作，最大的吞吐量是PPIx_CLK16bit/transfer，为了提高效率，这里采用8bit数据，PACK_EN＝1使能打包模式)、DMA32＝1。即PPI和DMA都以其最大带宽传输数据。系统中图像采集与显示都通过DMA完成，无需内核参与，最大限度地节约了内核开销，使内核集中完成图像的处理算法任务。
为了提高系统运行效率，发挥DSP芯片的流水线执行及FPGA芯片并行处理的优势，把RAM分为3块区域，Frame0和Frame2作为乒乓缓存，轮流作为图像数据缓存的目的地和FPGA处理数据的源头；Frame1存放FPGA预处理后的结果。同样SDRAM开辟3块区域，Buffer0，2存放从FPGA搬移的预处理结果，Buffer1存放最后结果。
在PPIO口打开，开始采集图像前，DSP芯片配置FPGA芯片的特殊功能寄存器Reg2，使DSP芯片的数据总线与RAM的数据总线进行对接，通过DSP芯片的DMA1_0控制PPIO采集的图像直接存储到RAM中，完成一帧有效图像数据的采集后DMA产生中断，关闭PPI0口，并关闭DSP芯片总线与RAM的对接。FPGA芯片接管RAM的总线控制权，开始对RAM中的数据进行预处理；与此同时DSP芯片的coreB对上一帧的预处理结果进行图像处理。
在FPGA芯片完成预处理后触发DSP芯片中断，开启PPI0口，并且DSP芯片总线与RAM再次对接，coreA将预处理结果搬移到SDRAM中，同时DMA1_0控制PPIO采集新一帧的图像数据到RAM。此时coreB已完成目标识别并将最终结果存入SDRAM，并中断coreA,coreA打开PPI1，由DMA1_1控制PPI1完成最终结果的显示。图像的采集与显示都由DMA控制，不会干预coreA对预处理结果的搬移。而搬移速度要快于采集速度，所以在PPI。采集完新的一帧后，上一帧的预处理结果已经搬完。DMA1_0产生中断，PPIO，DSP总线与RAM对接再次关闭，如此循环往复。其实现过程流程图如图4所示。
为实现图像的实时采集与处理，设计了一种基于ADSP-BF561+FPGA的图像采集与处理系统。结合BF561的PPI视频接口与其DMA的特点，设计了图像采集与显示算法，充分利用了DSP芯片的流水线执行与FPGA芯片及双核DSP芯片并行处理的优势。通过实验论证，图像显示的刷新时间能够达到25frame/s，达到了实时性要求。并且该图像采集与处理系统还具有结构紧凑、功耗低、集成度高、执行效率高等优点。为整个数字图像处理系统的设计实现奠定了重要的实践基础。

Claims (8)

1.一种基于DSP和FPGA视频图像采集处理系统，其特征在于：包括DSP芯片、FPGA芯片、RAM、存储模块、输入模块和输出模块，所述FPGA芯片、存储模块、输入模块和输出模块分别与DSP芯片相连，所述RAM与FPGA芯片相连。
2.根据权利要求1所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述DSP芯片采用ADI公司的高性能双核DSP-BF561。
3.根据权利要求1所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述输入模块包括摄像头和视频解码器，所述摄像头和视频解码器相连，所述视屏解码器与DSP芯片相连。
4.根据权利要求3所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述视频解码器采用7181B视频解码器。
5.根据权利要求3所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述摄像头采用CCD摄像头。
6.根据权利要求1所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述输出模块包括视频编码器和监视器，所述视频编码器分别与DSP芯片和监视器相连。
7.根据权利要求6所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述视频编码器采用ADI公司的7171视频编码器。
8.根据权利要求1所述的基于DSP和FPGA视频图像采集处理系统，其特征在于：所述存储模块包括SARAM和FLASH，所述SARAM和FLASH分别与与DSP芯片相连。
CN201510810133.XA 2015-11-19 2015-11-19 一种基于dsp和fpga视频图像采集处理系统 Pending CN105430334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510810133.XA CN105430334A (zh) 2015-11-19 2015-11-19 一种基于dsp和fpga视频图像采集处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510810133.XA CN105430334A (zh) 2015-11-19 2015-11-19 一种基于dsp和fpga视频图像采集处理系统

Publications (1)

Publication Number Publication Date
CN105430334A true CN105430334A (zh) 2016-03-23

Family

ID=55508233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510810133.XA Pending CN105430334A (zh) 2015-11-19 2015-11-19 一种基于dsp和fpga视频图像采集处理系统

Country Status (1)

Country Link
CN (1) CN105430334A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023202A (zh) * 2014-03-18 2014-09-03 山东大学 高清视频处理单元的架构
CN106648507A (zh) * 2016-12-05 2017-05-10 中国航空工业集团公司洛阳电光设备研究所 一种用于嵌入式处理器扩展dvi显示输出的电路及方法
CN106802713A (zh) * 2016-11-25 2017-06-06 上海航空电器有限公司 基于视觉的嵌入式手势识别系统装置
CN108711135A (zh) * 2018-04-17 2018-10-26 广州创龙电子科技有限公司 一种基于fpga+dsp架构的相机图像采集与处理的方法及系统
CN109246331A (zh) * 2018-09-19 2019-01-18 郑州云海信息技术有限公司 一种视频处理方法和系统
CN111093109A (zh) * 2018-10-24 2020-05-01 杭州海康威视数字技术股份有限公司 媒体数据播放处理方法、媒体播放设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023202A (zh) * 2014-03-18 2014-09-03 山东大学 高清视频处理单元的架构
CN104023202B (zh) * 2014-03-18 2018-04-27 山东大学 高清视频处理系统
CN106802713A (zh) * 2016-11-25 2017-06-06 上海航空电器有限公司 基于视觉的嵌入式手势识别系统装置
CN106648507A (zh) * 2016-12-05 2017-05-10 中国航空工业集团公司洛阳电光设备研究所 一种用于嵌入式处理器扩展dvi显示输出的电路及方法
CN108711135A (zh) * 2018-04-17 2018-10-26 广州创龙电子科技有限公司 一种基于fpga+dsp架构的相机图像采集与处理的方法及系统
CN109246331A (zh) * 2018-09-19 2019-01-18 郑州云海信息技术有限公司 一种视频处理方法和系统
CN111093109A (zh) * 2018-10-24 2020-05-01 杭州海康威视数字技术股份有限公司 媒体数据播放处理方法、媒体播放设备

Similar Documents

Publication Publication Date Title
CN105430334A (zh) 一种基于dsp和fpga视频图像采集处理系统
CN110032540A (zh) 一种人工智能边缘计算设备
CN105208275B (zh) 一种支持流数据片内实时处理的系统
CN103226541A (zh) 一种基于fpga和arm的嵌入式高性能异构计算平台
CN105611295A (zh) 一种在soc上实现视频采集压缩传输的系统和方法
CN103780819B (zh) 一种智能工业相机
CN102572393A (zh) 一种基于fpga与dsp的无线视频采集装置
CN106454023B (zh) Usb3.0cmos线阵工业相机
CN203191978U (zh) 基于fpga和arm的嵌入式高性能异构计算平台
CN102118289B (zh) Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法
CN104135659A (zh) 一种可见光与红外目标场景仿真及加载系统及使用方法
CN104469265A (zh) 一种玻璃缺陷图像采集处理系统
CN206023933U (zh) 一种移动终端的全景拍摄系统
CN104243931A (zh) 一种基于arm相机接口的视频采集显示系统
CN204761566U (zh) 一种基于fpga的图像处理加速系统
CN204929046U (zh) 一种实时图像采集系统
CN202679478U (zh) 数字图像采集与处理平台
CN208768204U (zh) 便携式图像目标检测装置
Mu et al. The application of coal cleaning detection system based on embedded real-time image processing
CN204270324U (zh) 图像硬件二值化电路
CN204681461U (zh) 一种高速线阵ccd工业相机
CN206195927U (zh) 一种用于手势图像实时处理的装置
CN205081868U (zh) 一种视频采集压缩电路
CN107623834A (zh) 一种基于fpga的运动目标检测系统
CN202077148U (zh) 基于soc的mjpeg视频编解码系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160323