CN104918004B - 基于fpga和dsp芯片的pci通信监控系统 - Google Patents

Abstract

本发明公开了基于FPGA和DSP芯片的PCI通信监控系统，该系统由硬件部分和软件部分组成；其硬件部分包括：PC上位机、FPGA芯片、DSP芯片、FLASH寄存器、DDR2寄存器；其软件部分包括：上位机应用程序模块、PCI接口模块、视频缓存模块、视频处理模块、同步模块、时钟复位模块、DSP解压缩模块；PC上位机结合上位机应用程序模块共同完成视频接收、显示以及人机交互的作用；FLASH寄存器和DDR2寄存器用于视频数据和系统文件的缓存；本发明具有集成度高、多源化、高清化、智能化的优点。

Description

基于FPGA和DSP芯片的PCI通信监控系统

技术领域

本发明属于视频监控领域的具体应用，尤其涉及基于FPGA和DSP芯片的PCI通信监控系统。

背景技术

随着智慧城市的建设，多源、高清、智能的视频监控系统由于能满足用户对监控的高品质需求，广泛应用在社会安防、智能交通、楼宇管理、金融交易等领域。图像压缩技术、网络传输技术和嵌入式技术的快速发展，也使得以微控制器为核心、软硬件相结合的嵌入式视频监控系统成为国内外许多学者的研究课题。随着平安城市在规划和建设中的逐步完善和网络化、智能化的提高，智慧城市成为视频监控应用的新的承载平台。从智慧城市总体架构上来说，视频监控领域的技术革新是必要的趋势，智能化安防平台的建设给目前传统的视频监控带来了新的挑战：远程、高清、智能。在未来的智慧城市中，监控不仅仅能够具有发现和提供数据功能，还要具有预防和处理等智能化处理，同时随着数字技术的快速发展，能够容易实现高清视频的传输和存储，远程和高清成为视频监控市场的一种极为重要的用户体验指标。

国际市场上的视频监控系统由于长期发展和积累的技术，加上政府的大致支持，发展处于领先优势，国内的视频监控系统发展较为缓慢，研发力度相对欠缺，仍然处于研究实践阶段。但随着国内市场需求的不断增强，其发展的潜力也不容忽视，新一代智能化的视频监控系统将会得到越来越多的投入和建设。

基于以上应用背景，该发明提供了基于FPGA和DSP芯片的PCI通信监控系统，能够满足新型视频监控系统远程、高清和智能化的需求。该系统使用嵌入式技术，采用FPGA、DSP联合开发架构，通过以太网接收多路远程视频数据，扩展了视频监控的应用场所；系统还能够支持1080i和1080p高清数字视频流的处理，极大程度上提高了用户体验；另外系统还能够提供视频和辅助信息的同步功能，给系统后端智能化处理视频数据提供了技术支持。该系统可应用在智能交通、应急指挥、数字城管等各类后台系统，带动平安智慧城市的信息化发展，为整个安防行业的发展提供部分力量，为整个社会的平安、繁荣保驾护航。该发明具有集成度高、多源化、高清化、智能化的优点。

发明内容

针对现有视频监控系统在网络化、智能化方面存在的不足，本发明的目的在于，提供一种集成度高、多源化、高清化、智能化的基于FPGA和DSP芯片的PCI通信监控系统。

为了实现上述系统，本发明采取的技术方案是：

基于FPGA和DSP芯片的PCI通信监控系统，其特征在于，该系统由硬件部分和软件部分组成；其硬件部分包括：PC上位机、FPGA芯片、DSP芯片、FLASH寄存器、DDR2寄存器；其软件部分包括：上位机应用程序模块、PCI接口模块、视频缓存模块、视频处理模块、同步模块、时钟复位模块、DSP解压缩模块；所述的基于FPGA和DSP芯片的PCI通信监控系统通过PC上位机接收多路压缩视频流，利用上位机应用程序模块将视频流进行封装后通过PCI接口模块下传给DSP解压缩模块，DSP解压缩模块对压缩视频流进行解压缩，视频格式转换、缩放和叠加处理后通过PCI接口模块上传给PC上位机进行显示，从而实现监控功能。

进一步的，所述PC上位机与FPGA芯片之间通过PCI接口进行连接；所述FPGA芯片内部集成了系统软件部分的PCI接口模块、视频缓存模块、视频处理模块、同步模块以及时钟复位模块；所述DSP芯片与FPGA芯片之间通过EMIF、GPIO以及视频接口进行连接；所述FLASH寄存器与FPGA芯片之间双向连接；所述DDR2寄存器与FPGA芯片之间双向连接。

在该PCI通信监控系统中，所述的PC上位机同上位机应用程序模块共同完成视频接收、显示以及人机交互的作用。

在该PCI通信监控系统中，所述的FPGA芯片采用Altera公司StratixIII系列中端芯片EP3SE110F1152I3，所述的FPGA芯片具有85200个逻辑单元，16个M144K RAM块，8个PLL，16个全局时钟，744个I/O管脚，利用该芯片来实现对四路视频流的缓存，格式转换和缩放叠加功能，另外还有系统的容错机制和其他控制功能。FPGA芯片内部集成了系统软件部分的PCI接口模块、视频缓存模块、视频处理模块、同步模块以及时钟复位模块，结合上述系统中的各软件模块，该芯片可以实现系统数据传输和信号控制功能，是整个系统的核心。

在该PCI通信监控系统中，所述DSP芯片采用TI公司的TMS320DM368视频处理器，该DSP芯片内含一个ARM9内核，将视频编码/解码功能卸载至集成的高清视频加速器上；主频432MHz，集成图像缩放、OSD(On-ScreenDisplay，屏幕菜单式调试方式)、视频DA、图像压缩功能，具有网络接口、USB接口、LCD接口、异步串口、I2C接口、SPI接口、NAND FLASH接口、SD卡接口；该芯片与FPGA芯片之间通过EMIF、GPIO以及视频接口进行连接，所述DSP芯片结合系统软件部分的DSP解压缩模块用于实现视频流的解码功能。

在该PCI通信监控系统中，所述FLASH寄存器选用Altera公司的配置FLASHEPCS64SI16N作为FPGA的配置芯片，用于存放FPGA程序和数据，所述FLASH寄存器与FPGA芯片之间双向连接，用于存放程序和数据。

在该PCI通信监控系统中，所述DDR2寄存器选用Micron公司的MT47H64M16HR-3IT型SDRAM，该系统中选用四片Micron公司的MT47H64M16HR-3IT，四片容量一共是512MB，分成两组跟FPGA相接，每组大小为256MB。另外使用四片芯片与DSP相连，用于存储DSP视频缓存处理。

在该PCI通信监控系统中，所述上位机应用程序模块用于提供人机交互功能；其软件编程部分分为发送进程、接收进程和显示进程；发送进程获取网络压缩视频流，并按照通信协议通过PCI接口模块下传给PCI接口模块；接收进程通过PCI接口模块接收板卡处理后的整合视频监控数据；显示进程显示接收进程获取的视频图像和响应应用程序上的按钮或屏幕操作。

在该PCI通信监控系统中，所述PCI接口模块分为三部分：PCI下传模块、PC上传模块和PCI配置模块，用于完成PC机应用程序和板卡的传输功能；该模块所述PCI下传模块根据上位机命令接收压缩视频流并按照一定协议将视频流分别存入视频缓存模块中；所述PCI上传模块将处理后的整合视频数据和同步信息一起上传给上位机；所述PCI配置模块完成PCI接口设计中的寄存器配置，使PCI接口能够正常使用。

在该PCI通信监控系统中，所述视频缓存模块包括压缩视频缓存模块以及整合视频缓存模块两部分；所述压缩视频缓存模块接收PCI接口传输过来的视频数据，并分别存放到DPRAM中，当满足一定条件时，该模块会根据EMIF接口时序将视频数据传输给DSP解压缩模块进行解码；所述整合视频缓存模块接收经过视频格式转换、缩放和叠加处理的整合图像和同步模块过来的辅助信息，将整合视频图像和辅助信息一起存放到FIFO中，当满足一定条件时，将FIFO中的数据传输到PCI上传模块。

在该PCI通信监控系统中，所述视频处理模块接收DSP解压缩模块传送过来的解压缩后的视频图像，并对视频图像进行格式转换，缩放和叠加功能，最终输出一路叠加后的视频数据；所述同步模块根据DSP解压缩模块的GPIO口脉冲，检测丢帧情况，然后在存储器中查找视频数据的辅助信息，发给整合视频缓存模块，使得每一路视频的每一帧视频数据都与视频数据的辅助信息同步。

在该PCI通信监控系统中，所述时钟复位模块一是提供FPGA端其他模块的时钟、复位信号，产生满足系统时钟需求的几个时钟值和全局复位信号；二是提供DSP芯片的复位信号，该复位信号包括DSP芯片上电初始化的复位信号和DSP芯片工作不正常时的看门狗复位信号；所述DSP解压缩模块用于实现压缩视频流的解压缩工作。

本发明的有益效果是：

基于FPGA和DSP芯片的PCI通信监控系统，其特征在于，该系统由硬件部分和软件部分组成；其硬件部分包括：PC上位机、FPGA芯片、DSP芯片、FLASH寄存器、DDR2寄存器；通过PCI接口模块实现FPGA芯片、DSP芯片与PC上位机之间的通信，通过EMIF接口和视频接口实现FPGA芯片与DSP芯片之间的通信；设计并编程实现多路视频图像信息与其相应辅助信息之间的同步机制，提高了系统的性能；使用DSP芯片可以完成多路视频数据的解压缩工作；使用VC6.0编写上位机应用程序完成四路视频数据的下传和整合数据的上传显示工作。

所述的基于FPGA和DSP芯片的PCI通信监控系统通过PC上位机接收多路压缩视频流，利用上位机应用程序模块将视频流进行封装后通过PCI接口模块下传给DSP解压缩模块，DSP解压缩模块对压缩视频流进行解压缩，视频格式转换、缩放和叠加处理后通过PCI接口模块上传给PC上位机进行显示，从而实现监控功能。该系统具有集成度高、多源化、高清化、智能化的优点。

附图说明

以下结合附图和具体实施方式对本发明作进一步的解释说明。

图1是基于FPGA和DSP芯片的PCI通信监控系统框架图；

图2是PCI接口模块总体框架图；

图3是视频缓存模块框架图；

图4是视频处理模块框架图；

图5是DSP解压缩模块框架图；

图6是上位机应用模块视频接收及显示进程流程图。

具体实施方式

本发明的具体实施方式为：基于FPGA和DSP芯片的PCI通信监控系统通过上位机应用程序模块从网络接收多路压缩视频流，并按照一定协议以串行方式通过PCI接口模块中的一个DMA通道传输给FPGA，在FPGA中会根据协议识别视频流，并将其分别存放到视频缓存模块中开辟的DPRAM中。当DPRAM中存放的视频数据满足一定条件时，DSP就会通过EMIF接口将视频数据取走并进行解压缩。解压缩完毕的视频数据会通过各自DSP的视频口传输给FPGA中的视频处理模块，视频处理模块将视频数据进行格式转换，缩放和叠加后输出一路整合视频流到输出视频缓存模块中，该模块通过PCI接口模块的另外一个DMA通道，将整合视频数据传输给PC上位机显示。

图1是基于FPGA和DSP芯片的PCI通信监控系统框架图，基于FPGA和DSP芯片的PCI通信监控系统，其特征在于，包括硬件部分和与之配套的软件部分；其硬件部分包括：PC上位机、FPGA芯片、DSP芯片、FLASH寄存器、DDR2寄存器；其软件部分包括：上位机应用程序模块、PCI接口模块、视频缓存模块、视频处理模块、同步模块、时钟复位模块、DSP解压缩模块；所述PC上位机与FPGA芯片之间通过PCI接口进行连接，该PC上位机结合上位机应用程序模块共同完成视频接收、显示以及人机交互的作用；所述FPGA芯片内部集成了系统软件部分的PCI接口模块、视频缓存模块、视频处理模块、同步模块以及时钟复位模块，该FPGA芯片结合PCI接口模块、视频缓存模块、视频处理模块、同步模块、时钟复位模块实现系统数据传输和信号控制功能；所述DSP芯片与FPGA芯片之间通过EMIF、GPIO以及视频接口进行连接，该DSP芯片以及DSP解压缩模块用于实现视频流的解码功能；所述FLASH寄存器与FPGA芯片之间双向连接，所述DDR2寄存器与FPGA芯片之间双向连接，所述FLASH寄存器和DDR2寄存器用于视频数据和系统文件的缓存。

图2是PCI接口模块总体框架图，在该PCI通信监控系统中，所述PCI接口模块分为三部分：PCI下传模块、PC上传模块和PCI配置模块，用于完成PC机应用程序和板卡的传输功能；该模块所述PCI下传模块根据上位机命令接收压缩视频流并按照一定协议将视频流分别存入视频缓存模块中；所述PCI上传模块将处理后的整合视频数据和同步信息一起上传给上位机；所述PCI配置模块完成PCI接口设计中的寄存器配置，使得PCI接口能够正常使用。

图3是视频缓存模块框架图，在该PCI通信监控系统中，所述视频缓存模块包括压缩视频缓存模块以及整合视频缓存模块两部分；所述压缩视频缓存模块接收PCI接口传输过来的视频数据，并分别存放到DPRAM中，当满足一定条件时，该模块会根据EMIF接口时序将视频数据传输给DSP解压缩模块进行解码；所述整合视频缓存模块接收经过视频格式转换、缩放和叠加处理的整合图像和同步模块过来的辅助信息，将整合视频图像和辅助信息一起存放到FIFO中，当满足一定条件时，将FIFO中的数据传输到PCI上传模块。其中PCI下传FIFO是PCI接口模块中下传通道中设计的FIFO，它将输出32位的数据到压缩视频缓存模块中，DPRAM控制模块接收FIFO的数据，去掉传输数据中的辅助信息和包头，提取出一帧图像的有效数据，并根据DSP的EMIF接口信号产生DPRAM所需要的控制信号。DSP中断模块根据DPRAM的读写信号来产生DSP中断脉冲，该中断脉冲通知DSP读取DPRAM中的图像数据。

图4是视频处理模块框架图，在该PCI通信监控系统中，所述视频处理模块用于完成多路视频图像的整合叠加处理，该模块采用Altera公司提供的视频及图像处理套件，该套件可以很方便、灵活地对视频和图像进行处理。

图5是DSP解压缩模块框架图，在该PCI通信监控系统中，所述DSP解压缩模块接收DSP解压缩模块传送过来的解压缩后的视频图像，并对视频图像进行格式转换，缩放和叠加功能，最终输出一路叠加后的视频数据，该模块采用专门处理视频图像的DSP芯片TMS320DM368，具备预装的嵌入式Linux操作系统与高清晰度H.264视频编码和解码功能，其中包含单核ARM926EJS和视频子处理器，H264、MPEG4、MPEG2、MJPEG、JPEG，音频的ACC、G711编码解码都是硬件实现的，无需软件运算，因此编码解码速度极快。

图6是上位机应用模块视频接收及显示进程流程图，在该PCI通信监控系统中，所述上位机应用程序模块用于提供人机交互功能；其软件编程部分分为发送进程、接收进程和显示进程；视频接收及显示进程需要通过PCI接口接收整合后的视频数据并显示在应用程序上。应用程序事先开辟一块物理内存，该物理内存大小为1600×1200×4+64+128字节大小。其中64字节为帧结束标志位，128字节是辅助信息大小。把每块物理内存的首地址和每个DMA通道的传输字节数写入到PCI的BAR0的对应的寄存器中，然后再通过一个寄存器启动DMA写，从而把整合图像数据传到这块内存。上位机不断查询每块内存的最后64位数据是否是帧结束标志，如果是表示整个内存的数据有效，然后把该图像显示出来。

除了上述以外本发明所属技术领域的普通技术人员也都能理解到，在此说明和图示的具体实施例都可以进一步变动结合。虽然本发明是就其较佳实施例予以示图说明的，但是熟悉本技术的人都可理解到，在所述权利要求书中所限定的本发明的精神和范围内，还可对本发明做出多种改动和变动。

Claims (1)

1.基于FPGA和DSP芯片的PCI通信监控系统，其特征在于，包括硬件部分和与之配套的软件部分；其硬件部分包括：PC上位机、FPGA芯片、DSP芯片、FLASH寄存器、DDR2寄存器；其软件部分包括：上位机应用程序模块、PCI接口模块、视频缓存模块、视频处理模块、同步模块、时钟复位模块、DSP解压缩模块；

所述PC上位机与FPGA芯片之间通过PCI接口进行连接，PC上位机同上位机应用程序模块共同完成视频接收、显示以及人机交互的作用；所述FPGA芯片采用Altera公司StratixIII系列中端芯片EP3SE110F1152I3，FPGA芯片内部集成了系统软件部分的PCI接口模块、视频缓存模块、视频处理模块、同步模块以及时钟复位模块，结合上述系统中的各软件模块，该芯片可以实现系统数据传输和信号控制功能，是整个系统的核心；

所述DSP芯片采用TI公司的TMS320DM368视频处理器，该芯片与FPGA芯片之间通过EMIF、GPIO以及视频接口进行连接，所述DSP芯片结合系统软件部分的DSP解压缩模块用于实现视频流的解码功能；所述FLASH寄存器选用Altera公司的配置FLASHEPCS64SI16N作为FPGA的配置芯片，所述FLASH寄存器与FPGA芯片之间双向连接，用于存放程序和数据；

所述DDR2寄存器选用Micron公司的MT47H64M16HR-3IT型SDRAM芯片，所述DDR2寄存器与FPGA芯片之间双向连接，用于视频数据的缓存；

所述上位机应用程序模块用于提供人机交互功能；其软件编程部分分为发送进程、接收进程和显示进程；发送进程获取网络压缩视频流，并按照通信协议下传给PCI接口模块；接收进程通过PCI接口模块接收板卡处理后的整合视频监控数据；显示进程显示接收进程获取的视频图像和响应应用程序上的按钮或屏幕操作；

所述PCI接口模块用于完成PC机应用程序和板卡的传输功能；该模块分为三部分：PCI下传模块、PC上传模块和PCI配置模块；所述PCI下传模块根据上位机命令接收压缩视频流并按照协议将视频流分别存入视频缓存模块中；所述PCI上传模块将处理后的整合视频数据和同步信息一起上传给上位机；所述PCI配置模块完成PCI接口设计中的寄存器配置，使PCI接口能够正常使用；

所述视频缓存模块分为压缩视频缓存模块以及整合视频缓存模块两部分；所述压缩视频缓存模块接收PCI接口传输过来的视频数据，并分别存放到DPRAM中，当满足一定条件时，该模块会根据EMIF接口时序将视频数据传输给DSP解压缩模块进行解码；所述整合视频缓存模块接收经过视频格式转换、缩放和叠加处理的整合图像和同步模块过来的辅助信息，将整合视频图像和辅助信息一起存放到FIFO中，当满足一定条件时，将FIFO中的数据传输到PCI上传模块；

所述视频处理模块接收DSP解压缩模块传送过来的解压缩后的视频图像，并对视频图像进行格式转换，缩放和叠加功能，最终输出一路叠加后的视频数据；所述同步模块根据DSP解压缩模块的GPIO口脉冲，检测丢帧情况，然后在存储器中查找视频数据的辅助信息，发给整合视频缓存模块，使每一路视频的每一帧视频数据都与视频数据的辅助信息同步；

所述时钟复位模块一是提供FPGA端其他模块的时钟、复位信号，产生满足系统时钟需求的几个时钟值和全局复位信号；二是提供DSP芯片的复位信号，该复位信号包括DSP芯片上电初始化的复位信号和DSP芯片工作不正常时的看门狗复位信号；所述DSP解压缩模块用于实现压缩视频流的解压缩工作。