CN104679679A

CN104679679A - 一种基于嵌入式的该分辨率图像处理系统

Info

Publication number: CN104679679A
Application number: CN201310625656.8A
Authority: CN
Inventors: 张立新
Original assignee: HARBIN GONGCHENG TECHNOLOGY VENTURE CAPITAL Co Ltd
Current assignee: HARBIN GONGCHENG TECHNOLOGY VENTURE CAPITAL Co Ltd
Priority date: 2013-11-28
Filing date: 2013-11-28
Publication date: 2015-06-03

Abstract

一种基于嵌入式的该分辨率图像处理系统，其组成包括：Camera Link的相机接口、容量为4M×16位的SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、显示器驱动，两片16M×16位的SDR SDRAM用于显示和千兆网传输的缓存；FPGA2，负责除全景展开和贝尔插值运算外的所有任务，包括显示器驱动，和千兆以太网的接收和发送；一路千兆以太网接口，一路显示器接口，实时显示相机的图像或展开后的图像；相机负责图像数据采集。对图像的实时处理，采用的是乒乓操作，一个内存区域用于新一场图像的采集，另一个内存区域用于刚刚采集到的整幅图像的处理，在一个图像场周期内采集和处理都必须完成，然后切换其工作的内存区域，交替使用。

Description

一种基于嵌入式的该分辨率图像处理系统

技术领域

本发明涉及的是一种图像处理系统，特别涉及的是一种在嵌入式平台下应用的针对高分辨率全景图像展开的系统。

背景技术

近年来，随着数码相机甚至连手机都由原来几十万像素的分辨率，发展到千万像素甚至更高的级别，图像传感器制造技术的高速发展，对图像和视频的处理能力要求也越来越高。图像处理系统在工业生产、军事、医学等多个领域中得到了广泛的应用。主流的图像处理系统由CCD摄像头、采集卡和计算机等部分组成，然而这些系统往往暴露出结构复杂、成本较高、体积较大等等缺点。随着传感技术、半导体技术以及嵌入式系统的不断发展，一种新的图像处理系统——嵌入式图像处理系统开始步入图像系统发展史的里程。嵌入式图像处理系统以其处理能力强、可靠性强、体积小、功耗低、成本低、保密性好等众多优点有效地克服了传统图像处理系统的缺点，因此具有广阔的发展前景。

嵌入式图像处理系统将大量的图像处理运算过程从通用的以PC为机构架的设备体系转移到以FPGA、DSP等为处理核心的专用嵌入式结构中。现场可编程门阵列FPGA以其应用灵活、集成度高、功能强大、设计周期短、开发成本低的特点，越来越多地被应用在图像处理领域。大量的实践证明，FPGA具有并行处理能力与流水线作业能力，可以显著地提高图像处理的速度，因此基于FPGA的开发图像处理系统有着广阔的发展前景。而各种高性能的DSP不仅可以满足在运算性能上的要求，而且由于DSP的可编程性，还可以在硬件一级获得系统设计的极大灵活性。DSP的通用性、可靠性和灵活性都很高。嵌入式图像处理系统相对于传统的PC机处理系统有着很大的优势：它实现了设备的小型化；强化了设备的专用功能；提高了处理数据的速度和实时性；以及给PC机系统直接提供成熟的中间数据或结论。它将图像处理系统设计成PC机系统的一个外设，实现了设备在硬件和功能上的独立，既可以独立完成功能明确的特定任务，又可以和PC机系统配合完成更复杂的功能。

发明内容

本发明的目的是提供一种在嵌入式平台下应用的针对高分辨率全景图像展开的方系统，以提高嵌入式系统处理高清图像的速度和实时性。

本发明是这样实现的：

一种基于嵌入式的该分辨率图像处理系统，其组成包括：Camera Link的相机接口、容量为4M×16位的SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、显示器驱动。

所述的一种基于嵌入式的该分辨率图像处理系统，其特征是对图像的实时处理，采用的是乒乓操作，一个内存区域用于新一场图像的采集，另一个内存区域用于刚刚采集到的整幅图像的处理，在一个图像场周期内采集和处理都必须完成，然后切换其工作的内存区域，交替使用。

所述的一种基于嵌入式的该分辨率图像处理系统，其特征是系统选用的SSRAM是CYPRESS公司的CY7C1472BV25，工作电压为2.5V，组织结构为4M×18bit，是带有流水线的同步SRAM，标称工作频率200MHz，可以突发操作，并且没有数据潜伏期，具有ZBT的结构，在读操作和写操作之间切换时不需要任何延迟，可以保证持续的读或写，每个周期都能够传输一次数据。

这个嵌入式系统是这样组成的：一组Camera Link的相机接口，可以兼容Base模式，Medium模式，Full模式；4片容量为4M×16位的SSRAM，专用于全景图像展开和贝尔插值；FPGA1（EP3C80F780I7)，专门负责全景展开和贝尔插值运算；两片16M×16位的SDRSDRAM用于显示和千兆网传输的缓存；FPGA2（EP3C80F780I7)，负责除全景展开和贝尔插值运算外的所有任务，包括显示器驱动，和千兆以太网的接收和发送；一路千兆以太网接口（M88E1111），用于上传图像数据，和接收控制命令；一路显示器接口（ADV7125），实时显示相机的图像或展开后的图像；4096px×3072px,25fps的相机负责图像数据采集。

对图像的实时处理，采用的是乒乓操作，一个内存区域用于新一场图像的采集，另一个内存区域用于刚刚采集到的整幅图像的处理，在一个图像场周期内采集和处理都必须完成，然后切换其工作的内存区域，交替使用。这样的优点是处理后输出的图像数据是同一场的。如果仅有一个工作区域会使得被处理的图像正在被刷新和覆盖，输出的图像数据不属于同一场，动态图像参差不齐，视觉效果很差。

本发明还包括：

系统选用的SSRAM是CYPRESS公司的CY7C1472BV25，工作电压为2.5V，组织结构为4M×18bit，是带有流水线的同步SRAM，标称工作频率200MHz，可以突发操作，并且没有数据潜伏期，具有ZBT的结构，在读操作和写操作之间切换时不需要任何延迟，可以保证持续的读或写，每个周期都能够传输一次数据。系统一共用了4片SSRAM，每片的地址总线、控制总线和数据总线都是相互独立的，任何存储器之间没有扩展的拓扑关系，但是又需要统一管理和操作，4片SSRAM受一个控制器来管理，而不是分别用4个控制器来管理，这样做的目的是充分利用SSRAM独立的地址线、数据线来提高寻址速度。

附图说明

图1为嵌入式图像处理系统的板级结构图；

图2为异步FIFO结构示意简图；

图3为4片SSRAM的乒乓操作示意图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

其特征是对图像的实时处理，采用的是乒乓操作，一个内存区域用于新一场图像的采集，另一个内存区域用于刚刚采集到的整幅图像的处理，在一个图像场周期内采集和处理都必须完成，然后切换其工作的内存区域，交替使用。

其特征是系统选用的SSRAM是CYPRESS公司的CY7C1472BV25，工作电压为2.5V，组织结构为4M×18bit，是带有流水线的同步SRAM，标称工作频率200MHz，可以突发操作，并且没有数据潜伏期，具有ZBT的结构，在读操作和写操作之间切换时不需要任何延迟，可以保证持续的读或写，每个周期都能够传输一次数据。

结合图1，图1是嵌入式图像处理系统的板级结构图。这个嵌入式系统是这样组成的：一组Camera Link的相机接口，可以兼容Base模式，Medium模式，Full模式；4片容量为4M×16位的SSRAM，专用于全景图像展开和贝尔插值；FPGA1（EP3C80F780I7)，专门负责全景展开和贝尔插值运算；两片16M×16位的SDR SDRAM用于显示和千兆网传输的缓存；FPGA2（EP3C80F780I7)，负责除全景展开和贝尔插值运算外的所有任务，包括显示器驱动，和千兆以太网的接收和发送；一路千兆以太网接口（M88E1111），用于上传图像数据，和接收控制命令；一路显示器接口（ADV7125），实时显示相机的图像或展开后的图像；4096px×3072px,25fps的相机负责图像数据采集。

结合图2，图2是异步FIFO结构示意简图。它包括数据存储区和控制逻辑两部分，数据将按照接收的顺序依次从FIFO的出口输出。FIFO的工作过程是：上游节点是FIFO的数据输入端，在写使能信号有效时，数据被写入FIFO的顶部（由FIFO内部的写指针控制），并且FIFO内部写指针后移一个单位，同时FIFO满信号将控制上游节点是否发送数据；FIFO的下游节点是FIFO的数据输出端，当读使能信号有效时，位于FIFO底部单元的数据将被读出（由FIFO内部的读指针控制），并且FIFO读指针将后移一个单位，同时空信号将控制下游节点是否读取数据。

结合图3，图3是4片SSRAM的乒乓操作示意图。系统一共用了4片SSRAM，每片的地址总线、控制总线和数据总线都是相互独立的，任何存储器之间没有扩展的拓扑关系，但是又需要统一管理和操作，4片SSRAM受一个控制器来管理，而不是分别用4个控制器来管理，这样做的目的是充分利用SSRAM独立的地址线、数据线来提高寻址速度。

因此对这个特定控制器的功能要求如下：能完成对4片SSRAM的读写操作，每2片SSRAM为一组构成乒乓操作所需的结构，数据采集时每个周期要写入的数据为32位宽，将处于写入状态的2片SSRAM扩展成4M×32bit的组织结构，而展开运算读取数据时需将处于读状态的2片SSRAM做成2×4M×16bit的组织结构，即地址总线保持相互独立的状态，使其获得最大的随机寻址性能。在乒乓操作时，需要对分别处于读写状态的两组SSRAM进行切换，SSRAM具备ZBT零总线切换的结构，对单片SSRAM本身可以在读写状态下无延迟自由切换，这种切换方式不是所有存储器都可以实现的，只有那些ZBT存储器才可以，这种存储器在频繁的读写切换中依然能保障100%的总线利用率。为了充分利用这些性能将4片SSRAM在乒乓操作切换时设计成ZBT零总线切换结构。

Claims

1.一种基于嵌入式的该分辨率图像处理系统，其组成包括：Camera Link的相机接口、容量为4M×16位的SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、显示器驱动。

2.根据权利要求1所述的一种基于嵌入式的该分辨率图像处理系统，其特征是对图像的实时处理，采用的是乒乓操作，一个内存区域用于新一场图像的采集，另一个内存区域用于刚刚采集到的整幅图像的处理，在一个图像场周期内采集和处理都必须完成，然后切换其工作的内存区域，交替使用。

3.根据权利要求1所述的一种基于嵌入式的该分辨率图像处理系统，其特征是系统选用的SSRAM是CYPRESS公司的CY7C1472BV25，工作电压为2.5V，组织结构为4M×18bit，是带有流水线的同步SRAM，标称工作频率200MHz，可以突发操作，并且没有数据潜伏期，具有ZBT的结构，在读操作和写操作之间切换时不需要任何延迟，可以保证持续的读或写，每个周期都能够传输一次数据。