CN102184084B - 高分辨率多抽头面阵ccd输出图像数据实时合成的方法 - Google Patents

Abstract

高分辨率多抽头面阵CCD输出图像数据实时合成的方法，涉及图像数据合成的方法，它解决了现有SDRAM中一行数据的读写操作需由多次突发操作、多次判断是否进行刷新操作并进行存储器激活和预冲操作的问题，其方法为：将CCD多抽头输出的图像数据分为四组送入乒乓结构的双口RAM中进行数据整合；将左上和左下的乒乓结构的双口RAM中的数据写入乒乓结构的左SDRAM存储器，将右上和右下的乒乓结构的双口RAM中的数据写入乒乓结构的右SDRAM存储器；从乒乓结构的左SDRAM存储器和右SDRAM存储器中读出图像数据，分别送入异步FIFO左和异步FIFO右后输出图像数据；本发明采用不同的刷新方法；提高了读写操作效率。

Description

高分辨率多抽头面阵CCD输出图像数据实时合成的方法

技术领域

本发明涉及一种图像数据合成的方法，具体涉及一种高分辨率(可达10K×10K)多抽头(抽头数大于四且为四的整倍数)短消隐期的面阵CCD输出图像数据实时合成的方法。

背景技术

对于高速面阵CCD传感器，要在很短的时间内输出图像信号，需提高帧转移速率和像素时钟，这给芯片制造工艺和外围驱动电路的设计带来很大困难，而且信噪比也会恶化。芯片制造厂家为缓解此情况采用多抽头输出设计，如图1所示，将CCD的感光区和存储区分为多块，每块有各自的输出时钟，多端口并行输出，这就大大降低了帧转移速率和输出像素时钟，但仍需将多路信号实时地合成一幅完整的视频图像。

传统的合成方法是：将CCD各路输出的图像数据，按输出顺序存入各自的存储器中，然后由控制器将视频信号从各存储器读出，经整合存入完整的视频存储器中。目前主要使用三种存储器：1、双口RAM速度可达上百兆，可同时读写，有地址线可控制存取位置，缺点是容量不到1MB，价格也很高；2、“乒乓”结构SDRAM，就是指两组SDRAM，一组进行读操作，一组进行写操作，这样可同时进行读写操作，读写速度可达166MHz，且成本低，缺点操作控制比较复杂；3、FIFO操作简单可同时读写，存储速度可达上百兆，但突发缓存容量不到1MB，且价格很高。

SDRAM需定时刷新以保证数据不丢失，最大刷新周期为64ms，若行数为8192，则在64ms内需刷新8192次，最大平均间隔时间为7.8125μs。在刷新期间所有BANK停止工作，所有工作指令只能等待而无法执行，64ms之后则再次对同一行进行刷新。现普遍采用较短字节突发读写操作结合定时计数刷新，即每次突发读写操作的时间小于平均刷新间隔，并采用刷新定时计数器产生刷新请求；在每次突发操作完成后判断是否有刷新请求，若有执行刷新操作，否则进行突发读写操作。采用此方法能方便地协调读写操作和定时刷新，但对于高分辨率的图像数据，存储器的列数大，一行数据的读写操作需由多次突发操作才能完成，需多次判断是否进行刷新操作并进行存储器激活和预冲操作，控制器开销大，读写效率低，很难适应高分辨率短消隐期的图像数据操作。

发明内容

本发明为解决背景技术存在的上述技术问题，提供一种高分辨率多抽头面阵CCD输出图像数据实时合成的方法。

高分辨率多抽头面阵CCD输出图像数据实时合成的方法，该方法由以下步骤实现：

步骤一、把多抽头的CCD图像数据分为左上、左下、右上和右下四组，将所述四组数据以行为单位根据对应的物理地址分别写入左上、左下、右上和右下四组乒乓结构的双口RAM中；然后分别从左上、左下、右上和右下四组乒乓结构的双口RAM中按物理地址递增的顺序读出图像数据，获得四路地址顺序变化的图像数据；

步骤二、将步骤一所述的左上和左下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的左SDRAM中，右上和右下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的右SDRAM中，所述左SDRAM获得左半帧图像数据，右SDRAM获得右半帧图像数据；

步骤三、将步骤二所述的乒乓结构的左SDRAM读出的左半帧图像数据写入异步FIFO左中，右SDRAM读出的右半帧图像数据写入异步FIFO右中，然后以行为单位从异步FIFO左和异步FIFO右中连续读出图像数据，获得高分辨率多抽头面阵CCD输出的以行为单位的连续图像数据，采用双通道的采集卡进行图像数据的采集。

本发明的工作原理：本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法由控制器、四组乒乓结构的双口RAM、两组乒乓结构的SDRAM和两个异步FIFO组成，所述控制器与四组乒乓结构的双口RAM、两组乒乓结构的SDRAM和两异步FIFO相连，并控制各存储器的读写操作；四组乒乓结构的双口RAM，包括8个双口RAM，每个双口RAM中存储p个图像数据，其作用是分别把左上、左下、右上和右下的s/4路输入数据整合为左上、左下、右上和右下的一路按顺序地址变化的输出数据，s为CCD的抽头数，而且每个双口RAM内的数据是分n+1次读出的，以配合SDRAM的写入操作；两组乒乓结构SDRAM分别把左上、左下、右上和右下的图像数据整合为左半帧和右半帧的图像数据，最终以连续半帧图像输出，而且每n+1次页突发操作读出的数据组成了一个输出行数据；两异步FIFO的作用是把从SDRAM中n+1次的断续读出的数据变为一行连续输出的数据，最终采用双通道的采集卡进行图像数据的采集。

本发明的有益效果：

一、采用可编程逻辑器件和外部SDRAM实现图像数据的缓存，使用可编程逻辑器件作为小容量存储器和系统控制器，系统集成度高，控制灵活；

二、利用了可编程器件内部的双口RAM和异步FIFO速度快但容量小而外部的SDRAM容量大但读写效率低操作复杂的特点，使用了三种存储器来完成不同的任务：系统中分别采用了乒乓结构的双口RAM和乒乓结构的SDRAM来分别对以行为单位的图像数据和以帧为单位的图像数据进行整合；双口RAM在SDRAM写操作前解决了数据整合地址不连续且写入操作不连续问题；异步FIFO克服了从SDRAM中读出的数据不连续问题；

三、根据SDRAM处于不同的阶段，采用不同的刷新方法；能大大提高读写操作效率，可适应不同的输入行周期，不仅适合高分辨率多抽头的面阵CCD图像数据整合，也适用于高分辨率多抽头的线阵CCD图像数据整合，把每行的图像数据写入和读出由n+1次页突发操作来完成，写操作阶段每行图像数据的写入操作由多次全页突发操作来完成，然后进行集中刷新，最后进行定时计数刷新；读操作阶段每行图像数据的读出操作由多次全页突发操作来完成，然后进行集中刷新；无读写操作阶段实行定时计数刷新。

附图说明

图1为现有大面阵CCD的输出通道示意图；

图2为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合结构示意图；

图3为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中双口RAM的时序图；

图4为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的时序图；

图5为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的控制状态转移图；

图6为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的写操作时序图；

图7为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的写操作子状态转移图；

图8为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的读操作子状态转移图；

图9为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中SDRAM的定时刷新子状态转移图；

图10为本发明所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法中大面阵CCD的数据整合中异步FIFO的时序图。

具体实施方式

具体实施方式一、结合图2至图10说明本实施方式，高分辨率多抽头面阵CCD输出图像数据实时合成的方法，该方法由以下步骤实现：

步骤一、把多抽头的CCD图像数据分为左上、左下、右上和右下四组，将所述四组数据以行为单位根据对应的物理地址分别写入左上、左下、右上和右下四组乒乓结构的双口RAM中；然后分别从左上、左下、右上和右下四组乒乓结构的双口RAM中按物理地址递增的顺序读出图像数据，获得四路地址顺序变化的图像数据；

步骤二、将步骤一所述的左上和左下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的左SDRAM中，右上和右下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的右SDRAM中，所述左SDRAM获得左半帧图像数据，右SDRAM获得右半帧图像数据；

步骤三、将步骤二所述的乒乓结构的左SDRAM读出的左半帧图像数据写入异步FIFO左中，右SDRAM读出的右半帧图像数据写入异步FIFO右中，然后以行为单位从异步FIFO左和异步FIFO右中连续读出图像数据，获得高分辨率多抽头面阵CCD输出的以行为单位的连续图像数据。

本实施方式中步骤二所述的双口RAM中存储的图像数据p大于SDRAM的列数q，即：SDRAM每行能存储的最大容量；采用SDRAM的n+1行存储器存储从双口RAM内分n+1次断续读出的图像数据，所述SDRAM内断续读出的n+1行图像数据组成完整的输出行数据；所述n的取值范围为：

$n<\frac{p}{q}\&le;n+1,$ n为正整数；

所述SDRAM存储器内每n+1行存储从双口RAM中读出的p个图像数据，前n行每行存储q个数据，最后一行存储的数据个数为l，所述l的取值范围为：l＝p-q×n；从双口RAM中读出的图像数据由n次q个数据和一次l个数据组成。每组乒乓结构的双口RAM的工作时序如图3所示。

结合图4说明本实施方式，把左上、左下、右上和右下的图像数据分别写入乒乓结构的左SDRAM和右SDRAM存储器中，以帧为单位对图像数据进行整合，乒乓结构的SDRAM进行乒乓操作，一组进行写操作，一组进行读操作。在每n+1行写操作结束后集中刷新m次，并进行定时刷新；在每n+1行读操作结束后集中刷新r次。写操作过程中，突发操作列首地址一直设置为0，上、下半部的行地址和BANK地址根据输入数据对应的物理地址变化；读操作过程中，突发操作列首地址一直设置为0，行地址在每次读出操作递增，BANK地址在读空一个BANK后递增；最终以连续半帧图像输出，而且每个输出行的图像数据是分n+1次页突发操作读出的。

结合图5说明本实施方式，所述两组乒乓结构的SDRAM存储器使用状态机来进行控制，分别包括上电初始化状态机、整帧读操作状态机、整帧写操作状态机和无读写操作状态机。在每次上电时首先进入上电初始化状态机对SDRAM进行上电初始化；然后进入无读写操作的状态机；在每帧写操作启动后进入整帧写操作状态机，在整帧写操作完成后进入整帧读操作状态机，整帧读操作结束后再次进入无读写操作的状态机，等待下一帧写操作的启动。

结合图6说明本实施方式，步骤二所述的乒乓结构的SDRAM对乒乓结构的双口RAM中读出的图像数据的写操作过程为：a、在SDRAM中写入从上半部双口RAM读出的前n次图像数据，每次读出图像数据的个数为SDRAM存储器的列数q；b、在SDRAM中写入从上半部双口RAM读出的第n+1次图像数据，个数为l个；c、在SDRAM中写入从下半部双口RAM读出前n次数据，每次数据的个数为SDRAM存储器的列数q；d、在SDRAM中写入从下半部双口RAM读出的第n+1次数据，个数为l个；e、连续刷新m次；f、以小于最大平均间隔时间如7μs为间隔的定时刷新，具体的写操作子状态机如图7所示。所述m为大于1的正整数，m的取值范围为：

$m-1\&le;t_{\min }\&times;\frac{8192}{64000}<m,$ 其中t_min为输入的最小行周期，单位为μs。

所述SDRAM存储器内前n行每行存储SDRAM存储器的列数q个数据，最后一行存储的数据个数为l：所述l的的取值范围为：l＝p-q×n；

本实施方式中SDRAM以页为单位进行突发操作，存储器内的一行读写操作只出现一次激活和预冲。对于图像传感器，输入和读出一行p个图像数据由n+1次页突发操作来完成，即需完成SDRAM存储器内n+1行的读写操作，然后再集中进行刷新操作。

本实施方式中对于从SDRAM中读出一行输出行图像数据，需经过四个步骤进行处理：a、读出SDRAM存储器内的n行图像数据，每行的个数为SDRAM存储器的列数q；b、读出SDRAM存储器内的最后一行中l个数据；c、连续进行刷新r次；d、空操作阶段，持续时间很短，不进行任何操作；具体的读操作子状态机如图8所示。

所述读操作集中刷新的次数为r，其中t_set为规定的读出行周期，单位为μs；

$r-1\&le;t_{\mathrm{set}}\&times;\frac{8192}{64000}<r$

在无读写操作的状态机和写操作子状态机的定时刷新子状态机中，都是以小于最大平均间隔时间如7us为间隔进行定时刷新操作。

本实施方式中所述的双口RAM、异步FIFO采用Xilinx公司的FPGA内部存储器资源，控制器也由Xilinx公司的FPGA产生，SDRAM采用8片ISSI公司的IS42S86400B；针对的CCD为分辨率为10580×10560的全帧CCD STA1600；

Claims (5)

1.高分辨率多抽头面阵CCD输出图像数据实时合成的方法，其特征是，该方法由以下步骤实现：

步骤一、把多抽头的CCD图像数据分为左上、左下、右上和右下四组，将所述四组数据以行为单位根据对应的物理地址分别写入左上、左下、右上和右下四组乒乓结构的双口RAM中；然后分别从左上、左下、右上和右下四组乒乓结构的双口RAM中按物理地址递增的顺序读出图像数据，获得四路地址顺序变化的图像数据；

步骤二、将步骤一所述的左上和左下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的左SDRAM中，右上和右下乒乓结构的双口RAM内读出的图像数据写入乒乓结构的右SDRAM中，所述左SDRAM获得左半帧图像数据，右SDRAM获得右半帧图像数据；

步骤三、将步骤二所述的乒乓结构的左SDRAM读出的左半帧图像数据写入异步FIFO左中，右SDRAM读出的右半帧图像数据写入异步FIFO右中，然后以行为单位从异步FIFO左和异步FIFO右中连续读出图像数据，获得高分辨率多抽头面阵CCD输出的以行为单位的连续图像数据，采用双通道的采集卡进行图像数据的采集。

2.根据权利要求1所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法，其特征在于，步骤二所述的双口RAM中存储的图像数据p大于SDRAM的列数q，采用SDRAM的n+1行存储器存储从双口RAM内分n+1次断续读出的图像数据，所述SDRAM内断续读出的n+1行图像数据组成完整的输出行数据；所述n的取值范围为：

$n<\frac{p}{q}\&le;n+1,$ n为正整数；

所述SDRAM存储器内每n+1行存储从双口RAM中读出的p个图像数据，前n行每行存储q个数据，最后一行存储的数据个数为l，所述l的取值为：l＝p-q×n；从双口RAM中读出的图像数据由n次q个数据和一次l个数据组成。

3.根据权利要求1所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法，其特征在于，步骤二所述的乒乓结构的SDRAM对乒乓结构的双口RAM中读出的图像数据的写操作过程为：a、在SDRAM中写入从上半部双口RAM读出的前n次图像数据，每次读出图像数据的个数为SDRAM存储器的列数q；b、在SDRAM中写入从上半部双口RAM读出的第n+1次图像数据，个数为l个；c、在SDRAM中写入从下半部双口RAM读出前n次数据，每次数据的个数为SDRAM存储器的列数q；d、在SDRAM中写入从下半部双口RAM读出的第n+1次数据，个数为l个；e、连续刷新m次，每次以7μ_S为时间间隔进行定时刷新；

所述m为大于1的正整数，m的取值范围为：

$m-1\&le;t_{\min }\&times;\frac{8192}{64000}<m,$ 其中t_min为输入的最小行周期，单位为μs。

4.根据权利要求1所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法，其特征在于，步骤三所述的SDRAM读出图像数据的具体过程为：

a、读出SDRAM存储器内的n行图像数据，每行的个数为SDRAM存储器的列数q；b、读出SDRAM存储器内的最后一行中l个数据；c、连续刷新r次；d、空操作阶段；

所述r为大于1的正整数；r的取值范围为：

$r-1\&le;t_{\mathrm{set}}\&times;\frac{8192}{64000}<r,$ 其中t_set为规定的读出行周期，单位为μs。

5.根据权利要求1所述的高分辨率多抽头面阵CCD输出图像数据实时合成的方法，其特征在于，所述多抽头的CCD图像数据中的CCD的抽头数大于四且为四的整数倍。

Images