CN104836959A - 基于fpga的面阵cmos图像传感器多模式自动切换采集系统 - Google Patents

Abstract

本发明提供了一种基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统，包括：用于采集图像的、具有至少两种工作模式的CMOS采集模块；用于驱动CMOS采集模块、对CMOS采集模块获取的信息进行缓存以及对CMOS采集模块进行工作模式切换处理的FPGA模块；用于在CMOS采集模块与上位机之间或者在FPGA模块与上位机之间，进行信息传输的传输通道模块；以及用于协同FPGA模块对CMOS采集模块进行工作模式切换处理的、呈现CMOS采集模块获取的图像的上位机。

Description

基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统

技术领域

本发明涉及一种图像采集系统，特别是涉及一种基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统。

背景技术

图像传感器是图像采集处理部分的核心。目前的图像传感器主要分为CCD和CMOS两大阵营。在传统观念中，CCD具有高解析度、低噪点等优点；而CMOS虽然速度快，但由于噪点问题，适用于低画质要求的场合。但是，近年来，由于工艺水平和集成电路技术的提高，CMOS图像传感器的性能参数与CCD越来越接近，而在功能、功耗、尺寸和价格等方面有着CCD无法比拟的优势，便于大规模生产，成品率高。CMOS大有取代CCD的趋势。

目前，视频数据采集技术正在向三个方向发展:

(1)视频质量向高清晰度发展。数字视频数据采集系统中，画面的清晰度主要取决于具有A/D转换功能的传感器芯片、可控制采集过程的控制芯片和具有大容量高速传送数据能力的传输芯片。

(2)处理技术向数字化发展。利用数字化处理数据技术能够解决采集系统中前端光学系统解决不了的问题，使问题集中化、简单化，从而也加快了采集速率。

(3)压缩方式向智能化发展。无论静态图像还是动态视频，在特定的情况下，都要对其进行压缩处理，主要包括对时间和空间的信息压缩，最终的结果取决于压缩时的编解码算法和采样值。

但是，在市场上，视频数据采集速度基本比较低，系统的设计几乎全部通过CPU/DSP读写指令的形式实现，处理速度慢，不能对数据进行并行处理，更不能实现硬件加速，从而直接导致视频采集速度慢，可操作性低，采集模式单一。

发明内容

为了让视频数据采集速度提高，对数据进行并行处理并实现硬件加速，本发明提供了一种能够智能切换不同工作模式的基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统。

本发明提供一种基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统，其特征在于，包括：用于采集图像的、具有至少两种工作模式的CMOS采集模块；用于驱动CMOS采集模块、对CMOS采集模块获取的信息进行缓存以及对CMOS采集模块进行工作模式切换处理的FPGA模块；用于在CMOS采集模块与上位机之间或者在FPGA模块与上位机之间，进行信息传输的传输通道模块；以及用于协同FPGA模块对CMOS采集模块进行工作模式切换处理的、呈现CMOS采集模块获取的图像的上位机。

本发明提供的基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统，采用了FPGA模块作为硬件的核心驱动，集成度高，组合逻辑能力较强，时序实现能力强，速度快，功耗低，可靠性好；为了让采集系统模式不会单一，可操作性强，提出了图像采集系统的工作模式多模式化，并使其能够进行智能自动切换，这样使采集系统性能更完善。

附图说明

图1为本发明的一个实施例的CMOS采集模块的普通工作模式与高速工作模式切换的流程图；

图2为本发明的一个实施例的CMOS采集模块的高速工作模式与TDI工作模式切换的流程图；

图3为本发明的一个实施例的CMOS采集模块的普通工作模式的框架图；

图4为本发明的一个实施例的CMOS采集模块的高速工作模式和TDI工作模式的框架图。

具体实施方式

下面进一步对本发明做进一步的描述，以下用实施例说明，但本发明不限于所提供的实施例。

本发明的基于FPGA的CMOS图像传感器自动切换模式采集系统，包括：用于采集图像的、具有三种工作模式的CMOS采集模块；用于驱动CMOS采集模块、对CMOS采集模块获取的信息进行缓存以及对CMOS采集模块进行工作模式切换处理的FPGA模块；用于在CMOS采集模块与上位机之间或者在FPGA模块与上位机之间，进行信息传输的传输通道模块，用于协同FPGA模块对CMOS采集模块进行工作模式切换处理的、以及呈现CMOS采集模块获取的图像的上位机。

在本实施例之中，CMOS采集模块选用OV5620作为CMOS图像传感器的核心芯片。

CMOS采集模块第一个工作模式为普通工作模式，即是全帧输出、最大分辨率的模式。在配置基本的寄存器的基础上，还需要通过配置模式控制寄存器值COM7，将该寄存器的Bit[6:3]置为0000，OV5620的采集模式就会是5Mpixel(fullsize)模式，在普通工作模式下不存在图像的合并，2592x1944个像素全部输出，达到了最高的分辨率。

因为在普通工作模式下，采集到的像素点要全部输出，所以在单位时间内输出的图像数量就会比较少，即帧频就会很小，仅仅只有7.5fps。这种普通工作模式适合用来拍摄静态图像，不适合于拍摄移动的物体，但是由于是全图像输出，所以比较清晰。

CMOS采集模块第二个工作模式为高速工作模式。若系统工作在普通工作模式下，对于移动的物体，会因传输速度慢而导致目标的运动细节丢失，此时就应采用高速工作模式。高速工作模式是通过修改寄存器COM7的Bit[6:3]值为0001在普通工作模式的基础上控制曝光时间、增益等来实现的，设置好上述值后OV5620的采集模式就是HF模式。在高速工作模式下图像像素将会在水平方向上以1:2的比例进行合并，即是在每个像素不能重复使用的情况下，把相邻2个像素的值求平均，然后将该平均值作为图像的一个像素值输出，在垂直方向上以1:8的比例进行合并，原理跟水平方向上一样。此时的分辨率将会变成了1280*240。

在高速工作模式下，因为系统不用将采集到的每个像素点都输出，而是只需要输出合并后的像素点，所以在单位时间内输出的图像数量自然就多，既是使得帧频大大提高，此时的理论帧频是120fps，可以达到了捕捉高速移动物体的效果。因为在高速工作模式下会有大量的数据需要传输，可以考虑再开辟缓存区域以保证数据的实时的传输。

CMOS采集模块第三个工作模式为TDI工作模式。系统处于TDI工作模式时OV5620的曝光方式采用的电子卷帘快门方式，因为处于该方式下时，不仅每个像素曝光时间会比较长，而且算法更易于算法的设计及实现。TDI算法的原理是通过对景物多次曝光后进行延时相加来实现的，不同于TDICCD在采集处就能实现延时积分的是CMOS图像传感器的TDI算法是通过FPGA模块实现的。在本系统中实现了8级TDI算法，首先计算出CMOS行转移时间与帧频之间的关系，它们必须满足F<8/(640*60)这个关系式(式中F为行转移时间，8为积分级数，60为帧频，640为输出图像的分辨率的列值)，接着用FPGA模块控制CMOS传感器工作，同时为了能将8次曝光的结果进行累加，在FPGA模块内开辟7个RAM用于存储图像传感器采集到的数据，最后利用FPGA模块控制数字域各帧像素阵列列向对应像素逐行叠加，得到时间延迟积分图像，再加上一系列用于提高图像质量的积分算法进行补偿后得到最终输出到上位机的图像。

FPGA模块是整个系统设计的核心，采用的是Altera公司的cycloneIV系列芯片EP4CE10E22C8N，给设计带来极大的灵活性。

根据输入的基准时钟，FPGA模块通过内部PLL模块产生CMOS传感器时序所需驱动时钟及系统内部的计数时钟，系统要在某个工作模式时，就将该工作模式需要配置的寄存器值写入OV5620对应的寄存器内。

普通工作模式驱动步骤如下：首先设计上电延时200ms的程序，其目的是让系统处于稳定状态，然后通过SCCB协议配置CMOS图像传感器的寄存器，使之正常工作；接着直接把采集到的数据送入传输通道模块的FIFO缓存即可，最后通过USB端口将数据传送到上位机，即实现普通工作模式下的视频采集。

高速工作模式下，采集之前跟普通工作模式一样做好系统上电初始化操作，然后在FPGA模块中开辟同步FIFO用于数据缓存，再将该FIFO内的数据传入传输通道模块，当写入传输通道模块的字节数等于端点的容量512Bytes后，传输通道模块会把该数据打包后送至上位机。

TDI工作模式也同理，但追踪动态信息的好坏需要在上位机数据处理后进行对比才能得出最佳的分辨率和帧频，本实施例之中，凭观察得知帧频在60到90之间的效果均可以满足。

三种工作模式的智能自动切换是通过上位机的MATLAB软件与FPGA模块相结合实现的，其中普通工作模式与高速工作模式之间的切换是利用上位机的MATLAB软件来实现的，而高速工作模式和TDI工作模式之间的切换主要是利用FPGA模块的内部设置的定时模块来实现的。

要进行自动切换的前提是系统能够检测运动目标的存在，在本系统我们采用的是使用最易于实现的的运动目标检测算法----连续帧间差分算法，在进行检测前必须先将RGB格式的图像转化为灰度图像，此过程是直接调用MATLAB的内置函数：grayFrame＝rgb2gray(currentFrame)来实现的；接着通过调用设计的算法实现连续两帧图像进行时间差分、二值化处理、对比及返回标识位等操作，具体步骤如下：

首先，把t+1时刻的图像(x,y)处的灰度值I(t+1)减去t时刻的该点的灰度值I(t),将上一步所得结果取绝对值后与一个设定的阈值T1(即第一阈值)进行比较，当一帧图像处理完后，将得到一幅二值图像,记为P；

然后，用求和函数sum()来计算P中值为1的像素点数目num，具体代码是：num＝sum(sum(P))，既是连用两次求和函数将图像中数值的行和列分别加在一起，求出像素为1的总数num，再将总数num与设定的阈值T2(即第二阈值)进行比较，比较结果用R表示，若总数大于T2，则将R置“0”用于表示物体是静态的，反之置R为“1”表示物体是运动的；

最后，将值R通过传输通道模块反馈给FPGA模块，当FPGA模块接收到该反馈信号时，系统就会自动的做出从普通工作模式到高速工作模式的切换或是从高速工作模式至普通工作模式的切换。而工作模式切换的方向完全取决于反馈信号的值。

TDI工作模式与高速工作模式的切换关键在于物体的运动时间，一旦系统检测到物体的运动时间超过所设定的阈值T3(即第三阈值)时，系统会从高速工作模式切换至TDI工作模式。运动时间检测是在系统工作在高速工作模式的基础上，再结合在FPGA模块内部设置的定时模块来实现。

当系统切换至高速工作模式时，FPGA模块立刻启动其内部设定好的定时模块，若物体运动的时间不超过定时模块中设定好的阈值T3时，系统的工作状态保持不变；若运动时间超过T3系统，则会从高速工作模式切换为TDI工作模式。若系统处在高速工作模式或是TDI工作模式时，只要帧间差分算法检测出物体是静止的，系统就会切换为普通工作模式。

传输通道模块采用了Cypress公司的68013芯片，便于固件程序的开发的简化。固件主要实现如下功能：对USB设备进行列举与重新列举,需通过获取USB设备的描述符获得设备的配置信息和相关驱动信息；对USB接口芯片各硬件单元进行初始化,主要包括设备描述符信息、设备功能代码和通信控制功能代码等部分；接受且识别PC上位机发出的命令控制字；使用SlaveFIFO从机模式从FPGA模块内的存储器读取数据。

上位机上的显示模块则用VB语言搭建出一个处理平台来显示采集数据，只需要在平台上设置相应的功能按钮，并调用USB缓存传送上来的数据即可。

FPGA模块：驱动时序电路用Verilog语言编写代码。通过设计基于FPGA的同步FIFO模块作为高速缓存器；FIFO模块具有两个特点：数据进出有序和输出输入口独立。高速模式会产生大量数据，因此，需要外部缓存模块,其可以暂时存储需要传输到上位机的大量数据，本设计的外部缓存模块采用的是传输通道模块内的FIFO。同时，本系统也会接收上位机传来的信号进行模式的自动切换。

上位机模块：采用传输通道模块来作为系统的通讯设备，将采集到的图像信息等传输到上位机中的用VB搭建的图像处理显示平台进行显示，又因为图像处理显示平台调用了MATLAB所生成的用于检测运动目标的dll文件，所以，又可以在后台进行运动目标的检测及将检测结果反馈给FPGA模块，使之能进行自动切换模式的操作。

本发明的有益效果是，通过FPGA模块来实现驱动，该实现方法系统集成度高，组合逻辑能力较强，时序实现能力强，速度快，功耗低，可靠性好。其次，图像的采集有三种模式，并且能实现智能自动切换，使采集模式多样化，功能多样化和性能更完善，以及采集模式切换的更加智能。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统，其特征在于，包括：

用于采集图像的、具有至少两种工作模式的CMOS采集模块；

用于驱动CMOS采集模块、对CMOS采集模块获取的信息进行缓存以及对CMOS采集模块进行工作模式切换处理的FPGA模块；

用于在CMOS采集模块与上位机之间或者在FPGA模块与上位机之间，进行信息传输的传输通道模块；以及

用于协同FPGA模块对CMOS采集模块进行工作模式切换处理的、呈现CMOS采集模块获取的图像的上位机。

2.根据权利要求1所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集系统，其特征在于，所述CMOS采集模块具有普通工作模式、高速工作模式和TDI工作模式。

3.一种基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述CMOS采集模块具有普通工作模式和高速工作模式，普通工作模式和高速工作模式的切换是通过以下步骤实现的:

(1)将CMOS采集模块采集的图像转化为灰度图像，把t+1时刻的图像(x,y)处的灰度值I(t+1)减去t时刻的该点的灰度值I(t),将上一步所得结果取绝对值后与第一阈值进行比较，当一帧图像处理完后，将得到一幅二值图像；

(2)用求和函数来计算二值图像中值为1的像素点数目，既是连用两次求和函数将图像中数值的行和列分别加在一起，求出像素为1的总数，再将总数与设定的第二阈值进行比较，若总数大于第二阈值，则表示物体是静态的，反之，表示物体是运动的；

(3)将表示物体是静态的比较结果通过传输通道模块反馈给FPGA模块，以使CMOS采集模块从高速工作模式切换至普通工作模式；

或者将表示物体是运动的比较结果通过传输通道模块反馈给FPGA模块，以使CMOS采集模块从普通工作模式切换至高速工作模式。

4.根据权利要求3所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述CMOS采集模块还具有TDI工作模式，高速工作模式和TDI工作模式切换是通过以下步骤实现的：

在步骤(3)之中，将表示物体是运动的比较结果通过传输通道模块反馈给FPGA模块，以使CMOS采集模块从普通工作模式切换至高速工作模式，FPGA模块启动其内部设定好的定时模块，对物体运动的时间与定时模块中设定好的第三阈值进行比较，进行步骤(4)；

步骤(4)之中，若物体运动的时间不超过定时模块中设定好的第三阈值时，系统的高速工作模式保持不变；若物体运动的时间超过定时模块中设定好的第三阈值时，则CMOS采集模块从高速工作模式切换为TDI工作模式。

5.根据权利要求4所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述CMOS采集模块处于TDI工作模式时，一旦将表示物体是静态的比较结果通过传输通道模块反馈给FPGA模块，所述CMOS采集模块从TDI工作模式切换至普通工作模式。

6.根据权利要求4所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述TDI工作模式是通过8级TDI算法实现：

(1)先计算出CMOS采集模块行转移时间与帧频之间的关系，它们必须满足F<8/(640*60)这个关系式，式中F为行转移时间，8为积分级数，60为帧频，640为输出图像的分辨率的列值；

(2)接着用FPGA模块内部开辟7个RAM用于存储CMOS图像传感器采集到的数据，同时FPGA模块控制CMOS图像传感器工作；

(3)然后利用FPGA模块控制数字域各帧像素阵列列向对应像素逐行叠加，以将8次曝光的结果进行累加，得到时间延迟积分图像。

7.根据权利要求4所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述CMOS采集模块处于TDI工作模式时，所述CMOS采集模块的曝光方式采用的电子卷帘快门方式。

8.根据权利要求3所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述普通工作模式驱动步骤包括：

步骤1，上电延时以使系统处于稳定状态；

步骤2，通过SCCB协议配置CMOS图像传感器的寄存器，使之正常工作；

步骤3，直接把采集到的数据送入传输通道模块的FIFO缓存即可；

步骤4，将数据传送到上位机，即实现普通工作模式下的视频采集。

9.根据权利要求3所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述高速工作模式驱动步骤包括：

步骤1，上电延时以使系统处于稳定状态；

步骤2，然后在FPGA模块中开辟同步FIFO用于数据缓存，再将该FIFO内的数据传入传输通道模块；

步骤3，当写入传输通道模块的字节数等于端点的容量后，传输通道模块会把该数据打包后送至上位机。

10.根据权利要求3所述的基于FPGA的面阵CMOS图像传感器多模式自动切换采集方法，其特征在于，所述普通工作模式和高速工作模式的切换利用了上位机的MATLAB软件来实现。