CN102158653A - 一种实时高动态范围数字图像获取装置及方法 - Google Patents

Abstract

本发明涉及一种实时高动态范围数字图像获取装置及方法，直接利用嵌入式图像处理系统，实时合成高动态范围图像并输出。所述的装置包括FPGA可编程逻辑器件、CCD成像阵面、视频专用A/D芯片、协处理器DSP及静态随机存储器SRAM；系统采用了内、外控制曝光两种工作模式。在工作过程中，FPGA为中央控制与运算部件，DSP为协处理器，实现图像分析和相关参数计算。本发明的方法可以实时生成高动态图像，有效地表达亮区和暗区的场景信息，增强图像的细节特征，提高CCD所摄取图像的质量。

Description

一种实时高动态范围数字图像获取装置及方法

技术领域

本发明属高精度成像及检测技术领域，特别是涉及一种实时高动态范围数字图像获取装置及方法。

背景技术

随着科学技术的高速发展，监控技术的不断发展，检测和细加工的精度不断提高以及加工对象的不断变化，对图像观察、处理和特征检测等提出了越来越高的要求，尤其在监控及X光检测领域，其产品已深入影响到全球经济发展的各大领域，另外在半导体微电子行业、光通讯、光存储、航天工业、生物芯片等产品的图像检测也显得越来越重要。精细加工的高精度检测一直是工业生产和科学研究的重要部分。

另外，在目前的安防行业，通过视频监控可以看出这个市场的广阔前景和成长情况。在监控摄像机的应用过程中，经常会出现明暗反差较大或逆光的场景。出于安全考虑，CCD摄像机被安装在需要监控的室内外，由于在同一位置往往会面临多种照明条件，很多地方照明条件分为日光和人工照明的混合光，并在不同时段下，常出现明暗反差非常大、背光等情况，如在银行储蓄所、重要场所出入口等，因为从窗外射入的强光和从天花板上的荧光灯照射的柔和光线，都可能对当时室内、外景象的捕获造成困难，不能同时对反差很大的室内、外场景清晰地拍摄下来。然而对于监控行业来说，要求在复杂的光线条件下，拍摄出清晰画面，不丢失细节。普通摄像机由于受CCD感光特性所限制，拍摄图像会出现背景过亮、前景过暗，或背景清晰、前景过暗及前景适合、背景过亮的情况，传统摄像机一般会采用背光补偿技术或在室内外放置多台摄像机来适应较大的光线反差，但效果不太理想。造成以上现象的原因，是由于在目前CCD图像传感器制造技术条件下，图像传感器动态范围是由它的信号饱和电平和噪声电平决定。它反映了器件在不同光照度下的工作范围。其数值可以用输出端的信号峰值电压与均方根噪声电压的比值来表示，其单位符号通常为dB，一般为60-80dB，而人眼在观察目标时，可以看清目标的最低照度为1lx，在夏天的中午，当目标照度达到3×10⁵lx时，人眼仍可以看清目标。由此可知，通过眼睛瞳孔的自动调节，人眼分辨物体的动态范围大致为110dB。用动态范围较小的图像传感器记录动态范围较高的图像，总会有图像信息的丢失。对高动态范围的图像的显示也碰到同样的困难，一般需进行对数变换后进行显示。为了提高图像的质量，目前常用的方法是对某一帧图像进行处理，如图像的增强、校正和变换等处理，但其能力有限，对记录时就已经丢失的信息是很难或根本不可能在后续的处理过程中得到恢复。但是可以通过改变图像的光照强度来移动，比如可使图像整体变暗或整体变亮。图像灰度范围一旦进入传感器线性响应范围内，相应的这一部分的结构信息就能被真实地记录下来。因此，从理论说，可以通过改变输入图像的光照强度或曝光时间来记录下同一视场多帧图像的方法，实现记录场景全部信息。

基于目前的成像系统，其成像质量受环境影响大，尤其是在一定的光照条件下，通过CCD所获取的图像，其动态范围较窄，特别是对光照过亮或过暗场景，无法记录或表达场景中亮区和暗区场景的全部图像信息，难以在满足特定环境下对场景的观察和检测质量的要求。为了得到视野清晰图像，实现对场景的有效、客观分析、科学评判和精确测量，急需在观察、检测前扩展图像的动态范围，以获取场景的丰富信息。

发明内容

本发明所要解决的技术问题是提供一种通过对二维成像CCD阵面进行外围电路设计，直接由硬件对采集的图像数据进行处理，实现同一视野不同曝光的多帧图像进行信息融合，实时获取高动态范围图像的实时高动态范围数字图像获取装置及方法。

本发明解决其技术问题所采用的技术方案是：提供一种实时高动态范围数字图像获取装置，包括FPGA可编程逻辑器件、CCD成像阵面、视频专用A/D芯片、协处理器DSP及静态随机存储器SRAM，所述的CCD成像阵面、视频专用A/D芯片和FPGA可编程逻辑器件依次相连，所述的FPGA可编程逻辑器件通过静态随机存储器SRAM与协处理器DSP之间相互传输信息，所述的FPGA可编程逻辑器件分别通过USB适配器和以太网适配器将视频输出。

一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，包括下列步骤：

(1)由FPGA可编程逻辑器件产生精密像素读出时序和各种控制信号，实现CCD曝光时间控制和图像数据的有序读出；控制视频专用A/D芯片转换和协处理器DSP进行图像分析与相关参数计算；并最终生成标准数字视频输出；

(2)在FPGA可编程逻辑器件对图像进行分层后，通过协处理器DSP对图像进行滤波处理，消除成像过程中引入的噪声，并对层次图像信息分析，为FPGA进行图像融合提供参数，保证合成高质量高动态范围图像；

(3)利用协处理器DSP提供的参数，对同一视场多帧不同曝光的图像按照算法进行融合处理，并采用直方图均衡的方法，对融合的图像进行调整，并转换成标准的数字视频信号；

(4)对FPGA可编程逻辑器件融合的图像数据进行相应的数字视频信号编码，并且采用TCP/IP通信协议，对数字视频进行输出。

所述的步骤(1)中的CCD曝光时间控制包括两种不同获取曝光序列图像模式：一种模式是由以FPGA可编程逻辑器件为核心的中央控制部件控制CCD成像阵面的曝光时间，获取不同曝光的图像序列；另一种模式是在保持CCD成像阵面曝光时间不变的条件下，通过系统引出控制接线端口，同步控制成像过程外接光源的发光强度，实现图像序列的不同曝光。

所述的步骤(2)以FPGA可编程逻辑器件为核心控制与运算部件，DSP为协处理器，采用两条流水线工作方式，实现对图像数据的并行操作，实现图像数据采集、图像分析、处理和图像融合；其中，FPGA可编程逻辑器件为中央控制器实现高动态范围图像的最终融合，DSP为协处理器，实现图像分析和相关参数计算。

所述的FPGA可编程逻辑器件与协处理器DSP的并行操作时，以SRAM为存储堆，构成图像数据的缓存池结构，并配合静态随机存储器SRAM访问逻辑控制单元，实现FPGA可编程逻辑器件与协处理器DSP的并行操作。

所述的步骤(3)的图像融合方法，是将CCD连续采集的同一场景四帧不同曝光强度的输出图像进行信息融合；直接采用硬件描述语言实现拉普拉斯金字塔算法，先对图像帧进行分层，再对层次图像进行信息分析和相关参数计算，并确定不同曝光图像的层次图参与图像融合的权重系数，最后采用拉普拉斯金字塔逆算法实现高动态范围图像合成。

所述的步骤(1)～(4)包括系列步骤：

(a)根据曝光成像模式，连续生成同一视野不同曝光的4帧模拟图像，由FPGA可编程逻辑器件控制其专用的A/D进行转换，并依次对图像快速分层后，分别读入不同四片静态随机存储器SRAM；

(b)在完成一帧图像的存储后，启动协处理器DSP依次对同一场景4帧不同曝光强度的图像序列采用改进的均值滤波和改进的中值滤波对图像进行处理，实现滤除噪声、强化图像的细节特征，并进行层次图像分析和参数计算；

(c)FPGA可编程逻辑器件对图像的分层与储存、协处理器DSP对图像的分析与参数计算分别为不同的流水线进行并行操作；

(d)协处理器DSP分别采用梯度与信息熵联合的决策算法评定层次图像的质量，并决定各层次图像参与融合的权重系数；

(e)对协处理器DSP处理完的4帧图像，由FPGA可编程逻辑器件进行融合处理，其方法是：对协处理器DSP将处理好的图像数据和相关计算参数载入静态随机存储器SRAM，FPGA可编程逻辑器件根据预先指定的算法，对图像数据进行融合处理；

(f)对融合后的像素，采用直方图均衡的方法，对宽范围的图像灰度级进行影射处理，使其转换成能在普通显示器显示的图像格式；

(g)处理后的图像数据，再加上混合同步，混合削隐信号和像素时钟进一步合成数字视频信号，并通过TCP/IP协议由FPGA输出合成高动态图像f(x，y)。

有益效果

本发明可以实时生成高动态图像，有效地表达亮区和暗区的场景信息，增强图像的细节特征，提高CCD所摄取图像的质量。在X光成像检测领域、红外成像、半导体微电子行业、光通讯、光存储、航天工业、生物芯片及生物细胞自动识别等方面有广泛应用。

附图说明

图1系统功能结构示意图。

图2缓存控制结构图。

图3高动态范围图像融合示意图。

图4实时高动态图像生成流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1-4所示，本发明硬件设备包括CCD成像阵面，FPGA可编程逻辑器件(简称为FPGA)、视频专用A/D芯片、协处理器DSP(简称为DSP)及静态随机存储器SRAM(简称为SRAM)组等，由FPGA可编程逻辑器件为核心器件组成中央控制单元，实现CCD成像阵面在成像过程中所需要的曝光和读出时序、控制由DSP等构成的协处理器完成图像分析和参数计算；完成高动态图像的合成及数字视频图像输出。控制由SRAM组成系统的图像数据双操作的数据存取模式，实现FPGA与DSP的并行操作，提高系统的实时性。其装置包括以下功能：

(1)控制时序产生模块：由高速的FPGA产生精密的控制时序和控制信号，控制CCD的曝光时间和像素点的行时序、列时序、场时序等及其功能器件的的控制信号。

(2)图像数据滤波及分析模块：主要通过协处理器DSP实现图像滤波处理，消除成像过程中引入的噪声；并采用评价函数对不同曝光的图像数据进行分析，计算最佳的权重因子，为FPGA进行图像融合提供参数，以保证合成高质量高动态范围图像。

(3)高动态图像融合与处理模块：对同一视场多帧不同曝光的图像按算法进行融合处理，并采用直方图均衡的方法，对宽范围的图像灰度级进行影射处理，使其能在普通显示器显示的信息丰富的高清图像。

(4)数字视频输出处理模块：对FPGA融合的图像数据进行相应的数字视频信号编码，并且采用TCP/IP通信协议，对数字视频进行输出。

考虑到图像曝光可采用不同的方法，本发明提出两种不同图像曝光模式。一是在控制CCD成像阵面曝光时间不变条件下，通过系统端口引出信号控制外部光源的发光强度，实现图像序列不同曝光。二是在保持成像环境光强不变的情况下，通过控制内部CCD的曝光时间方法，实现图像序列曝光时间不同。

在模式一条件下，首先保持CCD图像传感器各像素曝光时间不变，由FPGA根据像素的整体灰度的情况，对同一视野连续4帧图像，分别在其成像过程中，控制其外部光源的发光强度，以获取连续4帧不同曝光的图像。若在模式二条件下，则FPGA不产生控制外部光源光强的信号，而由时序电路控制连续4帧图像不同的曝光时间，获取连续4帧不同的不同曝光的图像。

由于成像环境和内部电路的原因，面阵CCD成像过程中，摄取的视频图像序列往往存在随机分布的噪声，即高斯噪声，为了能准确的评价每一帧不同曝光图像的信息参数，则必须对图像进行预处理，该步骤是获取高清图像的前提。由于频域滤波是通过滤掉图像的高频成份而去掉噪声，它在去除噪声的同时也会丢失图像的细节信息，使图像变模糊，另外，频域变换运算量较大，难于实现实时性。考虑到图像滤波的有效性和图像处理的实时性，本发明采用空域滤波的均值和中值滤波算法对图像进行预处理，去除图像的噪声。

均值滤波是最常用的一种线性滤波方法，由于线性滤波的不足是在降低噪声的同时也模糊了整个图像，特别是图像的边缘和细节，因此直接使用均值滤波不利于高频信号的保留，本发明采用一种改进的均值滤波的算法对图像数据进行处理。

一般来说均值滤波是依次对操作像素点邻域的均值而使图像模糊，如果我们不取均值而是有条件的保留原来像素点的值，即只有当像素点的值比邻域均值大于某一阈值时，才取邻域均值为该点的值，否则该点的值保持不变。那么图像就不会模糊，同时又能去除噪音。

同样的，由于中值滤波取其滤波窗口内经过排序后中间像素的值，而与原来像素点的值没什么必然联系。所以如果图像中某物体尺寸较小，排序后该物体没有像素点排在中间，那么滤波后该物体就会被腐蚀甚至消失。所以我们在进行中值滤波操作时先设一个阈值，当只有该点的值与邻域中值的差大于阈值时才取邻域的中值，否则就保留该点的值。这样的话，如果是噪声点，它和邻域的中值就会相差较大，就可以把它去掉。如果是图像信息对象，邻域中还有物体本身的点，所以邻域的中值和该点的值就不会相差太大，只要设置合适的阈值，就可以保留该点的值。

本发明所述的图像融合模块，主要包括实现以下两个方面的处理。一是同一视场不同曝光的多帧不同光强的图像信息分析，二是采用特定算法对图像进行融合。实现方法是在拉普拉斯金字塔算法的基础上，提出一种采用图像梯度和信息熵相结合的方法来表示图像质量的方法，并以此分配权重，将不同曝光图像金字塔的各个层根据权重进行融合，最终利用拉普拉斯金字塔逆算法恢复图像，以突出了图像的细节信息，又尽可能的保留了图像整体的信息量，提高显微图像质量。

拉普拉斯金字塔算法实际上是一种类似于带通滤波的空间域技术。在构造拉普拉斯金子塔前，我们首先要获得图像的高斯金子塔，高斯金子塔是将一幅大小为M×N的图像f进行低通滤波，并隔行采样(Reduce操作)，得到一幅(M/2)×(N/2)大小的图像g₁。重复这个过程k次，将得到一系列大小逐步减小的低通滤波图像g₀，g₁，g₂，…，g_k，g₀～g_k便称之为高斯金字塔。该过程采用数学公式表示如下：

$\mathrm{Reduce}\left(f\right)[x,y]=\underset{m=1}{\overset{5}{\mathrm{\Σ}}}\underset{n=1}{\overset{5}{\mathrm{\Σ}}}w[m,n]f[2x+m,2y+n],$ 1≤x≤M，1≤y≤N，        (1)

其中，w[m，n]为高斯模板，本发明采用的模板为：

$w[m,n]=\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]---\left(2\right)$

高斯金子塔的构成可以由下式表示：

$\left\{\begin{array}{cc}{g}_0=f,& k=0\\ g_{k+1}=\mathrm{Reduce}\left(g_k\right),& 0<k\&le;K\end{array}\right.---\left(3\right)$

获得了高斯金子塔后，其相邻两层图像的差，便是拉普拉斯图像。它是通过把g_k+1插值(Expand操作)，扩展到与g_k相同大小，再用g_k相减得到。计算每两相邻层间的拉普拉斯图像，就能得到l₀，l₁，l₂，…，l_k(此处l_k＝g_k)系列，称之为拉普拉斯金字塔。可用以下数学表达式表示：

$\left\{\begin{array}{cc}{l}_k=g_k,& k=K\\ l_k=g_k-\mathrm{Expand}\left(g_{k+1}\right),& 0\&le;k<K\end{array}\right.---\left(4\right)$

拉普拉斯金字塔逆算法是拉普拉斯金子塔算法的逆过程，其作用是将各层拉普拉斯图像重新恢复成一幅图像。该过程通过把分解得到的各层子图像插值(用放大算子Expand表示)到原来图像的大小，再把它们相加，以得到合成图像：

$g_0=\underset{k=0}{\overset{K}{\mathrm{\&Sigma;}}}{l}_{k,k}---\left(5\right)$

l_k，k＝Expand[Expand…[Expand(l_k)]]                       (6)

其中l_k，k表示第k层的拉普拉斯金字塔图像l_k插值放大k次的结果，所以它的大小和原图像相同。一种简单的方法是把l_k插值到l_k-1大小，并把它加到l_k-1上，得到新图像，然后再把新图像再插值到l_k-2大小，加到l_k-2上，依此类推，直到第0层。至此，g₀就是重构的图像。其数学描述为：

$\left\{\begin{array}{cc}{g}_k=l_k,& k=K\\ g_k=l_k+\mathrm{Expand}\left(g_{k+1}\right),& 0\&le;k<K\end{array}\right.---\left(7\right)$

由于拉普拉斯金字塔的各层(顶层除外)均可保留和突出了图像的重要特征信息(如边缘信息)，这些特征信息被按照不同尺度分别分离在不同分解层上，因此这些重要信息对于图像的融合有重要意义。

通过拉普拉斯金子塔算法，将各帧不同曝光图像进行分层，并按信息量的大小分配不同的权重，然后，用拉普拉斯金字塔逆算法将各层图像合成为一帧高动态范围图像。

一般来说，图像区域像素亮度的变化形成了图像的轮廓，反映了图像的清晰度，而图像的梯度恰恰反映了图像区域像素亮度的变化，图像清晰度越高，其图像梯度值也就越大，因此，图像梯度反映了图像细节的信息。而在图像的客观评价中，常使用图像信息熵来反映图像所含信息量的多少，它反映了一幅图像中像素灰度的分布情况，灰度级别越多，灰度越分散，熵就越大。一般来说，灰度分布越分散，图像所含的信息也就越多。基于上述理论，本发明采用图像梯度与信息熵相结合的方法来表示同一场景各帧不同曝光图像各层次图像的质量，其目的就是使得最终合成的图像既能提高了图像的信息量，又能较好地突显其细节特征。

本发明计算图像梯度采用下式进行描述：

ΔI_x＝|I(x+1，y)-I(x，y)|+|I(x-1，y)-I(x，y)|

(8)

ΔI_y＝|I(x，y+1)-I(x，y)|+|I(x，y-1)-I(x，y)|

归一化函数表示为：

P(v)＝v/2I_max                                 (9)

其中，I(x，y)表示(x，y)处的像素值，v表示ΔI_x或ΔI_y的值，I_max是表示图像的最大像素值，若图像为8位位图，其值为255。我们选取x，y方向像素差最大值作为该像素的梯度值，最终归一化梯度可表示为：

$M\left(R\right)=\frac{1}{(\mathrm{rw}\&times;\mathrm{rh})}\underset{i=0}{\overset{\mathrm{rw}}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\mathrm{rh}}{\mathrm{\&Sigma;}}}P\left(\max (\mathrm{\&Delta;}{I}_x(x_r+i,y_r+j),\mathrm{\&Delta;}{I}_y(x_r+i,y_r+j))\right)---\left(10\right)$

其中，R代表图像，rw和rh是图像R的宽度与高度，x_r和y_r为起始像素坐标。

而归一化的图像信息熵可定义为：

$H=\underset{i=0}{\overset{235}{\mathrm{\&Sigma;}}}[-p_i\mathrm{lo}{g}_2\left(p_i\right)]/{\log }_{2}256---\left(11\right)$

其中，p_i表示图像像素值等于i的概率。最终层次图像的权重可定义为：

$w\left(I_{i,k}\right)=\frac{\mathrm{\&alpha;M}\left(I_{i,k}\right)+(1-\mathrm{\&alpha;})H\left(I_{i,k}\right)}{\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}[M\left(I_{i,k}\right)+H\left(I_{i,k}\right)]}---\left(12\right)$

其中，i代表第i帧曝光图像，k是金字塔的层次，则I_i，k表示为第i帧曝光图像的第k层金字塔图像。p是曝光图像的数量，而α是调节因子，通过它实现图像信息熵与图像梯度在权重系数上的分配比例。根据(12)式我们可以计算各帧不同曝光图像金字塔的各层的权重值，根据权重将不同曝光图像的相应层进行叠加，形成一个新的拉普拉斯金子塔，合成后拉普拉斯金字塔如下式：

$I_k=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}w\left(I_{i,k}\right)I_{i,k}---\left(13\right)$

式中，I_k表示合成后金字塔的第k层图像。最终，通过拉普拉斯金子塔逆算法，我们便能获得一幅高动态范围的图像。对彩色图像，在实现过程中可以分别对不同的颜色空间进行处理，最后进行合成，同时针对不同的观察场景，可对某些颜色进行衰减或增强处理，以增强目标信息。

综合上述，用于图像融合的图像帧，既要考虑其所含的信息量，又要考虑图像的清晰度，所以采用权重值选取不同帧所对应的层次图进行最终图像的融合。

在硬件实现上，采用4组SDRAM构成缓存池结构，对相同的一组SDRAM，设计访问控制逻辑单元，如图2，控制DSP和FPGA的访问次序和时间，实现FPGA与DSP进行快速交叉访问。首先FPGA将采集的一帧图像数据读入一组SDRAM，输入完毕后，采用中断方式通知DSP进行处理，同时再把采集的数据读入第二组SDRAM，输入完毕后，再通知DSP进行处理，依次类推，采用图像分层写入与图像信息分析两条流水线，实现FPGA与DSP并行工作，提高实时性。在程序运行中，由于采用访问控制逻辑电路，避免出现竞争冒险，而导致访问图像数据出错。

为了保证最后输出图像的质量，对融合后的图像可能在亮度上会有较大变化，给人不真实的感觉。为了在最终合成的图像中得到流畅的效果，用FPGA进行平滑滤波，保证图像灰度或颜色过度自然、流畅。

本发明采用同一场景连续采集四帧不同的曝光的图像，通过图像融合算法，实时实现高动态图像的输出，增加观察检测场景的细节特征，满足特定环境下对图像的检测要求。

在实施过程中，采用下列器材：

(1)CCD面阵型号为KAF-9000，主要参数包括分辨率为3056*3056；像素尺寸为12um(H)*12um(V)；线形动态范围84dB，最高10MHz像素；可开/关的自动增益控制(AGC)，读出速率600Kpixel/s，3Mpixel/s，数字增益倍数是：1.3e-/ADU到1.5e-/ADU，模数转换位数16bit，手动设定的黑白电平衡校正方式；可接受24V AC及12V DC两种电源供应。

(2)FPGA型号为：FPGA采用的是Xilinx公司的XC6SLX16-3 CSG324。有324个引脚，232个可用引脚，2278个slices，每个slice包含4个CLB，每个CLB包含4个6输入的查找表(LUT)，共36448个6-input LUTs。该FPGA内置的硬件资源有32个DSP48A1，两个MCB(存储管理块)及576K的内置RAM。

(3)TMS320DM6446处理器。同时具有DSP(DM64X)和ARM双内核的SOC(System on Chip)嵌入式处理器。这类处理器既具有ARM9内核，可以运行Windows或Linux操作系统，又具有高主频的DSP内核，可以快速运行音视频编解码、模式识别等各种复杂视频处理算法。同时DaVinci处理器还具有功耗低的优势，可以广泛应用于各种电池供电环境。

(4)专用视频A/D：采用的是型号为AD9826的图像信号A/D转换器，有R_G_B 3个输入通道，精度为16bits，采集最高频率为15MSPS。

(5)静态随机存储器SRAM，存储器件采用的是型号为k6r4008v1d的SRAM，存储大小为512KB，数据线宽度为8bit，存取周期是8ns，最大吞吐量为1Gb/s。

(6)网络适配器：本申请数据传输采用的是88E1111网络适配器，可以工作于1000M模式，数据传输率是1Gb/s。

(7)USB处理芯片：本申请除了以太网之外，还采用USB作为高动态范围图像的辅助传输，芯片型号是CY68013A。该芯片可工作于USB2.0的全速和高速模式，最高理论传输速度为480Mb/s。

如图4所示为其实施流程图，首先上电，启动系统，DSP和FPGA从FLASH中读入程序，进行初始化。根据事先设定的成像模式，连续生成不同曝光的4帧图像模拟信息，由FPGA核心控制器控制其专用的A/D进行转换，在图像快速分层后分别读入不同四片SRAM。同时启动协处理器DSP对同一场景4帧不同曝光强度的图像序列采用改进的均值滤波和改进的中值滤波对图像进行处理，实现滤除噪声、强化图像的细节特征。然后对分层图像进行信息分析和相关参数计算。分别采用梯度算法和信息熵评价层次图像的质量，并构建出图像评价函数用于代表图像融合权重系数，参与最终图像的融合。DSP将处理好的图像数据和相关计算参数载入SRAM，以使FPGA方便读写；FPGA根据预先指定的算法，对图像数据进行融合处理，并对融合后的像素，采用直方图均衡的方法，对宽范围的图像灰度级进行影射处理，使其转换成能在普通显示器显示的信息丰富的高清图像。处理后的图像数据，再加上必要的混合同步，混合削隐信号和像素时钟等进一步合成数字视频信号，并通过TCP/IP协议由FPGA输出合成高动态图像f(x，y)。

Claims (7)

1.一种实时高动态范围数字图像获取装置，包括FPGA可编程逻辑器件、CCD成像阵面、视频专用A/D芯片、协处理器DSP及静态随机存储器SRAM，其特征在于：所述的CCD成像阵面、视频专用A/D芯片和FPGA可编程逻辑器件依次相连，所述的FPGA可编程逻辑器件通过静态随机存储器SRAM与协处理器DSP之间相互传输信息，所述的FPGA可编程逻辑器件分别通过USB适配器和以太网适配器将视频输出。

2.一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：包括下列步骤：

(1)由FPGA可编程逻辑器件产生精密像素读出时序和各种控制信号，实现CCD曝光时间控制和图像数据的有序读出；控制视频专用A/D芯片转换和协处理器DSP进行图像分析与相关参数计算；并最终生成标准数字视频输出；

(2)在FPGA可编程逻辑器件对图像进行分层后，通过协处理器DSP对图像进行滤波处理，消除成像过程中引入的噪声，并对层次图像信息分析，为FPGA进行图像融合提供参数，保证合成高质量高动态范围图像；

(3)利用协处理器DSP提供的参数，对同一视场多帧不同曝光的图像按照算法进行融合处理，并采用直方图均衡的方法，对融合的图像进行调整，并转换成标准的数字视频信号；

(4)对FPGA可编程逻辑器件融合的图像数据进行相应的数字视频信号编码，并且采用TCP/IP通信协议，对数字视频进行输出。

3.根据权利要求2所述的一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：所述的步骤(1)中的CCD曝光时间控制包括两种不同获取曝光序列图像模式：一种模式是由以FPGA可编程逻辑器件为核心的中央控制部件控制CCD成像阵面的曝光时间，获取不同曝光的图像序列；另一种模式是在保持CCD成像阵面曝光时间不变的条件下，通过系统引出控制接线端口，同步控制成像过程外接光源的发光强度，实现图像序列的不同曝光。

4.根据权利要求2所述的一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：所述的步骤(2)以FPGA可编程逻辑器件为核心控制与运算部件，DSP为协处理器，采用两条流水线工作方式，实现对图像数据的并行操作，实现图像数据采集、图像分析、处理和图像融合；其中，FPGA可编程逻辑器件为中央控制器实现高动态范围图像的最终融合，DSP为协处理器，实现图像分析和相关参数计算。

5.根据权利要求4所述的一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：所述的FPGA可编程逻辑器件与协处理器DSP的并行操作时，以SRAM为存储堆，构成图像数据的缓存池结构，并配合静态随机存储器SRAM访问逻辑控制单元，实现FPGA可编程逻辑器件与协处理器DSP的并行操作。

6.根据权利要求2所述的一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：所述的步骤(3)的图像融合方法，是将CCD连续采集的同一场景四帧不同曝光强度的输出图像进行信息融合；直接采用硬件描述语言实现拉普拉斯金字塔算法，先对图像帧进行分层，再对层次图像进行信息分析和相关参数计算，并确定不同曝光图像的层次图参与图像融合的权重系数，最后采用拉普拉斯金字塔逆算法实现高动态范围图像合成。

7.根据权利要求2所述的一种使用权利要求1所述的实时高动态范围数字图像获取装置的方法，其特征在于：所述的步骤(1)～(4)包括系列步骤：

(a)根据曝光成像模式，连续生成同一视野不同曝光的4帧模拟图像，由FPGA可编程逻辑器件控制其专用的A/D进行转换，并依次对图像快速分层后，分别读入不同四片静态随机存储器SRAM；

(b)在完成一帧图像的存储后，启动协处理器DSP依次对同一场景4帧不同曝光强度的图像序列采用改进的均值滤波和改进的中值滤波对图像进行处理，实现滤除噪声、强化图像的细节特征，并进行层次图像分析和参数计算；

(c)FPGA可编程逻辑器件对图像的分层与储存、协处理器DSP对图像的分析与参数计算分别为不同的流水线进行并行操作；

(d)协处理器DSP分别采用梯度与信息熵联合的决策算法评定层次图像的质量，并决定各层次图像参与融合的权重系数；

(e)对协处理器DSP处理完的4帧图像，由FPGA可编程逻辑器件进行融合处理，其方法是：对协处理器DSP将处理好的图像数据和相关计算参数载入静态随机存储器SRAM，FPGA可编程逻辑器件根据预先指定的算法，对图像数据进行融合处理；

(f)对融合后的像素，采用直方图均衡的方法，对宽范围的图像灰度级进行影射处理，使其转换成能在普通显示器显示的图像格式；

(g)处理后的图像数据，再加上混合同步，混合削隐信号和像素时钟进一步合成数字视频信号，并通过TCP/IP协议由FPGA输出合成高动态图像f(x，y)。

Images