CN103312994B - 实现面阵cmos传感器双向扫描清晰成像的方法 - Google Patents

Abstract

实现面阵CMOS传感器双向扫描清晰成像的方法，涉及光电探测成像领域，解决现有TDICCD实现双向扫描成像时采用增加对称积分电路的方式，存在硬件电路复杂以及成本高的问题，CMOS传感器用于输出面阵图像；两片外存储器用于存储CMOS传感器输出的数字图像，并不同扫描方向时按照不同的TDI控制时序实现数字图像时间延迟积分。扫描方向判断装置用于对当前传感器相对目标景物的运动方向做出判断，根据正向扫描或者反向扫描选择针对性的TDI算法实现方式，数字域双向扫描TDI可以根据输入的运动方向自动选择匹配的数字域TDI算法并控制两片存储器完成正向扫描和反向扫描时不同的读写操作，本发明适用于对地遥感的应用。

Description

实现面阵CMOS传感器双向扫描清晰成像的方法

技术领域

本发明涉及光电探测成像领域，具体涉及一种CMOS图像传感器双向扫描清晰成像的特殊实现方法。

背景技术

TDI（TimeDelayedandIntegration，时间延迟积分）技术通过对同一目标多次曝光累加，在像移速度与推扫速度严格匹配时，可大幅提高成像系统的灵敏度和信噪比，因此被广泛应用于航天遥感领域。尤其随着人们对遥感图像分辨率的要求越来越高，TDI成像技术广泛应用于高分辨力航天遥感领域。

目前高分辨力航天遥感领域普遍采用TDICCD作为探测器。TDICCD是实现TDI的理想器件，其时间延迟积分过程发生于电荷域。在严格的垂直转移时序和水平转移时序的驱动下，电荷在垂直移位寄存器和水平移位寄存器间转移、积分、输出。一旦TDICCD器件制造成型后，光电子在垂直转移时序的控制下只能沿着特定的单一方向转移，而且电荷的转移方向必须与推扫方向一致时才可以使累加的图像不会发生混叠模糊。因此受TDICCD内部构造的约束，TDICCD只能正向扫描清晰成像。然而在很多应用场合，单次过境扫描获取不了足够多的信息，因轨道周期长若等到第二次过境再成像则实时性太差，尤其对于稍纵即逝的突发情况更是机不可失。因此若能实现对感兴趣区域的回扫成像，则可以极大地提高获取遥感信息的效率，并提高遥感相机的利用率。另外，受到相机光机部件的限制，传感器的安装方向有时只能反向才能安装，此时若传感器具备双向扫描成像功能，则可以放松对光机结构件的布局要求。

随着CMOS制造工艺的不断进步，CMOS传感器凭借其成本低、集成度高、功耗小、成像控制简单等诸多优势，近年来受到广泛关注并占领了大部分工业和民用市场，在空间监视器、星敏感器等空间应用领域也展现出强大的潜力。因为CMOS传感器内部构造的原因，电荷在其内部无法长时间存储，因此类似TDICCD的TDICMOS器件不易获得。为了实现CMOS图像传感器在空间高分辨率推摆扫成像领域的应用，先后出现了模拟域TDI和数字域TDI两种解决办法。

通常模拟域TDI的实现方法为：将CMOSAPS输出映射到一个同样大小的低噪高速模拟电荷“积分器”，在积分电路中实现信号的转移叠加，经过M级积分后再将模拟信号送至ADC模块。与TDICCD类似，模拟积分电路也只能沿单一方向传输电压或电流，若想实现双向扫描，只能再增加一个对称积分电路，这使得硬件电路复杂度和开支成倍增加。因此，除非特殊要求的定制产品，应用电荷域TDI或者模拟域TDI的传感器一般都只具备单向扫描清晰成像功能，而定制产品又往往非常昂贵。

发明内容

本发明为解决现有TDICCD实现双向扫描成像时采用增加对称积分电路的方式，存在硬件电路复杂以及成本高的问题，提供一种实现面阵CMOS传感器双向扫描清晰成像的方法。

一种实现面阵CMOS传感器双向扫描清晰成像的方法，该方法由以下步骤实现：

步骤一、运动方向判断装置接收CMOS传感器传送的当前图像，并根据接收的图像判断CMOS传感器的当前的运动方向，如果CMOS传感器运动方向为正向，则执行步骤二，如果为反向，则执行步骤三；获得清晰图像；

步骤二、选择双向扫描数字域TDI算法，具体过程为：

在第i个行周期数据叠加完成后，所述i为正整数，输出M级正向扫描积分信号，计算公式为：

N_i(M)＝P_i(1)+P_i-1(2)+P_i-2(3)+…P_i-M+2(M-1)+P_i-M+1(M)（1）

式中，P_i(1)表示第i帧像素阵列的第一行像素；FPGA控制第一片外存储器与第二片外存储器对每帧图像的累加和存储，所述第一片外存储器存储每帧图像的奇数行图像，第二片外存储器存储每帧图像的偶数行图像，在每个行周期由第一片外存储器的第一个缓存区域输出最终M级积分图像；

所述两片片外存储器的累加读写和输出过程用数学模型表示为：

O_i=S1(1)（3）

式中，S1(k)表示第一片外存储器的第k个存储区域；S2(k)表示第二片外存储器的第k个存储区域；P_i(k)表示第i帧像素阵列的第k行像素；R为不小于M/2的最小正整数；O_i表示第i帧输出的M级积分数字图像；

步骤三、反向扫描的数字域TDI算法，每个行周期由FPGA控制输出的反向扫描的M级积分图像计算公式如下：

$N_i^{\′}\left(M\right)=P_i\left(M\right)+P_{i-1}(M-1)+\·\·\·+P_{i-M+2}(M-2)+P_{i-M+1}(M-1)---\left(4\right)$

所述在反向扫描时，奇数帧图像的存储与正向扫描的存储相同；所述偶数帧图像的第2*(k-1)+1行数据存储于第一片外存储器的第R+k个存储区域，第2*k行数据存储于第二片外存储器的第R+k个存储区域；写入奇数帧图像的第2*k+1行数据时读取第二片外存储器的第R+k个存储区数据，与之相加后再写入第一片外存储器的第k+1个存储区；写入奇数帧图像的第2*k行数据时则读取第一片外存储器的第R+k个存储区数据，与之相加后再写入第二片外存储器的第k个存储区；写入偶数帧图像的第2*k+1行数据时读取第二片外存储器的第k个存储区数据，与之相加后再写入第一片外存储器的第R+k+1个存储区；写入偶数帧图像的第2*k行数据时则读取第一片外存储器的第k个存储区数据，与之相加后再写入第二片外存储器的第R+k个存储区；在每个行周期输出最后写入存储区域的一行数据作为M级积分图像；所述第一片外储器与第二片外存储器累加读写操作和输出操作的具体过程采用数学模型表示为：

$\left\{\begin{array}{c}S1\left(1\right)=P_{2i-1}\left(1\right)\\ S1(R+1)=P_{2i}\left(1\right)\\ S1(k+1)=P_{2i-1}(2k+1)+S2(R+k),k=\mathrm{1,2}\·\·\·,R-1\\ S2\left(k\right)=P_{2i-1}\left(2k\right)+S1(R+k),k=\mathrm{1,2}\·\·\·,R\\ S1(R+k+1)=P_{2i}(2k+1)+S2\left(k\right),k=\mathrm{1,2}\·\·\·,R-1\\ S2(R+k)=P_{2i}\left(2k\right)+S1\left(k\right),k=\mathrm{1,2}\·\·\·,R\end{array}\right.---\left(5\right)$

式中，P_2i-1(k)表示奇数帧像素阵列的第k行像素，P_2i(k)表示偶数帧像素阵列的第k行像素。

本发明的工作原理：本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法，包括运动方向判断和数字域双向扫描TDI两部分。所需要的核心部件包括FPGA、CMOS图像传感器、两片片外存储器。FPGA为本发明方法实现的核心部件，运动方向判断和数字域双向扫描TDI算法都在此完成，积分图像输出也在FPGA的控制下完成；CMOS图像传感器用于输出面阵图像；两片片外存储器用于存储CMOS传感器输出的数字图像，并且在不同扫描方向时按照不同的TDI控制时序实现数字图像时间延迟积分。运动方向判断部分用于对当前传感器相对目标景物的运动方向做出判断，从而根据正向扫描或者反向扫描选择针对性的TDI算法实现方式，该部分在FPGA部件中完成，因此不需要增加其他的光机结构或硬件电路开支。数字域双向扫描TDI可以根据输入的运动方向判决结果自动选择匹配的数字域TDI算法分支，并控制两片片外存储器完成正向扫描和反向扫描时不同的读写操作，依据设计巧妙的存储器操作方式不仅有效解决了无需额外硬件电路开支情况下的正向和反向扫描清晰成像，而且在两种扫描方向情况下均只需两片存储器即可满足要求。

数字域双向扫描TDI算法，在收到运动方向判决结果后会选择对应的数字域TDI程序分支。每个数字域TDI程序分支又主要包括两部分：首先是计算满足当前时间延迟积分需求的各项传感器时序参数和寄存器配置参数，并按照计算结果生成CMOS传感器驱动时序和寄存器配置通信数据；然后完成输出图像的对应像素的时间延迟累加。其中时间延迟积分的实现具体体现在对2片片外存储器的读写操作，这也是本发明的关键技术。

本发明的有益效果：本发明所述的的实现面阵CMOS传感器双向扫描清晰成像的方法除了具备时间延迟积分功能外，还能够利用面阵图像较容易地实现运动方向的自判决功能，另外巧妙利用两片片外存储器配合完成FPGA控制下的数字域TDI成像，利于工程实现。同时又通过自行设计的存储器流水乒乓读写操作和深度扩展方式，在无需增加额外光机结构或硬件电路的前提下有效地解决了CMOS图像传感器的双向扫描清晰成像问题。本发明简单易行，成本低，通用性、可移植性强，能够克服TDICCD或模拟域TDI实现双向扫描清晰成像的难题。

附图说明

图1为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法的结构图；

图2为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法的流程图；

图3为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法中运动方向判断装置的工作流程图；

图4为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法中数字域TDI算法的工作原理示意图；

图5为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法中正向扫描的数字域图像在片外存储器的读写操作示意图；

图6为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法中反向扫描的数字域TDI算法工作原理示意图；

图7为本发明所述的实现面阵CMOS传感器双向扫描清晰成像的方法中反向扫描的数字域图像在片外存储器的读写操作示意图。

具体实施方式

具体实施方式一、结合图1至图7说明本实施方式，实现面阵CMOS图像传感器双向扫描清晰成像的方法，首先由面阵CMOS传感器获取一帧图像，然后依据运动方向判断装置判断出CMOS传感器当前的运动方向，继而根据判断结果选择对应的数字域TDI程序算法分支，从而在正向和反向扫描成像时都能做到匹配图像像素的累加，即可获取清晰图像。其中包括三个主要部分：运动方向判断、数字域双向扫描TDI算法以及存储器读写操作。

结合图3，本实施方式所述的运动方向判断采用基于图像特征匹配的方法，依据提取当前帧图像与前帧图像特征值的图像处理方法，通过配准像素的位置移动得到传感器的运动方向，该实现方式在FPGA内部完成，同样不需要增加其他的光机结构或硬件电路开支。具体的实现步骤如下：

一、输入当前帧图像；

二、读取前帧图像；

三、提取两帧图像的特征点或特征线条作为图像特征值；

四、以提取图像特征值为依据，找出两图像的配准像素位置；

五、通过配准像素的相对位置得到传感器当前的运动方向；

六、输出判决结果。

本实施方式所述的运动方向判断方法利用面阵图像的优势，当CMOS传感器获取一帧图像时，由FPGA控制存储器读取前一帧图像。然后分别提取两帧图像的特征值用于图像配准，继而可以根据配准像素的位置判断出传感器当前的运动方向。并输出判断结果至FPGA控制中心，为正向或者反向数字域TDI程序分支选择提供依据。本实施方式设定扫描方向与图像传感器行数增加方向一致时为正向扫描方向，反之若扫描方向与图像传感器行数增加方向相反时设定为反向扫描方向。

结合图4，所述正向扫描的数字域TDI算法的具体过程为：CMOS传感器运动方向沿着像素阵列行数减小的方向。以四级积分为例，当进行推扫成像时，在第一个行周期，CMOS图像传感器输出像素矩阵P1，FPGA控制前四行数据写入存储器M1-M4中；经过一个行周期，传感器沿推扫方向移动一个像元宽度，并输出第二帧像素矩阵P2，此时线阵1对应的成像目标与前1帧线阵2对应的成像目标相同，因此FPGA控制P2前4行数据与P1对应数据叠加后存入存储器，此时存储器M1中存储的是当前帧线阵1和前1帧线阵2的累加数据，M2中存储的是当前帧线阵2和前1帧线阵3的累加数据，M3中存储的是当前帧线阵3和前1帧线阵4的累加数据，M4中存储了当前帧线阵4数据；同理，第四个行周期，存储器M1中存储的是当前帧线阵1、前1帧线阵2、前2帧线阵3以及前3帧线阵4对同一目标成像数据的叠加，存储器M2中为当前帧线阵2、前1帧线阵3和前2帧线阵4成像数据的和，存储器M3中存储当前帧线阵3和前1帧线阵4的数据和，M4中暂存当前帧线阵4的成像数据。每个行周期M1数据叠加完成后，在FPGA控制下输出，此时4级积分输出信号为：

N_signal(4)=P4(1)+P3(2)+P2(3)+P1(4)（1）

此时若使用内部存储器显然随着级数的增加，很容易引起FPGA内部资源过载。因此本发明中采用了片外存储器，为了有效控制片外存储器数量，并避免时间延迟积分操作中两片存储器的读写冲突，本发明采用两片存储器深度扩展方式以及图5的存储器乒乓流水操作机制，只需要巧妙设计两个片外存储器的配合即可实现满足公式1要求的时间延迟积分操作。在片外存储器中取存储一行像素数据的空间为一个存储区域，按照深度扩展方向，分别将存储区域标记为S(1)、S(2)……S(k)。正向扫描时，第一片外存储器存储每帧图像的奇数行图像，第二片外存储器存储每帧图像的偶数行图像，而且随着行数的增加每片存储器的存储区域也逐渐深度扩展。时间延迟积分操作发生在每行图像像素的写入，即当前帧像素阵列的第2*(k-1)+1行数据到来的同时读取第二片外存储器的第k个存储区数据，与之对应列像素相加后再写入第一片外存储器的第k个存储区；第2*k行数据到来时则读取第一片外存储器的第k+1个存储区数据，与之相加后再写入第二片外存储器的第k个存储区。并且在每个行周期由第一片外存储器的第1个缓存区域输出最终M级积分图像。上述累加读写操作和输出操作用数学模型表示为：

O_i=S1(1)（3）

式中，S1(k)表示第一片外存储器的第k个存储区域；S2(k)表示第二片外存储器的第k个存储区域；P_i(k)表示第i帧像素阵列的第k行像素；R为不小于M/2的最小正整数；O_i表示第i帧（或称为第i个行周期）输出的M级积分数字图像。公式2中等号左边的存储器对应写操作，等号右边的存储器对应读操作。

反向扫描的数字域TDI算法原理，结合图6，恰好与正向扫描相反，此时传感器运动方向沿着像素阵列行数增大的方向。同样以四级积分为例，当进行推扫成像时，在第一个行周期，CMOS传感器输出像素矩阵P1，FPGA控制前4行数据写入存储器M中；经过一个行周期，传感器沿推扫方向移动一个像元宽度，并输出第二帧像素阵列P2，此时线阵1对应新的成像目标、线阵2对应的成像目标与前帧线阵1对应的成像目标相同，线阵3对应的成像目标与前帧线阵2对应的成像目标相同，因此FPGA控制P2的第1行数据、P2的第2-4行数据与P1对应数据叠加后的结果存入存储器；可得在第四个行周期，存储器M1中存储的是当前帧线阵1的成像数据；存储器M2中为当前帧线阵2和前1帧线阵1的数据和；存储器M3中存储当前帧线阵3、前1帧线阵2和前2帧线阵1对同一目标成像数据的叠加，M4中暂存当前帧线阵4、前1帧线阵3、前2帧线阵2以及前3帧线阵1成像数据的和。每个行周期由FPGA控制将M4中图像输出，即得到反向扫描的4级积分图像计算公式如下：

$N_{\mathrm{signal}}^{\′}\left(4\right)=P4\left(4\right)+P3\left(3\right)+P2\left(2\right)+P1\left(1\right)---\left(4\right)$

显然，若采用正向扫描的存储器读写操作机制会造成不匹配目标的成像数据累加。因此本发明设计了反向扫描的存储器乒乓操作机制，如图7所示。反向扫描时，同样仍需要两个片外存储器，只是比正向扫描所用存储器在深度上扩展一倍。同样，按照设定每行像元所占空间为一个存储区域，按深度扩展方向分别标记为S1、S2……Sk。反向扫描时奇数帧图像的奇数行和偶数行存储与正向扫描的存储相同。虽然偶数帧图像的奇数行和偶数行数据仍然各自存储于第一片外存储器和第二片外存储器，但是存储区域却是在奇数帧图像的基础上深度增加，即偶数帧的第2*(k-1)+1行数据存储于第一片外存储器的R+k个存储区域（R为不小于M/2的最小正整数），第2*k行数据存储于第二片外存储器的R+k个存储区域。而时间延迟积分具体实现为：奇数帧的第2*k+1行数据到来的同时读取第二片外存储器的第R+k个存储区数据，与之相加后再写入第一片外存储器的第k+1个存储区；奇数帧的第2*k行数据到来时则读取第一片外存储器的第R+k个存储区数据，与之相加后再写入第二片外存储器的第k个存储区；偶数帧的第2*k+1行数据到来的同时读取第二片外存储器的第k个存储区数据，与之相加后再写入第一片外存储器的第R+k+1个存储区；偶数帧的第2*k行数据到来时则读取第一片外存储器的第k个存储区数据，与之相加后再写入第二片外存储器的第R+k个存储区。而且在每个行周期输出最后写入存储区域的一行数据作为M级积分图像。同样，采用数学模型表述上述累加读写操作和输出操作，分别如下：

$\left\{\begin{array}{c}S1\left(1\right)=P_{2i-1}\left(1\right)\\ S1(R+1)=P_{2i}\left(1\right)\\ S1(k+1)=P_{2i-1}(2k+1)+S2(R+k),k=\mathrm{1,2}\·\·\·,R-1\\ S2\left(k\right)=P_{2i-1}\left(2k\right)+S1(R+k),k=\mathrm{1,2}\·\·\·,R\\ S1(R+k+1)=P_{2i}(2k+1)+S2\left(k\right),k=\mathrm{1,2}\·\·\·,R-1\\ S2(R+k)=P_{2i}\left(2k\right)+S1\left(k\right),k=\mathrm{1,2}\·\·\·,R\end{array}\right.---\left(5\right)$

式中，i为正整数，因此P_2i-1(k)表示奇数帧像素阵列的第k行像素，P_2i(k)表示偶数帧像素阵列的第k行像素；S1(k)表示第一片外存储器的第k个存储区域；S2(k)表示第二片外存储器的第k个存储区域；O_i表示第i帧（或称为第i个行周期）输出的M级积分数字图像。公式5中等号左边的存储器对应写操作，等号右边的存储器对应读操作。

本发明的核心在于正向扫描和反向扫描两种情况下的数字域TDI算法实现方式，该实现方式依靠对两个片外存储器的巧妙操作，有效避免了对同一存储器的同时读写冲突，而且既不需要增加硬件电路也无需要额外增加存储器的数目。

Claims (3)

1.实现面阵CMOS传感器双向扫描清晰成像的方法，其特征是，该方法由以下步骤实现：

步骤一、运动方向判断装置接收CMOS传感器传送的当前图像，并根据接收的图像判断CMOS传感器的当前的运动方向，如果CMOS传感器运动方向为正向，则执行步骤二，如果为反向，则执行步骤三；获得清晰图像；

步骤二、选择双向扫描数字域TDI算法，具体过程为：

在第i行周期数据叠加完成后，所述i为正整数，输出M级正向扫描积分信号，计算公式为：

N_i(M)＝P_i(1)+P_i-1(2)+P_i-2(3)+…P_i-M+2(M-1)+P_i-M+1(M)(1)

式中，P_i(1)表示第i帧像素阵列的第一行像素；FPGA控制第一片外存储器与第二片外存储器对每帧图像的累加和存储，所述第一片外存储器存储每帧图像的奇数行图像，第二片外存储器存储每帧图像的偶数行图像，在每个行周期由第一片外存储器的第一个缓存区域输出最终M级积分图像；

所述两片片外存储器的累加读写和输出过程用数学模型表示为：

O_i＝S1(1)(3)

式中，S1(k)表示第一片外存储器的第k个存储区域；S2(k)表示第二片外存储器的第k个存储区域；P_i(k)表示第i帧像素阵列的第k行像素；R为不小于M/2的最小正整数；O_i表示第i帧输出的M级积分数字图像；

步骤三、反向扫描的数字域TDI算法，每个行周期由FPGA控制输出的反向扫描的M级积分图像计算公式如下：

N′_i(M)＝P_i(M)+P_i-1(M-1)+…+P_i-M+2(M-2)+P_i-M+1(M-1)(4)

所述在反向扫描时，奇数帧图像的存储与正向扫描的存储相同；所述偶数帧图像的第2*(k-1)+1行数据存储于第一片外存储器的第R+k个存储区域，第2*k行数据存储于第二片外存储器的第R+k个存储区域；写入奇数帧图像的第2*k+1行数据时读取第二片外存储器的第R+k个存储区数据，与之相加后再写入第一片外存储器的第k+1个存储区；写入奇数帧图像的第2*k行数据时则读取第一片外存储器的第R+k个存储区数据，与之相加后再写入第二片外存储器的第k个存储区；写入偶数帧图像的第2*k+1行数据时读取第二片外存储器的第k个存储区数据，与之相加后再写入第一片外存储器的第R+k+1个存储区；写入偶数帧图像的第2*k行数据时则读取第一片外存储器的第k个存储区数据，与之相加后再写入第二片外存储器的第R+k个存储区；在每个行周期输出最后写入存储区域的一行数据作为M级积分图像；所述第一片外储器与第二片外存储器累加读写操作和输出操作的具体过程采用数学模型表示为：

$\left\{\begin{array}{c}S1\left(1\right)=P_{2i-1}\left(1\right)\\ S1(R+1)=P_{2i}\left(1\right)\\ S1(k+1)=P_{2i-1}(2k+1)+S2(R+k),k=1,2...,R-1\\ S2\left(k\right)=P_{2i-1}\left(2k\right)+S1(R+k),k=1,2...,R\\ S1(R+k+1)=P_{2i}(2k+1)+S2\left(k\right),k=1,2...,R-1\\ S2(R+k)=P_{2i}\left(2k\right)+S1\left(k\right),k=1,2...,R\end{array}\right.---\left(5\right)$

式中，P_2i-1(k)表示奇数帧像素阵列的第k行像素，P_2i(k)表示偶数帧像素阵列的第k行像素。

2.根据权利要求1所述的实现面阵CMOS传感器双向扫描清晰成像的方法，其特征在于，所述的运动方向判断采用基于图像特征匹配的方法，根据提取当前帧图像与前一帧图像特征值的图像处理方法，通过配准像素的位置移动得到传感器的运动方向，具体的实现步骤为：

步骤A、CMOS传感器采集的当前帧图像传送至FPGA；

步骤B、所述FPGA读取前一帧图像，并根据接收的当前帧图像提取两帧图像的特征点或特征线条作为图像特征值；

步骤C、根据获取两帧图像的图像特征值，找出两帧图像的配准像素位置；通过两帧图像配准像素的位置变化，获得CMOS传感器的当前的运动方向。

3.根据权利要求1所述的实现面阵CMOS传感器双向扫描清晰成像的方法，其特征在于，所述CMOS传感器的当前的运动方向判定的依据为：设定CMOS传感器运动方向沿着像素阵列行数减小的方向为正向扫描方向；CMOS传感器运动方向沿着像素阵列行数增大的方向为反向扫描方向。