CN107635107B - 基于电子倍增的光谱图像合成系统 - Google Patents

Abstract

基于电子倍增的光谱图像合成系统，针对高空间和光谱分辨率的超光谱图像能量偏弱，不同谱段的光谱信号输入光能量偏差较大问题，采用可实时切换倍增增益通道和非倍增增益通道的图像传感器进行光谱信号的接收。首先对接收到的图像电荷信号在读出前经非破坏性浮置栅极输出放大器进行输入光能量的判断，然后根据检测到的输入光能量值进行倍增增益和正常通道的转移读出选择。根据实时标定获得的倍增增益，最后将倍增增益通道和非倍增增益通道的图像合并为高通道范围的图像。采用单帧内光谱信号倍增增益的切换，不仅能提高弱光谱信号的信噪比，还能保证较强光谱信号不饱和，提升整体的动态范围。

Description

基于电子倍增的光谱图像合成系统

技术领域

本发明涉及一种高动态范围的基于电子倍增的光谱图像合成方法，具体涉及工作在全局快门工作方式下采用单帧内光谱信号倍增增益切换的高动态范围的基于电子倍增的光谱图像合成系统。

背景技术

由于成像光谱仪将景物像元的信息分成几十乃至上百个光谱通道，从而使得焦平面阵列探测器每个像元所接受到的能量大为降低，直接导致信噪比严重下降，在高空间分辨率(优于30m)的条件下成像光谱仪信噪比往往无法满足实际应用需求。成像光谱仪对地面目标推扫成像时，由于飞行器飞行速度很高，探测器上每个像元接收地面目标辐射的时间(积分时间)很短，当地面目标较暗时，探测器的信噪比将很低。例如，在轨道高度H＝400km时，飞行速度V＝6.878km/s，地面像元分辨力δ＝10m时，探测器每个像元积分时间只有1.45ms，探测器帧频将高达687.8fps。根据信噪比方程，要获得更高的信噪比，在系统的光学参数和探测器都确定的情况下，只有通过增加积分时间来实现。在成像光谱仪望远镜前端设置扫描镜进行运动补偿是增加积分时间的有效方法之一，美国的高分辨率成像光谱仪(HIRIS),沿海海洋成像光谱仪(COIS)等成像光谱仪均采用了该方法增加积分时间以提高信噪比。

光谱成像系统的应用效果非常依赖获取的图像信噪比。但在低照度条件下，特别是高空间分辨率下超光谱成像领域，受入射光能量、积分时间、光谱分辨率以及分光元件透过率的影响，仪器的信噪比受到较大的制约。由于光谱成像包含了空间和光谱两维信息，不能使用TDI模式解决光能量弱问题。

基于电子倍增功能进行光谱成像，可在输入光谱信号能量过低的情况下提高信噪比；但由于电子倍增过程引入了额外噪声因子，在输入光能量较强的情况下反而会使信噪比下降。另外，由于不同谱段的光谱信号能量差异较大，为提高动态范围，需要根据输入的光谱能量进行单帧内倍增功能的切换。

发明内容

本发明为解决现有高空间分辨率和光谱分辨率的超光谱图像能量偏弱，且不同谱段的光谱信号输入光能量偏差较大问题，提供一种基于电子倍增的光谱图像合成系统。

基于电子倍增的光谱图像合成系统，包括光学系统、EMCCD图像传感器、驱动电路、第一预放组、第二预放组、第三预放组、第一视频处理器组、第二视频处理器组、第三视频处理器组、成像控制器、存储器A和存储器B；不同谱段的光谱图像信息经光学系统成像在EMCCD图像传感器的不同行上；成像控制器产生的时序驱动信号经驱动电路进行功率放大和电平转换后送入EMCCD图像传感器；EMCCD图像传感器内的含非破坏性浮置栅极输出放大器通道的光谱信号先输出，经第一预放组后送入第一视频处理器组内进行视频处理后输出数字图像信号至成像控制器；所述成像控制器根据接收到的数字图像信号进行输入光谱信号幅度的判断；

若光谱信号的幅度大于门限值，则将对应的光谱信号从EMCCD图像传感器的正常通道读出，然后经第二预放组后送入第二视频处理器组，最终送入成像控制器；

若光谱信号的幅度小于等于门限值，则将对应的光谱信号从倍增通道读出，经第三预放组后送入第三视频处理器组，最终送入成像控制器；

所述门限值设定为：入射光能量等效的电子数为且小于等于n_hccd/k；

式中，σ_{CCD_re}为非倍增通道读出噪声的等效电子数；σ_{EMCCD_re}为倍增通道读出噪声的等效电子数；k为EMCCD图像传感器的电子倍增增益；F为等效的噪声因子；n_hccd为电子倍增EMCCD的水平转移CCD上能容纳的最大电子数；

所述成像控制器将正常通道和倍增通道两通道的图像数据，经乒乓缓存的存储器A和存储器B进行图像数据的调理后，合成为单幅高动态范围光谱图像。

本发明的有益效果：

一、采用单帧图像内的每个像素分别判断是否进行电子倍增，仅针对能量弱的光谱信号进行电子倍增，可提高暗弱光谱图像的信噪比；可满足不同谱段光谱信号能量偏差大的问题，提高单帧内光谱图像的动态范围；

二、根据倍增电极的级数来设定乒乓结构存储器的大小，可大大节省存储器资源。

附图说明

图1为本发明所述的基于电子倍增的光谱图像合成系统的结构图。

具体实施方式

具体实施方式一、结合图1说明本实施方式，基于电子倍增的光谱图像合成系统，包括光学系统、EMCCD图像传感器、驱动电路、第一预放组、第二预放组、第三预放组、第一视频处理器组、第二视频处理器组、第三视频处理器组、成像控制器、存储器A和存储器B；不同谱段的光谱图像信息经光学系统成像在EMCCD图像传感器的不同行上；成像控制器产生的时序驱动信号经驱动电路进行功率放大和电平转换后送入EMCCD图像传感器；EMCCD图像传感器内的含非破坏性浮置栅极输出放大器通道的光谱信号先输出，经第一预放组后送入第一视频处理器组内进行视频处理后输出数字图像信号至成像控制器；所述成像控制器根据接收到的数字图像信号进行输入光谱信号幅度的判断；

若光谱信号的幅度大于门限值，则将对应的光谱信号从EMCCD图像传感器的正常通道读出，然后经第二预放组后送入第二视频处理器组，最终送入成像控制器；

若光谱信号的幅度小于等于门限值，则将对应的光谱信号从倍增通道读出，经第三预放组后送入第三视频处理器组，最终送入成像控制器；

将经过含非破坏性浮置栅极输出放大器的通道的光谱电荷信号从正常通道还是倍增通道读出的门限是：入射光能量等效的电子数为且小于等于n_hccd/k。σ_{CCD_re}为非倍增通道读出噪声的等效电子数；σ_{EMCCD_re}为倍增通道读出噪声的等效电子数；k为图像传感器的电子倍增增益；F为等效的噪声因子；n_hccd电子倍增EMCCD的水平转移CCD上能容纳的最大电子数；

所述成像控制器将正常通道和倍增通道两通道的图像数据，经乒乓缓存的存储器A和存储器B进行图像数据的调理后，合成为单幅高动态范围光谱图像。

本实施方式中，所述的EMCCD图像传感器具备三种图像数据输出通道：(1)含非破坏性浮置栅极输出放大器的通道；(2)正常读出图像数据的通道；(3)对输入信号进行电子倍增的通道。含非破坏性浮置栅极输出放大器的通道与正常通道和倍增通道间隔的寄存器个数n引起的延迟时间不少于视频处理器的处理延迟时间，确保电荷转移到正常通道和倍增通道前已经获得该电荷的电荷量大小。用公式表示为：

n×t_pix＞t_delay

式中，t_pix为水平移位寄存器内单个电荷转移最短时间；t_delay为电荷从读出放大器读出到转换为数字信号送入成像控制器的延迟时间；

本实施方式中，合成为单幅高动态范围光谱图像的方法为：

首先对图像数据进行位宽扩展，设从视频处理器组2和视频处理器组3输出的图像数据的量化位数为m；倍增增益k应需要扩展的位宽为p，要求2^p-1＜k≤2^p；则合成后的图像位宽为m+p；

合并方法：DN_{out_ij}＝k_ij×D_ij，式中i和j为图像传感器有效的行数和列数，DN_{out_ij}为合成后第i行j列的光谱图像灰度值；D_ij为合成前第i行j列输入的图像灰度值；k_ij为倍增系数，若第i行j列的图像进行了电子倍增，则k_ij＝1，若第i行j列的图像未进行电子倍增，则k_ij＝k。

本实施方式还包括同步FIFOA和同步FIFOB，存储器A和存储器B的设计及控制方法具体为：

(1)存储器A和存储器B为乒乓结构的存储器，写入操作完成后进行读操作，然后再进行写入操作，两存储器交替进行读写操作；

(2)存储器的容量设置为：每行的列数为单个通道对应的像素个数n_channel，行数为n_multiply为倍增电极的个数；

(3)成像控制器获得含非破坏性浮置栅极输出放大器的通道的光谱电荷信号对应的数字信号后，当信号大于门限值，则设置倍增标志信号为0，小于等于门限值，则设置倍增标志为1，同时将此像素对应的行地址和列地址写入同步FIFO B中；将每个像素对应的倍增标志信号取反后写入同步FIFO A中。

同步FIFO A的深度设置为n_{nomal_delay}+2，n_{nomal_delay}为从含非破坏性浮置栅极输出放大器的通道到正常通道之间的转移移位寄存器个数；同步FIFO A的读写操作频率为像素时钟频率，读出操作滞后写入操作n_{nomal_delay}个像素的转移时间。当从同步FIFO A读出的信号为高电平，则将此刻正常通道对应的数字信号写入存储器A；当同步FIFO A中无数据或者读出的数据为低电平，则此刻正常通道对应的数字信号为无效信号。图像传感器输出的地址(图像传感器有效的行数i和列数j)和存储器地A址的映射关系如下：列数相等，行数i_memory为i和n_{nomal_delay}+2相除的余数。

本实施方式中，同步FIFO B的深度设置为n_{multiply_delay}(n_{multiply_delay}>n_{nomal_delay})为从含非破坏性浮置栅极输出放大器的通道到倍增通道之间的转移移位寄存器个数；同步FIFO B的读写操作频率为像素时钟频率，读出操作滞后写入操作n_{multiply_delay}个像素的转移时间。当从同步FIFO B读出的信号为高，则将此刻正常通道对应的数字信号写入存储器B；当同步FIFO B中无数据或者读出的数据为低电平，则此刻正常通道对应的数字信号为无效信号。图像传感器输出的地址(图像传感器有效的行数i和列数j)和存储器B地址的映射关系如下：列数相等，行数i_memory为i和n_{nomal_delay}+2相除的余数。

本实施方式所述的光谱成像光学系统采用基于狭缝的光栅分光光学系统；成像控制器采用Xilinx公司的FPGA 6vlx550tff1760；第一预放组、第二预放组、和第三预放组采用基于LM6715的预放电路；第一视频处理器组、第二视频处理器组和第三视频处理器组采用基于TDA9965的视频处理电路；存储器A和存储器B采用FPGA内的RAM资源；驱动电路采用EL7212等电平转换芯片；EMCCD图像传感器采用on semi公司的KAE-02150。

Claims (9)

1.基于电子倍增的光谱图像合成系统，包括光学系统、EMCCD图像传感器、驱动电路、第一预放组、第二预放组、第三预放组、第一视频处理器组、第二视频处理器组、第三视频处理器组、成像控制器、存储器A和存储器B；不同谱段的光谱图像信息经光学系统成像在EMCCD图像传感器的不同行上；成像控制器产生的时序驱动信号经驱动电路进行功率放大和电平转换后送入EMCCD图像传感器；EMCCD图像传感器内的含非破坏性浮置栅极输出放大器通道的光谱信号先输出，经第一预放组后送入第一视频处理器组内进行视频处理后输出数字图像信号至成像控制器；所述成像控制器根据接收到的数字图像信号进行输入光谱信号幅度的判断；

若光谱信号的幅度大于门限值，则将对应的光谱信号从EMCCD图像传感器的正常通道读出，然后经第二预放组后送入第二视频处理器组，最终送入成像控制器；

若光谱信号的幅度小于等于门限值，则将对应的光谱信号从倍增通道读出，经第三预放组后送入第三视频处理器组，最终送入成像控制器；

所述门限值设定为：入射光能量等效的电子数为且小于等于n_hccd/k；

式中，σ_{CCD_re}为非倍增通道读出噪声的等效电子数；σ_{EMCCD_re}为倍增通道读出噪声的等效电子数；k为EMCCD图像传感器的电子倍增增益；F为等效的噪声因子；n_hccd为电子倍增EMCCD的水平转移CCD上能容纳的最大电子数；

所述成像控制器将正常通道和倍增通道两通道的图像数据，经乒乓缓存的存储器A和存储器B进行图像数据的调理后，合成为单幅高动态范围光谱图像。

2.根据权利要求1所述的基于电子倍增的光谱图像合成系统，其特征在于，所述单幅高动态范围光谱图像的合成方法为：

对图像数据进行位宽扩展，设定从第二视频处理器组和第三视频处理器组输出的图像数据的量化位数为m；EMCCD图像传感器的电子倍增增益k对应扩展的位宽为p，设定2^p-1＜k≤2^p；则合成后的图像位宽为m+p；

所述单幅高动态范围光谱图像灰度值DN_{out_ij}＝k_ij×D_ij；

式中，i和j为EMCCD图像传感器有效的行数和列数，DN_{out_ij}为合成后第i行j列的光谱图像灰度值；D_ij为合成前第i行j列输入的图像灰度值；k_ij为倍增系数，若第i行j列的图像进行了电子倍增，则k_ij＝1，若第i行j列的图像未进行电子倍增，则k_ij＝k。

3.根据权利要求1所述的基于电子倍增的光谱图像合成系统，其特征在于，所述EMCCD图像传感器包括三种图像数据输出通道：

第一种：含非破坏性浮置栅极输出放大器的通道；

第二种：正常读出图像数据的通道；

第三种：对输入信号进行电子倍增的通道；

所述含非破坏性浮置栅极输出放大器的通道与正常通道和倍增通道间隔的寄存器个数n引起的延迟时间大于等于视频处理器组的处理延迟时间，用公式表示为：

n×t_pix＞t_delay

式中，t_pix为水平移位寄存器内单个电荷转移最短时间；t_delay为电荷从放大器读出到转换为数字信号送入成像控制器的延迟时间。

4.根据权利要求1所述的基于电子倍增的光谱图像合成系统，其特征在于，所述存储器A和存储器B为乒乓结构的存储器，写入操作完成后进行读操作，然后在进行写入操作，存储器A和存储器B交替进行读写操作。

5.根据权利要求4所述的基于电子倍增的光谱图像合成系统，其特征在于，所述存储器A和存储器B的容量设定为：每行的列数为单个通道对应的像素个数n_channel，行数为n_multiply为倍增电极的个数。

6.根据权利要求1所述的基于电子倍增的光谱图像合成系统，其特征在于，还包括同步FIFO A和同步FIFO B，所述成像控制器获得含非破坏性浮置栅极输出放大器的通道的光谱电荷信号对应的数字信号后，当信号大于门限值，则设置倍增标志信号为0，小于等于门限值，则设置倍增标志为1，同时将此像素对应的行地址和列地址写入同步FIFO B中；将每个像素对应的倍增标志信号取反后写入同步FIFO A中。

7.根据权利要求6所述的基于电子倍增的光谱图像合成系统，其特征在于，所述同步FIFO A的深度设置为n_{nomal_delay}+2，n_{nomal_delay}为从含非破坏性浮置栅极输出放大器的通道到正常通道之间的转移移位寄存器个数；同步FIFO A的读写操作频率为像素时钟频率，读出操作滞后写入操作n_{nomal_delay}个像素的转移时间；

当从同步FIFO A读出的信号为高，则将此刻正常通道对应的数字信号写入存储器；当同步FIFO A中无数据或者读出的数据为低电平，则此刻正常通道对应的数字信号为无效信号；

图像传感器输出的地址和存储器地址的映射关系如下：列数相等，行数i_memory为i和n_{nomal_delay}+2相除的余数。

8.根据权利要求6所述的基于电子倍增的光谱图像合成系统，其特征在于，所述同步FIFO B的深度设置为n_{multiply_delay}+2，n_{multiply_delay}为从含非破坏性浮置栅极输出放大器的通道到倍增通道之间的转移移位寄存器个数；同步FIFO B的读写操作频率为像素时钟频率，读出操作滞后写入操作n_{multiply_delay}个像素的转移时间；当从同步FIFO B读出的信号为高电平，则将此刻正常通道对应的数字信号写入存储器；当同步FIFO B中无数据或者读出的数据为低电平，则此刻正常通道对应的数字信号为无效信号；EMCCD图像传感器输出的地址和存储器地址的映射关系如下：列数相等，行数i_memory为i和n_{nomal_delay}+2相除的余数。

9.根据权利要求6所述的基于电子倍增的光谱图像合成系统，其特征在于，所述同步FIFO B的深度大于同步FIFO A的深度；即n_{multiply_delay}>n_{nomal_delay}。