CN212628122U - 一种短波红外成像系统 - Google Patents

Abstract

本实用新型公开的短波红外成像系统，涉及红外成像技术领域，包括短波红外成像物镜、空间光调制器、一维压缩光学器件、短波红外阵列传感器、可见光摄像机、分光镜及计算设备，其中，短波红外成像物镜用于对场景进行成像，生成场景的二维图像，空间光调制器用于利用显示的二维编码对场景的二维图像进行编码，一维压缩光学器件用于将编码后的二维图像在光学上压缩为一维图像，短波红外阵列传感器用于对一维图像进行测量，计算设备用于根据设定数量的二维编码及对应一维图像的测量结果重建二维图像，提高了短波红外图像成像质量，降低了成本，提高了光通量、分辨率及帧率，增强了稳定性。

Description

一种短波红外成像系统

技术领域

本实用新型涉及红外成像技术领域，具体涉及一种短波红外成像系统。

背景技术

短波红外(波长在0.9um到2.5um)相机在军事侦察、工业检测、科学研究以及日常生活中有着巨大的应用前景，然而极其昂贵的价格和国外严格的出口管制极大地限制了它在中国的广泛应用。

短波红外相机的传感器一般采用半导体材料InGaAs或PbSe，然而由于其制作难度高、良品率低等原因，其价格非常昂贵，每个像素的平均价格高达0.7元人民币。对比之下，基于硅的可见光传感器，每个像素的平均价格只有0.7×10^-5元。基于其使用的传感器类型，目前的短波红外相机可以分三种：

第一种是基于面阵传感器的短波红外相机，然而一台高分辨率的百万像素相机，其价格高达几十万元人民币；

第二种是基于线阵传感器的短波红外相机，使用一维扫描振镜进行扫描，其价格只有几千元，然而由于一维扫描振镜的扫描速度存在瓶颈，扫描速度非常有限，导致无法拍实时视频、通光率很低，而且因为含有机械运动部件会存在稳定性问题；

第三种是基于单像素的短波红外相机，可以搭配二维扫描振镜进行扫描，也可以搭配空间光调制器对二维空间进行信息采集，其价格最低，然而速度极慢。

实用新型内容

为解决现有技术的不足，本实用新型实施例提供了一种短波红外成像系统及其成像方法。

第一方面，本实用新型实施例提供的短波红外成像系统包括短波红外成像物镜、空间光调制器、一维压缩光学器件、短波红外阵列传感器、可见光摄像机、分光镜及计算设备，其中：

所述短波红外成像物镜，用于对场景进行成像，生成场景的二维图像；

所述空间光调制器，用于利用二维编码对所述二维图像进行编码，其中，所述二维编码可通过编程改变；

所述一维压缩光学器件，用于将编码后的二维图像在光学上压缩为一维图像；

所述短波红外阵列传感器，用于对所述一维图像进行测量；

所述计算设备用于，根据设定数量的二维编码及对应一维图像的测量结果，重建场景的二维图像；

所述分光镜，用于透射短波红外光并反射可见光；

所述可见光摄像机，作为取景器，用于融合可见光图像与短波红外光图像，以提高短波红外成像系统的成像质量。

优选地，短波红外成像物镜、空间光调制器、一维压缩光学器件及短波红外阵列传感器、可见光摄像机和分光镜固定在一个基板上，其中，短波红外成像物镜、空间光调制器、一维压缩光学器件及短波红外阵列传感器沿光路成像方向的连接顺序为：

首先放置短波红外成像物镜，然后在短波红外成像物镜的光路输出方向成像位置处放置空间光调制器，在空间光调制器的光路输出方向成像位置处放置一维压缩光学器件，最后在一维压缩光学器件的光路输出方向成像位置处放置短波红外阵列传感器；

分光镜放置于短波红外成像物镜前方，与短波红外成像物镜的光轴成45°角；

可见光摄像头放置于分光镜的上方，用于获取场景的可见光图像。

优选地，所述短波红外阵列传感器的感光波长为0.9～2.5um。

优选地，所述一维压缩光学器件的实现方式包括：

使用凸透镜和圆柱镜的组合。

优选地，所述一维压缩光学器件的实现方式还包括：

使用凸透镜和圆柱反光镜的组合。

优选地，所述一维压缩光学器件的实现方式还包括：

将空间光调制器上的像通过凸透镜直接成像在像素的高度远大于像素的宽度的短波红外阵列传感器上。

优选地，所述一维压缩光学器件的实现方式还包括：

使用光纤直接将空间光调制器上一列的光线导入短波红外阵列传感器上的一个像素。

优选地，所述二维编码为随机打乱的Hadamard编码。

优选地，所述二维编码为利用机器学习方法得到的编码。

优选地，一维压缩光学器件压缩的维度与空间光调制器的一个维度对齐。

本实用新型实施例提供的短波红外成像系统，具有以下有益效果：

提高了短波红外图像成像质量，成本低，光通量、空间分辨率及帧率高，不含机械运动部件，稳定性强，可以采集实时的百万像素视频。

附图说明

图1为本实用新型实施例提供的短波红外成像系统结构示意图；

图2a-图2e分别为本实用新型实施例提供的一维压缩光学器件的五种实现的光路示意图；

图3a为本实用新型实施例提供的使用圆柱镜对二维图形进行一个维度上压缩的非压缩维度上的光路示意图；

图3b为本实用新型实施例提供的使用圆柱镜对二维图形进行一个维度上压缩的压缩维度上的光路示意图；

图4为使用圆柱镜的一维压缩光学器件对二维图像在一个维度上进行压缩的效果示意图；

图5a为可见光摄像机(只对波长在0.4um～0.7um的可见光敏感)拍摄的图像效果示意图；

图5b为本实用新型实施例提供的短波红外成像系统拍摄的图像效果示意图。

具体实施方式

以下结合具体附图和实施例对本实用新型作具体的介绍。

如图1所示，本实用新型实施例提供的短波红外成像系统包括短波红外成像物镜1、空间光调制器2、一维压缩光学器件3及短波红外阵列传感器4、可见光摄像机6、分光镜5及计算设备(图中未示出)，其中：

短波红外成像物镜1，用于对场景进行成像，生成场景的二维图像；

空间光调制器2，用于利用二维编码对二维图像进行编码，其中，二维编码可通过编程改变；

一维压缩光学器件3，用于将编码后的二维图像在光学上压缩为一维图像；

短波红外阵列传感器4，用于对所述一维图像进行测量；

计算设备用于，根据设定数量的二维编码及对一维图像对应的测量结果，重建场景的二维图像；

分光镜5，用于吸收短波红外光并反射可见光；

可见光摄像机6，作为取景器，用于融合可见光图像与短波红外光图像，以提高短波红外成像系统的成像质量。

可选地，短波红外成像物镜1、空间光调制器2、一维压缩光学器件3及短波红外阵列传感器4、可见光摄像机6和分光镜5固定在一个基板上，其中，短波红外成像物镜1、空间光调制器2、一维压缩光学器件3及短波红外阵列传感器4沿光路成像的连接顺序为：

首先放置短波红外成像物镜1，然后在短波红外成像沿物镜1的光路输出方向成像位置处放置空间光调制器2，在空间光调制器2的光路输出方向成像位置处放置一维压缩光学器件3，最后在一维压缩光学器件3的光路输出方向成像位置处放置短波红外阵列传感器4；

分光镜5放置于短波红外成像物镜1前方，与短波红外成像物镜1的光轴成45°角；

可见光摄像头6放置于分光镜5的上方，以获取场景的可见光图像。

可选地，短波红外阵列传感器4的感光波长为0.9～2.5um。

可选地，一维压缩光学器件3的实现方式包括：

如图2a和图2b所示，使用凸透镜和圆柱镜的组合，其中，图2b通过使用更多的元器件，在平行光域内进行压缩来减少像差。

可选地，一维压缩光学器件3的实现方式还包括：

如图2c所示，使用凸透镜和圆柱反光镜的组合。

可选地，一维压缩光学器件3的实现方式还包括：

如图2d所示，将空间光调制器2上的像通过凸透镜直接成像在像素的高度远大于像素的宽度的短波红外阵列传感器4上。

作为一个具体的实施例，短波红外阵列传感器4每个像素是矩形的，像素的高度远远大于像素的宽度(像素与像素之间的距离)，比如每个像素大小为5mm×25μm，其中5mm是像素的高度，25μm是像素的宽度，这样的每个高像素收集到的是空间光调制器2上对应列的光的总和。

可选地，一维压缩光学器件3的实现方式还包括：

如图2e所示，使用光纤直接将空间光调制器上一列的光线导入短波红外阵列传感器4上的一个像素。

可选地，二维编码为随机打乱的Hadamard编码。

可选地，二维编码为利用机器学习方法得到的编码。

其中，利用本实用新型实施例提供的利用短波红外成像系统成像的步骤包括：

S101，利用短波红外成像物镜1，对场景进行成像，生成场景的二维图像；

S102，利用空间光调制器2对二维图像进行编码；

S103，利用一维压缩光学器件3将编码后的二维图像压缩为一维图像；

S104，使用短波红外阵列传感器测量二维编码图像压缩后的一维图像；

S105，改变空间光调制器2上的二维编码，并重复上述步骤S102-S104；

S106，通过上述步骤，获得设定数量的二维编码和对应的测量值并根据设定数量的二维编码和一维图像对应的测量值，求解二维图像对应的线性方程，得到场景的二维图像；

S107，重复上述步骤S101-S106，获得场景的视频；

S108，融合可见光摄像机5获取的可见光图像与短波红外光图像，以提高短波红外成像系统的成像质量。

作为一个具体的实施例，短波红外阵列传感器4得到多个同一个场景不同编码下一维图像的测量值，当编码次数足够多时，使用已知的二维编码和对应的测量值，通过解一个线性方程将图像重建出来。设未知的图像为分辨率为h×w的二维矩阵X，假设如下的简单情况，空间光调制器2的分辨率也为h×w，空间光调制器2上的编码每列都是一样的，为1×h的行向量a，那么每次短波红外阵列传感器4的测量y＝a·X，其中，·表示向量和矩阵相乘。通过改变编码可以得到不同的测量，y1＝a1·X,y2＝a2·X,…，将它们合并为一个方程组，即可写成Y＝A·X,其中Y＝[y1；y2；y3；…]，A＝[a1；a2；a3；…]。由于A和Y已知，即可求出X。其中，该线性方程可以是满秩的，也可以是欠定的(比如使用10％或1％的测量来提高时间分辨率)，如果该线性方程是欠定的，可以过优化方法(如带最小化图像梯度的L1norm限制的压缩感知算法)或者深度神经网络(如自编码器-解码器结构)来解。

可选地，一维压缩光学器件3压缩的维度与空间光调制器2的一个维度对齐。

作为一个具体的实施例，如果空间光调制器2的分辨率是h×w，h对应的维度被压缩，短波红外阵列传感器4的像素数为n，最终成的图像的分辨率是h×n。一般情况下，n的值小于等于w。

可选地，该方法还包括：

当一维压缩光学器件3压缩的维度和空间光调制器2的一个维度未完全对齐时，通过标定过程，获取空间光调制器2的像素与短波红外线阵传感器的像素之间的对应关系并根据对应关系重建场景的二维图像。图5b为采用短波红外成像物镜1、空间光调制器2、使用圆柱镜的一维压缩光学器件3及短波红外线阵传感器4拍摄得到的图像。其中，短波红外成像物镜1的焦距为50mm，空间光调制器2的分辨率为768pix×1024pix，每个像素(微镜)的大小为13.8um×13.8um，每秒改变编码20K次。短波红外线阵传感4器采用InGaAs线阵传感器，像元数为512，像元尺寸为500um×25um，每秒可输出10K列图像。空间光调制器2的比较短的一维被压缩。输出图像的分辨率为768pix×512pix，视频时间分辨率为20fps。由图5b可知，采用本实用新型实施例提供的短波红外成像系统拍摄的图像可以看穿此处的黑墨。

其中，采集视频时，可以对每帧单独求解，也可以对多帧一起求解，对多帧一起求解时可以利用帧之间的冗余来得到更高质量的重建。当使用可见光摄像机融合可见光图像及短波红外光图像以提高短波红外图像的成像质量时，可见光图像的梯度信息和运动信息(光流)可以融合至短波红外的成像，可大大提高成像质量。若可见光图像空间分辨率很高，如1200万像素，还可以帮助提高短波红外图像的空间分辨率。此类方法一般称作图像融合，指导图像重建。

本实用新型实施例提供的短波红外成像系统，包括短波红外成像物镜、空间光调制器、一维压缩光学器件、短波红外阵列传感器、可见光摄像机、分光镜及计算设备，其中，短波红外成像物镜用于对场景进行成像，生成场景的二维图像，空间光调制器用于利用显示的二维编码对场景的二维图像进行编码，一维压缩光学器件用于将编码后的二维图像在光学上压缩为一维图像，短波红外阵列传感器用于对一维图像进行测量，计算设备用于根据设定数量的二维编码及对应一维图像的测量结果重建场景的二维图像，分光镜，用于吸收短波红外光和反射可见光，可见光摄像机用于融合可见光图像与短波红外光图像，提高了短波红外图像成像质量，降低了成本，提高了光通量、分辨率及帧率，增强了稳定性。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本实用新型也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本实用新型的内容，并且上面对特定语言所做的描述是为了披露本实用新型的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种短波红外成像系统，其特征在于，包括短波红外成像物镜、空间光调制器、一维压缩光学器件、短波红外阵列传感器、可见光摄像机、分光镜及计算设备，其中：

所述短波红外成像物镜，用于对场景进行成像，生成场景的二维图像；

所述空间光调制器，用于利用二维编码对所述二维图像进行编码，其中，所述二维编码可通过编程改变；

所述一维压缩光学器件，用于将编码后的二维图像在光学上压缩为一维图像；

所述短波红外阵列传感器，用于对所述一维图像进行测量；

所述计算设备用于，根据设定数量的二维编码及对应一维图像的测量结果，重建场景的二维图像；

所述分光镜，用于透射短波红外光并反射可见光；

所述可见光摄像机，作为取景器，用于融合可见光图像与短波红外光图像，以提高短波红外成像系统的成像质量。

2.根据权利要求1所述的短波红外成像系统，其特征在于，

短波红外成像物镜、空间光调制器、一维压缩光学器件及短波红外阵列传感器、可见光摄像机和分光镜固定在一个基板上，其中，短波红外成像物镜、空间光调制器、一维压缩光学器件及短波红外阵列传感器沿光路成像方向的连接顺序为：

首先放置短波红外成像物镜，然后在短波红外成像物镜的光路输出方向成像位置处放置空间光调制器，在空间光调制器的光路输出方向成像位置处放置一维压缩光学器件，最后在一维压缩光学器件的光路输出方向成像位置处放置短波红外阵列传感器；

分光镜放置于短波红外成像物镜前方，与短波红外成像物镜的光轴成45°角；

可见光摄像头放置于分光镜的上方，以获取场景的可见光图像。

3.根据权利要求1所述的短波红外成像系统，其特征在于，所述短波红外阵列传感器的感光波长为0.9～2.5um。

4.根据权利要求1所述的短波红外成像系统，其特征在于，所述一维压缩光学器件的实现方式包括：

使用凸透镜和圆柱镜的组合。

5.根据权利要求1所述的短波红外成像系统，其特征在于，所述一维压缩光学器件的实现方式还包括：

使用凸透镜和圆柱反光镜的组合。

6.根据权利要求1所述的短波红外成像系统，其特征在于，所述一维压缩光学器件的实现方式还包括：

将空间光调制器上的像通过凸透镜直接成像在像素的高度远大于像素的宽度的短波红外阵列传感器上。

7.根据权利要求1所述的短波红外成像系统，其特征在于，所述一维压缩光学器件的实现方式还包括：

使用光纤直接将空间光调制器上一列的光线导入短波红外阵列传感器上的一个像素。

8.根据权利要求1所述的短波红外成像系统，其特征在于，所述二维编码为随机打乱的Hadamard编码。

9.根据权利要求1所述的短波红外成像系统，其特征在于，所述二维编码为利用机器学习方法得到的编码。

10.根据权利要求1所述的短波红外成像系统，其特征在于，维压缩光学器件压缩的维度与空间光调制器的一个维度对齐。

Images