CN110114645B - 在被观察物体静止时的超光谱成像 - Google Patents

在被观察物体静止时的超光谱成像 Download PDF

Info

Publication number
CN110114645B
CN110114645B CN201780080524.8A CN201780080524A CN110114645B CN 110114645 B CN110114645 B CN 110114645B CN 201780080524 A CN201780080524 A CN 201780080524A CN 110114645 B CN110114645 B CN 110114645B
Authority
CN
China
Prior art keywords
image
interest
scene
filter
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780080524.8A
Other languages
English (en)
Other versions
CN110114645A (zh
Inventor
杰拉尔多·加布里埃尔·理查特
阿古斯蒂纳·波泽
胡安·曼纽尔·武莱提奇
帕布鲁·贾伊斯
大卫·维拉塞卡
埃米利亚诺·卡尔吉曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Urugus SA
Original Assignee
Urugus SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Urugus SA filed Critical Urugus SA
Publication of CN110114645A publication Critical patent/CN110114645A/zh
Application granted granted Critical
Publication of CN110114645B publication Critical patent/CN110114645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/043—Picture signal generators using solid-state devices having a single pick-up sensor using an alternating colour separation filter, e.g. colour wheel or colour LCD

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Toxicology (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种超光谱成像系统包括成像传感器、多光谱滤波器和致动器。所述致动器使所述多光谱滤波器相对于所述成像传感器移动以捕获具有全光谱数据的场景。所述场景的所述光谱数据可以存储在超光谱数据立方体中，所述超光谱数据立方体可以被压缩、处理、存储和/或发送到远程位置。每个获得的图像包括所述场景的有助于指向、集中和数据分析的空间图。光谱测量参数可以被动态地配置，以便优化诸如光谱分辨率、存储容量和传输带宽等性能。所述系统实现高光谱和空间分辨率、简单、紧凑且重量轻，由此提供有效的超光谱成像系统。

Description

在被观察物体静止时的超光谱成像
相关申请的交叉引用
本专利申请要求2017年12月27日提交的标题为“在被观察物体静止时的超光谱成像(HYPER-SPECTRAL IMAGING WHEN OBSERVED OBJECT IS STILL)”的共同待决美国专利申请序列号15/855,869的权益，所述申请要求2016年12月27日提交的标题为“在被观察物体静止时的超光谱成像(HYPER-SPECTRAL IMAGING WHEN OBSERVED OBJECT IS STILL)”的美国临时专利申请序列号62/439,396的权益和优先权。这两份申请(15/855,869和62/439,388)特此通过援引以其全文并入本文。
背景技术
多光谱成像允许成像系统捕获来自整个电磁光谱的图像信息。许多此类系统通过得到顺序图像并在每个相继的图像之间将各种滤波器定位在来源与成像传感器之间进行操作。一般来说，这些成像系统大且沉重、计算密集、复杂、在得到相继的图像时相对较慢、或者上述全部。
成像系统的复杂性和相继的图像之间的固有延迟在尝试捕获超光谱图像时产生额外考虑，超光谱图像是允许捕获更多感兴趣光谱带的多光谱图像类型。
附图说明
参考附图阐述详细描述。在附图中，附图标记中最左面的数字指示首次出现附图标记的图。不同图中使用相同附图标记指示相似或相同项。
图1a至图1d示出了各种多光谱成像技术。
图2示出了区域成像装置的透视图，示出光学滤波器相对于成像传感器的位置取向。
图3示出了区域成像装置和可通过致动器相对于成像传感器移动的光学滤波器的平面图。
图4示出了线性滤波器相对于区域成像装置的移动。
图5示出了由区域成像装置对场景进行成像和在捕获场景的顺序图像时线性滤波器的移动。
图6是示出捕获超光谱图像的过程的框图。
图7示出了借助顺序图像通过多光谱光学滤波器的不同部分捕获的场景的点。
图8是示例成像系统的框图。
具体实施方式
概述
实施例包括一种成像系统，所述成像系统具有成像传感器、连续可变光学滤波器、致动器，并且采用处理单元(例如，处理器或其他逻辑单元)中的各种计算处理指令以通过形成多维数据立方体来捕获和处理场景的多光谱和超光谱图像。
一些实施例包括具有在λ最小至λ最大范围内的中心波长的可变光学带通滤波器、区域成像装置、线性致动器、以及一个或多个处理单元，所述一个或多个处理单元的任务是图像读出、控制、处理、压缩和存储。
在一些实现方式中，区域成像装置包括线性致动器，所述线性致动器使可变光学带通滤波器移动经过区域成像装置。在滤波器移动经过区域成像装置时，捕获顺序图像，使得通过光学滤波器以一个或多个期望光谱带捕获场景的每个感兴趣区域。
基于光学滤波器和期望的输出而确定顺序图像的定时，以导致多维数据立方体，其中空间坐标的n元组导致具有x、y和λ值的像素，其中x和y表示场景的两个空间维度并且λ表示包括波长范围的光谱维度。
确定场景的感兴趣区域，以在滤波器相对于区域成像装置(AID)移动时实现足够次数的曝光。通过利用AID借助光学滤波器进行相继的曝光来捕获多次曝光。在滤波器移动经过AID时，在从场景中的各种点辐射或反射的光在到达AID的成像传感器之前从光学滤波器的一个光谱带进入另一光谱带时捕获场景中的各种点。在一些实施例中，可变光学带通滤波器定位在AID与感兴趣场景之间的光路中，并且在滤波器相对于AID移动时，捕获相继的图像，其中由AID通过可变光学带通滤波器的各种部分捕获场景的具体点。每个相继的图像中的曝光允许以每个光谱带的不同中心波长捕获场景的每个部分，以产生在场景上具有光谱带的不同分布的相继的图像。可以将曝光切片并拼接在一起以形成场景的多光谱或超光谱图像。在相继的图像期间通过光学滤波器的期望光谱带或所有带(根据具体情况)来曝光图像的每个片段。
如本文使用，多光谱光学滤波器(或只是滤波器)是指允许各种波长的光穿过其部分的光学滤波器。例如，光学带通滤波器可以含有滤波器的被配置成选择性地透射电磁光谱的一部分而同时使其他波长衰减的一个或多个区域。所述一个或多个区域可以是离散的，也就是说，带通滤波器可以具有滤波器的允许窄带宽上的高透射而同时使不想要的光衰减的条纹区域，以最大化以所需波长进行的图像捕获。可以简单地通过移动滤波器相对于光源的位置来调整带通滤波器的光谱响应，或者整个AID可以相对于光源移动。连续可变光学带通滤波器可以是能够与本文描述的实施例一起使用的带通滤波器的另一实例，其中具有高透射的光谱带宽范围在滤波器上连续地变化。光学滤波器的其他实例可以与本文描述的实施例一起使用，并且在本文中设想为提供所描述的特征和益处。例如，陷波滤波器可以与本文描述的系统和方法一起实施，其中滤波器使窄带内的波长衰减而同时允许窄带外的波长通过。
本文所描述的成像系统和设备的一些实施例可以用来得到来自卫星的地球的图像，诸如地球同步卫星轨道(GEO)中的卫星。在一些实施例中，成像系统可以包括望远镜，并且AID可以置于望远镜的焦平面处。多光谱光学滤波器可以直接附接到AID，并且因此也置于望远镜的焦平面附近。
本文所描述的过程、系统和装置可以以许多方式来实施。下文参考附图提供示例实现方式。
光谱成像的目标是测量用于场景的图像中的每个像素的光谱。如本文使用，场景的图像中的像素是指由表示场景内的对应位置的成像装置捕获的光。也就是说，在从场景内的每个区域辐射或反射的光被AID内的可寻址元件捕获时，光将穿过带通滤波器的一部分并且将捕获用于场景的所述特定区域的光谱。当在滤波器相对于AID移动时捕获从场景的特定区域辐射或反射的光时，光将穿过带通滤波器的不同部分，并且可以捕获用于场景的所述特定区域的不同光谱。
在这个意义上，在物体的图像平面中测量由物体辐射或反射的光的强度。得到的测量值被表示为空间坐标和光谱幅度的一组n元组。这些n元组进行组合以形成用于处理和分析的多维(x，y，λ)数据立方体，其中x和y表示场景的两个空间维度，并且λ表示包括波长范围的光谱维度。从数据处理的角度来看，光谱成像可以由数据立方体的维度表征。
根据一些实施例，一种多光谱成像设备包括区域成像装置，所述区域成像装置具有多个像素传感器。多光谱滤波器设置在区域成像装置的光路内，并且致动器被配置成使多光谱滤波器相对于区域成像装置移动。成像设备进一步包括控制模块，所述控制模块确定要由区域成像装置捕获的场景的空间感兴趣区域。控制模块进一步确定场景的感兴趣光谱。它至少部分地基于多光谱滤波器和感兴趣光谱来确定用于相继的图像捕获的采样距离，并且指示区域成像装置在采样距离进行一次或多次曝光。成像设备进一步包括成像模块，所述成像模块被配置成至少基于一次或多次曝光而形成场景的图像。
成像设备可以位于卫星上，使得区域成像装置、控制模块和成像模块在所述卫星上。卫星可以定位在地球同步卫星轨道中，并且可以校正场景相对于成像设备的任何相对运动，诸如通过执行一种或多种图像稳定算法来实现。
在一些情况下，多光谱滤波器是连续可变光学滤波器，诸如超光谱滤波器。在其他情况下，多光谱滤波器是光学带通滤波器或陷波滤波器。
成像设备可以创建超光谱图像，并且超光谱图像可以被存储、处理并传输到接收装置，诸如远程位置。可以确定采样距离，使得以感兴趣光谱在一次或多次曝光中捕获场景的空间感兴趣区域。
在一些实施例中，成像模块被配置成在一次或多次曝光上为每个像素创建插值曲线，并且还可以通过以感兴趣光谱评估用于每个像素的所述插值曲线来构建单色图像。
在一些实施例中，一种成像设备包括：成像装置，所述成像装置具有多个像素传感器；以及光学滤波器，所述光学滤波器设置在成像装置的光路内。光学滤波器可以至少具有第一光谱带和第二光谱带。也就是说，光学滤波器可以具有允许(或衰减)某一光谱的各种部分。致动器可以附接到光学滤波器并且被配置成使光学滤波器相对于多个像素传感器移动。
成像设备可以包括一个或多个处理器和含有指令的一个或多个存储器，所述指令使得处理器确定场景的空间感兴趣区域并且确定感兴趣光谱。这可以是从远程位置发送到成像设备的指令的结果，或者可以基于由一个或多个处理器执行的规则。
处理器进一步激活致动器以使光学滤波器移动，并且指示成像装置在从感兴趣区域反射的光穿过第二光谱带时进行对场景的至少一次曝光。然后可以基于所述至少一次曝光而生成图像。
在一些情况下，光学滤波器沿着单个方向带通变化，并且致动器被配置成使光学滤波器在所述单个方向上移动经过多个像素传感器。在一些情况下，光学滤波器是连续可变光学带通滤波器。多个像素传感器可以被安排成行和列的阵列，使得对于致动器的给定位置，像素传感器的列与连续可变光学带通滤波器的公共光谱相关联。
指令可以使得一个或多个处理器确定用于相继的曝光的采样距离并且使得成像装置捕获第一次曝光和第二次曝光，所述第二次曝光与所述第一次曝光隔开所述采样距离。
第一次曝光可以通过第一光谱带捕获空间感兴趣区域，并且第二次曝光可以通过第二光谱带捕获空间感兴趣区域。
在一些实施例中，可以分割第一次曝光以创建第一次曝光的具有感兴趣光谱带的第一部分，可以分割第二次曝光以创建第二次曝光的具有感兴趣光谱带的第二部分，并且可以将第一部分和第二部分拼接在一起以创建具有感兴趣光谱带的图像。
具有感兴趣光谱带的图像可以是第一波长的第一图像，并且指令可以使得处理器以第二光谱带创建第二图像并且创建含有第一图像和第二图像的超光谱立方体。
根据一些实施例，一种操作超光谱成像系统的方法包括提供具有多光谱光学滤波器的区域成像装置和用于使多光谱光学滤波器移动的致动器。所述方法可以至少部分地基于多光谱光学滤波器和感兴趣光谱带而确定采样距离。所述方法可以包括指示区域成像装置进行第一次曝光、使多光谱光学滤波器移动等于采样距离的距离、并且进行第二次曝光。所述方法还可以至少基于第一次曝光和第二次曝光而生成场景的图像。
生成场景的图像可以包括：确定感兴趣光谱；分割第一次曝光以创建具有感兴趣光谱的第一图像切片；分割第二次曝光以创建具有感兴趣光谱的第二图像切片；以及将第一图像切片和第二图像切片拼接在一起以形成具有感兴趣光谱的场景的图像。
在一些情况下，所述方法包括生成场景的具有第二感兴趣光谱的第二图像，以及创建多光谱立方体，所述多光谱立方体包括场景的具有感兴趣光谱的图像和场景的具有第二感兴趣光谱的第二图像。
在一些情况下，第一次曝光和第二次曝光可以输入到图像分析算法，所述图像分析算法可以基于第一次曝光和第二次曝光而输出数值。数值可以存储和/或传输到远程位置。
成像系统可以安装在静止装置上，并且所述方法可以进一步包括压缩图像并且将图像传输到接收装置。在一些实施例中，创建数值包括针对构成第一次曝光或第二次曝光或这两者的至少一部分的多个像素中的每一者来创建一个或多个数值。在一些情况下，图像分析算法的结果可以发送到远程位置，并且可以丢弃图像。
如图1a所示，多维数据立方体可以包括具有用于每个像素的x和y值的多个平面，并且每个平面可以包括光谱维度。结果是许多单色图像。单色图像是数据立方体的光谱维度(λ)表示单个光谱带中的强度的测量值的一种图像，或者在具有光谱带内的公共中心波长的相对窄光谱带内。输出对应于二维数据立方体，其中整个场景由单个波长或相对窄波长映射。
在RGB图像中，数据立方体具有用于两个空间维度(x，y)的值和对应于红、绿和蓝的恰好三个光谱带。在多光谱成像中，对应的数据立方体包括高达数十个光谱带(其通常相对宽)，从而通常覆盖不同或甚至不相交的光谱范围。进而，超光谱成像可以被表征为在宽光谱范围内测量物体的辐射，并且可以包括连续光谱范围。它在(x，y，λ)空间上的表示对应于在光谱维度上具有数十、数百或甚至数千个相对小带宽的光谱带的数据立方体。
对光谱成像的表征可以考虑到成像系统的物理和光学特征，诸如空间和光谱分辨率、光谱范围和带宽、以及传感器特性、以及其他特征。然而，它还与适当地表征成像系统进行测量和填充数据立方体的技术相关。
图1a至图1d示出了基于各种多光谱成像技术的多维数据立方体。格鲁哲(Grusche)、萨沙(Sascha)。基本狭缝分光镜通过超光谱立方体的对角切片来暴露三维场景(Basic slit spectroscope reveals three-dimensional scenes through diagonalslices of hyperspectral cubes)，应用化学，OSA，2014年6月。于2014年6月9日检索。用于光谱成像的技术可以大致分类成以下4组：快照超光谱技术、光谱扫描技术、空间扫描技术、以及空间-光谱扫描技术。
图1a示出了来源于快照成像的代表数据立方体，其中单次捕获含有所有的空间和光谱(x，y，λ)数据。可以捕获单次快照以包括光谱数据，具体取决于插入到光路中的滤波器。基于快照成像的系统返回完整的超光谱(x，y，λ)立方体作为单个传感器输出。这些装置具有不需要扫描的优点。然而，这些系统具有表现出高计算努力和制造成本的缺点。
如图1b所示，光谱扫描的输出导致每个捕获的帧表示场景的单色空间(x，y)图。这些装置通常基于滤波器，所述滤波器需要调谐以便光谱扫描场景。对单独滤波器的选择必须通过电手段或机械手段完成，在这种情况下，需要移动部分以将滤波器物理地插入或放回到光路中并且它们不能进行连续光谱扫描。这种类型的成像系统需要将多个滤波器顺序地插入到光路中，并且对场景的后续曝光可以用感兴趣光谱数据来填充多维立方体。
图1c示出了空间扫描的结果，其中每个获得的帧对应于完整狭缝光谱(x，λ)。也就是说，每个获得的帧包括在x方向上的单行像素以及光谱数据λ。扫描装置的实例是推扫式和点扫描光谱仪。这些系统具有按行分析图像的缺点，并且在点扫描仪的情况下需要移动部分。
图1d示出了空间-光谱扫描系统的输出，其中每个2-D传感器输出对应于数据立方体的倾斜切片，从而表示场景的空间(x，y)图，其中光谱信息在一个维度上编码。这些装置具有允许使用移动平台或固定平台的优点。然而，这些系统通常难以实现，从而表现出诸如高制造成本和复杂机械组件的缺点。
图2示出了并入光学滤波器202的区域成像装置200的透视图，所述光学滤波器具有可变滤波器带以与区域成像装置200一起用来创建超光谱图像。光学滤波器202的实施例可以具有离散滤波器带，诸如在条纹滤波器的情况下，并且根据需要，滤波器带可以在任何广度或宽度中。滤波器带可以在光学滤波器202上连续地变化，使得不存在离散带。光学滤波器202可以具有任何数量的光谱带，从而允许多光谱成像和超光谱成像两者。框架204将光学滤波器202保持在适当位置并且与致动器206(其可以是线性致动器)协作，以使光学滤波器202移动经过成像传感器208。
光学滤波器202被选择为允许透射电磁光谱的期望部分，并且实施例不限于任何特定的一个或多个光谱带。光学滤波器202可以包括例如紫外光、蓝光、绿光、红光和红外光带、以及另一未经滤波的覆盖带(即，全色带)。选择滤波器带的数量以及光学滤波器的光谱透射以获得感兴趣波长的任何组合。光学滤波器202可以是吸收滤波器、干涉滤波器、或其他类型的滤波器。
在一些实施例中，光学滤波器202是线性可变光学带通滤波器，其中滤波器的光谱性质沿着滤波器的一个维度连续地变化。因此，可以通过相对于成像传感器移动滤波器或物体来调整所捕获的物体的图像的中心波长。
成像传感器208的活动表面包括以二维阵列安排的多个像素传感器，诸如光吸收检测器。成像传感器208可以是任何各种类型，诸如，例如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器、或其他合适的架构。
光学滤波器202可以由可变带通区域构成，其中在λ最小至λ最大范围内的λ中心在成像传感器208的扩展内。可以使用光学滤波器202和成像传感器208的各种组合来实现相关和期望的功能。可以选择波长范围、波长变化形状(线性形状、立方体形状、连续形状等)和滤波器的光谱透射，以获得波长、带宽和感兴趣光谱分布的任何组合。
可以通过在光学滤波器202相对于成像传感器208的不同位置重复地对场景成像来完成超光谱图像。也就是说，在光学滤波器202通过致动器206相对于成像传感器208移动时，以预定步进(例如，光学滤波器202的移动期间的预定时刻)得到顺序图像，具体取决于致动器206的速度和期望波长成像数据以及光学滤波器202的特性。
图3示出了区域成像装置300。区域成像装置包括带通滤波器302、滤波器保持器304和致动器306。区域成像装置300进一步包括被配置成捕获场景的图像的成像传感器(未示出)。如所描述，带通滤波器302可以是提供选择性光谱带通以用于多光谱和/或超光谱成像的任何合适的光学带通滤波器。如图所示，带通滤波器302是线性连续带通滤波器。在一些情况下，带通滤波器可以是呈现离散光谱带的条纹滤波器。在其他情况下，带通滤波器可以是立方体滤波器，或者提供呈圆形安排的光谱带。无论如何，可以选择滤波器以实现任何期望的功能，并且可以选择波长范围、波长变化曲线(例如，线性曲线、三次曲线等)和滤波器的光谱透射以获得感兴趣波长的任何组合。
带通滤波器302可以由连接到致动器306的滤波器保持器304保持。致动器306优选地被配置成使带通滤波器302在光谱变化方向上移动。如图所示，在光学滤波器302具有在Z方向308上的变化光谱维度的情况下，致动器306使带通滤波器302在Z方向308上移动。带通滤波器302可以定位在成像传感器的光路内，使得从要成像的场景反射或辐射的光在到达成像传感器之前通过带通滤波器302。
以此方式，所捕获的图像包括对场景的全光谱捕获，其中场景的各部分呈现不同的光谱带。也就是说，对于每个捕获的图像，光谱维度(λ)将在整个图像上变化、对应于带通滤波器302中的光谱变化。通过使带通滤波器302在后续图像之间移动，每个捕获的图像将呈现相同的空间维度，但对于捕获的图像的每个相应部分，将具有不同的光谱维度。
带通滤波器302可以通过任何合适的方法附接到滤波器保持器304。在一些情况下，通过摩擦、通过紧固件、夹具、粘合剂或在带通滤波器302上提供牢固保持的任何其他合适的紧固机构来保持滤波器。滤波器保持器304可以通过任何合适的机构固定地附接到致动器306。在一些情况下，滤波器保持器304可以与致动器306形成为整体件。在其他情况下，滤波器保持器304通过紧固件、焊接、粘合剂或其他紧固方法进行附接。在一些情况下，滤波器保持器应提供与致动器的坚固固定接合，以便提供带通滤波器302相对于成像传感器的准确且可重复的定位。在带通滤波器302被安排成具有圆形带通可变性的那些情况下，致动器可以是旋转致动器，诸如伺服马达或者用于使带通滤波器302相对于成像传感器旋转的一些其他合适的致动器。在带通滤波器302线性地变化的那些情况下，致动器306可以是线性致动器306，并且可以包括步进马达、无刷马达、齿轮传动马达、或被配置成提供线性致动的另一合适马达。在一些实例中，线性致动器是高分辨率致动器，所述高分辨率致动器提供小步进角度以允许光学滤波器302在成像传感器上的精确且可重复的定位。
为了确定最佳步进或采样距离，有必要考虑到滤波器的半峰全宽(FWHM)在λ最小与λ最大之间可以不同。为了获得完整的超光谱图像，应通过带通滤波器的每个期望光谱带捕获目标场景的每个像素，因此带通滤波器202经过成像传感器208的移动应是光学滤波器长度的至少两倍，如图4和图5所示。也就是说，在来自场景的各部分的光在到达AID的成像传感器之前穿过带通滤波器的期望光谱带时，AID 200应捕获感兴趣场景的每个部分的顺序图像。
可以校准所述系统以优化其性能。校准在很大程度上取决于滤波器和成像传感器的物理特性以及它们之间的对准精度。一旦已经校准系统，它就可以进行操作以便在无需进一步重新校准的情况下进行超光谱成像。
在给定光学设置的情况下，对于致动器的给定位置，传感器上的每个像素对应于特定波长。也就是说，在给定致动器的已知位置的情况下，到达传感器上的每个像素的光将被光谱滤波到针对每个捕获的图像的特定波长。考虑到致动器以离散的步进移动，每个像素将测量固定的一组波长，具体取决于像素的位置和致动器的步进。为了针对给定的波长重建场景，对于每个像素，有必要知道针对致动器的每个位置测量的光谱带。当已知带宽时，这可以简化成识别每个致动器位置的中心波长(λ中心)。在线性可变滤波器的情况下，例如，校准采取等式1的形式：
λ中心＝a*(Z致动器+N像素*ps)+b 等式1
其中λ中心表示传感器的特定列的中心波长，a是滤波器的每毫米波长变化，Z致动器是致动器的位置，N像素是像素列的数量，ps是像素大小，并且b是表示滤波器与传感器之间的初始相对位置的偏移，这可以对应于由第一列像素测量到的波长，所述波长取决于机械组件和致动器的偏移设置。在多光谱光学滤波器并非线性可变的那些实施例中，仍可能通过实施适于特定波长分布的解决方案来进行校准。
例如，可能的校准可以由利用均匀且主要单色的照明得到图片集构成。在这个实例中，对于每个图像，知道λ中心、Z致动器、N像素和ps。对于不同的照明波长，可以通过重复这个过程来计算滤波器参数(在这个实例中，滤波器的每毫米波长变化a和偏移b)。
当然，在使用非线性可变滤波器时，校准将不同。一旦已知滤波器参数并设定致动器步进，就可以自动地确定由每个像素测量到的波长组。
可以通过在滤波器的不同位置重复地对场景成像来创建超光谱图像。可以将图像切片以隔离出感兴趣光谱带，并且可以将得到的切片拼接在一起以创建场景的具有期望光谱维度的图像。
参考图4，滤波器400的大小和AID 402的宽度变得重要以确保对整个场景捕获的图像包括整个感兴趣光谱带。在其初始配置中，滤波器fA 404的第一边缘可以定位在AID402的第一边缘sB 406附近。一旦致动器开始它对滤波器400的移动，就将在滤波器400移动期望的采样距离时捕获多个图像。在其最终配置下，滤波器400的第二边缘fB 408可以在AID 402的第二边缘sA 410附近。
一旦捕获图像，就保存来自滤波器的每个带的信息。在场景看起来没有相对于AID移动的情况下，每个图像将对应于具有相同空间维度的相同场景，但其中光谱信息沿着滤波器运动方向移位，在图3的实例中，所述方向是Z方向308。可以一起处理多个图像以得到超光谱图像。例如，在期望创建场景的仅呈现特定光谱带的最终图像的情况下，期望的光谱带可以与场景的每个图像隔开并且然后拼接在一起以创建场景的仅具有期望光谱带的完整图像。
利用AID 200进行远程感测，可以存在与捕获感兴趣图像并将其发送到最终目的地相关联的传输成本。例如，可以捕获图像并且由AID200执行任何后处理，并且可以将最终图像发送到最终目的地，诸如通过无线通信机制，诸如，例如卫星通信、激光通信、微波通信、或一些其他射频类型的无线通信能力。为了降低传输成本和存储每个图像所需的存储量(这些是卫星或者其他机载或移动平台中的重要考虑因素)，可以利用AID 200的选定感兴趣区域(ROI)得到图像，而不是获得整个帧。
如图5所示，当带通滤波器安装在相对于成像传感器的已知位置(诸如通过致动器的已知位置)时，传感器上的每个像素对应于通过带通滤波器接收到的特定波长的光。如果感兴趣光谱带有限并且在捕获图像之前已知，则可以仅获得场景的与那些光谱带相关联的图像。这将返回场景的离散光谱信息，而不是整个连续光谱。对光谱带的选择允许AID收集感兴趣光谱数据，同时降低处理、传输和存储成本。
一旦选择了感兴趣光谱带，AID 200就可以在正确的时刻捕获所需数量的图像以导致具有期望光谱数据的图像。当然，如果寻求全光谱，则AID 200可以在滤波器移动经过整个成像传感器时捕获顺序图像。
在捕获场景时，可以得到若干图片并且可以保存来自滤波器的每个带的信息。可以一起处理连续图像，诸如通过拼接进行处理。在所有光谱带上对场景进行成像的情况下，可以一起处理连续图像以获得超光谱图片。在每个帧之间，滤波器将会移动，使得新光谱带将与场景的每个片段相关联。对这个运动的定时限定连续图像之间的位移(在本文中被称为采样距离)，所述位移可能未必一致。
每次在滤波器相对于AID 200的运动大约等于期望的采样距离时，得到图片。控制器可以指示AID 200捕获图像，使得在正确的时刻和位置获得每个图片，如图5所示。
图5示出了用于捕获多光谱(或超光谱)图像的空间-时间图表。例如，为了捕获区域a 502，以4个期望光谱带，以快照#1 504捕获初始帧。一旦已知致动器速度的步进和带通滤波器的特性，就可以确定采样距离506。一旦滤波器已经移动经过成像传感器采样距离506，就捕获快照#2 508。如可以看出，快照#2 508现在通过带通滤波器的不同带捕获区域a502，并且因此与快照#1 504相比，捕获了区域a的不同波长。采样距离506在后续快照之间不需要保持恒定，而是可以基于每次捕获的期望光谱数据而确定。
如可以从图4和图5看出，为了捕获诸如a 502的场景的整个光谱，滤波器的行进距离必须至少等于滤波器的长度。然而，为了捕获AID 200的初始视野的整个光谱，场景的明显运动距离应等于滤波器的长度加成像传感器512的宽度的至少两倍，如图5中通过对区域a 502和b 510的捕获所示。
图6描绘了示出根据各种实施例的示例过程的流程图。这些过程的操作在单独的框中示出并参考这些框进行概述。这些过程被示出为逻辑流程图，其每个操作均可以表示能够在硬件、软件或其组合中实施的一组操作。在软件的背景下，所述操作表示存储在一个或多个计算机存储介质上的计算机可执行指令，所述指令在被一个或多个处理器执行时使得所述一个或多个处理器能够执行所述操作。通常，计算机可执行指令包括执行特定功能或实施特定抽象数据类型的例程、程序、对象、模块、部件、数据结构等。在硬件的背景下，所述操作可以在诸如专用集成电路(ASIC)的集成电路中、在诸如现场可编程门阵列(FPGA)的可编程逻辑装置中、或其他装置中实施。描述操作的顺序并不意图被解释为限制，并且任何数量的所述操作可以按任何顺序组合、分成子操作和/或并行地执行，以实施所述过程。根据本披露内容的各种实施例的过程可以仅包括逻辑流程图中描绘的操作中的一些或全部。
图6是示出用于在场景看起来相对于成像平台静止时使用成像装置进行超光谱图像捕获的示例概述过程600的流程图。这可能是例如地球同步轨道中的基于卫星的平台相对于要成像的场景的结果。当然，成像系统可以安装在静止平台上。在其他情况下，成像平台与要成像的场景之间的相对运动足够小，以考虑到成像系统内的快速光学器件的相对运动或者通过后处理来校正运动模糊。在602，可以启动波长校准。应注意，这可以是在初始激活成像装置时的一次性设置步骤，或者可以偶尔重复，但不是AID 200的每个图像捕获操作的必要步骤。校准是基于带通滤波器的配置、成像传感器和致动器的分辨率。在给定滤波器的配置和致动器的分辨率的情况下，对于致动器的给定位置，成像传感器上的每个像素将对应于特定波长。在致动器使滤波器相对于成像传感器移动时，致动器的位置将决定成像传感器的每个像素的波长。这个校准可以在部署成像系统之前完成，并且可以在成像系统的使用寿命期间定期地执行。
在604，确定感兴趣区域，并且感兴趣区域可以包括全空间和光谱成像，或者可以包括具体空间坐标和/或光谱数据。在一些情况下，由成像系统捕获的全帧图像将包括感兴趣区域。在感兴趣区域大于成像系统在单个图像中捕获整个感兴趣区域的能力的情况下，成像系统可以移动并捕获多个图像，所述多个图像可以拼接在一起以形成比能够由成像系统在单次捕获中得到的图像更大的图像。另外地，在期望相对高分辨率图像的情况下，成像系统可以在感兴趣区域上放大以捕获通过缩放而提供的更多细节，并且成像系统可以捕获多个图像，所述多个图像可以拼接在一起以形成更大的图像。
在606，根据所确定的ROI的空间和光谱要求来捕获图像帧。在致动器使滤波器移动经过成像传感器，并且从感兴趣区域反射的光在去往成像装置的成像传感器的路上穿过带通滤波器的期望带时，捕获图像帧作为由AID 200得到的顺序图像。
在608，对图像进行后处理以便创建感兴趣图像。例如，在610，针对由成像平台与场景之间的相对运动引起的运动模糊，可以使图像稳定并进行校正。
在612，构建超光谱数据立方体，所述超光谱数据立方体含有用于成像装置的每个像素的空间和光谱数据，并且可以包括用于在所述立方体内表示的每个像素的至少x、y和λ数据。在一些情况下，可以将超光谱数据立方体切片以进行离散分割，以便有助于更有效的存储和传输，由此仅含有感兴趣空间和/或光谱数据。
在614，存储超光谱数据立方体和/或将其传输到另一目的地。当然，本文中示出的过程可以由在AID 200内执行的计算资源实施，或者所述过程中的一些或全部可以由远离AID 200定位的计算资源执行。在其他实施例中，可以由位于成像平台处和远程位置两者的资源的组合实施处理。
尽管所示附图示出可以在图像的存储614之前执行对图像的后处理608，但在一些情况下，可以在后处理之前存储所捕获的图像，并且可以在稍后的时间执行后处理。
进一步参考图6，后处理技术可以另外地包括正射校正和/或图像配准的进一步步骤。正射校正算法可以应用于每个单独的帧，诸如以除去任何内部或外部失真以便向最终图像分配更准确的坐标。这种算法可以校正由天然土地的地形轮廓给出的变形，并且允许重建图像的正交透视图。
对正射校正算法的输入之一可以是每个像素的光谱数据，这对于校正受到捕获图像的光谱带影响的失真来说可能是必要的。先前可能已经进行了光谱校准，诸如在实施成像系统的校准阶段期间。这个校准返回成形为传感器的矩阵，从而指示对于致动器的每个位置由每个像素测量到的波长带，所述波长带可以存储为成像系统的一部分，或者存储在一些其他外部位置以用于在图像从成像平台传输之后进行后处理。
正射校正算法使每个帧中所含有的空间信息“变形”。为了正确地重现由每个像素测量到的波长，可以优选对作为校准的输出而获得的波长矩阵应用相同的转换。以此方式，每个经正射校正的帧具有其对应的经调整波长矩阵。
为了产生比成像传感器能够在单次曝光中捕获的图像大的图像，AID可以重新定位并捕获多个图像。可以通过将由传感器获得的多个连续图像对准到单个完整图像中来执行图像拼接。配准算法可以由以下构成：发现每个图像中的匹配特征、获得它们的位移和旋转、将所述位移和旋转应用于完整图像、以及在两个图像重叠的地方将它们融合。图像之间的近似位移基于期望的采样距离而预先确定。在很多实施例中，成像平面在图像捕获期间不旋转，并且因此很多实现方式不预期显著的旋转，这与从旋转平台捕获图像相比，极大地降低执行图像配准所需的计算时间。
在期望整个场景的图像具有指定中心波长(λ中心)的情况下，也可以使用图像拼接。为了产生这个图像，成像系统在滤波器从初始位置移动到最终位置时捕获场景的多个图像，如本文中其他地方所述。可以将多个图像切片以隔离出感兴趣波长，并且可以将具有感兴趣波长的最终切片拼接在一起以创建完整场景的具有感兴趣波长的图像。
构建超光谱立方体612导致成像数据，所述成像数据包括用于由AID 200捕获的每个像素的x、y和λ值。在超光谱成像过程期间，对于致动器的给定位置，AID 200的每个像素始终在测量相同波长。可以通过考虑到传感器的响应率和按波长的滤波器透射率来单独地校正原始帧。由于每次在致动器的位置等于期望的采样距离(sd)时将得到图片，因此也将在这个距离对来自场景的每个像素进行光谱采样，如图4和图5所示。根据等式2，测量单个场景的像素的全光谱所需的图像数量(m)等于滤波器的总长度除以采样距离：
Figure GDA0002735490280000181
为了举例，如果假设场景的光谱平滑地变化，则针对场景上的每个像素，可以计算光谱轴线514中的插值曲线，诸如插值多项式或样条。对于由AID 200上的每个像素测量到的不同波长，可以通过计算场景的辐照度来获得曲线插值点。每个插值曲线将具有m个不同的插值点。
采样距离可以大于一个像素，这导致在这个距离内投射的场景上的每个像素被不同组的中心波长采样。这在图7中示出，其中采样距离内的不同光谱带测量到p个像素。因此，用不同组的插值点来构建这些p个像素中的每一个像素的插值曲线(考虑到针对不同的波长计算了场景的辐照度)。
因此，用m个插值点来构建每个插值曲线，并且p个不同组的中心波长用作插值点。一旦计算出每个像素的插值曲线，就可以通过评估期望波长的每个像素的曲线来执行对单色图像的重建。
取决于场景的辐照光谱的平滑度，可以通过改变插值多项式(在使用时)的阶数来调整编码在超光谱立方体中的光谱信息的压缩程度。如果光谱足够平滑，则例如，可以选择低阶多项式以便压缩信息量。否则，如果光谱特征差别很大，则可以选择高阶多项式以插入光谱数据。
这种算法表现出极低的计算努力，从而使得能够以极高的速度处理大量的信息。此处呈现的算法是基于假设场景的光谱平滑地变化，而没有显示出任何一种不连续性。然而，在实际场景变化超出这个假设的预定阈值时，可以诸如通过减小采样距离和/或应用不同的光谱重建算法来增加图像处理的精度。
一旦得到了图片并处理了数据，就存储信息，并且在远程感测的情况下，最终将信息传输到另一目的地。取决于数据立方体内所含有的期望信息，可以选择所存储的信息的结构。如果寻求全分辨率，则可以存储整个超光谱数据立方体，从而保持全空间和光谱分辨率。另一方面，如果不需要全分辨率，则可以在存储超光谱立方体之前对其进行压缩。此外，如果感兴趣光谱带有限，则可以仅存储数据立方体的一部分，诸如一个或多个切片，和/或传输对应于期望光谱带的部分。
在其他情况下，可以处理来自每个像素的光谱信息以便计算不同种类的指数，诸如归一化差值植被指数(NDVI)、或例如在农业分析的情况下的其他绿色指数。在期望具体光谱带的情况下，可以存储单色图像以及每像素的对应指数，而无需存储每个像素的整个光谱特征。
以此方式，有可能使所使用的数据结构和信息适于特定应用的细节，以便优化存储和传输要求。此外，可以实施分类算法以便分析超光谱立方体。例如，可以识别具有类似光谱特征的端元的群集，这允许识别和分类广泛多种材料，诸如，例如不同类型的植被、土壤、水、或者人造材料或物体。可以实施若干种方法，诸如主成分分析、一般的自动分类器和机器学习算法、以及其他方法。
图8是可用来创建超光谱图像的示例成像系统800的框图。在一些实施例中，成像系统800的一些部件可以远程地定位或分布在各种位置和各种硬件上。成像系统800可以被配置成包括任何合适的计算装置或系统。存储器802可以存储可在一个或多个处理器804上加载和执行的程序指令和程序模块，以及在这些程序的执行期间生成和/或可与这些程序结合使用的数据，诸如图像数据、图像、数据立方体等等。
存储器802至少包括控制模块806和成像模块808。根据本披露的实施例，控制模块可以执行与捕获图像相关联的控制功能中的一些或全部。控制模块806可由一个或多个处理器执行，以诸如通过一个或多个输入/输出接口进行控制。
控制模块806可由一个或多个处理器804执行，以诸如通过一个或多个输入/输出接口来控制AID 200。根据本披露的各种实施例，AID 200可以被控制以捕获一次或多次曝光，诸如与采样距离同步，以通过带通滤波器的期望光谱来捕获曝光。
区域成像装置200可以包括一个或多个处理器810和固件812(存储在合适的非暂时性计算机可读存储介质上)，以执行或以其他方式控制AID 200的各种功能。固件812可以由一个或多个处理器810执行，以控制曝光时间、对顺序曝光捕获定时、确定采样距离、压缩图像数据、将图像数据818(包括光谱数据立方体)存储在存储器802上等等。
AID 200还包括光敏传感器814，诸如，例如适合于在AID 200的活动表面上实施电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器或其他合适的传感器架构的半导体部件。
AID 200进一步包括一个或多个致动器816，诸如线性致动器。致动器816可以附接到光学带通滤波器820，并且被安排成使滤波器相对于传感器814线性地移动。在一些实施例中，滤波器是线性可变光学带通滤波器，并且致动器被配置成使滤波器相对于传感器814在与滤波器波长的变化方向平行的方向上移动。例如，在滤波器820包括被安排成竖直列的光谱带的情况下，滤波器可以水平地移动经过传感器814。当然，在滤波器包括其他配置的情况下，可以实施合适的光谱成像方案以使滤波器820相对于传感器814移动，以便捕获和/或以其他方式生成多光谱或超光谱图像。
成像模块808执行成像系统800的各种图像处理功能，包括用于生成高动态范围(HDR)图像的色调映射、用于产生高分辨率图像的分辨率增强算法、和用于从多次部分地重叠的曝光生成图像或通过将多个图像的切片拼接在一起来生成含有感兴趣光谱带的图像的拼接算法、以及其他处理功能，诸如模糊去除、伪影去除、颜色增强、裁剪、图像转换、图像压缩、数据加密等等。
在一些实施例中，AID 200的固件812可以被视作控制模块806和成像模块808中的一者或两者的扩展，其中控制模块806和/或成像模块808的功能中的一些或全部在固件812上执行或由其执行，所述固件在一个或多个处理器810上执行。在一些实施例中，控制模块806、成像模块808的功能中的一些或全部和/或固件812的其他功能可以被实施为一个或多个处理器804上的逻辑功能。例如，在一些实施例中，一个或多个处理器804可以包括专用集成电路(ASIC)、可编程逻辑装置、诸如现场可编程门阵列(FPGA)、或其他逻辑电路，以执行各种功能，包括控制模块806的各种控制功能和/或成像模块808的图像处理功能。
取决于所使用的计算装置的配置和类型，成像系统800的存储器802以及用于存储AID 200中的固件812的介质可以包括易失性存储器(诸如随机存取存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM)、闪存存储器等)。存储器802以及用于存储AID 200中的固件812的介质还可以包括附加可移动存储装置和/或不可移动存储装置，包括但不限于，可以提供对计算机可读指令、数据结构、程序模块和/或成像系统800的其他数据的非易失性存储的闪存存储器、磁性存储装置和/或光学存储装置、和/或磁带存储装置。
存储器802以及用于存储AID 200中的固件812的介质是非暂时性计算可读介质的实例。非暂时性计算机存储介质包括以存储信息(诸如，计算机可读指令、数据结构、程序模块或其他数据)的任何过程或技术实施的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器(诸如NAND闪存存储器，诸如可以被包括在一个或多个非易失性存储卡中，并且包括利用单级和多级单元技术的闪存)或其他存储器技术、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储装置、或者可以用来存储信息以供计算装置访问的任何其他非传输介质。
基于本文描述的实施例，一种成像系统可以通过移动多光谱(或超光谱)光学带通滤波器并在滤波器相对于成像传感器移动时捕获顺序图像来捕获场景的超光谱图像。所述系统不需要在相继的曝光之间改变滤波器。超光谱数据立方体可以在图像捕获时刻进行配置，以便仅收集空间和/或光谱感兴趣区域，从而允许成像装置的动态配置。它与现有的超光谱成像系统相比相对简单，这使得它成为机载超光谱成像的显著改进的解决方案。
结论
尽管本披露内容使用结构特征和/或方法动作的特定语言，但本发明不限于所描述的具体特征或动作。相反，披露了具体特征和动作来作为实施本发明的说明性形式。

Claims (22)

1.一种多光谱成像设备，包括：
区域成像装置，所述区域成像装置具有多个像素传感器；
多光谱滤波器，所述多光谱滤波器设置在所述区域成像装置的光路内；
致动器，所述致动器被配置成使所述多光谱滤波器相对于所述区域成像装置在与光谱变化的方向平行的方向上移动；
控制模块，所述控制模块被配置成：
确定要由所述区域成像装置捕获的场景的空间感兴趣区域；
确定所述场景的感兴趣光谱；
至少部分地基于所述多光谱滤波器和所述感兴趣光谱而确定在由所述区域成像装置进行的顺序曝光之间所述多光谱滤波器相对于所述区域成像装置移动的采样距离；以及
指示所述区域成像装置以所述采样距离进行一次或多次曝光；以及
成像模块，所述成像模块被配置成至少基于所述一次或多次曝光而形成所述场景的图像。
2.如权利要求1所述的设备，进一步包括卫星，并且其中所述区域成像装置、所述控制模块和所述成像模块在所述卫星上。
3.如权利要求1所述的设备，其中，所述多光谱滤波器是连续可变光学滤波器。
4.如权利要求1所述的设备，其中，所述多光谱滤波器是光学带通滤波器或陷波滤波器。
5.如权利要求1所述的设备，其中，所述成像模块被配置成向所述图像应用图像稳定调整，以校正所述像素传感器与所述空间感兴趣区域之间的相对运动。
6.如权利要求3所述的设备，其中，所述图像是超光谱图像，并且所述超光谱图像被存储、处理并传输到接收装置。
7.如权利要求1所述的设备，其中，确定所述采样距离，使得以所述感兴趣光谱在所述一次或多次曝光中捕获所述场景的所述空间感兴趣区域。
8.如权利要求1所述的设备，其中，所述成像模块进一步被配置成在所述一次或多次曝光中为每个像素创建插值曲线。
9.如权利要求8所述的设备，其中，所述成像模块进一步被配置成通过以所述感兴趣光谱评估用于每个像素的所述插值曲线来构建单色图像。
10.一种成像设备，包括：
成像装置，所述成像装置具有多个像素传感器；
光学滤波器，所述光学滤波器设置在所述成像装置的光路内，所述光学滤波器至少具有第一光谱带和第二光谱带；
致动器，所述致动器附接到所述光学滤波器并且被配置成使所述光学滤波器相对于所述多个像素传感器在与光谱变化的方向平行的方向上移动；
一个或多个处理器；
存储器；以及
编程指令，所述编程指令存储在所述存储器上并且能够由所述一个或多个处理器执行以执行动作，所述动作包括：
确定场景的空间感兴趣区域；
确定感兴趣光谱；
激活所述致动器以使所述光学滤波器相对于所述多个像素传感器移动；
在所述光学滤波器的移动期间，至少部分地基于所述致动器的速度，确定以所述感兴趣光谱对所述场景进行至少一次曝光的时间；
在所述光学滤波器相对于所述多个像素传感器被定位使得从所述空间感兴趣区域反射的光穿过所述光学滤波器的所述第二光谱带时，指示所述成像装置对所述场景进行所述至少一次曝光，其中所述第二光谱带对应于所述感兴趣光谱；以及
基于所述至少一次曝光而生成所述场景的图像。
11.如权利要求10所述的成像设备，其中，所述光学滤波器沿着单个方向带通变化，并且所述致动器被配置成使所述光学滤波器在所述单个方向上移动经过所述多个像素传感器。
12.如权利要求11所述的成像设备，其中，所述光学滤波器是连续可变光学带通滤波器，所述多个像素传感器被安排成行和列的阵列，并且对于所述致动器的给定位置，所述像素传感器的列与所述连续可变光学带通滤波器的公共光谱带相关联。
13.如权利要求10所述的成像设备，其中，所述感兴趣光谱包括所述第一光谱带和所述第二光谱带，其中所述至少一次曝光是第二次曝光，其中所述时间是第二时间，并且其中所述编程指令使得所述一个或多个处理器执行进一步动作，所述进一步动作包括：
在所述光学滤波器相对于所述多个像素传感器被定位使得从所述空间感兴趣区域反射的光穿过所述光学滤波器的所述第一光谱带时，指示所述成像装置在第一时间捕获第一次曝光。
14.如权利要求13所述的成像设备，其中，基于所述第一次曝光和所述第二次曝光而生成所述场景的图像。
15.如权利要求10所述的成像设备，其中，所述编程指令使得所述处理器执行进一步动作，所述进一步动作包括：
分割第一次曝光以创建所述第一次曝光的具有感兴趣光谱带的第一部分，
分割第二次曝光以创建所述第二次曝光的具有所述感兴趣光谱带的第二部分；以及
将所述第一部分和所述第二部分拼接在一起以创建具有所述感兴趣光谱带的图像。
16.如权利要求15所述的成像设备，其中，具有所述感兴趣光谱带的所述图像是在第一波长的第一图像，并且所述编程指令使得所述处理器执行进一步动作，所述进一步动作包括以第二波长创建第二图像以及创建含有所述第一图像和所述第二图像的超光谱立方体。
17.一种操作超光谱成像系统的方法，所述方法包括：
提供具有多光谱光学滤波器的区域成像装置和用于使所述多光谱光学滤波器相对于所述区域成像装置在与光谱变化的方向平行的方向上移动的致动器；
确定在由所述区域成像装置进行的顺序曝光之间所述多光谱光学滤波器相对于所述区域成像装置移动的采样距离，所述采样距离至少部分地基于所述多光谱光学滤波器和感兴趣光谱带；
指示所述区域成像装置对场景进行第一次曝光；
使所述多光谱光学滤波器相对于所述区域成像装置移动一距离，所述距离等于所述采样距离；
在移动所述多光谱光学滤波器之后，指示所述区域成像装置对所述场景进行第二次曝光；以及
至少基于所述第一次曝光和所述第二次曝光而生成所述场景的图像。
18.如权利要求17所述的方法，其中，生成所述场景的图像包括：
确定感兴趣光谱；
分割所述第一次曝光以创建具有所述感兴趣光谱的第一图像切片；
分割所述第二次曝光以创建具有所述感兴趣光谱的第二图像切片；以及
将所述第一图像切片和所述第二图像切片拼接在一起以形成具有所述感兴趣光谱的所述场景的图像。
19.如权利要求18所述的方法，进一步包括生成具有第二感兴趣光谱的所述场景的第二图像，以及创建多光谱立方体，所述多光谱立方体包括具有所述感兴趣光谱的所述场景的图像和具有所述第二感兴趣光谱的所述场景的所述第二图像。
20.如权利要求17所述的方法，进一步包括：
至少输入所述第一次曝光和所述第二次曝光作为对图像分析算法的输入；
至少部分地基于执行所述图像分析算法来创建数值；
存储所述数值；以及
将所述数值传输到远程位置。
21.如权利要求17所述的方法，其中，所述成像系统安装在静止装置上，并且所述方法进一步包括压缩所述图像并且将所述图像传输到接收装置。
22.如权利要求20所述的方法，其中，创建所述数值包括针对构成所述第一次曝光或所述第二次曝光或这两者的至少一部分的多个像素中的每一者来创建一个或多个数值。
CN201780080524.8A 2016-12-27 2017-12-27 在被观察物体静止时的超光谱成像 Active CN110114645B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662439396P 2016-12-27 2016-12-27
US62/439,396 2016-12-27
PCT/US2017/068601 WO2018125941A1 (en) 2016-12-27 2017-12-27 Hyper-spectral imaging when observed object is still

Publications (2)

Publication Number Publication Date
CN110114645A CN110114645A (zh) 2019-08-09
CN110114645B true CN110114645B (zh) 2021-11-26

Family

ID=62630203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080524.8A Active CN110114645B (zh) 2016-12-27 2017-12-27 在被观察物体静止时的超光谱成像

Country Status (8)

Country Link
US (1) US10469772B2 (zh)
EP (1) EP3555580B1 (zh)
JP (1) JP7045380B2 (zh)
CN (1) CN110114645B (zh)
BR (1) BR112019013184A2 (zh)
CA (1) CA3048632A1 (zh)
IL (1) IL267634B (zh)
WO (1) WO2018125941A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6893877B2 (ja) 2014-10-29 2021-06-23 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学イメージングの方法および装置
CN110573066A (zh) 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术
BR112021011132A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
WO2020123722A1 (en) * 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10904493B2 (en) * 2019-04-02 2021-01-26 The Boeing Company Filter alignment for multi-spectral composite image
JP2022535798A (ja) * 2019-05-31 2022-08-10 シトノス、ソシエダッド、リミターダ ハイパースペクトル定量的イメージング・サイトメトリ・システム
EP4004504A4 (en) * 2019-07-24 2023-12-20 Bar Ilan University DEVICE AND METHOD FOR SPECTRAL IMAGING
US11195286B2 (en) 2019-08-12 2021-12-07 The Boeing Company Image-based target tracking
CN115038945A (zh) * 2020-02-28 2022-09-09 松下知识产权经营株式会社 摄像装置
US11209311B2 (en) 2020-03-18 2021-12-28 Viavi Solutions Inc. Multispectral filter
US11788887B2 (en) 2020-03-27 2023-10-17 Nanohmics, Inc. Tunable notch filter
US11435230B2 (en) 2020-03-27 2022-09-06 Nanohmics, Inc. Methods for spectral mapping
US11313878B2 (en) * 2020-04-16 2022-04-26 Ut-Battelle, Llc Pan-sharpening for microscopy
CN116134298A (zh) * 2020-06-03 2023-05-16 伦敦大学国王学院 用于联合去马赛克和光谱特征图估计的方法和系统
FR3112407B1 (fr) * 2020-07-09 2023-11-03 Ippon Innovation Procédé statistique non supervisé de détection multivariée de courbes atypiques
EP3941030B1 (en) * 2020-07-16 2023-05-24 Nokia Technologies Oy Apparatus, method and computer program for image capturing
SE2050919A1 (en) * 2020-07-24 2022-01-25 Glana Sensors Ab Device, system and method for acquiring a hyperspectral image
CA3137651A1 (en) * 2020-12-19 2022-06-19 The Boeing Company Combined multi-spectral and polarization sensor
WO2023012781A1 (en) * 2021-08-03 2023-02-09 Jubaan Ltd System and method for using multispectral imaging and deep learning to detect gastrointesinal pathologies by capturing images of a human tongue

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202403798U (zh) * 2012-02-02 2012-08-29 麦克奥迪实业集团有限公司 一种多光谱显微图像的获取装置
CN102997996A (zh) * 2012-11-30 2013-03-27 中国科学院上海技术物理研究所 短波红外昼夜远距离多光谱成像仪及成像方法
CN105208249A (zh) * 2015-08-28 2015-12-30 华南农业大学 一种多光谱图像无线传感器节点及其控制方法
CN105492878A (zh) * 2013-06-18 2016-04-13 拉莫特艾特特拉维夫大学有限公司 用于快照光谱成像的设备和方法
CN106092318A (zh) * 2016-06-02 2016-11-09 北京印刷学院 一种全反射式宽波段多光谱成像系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784152A (en) * 1995-03-16 1998-07-21 Bio-Rad Laboratories Tunable excitation and/or tunable detection microplate reader
US5591981A (en) * 1995-03-16 1997-01-07 Bio-Rad Laboratories, Inc. Tunable excitation and/or tunable emission fluorescence imaging
AU9119098A (en) * 1997-08-25 1999-03-16 Richard A. Holub A system for distributing and controlling color reproduction at multiple sites
DE69938493T2 (de) * 1998-01-26 2009-05-20 Massachusetts Institute Of Technology, Cambridge Endoskop zur erfassung von fluoreszenzbilder
WO2001077628A1 (en) * 2000-04-11 2001-10-18 Welldog, Inc. In-situ detection and analysis of methane in coal bed methane formations with spectrometers
US8760657B2 (en) * 2001-04-11 2014-06-24 Gas Sensing Technology Corp In-situ detection and analysis of methane in coal bed methane formations with spectrometers
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
JP2002185974A (ja) 2000-12-12 2002-06-28 Canon Inc 画像処理装置およびその方法
US6831688B2 (en) 2002-04-08 2004-12-14 Recon/Optical, Inc. Multispectral or hyperspectral imaging system and method for tactical reconnaissance
JP4135603B2 (ja) * 2003-09-12 2008-08-20 オムロン株式会社 ２次元分光装置及び膜厚測定装置
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7130041B2 (en) 2005-03-02 2006-10-31 Li-Cor, Inc. On-chip spectral filtering using CCD array for imaging and spectroscopy
US8077309B2 (en) * 2007-01-29 2011-12-13 Applied Instrument Technologies, Inc. Chemical analyzer for industrial process control
FR2927713B1 (fr) * 2008-02-14 2011-08-26 Sagem Securite Dispositif d'acquisition d'empreintes digitales a la volee.
US8159525B2 (en) * 2008-06-13 2012-04-17 The United States Of America, As Represented By The Secretary Of Agriculture Portable multispectral imaging systems
US8426933B2 (en) * 2008-08-08 2013-04-23 Araz Yacoubian Broad spectral band sensor
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP2011089895A (ja) 2009-10-22 2011-05-06 Arata Satori ハイパースペクトル撮像装置及びハイパースペクトル撮像方法
US20110102562A1 (en) * 2009-11-03 2011-05-05 PV Omega, LLC Multi-spectral stereographic display system with additive and subtractive techniques
US8692912B2 (en) * 2010-01-25 2014-04-08 Pixelteq, Inc. Multi-spectral camera
US8743201B2 (en) * 2010-09-27 2014-06-03 National Applied Research Laboratories Time-Sequential multi-spectrum imaging device
US8670620B2 (en) * 2011-08-10 2014-03-11 National Ict Australia Limited Decomposing hyperspectral or multispectral image data
RU2616653C2 (ru) * 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
US20150073281A1 (en) * 2013-09-11 2015-03-12 Xerox Corporation Generating a flow-volume loop for respiratory function assessment
JP5793219B1 (ja) 2014-05-19 2015-10-14 佐鳥　新 撮像装置及び撮像方法
WO2016110952A1 (ja) 2015-01-07 2016-07-14 オリンパス株式会社 分光画像取得装置
AU2016250291B2 (en) * 2015-04-17 2020-10-22 Commonwealth Scientific And Industrial Research Organisation Determining multispectral or hyperspectral image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202403798U (zh) * 2012-02-02 2012-08-29 麦克奥迪实业集团有限公司 一种多光谱显微图像的获取装置
CN102997996A (zh) * 2012-11-30 2013-03-27 中国科学院上海技术物理研究所 短波红外昼夜远距离多光谱成像仪及成像方法
CN105492878A (zh) * 2013-06-18 2016-04-13 拉莫特艾特特拉维夫大学有限公司 用于快照光谱成像的设备和方法
CN105208249A (zh) * 2015-08-28 2015-12-30 华南农业大学 一种多光谱图像无线传感器节点及其控制方法
CN106092318A (zh) * 2016-06-02 2016-11-09 北京印刷学院 一种全反射式宽波段多光谱成像系统

Also Published As

Publication number Publication date
US10469772B2 (en) 2019-11-05
IL267634B (en) 2021-06-30
EP3555580C0 (en) 2023-12-06
CN110114645A (zh) 2019-08-09
CA3048632A1 (en) 2018-07-05
EP3555580A4 (en) 2020-07-22
JP2020503516A (ja) 2020-01-30
EP3555580B1 (en) 2023-12-06
IL267634A (en) 2019-08-29
EP3555580A1 (en) 2019-10-23
WO2018125941A1 (en) 2018-07-05
BR112019013184A2 (pt) 2019-12-10
US20180184015A1 (en) 2018-06-28
JP7045380B2 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
CN110114645B (zh) 在被观察物体静止时的超光谱成像
JP7045379B2 (ja) 仮現運動における物体の動的ハイパースペクトルイメージング
US10341547B2 (en) Imaging device for scenes in apparent motion
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
Fowler Compressive pushbroom and whiskbroom sensing for hyperspectral remote-sensing imaging
US9521322B2 (en) Imaging unit
EP3143583B1 (en) System and method for improved computational imaging
Müller-Rowold et al. Hyperspectral panoramic imaging
Delauré et al. The geospectral camera: a compact and geometrically precise hyperspectral and high spatial resolution imager
US11627259B2 (en) Device, method and computer program
Soszyńska et al. Feasibility study of hyperspectral line-scanning camera imagery for remote sensing purposes
CN113281282B (zh) 一种图像采集与重构方法、设备及存储介质
Roul et al. Co-design of an adaptive hyperspectral imager based on MEMS arrays: From proof of principle to a research prototype
CN117061886A (zh) 多光谱和全色成像装置以及相关系统和方法
Skauli et al. Multispectral and conventional imaging combined in a compact camera by using patterned filters in the focal plane

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant