CN110326022B - 从图像中恢复高光谱数据的装置和方法 - Google Patents

从图像中恢复高光谱数据的装置和方法 Download PDF

Info

Publication number
CN110326022B
CN110326022B CN201780068161.6A CN201780068161A CN110326022B CN 110326022 B CN110326022 B CN 110326022B CN 201780068161 A CN201780068161 A CN 201780068161A CN 110326022 B CN110326022 B CN 110326022B
Authority
CN
China
Prior art keywords
data
spectral
band
spectrum
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780068161.6A
Other languages
English (en)
Other versions
CN110326022A (zh
Inventor
O·本沙哈尔
B·阿拉达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ben Gurion University BG Negev Technology And Application Co
Original Assignee
Ben Gurion University BG Negev Technology And Application Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ben Gurion University BG Negev Technology And Application Co filed Critical Ben Gurion University BG Negev Technology And Application Co
Publication of CN110326022A publication Critical patent/CN110326022A/zh
Application granted granted Critical
Publication of CN110326022B publication Critical patent/CN110326022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10—Simultaneous recording or projection
    • G03B33/16—Simultaneous recording or projection using colour-pattern screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Compounds Of Unknown Constitution (AREA)

Abstract

一种用于近似光谱数据的方法，该方法包括使用至少一个硬件处理器用于：提供包括第一光谱带组中的数据的数字图像；提供字典，其包括(a)第二光谱带组中的特征和(b)第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和第二光谱带组不同；以及基于字典，近似该数字图像的该第二光谱带组中的数据。

Description

从图像中恢复高光谱数据的装置和方法
相关申请的交叉引用
本申请要求2016年9月6日提交的美国临时专利申请号62/383,613和2017年6月12日提交的美国临时专利申请62/518,038的优先权，其内容通过引用整体并入本文。
技术领域
本发明涉及摄影领域，尤其涉及高光谱成像。
背景技术
自从现代采集技术在20世纪70年代后期出现以来，高光谱成像一直是一个活跃的研究领域。与RGB(红-绿-蓝)或多光谱采集设备不同，高光谱成像的目标是从每个可观察点获取反射的完整光谱特征。
这些信息的丰富性有助于众多应用，但也需要付出代价：空间或时间分辨率的显著降低。因此，HIS(高光谱成像系统)的使用仅限于信号的这些方面(空间时间两方面，但主要是时间分辨率)不是主要的那些领域和应用，例如遥感、农业、地质、天文学、地球科学等。即使在这些情况下，HIS也经常用于可观察信号的初步分析，以便表征携带了对于应用有价值信息的光谱部分。然后，该信息用于设计针对该应用优化的多光谱设备(具有少量光谱带的相机)。
与它们在诸如上述的合适的或专用的应用中的使用不同，在一般计算机视觉中，特别是在自然图像分析中使用HIS仍处于初期阶段。在获取高光谱图像“立方体”时，主要障碍不仅是空间，光谱和/或时间分辨率，而且还有获得高光谱的高光谱设备的成本，以及它们的物理尺寸(重量和体积)，这两者都过大并对大多数可能的应用具有严格的限制。
相关技术的前述示例和与其相关的限制旨在是说明性的而非排他性的。在阅读说明书和附图研究之后，相关领域的其他限制对于本领域技术人员而言将变得明显。
发明内容
结合系统、工具和方法来描述和说明以下实施例及其方面，这些系统、工具和方法旨在是示例性和说明性的，而不是限制范围。
提供了一种用于近似光谱数据的方法，该方法包括使用至少一个硬件处理器来：提供包括第一光谱带组中的数据的数字图像；提供字典，包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组不同；基于字典，近似该数字图像的所述第二光谱带组中的数据。
根据一个实施例，还提供了一种装置，包括：图像传感器，被配置为捕获第一光谱带组中的数字图像；非瞬态存储器，其上存储有字典，该字典包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组不同；至少一个硬件处理器，被配置为基于所述字典来近似所述数字图像的所述第二光谱带组中的数据。
根据一个实施例，还提供了一种用于近似光谱数据的计算机程序产品，该计算机程序产品包括具有非暂时性计算机可读存储介质，其具有包含在其中的程序代码，该程序代码可由至少一个硬件处理器执行以：接收包括第一光谱带组中的数据的数字图像；接收字典包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组是不同的；以及基于字典，近似所述数字图像的所述第二光谱带组中的数据。
在一些实施例中，所述第一光谱带组是红-绿-蓝(RGB)。
在一些实施例中，所述第二光谱带组在400纳米至800纳米之间。
在一些实施例中，所述第一第二光谱带组的每个带具有5至100纳米的宽度。
在一些实施例中，所述第二光谱带组的每个带具有5至100纳米的宽度。
在一些实施例中，字典包括超完备字典。
在一些实施例中，该方法还包括基于一组代表性多光谱图像构造字典，每个代表性多光谱图像包括所述多个光谱带和所述其他多个光谱带中的数据。
在一些实施例中，程序代码还可由所述至少一个硬件处理器执行以基于一组代表性多光谱图像构造字典，每个代表性多光谱图像包括所述多个光谱带和所述其他多个光谱带中的数据。
还提供了一种用于选择数码相机的颜色滤波器阵列/颜色滤光片阵列的方法，所述颜色滤波器阵列包括期望数量的颜色滤波器，该方法包括：提供包括多个颜色滤波器的颜色滤波器组，所述颜色滤波器具有对应的多个光谱频率响应；提供用于评估所述颜色滤波器阵列的一个或更多个标准；使用至少一个硬件处理器来执行以下迭代步骤：(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括所述期望数量的颜色滤波器，(ii)基于所述一个或更多个标准评估所述多个测试滤波器阵列中的每个，(iii)基于所述评估将评估参数分配给所述多个测试滤波器阵列中的每个，以及(iv)在下一个迭代中，包括在测试群组中：(a)基于评估参数选择的先前评估的测试滤波器阵列的第一比例，(b)通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，该颜色滤波器是从两个基于评估参数选择的先前评估的测试滤波器阵列中随机选择的，以及(c)先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的颜色滤波器的一个用来自所述颜色滤波器组的随机选择的颜色滤波器代替；重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；并且将所述最佳颜色滤波器阵列实施为用于数码相机的颜色滤波器阵列。
还提供了一种用于选择数码相机的颜色滤波器阵列的计算机程序产品，所述颜色滤波器阵列包括期望数量的颜色滤波器，所述计算机程序产品包括非暂时性计算机可读存储介质，其具有包含在其中的程序代码的，所述程序代码可由至少一个硬件处理器执行以：提供包括多个颜色滤波器的颜色滤波器组，所述颜色滤波器具有对应的多个光谱频率响应；提供一个或更多个评估所述颜色滤波器阵列的标准；执行以下迭代步骤：(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括所述期望数量的颜色滤波器，(ii)基于所述一个或更多个标准，评估所述多个测试滤波器阵列中的每个，(iii)基于所述评估，将评估参数分配给所述多个测试滤波器阵列中的每个，以及(iv)在下一个迭代中，包括在测试群组：(a)基于所述评估参数而选择的先前评估的测试滤波器阵列的第一比例，(b)通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，该颜色滤波器是从两个基于评估参数选择的先前评估的测试滤波器阵列中随机选择的，以及(c)先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的颜色滤波器的一个用来自所述颜色滤波器组的随机选择的颜色滤波器代替；重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；并且将所述最佳颜色滤波器阵列实施为用于数码相机的颜色滤波器阵列。
在一些实施方式中，所述一个或更多个标准选自包括以下的组：量子效率、曝光均匀性和光谱近似精确度。
在一些实施例中，所述一个或更多个标准是光谱近似精确度，并且评估所述多个测试滤波器阵列中的每个的步骤包括：提供包括第一光谱带组中的数据的第一数字图像；通过所述最佳颜色滤波器阵列投影所述数字图像以获得包括第二光谱带组中的数据的第二数字图像；提供包括所述第一光谱带组中的特征和所述第二光谱带组中的对应值的字典；基于字典，近似所述第二数字图像的所述第一光谱带组中的数据；并且将(a)所述第一数字图像的所述第一光谱带组中的所述数据与(b)所述第二数字图像的所述第二光谱带组中的所述数据进行比较，以得到所述评估参数。
在一些实施方案中，所述评估参数表示为相对均方根误差(RRMSE)。在一些实施例中，所述期望数量的颜色滤波器至少为3。在一些实施例中，颜色滤波器组包括700至1500个颜色滤波器。
在一些实施方式中，所述第一比例等于测试群组的10％，所述第二比例等于测试群组的40％，并且所述第三比例等于测试群组的10％。
还提供了一种装置，包括：图像传感器，被配置为捕获数字图像；滤波器阵列可操作地耦合到所述图像传感器，所述滤波器阵列包括期望数量的颜色滤波器，其中所述滤波器阵列的组成由包括以下步骤的过程确定：提供颜色滤波器组，其包括多个颜色滤波器，颜色滤波器具有对应的多个光谱频率响应；提供用于评估所述颜色滤波器阵列的一个或更多个标准；使用至少一个硬件处理器执行以下迭代步骤：(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括所述期望数量的颜色滤波器，(ii)基于所述一个或更多个标准，评估所述多个测试滤波器阵列中的每个，(iii)基于所述评估，将评估参数分配给所述多个测试滤波器阵列中的每个，以及(iv)在下一个迭代中，包括在测试群组：(a)基于所述评估参数而选择的先前评估的测试滤波器阵列的第一比例，(b)通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，该颜色滤波器是从两个基于评估参数选择的先前评估的测试滤波器阵列中随机选择的，以及(c)先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的颜色滤波器的一个用来自所述颜色滤波器组的随机选择的颜色滤波器代替；重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；并且将所述最佳颜色滤波器阵列实施为用于数码相机的颜色滤波器阵列。
在一些实施例中，所述图像传感器是电荷耦合器件(CCD)图像传感器。在一些实施例中，所述图像传感器是互补金属氧化物半导体(CMOS)图像传感器。在一些实施例中，该装置还包括两个或更多个所述图像传感器。在一些实施例中，该装置还包括分束器，该分束器被配置为将光引导到所述两个或更多个所述图像传感器。在一些实施例中，该装置还包括两个或更多个所述滤波器阵列。
在一些实施例中，所述期望数量的颜色滤波器至少为3。
在一些实施例中，所述装置被配置用于捕获期望的一组光谱带中的图像。
在一些实施例中，该装置还包括至少一个硬件处理器，其配置用于近似来自由所述装置捕获的图像的高光谱数据。在一些实施例中，所述至少一个硬件处理器还被配置为从所述高光谱数据模拟期望的光谱带组中的数据。在一些实施例中，所述期望的一组光谱带包括红-绿-蓝(RGB)光谱带。在一些实施例中，所述高光谱数据用于对由所述装置捕获的图像执行照明估计和校正。
在一些实施例中，所述高光谱数据用于对由所述装置捕获的图像应用重新光照。在一些实施例中，所述高光谱数据用于从由所述装置捕获的图像生成光谱高动态范围成像。在一些实施例中，所述高光谱数据用于材料识别。在一些实施例中，所述高光谱数据用于对象识别，包括面部识别。
在一些实施方案中，所述一个或更多个标准选自包括以下的组：量子效率、曝光均匀性和光谱近似精确度。
在一些实施方案中，所述第一比例等于测试群组的10％，所述第二比例等于测试群组的40％，并且所述第三比例等于测试群组的10％。
还提供了一种用于模拟光谱数据的方法，该方法包括使用至少一个硬件处理器来：接收包括高光谱数据的数字图像；通过对所述高光谱数据应用对应于所述期望的光谱带组的一个或更多个光谱响应函数，在期望的光谱带组中生成图像。还提供了一种用于模拟光谱数据的计算机程序产品，该计算机程序产品包括非暂时性计算机可读存储介质，其具有包含在其中的程序代码，该程序代码可由至少一个硬件处理器执行以：接收包括数字图像的数字图像高光谱数据；通过对所述高光谱数据应用与所述期望的光谱带组相对应的一个或更多个光谱响应函数，生成期望的光谱带组中的图像。
在一些实施例中，所述高光谱数据包括波长在400纳米至800纳米之间的光谱带中的数据。在一些实施例中，所述期望的一组光谱带是红-绿-蓝(RGB)。在一些实施例中，所述期望的光谱带组的每个带具有5至100纳米的宽度。
在一些实施例中，用于接收包括高光谱数据的所述数字图像的步骤还包括从有限的光谱带组中的值近似所述高光谱数据。
在一些实施例中，所述近似所述高光谱数据包括：提供包括第一光谱带组中的数据的数字图像；提供字典，包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组是不同的；基于字典，近似所述数字图像的所述第二光谱带组中的数据。
在一些实施例中，所述第二光谱带组在400纳米至800纳米之间。在一些实施例中，所述字典包括超完备字典。在一些实施例中，该方法还包括基于一组代表性多光谱图像构造字典，每个代表性多光谱图像包括所述第一光谱带组和所述第二光谱带组中的数据。
在一些实施例中，用于接收包括所述高光谱数据的所述数字图像的步骤包括：提供包括第一光谱带组中的数据的数字图像；提供查找表，该查找表包括与所述第一光谱带组中的所述数据相对应的高光谱值；并基于所述查找表生成包括高光谱数据的图像。在一些实施例中，所述查找表还包括机器学习算法。
在一些实施例中，用于在期望的光谱带组中生成图像的步骤包括使用至少一个硬件处理器来：提供包括第一光谱带组中的数据的数字图像；提供查找表，该查找表包括与所述第一光谱带组中的所述数据相对应的所述期望的光谱带组中的值，其中所述第一光谱带组和期望的光谱带组是不同的；并且基于所述查找表，生成所述期望的光谱带组中的图像。在一些实施例中，所述查找表还包括机器学习算法。
除了上述示例性方面和实施例之外，通过参考附图并通过研究以下详细描述，其他方面和实施例将变得明显。
附图说明
示例性实施例在参考图中示出。通常选择图中所示的部件和特征的尺寸是为了方便和清楚地呈现，并且不一定按比例示出。图列出如下。
图1示出了根据一个实施例的用于近似光谱数据的方法的流程图；
图2示出了根据一个实施例的装置的框图；
图3A-3D示出了根据一个实施例的重构光谱(虚线)和地面真值数据(实线)的随机样本的曲线图；
图4示出了根据一个实施例的重构图像的每个光谱通道的平均RMSE与CIE 1964颜色响应函数的关系曲线图。
图5A-5C示出了根据一个实施例的用于消费者RGB相机输入的重构光谱(虚线)和地面真值(实线)的样本的曲线图；
图6示出了在一组多个商用相机中发现的与红色通道中的响应函数有关的可变性；
图7A示出了典型的拜耳CFA(Bayer CFA)布置的示意图；
图7B示出了商用图像传感器的量子效率，具有和不具有将拜耳滤波器应用于传感器表面两者；
图7C-7E示意性地示出了拜耳CFA及其常见的替代方案；
图8A示出了期望的滤波器组的特性；
图8B显示了一个多相机阵列；
图9-10显示了使用商用相机的高光谱重构评估结果；
图11A-11D显示了根据一个实施例的用于选择数码相机的颜色滤波器阵列的方法的测试的实验结果；
图12A-12C显示了根据一个实施例的用于选择数码相机的颜色滤波器阵列的方法的测试的实验结果；
图13示出了根据一个实施例的使用消费者相机滤波器组和优化的滤波器组的高光谱重构之间的性能差距；
图14是根据一个实施例的用于从重构的光谱数据生成RGB数据的方法的示意图；和
图15A-15B分别示出了根据实施例的由模拟的RGB相机观看的样本场景，以及由优化的相机系统重构的样本场景。
具体实施方式
公开了一种用于从RGB图像恢复高光谱(HS)数据的方法。
还公开了一种用于选择优化的颜色滤波器阵列(CFA)的方法，用于提高光子效率和改进从RGB图像恢复HS数据；以及包含所述优化的CFA的相机系统。
还公开了一种用于从所述优化的CFA的输出生成全色图像的方法。
根据一些实施例的相机系统包括设计用于量子效率提高的非rgb滤波器，其通过高光谱重构并投影回RGB而产生RGB图像。重构过程可以在相机内发生，或者可以预先计算，例如，作为查找表。
词汇表
光谱带：本文使用的光谱带是指电磁波谱中的一定波长范围或波段。例如，数字颜色图像可以包含三个光谱带中的数据-红色、绿色和蓝色。
光谱带组：本文使用的光谱带组意味着两个或更多个离散光谱带。这些离散的光谱带可以在电磁波谱中彼此紧邻、部分重叠，或者彼此远离。光谱带组的示例是包含在RGB数字图像中的信息，如上所述，其包括三个光谱带中的数据-红色、绿色和蓝色。
多光谱：本文使用的多光谱是指由多个光谱带中的数据组成的数字图像或数字信号。
高光谱：本文使用的高光谱是指由相对大量的光谱带组成的多光谱数字图像或信号。这种数字图像或信号包含来自电磁频谱中相对大范围的信息。这样的范围可以包含可见光谱内的光谱带，或者在某些情况下，可以延伸超出可见光谱。例如，高光谱数字图像或信号可包括可见光、紫外和红外波长范围内的光谱带。
场景：本文使用的场景可以与术语“域”同义，并且可以涉及使用成像设备在有形介质上捕获的场景。
自然场景：本文使用的自然场景涉及图像场景，其包括室内、室外、城市景观、乡村、景观、地形、地势、野生动物、植被和类似视图中的任何地平面。
量子效率或光子效率：图像传感器的量子效率或光子效率定义为光子撞击设备的光反应表面产生电荷载流子的百分比。具有高光效的图像传感器对光更敏感。在图像传感器设计中，提高光子效率是有益的，因为它增加了传感器在低光条件下工作的能力。
数据，信息和值：数据、信息和值意味着可以存储在易失性(瞬态)或非易失性(非瞬态)存储器设备上的数字数据，并且可以由至少一个硬件处理器根据程序指令进行处理。
字典：本文使用的字典是指输入数据的表示，例如信号或图像，其中输入数据被分解为一系列字典条目。
超完备字典：超完备字典是指字典元素的数量大于信号/图像的维度的字典。
从RGB图像中恢复高光谱数据
本文公开了数字图像中光谱数据的近似。有利地，该近似产生比最初获得的数字图像更丰富的数字图像；也就是说，更丰富的数字图像包含未包括在原始获取的数字图像中的光谱数据。例如，由第一光谱带组(例如，红-绿-蓝或RGB带)组成的数字图像可以用附加的光谱带来丰富，所述附加的光谱带不包括在所采用的原始图像中。
该近似基于以下发现：至少在电磁波谱的某些范围内，一组光谱带中的光谱数据(或光谱值)可以足够可靠地指示另一组光谱带中的光谱数据。定义这种足够可靠性的阈值可以由用户指定，例如根据具体情况。上述发现使得能够构造字典，其将一组中的光谱数据转换为另一组的字典。基于所提供的高光谱图像库，已经为自然场景实验性地构造了这样的字典，所述高光谱图像库在每个图像中包括如此宽波长范围的光谱数据，其足以分离成两个(或更多个)不同的光谱带组。这些高光谱图像已通过复杂、昂贵的HIS获得。然而，对于字典的构造，HIS仅需要一次，并且不需要获取任何新图像并且近似这些图像中的新光谱数据。
类似于上述字典的创建，本文提供了用于构造用于不同用途的字典(例如，用于除自然场景之外的场景)的字典的一般方法。
由于当今最先进的高光谱系统仍然需要针对所获取的每个帧的进行特殊采集硬件和/或复杂且昂贵的计算，因此本近似的有利性质是清楚的。在本文提出的方法中，采集系统仅需要RGB并且不需要高光谱输入(因此不需要高光谱设备)，并且仅在许多后续采集之前需要进行大量必要的计算。
高光谱成像是一种重要的视觉形态，具有越来越多的兴趣和广泛的应用。然而，这种类型的成像受到许多现有设备在空间、光谱和/或时间分辨率方面受到限制的事实而被严重限制，同时仍然既复杂又昂贵。相反，本方法提供了低成本和快速的替代方案，其中近似光谱数据，例如高光谱数据，而不是实际获得的。
现在参考图1，其示出了根据一些实施例的用于近似光谱数据的方法100的流程图。方法100包括，在步骤102中，提供具有第一光谱带组中的数据的数字图像作为输入。作为进一步的输入，在步骤104中提供字典，包括第二光谱带组中的特征以及第一光谱带组中的值，其中这些值对应于签名。在一些变型中，第一组和第二组是不同的。在其他变型中，第二组可以与第一组部分重叠。例如，第一组可以是RGB，第二组可以包括电磁波谱的可见范围内的其他光谱带。
然后，基于字典，在步骤106中近似第二组中的数据。最后，在一些实施例中，构造更丰富的数字图像，该图像包括第一和第二光谱数据组。即，更丰富的图像可以是高光谱的，尽管仅具有较窄的光谱图像作为输入，以及字典。
回到RGB示例，本方法可以首先利用先验的高光谱信息，以便为可观察的高光谱特征及其对应的RGB投影创建字典。在该示例中，尽管使用仅RGB输入，但本方法可以快速、准确并且提供现有技术的高分辨率高光谱立方体。
本公开的关键是利用关于特定特征类型的风景的图像中的高光谱特征的分布的先验信息。为了简化呈现，本讨论利用自然图像的示例。然而，本领域技术人员将认识到，本方法也可适用于其他类型场景中的高光谱特征分布的先验信息，例如城市地区的航空摄影、农业区的航空摄影、各种产品的工业摄影、产品照片，医学成像等。
在一些实施例中，通过使用真实HIS获取一系列高光谱图像从现实世界中采样先验信息，但是对于每种类型的风景，该过程可以仅进行一次。当然，人们可以使用现有的地面级高光谱图像集合，但不幸的是，迄今为止只发布了有限数量的此类数据集。值得注意的例子包括G.Brelstaff、A.P'arraga、T.Troscianko和D.Carr的，高光谱相机系统：获取和分析(Hyperspectral camera system：acquisition and analysis)，SPIE期刊，2587卷，150-159页，Citeseer，1995，2(乡村场景/植物生命的29幅图像)；D.Foster、K.Amano、S.Nascimento和M.Foster，自然场景中同色异谱的频率(Frequency of metamerism innatural scenes)，JOSA A，23(10)：2359-2372，2006，2，3(16个城市/乡村场景)；F.Yasuma、T.Mitsunaga、D.Iso和S.Nayar，广义分类的像素相机：分辨率、动态范围和光谱的捕获后控制(Generalized Assorted Pixel Camera:Post-Capture Control of Resolution,Dynamic Range and Spectrum)，技术报告，2008年11月.2，5(各种对象的32个影棚图像)；最近，由A.Chakrabarti和T.Zickler撰写的真实世界高光谱图像统计(Statistics ofReal-World Hyperspectral Images)，IEEE会议期刊，计算机视觉和模式识别(CVPR)，193-200页，2011，2(50个主要是城市室外场景和27个室内场景)。
由于收集高光谱图像数据集可能是费力的，因此大多数上述数据库可能在范围上受限(于成像的少量场景数，如果没有别的话)。同时，一些可用数据也可能缺乏空间分辨率(例如，Brelstaff数据集中的图像大小为256x256像素)并且所有数据都可能具有33个通道或更少的光谱分辨率。为了更好地收集高光谱先验，并提供更好的工具来推进自然高光谱图像研究，提供了新的和更大的、以高空间和光谱分辨率捕获自然图像的高光谱数据库。
在一些实施例中，目标是从其RGB图像重构自然场景的高光谱图像。从表面上看，这是一项艰巨的任务。即使在光谱的紧凑子集中，光谱特征也是非常高的(并且在理论连续体中，是无限高的)维度对象，而RGB信号是三维的。因此，从RGB到高光谱的反投影是严重不受约束的，并且由眼睛或RGB相机执行的多对一映射的反转似乎不太可能。
然而，本方法可能仅能够从RGB数据获得可靠的高光谱信号近似，并且在其他实施例中，能够从不同的第二组光谱数据获得某一第一组光谱数据的可靠近似。在某些条件下，这种以其他方式不适定的转变确实是可能的。该成就可以解释如下。首先，感测系统可能遇到的高光谱信号组可能被限制在所有高光谱信号的高维或甚至无限维空间内的低维流形。其次，该低维流形内的异构体的频率可能相对较低。在比色法中，同色异谱通常被定义为具有不同光谱功率分布的物体的表观颜色的匹配。匹配这种方式的颜色称为同色异谱。如果两个条件都成立，如本案例所示，则RGB传感器的响应实际上可以在光谱特征上显示出比最初出现的更多，并且从后者到前者的映射确实是可实现的。
有趣的是，已发现自然场景中同色异谱对的相对频率低至10-6–10-4(参见D.Foster、K.Amano、S.Nascimento和M.Foster，自然场景中同色异谱的频率，JOSA A，23(10)：2359-2372，2006)。这种非常低的速率可能表明，至少在这个特定域中，表面识别之间的混淆可能是非常不可能的。另外，已经报道了重复的发现表明可见光谱亮度的有效维度/尺寸可能相对较低。
物体的光谱反射率可以由两个主要因素确定：其材料成分和照明的光谱特性。虽然许多因素可能以微妙的方式影响由材料样品反射的光谱，但通常可以将其视为由构成样品的不同材料产生的反射光谱的线性组合。尽管自然界中可能的材料的范围可能很大，但可以想到，只有少数可能在高光谱图像中的每个特定像素处测量的贡献了光谱。因此，如本方法所提供的，表示在自然图像中观察到的光谱的有利方式可以是存储在字典中的基础光谱的稀疏组合。
基于观察到的自然高光谱图像的稀疏性，用于从RGB测量重构高光谱数据的本方法可以如下公式化：设Dh是自然图像中高光谱特征hi(表示为列向量)的超完备字典：
Dh＝{h1，h2，...，hn} (1)
一旦获得，可以通过受体光谱吸收函数将字典投影到传感器空间。虽然这种公式可能是通用的，适合不同类型的传感器，但在这里我们可能会关注RGB传感器和RGB响应曲线。如果d＝dim(hi)是量化到期望的分辨率之后的光谱特征的维度，则这些投影可以表示为具有3×d维度的矩阵R的内积，其可以产生三维矢量ci＝(ri，gi，bi)T的对应的RGB字典Drgb：
Drgb＝{c1，c2，...，cn}＝R·Dh (2)
使得
可以维持每个RGB矢量ci与其高光谱起源hi之间的对应关系，以用于从RGB到高光谱特征的映射。这也可以完成仅进行一次的预处理阶段。
给定RGB图像，可以使用以下步骤来估计场景的对应高光谱图像。对于RGB图像中遇到的每个像素查询cq＝(rq，gq，bq)T，可以找到权重向量w，使得：
Drgb·W＝cq (4)
一旦找到w，可以通过相同的线性组合估计光谱hq下面的(underlying)cq，这次应用于高光谱字典：
hq＝Dh·w (5)
由于Drgb是从Dh生成的，因此可以遵循(从等式2和4)的是，重构的光谱可以与字典一致：
cq＝R·hq (6)
hq是否确实是生成像素cq的高光谱数据的精确表示取决于字典的表示能力，其已经在下面讨论的实验中凭实验证明。
除非另有明确说明，否则从上述讨论中可以明显看出，应当理解，在整个说明书中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”，“确定”等术语来讨论动作和/或计算系统或类似电子计算设备的过程，其将表示为计算系统的寄存器和/或存储器内的物理的(例如电子)量的数据操纵和/或转换成类似地表示为计算系统的存储器、寄存器或其他内的物理量的其他数据。
一些实施例可以，例如，使用存储在计算机可读介质或物品上的计算机程序产品来实现，该计算机可读介质或物品可以保存指令或指令集，如果由计算机执行(例如，由硬件处理器和/或通过其他合适的机器)，则使计算机执行根据本发明实施例的方法和/或操作。这样的计算机可以包括，例如，任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和/或软件的任何合适的组合来实现。计算机可读介质或物品可包括，例如，任何类型的盘，包括光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦除和可编程只读存储器(EEPROM)、闪存、磁或光卡或适用于存储电子指令的任何其他类型的介质，以及能够耦合到计算机系统总线。
指令可以包括任何合适类型的代码，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等，并且可以使用任何合适的高级、低级、面向对象的、可视的、编译的和/或解释的编程语言实现，例如C、C++、C#、Java、BASIC、Pascal、Fortran、Cobol、汇编语言、机器代码等。
有利地，本方法可以用于利用可见光(也称为RGB)数码相机，可选地利用消费级相机，以重构比相机实际获取的数字图像更丰富的数字图像。现在参考图2，其示出了根据一些实施例的示例性装置100的框图。装置100可以是，例如，数码相机。装置100可以配备有图像传感器202(可选地为RGB)、硬件处理器204和非瞬态(也称为“非易失性”)存储器206。非瞬态存储器206可以存储上述字典或多个本文用数字208表示不同域的字典。如上所述，在通过图像202获取数字图像(例如RGB)之后，硬件处理器204可以基于数字图像中的值(例如RGB值)和属于不同光谱带组的光谱数据的特征之间的对应关系来近似属于不同光谱带组的光谱数据。
实验结果
使用来自发明人使用Specim PS Kappa DX4高光谱相机和用于空间扫描的旋转台获取的新高光谱数据库的图像来测试所公开的方法。此时，从各种城市(住宅/商业)、郊区、乡村、室内和其他自然场景中捕获了100张图像。所有图像的空间分辨率为1392x1300，光谱带为519(400-1000nm，增量约为1.25nm)。为了进行比较，并且尽可能使用先前发布的数据集和基准。
从每个图像使用的光谱范围大致限于可见光谱，并且通过将原始窄带适当地合并到420-720nm范围内的大约10nm的31个带来计算地减少。这样做既可以降低计算成本，但主要是为了便于与以前的基准进行比较。为了测试本方法，使用CIE(国际照明委员会)1964颜色匹配函数选择来自数据库的测试图像并将其映射到RGB。然后使用来自所有剩余图像的10,000个随机样本来使用K-SVD(奇异值分解)算法来创建超完备高光谱字典Dh。字典大小限制为300个原子(在每个原子50个非零权重的稀疏性约束下)。然后将得到的字典投影到RGB以形成Drgb。一旦获得所有这些分量，如上所述估计测试图像的每个像素的高光谱特征，其中使用OMP(正交匹配追踪)算法计算每个RGB像素的字典表示。重复该过程直到每个图像被选择用于测试并且多次独立地重构以折扣字典的随机方面。
将重构的高光谱图像与来自数据库的地面真值数据进行比较，并计算RMSE(均方根误差)误差。另外，对于数据库中的特定图像子集(城市场景、乡村场景等)重复相同的过程，以便探索特定于域的先验对重构性能的影响。
现在参考图3A-D示出了重构光谱(虚线)和地面真值数据(实线)的随机样本的图。它举例说明了用所公开的方法获得的光谱重构的质量(回想一下，重构期间唯一的输入是RGB信号)。这种类型的结果不仅代表定性而且代表非常精确的定量重构，其可以表征数据库中所有图像中的绝大多数像素。在对两个所选图像的重构和地面真值光谱带进行比较时，得到了相对浅的误差图(使用与Kawakami等中的相同比例用于比较)。参见R.Kawakami、J.Wright、T.Yu-Wing、Y.Matsushita、M.Ben-Ezra和K.Ikeuchi，基于矩阵分解的高分辨率高光谱成像(High-resolution hyperspectral imaging via matrix factorization)，计算机视觉和模式识别(CVPR)，2011IEEE会议，2329-2336页，2011。
表1列出了上述评估过程的汇总结果(绝对RMSE值显示在0到255之间)：
表1
现在参考图4，其显示了重构图像的每个光谱通道的平均RMSE的图。平均而言，在整个实验数据库中，重构了高光谱图像，RMSE误差为2.74。每个光谱通道的性能没有显著变化，不包括700-720nm范围，其中CIE 1964颜色匹配几乎不提供RGB数据。当字典构造和重构过程都限于特定域时，性能通常会进一步提高，因为来自特定类别的图像更可能共享先验高光谱。因此，预料本方法在受限的域任务中表现尤其好。如表所示，这种前景的唯一例外是室内类别，其中各种人造光源在高光谱先验中提供了更大的可变性，其对稀疏性假设的挑战远远超过其他类别。
最后，该方法应用于Chakrabarti和Zickler(同上)获取的高光谱数据库。将该组划分为室内和室外图像，在上表的底部报告了每个子集的平均RMSE。请注意，虽然这些数据集的平均RMSE仍然相对较低并且与之前报告的结果相当(例如，Kawakami等，同上)，但与现有数据库相比，性能明显下降，部分原因是高光谱模糊会污染数据。
将本方法与Kawakami等(同上)提出的结果进行了比较。并在Yasuma数据集(同上)上进行测试。如前所述，该数据集包含32个摄影棚图像，其中许多包含大的深色背景区域。通过随机取样这些图像的高光谱先验的初步获取可能会产生一个结果偏倚的字典，其中真正的高光谱信息严重不足。另外，作为不同随机对象的室内集合，不可能从一个集合中收集的先验可以成功地用于为其他对象重构光谱特征。为了克服这些限制，在重构之前分别从每个图像中采样高光谱先验。从整个图像或图像的中心区域随机地采样10,000个像素(每个图像的3.8％)以避免深色(高光谱贫乏)背景(如果存在的话)。然后将这些计算地减少到300矢量高光谱字典。另外，K-SVD算法的初始原子是从采样的先验中随机选择的，或者是通过它们的投影RGB值之间的距离的最大化来选择的。使用每个得到的字典进行重构，结果报告在表2中(绝对RMSE值显示在0到255之间)：
表2
正如在该表中可以观察到的，尽管仅使用RGB进行重构，但结果是相当的(注意Kawakami等(同上)报告了整个数据库中8个图像的结果)。重要的是，虽然Kawakami等(同上)报告了在八核CPU上分解和重构4008x2672图像的几个小时的计算，本算法在几秒钟内完成了字典构造和图像重构(在Intel Core i5-2400个人计算机上计时，其具有时钟速度3.1GHz，采用Matlab实现)。在一些实施例中，所公开的方法可以大规模并行化，例如使用单独的处理器或核，因为每个像素的重构独立于其他像素。
在一些实施例中，本方法提供将消费级RGB数码相机转变为高光谱采集设备的能力，从而允许真正低成本和快速的HIS。这个过程的挑战在于用目标RGB相机校准的高光谱先验的获得，或等效地，准确了解相机滤波器响应曲线、白平衡和增益控制程序，以及在设备上完成的所有会影响最终报告的RGB图像的其他图像处理。已经证明，通过使用佳能400D数码DSLR(数码单反相机)相机获取RGB图像以及使用Specim相机的对应的高光谱图像(用于字典构造和用于评估重构误差的地面真值)。使用DSLR的估计光谱响应曲线计算高光谱先验(参见H.Zhao、R.Kawakami、R.Tan和K.Ikeuchi，估计数字相机光谱灵敏度的基函数(Estimating Basis Functions for Spectral Sensitivity of Digital Cameras)，图像识别和理解会议，卷7，2009，在400-700nm范围内，光谱范围被限制在约10nm的31个波段，对应于DSLR响应曲线的范围。然而，本实施例不限于这个数量的带，也不限于它们的宽度。
如上所述，对通过手动登记确定的获取的高光谱和RGB图像之间的若干对应点重复地重构和评估程序。现在参考图5A-C，其示出了用于消费者和模拟的RGB相机输入的重构光谱(实线)和地面真值(虚线)的样本的图。虽然没有执行校准程序(不包括白平衡调整)，但在整个场景和各种不同材料上都能以高精度恢复全光谱亮度，这表明基于本实施例，有关目标RGB设备的完整校准信息可以导致真正的高精度、低成本的HIS。
优化的颜色滤波器阵列的选择
本文公开了一种用于选择优化的颜色滤波器阵列(CFA)以改进相机性能度量的方法。这些度量可以包括增加的光子效率(也称为量子效率)，以及曝光均匀性，以及改进的来自RGB图像的HS数据的恢复。然而，应当理解，可以考虑额外的性能度量。该方法还可以为这些参数中的每一个分配权重，以产生具有期望属性的目标系统。
举例来说，上面在“从RGB图像恢复高光谱数据”下讨论的方法将整个场景HS信息的恢复演示为标准RGB相机。虽然已经仅使用消费级RGB相机证明了高精确度HS估计，但是应当理解，并非所有RGB相机都是被相同创建的，因为它们跨多个光谱带的光谱响应可以彼此间显著变化。实际上，相机响应功能不仅在制造商或相机类别之间变化，而且通常甚至在几代相似相机模型之间变化(例如，iPhone 6与iPhone 7，Canon 70D与Canon 80D等)。图6示出了在一组多个商用相机中发现的关于红色通道中的响应函数的可变性。
因此，希望提供一种对于各种考虑下的、用于有效和实际的选择滤波器阵列的方法，包括用于HS数据恢复的优化的光谱响应，以及改进的光子效率。
数码相机中的当前颜色滤波器阵列
大多数RGB相机使用光电传感器，例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)传感器，其由多个单独的像素传感器组成。光电传感器通常覆盖有颜色滤波器阵列(或CFA)或颜色滤波器马赛克(CFM)，这是一种微小颜色滤波器，布置在图像传感器的各个像素传感器上。需要颜色滤波器，因为典型的光电传感器检测具有很少或没有波长特异性的光强度，因此不能分离颜色信息。
颜色滤波器按波长范围对光进行滤波，使得单独滤波的强度包括关于光的颜色的信息。例如，常见的拜耳CFA是在光学传感器的方形网格上交替排列的微型RGB颜色滤波器的马赛克。拜耳CFA布置的颜色滤波器用于许多单片数字图像传感器，例如用在数码相机、便携式相机和扫描仪中，以产生颜色图像。拜耳马赛克图案通常为50％绿色、25％红色和25％蓝色。对于对应的单独的像素传感器，每个单独的滤波器给出关于红色、绿色和蓝色(RGB)的光谱带之一的强度的信息。然后，由像素传感器捕获的该单个带数据通过“去马赛克”或“去拜耳(debayering)”算法被转换为全色图像(具有在各个像素传感器级别表示的所有三个RGB带的强度)。
简单方法从相邻像素的颜色值内插像素的颜色值。例如，一旦光学传感器暴露于图像，就可以读取每个像素。具有绿色滤波器的像素提供该像素的绿色分量的测量。然后可以从紧邻的像素获得该像素的红色和蓝色分量。对于绿色像素，可以内插两个红色相邻值以产生红色值，并且类似地，可以内插两个蓝色像素以产生蓝色值。因此，为图像中的每个像素获得完整的RGB值集。
参考图7A，示出了典型的拜耳CFA布置700的示意图。光学传感器702的单独像素覆盖有绿色704a、红色704b和蓝色704c滤波器的马赛克。每个滤波器的响应曲线旨在接近人视网膜中相应颜色传感器的响应曲线。因此，光学传感器702中的每个像素凭借其对应的滤波器将人体感知的波长内的光强度记录为红色、绿色或蓝色。然后组合单独像素的这些测量值，以通过去拜耳内插过程产生全色图像。这种方法允许相对准确的颜色再现，但是以显著降低的传感器量子效率为代价。图7B中的曲线图提供了商用图像传感器的量子效率的图示，具有和不具有将拜耳滤波器应用于传感器表面两者。在该传感器和其他传感器中，与同一传感器的单色版本(线710)(即没有拜耳CFA)相比，拜耳滤波器将光子效率降低了60％以上(线代表绿色712a、红色712b和蓝色712c通道)。
虽然并非所有颜色成像系统都采用拜耳滤波器，但它们中的大多数采用某种类型的红色、绿色、蓝色滤波器系统，这对量子效率施加了类似的限制。例如：3-CCD系统采用颜色分离分束器将红、绿和蓝光引导至3个不同的传感器。
如果需要颜色图像，则不能简单地移除拜耳滤波器，因为下面的图像传感器只能检测光强度并且不会提供任何颜色信息。近年来，已经进行了许多尝试来设计替代的颜色滤波器阵列，其对量子效率的影响减小。
拜耳CFA及其常用替代方案示于图7C-7E中。拜耳CFA 700通常包括50％绿色704a、25％红色704b和25％蓝色704c，单独滤波器。称为RGB-C或RGB-W的CFA，例如图7D中的CFA720，用透明的(transparent)，“透明(clear)”或“白色”滤波器724d(其没有任何颜色滤波器属性)替换一个或更多个拜耳CFA绿色像素。某些设计，例如图7E所示的三星的BriteCellCFA 740，完全放弃了绿色像素，而是选择沿着阵列的每个2×2块中的红色和蓝色像素的两个“白色”像素744d。
这些替代滤波器设计有两个主要缺点：降低颜色精确度和不均匀曝光。由于即使最初的拜耳滤波器设计依赖于内插来为每个像素生成完整的颜色信息，因此RGB-W和类似阵列必须做同样的事情，但在信息方面处于劣势。从更远的测量点(RGB-W)恢复颜色信息或完全估计它(例如，对于BriteCell CFA中的绿色通道)，可能导致颜色伪像和/或空间伪像。
在包括“白色”像素和“颜色/彩色”像素的颜色传感器中，曝光不平衡成为主要问题，因为“白色”像素可以吸收高达其“颜色/彩色”对应物的三倍的光。在许多情况下，这种传感器必须过度曝光(饱和)其“白色”像素，或者使它们的“彩色”像素曝光不足。前者导致空间伪像，而后者导致降低的颜色精确度和/或导致颜色伪像。
尝试克服RGB-C/RGB-W传感器限制的另一种方法是双摄像头采集。这种设计需要两个图像传感器采用紧密校正的校准阵列，一个颜色传感器和一个单色传感器。高量子效率单色传感器用于记录亮度信息，而伴随颜色传感器记录颜色信息。通过软件将两个结果图像组合以产生单色图像。虽然这种方法主要克服了曝光和颜色精确度问题或RGBW传感器，但它引入了由于视差效应引起的空间误差，并且需要大量额外的硬件。
HS数据恢复优化的滤波器选择的注意事项
在为相机系统设计CFA时，可以考虑以下度量：
(i)量子效率；
(ii)曝光均匀性；和
(iii)HS重构精确度。
此外，还应考虑实际考虑因素，例如商用性和制造成本以及限制因素。
实际上，选择问题可以作为有效和快速评估一组CFA的方法，每个CFA包括n个组件滤波器(例如，每个CFA 3个或4个组件滤波器)，其从可供选择的给定空间或全域组件滤波器中(例如，1,000)选择。
应当理解，即使给定空间仅包括商业上可用的组件滤波器，对这样的一组CFA的单独或手动评估是不切实际的。虽然可以使用商用性和制造约束来从组件(该组件包括必须选择的优化的CFA)缩小滤波器组件空间，但是所得到的空间可能仍然非常大。例如，从1,000个商用滤波器池中选择一组4个组件滤波器会产生超过1011种可能的组合。针对量子效率、曝光均匀性和HS重构精确度评估这些滤波器组中的每一个和全部，对于所有实际目的，都是不可行的。
为了克服该问题，公开了以下用于滤波器选择的方法，其应用演化优化算法来快速搜索大滤波器空间以获得最佳滤波器组。该方法可以使用不同的权重应用对于滤波器选择的若干标准。
在下面的讨论中，焦点应该是选择HS重构精确度作为“适应度”度量。然而，如上所述，也可以选择其他标准，例如量子效率和曝光均匀性，并且可以为每个标准分配变化的权重，以确定目标系统的期望属性。例如：如果下面的传感器具有非常高的动态范围，则量子效率可以优先于曝光均匀性等。
应用该方法以从商用的滤波器组中找到包括4个组件滤波器的CFA，产生例如期望的滤波器组，其属性在图8A中的图中示出，其中每条线表示所选择的组件滤波器的一个的量子效率。然后，最佳滤波器组可以在CFA中实现，如图8B中所示的多相机阵列，或其他光学设计(例如，分束器)。
在设计相机系统时，可以选择多个颜色滤波器阵列以形成其对特定波长的响应，称为系统的滤波器组。例如，RGB相机具有大小为3的滤波器组，其滤波器松散地接近CIE-1931颜色匹配函数。可以从包括有限(或无限)数量的滤波器的一些滤波器空间中选择大小为n的滤波器组，描述来自所述空间的n个滤波器的所有可能组合。从给定滤波器空间中选择特定滤波器组会明显影响相机系统的传感器响应。此外，滤波器选择也可以深刻地影响相机系统的高光谱(HS)估计性能。在现成的或消费级的设备的情况下，用于选择最佳相机响应曲线的合理策略可以是对这种空间中可用的产品进行逐一评估。评估数百甚至数千个候选相机的预期性能可能是费力的，但只要它们的响应函数是已知的，这是一个相当简单的过程，可以在相对短的时间内完成。尽管消费者相机的响应函数多种多样，但探索其他类别的滤波器组(包括那些与CIE-1931颜色匹配函数明显不同的滤波器组)可能会有很多好处。滤波器组优化已经部分地作为遥感领域中“最佳带选择”的一部分进行了研究，但仍然是一个开放的问题。此外，即使理论上理想的滤波器组可以很容易地计算出来，它们也可能太复杂而无法实现光学涂层或Bayer CFA。
因此，为了在低成本系统中享受改进的滤波器组的优点，必须从商用或廉价制造的滤波器领域中选择滤波器。遗憾的是，这种约束几乎不会降低问题的复杂性，因为通过各种光学供应商可以获得数千个这样的滤波器(例如，欧米茄光学公司(OMEGA Optical，Inc)。仅目录包含超过1,000个单独滤波器组件)。另外，许多制造商能够以相对低的成本在特定的参数组内生产定制的滤波器。即使在仅考虑从1,000个现成的滤波器中选择的尺寸为3的滤波器组时，可能的组合空间的大小也快速膨胀到108，使得穷举搜索变得不可行。当考虑可定制滤波器系列和/或尺寸为4的滤波器组时，可能组合的数量增加几个数量级。本公开旨在减少估计滤波器组的预期性能所需的计算量，并且还提供一种从非常大的滤波器空间快速选择接近最佳滤波器组的方法。
如上所述，本文的焦点在于用于重构来自RGB或多光谱相机的HS信号的滤波器选择。评估滤波器组的HS重构性能需要训练阶段和测试阶段。在训练阶段期间，通过处理一组HS训练图像，校准每个测试系统以从在测试的滤波器组下获得的RGB图像重构HS图像。校准后，可以分三个步骤评估每个测试系统的性能。首先，通过候选滤波器组模拟新HS源图像的光谱投影，产生一组测试RGB图像。其次，将这些测试图像馈送到HS重构算法(例如上面在“从RGB图像恢复高光谱数据”中讨论的算法)以获得重构的HS图像。最后，将重构的HS图像与其对应的HS源图像进行比较。
应当理解，尽管以下讨论集中于上文在“从RGB图像恢复高光谱数据”中公开的HS恢复方法，但是也可以使用从RGB图像进行HS重构的其他方法，并且可以从本方法中受益，例如，R.M.H.Nguyen、D.K.Prasad和M.S.Brown提出的方法，基于单个RGB图像的基于训练的光谱重构(Training based spectral reconstruction from a single RGB image)，欧洲计算机视觉国际会议(ECCV)，卷8695LNCS，第186-201页。Springer国际公开，2014(本文称为“Nguyen”)。
CFA的高光谱恢复性能测试程序
为了评估给定CFA的HS性能，发明人设计了本节中讨论的评估方法。这里讨论的评估步骤使用上面提到的两种重构方法。报告的计算时间是在配备24GB RAM的Intel Corei5-2400 CPU台式机上获得的。
关于Nguyen提出的方法，应该注意它包括用于恢复物体反射和场景照明两者的组件。但是，以下讨论仅限于反射恢复方法，可归纳如下：
训练：
(i)通过所选滤波器组将每个训练图像投影到RGB；
(ii)对投影图像进行照明校正(“白平衡”)；和
(iii)使用校正的RGB和HS像素对来训练径向基函数(RBF)网络。
测试：
(i)对测试RGB图像执行照明校正(“白平衡”)；和
(ii)使用由训练阶段产生的RGB网络，以估计每个像素的HS反射值。
当在基准平台上实施时，在16,400个训练像素上执行时，每个滤波器组的训练过程大约需要4分钟。训练完成后，系统需要2分钟才能在31个通道上重构2.5x106HS像素。训练过程中计算最密集的步骤是步骤(iii)，即RBF网络的训练。由于此步骤依赖于通过所选滤波器组投影的HS图像作为输入，因此其必须对每个评估的滤波器组重复。因此，每个滤波器组评估所需的总时间为6分钟。
发明人在上文“从RGB图像恢复高光谱数据”公开的方法从RGB像素重构HS辐射特征。使用的评估方法如下：
训练：
(i)通过K-SVD算法从训练图像生成稀疏超完备HS字典；和
(ii)通过所选择的滤波器组从步骤(i)投影HS字典，并获得对应的超完备RGB字典。
测试：
(i)使用在训练过程的步骤(ii)中产生的字典，以便通过正交匹配追踪(OMP)表示测试图像中的每个像素；和
(ii)将在步骤(i)中计算的字典权重应用于在训练过程的步骤(i)中产生的字典，以便估计每个像素的HS辐射值。
在基准平台上实施时，当执行超过106个训练像素时，训练过程大约需要5分钟。一旦经过训练，系统需要32秒来在31个通道上重构2.5x106HS像素。训练过程中计算最密集的步骤是步骤(i)，即HS字典的生成(而步骤(ii)的时间可忽略不计)。但是，与Nguyen相反，此步骤完全独立于评估的滤波器组，并且不必调每个评估的滤波器组重复。因此，每个滤波器组评估所需的时间是32秒。
CFA的高光谱恢复性能评估
如上面刚刚讨论的，通过将重构的HS图像与它们对应的HS源图像进行比较来评估滤波器组。在所有实验中，重构精确度报告为相对均方根误差(RRMSE)，表示为：
其中和/>分别表示地面真值和重构图像中第i个像素的c光谱通道值，|Pgt|是地面真值图像的大小(总像素通道)。
必须强调的是，测量相对误差而不是绝对误差是一种更为保守的方法，其可确保低亮度像素和光谱通道中的误差与高亮度像素/通道中的误差(即使它们通常绝对值小很多)相等。
利用Nguyen方法的实验基于Nguyen等人提供的代码。利用发明人在上文“从RGB图像恢复高光谱数据”中公开的方法的实验基于发明人的实施。在该实施中，投影到相机域的图像在进一步处理之前被截断为3位有效数字，以便模拟相机传感器的有限动态范围。
应当理解，测试的目的不是在两种重构方法之间进行比较，或者认为一种方法优于另一种方法。相反，目的是证明即使估计方法和目标场景不同，滤波器选择也对重构性能具有显著影响。
最后，应注意，本文公开的方法的主要目标是对于非常大的滤波器空间设计滤波器选择方法。因此，尽管已经证明两种恢复方法都受到滤波器选择的显著影响，但是下面讨论的较大规模实验仅采用上文公开的恢复方法，其每个滤波器组的处理时间短一个数量级。
评估结果
为了评估CFA响应函数的微小变化对从RGB图像恢复HS数据的影响，在28个模拟相机上进行了评估的HS重构性能的实验。为了评估滤波器选择对Nguyen方法的影响，使用发明人提供的未修改代码针对28个相机响应函数中的每个训练RBF网络。训练图像集由16,400个HS像素组成，而测试图像集包括25个包含总共5.6x107个HS像素的完整测试图像。图9描绘了测试图像的分类RRMSE值与所有相机的估计反射的关系。虽然单独相机之间的性能差异可能很小，但在最差(RRMSE＝0.293)和最好(RRMSE＝0.238)预成型相机之间容易观察到明显的差距和18.7％的改进。
对于在上文“从RGB图像恢复高光谱数据”中公开的本方法执行类似的评估过程。由于该方法中的大多数训练过程独立于评估的滤波器组，所以训练集包括从随机选择的106个像素，该HS数据库包括51个训练图像(每个图像20,000个像素)。来自相同数据库的第二组51个图像用于测试阶段。图10示出了重构性能，并且再次，在最差(RRMSE＝0.160)和最好(RRMSE＝0.127)预成型相机之间容易观察到明显的差距和20.6％的改进。
为了从更大的滤波器空间中快速选择滤波器，对从在51个测试集中随机采样的仅2.5x106像素进行了第二次实验。如图10所示，这种采样方法提供了几乎相同的结果。实际上，随机像素样本在整个测试集中表现为非常强的性能预测因子(最大相对差<0.09％)，从而有助于在更大的滤波器组上进行类似的评估和滤波器选择。
滤波器组的演化优化方法
如上所述，即使仅考虑少量消费者相机滤波器组，HS重构性能也可能在CFA组之间显著变化。由于这些相机都没有设计有考虑到HS重构，因此在这些商用相机之外的滤波器空间上的最佳滤波器选择可以为HS重构提供显著的性能增益。也就是说，在HS估计的任务中评估特定滤波器组的性能可能是计算密集型任务。根据所使用的方法，重构单个100万(MP)像素测试图像可能需要几秒钟。因此，对大的滤波器空间的穷举评估仍然是不切实际的。为了进一步解决问题，滤波器空间(滤波器组合的空间)既不是连续的也不是凸的。因此，凸优化方法不太可能收敛到最优解。
幸运的是，演化算法非常适合这些问题，并且可以以比单独评估显著更低的计算成本提供接近最优的解决方案。为了有效地在大滤波器空间内发现非常适合于的HS重构的滤波器组，应用了演化方法。从整个空间生成一组随机滤波器组合。评估这些滤波器组并对其进行排序以获得重构性能。然后执行以下迭代过程，其中一组新的滤波器组合，包括取自滤波器空间的新随机组合，以及高度评分的先前测试的组合，高评分的先前测试的组合的突变，以及高评分先前测试的组合的组合，如下：
·适者生存保留了最高评级的先前测试的滤波器组，以包含在后续测试群组中；
·交叉组合先前测试的最高评级集合中的两个滤波器(根据它们的适应度排序)，生成一个“后代”，其中包含来自两组中每一组的随机选择的滤波器；
·突变通过随机替换先前测试的滤波器集中的一个滤波器组件来生成新的滤波器组；和
·随机替换从整个滤波器空间创建新的滤波器组以供评估，以用于下一次迭代过程。
通过从整个滤波器空间中随机选择滤波器来产生随机替换。每个新的“种群”由10％的先前种群滤波器组成，这些滤波器由“适者生存”阶段选择，40％是在先前迭代中评估的滤波器组的交叉产物，10％是来自先前迭代的滤波器组的突变，40％是随机生成的滤波器组。
重复该演化优化过程，直到最好的重构性能在若干次迭代中保持恒定，或者达到预定的运行时间限制。
实验结果
为了评估所公开方法的性能，在以下滤波空间中对3个滤波器组进行了演化优化：
·Midopt提供的一组21个滤波器。
·由J.Jiang、D.Liu、J.Gu和S.Susstrunk测量的一组84个商用相机滤波器，“数码彩色相机的光谱灵敏度功能的空间是什么？(what is the space of spectralsensitivity functions for digital color cameras？)”，计算机视觉应用(WACV)，2013IEEE研讨会，第168-179页，IEEE，2013。
·OMEGA Optical，Inc提供的一组1022个滤波器。
应当理解，这些空间分别包含1330,95284和1.77×108个可能的3滤波器组合。每个实验中的训练集包括从51个HS训练图像中随机选择的106个像素(每个图像20,000个像素)。为了进一步降低计算成本，测试集包括上述2.5x106个随机像素样本。
·中间(Midopt)滤波器空间
为了探索消费者相机的替代方案，以及本文公开的演化优化方法的收敛，在Midopt滤波器空间上进行小规模实验。Midopt滤波器系列包含21个带通和“颜色校正”滤波器，可产生1,330种可能组合的相对较小的3计数滤波器空间。对每种组合进行单独评估，得到图11A中所示的RRMSE性能。类似地，对于图10中描述的超过28个消费者相机的结果，在最好和最差性能的滤波器组之间存在显著的性能差距。此外，最好的性能的滤波器组提供的平均RRMSE为0.116，比消费者相机有所改善(最好的RRMSE＝0.127)。
因此，可以得出结论，即使小的通用滤波器组也可以提供相对于消费者相机RGB滤波器的优势。尽管Midopt滤波器组可能太小而无法通过演化优化获得显著的性能提升，但是通过执行50次重复的演化优化来检查后者的收敛性，其中种群大小为100。平均而言，在9.14次迭代中，优化收敛到最佳滤波器组(RRMSE 0.116)，在检查499个不同的滤波器(小于整个滤波器空间的38％)之后。图11B描绘了在Midopt滤波器空间内找到的最佳滤波器组。最后，为了进一步验证在演化优化期间使用的随机像素子集的表示能力，在所有测试图像(9.2x107高光谱像素)上重新计算最佳执行滤波器组的RRMSE值，再次产生RRMSE＝0.116的结果。
·商用相机滤波器空间
探索带通和“颜色校正”滤波器的组合在现有相机设计的HS重构精确度方面提供了显著的优势。不是完全放弃类似RGB的滤波器，而是检查来自消费者相机的现有RGB滤波器的替代组合可能是有益的。因此，考虑了由Jiang等(同上)测量的所有84个消费者相机滤波器(28个相机，每个相机三个滤波器)定义的滤波器空间。这些滤波器跨越95,284种可能组合的滤波空间，在该组合上进行了穷举的评估和演化优化。
图11C描绘了每个滤波器组的HS重构的RRMSE。最佳滤波器组，如图11D所示，包括来自Canon 5DMarkII的蓝色滤波器，来自Nikon D40的绿色滤波器和来自Hasselblad H2的红色滤波器。结合作为滤波器组，他们提供了0.119的RRMSE，相对于每个单独的相机(佳能Canon 5DMarkII，RRMSE 0.133；尼康Nikon D40，RRMSE 0.149和哈苏Hasselblad H2，0.154)以及最高性能的消费者相机(尼康D5100，RRMSE 0.127)。虽然为了找到全局最优滤波器组需要对95,284个滤波器组进行穷举评估，但演化优化提供了明显更快的收敛，种群规模为300，在4代内发现近似最佳滤波器组(RRMSE 0.120)。全局最优滤波器组(RRMSE0.119)位于46代之后，需要评估少于13,800个滤波器组，占整个滤波器空间的不到15％，并且，通过扩展，代表不到15％的工作量在穷举的搜索中被扩展。使用相同参数(50次重复)的重复实验表明，平均来说，在34.8次迭代之后，找到最佳滤波器组，检查8,232种不同的滤波器组合(小于整个滤波器空间的9％)。
·OMEGA Optical，Inc.滤波空间
以前的实验不仅证明了非RGB类似的滤波器在HS重构中的实用性，而且还证明了在大滤波器空间上演化优化的有效收敛。因此，在一个大而高度变化的滤波器空间上进行了最后的实验，跨越了1,022种各样的光学滤波器，并产生了177,388,540种可能的滤波器组合。由于对整个OMEGA光学滤波器空间的穷举评估将花费许多处理器年，因此仅进行了演化优化和随机搜索。使用300的种群大小，重复三次演化优化，每次优化具有50代的最大运行时间，其一起评估总共39,595个滤波器组合并产生具有0.107的RRMSE的滤波器组。收敛非常快，并且在仅进行了4,031次评估后获得了RRMSE＝0.109的滤波器组，而在演化优化过程的其余部分中获得了RRMSE中0.002的最终增益。考虑到滤波器组的尺寸，这个结果可能不会令人惊讶，这个结果优于从较小的Midopt和商用相机滤波器组获得的最好的组。
为了在穷举搜索中获得一些性能增益的测量，如果已经执行了一次，则通过对滤波器空间重复采样大小为3的组并且评估它们用于HS重构的优点来进行随机搜索。首次遇到RRMSE＝0.107的滤波器组组合，需要344,600次滤波器评估，比演化优化高出一个数量级，并且这一结果从未得到改善，直到搜索停止在450,000次滤波器组评估。
图12A和12B表示两个处理的收敛速度，图12C表示在OMEGA滤波器空间内找到的最佳滤波器组。在所有测试图像(9.2x107超光谱像素)上重新计算性能最佳滤波器组的RRMSE值产生相同的RRMSE值。在图12A中，可以理解，对于使用穷举搜索，优化方法收敛的有多快。在图12B中，可以理解，所有演化优化尝试在最多12,920个滤波器评估中收敛到RRMSE0.109，而穷举评估需要超过175,900个单独评估以达到相同结果，并且超过238,700个评估以在其上进行改进。
通过探索各种滤波器空间，发现通过简单地选择最佳消费者相机(例如，奥林帕斯Olympus E-PL2与Nikon D5100)，可以将高光谱估计误差减少至少20.6％。如果考虑自定义滤波器组，则估计误差可以减少至少33.1％(例如，Olympus E-PL2与OMEGA滤波器空间中找到的最佳滤波器组相比)。扩大这些滤波器空间的范围可能会带来额外的收益。
图13展示了使用消费者相机滤波器组和优化滤波器组的重构之间的性能差距。使用由图中的线133a表示的最佳OMEGA滤波器组重构的HS数据紧密匹配来自由线133b表示的测试像素子集的地面真值光谱。同时，使用由线133c表示的Olympus E-PL2滤波器组重构的HS数据与测试数据不匹配。
在“现有技术”方法经常竞争单一百分点优势的领域中，这种性能改进是显著的。此外，应当理解，本方法充分证明了演化优化可以从大的滤波器空间中选择最佳或接近最佳的滤波器组，同时仅探索滤波器空间的一小部分和测试数据的小样本。
上述实验发现滤波器选择能够显著影响基于不同方法的两个HS重构系统的性能。因此，有理由相信未来的来自-RGB系统的HS，或者甚至是当前的混合RGB-HS系统，可能会受到类似的影响。因此，任何这样的系统的设计应该考虑滤波器选择，并且可以采用所公开的方法来优化该过程。
压缩的感测RGB相机
本文公开了一种相机系统，其包括优化的CFA，用于产生全景高光谱数据和用于提高量子效率。
还公开了一种用于根据由所述相机系统产生的高光谱数据生成全RGB颜色图像的方法。
如上所述，图像传感器的量子效率或光子效率定义为光子撞击设备的光反应表面产生电荷载流子的百分比。具有高光效的图像传感器对光更敏感。简而言之-具有高光子效率的图像传感器对光更敏感。在图像传感器设计中，提高光子效率是有益的，因为它增加了传感器在低光条件下工作的能力。
可以通过若干途径增加图像传感器的光子效率，包括但不限于：增加传感器光子敏感区域的尺寸(“像素尺寸”)，改善光子传感区域的性能，以及修改到传感器的光学通路。虽然前两种方法通常需要实施显著的设计和生产成本，但后者可能以图像清晰度或颜色校正中的光学质量为代价。
期望提高现有传感器设计的光子效率，而不会显著改变制造工艺，或者不利地影响其产生的图像的光学质量。还参考在上文中的“数码相机中的当前颜色滤波器阵列”中的当前CFA技术的讨论。
如本文其他地方所述，大多数现有RGB图像传感器直接测量红色、绿色和蓝色通道上的光强度(Bayer CFA)或尝试通过外插法估计它们的值(例如，BriteCell CFA)。所公开的方法通过压缩感测提供这些值的间接测量。该公开的方法不是在宽带RGB滤波器上记录强度，而是旨在恢复到达传感器的光的整个光谱分布。一旦知道该分布，就可以容易地计算RGB通道的值。
为了实现上述目的，首先选择一组最佳滤波器用于构造CFA，用于提高的量子效率和增加的高光谱(HS)重构精确度。可以使用上文在“优化颜色滤波器阵列的选择”中公开的方法来选择最佳滤波器组。例如，最佳滤波器组可以具有如图8A中的曲线图所示的颜色响应曲线。。
如图14所示，在选择了滤波器组之后，使用所选择的滤波器组组件来构造CFA。构造的CFA可以应用于相机的图像传感器，其可以在步骤1中用于捕获具有多光谱数据的图像。在步骤2中，可以通过上文在“从RGB图像恢复高光谱数据”下首先概述的方法从所述图像恢复全景HS信息。然后，通过应用期望的对HS数据的RGB响应函数，可以在步骤3中从所述HS数据生成RGB数据，以在步骤4中接收优化的RGB图像。结果是高量子效率和颜色精确度的相机系统，其不会受到影响传统拜耳传感器的增加的空间伪像的影响。
为了评估所公开的相机系统相对于商用相机的光子效率增益，进行了以下实验：对于通过使用本方法和(使用CIE 1964颜色匹配功能模拟的)RGB相机找到的优化滤波器组，来自高光谱图像数据库的高光谱图像用于产生模拟的相机响应。在两种情况下，将相机响应归一化到0到1的范围，并且基于所有通道上的平均场景亮度估计传感器量子效率。在所有检查的场景中，优化的CFA表现出的量子效率平均比消费级RGB相机高104％。图15A和15B分别示出(单色的)由模拟RGB相机观看的样本场景，以及由优化的相机系统重构的样本场景。从图像中可以明显看出，由优化的相机系统产生的图15B的图像表现出量子效率增加96％并且没有明显的颜色/空间伪像。
根据所公开的方法，本公开的相机系统可以通过采用这种优化的CFA，通过制造和安装定制的CFA以覆盖在CMOS或CCD传感器上来实施。或者，本公开的相机可以不包括任何定制的CFA，或者可以包括一种或多种各种类型的CFA。相机可以是RGB相机，或任何其他多光谱相机。
上面讨论的优化的CFA使用4个颜色通道，然而，本公开的相机系统可以使用更少(例如，3个)或更多(5+)个颜色通道。尽管上面的讨论集中于拜耳滤波器实现，但是本系统可以以其他配置实现，例如基于3-CCD的基于分束器的配置。
尽管上面的讨论使用上文“从RGB图像恢复高光谱数据”中描述的HS恢复方法，但是该方法可以用一些其他HS恢复方法代替，或者甚至被以下完全取代：通过预先计算HS重构的结果和对应的RGB值，从而创建具有相同功能的相机系统，其未明确地经历HS数据重构的中间步骤。
实施注意事项
尽管上述实验采用了上文公开的用于HS重构的方法，但是该方法可能对低成本的消费者硬件施加增加的计算需求。为了避免这种结果，在一些实施例中，可以采用结果的预先计算或通过机器学习的估计，如下所述。
在某些实施例中采用的预先计算配置中，HS重构和RGB投影过程部分或全部由查找表或类似的数据结构替换。由于可能的传感器响应的空间是已知的(例如，对于具有4滤波器阵列的8位传感器中的单个像素的2554个可能值)，因此可以预先计算并存储每个输入的对应HS值和/或RGB投影。对于存储的值，计算密集的重构和投影过程由计算上便利的查找操作代替。
另外，尽管上述预先计算方法可以显著降低实施相机系统所需的计算能力，但是完整的查找表通常需要大量数据存储(几千兆字节或更多)。尽管可以通过将部分查找表与按需计算相结合来抵消该空间要求，但是查找表覆盖不足的场景可能需要大量计算。在一些实施例中，可以通过机器学习来抵消该空间/计算权衡。首先，为目标传感器生成完整的预先计算查找表。一旦计算了表格，就可以应用机器学习技术，例如深度神经网络，来学习相机输入和期望HS/RGB输出之间的映射。虽然这种方法可能会导致精确度的一些损失，但它将产生紧凑且计算效率高的传感器输入与期望输出之间的映射表示。
本系统的几个应用
·高光谱感测
在成像过程的步骤2中产生的HS信息(参见图14)可以直接用于各种应用，例如材料分析，其中可以使用光谱特征来区分在RGB相机看起来相同的材料。高光谱信息也可以用作改进现有物体识别系统的附加输入。
·RGB或多光谱相机模拟
虽然所选择的滤波器与传统的RGB或任何其他给定的多光谱相机滤波器组相差很大，但是由所公开的相机获取的HS信息允许从其产生RGB或其他多光谱输出。通过将RGB(或其他多光谱)响应函数应用于重构的HS信息，可以产生传统的RGB或其他期望的多光谱图像。
不仅可以产生RGB或多光谱信息，而且可以通过应用适当的响应曲线，通过与本公开的相同相机再现各种相机的颜色响应。可以进一步操纵响应曲线以获得艺术效果。
·摄影滤波器模拟
尽管照片编辑软件为照片处理提供了越来越复杂的选项，但许多专业摄影师仍继续使用物理的、安装在相机上的滤波器，以产生各种颜色效果。物理摄影滤波器的这种使用仍然存在，这是因为在没有光谱信息的情况下难以执行基于软件的模拟。通过精确地恢复HS信息，本相机系统允许在后处理中精确模拟摄影滤波器。
·提高的光子效率
传统的RGB滤波器具有常常被忽视但显着的缺点，即将传感器光敏感度降低约66％，因为每个滤波器覆盖可见光谱的大约三分之一，并且相对于相机传感器响应范围可能甚至更小，即其可能从400至1000纳米(nm)延伸。所有多光谱相机都存在相同的限制，在光线不足的不同程度下，在非最佳采集条件下(例如，昏暗的光线、夜间拍摄、极短的曝光时间等)导致性能明显较差。
由于本发明所公开的相机系统可以利用非RGB滤波器产生精确的RGB或其他多光谱图像，因此可以对所述过程引入附加约束，以优化滤波器选择，同时使给定光谱范围内的滤波器响应最大化或穿透传感器敏感范围的给定部分(或全部)的光线的量最大化。因此，相机光子效率可以增加100％或更多，几乎没有精确度损失。
·跨越各种照明条件的所有像素的一致曝光，以及优于RGB-C的优势
通过去除RGB滤波器或扩展其范围来提高传感器灵敏度传统上通过双相机系统或RGB-C/RGB-W拜耳配置来实现，如上所述。双相机系统利用B/W(单色)相机和RGB相机结合，第一个用于记录亮度信息，而第二个记录颜色信息。RGB-C/RGB-W系统(也称为RGB-透明或RGB-白)利用具有Bayer滤波器的单个传感器，其中一些或所有“绿色”像素被未滤波或“透明”像素替换。这种“透明”像素可以大大提高光子效率，并可用于在低光设置下记录亮度信息。
双相机系统的缺点是需要第二台相机，以及它产生的视差误差。RGB-C系统的主要缺点是并不总是能够同时正确地曝光所有像素。在高照明/照度环境中，“透明”像素必须过度曝光，以便于RGB像素的正确曝光。根据一些资料来源，这导致高达25％的场景空间信息丢失。
在本系统中，去除类似RGB的滤波器约束允许选择高光子效率滤波器而不引入像素照明/照度级之间的差异。这允许在各种照明条件下一致地曝光所有像素，有效地将双相机系统的动态范围与RGB-C系统的单传感器优势相结合。并且所有滤波器都经过优化，允许进入传感器的总光量仍远大于RGB-C设计。
·照明校正
尽管经过多年的研究，消费者相机中的照明校正(或“白平衡”)仍然存在问题。当前一代相机经常无法匹配人类级别的颜色恒定性，特别是在具有挑战性的光照条件下。虽然HS系统面临类似的挑战，但是当HS信息可用时，照明估计的问题变得非常简单。
使用本相机系统，可以在HS空间中执行照明估计和校正。得到的校正的HS信息可用于产生RGB图像或用于其他HS应用(参见上面的“RGB或多光谱相机模拟”)。
·重新光照
一旦分离了照明和反射(参见上面的“照明校正”)，可以将替代照明应用于场景反射，从而产生被重新光照的图像。
·光谱高动态范围(HDR)成像
HDR成像试图克服相机传感器和数字显示器中的限制，模拟捕获和显示比相机传感器或屏幕可记录/显示的更宽范围的亮度值。这是通过捕获两个(或更多)图像来执行的，每个图像处于不同的曝光设置，并通过合适的算法将它们融合在一起。
在本相机系统中，可以处理来自单个图像的HS信息并将其投影到RGB，以便模拟比RGB可以产生的更宽范围的色调的显示。这可以用于强调科学/工业环境中的重要光谱信息，或用于视觉上令人愉悦的效果。
·材料感测
HS信息可以通过识别各种材料及其组合的光谱特征来允许每个像素材料识别。
虽然该技术存在许多现有的工业应用，但在消费者环境中的可能用途包括：食品分析/安全性、植物护理(水/营养素含量)等。
·物体识别
虽然HS信息可以促进像素级材料识别，但是它也可以用作现有对象识别管道的附加特征源。
HS信息已经被证明可以改善面部识别和其他复杂的物体识别任务。参见，例如，M.Uzair、A.Mahmood、A.Mian，“具有空间光谱信息融合和偏最小二乘回归的高光谱人脸识别(Hyperspectral Face Recognition withSpatiospectral Information Fusion andPLS Regression)”，IEEE图像处理期刊，卷24，第三期，2015年3月。
***
本发明可以体现为系统、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(medium)(或介质media)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非穷举列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)，便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、其上记录有指令的机械编码的设备以及前述的任何合适的组合。这里使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。而是，计算机可读存储介质是非瞬态(即，非易失性)介质。
这里描述的计算机可读程序指令可以经由网络(例如，因特网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到对应的计算/处理设备，或到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令用于存储在对应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者源代码或对象。以一种或多种编程语言的任意组合编写的代码，包括诸如Java、Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的传统过程编程语言。计算机可读程序指令可以完全在用户的计算机上、作为独立的软件包，部分在用户的计算机上、部分地在用户的计算机上，部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(用于例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，以便执行本发明的各方面。
这里参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。将理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令实施。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得指令通过计算机的处理器或其他可编程数据处理装置执行，创建用于实现流程图和/或框图框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实施流程图和/或框图框或框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实施的过程，例如在计算机、其他可编程装置或其他设备上执行的指令实施在流程图和/或框图框或框中指定的功能/动作。
附图中的流程图和框图显示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实施指定的一个或更多个逻辑功能的可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行特定功能或动作的专用基于硬件的系统来实施，或者由专用硬件和计算机指令的组合来实施。
已经出于说明的目的给出了对本发明的各种实施例的描述，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是明显的。本文使用的术语的选择是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域其他技术人员能够理解本文公开的实施例。
在本申请的说明书和权利要求书中，词语“包括(comprise)”，“包括(include)”和“具有”及其形式中的每一个不必限于与词语相关联的列表中的成员。另外，在本申请与通过引用并入的任何文件之间存在不一致的情况下，以本申请为准。

Claims (61)

1.一种用于近似光谱数据的方法，所述方法包括使用至少一个硬件处理器用于：
提供包括第一光谱带组中的数据的数字图像；
提供字典，其包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组包括至少部分不同的光谱带；和
基于字典，通过以下步骤近似所述数字图像中每一个像素的所述第二光谱带组中的数据
(i)为所述像素中的每一个发现权重向量，使得将所述权重向量应用于所述字典中的所述值与所述像素的值匹配，
(ii)将所述权重向量中的每一个应用于所述字典中的所述特征，以估计所述像素中的每一个的所述第二光谱带组中的数据，以及
(iii)使用所估计的数据来估计包括所述第二光谱带组中的数据的对应图像。
2.根据权利要求1所述的方法，其中所述第一光谱带组是红-绿-蓝即RGB。
3.根据权利要求1所述的方法，其中所述第二光谱带组在400纳米至800纳米之间。
4.根据权利要求1所述的方法，其中所述第一光谱带组的每个带的宽度为5纳米至100纳米。
5.根据权利要求1所述的方法，其中所述第二光谱带组的每个带的宽度为5纳米至100纳米。
6.根据权利要求1所述的方法，其中所述字典包括超完备字典。
7.根据权利要求1所述的方法，还包括基于一组代表性多光谱图像构造所述字典，每个所述代表性多光谱图像包括所述第一光谱带组和所述第二光谱带组中的数据。
8.一种装置，包括：
图像传感器，其被配置为捕获第一光谱带组中的数字图像；
非瞬态存储器，其上存储有字典，所述字典包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组包括至少部分不同的光谱带；和
至少一个硬件处理器，其被配置为基于所述字典通过以下步骤来近似所述数字图像中的每一个像素的所述第二光谱带组中的数据
(i)为所述像素中的每一个发现权重向量，使得将所述权重向量应用于所述字典中的所述值与所述像素的值匹配，
(ii)将所述权重向量中的每一个应用于所述字典中的所述特征，以估计所述像素中的每一个的所述第二光谱带组中的数据，以及
(iii)使用所估计的数据来估计包括所述第二光谱带组中的数据的对应图像。
9.根据权利要求8所述的装置，其中所述第一光谱带组是红-绿-蓝即RGB。
10.根据权利要求8所述的装置，其中所述第二光谱带组在400纳米至800纳米之间。
11.根据权利要求8所述的装置，其中所述第一光谱带组的每个带的宽度为5纳米至100纳米。
12.根据权利要求8所述的装置，其中所述第二光谱带组的每个带的宽度为5纳米至100纳米。
13.根据权利要求8所述的装置，其中所述字典包括超完备字典。
14.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有包含在其中的程序代码，所述程序代码由至少一个硬件处理器可执行以：
接收包括第一光谱带组中的数据的数字图像；
接收字典，所述字典包括(a)第二光谱带组中的特征和(b)所述第一光谱带组中的值，其中所述值对应于所述特征，并且其中所述第一光谱带组和所述第二光谱带组包括至少部分不同的光谱带；和
基于字典，通过以下步骤近似所述数字图像中每一个像素的所述第二光谱带组中的数据：
(i)为所述像素中的每一个发现权重向量，使得将所述权重向量应用于所述字典中的所述值与所述像素的值匹配，
(ii)将所述权重向量中的每一个应用于所述字典中的所述特征，以估计所述像素中的每一个的所述第二光谱带组中的数据，以及
(iii)使用所估计的数据来估计包括所述第二光谱带组中的数据的对应图像。
15.根据权利要求14所述的计算机可读存储介质，其中所述第一光谱带组是红-绿-蓝即RGB。
16.根据权利要求14所述的计算机可读存储介质，其中所述第二光谱带组在400纳米至800纳米之间。
17.根据权利要求14所述的计算机可读存储介质，其中所述第一光谱带组的每个带的宽度为5纳米至100纳米。
18.根据权利要求14所述的计算机可读存储介质，其中所述第二光谱带组的每个带的宽度为5纳米至100纳米。
19.根据权利要求14所述的计算机可读存储介质，其中所述字典包括超完备字典。
20.一种用于为数码相机选择颜色滤波器阵列的方法，所述颜色滤波器阵列包括期望数量的颜色滤波器，所述方法包括：
提供包括多个颜色滤波器的颜色滤波器组，所述颜色滤波器具有对应的多个光谱频率响应；
提供用于评估所述颜色滤波器阵列的一个或更多个标准；
使用至少一个硬件处理器用于执行以下迭代步骤：
(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括所述期望数量的颜色滤波器，
(ii)基于所述一个或更多个标准评估所述多个测试滤波器阵列中的每个，
(iii)基于所述评估，将评估参数分配给所述多个测试滤波器阵列中的每个，和
(iv)在下一次迭代中，在所述测试群组中包括：
a.基于所述评估参数选择的先前评估的测试滤波器阵列的第一比例，
b.通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，所述颜色滤波器是从基于所述评估参数选择的两个先前评估的测试滤波器阵列中随机选择的，以及
c.先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的一个所述颜色滤波器被从所述颜色滤波器组随机选择的颜色滤波器替换；
重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；和
在数码相机中实施所述最佳颜色滤波器阵列。
21.根据权利要求20所述的方法，其中所述一个或更多个标准选自包括以下的组：量子效率、曝光均匀性和光谱近似精确度。
22.根据权利要求20所述的方法，其中所述一个或更多个标准是光谱近似精确度，并且评估所述多个测试滤波器阵列中的每个的所述步骤包括：
提供包括第一光谱带组中的数据的第一数字图像；
通过所述最佳颜色滤波器阵列投影所述数字图像，以获得包括第二光谱带组中的数据的第二数字图像，其中所述第一光谱带组和所述第二光谱带组包括至少部分不同的光谱带；
提供包括所述第一光谱带组中的特征和所述第二光谱带组中的对应值的字典；
基于字典，近似所述第二数字图像中的所述第一光谱带组中的数据；和
比较(a)所述第一数字图像的所述第一光谱带组中的所述数据与(b)所述第二数字图像的所述第二光谱带组中的所述数据，以得到所述评估参数。
23.根据权利要求20所述的方法，其中所述评估参数表示为相对均方根误差即RRMSE。
24.根据权利要求20所述的方法，其中所述期望数量的颜色滤波器至少为3个。
25.根据权利要求20所述的方法，其中所述第一比例等于所述测试群组的10％，所述第二比例等于所述测试群组的40％，并且所述第三比例等于所述测试群组的10％。
26.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有包含在其中的程序代码，所述程序代码由至少一个硬件处理器可执行以：
提供颜色滤波器组，其包括具有对应的多个光谱频率响应的多个颜色滤波器；
提供用于评估所述颜色滤波器阵列的一个或更多个标准；
执行以下迭代步骤：
(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括期望数量的颜色滤波器，
(ii)基于所述一个或更多个标准评估所述多个测试滤波器阵列中的每个，
(iii)基于所述评估，将评估参数分配给所述多个测试滤波器阵列中的每个，和
(iv)在下一次迭代中，在所述测试群组中包括
(a)基于所述评估参数选择的先前评估的测试滤波器阵列的第一比例，
(b)通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，
所述颜色滤波器是从基于所述评估参数选择的两个先前评估的测试滤波器阵列中随机选择的，以及
(c)先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的一个所述颜色滤波器被从所述颜色滤波器组随机选择的颜色滤波器替换；
重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；和
在数码相机中实施所述最佳颜色滤波器阵列。
27.根据权利要求26所述的计算机可读存储介质，其中所述一个或更多个标准选自包括以下的组：量子效率、曝光均匀性和光谱近似精确度。
28.根据权利要求26所述的计算机可读存储介质，其中所述一个或更多个标准是光谱近似精确度，并且评估所述多个测试滤波器阵列中的每个的步骤包括：
提供包括第一光谱带组中的数据的第一数字图像；
通过所述最佳颜色滤波器阵列投影所述数字图像，以获得包括第二光谱带组中的数据的第二数字图像，其中所述第一光谱带组和所述第二光谱带组包括至少部分不同的光谱带；
提供包括所述第一光谱带组中的特征和所述第二光谱带组中的对应值的字典；
基于字典，近似所述第二数字图像中的所述第一光谱带组中的数据；和
比较(a)所述第一数字图像的所述第一光谱带组中的所述数据与(b)所述第二数字图像的所述第二光谱带组中的所述数据，以得到所述评估参数。
29.根据权利要求28所述的计算机可读存储介质，其中所述评估参数表示为相对均方根误差即RRMSE。
30.根据权利要求28所述的计算机可读存储介质，其中所述期望数量的颜色滤波器至少为3个。
31.根据权利要求28所述的计算机可读存储介质，其中所述第一比例等于所述测试群组的10％，所述第二比例等于所述测试群组的40％，并且所述第三比例等于所述测试群组的10％。
32.一种装置，包括：
图像传感器，其被配置为捕获数字图像；
滤波器阵列，其操作地耦合到所述图像传感器，所述滤波器阵列包括期望数量的颜色滤波器，其中所述滤波器阵列的组成由包括以下步骤的过程确定：
提供包括多个颜色滤波器的颜色滤波器组，所述颜色滤波器具有对应的多个光谱频率响应；
提供用于评估所述颜色滤波器阵列的一个或更多个标准；
使用至少一个硬件处理器用于执行以下迭代步骤：
(i)确定包括从所述颜色滤波器组中随机选择的多个测试滤波器阵列的测试群组，所述多个测试滤波器阵列中的每个包括所述期望数量的颜色滤波器，
(ii)基于所述一个或更多个标准评估所述多个测试滤波器阵列中的每个，
(iii)基于所述评估，将评估参数分配给所述多个测试滤波器阵列中的每个，和
(iv)在下一次迭代中，在所述测试群组中包括
(a)基于所述评估参数选择的先前评估的测试滤波器阵列的第一比例，
(b)通过组合颜色滤波器而构造的测试滤波器阵列的第二比例，所述颜色滤波器是从基于所述评估参数选择的两个先前评估的测试滤波器阵列中随机选择的，以及
(c)先前评估的测试滤波器阵列的第三比例，其中所述测试滤波器阵列的每个中的一个所述颜色滤波器被从所述颜色滤波器组随机选择的颜色滤波器替换；
重复所述迭代步骤，直到基于所述评估参数找到最佳颜色滤波器阵列；和
在数码相机中实施所述最佳颜色滤波器阵列。
33.根据权利要求32所述的装置，其中所述图像传感器是电荷耦合器件图像传感器即CCD图像传感器。
34.根据权利要求32所述的装置，其中所述图像传感器是互补金属氧化物半导体图像传感器即CMOS图像传感器。
35.根据权利要求32所述的装置，还包括两个或更多个图像传感器。
36.根据权利要求35所述的装置，还包括：分束器，其被配置为将光引导到所述两个或更多个图像传感器。
37.根据权利要求32所述的装置，包括两个或更多个所述滤波器阵列。
38.根据权利要求32所述的装置，其中所述期望数量的颜色滤波器至少为3个。
39.根据权利要求32所述的装置，其中所述装置被配置用于在期望的光谱带组中捕获图像。
40.根据权利要求32所述的装置，还包括：至少一个硬件处理器，其被配置为根据由所述装置捕获的图像近似高光谱数据。
41.根据权利要求40所述的装置，其中所述至少一个硬件处理器还被配置为根据所述高光谱数据模拟所述期望的光谱带组中的数据。
42.根据权利要求41所述的装置，其中所述期望的光谱带组包括红-绿-蓝光谱带即RGB光谱带。
43.根据权利要求40所述的装置，其中所述高光谱数据用于对由所述装置捕获的图像执行照明估计和校正。
44.根据权利要求40所述的装置，其中所述高光谱数据用于对由所述装置捕获的图像应用重新光照。
45.根据权利要求40所述的装置，其中所述高光谱数据用于从由所述装置捕获的图像生成光谱高动态范围成像。
46.根据权利要求40所述的装置，其中所述高光谱数据用于材料识别。
47.根据权利要求40所述的装置，其中所述高光谱数据用于物体识别，包括面部识别。
48.根据权利要求32所述的装置，其中所述一个或更多个标准选自包括以下的组：量子效率、曝光均匀性和光谱近似精确度。
49.根据权利要求32所述的装置，其中所述第一比例等于所述测试群组的10％，所述第二比例等于所述测试群组的40％，并且所述第三比例等于所述测试群组的10％。
50.一种用于模拟光谱数据的方法，所述方法包括使用至少一个硬件处理器用于：
接收包括第一光谱带组中的数据的数字图像；
提供包括对应于所述第一光谱带组中的所述数据的期望的光谱带组中的值的查找表，其中所述第一光谱带组和所述期望的光谱带组是不同的；以及
基于所述查找表，在所述期望的光谱带组中生成图像。
51.根据权利要求50所述的方法，其中所述期望的光谱带组包括波长在400纳米至800纳米之间的光谱带中的数据。
52.根据权利要求50所述的方法，其中所述第一光谱带组是红-绿-蓝即RGB。
53.根据权利要求50所述的方法，其中所述期望的光谱带组的每个带的宽度为5纳米至100纳米。
54.根据权利要求50所述的方法，其中用于接收包括所述第一光谱带组中的数据的所述数字图像的步骤包括：
提供包括第一光谱带组中的数据的数字图像；
提供包括高光谱值的查找表，所述高光谱值与所述第一光谱带组中的所述数据对应；和
基于所述查找表生成包括高光谱数据的图像。
55.根据权利要求54所述的方法，其中所述查找表还包括机器学习算法。
56.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有包含在其中的程序代码，所述程序代码由至少一个硬件处理器可执行以：
接收包含第一光谱带组中的数据的数字图像；
提供包括对应于所述第一光谱带组中的所述数据的期望的光谱带组中的值的查找表，其中所述第一光谱带组和所述期望的光谱带组是不同的；以及
基于所述查找表，在所述期望的光谱带组中生成图像。
57.根据权利要求56所述的计算机可读存储介质，其中所述期望的光谱带组包括波长在400纳米至800纳米之间的光谱带中的数据。
58.根据权利要求56所述的计算机可读存储介质，其中所述第一光谱带组是红-绿-蓝即RGB。
59.根据权利要求56所述的计算机可读存储介质，其中所述期望的光谱带组的每个带的宽度为5纳米至100纳米。
60.根据权利要求56所述的计算机可读存储介质，其中用于接收包括所述第一光谱带组中的数据的所述数字图像的步骤包括：
提供包括第一光谱带组中的数据的数字图像；
提供包括高光谱值的查找表，所述高光谱值与所述第一光谱带组中的所述数据对应；和
基于所述查找表生成包括高光谱数据的图像。
61.根据权利要求60所述的计算机可读存储介质，其中所述查找表还包括机器学习算法。
CN201780068161.6A 2016-09-06 2017-09-06 从图像中恢复高光谱数据的装置和方法 Active CN110326022B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662383613P 2016-09-06 2016-09-06
US62/383,613 2016-09-06
US201762518038P 2017-06-12 2017-06-12
US62/518,038 2017-06-12
PCT/IL2017/051002 WO2018047171A1 (en) 2016-09-06 2017-09-06 Recovery of hyperspectral data from image

Publications (2)

Publication Number Publication Date
CN110326022A CN110326022A (zh) 2019-10-11
CN110326022B true CN110326022B (zh) 2023-10-03

Family

ID=61562380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068161.6A Active CN110326022B (zh) 2016-09-06 2017-09-06 从图像中恢复高光谱数据的装置和方法

Country Status (7)

Country Link
US (2) US11085823B2 (zh)
EP (1) EP3510558A4 (zh)
JP (1) JP7089296B2 (zh)
KR (1) KR102482438B1 (zh)
CN (1) CN110326022B (zh)
IL (1) IL265205B (zh)
WO (1) WO2018047171A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207759B1 (en) * 2012-10-08 2015-12-08 Edge3 Technologies, Inc. Method and apparatus for generating depth map from monochrome microlens and imager arrays
WO2018047171A1 (en) * 2016-09-06 2018-03-15 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Recovery of hyperspectral data from image
JP7058941B2 (ja) * 2017-01-16 2022-04-25 キヤノン株式会社 辞書生成装置、辞書生成方法、及びプログラム
KR102314703B1 (ko) * 2017-12-26 2021-10-18 에스케이하이닉스 주식회사 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
JP7028075B2 (ja) 2018-06-12 2022-03-02 オムロン株式会社 画像処理装置、画像処理方法、画像センサ
JP7084616B2 (ja) * 2018-06-20 2022-06-15 国立大学法人 筑波大学 画像処理装置、画像処理方法、及び画像処理プログラム
CN109087262B (zh) * 2018-08-04 2022-07-22 郑州大学 一种多视图光谱图像的重建方法、存储介质
JPWO2020161812A1 (ja) * 2019-02-06 2021-12-02 日本電気株式会社 フィルタ学習装置、フィルタ学習方法、及びプログラム
WO2020199205A1 (zh) * 2019-04-04 2020-10-08 合刃科技（深圳）有限公司 一种混合型高光谱图像重构的方法及系统
JP7291389B2 (ja) * 2019-07-23 2023-06-15 高知県公立大学法人 対象識別方法、情報処理装置、情報処理プログラム、および照明装置
WO2021014455A1 (en) * 2019-07-24 2021-01-28 Bar-Ilan University Device and method for spectral imaging
US11062761B1 (en) * 2020-01-13 2021-07-13 Infineon Technologies Ag Digital address compensation for memory devices
CN114076637B (zh) * 2020-08-12 2023-06-09 舜宇光学（浙江）研究院有限公司 高光谱获取方法及其系统、电子设备和编码宽光谱成像装置
CN112102218B (zh) * 2020-09-25 2023-07-07 北京师范大学 一种生成高空间分辨率多光谱影像的融合方法
WO2022092555A1 (ko) * 2020-10-27 2022-05-05 삼성전자 주식회사 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치
EP4044110A4 (en) 2020-10-27 2023-02-22 Samsung Electronics Co., Ltd. METHOD FOR GENERATION OF IMAGE DATA WITH REDUCED NOISE AND ELECTRONIC DEVICE FOR IMPLEMENTING IT
US20220392598A1 (en) * 2020-12-15 2022-12-08 Compass Beauty, Inc. Precision skincare system and method
CN115643811A (zh) * 2020-12-31 2023-01-24 华为技术有限公司 一种图像处理方法、数据的获取方法及设备
CN112862906B (zh) * 2021-01-15 2023-07-21 深圳市中钞科信金融科技有限公司 基于神经网络的颜色空间转换方法
CN112861885B (zh) * 2021-03-25 2023-09-22 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
EP4352474A1 (en) * 2021-06-08 2024-04-17 Voyage81 Ltd. Transformation of color representations and spectral recovery
CN113554112B (zh) * 2021-07-30 2023-09-19 西安交通大学 一种遥感图像融合方法、系统、设备及介质
US20230209210A1 (en) * 2021-12-28 2023-06-29 Advanced Micro Devices, Inc. System and method for image banding detection
CN116939383A (zh) * 2022-04-08 2023-10-24 华为技术有限公司 图像传感器、成像模组、图像采集设备和图像处理方法
CN114998109B (zh) * 2022-08-03 2022-10-25 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN115311187B (zh) * 2022-10-12 2023-01-24 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN115587949B (zh) * 2022-10-27 2024-07-12 贵州大学 一种基于可见光图像的农业多光谱视觉重构方法
CN116242484B (zh) * 2023-05-10 2023-08-01 中国科学院长春光学精密机械与物理研究所 一种光谱成像芯片与光谱重构算法协同设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063857A (zh) * 2014-06-30 2014-09-24 清华大学 高光谱图像的生成方法及系统
CN104915935A (zh) * 2015-06-16 2015-09-16 西安电子科技大学 基于非线性压缩感知与字典学习的压缩光谱成像方法
CN105102945A (zh) * 2013-01-10 2015-11-25 加利珀生命科学股份有限公司 多光谱成像系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL148746A0 (en) * 2000-07-27 2002-09-12 Bae Systems Information Spectral drift and correction technique for hyperspectral imaging systems
JP5070742B2 (ja) * 2006-06-09 2012-11-14 ソニー株式会社 情報取得方法、情報取得装置、半導体装置、信号処理装置
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8577183B2 (en) * 2009-08-05 2013-11-05 Raytheon Company Resolution on demand
US8989501B2 (en) * 2012-08-17 2015-03-24 Ge Aviation Systems Llc Method of selecting an algorithm for use in processing hyperspectral data
US9122929B2 (en) * 2012-08-17 2015-09-01 Ge Aviation Systems, Llc Method of identifying a tracked object for use in processing hyperspectral data
US8891875B2 (en) * 2012-08-17 2014-11-18 Ge Aviation Systems Llc Method of evaluating the confidence of matching signatures of a hyperspectral image
US9152881B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc Image fusion using sparse overcomplete feature dictionaries
CN103247034B (zh) 2013-05-08 2016-01-20 中国科学院光电研究院 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法
US9606056B2 (en) * 2013-12-06 2017-03-28 Canon Kabushiki Kaisha Selection of spectral bands or filters for material classification under multiplexed illumination
CN104182978B (zh) * 2014-08-22 2017-10-03 哈尔滨工程大学 一种基于空谱核稀疏表示的高光谱图像目标检测方法
AU2015309700A1 (en) * 2014-08-29 2017-03-30 Commonwealth Scientific And Industrial Research Organisation Imaging method and apparatus
US9576216B2 (en) 2014-11-07 2017-02-21 The Boeing Company Hyperspectral resolution using three-color camera
EP3365642A4 (en) * 2015-10-19 2019-04-03 National ICT Australia Limited SPECTRAL RECONSTRUCTION
WO2018047171A1 (en) * 2016-09-06 2018-03-15 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Recovery of hyperspectral data from image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105102945A (zh) * 2013-01-10 2015-11-25 加利珀生命科学股份有限公司 多光谱成像系统和方法
CN104063857A (zh) * 2014-06-30 2014-09-24 清华大学 高光谱图像的生成方法及系统
CN104915935A (zh) * 2015-06-16 2015-09-16 西安电子科技大学 基于非线性压缩感知与字典学习的压缩光谱成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
空间—谱间字典的学习及基于字典的高光谱图像的重构;任海洋;《中国优秀硕士学位论文全文数据库信息科技辑》;20141015(第10期);全文 *

Also Published As

Publication number Publication date
EP3510558A1 (en) 2019-07-17
JP2019533264A (ja) 2019-11-14
US20210364355A1 (en) 2021-11-25
KR20190075057A (ko) 2019-06-28
IL265205B (en) 2022-08-01
WO2018047171A1 (en) 2018-03-15
JP7089296B2 (ja) 2022-06-22
CN110326022A (zh) 2019-10-11
US20190195690A1 (en) 2019-06-27
EP3510558A4 (en) 2020-05-06
US11085823B2 (en) 2021-08-10
US11624652B2 (en) 2023-04-11
IL265205A (en) 2019-05-30
KR102482438B1 (ko) 2022-12-29

Similar Documents

Publication Publication Date Title
CN110326022B (zh) 从图像中恢复高光谱数据的装置和方法
US20240169483A1 (en) Systems and Methods for Synthesizing High Resolution Images Using Images Captured by an Array of Independently Controllable Imagers
Zhang et al. Hyperspectral image reconstruction using deep external and internal learning
Fu et al. Joint camera spectral sensitivity selection and hyperspectral image recovery
Jia et al. From RGB to spectrum for natural scenes via manifold-based mapping
Monno et al. A practical one-shot multispectral imaging system using a single image sensor
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Chakrabarti et al. Depth and deblurring from a spectrally-varying depth-of-field
Arad et al. Filter selection for hyperspectral estimation
Tsagkatakis et al. Graph and rank regularized matrix recovery for snapshot spectral image demosaicing
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
JP2014515587A (ja) デジタル画像装置用の画像処理パイプラインの学習
KR20190036442A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
KR20190036459A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
Lin et al. Exposure invariance in spectral reconstruction from rgb images
Lin et al. Physically plausible spectral reconstruction from RGB images
Ito et al. Compressive epsilon photography for post-capture control in digital imaging
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
Eskelinen et al. Dangers of demosaicing: Confusion from correlation
Monakhova Physics-Informed Machine Learning for Computational Imaging
Gong et al. Optimal noise-aware imaging with switchable prefilters
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Lim et al. Image resolution and performance analysis of webcams for ground-based astronomy
Sun End-to-end Optics Design for Computational Cameras
US20240289989A1 (en) Transformation of color representations and spectral recovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant