CN117321394A - 基于多路照明的高精度快照多光谱成像系统和方法 - Google Patents

基于多路照明的高精度快照多光谱成像系统和方法 Download PDF

Info

Publication number
CN117321394A
CN117321394A CN202280035711.5A CN202280035711A CN117321394A CN 117321394 A CN117321394 A CN 117321394A CN 202280035711 A CN202280035711 A CN 202280035711A CN 117321394 A CN117321394 A CN 117321394A
Authority
CN
China
Prior art keywords
imaging system
multispectral imaging
light
multispectral
bands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280035711.5A
Other languages
English (en)
Inventor
余帅
杰森·德怀特
雷菡
杰弗里·E·撒切尔
范文胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectral MD Inc
Original Assignee
Spectral MD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spectral MD Inc filed Critical Spectral MD Inc
Publication of CN117321394A publication Critical patent/CN117321394A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1226—Interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本技术包括单光圈快照多光谱成像装置，其一般地至少包括彩色相机、定制八频带光学滤波器、电动变焦镜头和八波长多色LED(发光二极管)照明系统。本技术还包括关于LED照明的时序和组合的设计方法、以及用于8个MSI(多光谱成像)图像生成的解混算法。根据本技术的装置和方法，能够实现快速多光谱图像采集速度(<100毫秒)、在采用了无需视差校正计算的单光圈系统的基础上的快速后处理速度、可调节FOV(视场)、更小的体形规格和更低的成本、以及高的光谱信息精度。

Description

基于多路照明的高精度快照多光谱成像系统和方法
相关申请的交叉参考
本申请要求于2021年3月30日提交的发明名称为“System and Method for HighPrecision Snapshot Multi-Spectral Imaging based on Multiplexed Illumination(基于多路照明的高精度快照多光谱成像系统和方法)”的美国临时申请第63/168,151号的权益，因此为了所有目的而将该美国临时申请的全文以引用的方式明确地并入到本文中。
[关于联邦资助研发的声明]
本发明中所记载的一些工作是在美国政府的支持下根据由隶属于美国卫生和公众服务部的应急准备与反应助理秘书长办公室的生物医学高级研究与发展管理局(BARDA)签署的合同号HHSO100201300022C而做出的。本发明中所记载的一些工作是在美国政府的支持下根据由美国国防部卫生局(DHA)签署的合同号W81XWH-17-C-0170和/或W81XWH-18-C-0114而做出的。美国政府可能拥有本发明的某些权利。
技术领域
本发明在这里公开的系统和方法涉及光谱成像，并且更具体地，涉及使用多路照明的多光谱成像系统和方法。
背景技术
电磁波谱是电磁辐射(例如，光)进行延伸的波长或频率范围。按照从较长波长到较短波长的顺序，电磁波谱包括无线电波、微波、红外(IR)光、可见光(即，人眼结构可检测到的光)、紫外(UV)光、x射线和伽马射线。光谱成像是指：用于在图像平面中的一些位置处收集某个光谱信息或完整光谱的光谱学及摄影术的分支。多光谱成像系统能够摄取多个光谱频带(大约十二个以下，并且通常在离散的光谱区域处)，针对这些光谱频带在各像素处收集光谱频带测量值，并且多光谱成像系统可以指每个光谱通道大约几十纳米的带宽。
光谱频带可以通过光学滤波器和/或多通道图像传感器(例如，彩色相机)而被分离。基于FilterWheel(滤光片轮)的单光圈多光谱成像系统提供了高的光谱精度，但是由于用于交换滤光片的机械旋转轮的速度较慢，该单光圈多光谱成像系统仍然受到较慢的时间分辨率(几十秒)的限制。多光圈光谱成像系统通过采用了配备有多波段带通光学滤波器的多个彩色相机来突破这一限制，并且通过解混算法(unmixing algorithm)以一定的时间分辨率(少于100毫秒，所谓的快照)来采集MSI(多光谱成像：Multi-Spectral Imaging)图像。然而，这样的系统仍然会受到在执行多个光圈的视差校正时的复杂性的影响。
发明内容
本文中所公开的多光谱成像系统和技术具有若干特征，在这些特征之中没有任何单个特征对它的可取贡献是单独负责的。在并非是为了限制随附的权利要求中所记载的保护范围的情况下，现在将会简要讨论本文中所公开的光谱成像技术的某些特征。本领域技术人员应当理解本文中所公开的光谱成像技术的这些特征是如何提供优于传统系统和方法的若干优点的。
在本技术的第一方面，一种多光谱成像系统包括：光源，其被构造为通过选择性地发射包括一组四个以上预定波段(a set of four or more predetermined wavebands)中的一个以上波段的光来照明物体；图像传感器，其被构造为接收所述发射光的由所述物体反射后的反射部分；光圈，其被定位成允许所述发射光的所述反射部分通过以到达所述图像传感器；多带通滤波器，其位于所述光圈上方，所述多带通滤波器被构造为允许所述一组四个以上预定波段中的光通过；存储器，其存储用于生成和解混多光谱图像的指令；以及至少一个处理器。所述至少一个处理器被配置为利用所述指令至少执行下列动作：致使所述光源发射所述一组四个以上预定波段中的第一子组两个以上预定波段(a first subsetof two or more of the predetermined wavebands)的光；从所述图像传感器接收基于所述第一子组的反射光而生成的第一图像数据；致使所述光源发射所述一组四个以上预定波段中的第二子组两个以上预定波段的光；从所述图像传感器接收基于所述第二子组的反射光而生成的第二图像数据；处理所述第一图像数据和所述第二图像数据，以至少生成第一多光谱图像和第二多光谱图像；和执行光谱解混，以生成所述物体的多个单波段图像，每个所述单波段图像对应于所述一组四个以上预定波段中的一个预定波段。
在一些实施方案中，所述处理器还被构造为执行下列动作：致使所述光源发射所述一组四个以上预定波段中的第三以上序数子组两个以上预定波段(third or higherordered subset of two or more of the predetermined wavebands)的光；和从所述图像传感器接收基于所述第三以上序数子组的反射光而生成的第三以上序数图像数据。
在一些实施方案中，所述光源包括多个发光二极管(LED：light emittingdiode)，每个所述LED被构造成以所述一组四个以上预定波段中的一个预定波段发射光。在一些实施方案中，所述至少一个处理器还被构造为执行下列动作：控制所述光源的各个所述LED的激活，以选择由所述光源同时发射的波段。在一些实施方案中，所述处理器通过控制电子切换快门以选择性地通过或阻挡各个所述LED发射的光，来控制各个所述LED的激活。
在一些实施方案中，所述多带通滤波器包括允许光通过的多个波段，每个所述波段对应于所述一组四个以上预定波段中的一个预定波段。在一些实施方案中，所述LED和所述多带通滤波器包括相等数量的波段，其中，所述LED中的每个波段与所述多带通滤波器中的相应波段对准。在一些实施方案中，所述多光谱成像系统还包括：位于所述多个LED中的各个LED上方的带通滤波器，用于提供由各个所述LED发射的光的精确光谱约束(confinement)。在一些实施方案中，所述一组四个以上预定波段包括八个预定波段，并且所述光源包括八个LED，每个LED被构造成以所述八个预定波段中的一个预定波段发射光。在一些实施方案中，所述多带通滤波器包括八频带滤波器，所述八频带滤波器被构造为让所述八个预定波段中的每个预定波段通过。在一些实施方案中，所述至少一个处理器还被构造为利用所述指令执行下列动作：致使所述光源发射所述预定波段中的第三子组的光，并且从所述图像传感器接收基于所述第三子组的反射光而生成的第三图像数据。在一些实施方案中，所述第一子组、所述第二子组和所述第三子组各自包括所述一组四个以上预定波段中的三个预定波段。在一些实施方案中，所述八个预定波段是由从紫外(UV)到短波红外的范围内的中心波长限定的。在一些实施方案中，所述预定波段分别具有420nm、525nm、581nm、620nm、660nm、726nm、820nm和855nm的中心波长。
在一些实施方案中，所述多光谱成像系统还包括：位于所述光圈上方的等焦面型或可变焦距型变焦透镜。而且，所述至少一个处理器还被构造为：控制所述电动变焦透镜以调节所述多光谱成像系统的视场(FOV：field of view)。在一些实施方案中，所述等焦面型或可变焦距型变焦透镜被构造为通过改变该透镜的焦距(FL)来自动或手动地调节焦点。在一些实施方案中，对所述多光谱成像系统的所述视场的调节不会影响所述物体和所述图像传感器之间的物距。在一些实施方案中，所述至少一个处理器还被构造为：通过改变所述物体和所述图像传感器之间的物距来调节所述多光谱成像系统的所述FOV。在一些实施方案中，所述处理器还被构造为：补偿因所述变焦透镜而引起的对比度损失。在一些实施方案中，所述FOV至少在8cm至23cm的范围内是可调节的，例如在8cm、9cm、10cm、11cm、12cm、13cm、14cm、15cm、16cm、17cm、18cm、19cm、20cm、21cm、22cm或23cm的长度处或在由前述这些长度中的任意两个长度限定的范围内是可调节的。在一些实施方案中，所述多光谱成像系统通过不减少所述FOV中的取样数量来维持高的空间分辨率，这不同于通过牺牲了分辨率的后处理来实现的数字裁剪(digital cropping)方法。
在一些实施方案中，所述至少一个处理器还被构造为：基于所述多光谱图像生成所述物体的自然伪彩色可视化(natural pseudocolor visualization)。
在一些实施方案中，所述至少一个处理器被构造为：通过使用矩阵运算方程求解所述物体的反射系数来执行所述光谱解混。在一些实施方案中，所述反射系数是至少部分地基于裸照明强度的通道特有值、所述多带通滤波器的透射系数和所述图像传感器的量子系数而被确定的。在一些实施方案中，所述多光谱成像系统能够在少于100毫秒的时间内摄取三个以上多光谱图像。
在一些实施方案中，所述物体是组织区域(tissue region)。在一些实施方案中，所述组织包括伤口。在一些实施方案中，所述伤口包括糖尿病溃疡、非糖尿病溃疡、慢性溃疡、术后切口、截肢部位、烧伤部、癌病变组织或受损组织。在一些实施方案中，所述多光谱成像系统用于识别诸如活体或健康组织、死亡或坏死组织、灌注组织、非灌注组织、缺血性组织、非缺血性组织等组织类别，或者用于识别诸如在采用护理标准疗法30天后愈合至少50％的倾向或在采用护理标准疗法30天后未愈合至少50％的倾向等组织愈合评分。在一些实施方案中，所述多光谱成像系统用于对诸如糖尿病溃疡、非糖尿病溃疡、慢性溃疡、术后切口、截肢部位、烧伤部、癌病变组织或受损组织等伤口、癌症、溃疡或烧伤进行成像。
附图说明
图1A示出了以不同的主光线角度入射到滤波器上的光的示例。
图1B是示出了针对各个主光线角度由图1A的滤波器提供的示例性透射效率的曲线图。
图2A示出了多光谱图像数据立方体的示例。
图2B示出了关于某些多光谱成像技术如何生成图2A的数据立方体的示例。
图2C描绘了能够生成图2A的数据立方体的示例性快照成像系统。
图3A描绘了根据本发明的配备有弯曲的多带通滤波器的示例性多光圈成像系统的光学设计的示意性截面图。
图3B至图3D描绘了图3A的多光圈成像系统的一个光路的光学部件的示例性光学设计。
图4示意性地示出了根据本技术的示例性单光圈多光谱成像系统，该图还包括示出了该成像系统中的部件的性能的曲线图。
图5示出了根据本技术的多光谱图像采集过程中的LED照明的示例性时间序列和相应的通道特有感测系数。
图6和图7示出了根据本技术的单光圈多光谱成像系统的示例性物理体现。
图8至图10示出了根据本技术的单光圈系统的测试结果。
具体实施方式
一般来说，本发明涉及使用单光圈、单镜头、单相机系统的二维多光谱成像(MSI)，其具有高的图像采集速度(快照，少于100毫秒)、高的光谱精度和可调节FOV的特点。本发明还涉及用于实现光谱解混以提高这种系统的采集速度的技术。如下所述，本文所公开的技术解决了存在于当前光谱成像中的挑战。
基于多路照明的多光谱成像能够分离光谱频带，并且提供了快速切换能力、鲁棒性和成本效益。目前，这种解决方案采用了具有重叠光谱和有限通道的多路照明。在光谱反射率s(λ)是平滑的并且可以被很好地近似的情况下，这种解决方案可以最佳地复原该s(λ)。然而，在生物医学应用中，生物组织的s(λ)是相当复杂的，并且人们期望高精度的光谱信息。为了解决这一限制，应该显著地降低光谱串扰。
本文所公开的基于多路照明的高精度快照多光谱成像系统和方法具有若干个特征。在一些实施方案中，所述系统采用了单光圈、单镜头和单RGB彩色相机来进行二维多光谱感测。在一些实施方案中，所述系统采用了多频带光学滤波器来进行多光谱滤波。在这一设计中，例如，该滤波器可以是用于8频带MSI的八频带滤波器(octa-band filter)。然而，本文所公开的系统和方法不限于本公开中所指定的数量，而是同样地可以以更多或更少的波长频带应用于MSI。在一些实施方案中，所述系统采用8个波长的发光二极管(LED)进行照明，其中每个波长光谱与每个MSI频带重叠。在一些实施方案中，每个LED包括放置在其前方的且具有匹配的MSI频带的带通光学滤波器。在一些实施方案中，所述系统采用电动变焦镜头。光谱解混方法可以用于通过对LED照明的调制来加快成像速度。如稍后将会更详细讨论的，能够以特定的组合和时间序列将多个波长的LED打开和关闭。可以基于LED照明强度(I0)、滤波器透射系数(T％)和/或彩色相机RGB通道感测量子效率(Q％)来计算解混系数。
本发明的系统和方法的各种实施方案能够提供具有改良特征的多光谱成像，这些改良特征包括但不限于下列中的一者或多者：(a)通过采用单光圈系统，无需复杂的视差校正算法，且没有视差误差；(b)与多光圈系统相比，拥有更小的体形规格(例如，更小的体积和重量)以及更低的成本；(c)具有高图像采集速度(<100毫秒)和快速后处理速度，因而使得运动伪影更少且使得实时成像是可行的；(d)能够实现高精度的光谱信息，其受到窄频带LED照明、位于LED前方的带通光学滤波器、及多频带光学滤波器的约束；(e)通过电动变焦镜头，可调节FOV可以用于各种不同的应用中；(f)能够实现基于MSI图像的自然伪彩色可视化；(g)具有多功能生物医学成像的能力。
与包括机械旋转滤光片轮的基于FilterWheel的单光圈多光谱成像系统相比，本系统可以通过用于多带通光学滤波的八频带滤波器来提供高采集速度。而且，在一些实施方案中，通过采用具有与所期望的MSI频带严密地或精确地重叠的光谱的多色LED来获取各个MSI频带(例如，通道)光谱信息。精确的照明光谱，再加上由LED滤波器和八频带滤波器实现的光谱约束，就避免了带外泄漏(out-of-band leakage)和通道之间的串扰，并且显著提高了光谱精度。每个LED都能够被快速地且反复地打开和关闭，因而能够通过使用时间闸控序列(time-gated sequence)来实现单色照明。
在一些实施方案中，所述系统可以通过(例如，在没有任何LED照明的情况下)采集背景图像来在环境光或室内光氛围中工作；然后，可以从所采集的MSI图像(例如，其是暴露于LED照明再加上室内光的图像)中减去背景图像。此外，在一些实施方案中，可以通过采用多通道成像传感器(例如，RGB相机)来进一步提高MSI采集速度，籍此，能够同时打开3个通道的LED，并且来自该3个通道的光谱信息能够通过解混算法而被分离。相应地，在本发明所公开的技术中呈现的快照成像速度能够提供快得多的成像并且能够显著减少目标运动伪影，因而将会有益于许多生物医学应用。
与多光圈MSI成像系统相比，本发明的系统和方法在一些实施方案中可以采用单光圈、单镜头、单相机构造，以使得该系统不需要可能要求执行会导致图像后处理速度显著降低的复杂算法的视差校正计算。此外，单光圈、单镜头、单相机构造的实施可以避免基于像素的光谱信息的错误解读。例如，现有的多光圈MSI成像系统可以通过成像传感器的分离(例如，多相机构造)和解混算法来分离光谱频带。本发明的系统和方法可以通过多路照明(例如，独立控制的多色LED)以及解混算法来分离光谱频带。由于LED照明动作时间序列是通过电子切换快门来予以控制的，该电子切换快门比FilterWheel系统中的包含个体的单频带带通滤波器的机械旋转轮快得多，因此，本发明提供了即时频带交换(instant band-swapping)，并且它的成像采集速度接近于多光圈MSI成像系统的成像采集速度，同时还避免了视差校正计算的需求且具有快速的后处理。
本发明的系统和方法可以使用针对LED照明的带通光学滤波器和位于检测器侧的八频带光学滤波器，因此能够极大地约束了所期望的频带内的感测光谱，能够避免各个照明之间的串扰，能够消除带外泄漏，并且能够提高光谱精度。本发明以简单设计提供了上述这些优点，该简单设计改进了包括多路照明的现有系统。
光谱成像系统的概要
图1A示出了沿着去往图像传感器110的光路而被定位的滤波器108的示例，并且还示出了以不同的光线角度入射到滤波器108上的光。光线102A、104A、106A被表示为线条，它们在穿过滤波器108之后被透镜112折射到传感器110上，透镜112也可以由任何其他成像用光学器件代替，该成像用光学器件包括但不限于镜子和/或光圈。在图1A中，假设每条光线的光是如下的宽带：其例如具有在较大波长范围上延伸的光谱成分从而由滤波器108选择性地过滤。这三条光线102A、104A、106A各自以不同的角度到达滤波器108。为了说明的目的，光线102A被示出为基本上垂直于滤波器108入射，光线104A比光线102A具有更大的入射角，并且光线106A比光线104A具有更大的入射角。如同由传感器110观察到的，由于滤波器108的透射特性的角度依赖性，所得到的过滤光线102B、104B、106B展现出独特的光谱。这种依赖性的效果可能会致使滤波器108的带通随着入射角的增大而朝着较短波长偏移。另外，这种依赖性可能会导致滤波器108的透射效率的降低以及滤波器108的带通的光谱形状的变更。这些组合效果被称为有角度依赖性的光谱透射。图1B描绘了由传感器110的位置处的假设光谱仪观察到的图1A中的每条光线的光谱，以便示出滤波器108的频谱带通的响应于增大的入射角而发生的偏移。曲线102C、104C和106C展示了带通的中心波长的变短；而且因此，展示了该示例中的由光学系统通过的光的波长的变短。该图还示出了，带通的形状和峰值透射也会由于入射角而改变。对于某些消费者应用来说，可以运用图像处理来消除这种有角度依赖性的光谱透射的可见效应。然而，这些后处理技术不允许恢复关于哪种波长的光实际入射到滤波器108上的精确信息。因此，所得到的图像数据可能无法用于某些高精度应用。
如结合图2A和图2B所讨论的，某些现有光谱成像系统所面临的另一个挑战是摄取一整套光谱图像数据时所需的时间。光谱成像传感器对场景的光谱照度I(x,y,λ)进行采样，从而收集通常被称为数据立方体的三维(3D)数据集。图2A示出了光谱图像数据立方体120的示例。如该图所示，数据立方体120表示图像数据的三个维度：与图像传感器的二维(2D)表面对应的两个空间维度(x和y)；以及与特定波长频带对应的光谱维度(λ)。数据立方体120的维度可以由Nx、Ny和Nλ给出，其中Nx、Ny和Nλ分别是沿着(x,y)空间维度和光谱轴λ的样本元素的数量。因为数据立方体比当前可购得的2D探测器阵列(例如，图像传感器)具有更高的维数，所以典型的光谱成像系统要么摄取数据立方体120的按时间序列的2D切片或平面(本文中被称为“扫描”成像系统)，要么通过将数据立方体分割成能够在处理中被重组成数据立方体120的多个2D元素来同时测量该数据立方体的所有元素(本文中被称为“快照”成像系统)。
图2B示出了某些扫描光谱成像技术如何生成数据立方体120的示例。具体地，图2B示出了可以在单个探测器积分周期期间收集到的数据立方体120的部分132、134和136。例如，点扫描光谱仪可以摄取在单个(x,y)空间位置处延伸得跨及所有光谱平面λ的部分132。点扫描光谱仪可以被用来通过执行与贯穿两个空间维度的各(x,y)位置相对应的许多次积分来构建数据立方体120。例如，滤光片轮成像系统可以摄取延伸得跨及整个空间维度x和整个空间维度y但仅在单个光谱平面λ上延伸的部分134。诸如滤光片轮成像系统等波长扫描成像系统可以被用来通过执行与光谱平面λ的数量相对应的许多次积分来构建数据立方体120。例如，线扫描光谱仪可以摄取延伸得跨及光谱维度λ整体和两个空间维度中的一个空间维度(x或y)整体但仅沿着另一空间维度(y或x)的单个点延伸的部分136。线扫描光谱仪可以被用来通过执行与该另一空间维度(y或x)的各位置相对应的许多次积分来构建数据立方体120。
对于其中目标物体和成像系统均处于无运动状态(或者在整个曝光时间内保持相对静止)的应用，上述这些扫描成像系统提供了能够产生高分辨率数据立方体120的益处。对于线扫描成像系统和波长扫描成像系统来说，这可能是因为各个光谱图像或空间图像都是使用图像传感器的整个区域来摄取的。然而，在曝光之间发生的成像系统和/或物体的移动会导致所生成的图像数据中的伪影。例如，数据立方体120中的同一(x,y)位置实际上能够代表成像物体上的跨及光谱维度λ的不同物理位置。这可能会导致下游分析中的错误和/或可能会在执行配准(例如，将光谱维度λ配准，以使得特定的(x,y)位置对应于物体上的同一物理位置)方面强加额外的要求。
相比而言，快照成像系统140能够在单次积分期间或单次曝光中摄取整个数据立方体120，因而避免了由这种运动引起的图像质量问题。图2C描绘了可以被用来创建快照成像系统的示例性图像传感器142和诸如彩色滤波器阵列(CFA：color filter array)144等光学滤波器阵列。该示例中的CFA 144是跨及图像传感器142的表面的彩色滤波器单元146的重复图案。这种光谱信息获取方法也可以被称为多光谱滤波器阵列(MSFA：multispectral filter array)或光谱分辨探测器阵列(SRDA：spectrally resolveddetector array)。在所图示的示例中，彩色滤波器单元146包括不同彩色滤波器的5×5排列，它们将会产生所得到的图像数据中的25个光谱通道。利用这些不同的彩色滤波器，CFA可以将入射光分离成各滤波器的频带，并且将所分离的光引导到图像传感器上的若干个专用感光器。以这种方式，对于给定的颜色148，仅仅这些感光器之中的1/25才实际检测到代表该波长的光的信号。因此，虽然利用这种快照成像系统140可以在单次曝光中生成25个不同的颜色通道，但每个颜色通道所代表的测量数据在数量上比传感器142的总输出少。在一些实施方案中，CFA可以包括一个以上的滤波器阵列(MSFA)或光谱分辨探测器阵列(SRDA)，并且/或者可以包括传统的拜耳滤波器、CMYK滤波器或任何其他的基于吸收或基于干涉的滤波器。一种类型的基于干涉的滤波器可以是布置于格子中的薄膜滤波器的阵列，其中该格子的每个构件对应于一个以上传感器构件。另一种类型的基于干涉的滤波器可以是法布里-珀罗(Fabry-Pérot)滤波器。经过纳米蚀刻处理的(nanoetched)干涉法布里-珀罗滤波器展现出大约为20nm至50nm(例如，20nm、21nm、22nm、23nm、24nm、25nm、26nm、27nm、28nm、29nm、30nm、31nm、32nm、33nm、34nm、35nm、36nm、37nm、38nm、39nm、40nm、41nm、52nm、53nm、44nm、45nm、46nm、47nm、48nm、49nm或50nm，或者由用前述这些长度中的任意两者构成的范围界定的长度)的典型带通FWHM(半峰值全宽：full-width-at-half-maxima)。对于经过纳米蚀刻处理的干涉法布里-珀罗滤波器而言，因为在从其中心波长到其阻挡能带的过渡中观察到的滤波器通带(passband)的慢速滚降，故而干涉法布里-珀罗滤波器能够被用在一些实施方案中，所以干涉法布里-珀罗滤波器是有利的。这些滤波器还在这些阻挡能带中展现出低OD(光密度)，藉此，进一步能够实现更高的对在它们的通带之外的光的灵敏度。这些组合效果使这些特定滤波器对原本会被高OD干涉滤波器的快速滚降遮挡的光谱区域敏感，所述高OD干涉滤波器具有类似的FWHM且是在诸如蒸发沉积或离子束溅射等涂层沉积工艺中由许多薄膜层制成的。在具有基于染料的CMYK或RGB(拜耳)滤波器构造的实施方案中，各个滤波器通带的慢速光谱滚降和大FWHM是优选的，并且提供了针对所观察到的光谱全域中的各个波长的独特的光谱透射百分比。
因此，由快照成像系统产生的数据立方体120将会具有对于精确成像应用来说可能有问题的两个属性之一。作为第一个选项，由快照成像系统产生的数据立方体120可能具有比探测器阵列的(x,y)尺寸更小的Nx和Ny尺寸，且由此具有比由具有相同的图像传感器的扫描成像系统生成的数据立方体120更低的分辨率。作为第二个选项，由于某些(x,y)位置的插值，由快照成像系统产生的数据立方体120可能具有与探测器阵列的(x,y)尺寸相同的Nx和Ny尺寸。然而，被用来生成这种数据立方体的所述插值意味着：该数据立方体中的某些值不是入射到传感器上的光的波长的实际测量值，而是基于环境值对实际测量值的估计值。
单次曝光多光谱成像的另一个现有选择是多光谱分束器(multispectralbeamsplitter)。在这种成像系统中，分束器立方体将入射光分离成不同的色带，每个色带由独立的图像传感器进行观察。虽然人们可以改变分束器设计以便调整所测量的光谱频带，但是要想在不损害系统性能的前提下将入射光分成多于四个的光束是不容易的。因此，四个光谱通道似乎是该方法的实际限制。一种密切相关的方法是使用薄膜滤波器代替庞大的分束器立方体/棱镜来分离光线，但由于空间限制和通过连续滤波器的累积传输损耗，这种方法仍然受限于大约六个光谱通道。
除其他问题以外，上述这些问题通过已经公开的光谱成像系统以及相关联的图像数据处理技术在一些实施方案中已经得到解决，所述已经公开的光谱成像系统配备有多路照明、用于过滤照明光的多带通滤波器且使用了RGB相机的颜色通道。这种特殊构造能够实现快的成像速度、高分辨率的图像和所检测波长的精确保真度的全部设计目标。因此，已经公开的光学设计和相关联的图像数据处理技术可以被用于便携式光谱成像系统中并且/或者可以被用来对移动目标进行成像，同时仍然产生适合于高精度应用(例如，临床组织分析、生物识别、瞬时临床事件)的数据立方体。能够利用本说明书中所记载的一个以上实施方案来实现的这些更高精度的应用可以包括：在癌转移前的前期阶段(0期至3期)中对基底细胞癌、鳞状细胞癌和黑色素瘤的诊断；皮肤组织上的烧伤或创伤严重程度的分类；坏死或缺血性组织的(例如相对于健康或正常皮肤而言的)识别和边缘；或者，周围血管疾病或糖尿病足溃疡的组织诊断或严重程度。因此，如同一些实施方案中所记载的小型化规格和快照光谱采集将会使得本发明能够用在具有瞬时事件的临床环境中，所述具有瞬时事件的临床环境例如包括：若干种不同的视网膜病变(例如，非增殖性糖尿病视网膜病变、增殖性糖尿病视网膜病变和年龄相关性黄斑变性)的诊断；以及爱动的儿科患者的成像。因此，本领域技术人员应当理解，本说明书中所公开的系统的使用代表着相对于现有光谱成像实施方式的显著技术进步。
现在将会参照某些示例和实施方案来说明本发明的各个方面，这些示例和实施方案旨在用于说明而不是为了限制本发明。尽管为了说明的目的，本说明书所记载的示例和实施方案将会关注于特定计算和算法，但本领域技术人员应当理解，这些示例仅是说明性的，而非限制性的。例如，虽然会在多光谱成像的上下文中呈现一些示例，但是这里所公开的单光圈成像系统以及相关联的滤波器和多路照明也可以被构造为以其他实施方式实现高光谱成像(hyperspectral imaging)。此外，虽然某些示例被呈现为实现了手持式和/或移动式目标应用的益处，但应当理解，这里所公开的成像系统设计和相关联的处理技术也能够产生适合于固定式成像系统和/或用于分析相对静止的目标的高精度数据立方体。
电磁范围和图像传感器的概述
电磁波谱的某些颜色或部分在本文中被提及，并且现在将会关于由辐照度光谱类别的ISO 21348规范定义的这些颜色或部分的波长进行讨论。如下文进一步说明的，在某些成像应用中，特定颜色的波长范围可以被分组在一起以通过某个滤波器。
范围从760nm或大约760nm的波长到380nm或大约380nm的波长的电磁辐射通常被认为是“可见”光谱，即，人眼的颜色感受器可识别的光谱部分。在可见光谱内，红色光通常被认为具有700纳米(nm)或大约700nm的波长，或者在760nm或大约760nm至610nm或大约610nm的范围内。橙色光通常被认为具有600nm或大约600nm的波长，或者在610nm或大约610nm至591nm或大约591nm的范围内。黄色光通常被认为具有580nm或大约580nm的波长，或者在591nm或大约591nm至570nm或大约570nm的范围内。绿色光通常被认为具有550nm或大约550nm的波长，或者在570nm或大约570nm至500nm或大约500nm的范围内。蓝色光通常被认为具有475nm或大约475nm的波长，或者在500nm或大约500nm至450nm或大约450nm的范围内。紫罗兰色(紫色)光通常被认为具有400nm或大约400nm的波长，或者在450nm或大约450nm至360nm或大约360nm的范围内。
关于可见光谱以外的范围，红外线(IR)是指具有比可见光的波长更长的波长的电磁辐射，并且通常是人眼不可见的。IR波长从可见光谱的位于760nm或大约760nm处的标称红色边缘延伸到1毫米(mm)或大约1mm。在该范围内，近红外(NIR)是指该光谱的与红色范围相邻的部分，其波长范围从760nm或大约760nm到1400nm或大约1400nm。
紫外线(UV)辐射是指具有比可见光的波长更短的波长的一些电磁辐射，并且通常是人眼不可见的。UV波长从可见光谱的位于40nm或大约40nm处的标称紫色边缘延伸到大约400nm。在该范围内，近紫外(NUV)是指该光谱的与紫色范围相邻的部分，其波长范围从400nm或大约400nm到300nm或大约300nm，中紫外(MUV)的波长范围从300nm或大约300nm到200nm或大约200nm，并且远紫外(FUV)的波长范围从200nm或大约200nm到122nm或大约122nm。
本文所记载的图像传感器可以被构造为能够检测上述这些范围中的任意范围内的电磁辐射，这取决于适合于特定应用的特定波长范围。典型的硅基CCD(电荷耦合器件)传感器或硅基CMOS(互补金属氧化物半导体)传感器的光谱灵敏度延伸得跨及整个可见光谱，并且还延伸得相当多地进入近红外(IR)光谱，有时甚至延伸得进入UV光谱。一些实施方式可以替代地或额外地使用背面照射型或前面照射型CCD或者CMOS阵列。对于要求高SNR(信噪比：signal-to-noise ratio)的应用和科学级测量，某些施方式可以替代地或额外地使用科学互补金属氧化物半导体(sCMOS)相机或电子倍增CCD相机(EMCCD)。其他实施方式可以基于预期的应用替代地或额外地使用已知能在特定颜色范围(例如，短波红外(SWIR)、中波红外(MWIR)或长波红外(LWIR))中操作的传感器和相应的光学滤波器阵列。这些方案可以替代地或额外地包括：基于含有砷化铟镓(InGaAs)或锑化铟(InSb)的探测器材料的相机；或基于微测辐射热计阵列(microbolometer array)的相机。
在已经公开的多光谱成像技术中使用的图像传感器可以与诸如彩色滤波器阵列(CFA：color filter array)等光学滤波器阵列相结合地予以使用。一些CFA可以将可见光范围内的入射光分离为红色(R)、绿色(G)和蓝色(B)类别，以便将分离出来的可见光引导到图像传感器上的专用红色、绿色或蓝色光电二极管接收器。CFA的常见示例是拜耳图案，该拜耳图案是用于把RGB彩色滤波器布置在光电传感器的矩形格子上的特定图案。拜耳图案是50％绿色、25％红色和25％蓝色，其中，重复的红色和绿色彩色滤波器的行与重复的蓝色和绿色彩色滤波器的行进行交替。一些CFA(例如，用于RGB-NIR传感器的CFA)还能够分离出NIR光，并且将分离出来的NIR光引导到图像传感器上的专用光电二极管接收器。
这样，CFA的滤波器组件的波长范围可以决定由所摄取图像中的每个图像通道代表的波长范围。因此，在各种实施方案中，图像的红色通道可以对应于彩色滤波器的红色波长区域，并且可以包括从570nm或大约570nm到760nm或大约760nm的范围内的一些黄色光和橙色光。在各种实施方案中，图像的绿色通道可以对应于彩色滤波器的绿色波长区域，并且可以包括从570nm或大约570nm到480nm或大约480nm的范围内的一些黄色光。在各种实施方案中，图像的蓝色通道可以对应于彩色滤波器的蓝色波长区域，并且可以包括从490nm或大约490nm到400nm或大约400nm的范围内的一些紫光。如本领域普通技术人员应当理解的，用于对CFA的颜色(例如，红色、绿色和蓝色)进行界定的确切开始波长和确切结束波长(或电磁波谱的部分)可以依赖于CFA实施方式而变化。
此外，典型的可见光CFA对于可见光谱以外的光是透明的。因此，在许多图像传感器中，IR灵敏度受到该传感器的表面处的薄膜反射IR型滤波器的限制，该薄膜反射IR型滤波器阻挡红外波长而同时让可见光透过。然而，这在已经公开的成像系统中的一些成像系统中是可以被省略的，以允许IR光透过。因此，红色、绿色和/或蓝色通道也可以被用来收集IR波长频带。在一些实施方式中，蓝色通道还可以被用来收集某些NUV波长频带。红色、绿色和蓝色通道关于它们在光谱图像堆栈中的各波长处的独特透射效率的不同光谱响应可以提供要利用已知的传输轮廓而被解混的光谱频带的独特加权响应。例如，这可以包括红色、蓝色和绿色通道在IR和UV波长区域中的已知传输响应，从而使得它们能够被用来收集这些区域的频带。
如下文进一步详细说明的，可以沿着朝着图像传感器的光路在CFA之前放置额外的彩色滤波器，以便选择性地提炼入射到图像传感器上的特定频带。一些所公开的滤波器可以是二向色(薄膜)滤波器和/或吸收滤波器的组合，或者可以是单个二向色滤波器和/或吸收滤波器。一些所公开的彩色滤波器可以是带通滤波器，这样的带通滤波器允许特定范围内的频率(通带中的频率)通过并且拒绝(衰减)该范围以外的频率(阻挡范围中的频率)。一些所公开的彩色滤波器可以是允许多个不连续波长范围通过的多带通滤波器。这些“波段”与CFA滤波器的较大颜色范围相比可以具有更小的通带范围、更大的阻挡范围衰减和更陡峭的光谱滚降，所述光谱滚降被定义为随着滤波器从通带过渡到阻挡范围时光谱响应的陡峭度。例如，这些所公开的彩色滤波器可以覆盖20nm或大约20nm或者40nm或大约40nm的通带。这样的彩色滤波器的特定构造可以决定入射到传感器上的实际波长频带，这就能够提高所公开的成像技术的精度。取决于适合于特定应用的特定波长频带，本文所记载的彩色滤波器可以被构造为能够选择性地阻挡或通过电磁辐射的在上述那些范围中的任何范围内的特定频带。
如本文所记载的，“像素”可以被用来说明由2D探测器阵列的元件生成的输出。相比之下，光电二极管，即该阵列中的单个光敏元件，充当一种能够通过光电效应将光子转换为电子的换能器，这些电子然后被依次转换为用于确定像素值的可用信号。数据立方体的单个元素可以被称为“体素”(例如，体积元素)。“光谱矢量”是指用于说明数据立方体(例如，从物体空间中的特定点接收到的光的光谱)中的特定(x,y)位置处的光谱数据的矢量。数据立方体的单个水平面(例如，表示单个光谱维度的图像)在本文中被称为“图像通道”。本文所记载的某些实施方案可以摄取光谱视频信息，并且所得到的数据维度可以显露“超立方体”形式NxNyNλNt，其中Nt是在视频序列期间所摄取的帧的数量。
示例性成像系统的概述
图3A描绘了根据本发明的具有弯曲的多带通滤波器的示例性多光圈成像系统200的示意图。所示出的图中包括第一图像传感器区域225A(光电二极管PD1至PD3)和第二图像传感器区域225B(光电二极管PD4至PD6)。例如，光电二极管PD1至PD6可以是形成在半导体基板中例如在CMOS图像传感器中的光电二极管。一般而言，光电二极管PD1至PD6各者可以是由任何材料制成的单个单元、半导体、传感器元件或用于将入射光转换成电流的其他装置。应当理解，出于解释整个系统的结构和操作的目的，示出了整个系统的一小部分，并且在实施方式中，图像传感器区域可以具有数百个或数千个光电二极管(以及相应的彩色滤波器)。取决于实施方式，图像传感器区域225A和225B可以被实现为单独的传感器，或者被实现为同一图像传感器的单独区域。尽管图3A描绘了两个光圈以及对应的光路和传感器区域，但应当理解，图3A所示的光学设计原理可以取决于实施方式而被扩展到三个以上光圈以及对应的光路和传感器区域。
多光圈成像系统200包括用于提供去往第一传感器区域225A的第一光路的第一开口210A以及用于提供去往第二传感器区域225B的第一光路的第二开口210B。这些光圈可以是可调节的，以使得能够增加或减少落在图像上的光的亮度，或者以使得能够改变特定图像曝光的持续时间且不改变落在图像传感器区域上的光的亮度。这些光圈还可以位于如光学设计领域的技术人员认为合理的沿着该多光圈系统的光轴的任何位置。沿着第一光路而被定位的光学部件的光轴由虚线230A示出，并且沿着第二光路而被定位的光学部件的光轴由虚线230B示出，并且应当理解，这些虚线不代表多光圈成像系统200的物理结构。光轴230A、230B彼此分开距离D，这会导致由第一传感器区域225A摄取的图像和由第二传感器区域225B摄取的图像之间的视差。视差是指立体对(stereoscopic pair)的左、右(或上、下)图像中两个对应点之间的距离，使得物体空间中的相同物理点可能出现在各图像中的不同位置处。下面更详细地说明对这种视差进行补偿和利用的处理技术。
每个光轴230A、230B经过相应光圈的中心C，并且光学部件也可以沿着这些光轴居中(例如，光学部件的旋转对称点可以沿着光轴而被定位)。例如，第一弯曲多带通滤波器205A和第一成像透镜215A各自可以沿着第一光轴230A居中，并且第二弯曲多带通滤波器205B和第二成像透镜215B各自可以沿着第二光轴230B居中。
如本文中关于光学元件的定位而使用的，“上方”和“在…之上”是指如下的结构(例如，彩色滤波器或透镜)的位置：从物体空间进入成像系统200的光在传播经过该结构之后才到达(或入射到)另一个结构。为了说明，沿着第一光路，弯曲多带通滤波器205A被定位在光圈210A上方，光圈210A被定位在成像透镜215A上方，成像透镜215A被定位在CFA 220A上方，并且CFA 220A被定位在第一图像传感器区域225A上方。因此，来自物体空间(例如，被成像的物理空间)的光首先通过弯曲多带通滤波器205A，然后穿过光圈210A，然后通过成像透镜215A，然后通过CFA 220A，并且最后入射到第一图像传感器区域225A上。第二光路(例如，弯曲多带通滤波器205B、光圈210B、成像透镜215B、CFA 220B、第二图像传感器区域225B)遵循与上述类似的布置。在其他实施方式中，光圈210A、210B和/或成像透镜215A、215B可以被定位在弯曲多带通滤波器205A、205B上方。另外，其他实施方式可以不使用物理光圈，并且可以依赖于光学器件的通光孔径(clear aperture)来控制将要在传感器区域225A、225B上成像的光的亮度。因此，成像透镜215A、215B可以被放置在光圈210A、210B和弯曲多带通滤波器205A、205B上方。在本实施方式中，光圈210A、210B和成像透镜215A、215B也可以如光学设计领域的技术人员认为必要的方式被放置在彼此上方或下方。
定位于第一传感器区域225A上方的第一CFA 220A和定位于第二传感器区域225B上方的第二CFA 220B可以充当波长选择性通过滤波器，并且将可见光范围内的入射光分离成红色、绿色和蓝色范围(如由R、G和B符号所指示的)。通过仅允许某些选定波长通过第一CFA 220A和第二CFA 220B各者中的彩色滤波器来“分离”光。所分离的光由图像传感器上的专用红色、绿色或蓝色二极管接收。尽管通常使用红色、蓝色和绿色彩色滤波器，但在其他实施方案中，彩色滤波器可以根据所摄取图像数据的颜色通道要求而变化，例如可以包括紫外、红外或近红外通过滤波器，如RGB-IR CFA一样。
如图3A所示，CFA的每个滤波器都被定位在单个光电二极管PD1至PD6上方。图3A还示出了可以形成于每个彩色滤波器上或以其他方式定位于每个彩色滤波器上方的示例微透镜(由ML表示)，以便将入射光聚集到有源探测器区域上。在其他实施方式中，可以在单个滤波器下设置有多个光电二极管(例如，2个、4个或更多个彼此相邻光电二极管的族群)。在图3A所示的示例中，光电二极管PD1和光电二极管PD4各自位于红色彩色滤波器下方，并且由此将会输出红色通道像素信息；光电二极管PD2和光电二极管PD5各自位于绿色彩色滤波器下方，并且由此将会输出绿色通道像素信息；并且光电二极管PD3和光电二极管PD6各自位于蓝色彩色滤波器下方，并且由此将会输出蓝色通道像素信息。此外，如下文更详细说明的，基于所激活的照明体和/或由多带通滤波器205A、205B通过的特定波段，由给定的光电二极管输出的特定颜色通道可以进一步被限制为较窄波段，以使得给定的光电二极管可以在不同曝光期间内输出不同的图像通道信息。
成像透镜215A、215B可以被成形得能够将物体场景的图像聚焦到传感器区域225A、225B上。每个成像透镜215A、215B可以由成像所需的如图3A所呈现的那样多的光学元件和表面组成，并且不限于图3A所示的单个凸透镜，因而也可以使用可商业购买或通过定制设计的各种各样成像透镜或透镜组件。各元件或透镜组件可以以堆叠形式形成或接合在一起，或者可以使用具有保持环或保持槽的光学机械镜筒而被串联地固持住。在一些实施方案中，各元件或透镜组件可以包括诸如以粘合或其他方式接合在一起的两个以上光学部件等一个以上接合透镜组。在各种实施方案中，本文所记载的多带通滤波器中的任一者可以被定位在多光谱成像系统的透镜组件前方、多光谱成像系统的单透镜(singlet)前方、多光谱成像系统的透镜组件后方、多光谱成像系统的单透镜后方、多光谱成像系统的透镜组件内部、或多光谱成像系统的接合透镜组内部，或者可以被直接定位到多光谱成像系统的单透镜的表面上，或者可以被直接定位到多光谱成像系统的透镜组件的元件的表面上。此外，光圈210A和210B可以被移除，并且成像透镜215A、215B可以是在利用数码单镜头反光(DSLR：digital-single-lens-reflex)相机或无反相机(mirrorless camera)进行摄影时通常所使用的各种透镜。此外，这些透镜可以是在使用安装用C接口螺纹或S接口螺纹的机器视觉技术中所使用的各种透镜。例如基于手动聚焦、反差自动对焦(contrast-basedautofocus)或其他合适的自动对焦技术，可以通过成像透镜215A、215B相对于传感器区域225A、225B的移动或者传感器区域225A、225B相对于成像透镜215A、215B的移动来提供焦点调节。
多带通滤波器205A、205B均可以被构造为选择性地允许光的多个窄波段通过，所述多个窄波段例如在一些实施方案中为10nm至50nm的波段(或者在其他实施方案中为更宽或更窄的波段)。如图3A所示，多带通滤波器205A和多带通滤波器205B两者都能够允许波段λc(“公共波段”)通过。在具有三个以上光路的实施方式中，每个多带通滤波器都能允许该公共波段通过。以这种方式，每个传感器区域摄取了相同波段(“公共通道”)的图像信息。如下文进一步详细说明的，该公共通道中的这一图像信息可以被用来配准由每个传感器区域摄取的图像集合。一些实施方式可以具有一个公共波段和对应的公共通道，或者可以具有多个公共波段和对应的公共通道。
除了允许公共波段λc通过之外，每个多带通滤波器205A、205B均可以被构造为还选择性地允许一个以上独特波段通过。以这种方式，成像系统200能够使超过由单个传感器区域能够摄取到的光谱通道的数量的由传感器区域205A、205B集体摄取到的不同光谱通道的数量增加。这在图3A中由允许独特波段λu1通过的多带通滤波器205A和允许独特波段λu2通过的多带通滤波器205B示出，其中λu1和λu2表示彼此不同的波段。尽管在图3A中被描绘为允许两个波段通过，但所公开的多带通可以分别允许一组两个以上波段组通过。例如，如关于图11A和图11B所述的，一些实施方式可以分别允许四个波段通过。在各种实施方案中，可以允许更多数量的波段通过。例如，一些四相机实施方式可以包括被构造为允许8个波段通过的多带通滤波器。在一些实施方案中，例如，波段的数量可以是4、5、6、7、8、9、10、12、15、16或更多个波段。
多带通滤波器205A、205B具有如下的曲率，该曲率被选择得能够减少横跨相应传感器区域225A、225B的有角度依赖性的光谱透过率。结果，当接收来自物体空间的窄频带照明时，横跨传感器区域225A、225B的对该波长敏感(例如，上方的彩色滤波器允许该波长通过)的区域的每个光电二极管应该接收基本上相同波长的光，而非上面参照图1A所说明的经历了波长偏移的传感器边缘附近的光电二极管。这与使用平面滤波器相比而言能够生成更精确的光谱图像数据。
图3B描绘了图3A的多光圈成像系统的一个光路的光学部件的示例性光学设计。具体地，图3B描绘了可以被用来提供多带通滤波器205A、205B的定制消色差双合透镜(customachromatic doublet)240。定制消色差双合透镜240使光经过外壳250到达图像传感器225。外壳250可以包括上述的开口210A、210B和成像透镜215A、215B。
消色差双合透镜240被构造为能够校正由于多带通滤波器涂层205A、205B所需求的表面的并入而引入的光学像差。所示出的消色差双合透镜240包括两个单独的透镜，这两个单独的透镜可以由具有不同色散量和不同折射指数的玻璃或其他光学材料制成。其他实施方式可以使用三个以上透镜。这些消色差双合透镜可以被设计成将多带通光学滤波器涂层205A、205B并入弯曲的前表面242上，同时消除了由于弯曲的单透镜的光学表面与所沉积的滤波器涂层205A、205B的并入而原本将会呈现出来的所引入的光学像差，同时由于弯曲的前表面242和弯曲的后表面244的组合效应因而仍然限制了由消色差双合透镜240提供的光学或聚焦能力，同时仍然把用于聚焦光的主要元件保持得受限于容纳在外壳250中的透镜。因此，消色差双合透镜240可以有助于由成像系统200摄取的图像数据的高精度。这些单独的透镜可以彼此相邻地安装着，例如被接合或粘合在一起，并且被成形为使得这些透镜之中的一个透镜的像差被其他透镜的像差抵消掉。消色差双合透镜240的弯曲的前表面242或弯曲的后表面244可以涂覆有多带通滤波器涂层205A、205B。其他的双合透镜设计可以用本文所记载的系统来实现。
可以实现本文所记载的光学设计的进一步变形例。例如，在一些实施方案中，光路可以包括单透镜或诸如如图3A所示的正或负弯月面透镜等其他光学单透镜，以代替图3B所示的双合透镜240。图3C示出了其中在透镜外壳250和图像传感器225之间设置有平面滤波器252的示例性实施方式。图3C中的消色差双合透镜240提供了通过包含具有多带通透射分布的平面滤波器252而引入的光学像差校正，同时对由外壳250中所包含的透镜提供的光学能力没有显著贡献。图3D示出了其中借助于涂覆到外壳250内所包含的透镜组件的前表面上的多带通涂层254来实现多带通涂层的实施方式的另一示例。因此，该多带通涂层254可以被涂覆到外壳250内的任何光学元件的任何弯曲表面上。
单光圈多光谱成像系统和方法
图4的部分(a)示出了根据本发明的示例性多光谱成像系统的系统图。在该设计中，彩色相机是成像传感器，但根据本技术也可以使用各种其他类型的成像传感器。该系统还可以包括电动变焦镜头，因此该系统能够摄取具有可调节视场(FOV)的图像。电动变焦镜头可以有利地实现针对不同的成像场景的可调节FOV。例如，在用于伤口成像的生物医学应用中，大FOV可能较佳地用于对大面积烧伤伤口进行成像，而小FOV可能较佳地用于对诸如糖尿病足溃疡(DFU：diabetic foot ulcer)等小面积特征或其他特征进行成像。在一个非限制的示例性实施方案中，较佳的FOV可以具有在8cm至23cm的范围内的直径。八频带光学滤波器被放置在透镜和相机之间，其中各频带被设计为多光谱成像频带。在该特定示例中，8个频带的中心波长可以分别是420nm、525nm、581nm、620nm、660nm、726nm、820nm和855nm。可以设置具有相同光谱频带的LED光的8个波长以用于照明。在一些实施方案中，每个LED频带可以独立于其他LED而选择性地被打开和关闭。带通光学滤波器被放置在具有匹配的光谱频带的每个LED前方，以用于来自LED的照明光的光谱约束。
图4的部分(b)示出了相机中RGB传感器的量子效率(Q％)。蓝线、绿线和红线分别代表相机的蓝色、绿色和红色通道。图4的部分(c)示出了八频带滤波器的透射系数，其中整个光谱上总共有8个带通频带。这8个频带是所期望的多光谱成像频带。相应地，图4的部分(d)示出了整个光谱上的8个独立的LED照明强度(I0)。它们的照明频带可以与八频带滤波器的频带重叠。
图5示出了在MSI采集中的LED照明的示例性时间序列和每个通道中的相应的感测系数，它们可以结合图4的多光谱成像系统来实现。图5的时间序列仅是示例性的，作为在本技术的范围内可以采用的照明和光谱解混的图解。应当理解，图4的系统可以与不同的LED时间序列相结合地使用，并且/或者图5的时间序列可以与不同的多光谱成像系统相结合地使用，而不脱离本技术的要旨或范围。
首先，在图5的(I)中，打开LED通道1、3和5(420nm、581nm和660nm)光。在这一段时间窗口内，相机采集一个图像。如图5的(I)所示，三个波长通过该相机中的光学滤波器，并且由该相机中的RGB通道摄取，它们具有不同的滤波器透射系数(T％)和RGB感测系数(Q％)。其次，如图5的(II)所示，关闭LED通道1、3和5光，打开通道2、4和6(525nm、620nm和726nm)光。类似地，相机在此期间内采集一个图像，并且三个波长由该相机的具有特定系数的三个通道摄取。接着，在图5的(III)中，关闭LED通道2、4光(而通道6的726nm的光仍保持打开状态)，打开通道7、8光(820nm、855nm)，使得相机以特定系数采集关于通道6、7、8波长的第三个图像。
在一些实施方案中，可以执行初始校准。首先，相机按照以下顺序采集参照物(例如，白色天顶目标(zenith target)等)的三个图像：(1)当没有LED照明时；(2)当打开LED通道1、3和5(420nm、581nm和660nm)光时(关闭所有其他LED通道)；(3)当打开LED通道2、4和6(525nm、620nm和726nm)光时(关闭所有其他LED通道)；(4)当打开LED通道6、7和8(726nm、820nm和855nm)光时(关闭所有其他LED通道)。在一些实施方案中，参照物可以是在整个光谱上反射大约95％的光子的白色天顶目标，其可以被用于照明平场校正(illuminationflat field correction)。
接下来，相机可以以相同的序列采集成像目标的三个图像(例如，无LED照明；然后通道1、3和5处于打开状态；然后通道2、4和6处于打开状态；以及然后通道6、7和8处于打开状态)。通过背景扣除和平场校正，可以使用以下表达式：
Image＝I0×R％×T％×Q％
这里，I0是裸照明强度，R％是成像目标的反射系数(未知的要计算的光谱)，T％是LED滤波器和八频带光学滤波器的透射系数，并且Q％是相机的量子系数。因为相机图像具有作为三个已知值的三个通道(蓝、绿、红)，且与此同时LED照明中一次仅包含三个波长因而三个光谱频带的反射系数(例如，通道1、3和5的R％)是要一次计算出来的三个未知值，所以能够基于如下的矩阵运算方程(以通道1、3、5为例)通过解混矩阵求解出三个未知的R％通道：
这里，[R％channel1 R％channel2 R％channel3]是三个未知值，[ImageBlue ImageGreenImageRed]是三个已知值，并且[I0×T％×Q％]是解混系数矩阵。因此，反射系数可以通过以下方式来求解：
类似地，当以特定的波长组合来打开LED照明时，通过相应的解混矩阵求解出所有其他通道2、4、6、7、8(525nm、620nm、726nm、820nm和855nm)中的反射系数。相应地，8个MSI图像是基于经由三个解混矩阵获得的通道特有图像而生成的。
上面参照图5而说明的图像采集和LED照明的组合的时间序列只是在采集8个MSI图像时的一种示例方式。实际上，LED照明和图像采集时间序列可以被设计成具有不同的组合和/或时序，并且可以基于硬件性能、经验结果等来选择所要使用的组合。作为可替代方案，当每个LED波长被设计为单独打开因而不需要解混矩阵时，可以使用黑白相机。在这种情况下，可以通过对目标进行成像并将MSI图像的质量与光谱地面实况进行比较(即，颜色校准)来评估性能。
单光圈多光谱成像系统的示例实施方式和结果
图6和图7示出了可以结合本文所公开的系统和方法来实现的单光圈、单相机多光谱图像采集装置的示例性物理体现。图6是包括相机和用于提供上述多路照明的LED阵列的手持设备的立体图。在图6的手持设备内可以包括一个以上处理器和用于存储所采集的图像数据的存储器。在图6的手持设备内还可以执行对图像数据的进一步处理，例如如本文所公开的光谱解混和/或如本文进一步公开的单独光谱图像的生成等。或者，可以单独利用图6的设备或与图6的设备相结合地，在一个以上远程计算设备的控制下全部地或部分地执行上述的对图像数据的进一步处理，而不脱离本发明的保护范围。
图7示出了示例性的包括总共24个LED的LED构造，该LED构造包括：在围绕图像采集装置的单个光圈的圆形布局中，按8个不同波长频带中的每一者分别布置有3个LED。为了从复杂性中减少解混错误，LED照明颜色的数量升级为8个波长，每个波长分别覆盖预定的MSI光谱频带，各个MSI光谱频带的中心波长可能是大约420nm、525nm、581nm、620nm、660nm、726nm、820nm和880nm。由于成像传感器的单光圈设计，已经开发出了一种新的LED空间布置，使得照明板和成像传感器被紧凑为更小的正面尺寸。通过采用环形设计，在中心处从LED照明到相机光圈提供了较佳的照片收集效率。为了确保在较佳的工作距离(例如，在一些实施方案中为40cm)处的均匀照明，每个LED颜色可以在照明板上承载多达3个或更多个LED单元，每个LED单元承载着120°光束扩展。扩散器可以被放置在照明板上方，并且间隔件被规定为能够确保LED和扩散器之间有足够的距离，以防止扩散器受到热损坏。可以使用集成到摄像头(imaging head)(例如，图6的设备)中的一个以上处理器来完成对各个LED的控制，因而能够对不同的颜色组合进行测试以获得最优化的图像采集时序设计。这还允许在校准时调整各个光源的照明强度，以实现高的信噪比。
图8至图10示出了根据本技术的单光圈系统的测试结果。图8描绘了在七种不同颜色LED照明条件下从单镜头、单光圈、单相机系统采集到的Macbeth目标和Zenith目标的RGB图像，并且减去了室内环境光作为背景。在该示例性试验中，照明板上的七种颜色LED(蓝色、绿色、荧光转换型琥珀色(PC Amber)、深红色、远红色、NIR I、NIR II)利用一套8个单独的MSI带通光学滤波器(分别具有中心波长/半峰值全宽(FWHM)：420nm/10nm、520nm/10nm、580nm/10nm、620nm/10nm、660nm/10nm、730nm/10nm、810nm/10nm和850nm/10nm)按时间序列而被单独打开和关闭，使得在RGB相机上采集了总共7×8＝56个图像。
在线性后处理(linear post-processing)方法中，通过对当同一颜色LED进行照明时在8个不同的滤波器中采集到的8个图像进行求和，这等效地表示让八频带滤波器具有在7种照明条件下采集到的7个RGB图像。对Macbeth目标进行成像以用于光谱分析，并且对具有95％反射率的Zenith目标进行成像以用于平场校正。然后，通过解混算法生成8个MSI图像。这里简要地说明解混原理。所检测到的信号(S)是光谱频带(λ)上的照明强度(I)、目标反射率(R)、包括透镜和带通滤波器在内的光学器件的透射系数(T)以及传感器量子效率(Q)的乘积的积分：
∫(Sλ)＝∫(Iλ×Rλ×Tλ×Qλ)
这里，目标反射率(R)是测量对象，并且所检测到的信号(S)是直接测量值。八频带滤波器将光学透射约束为仅在8个预先确定的MSI光谱窗口中，从而只有8个未知的R测量值。通过使用量子效率(Q)相同的3个光谱传感器(即，RGB通道)调制7种颜色LED照明(I)，提供了一个具有足够(7×3＝21个)已知值的线性解混矩阵来求解8个未知数。图9中示出了通过使用该处理而生成的8个MSI图像。
在生成MSI图像之后，通过将Macbeth目标上每个图块(patch)的MSI光谱与由校准光谱仪获得的地面实况进行比较来分析光谱精度。图10示出了比较结果。比较结果表明，在所提出的升级方案的单光圈MSI系统设计中具有高的光谱测量精度(平均相关系数为0.97)。
用辞解释
本文所记载的所有方法和任务可以利用计算机系统来予以执行且完全自动化。在一些情况下，计算机系统可以包括通过网络进行通信和交互操作以执行所述功能的多个不同计算机或计算设备(例如，物理服务器、工作站、存储阵列、云计算资源等)。每个这种计算设备通常包括处理器(或多个处理器)，该处理器(或多个处理器)执行存储于存储器或其他非暂时性计算机可读存储介质或设备(例如，固态存储设备、磁盘驱动器等)中的程序指令或模块。本文所公开的各种功能可以在这样的程序指令中得以实现，或者可以在计算机系统的专用电路(例如，ASIC或FPGA)中得以实现。在计算机系统包括多个计算设备的情况下，这些设备可以但不一定位于共同位置。所公开的方法和任务的结果可以通过将诸如固态存储器芯片或磁盘等物理存储设备转换成不同的状态来持久地存储。在一些实施方案中，计算机系统可以是基于云的计算系统，它的处理资源由多个不同的商业实体或其他用户共享。
所公开的处理可以响应于诸如关于预定的或动态确定的时间表、关于当由用户或系统管理员启动时的需求等的事件而开始，或者可以响应于一些其他事件而开始。当该处理被启动时，存储在一个以上非暂时性计算机可读介质(例如，硬盘驱动器、闪存、可移动介质等)上的一组可执行程序指令可以被加载到服务器或其他计算设备的存储器(例如，RAM)中。于是，可执行指令可以由计算设备的基于硬件的计算机处理器来执行。在一些实施方案中，该处理或其部分可以串行或并行地在多个计算设备和/或多个处理器上实现。
取决于实施方案，本文所记载的任何处理或算法的某些动作、事件或功能可以以不同的顺序予以执行，可以被添加、合并或完全省略(例如，并非所有的所记载的操作或事件都是在实践算法时所必需的)。此外，在某些实施方案中，操作或事件可以不是按顺序执行的，而是例如通过多线程处理(multi-threaded processing)、中断处理或者多个处理器或处理器核被同时执行的或者在其他并行架构上被同时执行的。
结合本文所公开的各实施方案予以说明的各种说明性逻辑块、模块、例程和算法步骤可以被实现为电子硬件(例如，ASIC或FPGA设备)、在计算机硬件上运行的计算机软件、或者电子硬件与计算机软件的组合。此外，结合本文所公开的各实施方案予以说明的各种说明性逻辑块和模块可以由如下的被设计用于执行本文所记载的功能的机器予以实现或实施，该机器例如是：处理器设备；数字信号处理器(“DSP”：digital signal processor)；专用集成电路(“ASIC”：application specific integrated circuit)；现场可编程门阵列(“FPGA”：field programmable gate array)或其他可编程逻辑器件；离散门(discretegate)或晶体管逻辑；离散硬件组件；或上述这些的任何组合等。处理器设备可以是微处理器，但在一个可替代方案中，处理器设备可以是控制器、微控制器、状态机、或者它们的任意组合等。处理器设备可以包括被构造用于处理计算机可执行指令的电路。在另一实施方案中，处理器设备包括FPGA或用于执行逻辑操作而不处理计算机可执行指令的其他可编程设备。处理器设备还可以被实现为计算设备的组合，例如：DSP和微处理器的组合、多个微处理器、与DSP核结合的一个以上微处理器、或任何其他的类似构造。尽管本文主要针对数字技术进行说明，但处理器设备也可以主要包括模拟组件。例如，本文所记载的渲染技术中的一些或全部可以在模拟电路中实现或可以在混合的模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，其包括但不限于基于微处理器的计算机系统、大型计算机、数字信号处理器、便携式计算设备、设备控制器或电器内的计算引擎等诸如此类。
结合本文所公开的实施方案而予以说明的方法、处理、例程或算法的元素可以被直接体现在硬件中、由处理器设备运行的软件模块中、或这两者的组合中。软件模块可以存在于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或任何其他形式的非暂时性计算机可读存储介质中。示例性存储介质可以接入至处理器设备，使得处理器设备能够从存储介质读取信息以及向存储介质写入信息。在可替代方案中，存储介质可以被集成到处理器设备中。处理器设备和存储介质可以存在于ASIC中。ASIC可以存在于用户终端中。在可替代方案中，处理器设备和存储介质可以作为离散组件存在于用户终端中。
除非另外地做出特别说明，或者除非在所使用的上下文中以另外的方式进行理解，否则本文所使用的诸如“能够”、“将会”、“可能”、“可以”、“例如”等条件语言一般旨在传达某些实施方案包括某些特征、元件或步骤，而其他实施方案不包括这些特征、元件或步骤。因此，这种条件语言一般并不旨在暗示某些特征、元件或步骤以任何方式是一个以上实施方案所需要的，或者并不旨在暗示一个以上实施方案必须包括用于在有或没有其他输入或提示的情况下决定这些特征、元件或步骤是否被包含于任何特定实施方案中或是否将要在任何特定实施方案中被执行的逻辑。术语“包括”、“包含”、“具有”等是同义的并且是以开放式的方式涵盖性地使用的，并且不排除额外的元件、特征、动作、操作等。此外，术语“或”以其涵盖性含义(而非其排他性含义)予以使用，因此，当该术语被用来例如将一系列元件连接起来时，术语“或”意味着该系列中的那些元件的一个、一些或全部。
除非另外做出特别说明，否则诸如短语“X、Y或Z中的至少一者”等析取式语言应当根据所使用的上下文来来广义地理解，以表明某个项目、术语等可以是X、Y或Z或可以它们(例如，X、Y或Z)的任意组合。因此，这种析取式语言一般并不旨在且不应当暗示着某些实施方案需要至少一个X、至少一个Y和至少一个Z每一者是分别存在的。
虽然以上详细说明已经示出了、说明了和指出了应用于各种实施方案的新颖特征，但可以理解的是，可以对所示出的装置或算法的形式及细节做出各种省略、替换和改变，而不脱离本发明的范围。可以认识到，本文所记载的某些实施方案可以按照不会提供本文所阐述的全部特征和益处的形式来体现，因为一些特征可以与其他特征分开地使用或实践。落入权利要求的含义和等同物范围内的所有改变均被涵盖于该权利要求的保护范围内。

Claims (30)

1.一种多光谱成像系统，包括：
光源，其被构造为通过选择性地发射包括一组四个以上预定波段中的一个以上波段的光来照明物体；
图像传感器，其被构造为接收所述发射光的由所述物体反射后的反射部分；
光圈，其被定位成允许所述发射光的所述反射部分通过以到达所述图像传感器；
多带通滤波器，其位于所述光圈上方，所述多带通滤波器被构造为允许所述一组四个以上预定波段中的光通过；
存储器，其存储用于生成和解混多光谱图像的指令；以及
至少一个处理器，其被构造为利用所述指令至少执行下列动作：
致使所述光源发射所述一组四个以上预定波段中的第一子组两个以上预定波段的光；
从所述图像传感器接收基于所述第一子组的反射光而生成的第一图像数据；
致使所述光源发射所述一组四个以上预定波段中的第二子组两个以上预定波段的光；
从所述图像传感器接收基于所述第二子组的反射光而生成的第二图像数据；
处理所述第一图像数据和所述第二图像数据，以至少生成第一多光谱图像和第二多光谱图像；和
执行光谱解混，以生成所述物体的多个单波段图像，每个所述单波段图像对应于所述一组四个以上预定波段中的一个预定波段。
2.根据权利要求1所述的多光谱成像系统，其中，
所述处理器还被构造为执行下列动作：
致使所述光源发射所述一组四个以上预定波段中的第三以上序数子组两个以上预定波段的光；和
从所述图像传感器接收基于所述第三以上序数子组的反射光而生成的第三以上序数图像数据。
3.根据权利要求1或2所述的多光谱成像系统，其中，
所述光源包括多个发光二极管(LED)，每个所述发光二极管被构造成以所述一组四个以上预定波段中的一个预定波段发射光。
4.根据权利要求3所述的多光谱成像系统，其中，
所述至少一个处理器还被构造为执行下列动作：控制所述光源的各个所述发光二极管的激活，以选择由所述光源同时发射的波段。
5.根据权利要求4所述的多光谱成像系统，其中，
所述处理器通过控制电子切换快门以选择性地通过或阻挡由各个所述发光二极管发射的光，来控制各个所述发光二极管的激活。
6.根据权利要求1至5中任一项所述的多光谱成像系统，其中，
所述多带通滤波器包括允许光通过的多个波段，每个所述波段对应于所述一组四个以上预定波段中的一个预定波段。
7.根据权利要求3至6中任一项所述的多光谱成像系统，其中，
所述发光二极管和所述多带通滤波器包括相等数量的波段，并且
所述发光二极管中的每个波段与所述多带通滤波器中的相应波段对准。
8.根据权利要求3至6中任一项所述的多光谱成像系统，还包括：
位于所述多个发光二极管中的各个所述发光二极管上方的带通滤波器，用于提供由各个所述发光二极管发射的光的精确光谱约束。
9.根据权利要求3所述的多光谱成像系统，其中，
所述一组四个以上预定波段包括八个预定波段，并且
所述光源包括八个发光二极管，每个所述发光二极管被构造成以所述八个预定波段中的一个预定波段发射光。
10.根据权利要求9所述的多光谱成像系统，其中，
所述多带通滤波器包括八频带滤波器，所述八频带滤波器被构造为让所述八个预定波段中的每个预定波段通过。
11.根据权利要求10所述的多光谱成像系统，其中，
所述至少一个处理器还被构造为利用所述指令执行下列动作：致使所述光源发射所述一组四个以上预定波段中的第三子组的光，并且从所述图像传感器接收基于所述第三子组的反射光而生成的第三图像数据。
12.根据权利要求11所述的多光谱成像系统，其中，
所述第一子组、所述第二子组和所述第三子组各自包括所述一组四个以上预定波段中的三个预定波段。
13.根据权利要求9所述的多光谱成像系统，其中，
所述八个预定波段是由从紫外(UV)到短波红外的范围内的中心波长限定的。
14.根据权利要求13所述的多光谱成像系统，其中，
所述八个预定波段分别具有420nm、525nm、581nm、620nm、660nm、726nm、820nm和855nm的中心波长。
15.根据权利要求1至14中任一项所述的多光谱成像系统，还包括：
位于所述光圈上方的等焦面型或可变焦距型变焦透镜，并且
所述至少一个处理器还被构造为：控制所述电动变焦透镜以调节所述多光谱成像系统的视场(FOV)。
16.根据权利要求15所述的多光谱成像系统，其中，
所述等焦面型或可变焦距型变焦透镜被构造为通过改变该透镜的焦距(FL)来自动或手动地调节焦点。
17.根据权利要求15或16所述的多光谱成像系统，其中，
对所述多光谱成像系统的所述视场的调节不会影响所述物体和所述图像传感器之间的物距。
18.根据权利要求15至17中任一项所述的多光谱图像传感器，其中，
所述至少一个处理器还被构造为：通过改变所述物体和所述图像传感器之间的物距来调节所述多光谱成像系统的所述视场。
19.根据权利要求18所述的多光谱图像传感器，其中，
所述处理器还被构造为：补偿因所述变焦透镜而引起的对比度损失。
20.根据权利要求15至19中任一项所述的多光谱成像系统，其中，
所述视场至少在8cm至23cm的范围内是可调节的。
21.根据权利要求20所述的多光谱成像系统，其中，
所述多光谱成像系统通过不减少所述视场中的取样数量来维持高的空间分辨率，这不同于通过牺牲了分辨率的后处理来实现的数字裁剪方法。
22.根据权利要求1至21中任一项所述的多光谱成像系统，其中，
所述至少一个处理器还被构造为：基于所述多光谱图像生成所述物体的自然伪彩色可视化。
23.根据权利要求1至22中任一项所述的多光谱成像系统，其中，
所述至少一个处理器被构造为：通过使用矩阵运算方程求解所述物体的反射系数来执行所述光谱解混。
24.根据权利要求23所述的多光谱成像系统，其中，
所述反射系数是至少部分地基于裸照明强度的通道特有值、所述多带通滤波器的透射系数和所述图像传感器的量子系数而被确定的。
25.根据权利要求1至24中任一项所述的多光谱成像系统，其中，
所述多光谱成像系统能够在少于100毫秒的时间内摄取三个以上多光谱图像。
26.根据权利要求1至25中任一项所述的多光谱成像系统，其中，
所述物体是组织区域。
27.根据权利要求26所述的多光谱成像系统，其中，
所述组织包括伤口、癌症、溃疡或烧伤。
28.根据权利要求27所述的多光谱成像系统，其中，
所述伤口包括糖尿病溃疡、非糖尿病溃疡、慢性溃疡、术后切口、截肢部位、烧伤部、癌病变组织或受损组织。
29.根据权利要求26所述的多光谱成像系统，其用于识别诸如活体或健康组织、死亡或坏死组织、灌注组织、非灌注组织、缺血性组织、非缺血性组织等组织类别，或者其用于识别诸如在采用护理标准疗法30天后愈合至少50％的倾向性或在采用护理标准疗法30天后未愈合至少50％的倾向性等组织愈合评分。
30.根据权利要求26所述的多光谱成像系统，其用于对诸如糖尿病溃疡、非糖尿病溃疡、慢性溃疡、术后切口、截肢部位、烧伤部、癌病变组织或受损组织等伤口、癌症、溃疡或烧伤进行成像。
CN202280035711.5A 2021-03-30 2022-03-29 基于多路照明的高精度快照多光谱成像系统和方法 Pending CN117321394A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163168151P 2021-03-30 2021-03-30
US63/168,151 2021-03-30
PCT/US2022/022398 WO2022212413A1 (en) 2021-03-30 2022-03-29 System and method for high precision snapshot multi-spectral imaging based on multiplexed illumination

Publications (1)

Publication Number Publication Date
CN117321394A true CN117321394A (zh) 2023-12-29

Family

ID=83459870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280035711.5A Pending CN117321394A (zh) 2021-03-30 2022-03-29 基于多路照明的高精度快照多光谱成像系统和方法

Country Status (5)

Country Link
US (1) US20240048823A1 (zh)
EP (1) EP4314739A1 (zh)
JP (1) JP2024514493A (zh)
CN (1) CN117321394A (zh)
WO (1) WO2022212413A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020123722A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502895A (ja) * 2001-09-19 2005-01-27 ジュール マイクロシステムズ カナダ インコーポレイテッド 信号整合フィルタリングを組み込んだ分光計
WO2014143235A1 (en) * 2013-03-14 2014-09-18 Integrated Plasmonics Corporation Ambient light assisted spectroscopy
US10740884B2 (en) * 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging

Also Published As

Publication number Publication date
US20240048823A1 (en) 2024-02-08
JP2024514493A (ja) 2024-04-02
WO2022212413A1 (en) 2022-10-06
EP4314739A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
US10740884B2 (en) System and method for high precision multi-aperture spectral imaging
US11631164B2 (en) System and method for high precision multi-aperture spectral imaging
CN117321394A (zh) 基于多路照明的高精度快照多光谱成像系统和方法
CN106456070B (zh) 成像装置和方法
EP3830551B1 (en) A hybrid spectral imager
CN113260303A (zh) 用于评估、愈合预测和治疗创伤的机器学习系统和方法
CN115426939A (zh) 用于伤口的评估、愈合预测和治疗的机器学习系统和方法
JP2008518229A (ja) マルチスペクトル及びハイパースペクトル撮像を行うシステム
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
Zhang et al. Snapshot imaging spectrometer based on a microlens array
Eichenholz et al. Ultracompact fully integrated megapixel multispectral imager
Yi et al. Instrument an off-shelf CCD imaging sensor into a handheld multispectral video camera
US10139531B2 (en) Multiple band short wave infrared mosaic array filter
JP6432138B2 (ja) 測定装置、色情報取得装置及び製造方法
US20230082539A1 (en) Illuminant correction in an imaging system
JP6815628B2 (ja) マルチスペクトル撮像装置
CN118196361A (zh) 一种输出多个窄波图像的方法和系统
CN116183021A (zh) 成像系统中的发光体校正
CN115993186A (zh) 手持式多光谱成像仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination