CN110462679B - 快速多光谱光场成像方法和系统 - Google Patents

快速多光谱光场成像方法和系统 Download PDF

Info

Publication number
CN110462679B
CN110462679B CN201780088856.0A CN201780088856A CN110462679B CN 110462679 B CN110462679 B CN 110462679B CN 201780088856 A CN201780088856 A CN 201780088856A CN 110462679 B CN110462679 B CN 110462679B
Authority
CN
China
Prior art keywords
light field
view
resolution
spectral
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780088856.0A
Other languages
English (en)
Other versions
CN110462679A (zh
Inventor
虞晶怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Publication of CN110462679A publication Critical patent/CN110462679A/zh
Application granted granted Critical
Publication of CN110462679B publication Critical patent/CN110462679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0836—Catadioptric systems using more than three curved mirrors
    • G02B17/0848—Catadioptric systems using more than three curved mirrors off-axis or unobscured systems in which not all of the mirrors share a common axis of rotational symmetry, e.g. at least one of the mirrors is warped, tilted or decentered with respect to the other elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

公开了一种生成高分辨率多光谱光场的方法。该方法可包括：拍摄包括多幅子视角图像的多视角光谱图像；对各子视角图像进行对齐和变形，以获得低分辨率多光谱光场；获得高分辨率信号集和低分辨率信号集；根据所述低分辨率多光谱光场和低分辨率信号集，获得稀疏表示形式；以及利用所述稀疏表示形式和所述高分辨率信号集，生成高分辨率多光谱光场。每幅子视角图像均摄于不同视角和不同光谱范围。所述多视角光谱图像通过单次曝光获得。

Description

快速多光谱光场成像方法和系统
技术领域
本发明总体涉及快速全光成像系统，尤其涉及一种生成高分辨率多光谱光场的方法和系统。
背景技术
完整光场也称全光函数，具有6个维度：2个空间维度；2个角度维度；1个光谱维度；以及1个时间维度。光场相机也称全光相机，其可捕获场景内所有方向上的光。也就是说，与仅记录光强的传统相机相比，光场相机同时捕获光线的强度和方向，从而即使在图像数据捕获之后，也允许进行复杂的数据处理。举例而言，可以通过虚拟方式改变焦点或视角，或者从单次曝光中估算出景深图。
然而，Lytro、Raytrix等使用微透镜阵列的传统光场相机仅可记录光场的4个维度，即2个空间维度和2个角度维度。本发明提出一种能够在单次曝光中拍摄五维(2个空间维度，2个角度维度和1个光谱维度)多光谱光场的新型快速全光成像(snapshot plenopticimaging,SPI)系统。该SPI系统采用光谱编码的反射折射镜，并可以不超过5nm的分辨率生成五维多光谱光场。
发明内容
本发明的一个方面涉及一种生成高分辨率多光谱光场的方法。该方法可包括：拍摄包括多幅子视角图像的多视角光谱图像；对各子视角图像进行对齐和变形，以获得低分辨率多光谱光场；获得高分辨率信号集和低分辨率信号集；根据所述低分辨率多光谱光场和低分辨率信号集，获得稀疏表示形式；以及利用所述稀疏表示形式和所述高分辨率信号集，生成高分辨率多光谱光场。每幅子视角图像均摄于不同视角和不同光谱范围。所述多视角光谱图像通过单次曝光获得。
本发明的另一方面涉及一种通过拍摄图像而生成高分辨率多光谱光场的快速全光成像系统。该系统可包括多个光谱编码的反射折射镜，数码相机以及图像处理单元。每一反射折射镜均涂有不同的光谱反射涂层。所述数码相机用于拍摄多视角光谱图像。该多视角光谱图像包括多幅子视角图像，每幅子视角图像均摄于不同视角和不同光谱范围。所述图像处理单元用于通过对各子视角图像进行对齐和变形而获得低分辨率多光谱光场。根据该低分辨率多光谱光场，可以生成高分辨率多光谱光场。
应该理解的是，以上概括描述和以下详细描述均仅在于例示和说明，并不对所要求保护的本发明构成限制。
附图说明
作为本发明的一部分，所附各图示出了若干非限制性实施方式，并与说明书一道阐明本发明中的原理。
图1为根据本发明例示实施方式的快速全光成像系统示意图。
图2A为根据本发明例示实施方式快速全光成像系统的数据捕获单元示意图，图2B为该数据捕获单元的例示原型照片。
图3为根据本发明例示实施方式反射折射镜的几何结构示意图。
图4为根据本发明例示实施方式的光谱图像配准方法流程图。
图5为根据本发明例示实施方式的光谱信号复原方法流程图。
图6为根据本发明例示实施方式利用快速全光成像系统生成高分辨率多光谱光场的方法流程图。
具体实施方式
以下将对例示实施方式进行详细描述，各实施方式的实施例示于附图中。以下描述通过参考附图做出，其中，除非另有说明，否则不同附图中的相同数字表示相同或类似的元件。在以下对本发明例示实施方式的描述中，所给出的具体实施方式并非本发明的所有实施方式。相反，这些具体实施方式仅为本发明所涉及的各个方面当中的系统和方法的具体示例。
根据本发明实施方式，提供一种包括数据捕获单元和数据处理单元的快速全光成像(SPI)系统。所述数据捕获单元用于拍摄多视角光谱图像，并将其发送给所述数据处理单元。该数据处理单元用于实现逐光线失真校正，光谱图像配准(registration)以及光谱信号复原。其中，逐光线失真校正用于校正所述多视角光谱图像中的视角失真；光谱图像配准用于对所述多视角光谱图像的各子视角图像进行对齐和变形，以生成低分辨率多光谱光场；光谱信号复原用于根据所述低分辨率多光谱光场生成高分辨率多光谱光场。
1、系统概述
图1所示为根据本发明实施方式的例示SPI系统100。系统100可包括若干部件，而其中的某些部件可以为可选部件。在一些实施方式中，系统100可包括图1所示之外的部件。然而，由于所公开的实施方式出于说明目的，因此并无必要将这些组件全部示出。
如图1所示，系统100可包括数据捕获单元200和数据处理单元300。数据捕获单元200可包括数码相机210和多个反射折射镜220。数据处理单元300可包括逐光线失真校正单元310、光谱图像配准单元320以及光谱信号复原单元330。
2、数据捕获单元
图2A为根据本发明实施方式的数据捕获单元200示意图。如图2A所示，数据捕获单元200可包括相机210和多个反射折射镜220。在一些实施方式中，相机210可以为市售的数码单镜头反光(DSLR)相机。所述多个反射折射镜220可包括9个光谱编码的反射折射镜。每一该反射折射镜均可包括不同的光谱反射涂层，从而使得每一该反射折射镜均反射不同光谱范围内的光。所述9个反射折射镜可具有球面，并可以3×3的阵列安装于丙烯酸透镜安装座上。所述DSLR相机可设置于离反射折射镜2米之外，并通过USB线缆与计算机连接。图2B为例示数据捕获单元200的照片。例示数据捕获单元的配置参数列于下表1。
镜面类型 球面
材料 BK7玻璃
半径 32.5mm
基线 70.0mm
涂层类型 光谱反射涂层
光谱范围 400nm～700nm
传感器分辨率 5760×3840
视场 >100°
光谱分辨率 <10nm
多光谱光场分辨率 1000×1000×3×3×30
表1
2.1数据捕获方法
如图2B所示，在拍摄图像时，可将目标场景置于所述DSLR相机和反射折射镜之间。在一些实施方式中，该场景置于所述相机后方。所述DSLR相机利用所述反射折射镜的反射光，以单次曝光拍摄一幅多视角图像的方式进行拍摄。在一些实施方式中，所述反射折射镜为光谱编码的反射折射镜，而且排成3×3的阵列。每幅多视角图像包括3×3幅子视角图像。通过接收来自所述光谱编码的反射折射镜的反射光，每幅所述子视角图像均拍摄于不同的视角和不同的光谱范围。所拍摄的多视角图像可通过USB线缆传输给数据处理单元300。
3、数据处理单元
如图1所示，数据处理单元300包括逐光线失真校正单元310、光谱图像配准单元320以及光谱信号复原单元330。
3.1逐光线失真校正
反射折射镜的使用在提供广视场(视场)的同时，导致所拍摄的图像具有较严重的视角失真。每幅多视角图像均包括9幅摄自不同视角的失真子视角图像。为了对视角不同的子视角图像中的失真进行校正，可采用对所述反射折射镜的反射几何结构进行分析并将每一像素(每条光线)重新投影至虚拟焦平面的逐光线失真校正方法。由于每幅所述子视角图像均拍摄于不同视角，因此这些子视角图像代表了所述场景的非单一视角投影。因为任何两幅相邻子视角图像之间的基线保持不变，因此可利用图3所示的几何建模方法对失真的子视角图像进行重新投影。基线是指相邻子视角图像之间的像素距离，单位为毫米。
在图3中，半径为r的球面镜置于原点O处，而对准该球面镜的相机置于距离l处。入射角为θi的光线被所述球面镜反射，而且反射角为θr。在三维自由空间中，具有相同入射角θi的所有入射光线均由置于光轴上l′处的虚拟相机重新投影成为入射角为θi′的一束光线。由于实际相机离球面镜的距离非常远，即l>>r，因此所述虚拟相机的位置可近似视为所需视场内的恒定位置。如此：
tanθi·(l-r sinγ)＝r·cosγ
其中，γ为表面法线方向。对于任何给定θi，γ可表示为：
Figure BDA0002211282390000051
因此，根据反射定律，可获得等效入射θi′和l′为：
θ′i＝θi-2γ+π
Figure BDA0002211282390000052
虚拟焦平面可由所述虚拟相机的位置(即l′)确定。根据以上各式，通过将视场设置为100°，便可获得所有入射光线的等效入射θ′i和l′。通过将每一像素(光线)重新投影至所述虚拟焦平面，可实现对单个反射折射镜子视角图像中视角失真的校正。由于此类反射折射镜球面的旋转对称性，单个反射折射镜的几何模型可直接扩展至反射折射镜阵列。在一些实施方式中，当所有反射折射镜设置为平面阵列时，相机与反射折射镜之间的距离l可以不为恒定值。
2.2光谱图像配准
在子视角图像校正后，所述多视角图像发送至光谱图像配准单元320，以供其进行光谱图像配准处理。该光谱图像配准的目的在于将各子视角图像对齐和变形至任意视角，以使得在每一视角下均可构建出多光谱光场数据立方体。也就是说，对于每一特定子视角图像，将其他子视角图像对齐和变形至该子视角图像。在此之后，在每一视角下，均可构建出包含多个不同谱带的光场的数据立方体。其中，谱带是指光谱中的某一部分。在一些实施方式中，多视角图像可包括9个不同视角和9条不同谱带。通过对该多视角图像进行光谱图像配准，可在每一视角下分别构建出9个多光谱数据立方体，每一该数据立方体均包含9条谱带。在本发明中，含于所述数据立方体内的多光谱光场称为低分辨率多光谱光场。
由于光谱图像之间的光强不存在连贯一致性，因此基于图像块的立体匹配法、光流法等传统图像配准方法无法实现光谱图像的配准。本发明提出一种同时利用交叉光谱特征描述符和离焦推断深度技术获得视差图的光谱图像配准方法。该方法可将各光谱图像对齐，生成高质量视差图，并根据该视差图实现子视角图像的相互变形。图4为根据本发明例示实施方式的光谱图像配准方法流程图。
2.2.1交叉光谱特征描述符
特征描述符是图像处理当中被选择用于表示特征的一类特征表示形式。在本发明内，将鲁棒选择性归一化互相关(robust selective normalized cross correlation,RSNCC)作为交叉光谱特征描述符。其中，RSNCC用作光谱图像鲁棒匹配度的度量值。
在步骤401中，可通过RSNCC，在各子视角图像之间建立像素对应关系。详细的计算过程可通过如下各式进行阐述。当将中心视角表示为I1，并将其相邻视图表示为I2时，则匹配代价函数Ersncc可表示为：
Ersncc(d，p)＝f(1-NCC(I1，I2，d，p))+f(1-NCC(M[I1]，M[I2]，d，p))
f(x)＝-log(e-|x|+e|x|-2)
Figure BDA0002211282390000071
其中，d为像素视差，p为像素位置，M[I1]和M[I2]表示图像I1和I2的梯度幅值。I1(p)和I2(p+d)分别为I1中的路径p和I2中的图像块p+d中像素的特征向量。
Figure BDA0002211282390000072
为以p为中心的像素图像块的平均值。NCC(I1，I2，d，p)为I1中以p为中心的图像块与I2中的图像块p+d在光强或颜色空间中的归一化交叉关联度。尽管上述两图像块在各自的局部区域内发生颜色和几何形状的变换，但是所述关联度表示出此两图像块的结构相似性。f()为用于去除异常值的鲁棒选择性函数。其中，所述异常值包括阴影、高光等因素引起的结构发散性。所述鲁棒选择性函数在图像匹配中非常有效，而且使得RSNCC具有连续性并可通过连续优化进行求解。通过该计算过程，可以获得表示各子视角图像之间像素对应关系的匹配函数Ersncc。
2.2.2离焦推断深度
在步骤402中，可通过离焦推断深度技术，估算出子视角图像的景深(DOV)差异。该离焦推断深度技术为一种从重新聚焦成相互重叠的多幅浅景深图像中推算出场景深度的方法。该离焦推断深度方法可通过对多光谱叠焦图像进行融合的方式实现。其中，所述多光谱叠焦图像包括多个视角I1、I2……，并可通过将多光谱光场重新聚焦于一系列深度处的方式生成。随后，可按照下式，计算逐块重新聚焦能量度量值：
Figure BDA0002211282390000081
其中，M[]表示图像的梯度幅度，U表示以p为中心的小图像块。
2.2.3优化
在步骤403中，可通过对能量函数进行优化而获得每一视角的视差图。其中，该能量函数同时涉及上述RSNCC结果和离焦推断深度结果，并可表示为：
E(d，p)＝α·Ersncc(d，p)+β·Erf(d，p)+P(d，p)
其中，α和β为权重系数，P(d，p)为光滑罚函数。视差图可表示为：
Figure BDA0002211282390000082
这一问题为优化问题，并可通过图割(graph cuts)算法求解。“图割”为一类用于求解各种采用最大流最小割优化方式的能量优化问题的算法。在步骤404中，利用视差图Dmap(p)，将其他子视角变形至所述中心视角，从而可获得该中心视角的多光谱数据立方体。在步骤405中，对每一视角均重复实施相同的配准和变形处理，从而可获得9个多光谱数据立方体。如此，在步骤405中，可获得所述低分辨率多光谱光场。
2.3光谱信号复原
所述低分辨率多光谱光场仅包含9条谱带，因此具有低的光谱分辨率。传统的SPI方法也同样受限于光谱分辨率或空间分辨率。为了克服这些限制并提高光谱分辨率，在一些实施方式中，本发明的SPI系统可采用稀疏重建算法生成高分辨率多光谱光场。该稀疏重建算法为一种基于学习的重建算法，用于对高维信号进行获取、表示和压缩。其中，可利用冗余信号集对多光谱信号进行稀疏表示，并且基于这些多光谱信号的光谱稀疏度，对其进行压缩感测。压缩感测(也称压缩采样或稀疏采样)，是一种通过求解欠定线性系统而实现高效信号获取和重建的信号处理技术。该技术基于如下原理：通过优化，使得信号的稀疏度能够被用于以远少于香农-奈奎斯特(Shannon-Nyquist)采样定理的样本数恢复该信号。信号的表示涉及对所谓“信号集”的选择，信号集是指用于分解信号的一组基本信号。当信号集形成基础信号集时，信号可由相应的一个基本信号线性组合唯一表示。“冗余”是指，基础信号集的信号数大于信号的维数。对于一个给定的冗余信号集，只要找出基本信号线性组合内的相应稀疏系数，便可得到信号的稀疏表示形式。
所述光谱编码的反射折射镜能够可进行五维全光函数的压缩感测。因此，可利用光谱信号集，通过计算获得所述高分辨率多光谱光场。光谱信号集可通过对公用多光谱图像数据库进行学习的方式获得。在一些实施方式中，该数据库可从http://www.cs.columbia.edu/CAVE/databases/multispectral/获得。该数据库由32个场景组成，每一场景均包括400nm～700nm内以10nm为步长(共31个谱带)的所有光谱分辨率反射数据。在获得信号集后，可利用所述稀疏重建算法，将上述低分辨率多光谱光场的30nm分辨率提高至不超过10nm，从而获得高分辨率多光谱光场。
以上所得低分辨率多光谱光场输入至光谱信号复原单元330。图5为根据本发明例示实施方式的高分辨率多光谱光场生成方法流程图。
在步骤501中，可从所述公用多光谱数据库获得以下两个信号集：高分辨率信号集Dh和相应的低分辨率信号集Dl。此两信号集均用于生成所述高分辨率多光谱光场。详细方法如下：
对于从所述公用数据库获得的一组给定高分辨率训练光谱信号h1、h2……，可通过求解l1范数优化问题，获得两个信号集。该l1范数优化问题为压缩感测领域的常用技术。在一种例示实施方式中，所述稀疏重建算法可表示为：
Figure BDA0002211282390000091
其中，βi为稀疏系数，||βi||1用于在βi不稀疏时，对其进行罚处理(penalize)。上式第一项为重建项，用于使得所述算法尽可能地为h′i提供良好的表示形式，而第二项为稀疏度罚处理项，用于强制h′i的表示形式实现稀疏性。λ为比例常数，用于确定上述两项的相对重要性。
Figure BDA0002211282390000101
其中，S为已知采样矩阵。当将所述9个反射折射镜的光谱反射率函数表示为R1，R2……R9，并将拜尔滤色镜的量子效率表示为BR，BG，BB时，采样矩阵S可表示为：
Figure BDA0002211282390000102
其中，λmin和λmax表示目标光谱的最小波长和最大波长。通过对两个信号集Dh和Dl进行共同训练，可使得高分辨率多光谱信号和低分辨率多光谱信号(hi和S·hi)相对于所述信号集具有相同的稀疏表示形式——
Figure BDA0002211282390000103
(即一组βi)。
在步骤502中，可根据所述两个信号集，获得稀疏表示形式
Figure BDA0002211282390000104
如上所述，所述SPI系统可对多光谱光场进行压缩感测。低分辨率(9个谱带)多光谱光场可通过上述失真校正和图像配准获得。对于光场内的每一低分辨率光谱信号l，可利用LASSO法求得其在低分辨率信号集Dl中的相应稀疏表示形式。LASSO全称为“最小绝对值收敛和选择算子(absoluteshrinkage and selection operator)”，是一种通过同时实施变量选择和调节而提高其自身生成的统计模型的预测准确性和可解释性的回归分析法。相应地，稀疏表示形式
Figure BDA0002211282390000111
可通过下式求解：
Figure BDA0002211282390000112
其中，k为稀疏参数。
由于所述高分辨率光谱信号和低分辨率光谱信号相对于所述信号集具有相同的稀疏表示形式
Figure BDA0002211282390000113
因此可利用该稀疏表示形式和所述高分辨率信号集，生成所述高分辨率光谱信号h：
Figure BDA0002211282390000114
相应地，在步骤503中，可利用所述稀疏表示形式和高分辨率信号集，生成所述高分辨率多光谱光场。
本发明SPI系统具有如下优点：一、其是目前为止的首个能够拍摄五维全光函数的单传感器技术方案。以往的技术方案均通过混合传感器系统或传感器阵列获得高维光场，因此存在体积庞大且价格昂贵的缺点。本发明的SPI系统使用单个市售DSLR相机和便携的低成本光学单元(反射折射镜阵列)。该单传感器特性可免于实施多传感器阵列所需的高难度同步步骤。
二、该SPI系统的快速成像特性为时间维度的获取提供了可能性。与基于扫描的光谱成像技术不同，该SPI系统通过单次曝光记录压缩多光谱光场，而且可用于拍摄动态场景，甚至拍摄多光谱光场视频。
三、由于所使用各球面镜的旋转对称性，因此无需对任何单个反射折射镜方向进行校准，从而便于用户增加反射折射镜的数量。此外，该SPI系统的光谱范围可通过更换部分反射折射镜的方式得到扩展。在一些实施方式中，该SPI系统仅用于测量可见光谱，而在某些其他实施方式中，该系统可利用其他光谱编码反射折射镜或辅助的闪光灯装置，获取近红外和紫外信息。
图6所示为根据本发明实施方式利用所述SPI系统生成高分辨率多光谱光场的方法。在步骤601中，拍摄多视角光谱图像；在步骤602中，通过逐光线失真校正法，校正所拍摄多视角光谱图像中的视角失真；在步骤603中，通过将所述多视角光谱图像的各子视角图像对齐和变形而生成低分辨率多光谱光场；在步骤604中，根据所述低分辨率多光谱光场以及高分辨率信号集和低分辨率信号集，获得所述高分辨率多光谱光场。
上述各种模块、单元及部件可实施为：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；可执行代码的处理器(共享、专用或成组)；或者能够提供上述功能的其他合适的硬件部件。所述处理器可以为Intel微处理器，或IBM大型计算机。
需要注意的是，上述功能当中的一者或多者可由存储于存储器内的软件或固件实施并由处理器执行，或者可存储于程序存储器中并由处理器执行。所述软件或固件还可置于任何计算机可读介质内，以实现存储和/或移动。该计算机可读介质由指令执行系统、装置或器件使用或与其结合使用，该指令执行系统、装置或器件例如为基于计算机的系统、含处理器系统或其他能够从该指令执行系统、装置或器件获取指令并执行这些指令的系统。在本文语境中，“计算机可读介质”可以为任何可包含或存储用于由所述指令执行系统、装置或器件使用或用于与其结合使用的介质。该计算机可读介质可包括，但不限于：电、磁、光、电磁、红外或半导体系统、装置或器件；便携式计算机盘片(磁性)；随机存取存储器(RAM)(磁性)；只读存储器(ROM)(磁性)；可擦除可编程只读存储器(EPROM)(磁性)；便携式光盘，如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW；或闪存，如紧凑型闪存卡、安全数字卡、USB存储装置、记忆棒等。
本文所描述和要求保护的发明在范围上并不限于以上公开的优选具体实施方式，这些实施方式旨在用于说明本发明的若干方面。事实上，对于本领域技术人员而言，根据上文描述，本文所述和附图所示之外的本发明各种修改方式也将变得容易理解。此类修改也旨在落入所附权利要求的范围之内。

Claims (23)

1.一种生成高分辨率多光谱光场的方法，其特征在于，所述方法包括：
以单次曝光拍摄多视角光谱图像，其中，所述多视角光谱图像包括多幅子视角图像，每幅所述子视角图像均摄于不同视角和不同光谱范围；
对各所述子视角图像进行对齐和变形，以获得低分辨率多光谱光场；
获得高分辨率信号集和低分辨率信号集；
根据所述低分辨率多光谱光场和所述低分辨率信号集，获得稀疏表示形式；以及
利用所述稀疏表示形式和所述高分辨率信号集，生成高分辨率多光谱光场。
2.如权利要求1所述的方法，其特征在于，对所述高分辨率信号集和所述低分辨率信号集进行共同训练。
3.如权利要求1所述的方法，其特征在于，还包括通过鲁棒选择性归一化互相关，获得各所述子视角图像之间的像素对应关系。
4.如权利要求1所述的方法，其特征在于，还包括通过离焦推断深度技术，估算各所述子视角图像的景深差异。
5.如权利要求1所述的方法，其特征在于，各所述子视角图像通过视差图进行变形。
6.如权利要求1所述的方法，其特征在于，还包括：
通过分析反射几何形状并将每一像素重新投影至一虚拟焦平面，对所述多视角光谱图像中的视角失真进行校正。
7.如权利要求1所述的方法，其特征在于，所述低分辨率多光谱光场包含9条谱带。
8.如权利要求1所述的方法，其特征在于，所述高分辨率多光谱光场的分辨率不超过5nm。
9.如权利要求1所述的方法，其特征在于，还包括：
使用数码相机和多个光谱编码的反射折射镜拍摄所述多视角光谱图像。
10.如权利要求9所述的方法，其特征在于，每一所述反射折射镜均涂有不同的光谱反射涂层。
11.如权利要求9所述的方法，其特征在于，所述反射折射镜形成3×3阵列。
12.如权利要求9所述的方法，其特征在于，每一所述反射折射镜均具有球面。
13.一种通过拍摄图像而生成高分辨率多光谱光场的快速全光成像系统，其特征在于，所述系统包括：
多个光谱编码的反射折射镜，其中，每一所述反射折射镜均涂有不同的光谱反射涂层；
一数码相机，用于拍摄多视角光谱图像，其中，所述多视角光谱图像包括多幅子视角图像，每幅所述子视角图像均摄于不同视角和不同光谱范围；以及
一图像处理单元，用于通过对各所述子视角图像进行对齐和变形以获得低分辨率多光谱光场，并根据所述低分辨率多光谱光场生成高分辨率多光谱光场。
14.如权利要求13所述的系统，其特征在于，所述图像处理单元用于：获得高分辨率信号集和低分辨率信号集；根据所述低分辨率多光谱光场和所述低分辨率信号集获得稀疏表示形式；并利用所述稀疏表示形式和所述高分辨率信号集，生成所述高分辨率多光谱光场。
15.如权利要求13所述的系统，其特征在于，对所述高分辨率信号集和所述低分辨率信号集进行共同训练。
16.如权利要求13所述的系统，其特征在于，所述图像处理单元用于通过鲁棒选择性归一化互相关，获得各所述子视角图像之间的像素对应关系。
17.如权利要求13所述的系统，其特征在于，所述图像处理单元用于通过离焦推断深度技术，估算各所述子视角图像的景深差异。
18.如权利要求13所述的系统，其特征在于，各所述子视角图像通过视差图进行变形。
19.如权利要求13所述的系统，其特征在于，所述图像处理单元通过分析反射几何形状并将每一像素重新投影至一虚拟焦平面，对所述多视角光谱图像中的视角失真进行校正。
20.如权利要求13所述的系统，其特征在于，所述低分辨率多光谱光场包括9条谱带。
21.如权利要求13所述的系统，其特征在于，所述高分辨率多光谱光场的分辨率不超过5nm。
22.如权利要求13所述的系统，其特征在于，所述反射折射镜在平面上形成3×3阵列。
23.如权利要求13所述的系统，其特征在于，每一所述反射折射镜均具有球面。
CN201780088856.0A 2017-05-19 2017-05-19 快速多光谱光场成像方法和系统 Active CN110462679B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/085148 WO2018209703A1 (en) 2017-05-19 2017-05-19 Method and system for snapshot multi-spectral light field imaging

Publications (2)

Publication Number Publication Date
CN110462679A CN110462679A (zh) 2019-11-15
CN110462679B true CN110462679B (zh) 2022-12-09

Family

ID=64273037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088856.0A Active CN110462679B (zh) 2017-05-19 2017-05-19 快速多光谱光场成像方法和系统

Country Status (3)

Country Link
US (1) US10645281B1 (zh)
CN (1) CN110462679B (zh)
WO (1) WO2018209703A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10823615B2 (en) * 2015-08-04 2020-11-03 Agency For Science, Technology And Research Hyperspectral imaging apparatus and method
EP3422723B1 (en) * 2017-06-30 2023-04-26 InterDigital VC Holdings, Inc. Method for encoding and decoding at least one matrix of image views obtained from data acquired by a plenoptic camera, and corresponding electronic devices
CN112747822A (zh) * 2020-07-17 2021-05-04 奕目(上海)科技有限公司 一种三维成像系统和方法
CN112098337B (zh) * 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN114166346B (zh) * 2021-12-03 2023-07-18 武汉工程大学 基于深度学习的多光谱光场成像方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
RU2535640C2 (ru) * 2009-08-11 2014-12-20 Конинклейке Филипс Электроникс Н.В. Формирование многоспектральных изображений
US8143565B2 (en) * 2009-09-30 2012-03-27 Ricoh Co., Ltd. Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
EP2773929B1 (en) * 2011-11-04 2023-12-13 IMEC vzw Spectral camera with mosaic of filters for each image pixel
CN102542549B (zh) * 2012-01-04 2015-02-18 西安电子科技大学 基于压缩感知的多光谱与全色图像超分辨融合方法
CN103208102B (zh) * 2013-03-29 2016-05-18 上海交通大学 一种基于稀疏表示的遥感图像融合方法
US9706116B2 (en) * 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
US9538075B2 (en) * 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
US20160241797A1 (en) * 2015-02-17 2016-08-18 Canon Kabushiki Kaisha Devices, systems, and methods for single-shot high-resolution multispectral image acquisition
CN106651820B (zh) * 2016-09-23 2019-06-21 西安电子科技大学 基于稀疏张量近邻嵌入的遥感图像融合方法
WO2019059632A1 (ko) * 2017-09-25 2019-03-28 한국과학기술원 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于冗余字典的高光谱图像超分辨率复原算法;王素玉等;《北京工业大学学报》;20151231(第10期);全文 *

Also Published As

Publication number Publication date
US20200120270A1 (en) 2020-04-16
US10645281B1 (en) 2020-05-05
WO2018209703A1 (en) 2018-11-22
CN110462679A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110462679B (zh) 快速多光谱光场成像方法和系统
Zhang Iterative closest point (ICP)
JP6736471B2 (ja) 画像処理方法および画像処理装置
Vollmer Infrared thermal imaging
KR102632960B1 (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
WO2023240857A1 (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
CN110009693B (zh) 一种光场相机的快速盲标定方法
JP2007074079A (ja) 画像入力装置
CN108364309B (zh) 一种基于手持式光场相机的空间光场恢复方法
CN110462685B (zh) 三维模型重建方法和系统
Wu et al. Geometry based three-dimensional image processing method for electronic cluster eye
CN107421640B (zh) 基于色差扩大原理的多光谱光场成像系统及方法
WO2019176349A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
Qu et al. Capturing ground truth super-resolution data
Hahne et al. PlenoptiCam v1. 0: A light-field imaging framework
WO2015132831A1 (ja) 撮像装置
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
Popovic et al. Design and implementation of real-time multi-sensor vision systems
Jayasuriya Image sensors
Chan Image-based rendering
Langer Interreflections
Brown Image Stitching
Lohit et al. Invariant Methods in Computer Vision
Wong Image-based lighting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant