CN107064005B - 一种高光谱光场的快照式成像系统以及重建算法 - Google Patents

一种高光谱光场的快照式成像系统以及重建算法 Download PDF

Info

Publication number
CN107064005B
CN107064005B CN201710457226.8A CN201710457226A CN107064005B CN 107064005 B CN107064005 B CN 107064005B CN 201710457226 A CN201710457226 A CN 201710457226A CN 107064005 B CN107064005 B CN 107064005B
Authority
CN
China
Prior art keywords
light field
observation passage
observation
scene
passage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710457226.8A
Other languages
English (en)
Other versions
CN107064005A (zh
Inventor
熊志伟
李惠群
刘�东
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201710457226.8A priority Critical patent/CN107064005B/zh
Publication of CN107064005A publication Critical patent/CN107064005A/zh
Application granted granted Critical
Publication of CN107064005B publication Critical patent/CN107064005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection

Landscapes

  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种高光谱光场的快照式成像系统以及重建算法,所述快照式成像系统包括:分束器、控制器、第一观测通道以及第二观测通道;所述分束器用于将场景的入射光线分为两路,分别进入到所述第一观测通道以及所述第二观测通道;所述第一观测通道以及所述第二观测通道用于分别获取场景的观测结果;所述控制器用于根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。本发明技术方案利用光信号在角度维和光谱维的关系,对五维高光谱光场进行优化重建,能够从严重欠采样的观测中,获得良好的重建效果。

Description

一种高光谱光场的快照式成像系统以及重建算法
技术领域
本发明涉及计算成像技术领域,更具体的说,涉及一种高光谱光场的快照式成像系统以及重建算法。
背景技术
近些年,由于光学仪器的进步和计算能力的增长,计算成像学飞速发展。计算成像学的最终目的是同时获取七维全光信息,包括三维空间(两维平面和一维深度)、一维时间、一维光谱和两维角度。传统的成像方式关注两维平面空间(即传统图像)和一维时间(即传统视频),提供的信息有限。目前对其他维度的研究包括深度/三维成像,多光谱/高光谱成像,以及光场成像。同时,便携的深度相机和微透镜阵列光场相机,比如Kinect深度相机和Lytro微透镜阵列光场相机,也为解决复杂的计算机视觉任务和新应用的产生提供了可能。
计算成像的目的是集成更多维度的光信息,同时尽可能保持每个维度的高分辨率。由于全光信号的不同维度之间存在很大的相关性,使得从非常欠采样的观测中重建出高维光信号成为可能。
对于高光谱光场视频拍摄、高光谱光场动态场景建模等应用,对系统的时间分辨率有较高要求,需要进行实时拍摄。
为了获取高光谱光场,即同时获取场景的空间、角度和光谱信息,现有的系统包括将固定在平移台上的光谱仪依序扫描角度和光谱维,或使用配备了可调节滤波片的微透镜阵列来扫描光谱维。这样的扫描式方法在一定程度上利用了图像的空间相关性,取得了较高的空间分辨率和光谱分辨率,但它们不适用于需要实时拍摄的场景,比如包含动态物体或光照变化的场景。
发明内容
为了解决上述问题,本发明提供了一种高光谱光场的快照式成像系统以及重建算法,可以实现高光谱光场的实时拍摄,对五维高光谱光场进行优化重建,能够从严重欠采样的观测中,获得良好的重建效果。
为了实现上述目的,本发明提供如下技术方案:
一种高光谱光场的快照式成像系统,所述快照式成像系统包括:分束器、控制器、第一观测通道以及第二观测通道;
所述分束器用于将场景的入射光线分为两路,分别进入到所述第一观测通道以及所述第二观测通道;
所述第一观测通道以及所述第二观测通道用于分别获取场景的观测结果;
所述控制器用于根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。
优选的,在上述快照式成像系统中,在入射光线传播方向上,所述第一观测通道依次包括:物镜、编码光圈、中继透镜、色散棱镜以及第一成像器;
所述第一观测通道用于通过所述编码光圈和所述色散棱镜对所述场景的光谱信息进行压缩采样和编码。
优选的,在上述快照式成像系统中,在入射光线传播方向上,所述第二观测通道依次包括:主透镜、微透镜阵列以及第二成像器;
所述第二观测通道用于通过所述微透镜阵列捕获RGB光场;其中,所述RGB光场包含所述场景的角度信息。
优选的,在上述快照式成像系统中,所述分束器用于将原始高光谱光场信号按照1:1的比例分成两路,分别进入所述第一观测通道以及所述第二观测通道,进入所述第一观测通道的第一路光信号和进入所述第二观测通道的第二路光信号相同。
优选的,在上述快照式成像系统中,所述控制器用于通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场可以用所述三个过完备的四维字典分别稀疏表示,利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。
本发明还提供了一种高光谱光场的重建算法,用于上述任一项所述的快照式成像系统,所述重建算法包括:
通过第一观测通道以及第二观测通道分别获取场景的观测结果;
根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。
优选的,在上述重建算法中,所述通过第一观测通道以及第二观测通道获取场景的观测结果包括:
将所述场景的入射光线通过分束器分为两路,分别进入到所述第一观测通道以及所述第二观测通道;
通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场;
其中,所述RGB光场包含所述场景的角度信息。
优选的,在上述重建算法中,通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场包括:
原始高光谱光场信号经过分束器按照1:1的比例分成两路,分别进入所述第一观测通道以及所述第二观测通道,进入所述第一观测通道的第一路光信号和进入所述第二观测通道的第二路光信号相同;
所述第一观测通道利用编码函数对所述第一路光信号进行编码,得出经过编码之后的光谱信号;
将所述第一路光信号经过编码后的光谱信号中预设谱段的信号平移,得出色散之后的光谱信号;
在所述第一路光信号与所述第二路光信号同时曝光的条件下,通过所述第一观测通道获取第一路观测结果,通过所述第二观测通道获取第二路观测结果。
优选的,在上述重建算法中,所述根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建高光谱光场图像包括:
通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场可以用所述三个过完备的四维字典分别稀疏表示;
利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。
通过上述描述可知,本发明技术方案提供的高光谱光场的快照式成像系统以及重建算法中,利用光信号在角度维和光谱维的关系,对五维高光谱光场进行优化重建,能够从严重欠采样的观测中,获得良好的重建效果。本方法可以克服传统扫描式方法中时间分辨率限制的问题,进行快照式成像,实现高光谱光场的实时拍摄,重建出同时保证空间、角度和光谱分辨率的五维光信号,从而可以进一步获取六维高光谱光场视频。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种高光谱光场的快照式成像系统的结构示意图;
图2为图1所示快照式成像系统的工作原理示意图;
图3为图1所示快照式成像系统角度分辨率以及光谱分辨率的效果说明图;
图4为本发明实施例提供的一种重建算法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参考图1,图1为本发明实施例提供的一种高光谱光场的快照式成像系统的结构示意图,所述快照式成像系统包括:分束器11、控制器12、第一观测通道13以及第二观测通道14。
所述分束器11用于将场景15的入射光线分为两路,分别进入到所述第一观测通道13以及所述第二观测通道14。所述第一观测通道13以及所述第二观测通道14用于分别获取场景15的观测结果。所述控制器12用于根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的关系重建五维高光谱光场。
如图1所示,在入射光线传播方向上,所述第一观测通道13依次包括:物镜131、编码光圈132、中继透镜133、色散棱镜134以及第一成像器135。所述第一观测通道13用于通过所述编码光圈132和所述色散棱镜134对所述场景15的光谱信息进行压缩采样和编码。可选的,所述第一观测通道13还包括位于所述中继透镜133和所述色散棱镜134之间的滤波片。图1中未示出所述第一观测通道13的滤波片。编码光圈132位于物镜131的后端,实现对光谱图像的编码。中继透镜133以及滤波片用于延长光路和滤除无用波段。色散棱镜134位于滤波片的后端,用于平移光谱图像的光谱维度信息,实现光谱图像的色散。第一成像器135位于色散棱镜134的后端,用于观测图像,获取编码之后的图像信息。
如图1所示,在入射光线传播方向上,所述第二观测通道14依次包括:主透镜141、微透镜阵列142以及第二成像器143。所述第二观测通道14用于通过所述微透镜阵列142捕获RGB光场。其中,所述RGB光场包含所述场景15的角度信息。RGB光场为四维光场。可选的,所述第二观测通道14还包括:位于所述微透镜阵列142以及所述第二成像器143之间的滤波片。图1中未示出所述第二观测通道14的滤波片。第二成像器143位于滤波片的后端,用于获取场景的RGB光场图像信息。
本发明实施例所述快照式成像系统中,所述分束器11用于将原始高光谱光场信号按照1:1的比例分成两路,分别进入所述第一观测通道13以及所述第二观测通道14,进入所述第一观测通道的第一路光信号和进入所述第二观测通道的第二路光信号相同。
所述控制器12用于通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场可以用所述三个过完备的四维字典分别稀疏表示,利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。
参考图2,图2为图1所示快照式成像系统的工作原理示意图。在图2所示实施方式中,所述第一观测通道为孔径快照光谱成像仪(CASSI),具有编码光圈和色散棱镜。所述第二观测通道为具有微透镜阵列的光场相机,如Lytro。场景的入射光线通过分束器分为两路,分别进入到CASSI所在的光路以及光场相机所在的光路。
CASSI通过编码光圈和色散棱镜对场景的光谱信息进行压缩采样和编码,获取CASSI所在的光路的观测结果。光场相机利用内置的微透镜阵列捕获包含场景角度信息的RGB光场。
所述控制器12用RGB光场训练三个过完备的四维字典,基于四维字典、RGB光场以及CASSI所在的光路的观测结果进行信号重构,获得高光谱光场。具体的,所述控制器12将所述第二观测通道14获取的RGB光场看做三个独立的不同颜色的光场,则待恢复的五维高光谱光场可以看做不同谱带的四维光场的集合,且各个谱带的四维光场都与相近颜色的RGB光场具有相似的结构信息。所述控制器12用RGB光场训练三个过完备的四维字典,则各个谱带的四维光场可以用这三个过完备的四维字典分别稀疏表示,然后利用场景15在光谱维度和角度维度的相关性求解稀疏优化问题,基于所述四维字典来重建五维高光谱光场。本发明实施例中,基于字典的重建算法的简称为DBR(dictionary-basedreconstruction)。
本发明实施例所述快照式成像系统具有两个模块,观测通道模块以及信号重构模块。其中,观测通道模块通过包括第一观测通道以及第二观测通道的硬件系统实现,对场景的光谱和光场信息分别进行采集,获得观测图像;信号重构模块可以通过具有所述控制器的计算机实现,对观测结果进行字典训练以及执行重建算法,获取高光谱光场信号。第一观测通道以及第二观测通道实现高光谱光场信号的双通道互补观测,观测结果输出给控制器进行高光谱光场信号的重建。
参考图3,图3为图1所示快照式成像系统角度分辨率以及光谱分辨率的效果说明图,本发明实施例所述快照式成像系统可以由Lytro以及CASSI构成两路观测通道,Lytro具有9*9不同视角,3个谱带,光谱分辨率低,角度分辨率高;而CASSI具有约30个谱带,光谱分辨率高,无角度信息。本发明实施例中具有Lytro与CASSI的快照式成像系统,可以具有9*9不同视角,约30个谱带,综合Lytro以及CASSI二者的优点,光谱分辨率高,且角度分辨率高。
通过上述描述可知,本发明实施例所述快照式成像系统利用光信号在角度维度和光谱维度的相关性,将高光谱光场的重建问题转化为在给定的RGB光场训练的四维字典和稀疏约束时,对五维高光谱光场进行优化重建,能够从严重欠采样的观测中,获得良好的重建效果。本发明实施例所述快照式成像系统可以克服传统扫描式方法具有的时间分辨率限制的问题,实现了快照式成像,进而重建出同时保证空间、角度和光谱分辨率的五维光信号,从而可以进一步获取六维高光谱光场视频。
总的来说,本发明实施例所述快照式成像系统利用自然场景光信号在角度维度和光谱维度的相关性,在不牺牲时间分辨率的条件下获取五维高光谱光场。所述快照式成像系统可以通过有效的重建算法,能够从严重欠采样的观测中恢复完整的五维高光谱光场。所述重建算法可以扩展到六维高光谱光场视频的获取和重建,使得获取七维全光信息成为了可能。
基于上述实施例所述快照式成像系统,本发明另一实施例还提供了一种高光谱光场的重建算法,用于上述实施例所述的快照式成像系统,所述重建算法如图4所示,图4为本发明实施例提供的一种重建算法的流程示意图,所述重建算法包括:
步骤S11:通过第一观测通道以及第二观测通道分别获取场景的观测结果。
步骤S12:根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。
可选的,步骤S11中,所述通过第一观测通道以及第二观测通道获取场景的观测结果包括:将所述场景的入射光线通过分束器分为两路,分别进入到所述第一观测通道以及所述第二观测通道;通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场。其中,所述RGB光场包含所述场景的角度信息。第一观测通道的观测结果为经过编码以及色散处理的压缩光谱图像。所述第二观测通道的观测结果为RGB光场图像。
(1a)本发明实施例中,两个观测通道均可以单独采集各自所在光路的空间信息,且两个观测通道还可以分别采集光谱信息以及光场信息。
(1b)设定原始高光谱光场信号的维度为W×H×S×S×Ω,其中W×H是空间分辨率,S×S是光场的角度分辨率,Ω是光谱分辨率。其中,W、H、S以及Ω均为大于1的正整数。
设定五维高光谱光场中任一点的光信号为f(x,y,u,v,λ)。其中,x和y表示空间维度坐标,u和v表示角度维度坐标,λ表示光谱维度坐标,1≤x≤W,1≤y≤H,1≤u≤S,1≤v≤S,1≤λ≤Ω。
基于上述设定,通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场包括:
(1c)原始高光谱光场信号经过分束器按照1:1的比例分成两路,分别进入所述第一观测通道以及所述第二观测通道,进入所述第一观测通道的第一路光信号f11(x,y,u,v,λ)和进入所述第二观测通道的第二路光信号f21(m,n,u,v,k)相同,f11(x,y,u,v,λ)和f21(m,n,u,v,k)分别如下所示:
(1d)所述第一观测通道利用编码函数T(x,y)对所述第一路光信号进行编码,其中,T(x,y)随机的取0或1;得出经过编码之后的光谱信号f12(x,y,u,v,λ),f12(x,y,u,v,λ)如下所示:
(1e)将所述第一路光信号经过编码后的光谱信号f12(x,y,u,v,λ)中预设谱段的信号平移,得出色散之后的光谱信号f13(x,y,u,v,λ)。
例如将所述第一路光信号经过编码后的光谱信号中第λ个谱段的信号平移Ψ(λ)个像素,得出光谱信号f12(x,y,u,v,λ)色散之后的光谱信号f13(x,y,u,v,λ),f13(x,y,u,v,λ)如下所示:
其中,Ψ(λ)是所述色散棱镜的与波长相关的色散函数。
(1f)在所述第一路光信号与所述第二路光信号同时曝光的条件下,通过所述第一观测通道获取第一路观测结果gc(x,y),通过所述第二观测通道获取第二路观测结果gl(x,y,u,v,k)。
第一路观测结果gc(x,y)如下表示:
其中,w(λ)是第一成像器的光谱响应函数。
第二路观测结果gl(x,y,u,v,k)如下表示:
其中,k=1,2,3表示RGB三种不同颜色的通道;wk(λ)表示第二成像器与RGB三种颜色对应的光谱响应函数。
(1g)控制器将两观测通道中的两路观测结果分别记为:
Gc=HcF (7)
其中,Gc是gc的向量化表示;和Fu,v是gl和f在某个角度坐标(u,v)下的向量化表示。进而,将两路观测结果记为:
公式(9)可以简写为G=HF,其中,G为观测矩阵,H为线性算子,表示系统的观测模型,为原始高光谱光场信号。
可选的,步骤S12中,所述根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建高光谱光场图像包括:
首先,通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场可以用所述三个过完备的四维字典分别稀疏表示。然后,利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。具体重建过程如下:
(2a)用Lytro相机采集到的RGB四维光场训练三种颜色的四维字典。从RGB光场中分别随机采样一组大小为m=w×h×s×s的四维图像块,其中w、h以及s表示图像块维度,均为便于进行训练字典的常数。采用KSVD算法训练三个四维字典其中,表示实数空间,n是字典的原子数,n>m,则待重建的各个谱带的四维光场可以在这些自适应的字典上被稀疏表示。
(2b)将五维高光谱光场在训练好的字典上稀疏表示为:
其中,Fλ(1≤λ≤Ω)指代某谱带的光场,aλ(1≤λ≤Ω)指代Fλ在字典Dk上稀疏表示的稀疏系数。操作符ο定义为:
F=[D1(a1,a2,...,ai),D2(ai+1,ai+2,...,aj),D2(aj+1,aj+2,...,aΩ)]T (11)
其中,1≤i≤j≤Ω指明各个谱带光场应该用哪个颜色的字典,由第二成像器的光谱响应确定。公式(11)简洁表示为:
其中,D由组成,a是的集合。
(2c)根据压缩感知理论,将F的重建问题转换为自适应字典上的优化问题:
其中,τ是正则化参数。这个优化问题可以通过OMP(orthogonalmatchingpursuit)算法求解。
为测试本发明实施例所提出的重建算法的有效性,设计了三个仿真实验。由于没有已公开的高光谱光场数据集,预先设定了了一个高光谱光场数据集用于重建算法的性能评估。通过安装在可移动支架上的光谱仪扫描三个静态场景,获取了三个数据集Toys,Boards和Fruits。每个场景的采集数据包含9×9个不同角度和从450nm到690nm,间距为10nm的25个不同谱带,共2025张图片。
仿真实验测试了这三个不同场景的高光谱光场数据在5×5、7×7和9×9三种不同的角度分辨率下的重建性能。训练的字典的块的大小为m=6×6×S×S,其中S×S是角度分辨率,字典的大小为n=2m。重建算法DBR的迭代次数设置为80,角度分辨率为5×5、7×7和9×9时的正则化参数τ分别设置为0.004、0.002和0.0005。实验数据如图下表1所示,表1为本发明基于字典的重建算法DBR与两步迭代重建算法TwIST在仿真实验上的性能比较的数据表格。
表1
表1给出了本发明实施例所述重建算法相比于基于全变差先验(totalvariation,简称TV)的两步迭代重建算法TwIST在三个数据集上的重建性能,采用的评价标准是峰值信噪比PSNR和光谱角SAM。PSNR衡量重建结果的空间质量,PSNR越高,反映空间质量越好,SAM衡量重建结果的光谱质量,SAM越小,反映光谱重建质量越高。从表中可以看出,本发明实施例所述重建算法相比TwIST本方法在三个场景上的各视角平均PSNR提升为2.45dB,平均SAM降低了15%。具体的,在三个场景上的PSNR提升分别为2.99dB、2.13dB和2.24dB,SAM降低了0.017、0.012和0.0097。相比TwIST算法,本发明实施例所述重建算法的各视角各谱带的重建结果质量更好,即能同时提高角度和光谱分辨率。
为测试本发明系统对高光谱光场的重建效果,实施了实物实验,拍摄场景是有六种不同颜色色块的魔方,实验结果显示,不同视角和不同谱带的重建结果的视觉质量良好,都有清晰边缘和良好的细节,和仿真实验一致,验证了本发明实施例技术方案在同时提升光场和光谱分辨率上的优越性。
可以通过上述实施例所述快照式成像系统执行本实施例所述重建算法,利用光信号在角度维度和光谱维度的相关性,将高光谱光场的重建问题转化为在给定的RGB光场训练的四维字典和稀疏约束时,对五维高光谱光场进行优化重建,能够从严重欠采样的观测中,获得良好的重建效果。本发明实施例所述重建算法可以克服传统扫描式方法具有的时间分辨率限制的问题,实现了快照式成像,进而重建出同时保证空间、角度和光谱分辨率的五维光信号,从而可以进一步获取六维高光谱光场视频。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种高光谱光场的快照式成像系统,其特征在于,所述快照式成像系统包括:分束器、控制器、第一观测通道以及第二观测通道;
所述分束器用于将场景的入射光线分为两路,分别进入到所述第一观测通道以及所述第二观测通道;
所述第一观测通道以及所述第二观测通道用于分别获取场景的观测结果;
所述控制器用于根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。
2.根据权利要求1所述的快照式成像系统,其特征在于,在入射光线传播方向上,所述第一观测通道依次包括:物镜、编码光圈、中继透镜、色散棱镜以及第一成像器;
所述第一观测通道用于通过所述编码光圈和所述色散棱镜对所述场景的光谱信息进行压缩采样和编码。
3.根据权利要求1所述的快照式成像系统,其特征在于,在入射光线传播方向上,所述第二观测通道依次包括:主透镜、微透镜阵列以及第二成像器;
所述第二观测通道用于通过所述微透镜阵列捕获RGB光场;其中,所述RGB光场包含所述场景的角度信息。
4.根据权利要求1所述的快照式成像系统,其特征在于,所述分束器用于将原始高光谱光场信号按照1:1的比例分成两路,分别进入所述第一观测通道以及所述第二观测通道,进入所述第一观测通道的第一路光信号和进入所述第二观测通道的第二路光信号相同。
5.根据权利要求3所述的快照式成像系统,其特征在于,所述控制器用于通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场用所述三个过完备的四维字典分别稀疏表示,利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。
6.一种高光谱光场的重建算法,用于如权利要求1-5任一项所述的快照式成像系统,其特征在于,所述重建算法包括:
通过第一观测通道以及第二观测通道分别获取场景的观测结果;
根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建五维高光谱光场。
7.根据权利要求6所述的重建算法,其特征在于,所述通过第一观测通道以及第二观测通道获取场景的观测结果包括:
将所述场景的入射光线通过分束器分为两路,分别进入到所述第一观测通道以及所述第二观测通道;
通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场;
其中,所述RGB光场包含所述场景的角度信息。
8.根据权利要求7所述的重建算法,其特征在于,通过所述第一观测通道中的编码光圈和色散棱镜对所述场景的光谱信息进行压缩采样和编码,通过所述第二观测通道中的微透镜阵列捕获RGB光场包括:
原始高光谱光场信号经过分束器按照1:1的比例分成两路,分别进入所述第一观测通道以及所述第二观测通道,进入所述第一观测通道的第一路光信号和进入所述第二观测通道的第二路光信号相同;
所述第一观测通道利用编码函数对所述第一路光信号进行编码,得出经过编码之后的光谱信号;
将所述第一路光信号经过编码后的光谱信号中预设谱段的信号平移,得出色散之后的光谱信号;
在所述第一路光信号与所述第二路光信号同时曝光的条件下,通过所述第一观测通道获取第一路观测结果,通过所述第二观测通道获取第二路观测结果。
9.根据权利要求6所述的重建算法,其特征在于,所述根据获取的所述观测结果以及高光谱光场信号中角度维度和光谱维度的相关性重建高光谱光场图像包括:
通过RGB光场训练三个过完备的四维字典,则各个谱带的四维光场用所述三个过完备的四维字典分别稀疏表示;
利用场景在光谱维度和角度维度的相关性求解稀疏优化问题,重建所述五维高光谱光场。
CN201710457226.8A 2017-06-16 2017-06-16 一种高光谱光场的快照式成像系统以及重建算法 Active CN107064005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710457226.8A CN107064005B (zh) 2017-06-16 2017-06-16 一种高光谱光场的快照式成像系统以及重建算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710457226.8A CN107064005B (zh) 2017-06-16 2017-06-16 一种高光谱光场的快照式成像系统以及重建算法

Publications (2)

Publication Number Publication Date
CN107064005A CN107064005A (zh) 2017-08-18
CN107064005B true CN107064005B (zh) 2018-05-29

Family

ID=59594743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710457226.8A Active CN107064005B (zh) 2017-06-16 2017-06-16 一种高光谱光场的快照式成像系统以及重建算法

Country Status (1)

Country Link
CN (1) CN107064005B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107655571B (zh) * 2017-09-19 2019-11-15 南京大学 一种基于色散模糊的光谱成像系统及其光谱重建方法
CN108492239B (zh) * 2018-03-19 2022-05-03 北京工业大学 面向光场相机的结构化观测与稀疏表示的协同优化方法
CN110308125B (zh) * 2019-07-11 2020-11-03 清华大学 三维显微层析计算摄像方法及装置
CN111489325B (zh) * 2019-12-16 2023-07-28 杭州电子科技大学 一种甲亢疾病即时鉴定装置及其控制方法
CN114754869A (zh) * 2022-04-21 2022-07-15 中北大学 一种快照式光场光谱成像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963354B1 (en) * 1997-08-07 2005-11-08 The United States Of America As Represented By The Secretary Of The Navy High resolution imaging lidar for detecting submerged objects
US7391520B2 (en) * 2005-07-01 2008-06-24 Carl Zeiss Meditec, Inc. Fourier domain optical coherence tomography employing a swept multi-wavelength laser and a multi-channel receiver
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及系统
CN103808410A (zh) * 2014-02-21 2014-05-21 清华大学 对偶编码压缩高光谱成像的装置
CN104063857A (zh) * 2014-06-30 2014-09-24 清华大学 高光谱图像的生成方法及系统
CN104735351A (zh) * 2015-03-06 2015-06-24 中国科学院计算技术研究所 一种高分辨率光场图片重建方法与成像装置
CN106170052A (zh) * 2015-05-22 2016-11-30 微软技术许可有限责任公司 双传感器超光谱运动成像系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963354B1 (en) * 1997-08-07 2005-11-08 The United States Of America As Represented By The Secretary Of The Navy High resolution imaging lidar for detecting submerged objects
US7391520B2 (en) * 2005-07-01 2008-06-24 Carl Zeiss Meditec, Inc. Fourier domain optical coherence tomography employing a swept multi-wavelength laser and a multi-channel receiver
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及系统
CN103808410A (zh) * 2014-02-21 2014-05-21 清华大学 对偶编码压缩高光谱成像的装置
CN104063857A (zh) * 2014-06-30 2014-09-24 清华大学 高光谱图像的生成方法及系统
CN104735351A (zh) * 2015-03-06 2015-06-24 中国科学院计算技术研究所 一种高分辨率光场图片重建方法与成像装置
CN106170052A (zh) * 2015-05-22 2016-11-30 微软技术许可有限责任公司 双传感器超光谱运动成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于光谱相似性的高光谱图像超分辨率算法;潘宗序 等;《自动化学报》;20140918;全文 *
基于图稀疏正则化多测量向量模型的高光谱压缩感知重建;孙玉宝 等;《电子与信息学部》;20141115;全文 *

Also Published As

Publication number Publication date
CN107064005A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107064005B (zh) 一种高光谱光场的快照式成像系统以及重建算法
Cao et al. Computational snapshot multispectral cameras: Toward dynamic capture of the spectral world
Wang et al. High-speed hyperspectral video acquisition with a dual-camera architecture
CN102706450B (zh) 基于压缩感知的双通道多光谱视频成像仪及成像方法
Xiong et al. Snapshot hyperspectral light field imaging
WO2017121058A1 (zh) 一种全光信息采集系统
Wang et al. High-speed hyperspectral video acquisition by combining nyquist and compressive sampling
CN110175971A (zh) 一种多光谱单像素成像的深度学习图像重构方法
CN107451956B (zh) 一种编码孔径光谱成像系统的重构方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
Lu et al. Multiresolution imaging
CN104154998B (zh) 一种基于压缩感知的计算多光谱成像图谱的重构方法
CN103983355B (zh) 基于全色成像的压缩光谱成像系统及成像方法
Tao et al. Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering
CN110880162A (zh) 基于深度学习的快照光谱深度联合成像方法及系统
US20230106939A1 (en) Light field image processing method, light field image encoder and decoder, and storage medium
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN109785235A (zh) 基于压缩感知的红外行人图像超分辨率重建方法及系统
CN107436194A (zh) 一种高光通量实时光谱成像装置
WO2021217031A1 (en) Ultrafast light field tomography
CN108646538A (zh) 一种单次曝光复振幅物体全息重建方法、设备及系统
Correa-Pugliese et al. Sparse representations of dynamic scenes for compressive spectral video sensing
CN106441577B (zh) 基于随机投影的协同编码高光谱成像系统及图像重构方法
Cai et al. The design and implementation of portable rotational scanning imaging spectrometer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant