CN107576397B - 一种基于光谱通道摆扫式相机的多光谱视频采集方法 - Google Patents

一种基于光谱通道摆扫式相机的多光谱视频采集方法 Download PDF

Info

Publication number
CN107576397B
CN107576397B CN201710826694.8A CN201710826694A CN107576397B CN 107576397 B CN107576397 B CN 107576397B CN 201710826694 A CN201710826694 A CN 201710826694A CN 107576397 B CN107576397 B CN 107576397B
Authority
CN
China
Prior art keywords
light stream
complicated
spectrum channel
complicated light
sweep type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710826694.8A
Other languages
English (en)
Other versions
CN107576397A (zh
Inventor
岳涛
李涵
林星
曹汛
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710826694.8A priority Critical patent/CN107576397B/zh
Publication of CN107576397A publication Critical patent/CN107576397A/zh
Application granted granted Critical
Publication of CN107576397B publication Critical patent/CN107576397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提出一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法。具体步骤包括：(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；(3)结合复杂光流映射，通过双边传播从输入的视频中重建得到多光谱视频。本发明充分利用动态自然场景的时间冗余来获取和重建动态场景的多光谱视频，能够同时具备不牺牲任何分辨率或帧率以及更低的系统复杂度的优点。

Description

一种基于光谱通道摆扫式相机的多光谱视频采集方法
技术领域
本发明涉及多维信号(图像)处理领域，特别涉及一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法。
背景技术
多光谱图像序列/视频对于许多应用都有着重要意义，比如监督，医学，材料分析等等。尽管这个主题在过去的几十年里被大量学习，但是获取动态场景的多光谱视频依然是一个很具挑战性的工作，因为大部分现存的多光谱成像方法或者依赖于扫描机制，或者需要多倍快照来重建单个帧。
近期，一些基于单次快照的多光谱成像方法被提出。其中一些方法是通过将光谱信息多路传输进二维传感器来捕获多光谱图像/视频，比如四维成像光谱仪(4DIS)、计算机断层扫描成像光谱仪(CTIS)和快照成像映射光谱仪(IMS)。然而这些方法牺牲了空间分辨率以换取单个光谱成像的能力。编码孔径快照光谱成像(CASSI)使用自然图像的空间冗余对单次拍照的多光谱信息进行编码从而不牺牲空间分辨率。除此之外，混合光谱成像系统通过额外捕捉一个未编码的灰度图像，被用来改善CASSI的性能。最近，双光谱图像编码(DCSI)技术出现，通过使用空间谱压缩编码来捕获多光谱图像。尽管多光谱成像可以通过单快照获取，但是这些基于编码孔径的系统重建算法却尤其复杂。另外，高计算成本可能在很长一段时间内限制这些系统在视频获取领域的应用。
发明内容
本发明的目的旨在提出一种基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法，解决上述现有方法无法兼有高分辨率或高帧率和低计算复杂度的缺陷。
本发明采用的技术方案如下：
一种基于光谱通道摆扫式相机的多光谱视频采集方法，包括以下步骤：
(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；
(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；
(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。
本发明充分利用动态自然场景的时间冗余来获取和重建动态场景的多光谱视频，能够同时具备不牺牲任何分辨率或帧率以及更低的系统复杂度的优点。具体的，步骤(1)的复杂光流(COF)，包括强度和位置传输信息，用来克服在异谱帧下传统光流的缺陷，从而描述不同光谱通道相邻帧的对应像素；步骤(2)采用迭代加权最小二乘法(IRLS)，通过加权迭代L2范数并且采用一个由粗到细的框架结构确保算法正确收敛进而估计复杂L1范数正则化；步骤(3)的双边传播，从第一个通道(最小波长)到最后一个(最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据COF映射既向前又向后传播。总体来说，本发明在以下三个方面效果显著：(1)没有任何分辨率或者帧率的牺牲；(2)更低的系统复杂度，因此很容易校准；(3)是一种通过利用自然视频中时间冗余的创新型时空采样框架。
附图说明
图1为本发明基于光谱通道摆扫式(SCS)相机的多光谱视频采集系统的流程图；
图2为本发明一个实施例的基于光谱通道摆扫式(SCS)相机的多光谱视频采集系统的示意图；
图3为本发明一个实施例的多光谱帧组/视频重建的双边传播框图；
图4为本发明的一个实施例的实际捕获的动态场景的实验结果。第一行：在时间帧1、6、11和17，光谱波长540nm、590nm、640nm和700nm分别捕获的选定输入帧；中间四行：选定的重建光谱帧；底部：相应时刻重建结果的细节。
具体实施方式
本发明采用逐帧摆扫通带，同时引入帧内复杂光流，从而重建得到动态场景多光谱视频。本实施例所用的采集系统包括一个单色相机(PointGray GRAS-50S5M-C)和一个液晶可调滤波器(LCTF)。图1是根据本发明基于光谱通道摆扫式(SCS)相机的多光谱视频采集方法的流程图，主要包括以下步骤：
步骤一，在三维球面坐标系统上定义复杂光流(COF)，描述不同光谱通道相邻SCS帧的变化，复杂光流(COF)由强度和位置传输信息组成。
具体地，假设在一个自然视频中，物体或者背景场景出现一段时间并且在这段时间内连续移动。换句话说，视频上的像素点既不在很短的一段拍摄时间内突然出现然后消失，也不会从一个位置不连续地移动到另一个不相邻区域。为了获得不同光谱通道邻近帧的对应关系，在三维球坐标系统(包括一个半径和两个角)上定义复杂光流(COF)，数学公式为：
其中，为从时间t到t+1的COF；F为球向量的半径，表示光谱强度传输比；角δx和δy用来描述图像平面在x和y方向上的节点位移；i和j分别为球坐标系统的单元角向量。通过使用类似的指数公式Is1exi+yj(Is1是像素强度，x和y分别是水平和垂直坐标)来描绘时间t下单光谱通道s1的帧Is1上的一个像素，在时间t+1下光谱通道s2的相邻帧中的对应像素可以通过复杂的乘法计算得到：
步骤二，COF映射被定义在不同光谱通道的邻近帧对上，利用COF映射下的复杂L1范数正则化问题。
基于COF映射的定义，目标函数的保真度项可以被定义为：
考虑到包含统一强度的区域充满了自然场景，只通过最小化保真度项的问题仍然是病态的。为了解决这个病态性，COF映射下的复杂的L1范数被引入，形式如下：
这里，是COF映射的复合梯度运算。
由于COF映射在这里是一个复合矢量场，复合梯度被定义为在x-和y-方向上的复合矢量场中相邻元素的导数：
这里，式中的减号是球向量减法，因此会导致矢量求导。上式中的复杂L1范数表示了复合梯度向量模块的总和。
完整的目标函数是以上两式的一个加权合并：
E＝Ef+λcEc
这里λc是复杂L1范数约束在COF上的权重，在本实施例中，λc被设置为0.02。
本实施例中，为了解决上式，采用迭代加权最小二乘法(IRLS)。基本思路是通过加权迭代L2范数来逼近复杂的L1范数从而使算法一步步收敛。特殊地，在第k次迭代中，上式中的非二项式项Ec被估计为：
这里是最后一次迭代(k-1次)的复合梯度。通过用上式完整的目标函数的再加权二次项来替换Ec，联合目标函数就变成了一个二项式函数并且因此可以通过梯度法(在本实施例中应用的是共轭梯度算法(CG))很容易解出。
为了确保算法收敛到正确的解，本实施例采用了一个由粗到细的框架结构。在实际操作中，算法从一个非常粗糙的精度开始(输入帧组大小的1/256)，在每个精度下，COF映射通过迭代计算外层循环(随着k增长再加权迭代)和内层循环(CG迭代来最小化固定权重的目标函数)直到算法收敛。算法在每层精度收敛后，下一层的初始化COF映射通过调整当前COF映射的尺寸获得。在最开始，第一层的COF被常量复合矢量1e0i+0j初始化，相邻层的尺寸比被设置为1.2。
步骤三，结合COF映射，通过双边传播从输入的SCS视频中重建得到多光谱视频。在信号扫描帧组的一个周期内，比如从第一个通道(有着最小波长)到最后一个(有着最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据COF映射既向前又向后传播。如图3所示，实际捕获通道的信息被传播给邻近帧来填满空缺通道，从而重建整个光谱帧组。
为了消除不同波段的LCTF透射比和传感器响应不同导致的缺陷，本实施例使用颜色检查器(爱色丽色板)作为参考板，并且使用一阶拟合对每个通道分别进行输出响应修正。在校准之后，所有颜色区域的输出光谱曲线都与ground truth很好地匹配。
本实施例对移动场景进行捕获。如图4所示，本发明所捕获的包含移动目标的动态场景，即手和玩具车，其重建的包含17个通道的多光谱图像(从540nm到700nm，光谱分辨率为10nm)也显示在图4的中部。为了更好的论证细节，特写镜头(对应区域在全图中被长方形框标记)在最底行给出。所有的特写镜头从相同位置中被采样，因此手的移动很容易从放大的块中被区分出来。显而易见，本发明的方法在实际动态场景中工作良好。图4中，移动的目标被优质化重建，并且移动的手的阴影也被很好地恢复。然而，尽管不明显，在一些通道的背景闭塞区(被手遮挡)仍然存在一些重建伪影。这是因为这些通道区域在对应的实际捕获单通道帧内被阻塞。比如，帧1的第17个通道(700nm)从帧17的实际捕获通道(700nm)传播得到，并且帧1第17个通道中的伪影区域被帧17阻塞，因此本实施例不得不使用邻近无阻塞像素来填帧1中的孔。

Claims (6)

1.一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，包括以下步骤：
(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；
(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂L1范数正则化问题；
(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。
2.如权利要求1所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，所述步骤(1)中，复杂光流在三维球坐标系统上的数学表达式为：
其中，为从时间t到t+1的复杂光流，s1和s2代表不同的光谱通道；F为球向量的半径，表示光谱强度传输比；角δx和δy用来描述图像平面在x和y方向上的节点位移；i和j分别为球坐标系统的单元角向量。
3.如权利要求2所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，所述步骤(2)中，建立的目标函数为：
E＝Ef+λcEc
其中，Ef是保真度项：I代表像素强度；λc是复杂L1范数约束在复杂光流上的权重；代表复杂光流映射下的复杂的L1范数，▽是复杂光流映射的复合梯度运算。
4.如权利要求3所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，权重λc的值为0.02。
5.如权利要求3所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，所述步骤(2)中，采用迭代加权最小二乘法，通过迭代加权L2范数估计复杂L1范数使算法不断收敛。
6.如权利要求1所述的一种基于光谱通道摆扫式相机的多光谱视频采集方法，其特征在于，所述步骤(3)中，在信号扫描帧组的一个周期内，每个帧包含了一个光谱通道并且根据复杂光流映射既向前又向后传播，实际捕获通道的信息被传播给邻近帧来填满空缺通道，从而重建整个光谱帧组。
CN201710826694.8A 2017-09-14 2017-09-14 一种基于光谱通道摆扫式相机的多光谱视频采集方法 Active CN107576397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710826694.8A CN107576397B (zh) 2017-09-14 2017-09-14 一种基于光谱通道摆扫式相机的多光谱视频采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710826694.8A CN107576397B (zh) 2017-09-14 2017-09-14 一种基于光谱通道摆扫式相机的多光谱视频采集方法

Publications (2)

Publication Number Publication Date
CN107576397A CN107576397A (zh) 2018-01-12
CN107576397B true CN107576397B (zh) 2019-09-20

Family

ID=61036309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710826694.8A Active CN107576397B (zh) 2017-09-14 2017-09-14 一种基于光谱通道摆扫式相机的多光谱视频采集方法

Country Status (1)

Country Link
CN (1) CN107576397B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239914B (zh) * 2018-09-12 2020-05-01 南京大学 一种实现高空间带宽积的成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457986A (zh) * 2014-10-23 2015-03-25 南京邮电大学 一种基于自适应正则化的光谱分辨率增强方法
CN106338342A (zh) * 2016-09-23 2017-01-18 昆明物理研究所 准实时的时空混合调制红外干涉光谱成像系统及方法和应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457986A (zh) * 2014-10-23 2015-03-25 南京邮电大学 一种基于自适应正则化的光谱分辨率增强方法
CN106338342A (zh) * 2016-09-23 2017-01-18 昆明物理研究所 准实时的时空混合调制红外干涉光谱成像系统及方法和应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Acquisition of High Spatial and Spectral Resolution Video with a Hybrid Camera System》;Chenguang Ma，Xun Cao，Xin Tong，Qionghai Dai，Stephen Lin;《Int J Comput Vis》;20131213;第110卷;第141-155页 *

Also Published As

Publication number Publication date
CN107576397A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
US8558899B2 (en) System and method for super-resolution digital time delay and integrate (TDI) image processing
US8577184B2 (en) System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
CN107451956B (zh) 一种编码孔径光谱成像系统的重构方法
US8666196B2 (en) System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US9900562B2 (en) System and method for light-field imaging
US20170205337A1 (en) Compact Multifunctional System for Imaging Spectroscopy
Wang et al. Enhanced deep blind hyperspectral image fusion
KR20200003858A (ko) 픽셀 단위 이미징을 위한 방법 및 시스템
CN108288256A (zh) 一种多光谱马赛克图像复原方法
AU2020281143B1 (en) Creating super-resolution images
Nayar et al. Assorted pixels: Multi-sampled imaging with structural models
CN103886559B (zh) 一种光谱图像处理方法
CN107036629A (zh) 视频卫星在轨相对辐射定标方法及系统
CN112104847B (zh) 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法
CN107576397B (zh) 一种基于光谱通道摆扫式相机的多光谱视频采集方法
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
Huang et al. Spectral clustering super-resolution imaging based on multispectral camera array
CN109798978B (zh) 一种采用异形蓝色噪声编码孔径的光谱成像方法
Diaz et al. Multispectral filter array design by optimal sphere packing
Haneishi et al. Image acquisition technique for high dynamic range scenes using a multiband camera
US20220382056A1 (en) SYSTEMS AND METHODS FOR POWER EFFICIENT IMAGE ACQUISITION USING SINGLE PHOTON AVALANCHE DIODES (SPADs)
Suliga et al. Microlens array calibration method for a light field camera
Shen et al. Development of energy correction based multishot snapshot spectral imaging system
CN107843341A (zh) 一种天基空间目标高分辨多光谱成像方法及系统
Wei et al. Rapid hyperspectral imaging system via sub-sampling coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant