CN102706450A - 基于压缩感知的双通道多光谱视频成像仪及成像方法 - Google Patents

基于压缩感知的双通道多光谱视频成像仪及成像方法 Download PDF

Info

Publication number
CN102706450A
CN102706450A CN2012101932447A CN201210193244A CN102706450A CN 102706450 A CN102706450 A CN 102706450A CN 2012101932447 A CN2012101932447 A CN 2012101932447A CN 201210193244 A CN201210193244 A CN 201210193244A CN 102706450 A CN102706450 A CN 102706450A
Authority
CN
China
Prior art keywords
spectrum picture
spectrum
light beam
image
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101932447A
Other languages
English (en)
Other versions
CN102706450B (zh
Inventor
刘丹华
李国�
石光明
高大化
王立志
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210193244.7A priority Critical patent/CN102706450B/zh
Publication of CN102706450A publication Critical patent/CN102706450A/zh
Priority to PCT/CN2013/077067 priority patent/WO2013185589A1/zh
Priority to US14/407,782 priority patent/US9851252B2/en
Application granted granted Critical
Publication of CN102706450B publication Critical patent/CN102706450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于压缩感知的双通道多光谱视频成像仪及成像方法。它包括分束器(1)、图像重构处理(4)和两个光路通道,其中第一光路通道(2)由第一物镜(21)、第一编码模板(22),第一带通滤波器(23),第一中继透镜组(24),第一棱镜组(25)和第一阵列传感器(26)依次相连构成;第二光路通道(3)由第二物镜(31),第二编码模板(32),第二带通滤波器(33),第二中继透镜组(34),第二棱镜组(35)和第二阵列传感器(36)依次相连构成。原光谱图像X由分束器分成两束分别进入第一光路通道(2)和第二光路通道(3),并分别得到混叠光谱图像X1和X2;图像重构处理器(4)根据输入的混叠光谱图像X1和X2重构出原始光谱图像X。本发明具有采样信息全、重构精度高、成本低的优点,可用于多光谱视频的获取。

Description

基于压缩感知的双通道多光谱视频成像仪及成像方法
技术领域
本发明涉及图像处理技术领域,涉及多光谱视频数据的采集,主要应用于对多光谱视频图像信息的获取与重建。
背景技术
早在20世纪60年代人造地球卫星围绕地球获取地球的图片资料时,成像就成为研究地球的有利工具。在传统的成像技术中,人们就知道黑白图像的灰度级别代表了光学特性的差异因而可用于辨别不同的材料。在此基础上,成像技术有了更高的发展,对地球成像时,选择一些不同颜色的滤波片分别对场景遮挡成像,这对于提高对特殊农作物、大气、海洋、土壤等的研究和辨别能力大有裨益。这种以离散的几种颜色(或者几个波段)对景物成像,就是人们常说的多光谱成像,多次获得的多光谱图像在时间上相连则构成了多光谱视频。
多光谱视频是一种高维数据,随着光谱分辨率的提高,多光谱视频数据急剧增加,针对多光谱视频数据量大的特点,为了能够保证大量的多光谱视频更加高效的传输和处理,高质量的图像压缩采样编码已经成为一个非常重要的技术。
在传统方法中为了实现对多光谱视频数据高效的传输和处理,是对多光谱图像采样后进行压缩,大量的非重要的数据被扔掉,这种先采样再压缩的过程使得系统的复杂性增加,而且在要求采样速率较高的情况下,A/D转换器的实现就成为了一个难以解决的问题。如何解决这个问题,即用远低于奈奎斯特采样速率对信号进行采样,同时又可完全恢复信号成为了广大研究者关心的重点。
2004年由E.J.Candes、J.Romberg、T.Tao和D.L.Donoho等人提出了一种新的信号处理理论——压缩感知(Compressive Sensing),该理论的出现为解决上述问题带来了新的思路。压缩感知的基本思路:从尽量少的数据中提取尽可能多的信息,这是一种有着极大理论和应用前景的想法。它是传统信息论的一个延伸,但是又超越了传统的压缩理论,成为了一门崭新的子分支。其数学模型:假设长度为N的信号X在某个正交基或紧框架ψ下的系数是系数的,只含有非常少的非零系数,若将这些系数投影到另外一个与ψ不相关的观测Φ:M*N,M<N,得到观测数据集合Y:M*1,信号X就可以根据观测值Y通过求解优化问题而精确恢复出来:
X ~ = min | | Ψ T X | | 1 s . tΦ Ψ T X = Y
由于X在变换域ψ中是稀疏的,通过求解上述范数优化问题得到恢复值
Figure BDA00001758837400022
可以很好的逼近原信号X。
由于多光谱图像信号具有可压缩性,只要找到合适的稀疏表示空间,就可以利用一个与变换基不相关的观测矩阵将变换所得的高维信号投影到一个低维空间上,有效地进行压缩采样,这样就可以在一定的光谱分辨率条件下降低相机的实现难度,或者在相同的技术条件下大幅提升多光谱分辨率;进一步通过优化问题的求解就可以从这些较少的投影中以较高的概率重构出原信号,可以证明这样的投影信息包含了重构原信号所需要的足够多的信息。在一般情况下,随机观测矩阵有着姣好的观测效果,这是因为随机矩阵几乎和所有的变换基矩阵不相关。
目前为止,压缩感知理论在单幅图像的低速采样及重构中有较多应用,而对于多光谱成像而言,频谱宽、数据量大并且各谱段之间有较强的相关性的特点使得压缩感知理论很适用于多光谱图像的低速信息采集和重构。
传统的转轮滤光式多光谱视频成像仪对一个场景依次更换滤光片分别成像,获取多张光谱维图像,受其成像原理的限制,传统的多光谱视频成像仪有较多不足:
(1)传统的多光谱视频成像仪采用机械转轮式的结构,这种结构会引起成像仪的震动,造成多光谱成像仪的成像质量低,且稳定性差;
(2)传统的多光谱视频成像仪对每一光谱段图像进行成像均需要切换一次滤光片,使得成像效率和信噪比均比较低,而且对于性能良好的滤光片加工较为困难;
(3)传统的多光谱视频成像方法采用先采样后压缩的方式,造成光谱数据的大量浪费,同时造成压缩失真。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于压缩感知的双通道多光谱视频成像仪及成像方法,以实现对多光谱视频图像数据的完整采集,提升多光谱视频成像仪的成像效率、稳定性和多光谱图像的质量,降低成像仪的实现难度和复杂度。
本发明的技术原理是:借鉴Ashwin A.Wagadarikar等人设计、提出的CASSI(Spectral Image Estimation for Coded Aperture Snapshot Spectral Imagers),在原有的单通道的基础上提出双通道技术,整个系统共分为两个部分:数据观测部分和光谱图像重构部分。数据观测部分分为两个光路通道,光谱图像由分光器件分为两个包含信息完全一样的部分,然后分别进入两个光路通道,分别进行数据采样。由于两个通道中的随机编码模板是互补的,因此观测到的数据包含了光谱图像的完整信息。光谱图像重构部分接收数据观测部分采集到的数据,通过解非线性优化问题更高精度的重构出原光谱图像。
根据上述原理,本发明基于压缩感知的双通道多光谱视频成像仪,其特征在于:包括一个分束器、两个物镜、两个编码模板、两个带通滤波器、两个中继透镜组、两个棱镜组、两个阵列传感器和一个图像重构处理器;第一物镜、第一编码模板,第一带通滤波器,第一中继透镜组,第一棱镜组,第一阵列传感器依次相连,构成第一光路通道;第二物镜,第二编码模板,第二带通滤波器,第二中继透镜组,第二棱镜组,第二阵列传感器依次相连,构成第二光路通道;
所述分束器,将原始光谱图像X的光束分成两束进入所述的两个光路通道,进入第一光路通道的光束在第一物镜上聚焦成像,通过第一编码模板对光谱图像各位置上的光束进行随机遮挡,随机遮挡后的光谱图像的光束经过第一带通滤波器滤波,再由第一中继透镜组传递到第一棱镜组,产生色散,色散后的光谱图像的光束照射到第一阵列传感器上,得到第一路混叠的光谱图像X1传输给图像重构处理器;进入第二光路通道的光束在第二物镜上聚焦成像,并通过第二编码模板对光谱图像各位置上的光束进行随机遮挡,随机遮挡后的光谱图像的光束经过第二带通滤波器的滤波,再由第二中继透镜组传递到第二双棱镜组产生色散,色散后的光谱图像的光束照射到第二阵列传感器上,得到第二路的混叠的光谱图像X2传输给图像重构处理器;
所述图像重构处理器,根据输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构出原光谱图像X。
所述双通道的互补编码模板,其特征在于:第一编码模板和第二编码模板,是由通光和不通光的大小相同的方格组成的矩形平面板,通光方格编码为1,不通光方格为遮光板,编码为0;第一编码模板的每一方格的编码随机设定;第二编码模板的每一方格的编码与第一编码模板的相反,实现对光谱图像的每一位置的图像信息的互补编码,保证对光谱图像信息采样的完整性。
为实现上述目标,本发明基于压缩感知的双通道多光谱视频成像方法,包括如下步骤:
(1)将原光谱图像的光束分成两束,分别进入两个光路通道;
(2)获取光谱混叠图像X1
(2a)在第一光路通道内对进入该通道内的光束聚焦成像,获得光谱图像;
(2b)对光谱图像进行随机编码,即将光谱图像上的每一位置上的光束随机遮挡,被遮挡的位置编码为0,没有被遮挡的位置编码为1;
(2c)对编码后的光谱图像进行滤波,滤除需要重构的带宽以外的光谱图像的光束;
(2d)对光谱图像各光谱维的图像在空间维的方向上进行搬移,即光谱图像的光束发生色散,实现每一光谱维图像之间相对位置的变化;
(2e)由阵列传感器获取搬移后的光谱图像每一位置光束的光量,得到第一路混叠的光谱图像X1
(3)获取光谱混叠图像X2
(3a)对进入第二光路通道的光束聚焦成像,获得光谱图像;
(3b)对光谱图像进行与第一光路通道内的光谱图像互补的编码,即对第二通道内的光谱图像上的每一位置上光束进行相应的遮挡,使其与第一光路通道内光谱图像同一位置上的遮挡状态相反;
(3c)对互补编码后的光谱图像的光束进行滤波,滤除需要重构的带宽以外的光谱图像的光束;
(3d)对光谱图像各光谱维的图像在空间维的方向上进行搬移,即光谱图像的光束发生色散,实现每一光谱维图像之间相对位置的变化;
(3e)由阵列传感器获取搬移后的光谱图像每一位置光束的光量,得到第二路混叠的光谱图像X2
(4)根据上述得到的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构原光谱图像X;
(5)在时间上对一场景进行多次光谱成像,形成多光谱视频。
所述的对光谱图像各光谱维的图像在空间维的方向上进行搬移,是将棱镜组放在光谱图像光束的传播路线上,使不同光谱维图像光束通过棱镜,在到达阵列传感器时产生不同距离的偏移,实现各光谱维图像之间相对位置的变化。
本发明与传统技术相比较具有的优点:
第一:本发明针对传统的多光谱视频成像仪成像效率较低的缺点,提出了基于压缩感知的成像方法,采用双通道观测技术,使得光谱图像信息采样完整,每次曝光可以对多个谱段进行成像,时间分辨率高,信噪比高;
第二:本发明针对传统的多光谱视频成像仪中机械转轮引起成像仪震动,从而造成成像质量低的缺点,提出了一种无转轮结构的多光谱视频成像仪,保证了光谱成像仪的成像稳定性和成像质量;
第三:本发明针对传统的多光谱视频成像仪先以较高密度传感器阵列采样,再进行压缩,丢失部分冗余信息的缺点,采用直接以低传感器密度对其进行信息采样的方式,实现了采样与压缩的结合,进而提高了传感器阵列的利用率,降低了系统的实现难度和复杂度,避免了压缩失真。
附图说明
图1是本发明基于压缩感知的双通道多光谱视频成像仪的结构框图;
图2是本发明成像仪中的第一光路通道内部结构框图;
图3是本发明成像仪中的第二光路通道内部结构框图;
图4是本发明成像仪中的编码模板示意图;
图5是本发明基于压缩感知的双通道多光谱视频成像方法的流程图;
图6是仿真使用的原始拍摄的河流多光谱图像的6张光谱维图像平面图;
图7是用现有的单通道方式重建多光谱图像的结果及相应的每一光谱维图像的PSNR值;
图8是用本发明的双通道方式重建多光谱图像的结果及相应的每一光谱维图像的PSNR值。
具体实施方式
参照图1,本发明的基于压缩感知的双通道多光谱视频成像仪,包括分束器1、第一光路通道2、第二光路通道3、图像重构处理器4。其中第一光路通道2和第二光路通道3的结构分别如图2和图3所示。原光谱图像X的光束由分束器1分成两束,这两束光包含的光谱信息相同,但是方向却是不同的,它们从不同的方向分别进入到两光路通道内;第一路光束和第二路光束分别在第一光路通道2和第二光路通道3内经过各种元件的处理和采集后,得到第一路混叠的光谱图像X1和第二路混叠光谱图像X2,并输出到图像重构处理器4中;图像重构处理器4根据输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构出原光谱图像X。
参照图2,本发明的第一光路通道2,由第一物镜21、第一编码模板22,第一带通滤波器23,第一中继透镜组24,第一棱镜组25和第一阵列传感器26依次相连构成;第一物镜21位于第一光路通道2的最前端,用于对第一光路通道2内的光束进行聚焦,形成清晰的光谱图像;第一编码模板22位于第一物镜21成像的像面位置上,如图4(a)所示,它是由通光和不通光的方格组成的矩形面板,方格的大小相同,其中白色为通光方格编码为1,黑色的不通光方格为遮光板,编码为0,每一方格的编码随机设定,以保证对光谱图像信息编码的随机性;第一带通滤波器23位于第一编码模板22的后端,它是由各种透镜组成的透镜组,用于滤除不需要的光谱维图像光束;第一中继透镜组24接在第一带通滤波器23的后面,将第一带通滤波器23保留下来的光谱维图像的光束传递到第一棱镜组25;第一棱镜组25位于第一中继透镜组24和第一阵列传感器26之间,它对于不同的光谱维图像有不同的折射率,使各光谱维图像透过第一棱镜组25到达第一阵列传感器26时产生不同距离的偏移,从而实现对不同的光谱维图像的搬移;位于第一光路通道2最后端的第一阵列传感器26,获取光谱图像每一位置光束的光量信息,并将其转换为数字形式,即而得到第一路混叠光谱图像X1
参照图3,本发明的第二光路通道3,由第二物镜31、第二编码模板32,第二带通滤波器33,第二中继透镜组34,第二棱镜组35和第二阵列传感器36依次相连构成;第二物镜31位于第二光路通道2的最前端,用于对第二光路通道3内光束的聚焦,形成清晰的光谱图像;第二编码模板32位于第二物镜31成像的像面位置上,如图4(b)所示,同第一编码模板22一样,它也是由通光和不通光的大小相同方格组成的矩形面板,其中白色的通光方格编码为1,黑色不通光方格为遮光板,编码为0,但是第二编码模板32的每一方格的编码并不是随机设定,而是与第一编码模板22上同一位置上方格的编码相反,与第一编码模板22共同实现对光谱图像信息的互补编码,保证对光谱图像信息观测的完整性;第二带通滤波器33位于第二编码模板32的后端,它是由各种透镜组成的透镜组,用于滤除不需要的光谱维图像光束;第二中继透镜组34接在第二带通滤波器33的后面,将第二带通滤波器33保留下来的光谱维图像的光束传递到第二棱镜组35;第二棱镜组35位于第二中继透镜组34和第二阵列传感器36之间,其对于不同的光谱维图像有不同的折射率,使各光谱维图像透过棱镜到达第二阵列传感器36时产生不同的偏移距离,从而实现对不同的光谱维图像的搬移;位于第二光路通道3最后端的第二阵列传感器36,获取光谱图像每一位置光束的光量信息,并将其转换为数字形式,即而得到第二路混叠光谱图像X2
参照图5,本发明基于压缩感知的双通道多光谱视频成像方法,包括如下步骤:
步骤1,将原光谱图像的光束分成包含有光谱图像信息相同的两束,使其从两个不同方向分别进入两个光路通道,即第一光路通道和第二光路通道。
步骤2,获取第一光路通道的混叠光谱图像:
(2a)在第一光路通道内对进入该通道内的光束进行聚焦成像,获得第一光路通道初始光谱图像X11
(2b)对第一光路通道初始光谱图像X11每一位置上的信息进行随机编码,即对光谱图像X11上的每一位置上的光束利用遮光板进行随机遮挡,遮挡住的位置将没有光束通过,没有被遮挡的位置上的光束将通过方形孔径继续向后照射;将被遮挡住位置上的信息编码为0,将没有被遮挡位置上的信息编码为1,得到第一光路通道编码后的光谱图像X12
(2c)对第一光路通道编码后的光谱图像X12进行滤波,即滤除带宽外不需要的光谱维图像的光束,保留带宽内光谱维图像的光束,得到第一光路通道滤波后的光谱图像X13
(2d)将棱镜组放在第一光路通道滤波后的光谱图像X13光束的传播路线上,使滤波后的光谱图像的光束发生色散,由于各光谱维图像的偏移距离不同,从而实现对每一光谱维图像在空间维上不同距离的搬移,得到第一光路通道搬移后的光谱图像X14
(2e)通过阵列传感器获取第一光路通道搬移后的光谱图像X14的光量信息,由于在该阵列传感器每一位置上获取的光量信息是光谱图像X14全部搬移后光谱维图像在同一空间位置上光量信息的求和,因而可实现不同光谱维图像信息的混叠;将求和的光量信息转换为数字形式,得到第一光路通道的混叠光谱图像X1
步骤3,获取第二光路通道的混叠光谱图像X2
(3a)在第二光路通道内对进入该通道的光束进行聚焦成像,获得第二光路通道初始光谱图像X21
(3b)对第二光路通道初始光谱图像X21进行与第一光路通道互补的编码,即对第二通道内的光谱图像X21上的每一位置上光束进行相应的遮挡,使其与第一光路通道内光谱图像X11同一位置上光束的遮挡状态相反,保证原光谱图像X的任一位置上的信息不被遗漏,得到第二光路通道互补编码的光谱图像X22
(3c)对第二光路通道互补编码后的光谱图像X22的光束进行滤波,即滤除带宽外不需要的光谱维图像的光束,保留带宽内光谱维图像的光束,得到第二光路通道滤波后的光谱图像X23
(3d)将棱镜组放在第二光路通道滤波后的光谱图像X23光束的传播路线上,使光谱图像X23的光束发生色散,由于各光谱维图像的偏移距离不同,从而实现对每一光谱维图像在空间维上不同距离的搬移,得到第二光路通道搬移后的光谱图像X24
(3e)通过阵列传感器获取第二光路通道搬移后的光谱图像X24的光量信息,由于在阵列传感器每一位置上获取的光量信息是光谱图像X24全部搬移后的光谱维图像在同一空间位置上光量信息的求和,因而可实现不同光谱维图像信息的混叠;将求和的光量信息转换为数字形式,得到第二光路通道的混叠光谱图像X2
步骤4,根据上述得到的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构原光谱图像X:
(1)将输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2在平面空间上连接在一起,得到一个总的混叠光谱图像Y:
Y=[X1,X2]=[A1X,A2X]=AX,
其中,A1,A2为两个线性算子,A1X,A2X分别表示第一光路通道和第二光路通道对光谱图像X的操作结果;A=[A1,A2]表示整个观测部分的线性函数算子,AX表示整个观测部分对光谱图像的操作结果;
(2)设ψ为原光谱图像X稀疏域的一个正交基,则原光谱图像X在基ψ上的表示系数Φ是稀疏的,即系数Φ中的零元素或者小于设定阈值的元素个数较多:
Φ=ψ-1X=ψTX,
其中,ψ-1和ψT分别表示正交基ψ的矩阵的逆和转置;
(3)设定min||ψTX||0为优化求解的目标函数,Y=AX为约束条件,采用非线性优化方法,如基追踪算法或双步迭代算法或贪婪算法求解下式,作为对原光谱图像X的逼近值
Figure BDA00001758837400091
X ~ = arg min | | Ψ T X | | 0 s . tY = AX ,
其中,||ψTX||0表示原光谱图像X在稀疏域上的表示系数Φ的l0范数;argmin表示取最小值;s.t Y=AX表示约束条件为Y=AX;
步骤5,对同一场景重复进行上述步骤,即在时间上对场景进行多次多光谱成像,形成多光谱视频。
为验证本发明的基于压缩感知的双通道多光谱视频成像仪的可行性和有效性,通过MATLAB仿真软件模拟了一个实例,其中在时间上进行一次光谱成像的过程如下:
仿真1:
a)选用原始拍摄的河流的多光谱图像作为原始光谱图像,其包含6张512*512光谱维图像,如图6所示;
b)根据现有的单通道光谱成像仪结构,采用余弦稀疏域和双步迭代算法重构原光谱图像,并计算出每一张光谱维图像重构结果的PSNR值,结果如图7所示,其中7(a)、7(b)、7(c)、7(d)、7(e)、7(f)分别是对6(a)、6(b)、6(c)、6(d)、6(e)、6(f)的重构结果及相应的PSNR。
仿真2:
a)选用原始拍摄的河流的多光谱图像作为原始光谱图像,其包含6张512*512光谱维图像,如图6所示;
b)根据本发明的双通道光谱成像仪结构,采用余弦稀疏域和双步迭代算法重构原光谱图像,并计算出每一张光谱维图像重构结果的PSNR值,结果如图8所示,其中8(a)、8(b)、8(c)、8(d)、8(e)、8(f)分别是对6(a)、6(b)、6(c)、6(d)、6(e)、6(f)的重构结果及相应的PSNR。
从仿真1的实验结果可以计算出用单通道方式进行多光谱图像重构出的6张光谱维图像的平均PSNR为30.31dB,其中PSNR最低为28.5167dB,最高为32.7970dB。
从仿真2的实验结果可以计算出用本发明双通道方式进行多光谱图像重构出的6张光谱维图像的平均PSNR为32.82dB,其中PSNR最低为31.0005dB,最高可达35.5981dB。
将仿真1与仿真2的结果做出比较可以看出,本发明的双通道技术相对于现有单通道技术的光谱重构结果可以将平均PSNR提高2.51dB,证明本发明在进行多光谱图像重建时有更好的性能。

Claims (5)

1.一种基于压缩感知的双通道多光谱视频成像仪,其特征在于:包括一个分束器、两个物镜、两个编码模板、两个带通滤波器、两个中继透镜组、两个棱镜组、两个阵列传感器和一个图像重构处理器;第一物镜(21)、第一编码模板(22),第一带通滤波器(23),第一中继透镜组(24),第一棱镜组(25),第一阵列传感器(26)依次相连,构成第一光路通道;第二物镜(31),第二编码模板(32),第二带通滤波器(33),第二中继透镜组(34),第二棱镜组(35),第二阵列传感器(36)依次相连,构成第二光路通道;
所述分束器(1),将原始光谱图像X的光束分成两束进入所述的两个光路通道,进入第一光路通道的光束在第一物镜(21)上聚焦成像,通过第一编码模板(22)对光谱图像各位置上的光束进行随机遮挡,随机遮挡后的光谱图像的光束经过第一带通滤波器(23)滤波,再由第一中继透镜组(24)传递到第一棱镜组(25),产生色散,色散后的光谱图像的光束照射到第一阵列传感器(26)上,得到第一路混叠的光谱图像X1传输给图像重构处理器(4);进入第二光路通道的光束在第二物镜(31)上聚焦成像,并通过第二编码模板(32)对光谱图像各位置上的光束进行随机遮挡,随机遮挡后的光谱图像的光束经过第二带通滤波器(33)的滤波,再由第二中继透镜组(34)传递到第二棱镜组(35)产生色散,色散后的光谱图像的光束照射到第二阵列传感器(36)上,得到第二路的混叠的光谱图像X2传输给图像重构处理器(4);
所述图像重构处理器(4),根据输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构出原光谱图像X。
2.根据权利要求1所述的基于压缩感知的双通道多光谱视频成像仪,其特征在于:第一编码模板(22)和第二编码模板(32),是由通光和不通光的大小相同的方格组成的矩形平面板,通光方格编码为1,不通光方格为遮光板,编码为0;第一编码模板(22)的每一方格的编码随机设定;第二编码模板(32)的每一方格的编码与第一编码模板(22)的相反,实现对光谱图像的每一位置的图像信息的互补编码,保证对光谱图像信息采样的完整性。
3.一种基于压缩感知的双通道多光谱视频成像方法,包括如下步骤:
(1)将原光谱图像的光束分成两束,分别进入两个光路通道;
(2)获取光谱混叠图像X1
(2a)在第一光路通道内对进入该通道内的光束聚焦成像,获得光谱图像;
(2b)对光谱图像进行随机编码,即将光谱图像上的每一位置上的光束随机遮挡,被遮挡的位置编码为0,没有被遮挡的位置编码为1;
(2c)对编码后的光谱图像进行滤波,滤除需要重构的带宽以外的光谱图像的光束;
(2d)对光谱图像各光谱维的图像在空间维的方向上进行搬移,即使光谱图像的光束发生色散,实现每一光谱维图像之间相对位置的变化;
(2e)由阵列传感器获取搬移后的光谱图像每一位置光束的光量,得到第一路混叠的光谱图像X1
(3)获取光谱混叠图像X2
(3a)对进入第二光路通道的光束聚焦成像,获得光谱图像;
(3b)对光谱图像进行与第一光路通道内的光谱图像互补的编码,即对第二通道内的光谱图像上的每一位置上光束进行相应的遮挡,使其与第一光路通道内光谱图像同一位置上的遮挡状态相反;
(3c)对互补编码后的光谱图像的光束进行滤波,滤除需要重构的带宽以外的光谱图像的光束;
(3d)对光谱图像各光谱维的图像在空间维的方向上进行搬移,即光谱图像的光束发生色散,实现每一光谱维图像之间相对位置的变化;
(3e)由阵列传感器获取搬移后的光谱图像每一位置光束的光量,得到第二路混叠的光谱图像X2
(4)根据上述得到的第一路混叠光谱图像X1和第二路混叠光谱图像X2,利用非线性的优化方法重构原光谱图像X;
(5)重复步骤(1)到(4)对同一场景进行多次光谱成像,获得该场景在不同时刻上的光谱图像,形成多光谱视频。
4.根据权利要求3所述的基于压缩感知的双通道多光谱视频成像方法,其中步骤(2d)和步骤(3d)所述的对光谱图像各光谱维的图像在空间维的方向上进行搬移,是将棱镜组放在光谱图像光束的传播路线上,使不同光谱维图像光束通过棱镜,在到达阵列传感器时产生不同距离的偏移,实现各光谱维图像之间相对位置的变化。
5.根据权利要求3所述的基于压缩感知的双通道多光谱视频成像方法,其中步骤(4)所述的用非线性的优化方法重构原光谱图像X,按如下步骤进行:
(1)将输入的第一路混叠光谱图像X1和第二路混叠光谱图像X2在平面空间上连接在一起,得到一个总的混叠光谱图像Y:
Y=[X1,X2]=[A1X,A2X]=AX
其中,A1,A2为两个线性算子,A1X,A2X分别表示第一光路通道和第二光路通道对光谱图像X的操作结果;A=[A1,A2]表示整个观测部分的线性函数算子,AX表示整个观测部分对光谱图像的操作结果;
(2)设ψ为原光谱图像X稀疏域的一个正交基,则原光谱图像X在基ψ上的表示系数Φ是稀疏的,即Φ=ψTX=ψ-1X;
(3)设定min||ψT|0为优化求解的目标函数,Y=AX为约束条件,采用非线性优化方法求解下式,为对原光谱图像X的逼近值
Figure FDA00001758837300031
X ~ = arg min | | Ψ T X | | 0 s . tY = AX
其中,||ψTX||0表示原光谱图像X在稀疏域上的表示系数Φ的l0范数;argmin表示取最小值;s.tY=AX表示约束条件为Y=AX。
CN201210193244.7A 2012-06-13 2012-06-13 基于压缩感知的双通道多光谱视频成像仪及成像方法 Active CN102706450B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210193244.7A CN102706450B (zh) 2012-06-13 2012-06-13 基于压缩感知的双通道多光谱视频成像仪及成像方法
PCT/CN2013/077067 WO2013185589A1 (zh) 2012-06-13 2013-06-09 基于压缩感知的双通道多光谱视频成像仪及成像方法
US14/407,782 US9851252B2 (en) 2012-06-13 2013-06-09 Compressive sensing-based multispectral video imager with double channels and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210193244.7A CN102706450B (zh) 2012-06-13 2012-06-13 基于压缩感知的双通道多光谱视频成像仪及成像方法

Publications (2)

Publication Number Publication Date
CN102706450A true CN102706450A (zh) 2012-10-03
CN102706450B CN102706450B (zh) 2014-03-12

Family

ID=46899400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210193244.7A Active CN102706450B (zh) 2012-06-13 2012-06-13 基于压缩感知的双通道多光谱视频成像仪及成像方法

Country Status (3)

Country Link
US (1) US9851252B2 (zh)
CN (1) CN102706450B (zh)
WO (1) WO2013185589A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103148942A (zh) * 2013-03-11 2013-06-12 南京理工大学 基于反卷积的双光路光谱测量装置
WO2013185589A1 (zh) * 2012-06-13 2013-12-19 西安电子科技大学 基于压缩感知的双通道多光谱视频成像仪及成像方法
CN103983355A (zh) * 2014-05-27 2014-08-13 西安电子科技大学 基于全色成像的压缩光谱成像系统及成像方法
CN104121990A (zh) * 2014-07-22 2014-10-29 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
CN104154998A (zh) * 2014-08-15 2014-11-19 中国科学院上海技术物理研究所 一种基于压缩感知的计算多光谱成像图谱的重构方法
CN104457987A (zh) * 2014-11-25 2015-03-25 西安应用光学研究所 棱镜分光多路复用多光谱成像装置
CN105021280A (zh) * 2015-08-13 2015-11-04 西安电子科技大学 基于全色和压缩光谱成像的图像超分辨率系统及方法
CN105758524A (zh) * 2016-03-29 2016-07-13 西安电子科技大学 基于全通单模板互补采样的光谱相机及成像方法
CN105791640A (zh) * 2015-01-08 2016-07-20 松下知识产权经营株式会社 摄像装置
CN107846592A (zh) * 2017-10-18 2018-03-27 中国科学院计算技术研究所 压缩感知图像的采集重建方法和系统
CN109073357A (zh) * 2016-02-26 2018-12-21 加利福尼亚大学董事会 滤波器阵列重构光谱测定
CN110793632A (zh) * 2019-10-30 2020-02-14 南京大学 一种用于火焰拍摄的高速高精度光谱视频系统及方法
CN115002466A (zh) * 2022-06-14 2022-09-02 北京理工大学 一种透射式双通道压缩成像方法及系统
CN115100052A (zh) * 2022-06-14 2022-09-23 北京理工大学 一种宽谱段双通道压缩成像方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178232B1 (en) * 2014-02-10 2019-01-08 Creative Empowering Solutions, LLC Method and apparatus for navigating an automated telephone system
EP3378040A4 (en) * 2015-11-20 2020-01-22 Integrated Dynamic Electron Solutions, Inc. TEMPORAL COMPRESSION DETECTION SYSTEMS
CN108965736A (zh) * 2018-09-28 2018-12-07 中国科学院长春光学精密机械与物理研究所 一种亚像素级超分辨成像方法、装置、设备、系统及介质
CN109459779B (zh) * 2019-01-08 2023-08-18 中国工程物理研究院激光聚变研究中心 一种激光内爆诊断系统
CN110632002A (zh) * 2019-09-30 2019-12-31 中国科学院西安光学精密机械研究所 一种基于压缩感知的孔径编码光谱探测装置
CN112504455A (zh) * 2020-12-07 2021-03-16 中国人民解放军国防科技大学 压缩编码光谱成像系统的光谱定标方法和装置
CN115103197B (zh) * 2022-06-14 2024-06-04 北京理工大学 一种强度编码型宽谱段双通道压缩成像方法及系统
CN115103198B (zh) * 2022-06-14 2024-06-04 北京理工大学 一种具有实出瞳的强度编码型双通道压缩成像方法及系统
CN115052091B (zh) * 2022-06-14 2023-05-09 北京理工大学 一种基于晶体线偏器的透射式双通道压缩成像方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315371B2 (en) * 2004-01-23 2008-01-01 P&P Optica Inc. Multi-channel spectrum analyzer
CN101349591A (zh) * 2008-08-29 2009-01-21 北京理工大学 可重构、分布式多光谱成像系统
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013691B2 (en) * 2012-01-29 2015-04-21 Ramot At Tel-Aviv University Snapshot spectral imaging based on digital cameras
CN102706449B (zh) * 2012-05-24 2014-03-19 西安电子科技大学 基于压缩感知的双通道遥感光谱成像系统和成像方法
CN102706450B (zh) * 2012-06-13 2014-03-12 西安电子科技大学 基于压缩感知的双通道多光谱视频成像仪及成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315371B2 (en) * 2004-01-23 2008-01-01 P&P Optica Inc. Multi-channel spectrum analyzer
CN101349591A (zh) * 2008-08-29 2009-01-21 北京理工大学 可重构、分布式多光谱成像系统
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王伟伟等: "基于压缩感知的双通道SAR地面运动目标检测方法研究", 《电子与信息学报》, vol. 34, no. 3, 31 March 2012 (2012-03-31), pages 588 - 592 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185589A1 (zh) * 2012-06-13 2013-12-19 西安电子科技大学 基于压缩感知的双通道多光谱视频成像仪及成像方法
US9851252B2 (en) 2012-06-13 2017-12-26 Xidian University Compressive sensing-based multispectral video imager with double channels and imaging method
CN103148942B (zh) * 2013-03-11 2014-09-17 南京理工大学 基于反卷积的双光路光谱测量装置
CN103148942A (zh) * 2013-03-11 2013-06-12 南京理工大学 基于反卷积的双光路光谱测量装置
CN103983355B (zh) * 2014-05-27 2016-01-20 西安电子科技大学 基于全色成像的压缩光谱成像系统及成像方法
CN103983355A (zh) * 2014-05-27 2014-08-13 西安电子科技大学 基于全色成像的压缩光谱成像系统及成像方法
WO2016011675A1 (zh) * 2014-07-22 2016-01-28 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
US10136078B2 (en) 2014-07-22 2018-11-20 Shanghai Institute Of Optics And Fine Mechanics, Chinese Academy Of Sciences Random grating based compressive sensing wideband hyperspectral imaging system
CN104121990B (zh) * 2014-07-22 2016-05-11 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
CN104121990A (zh) * 2014-07-22 2014-10-29 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
CN104154998A (zh) * 2014-08-15 2014-11-19 中国科学院上海技术物理研究所 一种基于压缩感知的计算多光谱成像图谱的重构方法
CN104457987A (zh) * 2014-11-25 2015-03-25 西安应用光学研究所 棱镜分光多路复用多光谱成像装置
CN104457987B (zh) * 2014-11-25 2016-08-24 西安应用光学研究所 棱镜分光多路复用多光谱成像装置
CN105791640A (zh) * 2015-01-08 2016-07-20 松下知识产权经营株式会社 摄像装置
CN105791640B (zh) * 2015-01-08 2020-07-10 松下知识产权经营株式会社 摄像装置
CN105021280A (zh) * 2015-08-13 2015-11-04 西安电子科技大学 基于全色和压缩光谱成像的图像超分辨率系统及方法
CN109073357A (zh) * 2016-02-26 2018-12-21 加利福尼亚大学董事会 滤波器阵列重构光谱测定
CN109073357B (zh) * 2016-02-26 2021-11-12 加利福尼亚大学董事会 滤波器阵列重构光谱测定
CN105758524A (zh) * 2016-03-29 2016-07-13 西安电子科技大学 基于全通单模板互补采样的光谱相机及成像方法
CN107846592A (zh) * 2017-10-18 2018-03-27 中国科学院计算技术研究所 压缩感知图像的采集重建方法和系统
CN110793632A (zh) * 2019-10-30 2020-02-14 南京大学 一种用于火焰拍摄的高速高精度光谱视频系统及方法
CN110793632B (zh) * 2019-10-30 2021-06-22 南京大学 一种用于火焰拍摄的高速高精度光谱视频系统及方法
CN115002466A (zh) * 2022-06-14 2022-09-02 北京理工大学 一种透射式双通道压缩成像方法及系统
CN115100052A (zh) * 2022-06-14 2022-09-23 北京理工大学 一种宽谱段双通道压缩成像方法及系统
CN115002466B (zh) * 2022-06-14 2024-06-04 北京理工大学 一种透射式双通道压缩成像方法及系统
CN115100052B (zh) * 2022-06-14 2024-06-07 北京理工大学 一种宽谱段双通道压缩成像方法及系统

Also Published As

Publication number Publication date
CN102706450B (zh) 2014-03-12
US9851252B2 (en) 2017-12-26
WO2013185589A1 (zh) 2013-12-19
US20150153227A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
CN102706450B (zh) 基于压缩感知的双通道多光谱视频成像仪及成像方法
CN102706449B (zh) 基于压缩感知的双通道遥感光谱成像系统和成像方法
Rani et al. A systematic review of compressive sensing: Concepts, implementations and applications
CN104154998B (zh) 一种基于压缩感知的计算多光谱成像图谱的重构方法
CN103983355B (zh) 基于全色成像的压缩光谱成像系统及成像方法
CN105451024B (zh) 一种采用压缩感知的数字全息图编码传输方法
CN108955882B (zh) 基于液晶高光谱计算成像系统的三维数据重构方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN204788661U (zh) 基于压缩感知的计算多光谱成像系统
Nagesh et al. Compressive imaging of color images
CN107064005B (zh) 一种高光谱光场的快照式成像系统以及重建算法
CN109741407A (zh) 一种基于卷积神经网络的光谱成像系统的高质量重构方法
US20230106939A1 (en) Light field image processing method, light field image encoder and decoder, and storage medium
CN115561182A (zh) 一种基于先验图像引导的快照式光谱成像系统重构方法
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN115358929B (zh) 压缩图像超分方法、图像压缩方法及系统
Arguello et al. Code aperture design for compressive spectral imaging
Zhao et al. Super resolution imaging based on a dynamic single pixel camera
CN105021280A (zh) 基于全色和压缩光谱成像的图像超分辨率系统及方法
CN109682476B (zh) 一种利用自适应编码孔径进行压缩高光谱成像的方法
CN106441577A (zh) 基于随机投影的协同编码高光谱成像系统及图像重构方法
CN110736539B (zh) 一种基于压缩感知的凝视型光谱成像系统
Nguyen et al. Multi-mask camera model for compressed acquisition of light fields
CN110191344B (zh) 一种光场图像智能编码方法
CN103986936A (zh) 一种视频压缩采集系统及其采集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Shi Guangming

Inventor after: Wang Lizhi

Inventor after: Liu Danhua

Inventor after: Gao Dahua

Inventor after: Li Guo

Inventor after: Liu Yang

Inventor before: Liu Danhua

Inventor before: Li Guo

Inventor before: Shi Guangming

Inventor before: Gao Dahua

Inventor before: Wang Lizhi

Inventor before: Liu Yang

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LIU DANHUA LI GUO SHI GUANGMING GAO DAHUA WANG LIZHI LIU YANG TO: SHI GUANGMING WANG LIZHI LIU DANHUA GAO DAHUA LI GUO LIU YANG