CN110880162B - 基于深度学习的快照光谱深度联合成像方法及系统 - Google Patents

基于深度学习的快照光谱深度联合成像方法及系统 Download PDF

Info

Publication number
CN110880162B
CN110880162B CN201911155395.1A CN201911155395A CN110880162B CN 110880162 B CN110880162 B CN 110880162B CN 201911155395 A CN201911155395 A CN 201911155395A CN 110880162 B CN110880162 B CN 110880162B
Authority
CN
China
Prior art keywords
spectral
image
rgb
camera
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911155395.1A
Other languages
English (en)
Other versions
CN110880162A (zh
Inventor
熊志伟
姚明德
张越一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201911155395.1A priority Critical patent/CN110880162B/zh
Publication of CN110880162A publication Critical patent/CN110880162A/zh
Application granted granted Critical
Publication of CN110880162B publication Critical patent/CN110880162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的快照光谱深度联合成像方法及系统，利用不同视角拍摄的低空间分辨率光谱图像和高空间分辨率RGB图像之间的互补性，在不牺牲时间分辨率的条件下，利用深度学习算法重建出场景的高空间分辨率光谱图像和深度图像。此外，获取光谱图像和深度图像，即获取了目标场景的反射特性和几何特性。由此特性可以建立场景的基本描述，进而可以对目标场景进行三维重建，光线渲染等操作。除此之外，本发明的成像系统体积紧凑，标定简单，为未来光谱深度成像在手机或无人机等小型设备上的应用提供了可行的解决思路。

Description

基于深度学习的快照光谱深度联合成像方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的快照光谱深度联合成像方法及系统。
背景技术
光谱信息反映出物体以及场景的光谱维度的属性，而深度信息则反映出物体的几何特征，能够同时获取包括光谱和深度在内的更多维度的图像信息一直是人努力的方向。由于光谱图像成像原理复杂，获取光谱图像往往是要以牺牲图像空间分辨率或者牺牲拍摄时间作为代价，而要在不牺牲空间分辨率的光谱图像上重建物体的三维信息则更加困难。
近些年，由于光学仪器技术的进步和计算能力的增长，光谱成像和深度成像领域得到了飞速发展。在不断尝试单独改进成像原理与提升单传感器性能等方面提升成像效果之外，对于多传感器融合的研究也在同步推进。在光谱成像领域，基于多传感器融合方案的多光谱成像系统也取得了优于单传感器成像的效果。为了弥补目前光谱相机成像空间分辨率较低的缺点，普遍的做法是在光谱相机旁加上一路具有高空间分辨率的RGB相机或灰度相机。通过高空间分辨率信息的引入去增强光谱信息缺失的空间纹理细节。而为了在获取光谱图像的同时获取深度图像，普遍采取的方式是将三维扫描仪与光谱相机进行组合。
为了同时获取光谱图像与深度图像，耶鲁大学的Min.H.Kim设计出一套高精度三维光谱重建系统(M HKim,T AHarvey,D S Kittle,et al.3D imaging spectroscopy formeasuring hyperspectral patterns on solid objects.ACM Transactions onGraphics(TOG),31(4):38,2012.)，该系统对压缩编码孔径光谱成像系统(CASSI)进行了改进，加入雷达测距系统组成了三维光谱成像系统，以获得更高分辨率的光谱图像和深度图像。但此系统拍摄一个视角的场景长达30分钟，而后期重建时间则为2个小时，且此系统需要繁琐的标定和校正，限制了此系统在动态场景下的应用。为了解决深度光谱成像的在动态场景下应用的问题，王立志等人提出了多模态双目立体深度光谱成像系统(LizhiWang,ZhiweiXiong,Guangming Shi,Wenjun Zeng,Feng Wu,"Simultaneous depth andspectral imaging with a cross-modal stereo system",IEEE Transactions onCircuits and Systems for Video Technology(T-CSVT)28(3):812-817,2018.)，该系统使用CASSI和灰度相机组成混合相机系统，利用迭代优化的方式使用灰度图像辅助重建光谱图像，并同时获取深度图像，但此系统存在相机系统复杂笨重，光谱重建图像分辨率不高等问题。利用快照式光谱相机和3D扫描仪(SHeist,CZhang,KReichwald,et al.5Dhyperspectral imaging:fast and accurate measurement of surface shape andspectral characteristics using structured light.Optics Express,26(18):23366-23379,2018.)可以快速获取光谱图像和深度图像，但该系统只能采集较低空间分辨率的光谱图像和深度图像。
对于具有高空间分辨率应用场景下的需求现有的方案，不能达到在动态场景下采集高分辨率(1080p)光谱图像和深度图像的要求。
发明内容
本发明的目的是提供一种基于深度学习的快照光谱深度联合成像方法及系统，能够同时采集动态场景的光谱和深度信息，并重建出目标场景高分辨率(1080p)光谱和深度信息。
本发明的目的是通过以下技术方案实现的：
一种基于深度学习的快照光谱深度联合成像方法，包括：
通过呈双目配置的快照式光谱相机与RGB相机，各自捕获目标场景的光谱图像A1与RGB图像B1；
通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息；
利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像。
一种基于深度学习的快照光谱深度联合成像系统，用于前述的方法，该系统包括：观测模块和图像重建处理模块；
所述观测模块包括：呈双目配置的快照式光谱相机与RGB相机；其中：通过快照式光谱相机捕获目标场景的光谱图像A1，以及通过RGB相机捕获目标场景的RGB图像B1；
图像重建处理模块，用于通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息；利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像。
由上述本发明提供的技术方案可以看出，利用不同视角拍摄的低空间分辨率光谱图像和高空间分辨率RGB图像之间的互补性，在不牺牲时间分辨率的条件下，利用深度学习算法重建出场景的高空间分辨率光谱图像和深度图像。此外，获取高分辨率(1080p)的光谱图像和深度图像，即获取了目标场景的反射特性和几何特性。由此特性可以建立场景的基本描述，进而可以对目标场景进行三维重建，光线渲染等操作。除此之外，本发明的成像系统体积紧凑，标定简单，为未来光谱深度成像在手机或无人机等小型设备上的应用提供了可行的解决思路。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于深度学习的快照光谱深度联合成像方法的流程图；
图2为本发明实施例提供的一种光谱图像超分辨网络的示意图；
图3为本发明实施例提供的一种光谱图像细节增强神经网络的示意图；
图4为本发明实施例提供的一种基于深度学习的快照光谱深度联合成像系统的示意图；
图5为本发明实施例提供的本发明方案在实物实验上的视觉效果示意图；
图6为本发明实施例提供的本发明方案的光谱评估结果示意图；
图7为本发明实施例提供的本发明方案的深度评估结果示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于深度学习的快照光谱深度联合成像方法，它涉及高分辨率(1080p)光谱和深度图像数据的采集重建，实现了能够同时采集动态场景的光谱和深度信息，在保证时间分辨率的前提下，利用深度学习算法重建出目标场景高分辨率(1080p)光谱和深度信息。
如图1所示，其主要包括如下步骤：
步骤1、通过呈双目配置的快照式光谱相机与RGB相机，各自捕获目标场景的光谱图像A1与RGB图像B1。
本发明实施例中，利用现有的快照式光谱相机，在原有的分辨率光谱观测的基础上增加了RGB相机观测，构成呈双目配置的快照式光谱相机与RGB相机来捕获目标场景(Scene)内容。
采集到的光谱图像(LR Spectral Cube)大小为W1×H1×λ，其中，W1与H1分别为光谱图像的宽与高，W1×H1是光谱图像的空间分辨率，λ是光谱通道数目；采集的时间最高达到170fps。
采集到的RGB图像(HR RGB)大小为W2×H2，其中，W2与H2分别为RGB图像的宽与高，W2×H2是RGB图像的空间分辨率，且W2×H2＞W1×H1；采集速度最高达到50fps。在本实施例中，RGB相机采集到的图像空间分辨率在长宽上是1920x1080，光谱相机采集到的图像的空间分辨率长宽是512x256。
步骤2、通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息(也即描述场景深度信息的图像)。
本步骤主要分为如下几个阶段：
1)训练好的光谱图像超分辨网络，通过超分辨率重建(Super-Resolution)将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2(SR Spectral Cube)。
图2示意性的给出了光谱图像超分辨网络的结构，主要包括对输入低分辨率(512×256)光谱图像(LR SpectralCube)的上采样操作(Upsample)以及之后的神经网络残差学习，神经网络残差学习主要通过一系列卷积层(Conv)实现光谱图像超分辨网络最终输出与上采样后的光谱图像(UpsampleCube)同样空间分辨率的光谱图像。该光谱图像超分辨模型使用三维光谱数据块作为输入，更多考虑光谱图像光谱维度之间的相关性，使用的残差学习也减轻了网络的训练代价，提升了网络的性能，使得网络输出相比于插值上采样拥有更丰富的纹理信息。
本发明实施例中，光谱图像超分辨网络的训练方式如下：
使用空间分辨率和光谱分辨率满足设定要求的光谱数据集(通常选择空间分辨率和光谱分辨率，具体大小可根据实际情况设定)，按照快照式光谱相机的光谱响应曲线合成光谱数据，并对合成的光谱数据进行空间下采样，来模拟实际光谱图像的空间降质过程；随后将通过空间下采样模拟得到的降质光谱图像与最初按照光谱曲线合成的光谱数据送入光谱图像超分辨网络进行有监督训练，采用最小均方误差作为目标损失函数，训练得到光谱图像超分辨网络的参数模型。
在实物系统中使用此网络时，需要根据实际系统的配置决定是否在上采样层后增加裁剪层，对上采样后的光谱图像进行裁剪。在本实施例中，光谱图像首先经过上采样4.45倍到2278*1139的空间分辨率，然后裁剪到1920*1080(与RGB图像的空间分辨率一致)。此上采样倍数是由相机棋盘格标定得到的。
2)通过RGB相机的响应曲线，将光谱图像A2合成为RGB图像B2(RGB Synthesis)。
Figure BDA0002284669090000051
其中，F表示合成的RGB图像B2，i∈{R,G,B}；I表示光谱图像A2，λ为光谱通道数目；c表示RGB相机的响应曲线，ci(k)代表RGB响应曲线的第i个通道(i∈{R,G,B})的曲线，在光谱相机第k个通道所在波长处的响应值；(x,y)表示空间坐标。
3)参照RGB图像B2对RGB图像B1进行颜色迁移(Color Transfer)，使颜色统计特性与RGB图像B2得到的RGB图像的色彩统计特性一致，以有利于接下来的立体匹配。
4)使用在已有立体匹配数据集上训练好的立体匹配网络进行立体匹配。将颜色迁移得到RGB图像B3与RGB图像B2送入立体匹配框架中，得到目标场景的立体视差图(Disparity)，进而可以利用相机系统的参数信息恢复出目标场景的深度信息。
本领域技术人员可以理解，立体匹配网络可以通过常规技术实现，相关训练方式也可参见常规技术，不再赘述。
步骤3、利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像。
本步骤分为如下几个阶段：
1)利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4(AlignedRGB)。RGB图像B4与步骤2得到的光谱图像A2在空间上是逐像素对齐的。
本领域技术人员可以理解，图像修复的方法可通过常规技术实现。
2)将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像(HR Spectral Cube)。
图3示意性的给出了光谱图像细节增强神经网络的结构，其主要包括：网络入口处的两个基于注意力机制的残差网络(Attention resblock Network)，各自输入RGB图像B4、光谱图像A2；这两个基于注意力机制的残差网络(Attention resblock Network)的输出通过拼接操作(concat)后经卷积层(Conv)输入至网络出口处的Attention resblockNetwork，输出重建的光谱图像。三个基于注意力机制的残差网络(Attention resblockNetwork)是完全相同的，图3右侧示出了其内部的结构，输入数据P1经过两个卷积层后得到数据P2(两个卷积层中连接有Relu激活函数)，再通过全局池化层(Global Pooling)、两个卷积层(两个卷积层中连接有Relu激活函数)与Sigmoid激活函数后与数据P2相乘，之后与输入数据P1相加，操作结果即为最终输出数据。基于注意力机制的结构能够有效提取各中间层输出的关键信息，残差结构的使用可以有效减轻网络的学习负担，更好地增强网络的表达能力。
本发明实施例中，光谱图像细节增强神经网络的训练，方式如下：
利用快照式光谱相机的光谱响应曲线ICVL数据集合成光谱数据，将合成的光谱数据进行两种不同的处理；第一种处理方式为按照RGB相机的光谱响应曲线合成为RGB图像；第二种处理方式为首先进行空间下采样，随后将下采样后的光谱图像送入训练好的光谱图像超分辨网络，得到与RGB图像相同分辨率的光谱图像；
将上述两种方式处理得到的RGB图像与光谱图像同时送入光谱图像细节增强网络，将合成的光谱数据作为监督信号，使用最小均方误差作为目标损失函数，使训练得到网络模型能够从自动RGB图像中学习到目标场景的纹理信息并辅助光谱图像增强纹理信息(RGB-guided Enhancement)。
本发明实施例中，高、低分辨率是一个相对性的概念，即相对于光谱图像而言，RGB图像的分辨率较高，因而可以简称为高分辨率RGB图像；同样的，相对于RGB图像而言，光谱图像的分辨率较低，因而可以简称为低分辨率光谱图像；最终重建得到的高分辨率光谱图像也就表示其分辨率与RGB图像分辨率相同。
值得注意的是，本发明实施例上述方案中所给出的分辨率的具体数值均为举例，并非构成限制，在实际应用中，分辨率的具体数值可由技术人员根据实际情况来选定。
本发明实施例上述方案，利用呈双目配置的快照式光谱相机与RGB相机、以及相关的神经网络，能快速重建出具有高空间分辨率的光谱图像和深度图像。相比于现有方法，本发明在时间分辨率，空间分辨率，光谱分辨率以及系统的实用性上达到了综合最优的效果。
本发明另一实施例还提供一种基于深度学习的快照光谱深度联合成像系统，该系统主要用来实现前述实施例所述的方法，如图4所示，该系统主要包括：观测模块和图像重建处理模块；
所述观测模块包括：呈双目配置的快照式光谱相机与RGB相机；其中：通过快照式光谱相机捕获目标场景的光谱图像A1，以及通过RGB相机捕获目标场景的RGB图像B1；
图像重建处理模块，用于通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息；利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像。
光谱图像超分辨网络的训练方式如下：
使用空间分辨率和光谱分辨率满足设定要求的光谱数据集，按照快照式光谱相机的光谱响应曲线合成光谱数据，并对合成的光谱数据进行空间下采样，来模拟实际光谱图像的空间降质过程；随后将通过空间下采样模拟得到的降质光谱图像与最初按照光谱曲线合成的光谱数据送入光谱图像超分辨网络进行有监督训练，采用最小均方误差作为目标损失函数，训练得到光谱图像超分辨网络的参数模型。
光谱图像A2合成为RGB图像B2包括：
通过RGB相机的响应曲线，将光谱图像A2合成为RGB图像B2，表示为：
Figure BDA0002284669090000081
其中，F表示合成的RGB图像B2，i∈{R,G,B}；I表示光谱图像A2，λ为光谱通道数目；c表示RGB相机的响应曲线，ci(k)代表RGB响应曲线的第i个通道(i∈{R,G,B})的曲线，在光谱相机第k个通道所在波长处的响应值；(x,y)表示空间坐标。
光谱图像细节增强神经网络的训练方式如下：
利用快照式光谱相机的光谱响应曲线合成光谱数据，将合成的光谱数据分为两部分处理；第一部分按照RGB相机的光谱响应曲线合成为RGB图像；第二部分进行空间下采样，随后送入训练好的光谱图像超分辨网络，得到与RGB图像相同分辨率的光谱图像；
将上述两部分处理得到的RGB图像与光谱图像同时送入光谱图像细节增强网络，将没有经过下采样处理的光谱数据作为监督信号，使用最小均方误差作为目标损失函数，使训练得到网络模型能够从自动RGB图像中学习到目标场景的纹理信息并辅助光谱图像增强纹理。
参见图1与图4，所述快照式光谱相机包括：滤波透镜(Bandpass Filter)、第一定焦透镜(Camera Lens)以及光谱面阵探测器(FPI Detector)；滤波透镜实现对目标场景的反射光的带通滤波，定焦透镜位于滤波透镜的后端，实现对目标场景光线的汇聚以使图像汇聚于光谱面阵探测器上，光谱面阵探测器位于定焦透镜的后端，由基于法布里干涉的滤波阵列构成，用于观测马赛克布局的光谱图像。
参见图1与图4，所述RGB相机包括：第二定焦透镜(Camera Lens)和面阵观测器(RGB Detector)，面阵观测器位于第二定焦透镜后端，用于观测图像，获取目标场景的RGB信息。
为验证本发明的有效性，实施了一个仿真实验和三个实物实验。
首先在高光谱数据训练集上训练了光谱图像超分辨网络和光谱图像细节增强网络，然后在验证集上进行了数值指标和视觉指标的测试。数值指标评估分为两个部分，第一部分是对空间维度精度的评估，评价标准为PSNR：
Figure BDA0002284669090000091
其中x与x′分别为网络输出光谱图像与目标光谱图像(输出、输入光谱图像的相关参数是相同的，后文的光谱图像为二者的统称)；MaxValue为光谱图像所能取到的最大动态范围，H和W为光谱图像的高度和宽度，λ为光谱图像的光谱通道。
第二部分对光谱维度精度的评估，评价标准为RMSE：
Figure BDA0002284669090000092
仿真实验采用了ICVL数据集，重建结果如表1所示。在14个验证场景(即表1中左侧的BGU_1113～Sat_1157_1135)的平均结果(Average)中，光谱图像超分辨网络(SISR-Net)的PSNR比传统的双立方插值(Bicubic)算法高了1.97dB，RMSE高了19.36％，而光谱图像细节增强网络(EnhanceNet)比光谱图像超分辨网络(SISR-Net)的PSNR进一步提高了3.06dB，RMSE提高了24.42％。特别地，在使用视差图进行视角变换时没有遮挡的理想情况(Upperbound)下，本发明相比于双立方插值PSNR提升了21.68dB，RMSE提升了86.3％。
Figure BDA0002284669090000101
表1本发明在仿真实验上的算法性能
三个实物实验分别是评估最终重建的光谱图像的视觉效果，在标准色板上测量了重建的光谱图像的光谱精度，以及评估本发明测量的深度精度。
图5展示了本发明成像系统和重建算法在实物实验上的视觉效果。(a)部分中，第一行展示的是不同目标场景的重建的光谱图。第一行三个图像中两个方框的放大效果展示在第2～第4行中。第2～第4行分别对应于bicubic，SISR-Net和EnhanceNet的结果。可以看出，SISR-Net相比于bicubic具有更丰富的纹理，而EnhanceNet又比SISR-Net具有更丰富的纹理。第一行三个图左上角展的数字表示此处展示的是光谱图像某个通道的图像，此通道的波长为左上角展示的数字。(b)部分展示的是根据系统输出的深度图像(depth)重建出来的三维模型，从左到右展示的是从不同角度观察三维模型。
可以看出在纹理信息上，光谱图像没有在空间维度上出现传统插值常见的锯齿、模糊等现象，而是更好的恢复了纹理细节。在实物标准色板(为颜色评估常用的色板)上采用了光谱分辨率为1.5nm的光谱仪测量结果作为标准结果。
如图6所示，本发明恢复的光谱与标准结果之间的平均RMSE要小于3.5％。
对于深度精度的测量，在50—70mm的距离上摆放了三组平板，并根据恢复出的深度值拟合出平板的深度值，计算深度图各点与拟合出的平板深度值之间的RMSE。如图7所示，本发明能够在610mm的距离上达到小于2mm误差的精度，可以说明本发明具有较好的深度估计精度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于深度学习的快照光谱深度联合成像方法，其特征在于，包括：
通过呈双目配置的快照式光谱相机与RGB相机，各自捕获目标场景的光谱图像A1与RGB图像B1；
通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息；
利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像；
该方法还包括：光谱图像超分辨网络的训练，方式如下：
使用空间分辨率和光谱分辨率满足设定要求的光谱数据集，按照快照式光谱相机的光谱响应曲线合成光谱数据，并对合成的光谱数据进行空间下采样，来模拟实际光谱图像的空间降质过程；随后将通过空间下采样模拟得到的降质光谱图像与最初按照光谱曲线合成的光谱数据送入光谱图像超分辨网络进行有监督训练，采用最小均方误差作为目标损失函数，训练得到光谱图像超分辨网络的参数模型；
光谱图像A2合成为RGB图像B2包括：
通过RGB相机的响应曲线，将光谱图像A2合成为RGB图像B2，表示为：
Figure FDA0004059830600000011
其中，F表示合成的RGB图像B2，i∈{R,G,B}；I表示光谱图像A2，λ为光谱通道数目；c表示RGB相机的响应曲线，ci(k)代表RGB响应曲线的第i个通道的曲线，在光谱相机第k个通道所在波长处的响应值；(x,y)表示空间坐标。
2.根据权利要求1所述的一种基于深度学习的快照光谱深度联合成像方法，其特征在于，该方法还包括：光谱图像细节增强神经网络的训练，方式如下：
利用快照式光谱相机的光谱响应曲线合成光谱数据，将合成的光谱数据进行两种不同的处理；第一种处理方式为按照RGB相机的光谱响应曲线合成为RGB图像；第二种处理方式为进行空间下采样，随后将下采样后的光谱图像送入训练好的光谱图像超分辨网络，得到与RGB图像相同分辨率的光谱图像；
将上述两种方式处理得到的RGB图像与光谱图像同时送入光谱图像细节增强网络，将合成的光谱数据作为监督信号，使用最小均方误差作为目标损失函数，使训练得到网络模型能够从自动RGB图像中学习到目标场景的纹理信息并辅助光谱图像增强纹理。
3.一种基于深度学习的快照光谱深度联合成像系统，其特征在于，用于实现权利要求1-2任一项所述的方法，该系统包括：观测模块和图像重建处理模块；
所述观测模块包括：呈双目配置的快照式光谱相机与RGB相机；其中：通过快照式光谱相机捕获目标场景的光谱图像A1，以及通过RGB相机捕获目标场景的RGB图像B1；
图像重建处理模块，用于通过训练好的光谱图像超分辨网络，将光谱图像A1转换为与RGB图像B1具有相同分辨率的光谱图像A2，再将光谱图像A2合成为RGB图像B2；然后，参照RGB图像B2对RGB图像B1进行颜色迁移，再将颜色迁移得到RGB图像B3与RGB图像B2进行立体匹配，得到目标场景的立体视差图，从而恢复出目标场景的深度信息；利用目标场景的立体视差图将RGB图像B3变换到快照式光谱相机的视角上，同时使用图像修复的方法修补变换过程中产生的空洞，得到变换后的RGB图像B4；再将RGB图像B4与光谱图像A2输入至训练好的光谱图像细节增强神经网络，利用RGB图像中的纹理辅助重建出光谱图像；
光谱图像超分辨网络的训练方式如下：
使用空间分辨率和光谱分辨率满足设定要求的光谱数据集，按照快照式光谱相机的光谱响应曲线合成光谱数据，并对合成的光谱数据进行空间下采样，来模拟实际光谱图像的空间降质过程；随后将通过空间下采样模拟得到的降质光谱图像与最初按照光谱曲线合成的光谱数据送入光谱图像超分辨网络进行有监督训练，采用最小均方误差作为目标损失函数，训练得到光谱图像超分辨网络的参数模型；
光谱图像A2合成为RGB图像B2包括：
通过RGB相机的响应曲线，将光谱图像A2合成为RGB图像B2，表示为：
Figure FDA0004059830600000021
其中，F表示合成的RGB图像B2，i∈{R,G,B}；I表示光谱图像A2，λ为光谱通道数目；c表示RGB相机的响应曲线，ci(k)代表RGB响应曲线的第i个通道的曲线，在光谱相机第k个通道所在波长处的响应值；(x,y)表示空间坐标。
4.根据权利要求3所述的一种基于深度学习的快照光谱深度联合成像系统，其特征在于，光谱图像细节增强神经网络的训练方式如下：
利用快照式光谱相机的光谱响应曲线合成光谱数据，将合成的光谱数据进行两种不同的处理；第一种处理方式为按照RGB相机的光谱响应曲线合成为RGB图像；第二种处理方式为进行空间下采样，随后将下采样后的光谱图像送入训练好的光谱图像超分辨网络，得到与RGB图像相同分辨率的光谱图像；
将上述两种方式处理得到的RGB图像与光谱图像同时送入光谱图像细节增强网络，将合成的光谱数据作为监督信号，使用最小均方误差作为目标损失函数，使训练得到网络模型能够从自动RGB图像中学习到目标场景的纹理信息并辅助光谱图像增强纹理信息。
5.根据权利要求3～4任一项所述的一种基于深度学习的快照光谱深度联合成像系统，其特征在于，所述快照式光谱相机包括：滤波透镜、第一定焦透镜以及光谱面阵探测器；滤波透镜实现对目标场景的反射光的带通滤波，定焦透镜位于滤波透镜的后端，实现对目标场景光线的汇聚以使图像汇聚于光谱面阵探测器上，光谱面阵探测器位于定焦透镜的后端，由基于法布里干涉的滤波阵列构成，用于观测马赛克布局的光谱图像。
6.根据权利要求3～4任一项所述的一种基于深度学习的快照光谱深度联合成像系统，其特征在于，所述RGB相机包括：第二定焦透镜和面阵观测器，面阵观测器位于第二定焦透镜后端，用于观测图像，获取目标场景的RGB信息。
CN201911155395.1A 2019-11-22 2019-11-22 基于深度学习的快照光谱深度联合成像方法及系统 Active CN110880162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911155395.1A CN110880162B (zh) 2019-11-22 2019-11-22 基于深度学习的快照光谱深度联合成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911155395.1A CN110880162B (zh) 2019-11-22 2019-11-22 基于深度学习的快照光谱深度联合成像方法及系统

Publications (2)

Publication Number Publication Date
CN110880162A CN110880162A (zh) 2020-03-13
CN110880162B true CN110880162B (zh) 2023-03-10

Family

ID=69729271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911155395.1A Active CN110880162B (zh) 2019-11-22 2019-11-22 基于深度学习的快照光谱深度联合成像方法及系统

Country Status (1)

Country Link
CN (1) CN110880162B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626927B (zh) * 2020-04-09 2023-05-30 上海交通大学 采用视差约束的双目图像超分辨率方法、系统及装置
CN112235508B (zh) * 2020-10-14 2021-10-29 浙江大学 一种聚焦型光场相机系统的参数设计方法
CN113538243B (zh) * 2021-07-22 2023-04-07 西安电子科技大学 基于多视差注意力模块组合的超分辨图像重建方法
CN113781306B (zh) * 2021-09-09 2024-03-08 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN114241290A (zh) * 2021-12-20 2022-03-25 嘉兴市第一医院 用于边缘计算的室内场景理解方法、设备、介质及机器人
CN114485942B (zh) * 2022-02-16 2024-05-28 南京大学 一种高光谱配准方法及其成像系统
CN114882158B (zh) * 2022-05-31 2024-01-09 苏州浪潮智能科技有限公司 基于注意力机制的nerf优化的方法、装置、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN109146787A (zh) * 2018-08-15 2019-01-04 北京理工大学 一种基于插值的双相机光谱成像系统的实时重建方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US9008399B2 (en) * 2013-01-28 2015-04-14 Wisconsin Alumni Research Foundation System and method for joint reconstruction of spatial and spectral imaging data
CN105651384B (zh) * 2016-01-13 2018-01-16 南京大学 一种全光信息采集系统
US10861143B2 (en) * 2017-09-27 2020-12-08 Korea Advanced Institute Of Science And Technology Method and apparatus for reconstructing hyperspectral image using artificial intelligence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN109146787A (zh) * 2018-08-15 2019-01-04 北京理工大学 一种基于插值的双相机光谱成像系统的实时重建方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许蒙恩;谢宝陵;徐国明;.空间光谱联合稀疏表示的高光谱图像超分辨率方法.2018,(07),全文. *
邹长忠;黄旭昇;.基于深度残差卷积神经网络的高光谱图像超分辨方法.(05),全文. *

Also Published As

Publication number Publication date
CN110880162A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN110880162B (zh) 基于深度学习的快照光谱深度联合成像方法及系统
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
EP2202688B1 (en) System, method and apparatus for image processing and image format
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
Kwan et al. Pansharpening of Mastcam images
Guo et al. Deep spatial-angular regularization for light field imaging, denoising, and super-resolution
CN114757831B (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN104735351A (zh) 一种高分辨率光场图片重建方法与成像装置
CN113538243A (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN114868384A (zh) 用于图像处理的设备及方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Liu et al. Learning from EPI-volume-stack for light field image angular super-resolution
CN112767246B (zh) 光场图像多倍率空间超分辨方法及装置
CN117114987A (zh) 基于亚像素和梯度引导的光场图像超分辨率重建方法
CN116778091A (zh) 基于路径聚合的深度学习多视角立体三维重建算法
CN114972625A (zh) 一种基于rgb光谱超分辨技术的高光谱点云生成方法
CN112989593A (zh) 基于双相机的高光谱低秩张量融合计算成像方法
CN113971629A (zh) 图像恢复方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant