CN112805744B - 用于对多光谱图像去马赛克的系统和方法 - Google Patents

Abstract

本文描述了使用深度全色图像引导的残余内插的对多光谱图像进行去马赛克的系统和实施方式。公开了用于从多光谱滤波器阵列(MSFA)马赛克图像重构全分辨率全色图像的基于ResNet的深度学习模型的实施方式。在一个或多个实施方式中，将重构的深度全色图像(DPI)部署为引导，以使用双程引导残余内插方法来恢复全分辨率多光谱图像。实验结果表明，所公开的方法实施方式在定性和定量上都优于一些现有技术的传统的和深度学习的去马赛克方法。

Description

用于对多光谱图像去马赛克的系统和方法

技术领域

本公开总体上涉及用于图像处理的系统和方法。更具体地，本公开涉及用于对多光谱图像去马赛克的系统和方法。

背景技术

基于多光谱滤波器阵列(MSFA)的快照多光谱成像由于其尺寸和速度近来得到了普及。添加的光谱信息已使得其在广泛的应用领域(例如遥感和医学成像)中被使用。为了重建全分辨率多光谱图像，必须基于来自相邻像素的原始传感器测量来估计每个像素处的所有缺失光谱信息。这种恢复过程被称为去马赛克。

去马赛克是减少空间和频谱域中的伪影的最关键和最具挑战性的步骤之一。已经提出了用于MSFA相机的各种去马赛克方法，以不断地改进去马赛克的图像的质量。总是期望能够最小化在去马赛克的图像和原始高分辨率图像之间的误差。

因此，需要一种用于对多光谱图像进行去马赛克以提高性能的系统和方法。

发明内容

在第一方面，本公开提供了一种用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的计算机实施的方法，该方法包括：使用深度神经网络和多光谱图像重构多光谱图像的全分辨率深度全色图像(DPI)；对于多光谱图像的每个子频带，基于所重构的DPI执行至少一个引导残余内插来获得去马赛克的子频带图像；以及形成包括去马赛克的子频带图像的去马赛克的多光谱图像。

在第二方面，本公开提供了一种计算机实施的方法，用于使用一个或多个处理器来对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克，以导致包括以下的步骤被执行：使用深度神经网络和多光谱图像重构多光谱图像的全分辨率深度全色图像(DPI)；相对于子频带对DPI进行二次采样以获得二次采样的DPI；从子频带图像与二次采样的DPI的差值中获得二次采样的残余图像；使用DPI作为二次采样的残余图像上的引导内插中的引导图像来获得去马赛克的残余图像；以及将去马赛克的残余图像与DPI相加，以获得第一程去马赛克的子频带图像。

在第三方面，本公开提供了一种包括一个或多个指令序列的非暂时性计算机可读媒介或介质，一个或多个指令序列在由一个或多个处理器运行时导致对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的步骤被执行，所述步骤包括：使用深度神经网络将多光谱图像重构为全分辨率深度全色图像(DPI)；对于多光谱图像的每个子频带，基于所重构的DPI执行至少一个引导残余内插来获得去马赛克的子频带图像；以及形成包括去马赛克的子频带图像的去马赛克的多光谱图像。

在第四方面，本公开提供了一种用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的系统，该系统包括：至少一个处理器以及存储有指令的存储器，指令在由至少一个处理器运行时导致至少一个处理器执行根据第一方面的方法。

在第五方面，本公开提供了一种用于对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克的系统，该系统包括：至少一个处理器以及存储有指令的存储器，指令在由至少一个处理器运行时导致至少一个处理器执行根据第二方面的方法。

在第六方面，本公开提供了一种用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的计算机程序产品，其包括计算机程序，该计算机程序在被处理器执行时实现根据第一方面的方法。

在第七方面，本公开提供了一种用于对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克的计算机程序产品，其包括计算机程序，该计算机程序在被处理器执行时实现根据第二方面的方法

附图说明

将参考本发明的实施方式，其示例可以在附图中示出。这些附图旨在是说明性的，而不是限制性的。尽管在这些实施方式的上下文中总体性地描述了本发明，但是应当理解的是，这些实施方式并不旨在将本发明的范围限制于这些特定实施方式。图中的项目不是按比例绘制的。

图1描绘了根据本公开的实施方式的两步去马赛克系统的结构。

图2描绘了根据本公开的实施方式的深度全色图像网络(DPI-Net)的结构。

图3描绘了根据本公开的实施方式的用于从多光谱马赛克图像恢复全分辨率全色图像的过程。

图4描绘了根据本公开的实施方式的用于去马赛克的引导内插的过程。

图5图示性地描绘了根据本公开的实施方式的DPI引导的残余内插(DGRI)去马赛克过程。

图6描绘了根据本公开的实施方式的使用DPI作为引导图像的第一程引导残余内插的过程。

图7描绘了根据本公开的实施方式的使用第一程去马赛克图像作为引导图像的第二程引导残余内插的过程。

图8描绘了根据本公开的实施方式的计算设备/信息处理系统的简化框图。

具体实施方式

在以下描述中，出于解释目的，阐明具体细节以便提供对本公开的理解。然而，将对本领域的技术人员显而易见的是，可在没有这些细节的情况下实践实施方式。此外，本领域的技术人员将认识到，下文描述的本公开的实施方式可以以各种方式(例如过程、装置、系统、设备或方法)在有形的计算机可读介质上实施。

附图中示出的组件或模块是本发明的实施方式的示例性说明，并且意图避免使本公开不清楚。还应理解，在本论述的全文中，组件可描述为单独的功能单元(其可包括子单元)，但是本领域的技术人员将认识到，各种组件或其部分可划分成单独组件，或者可集成在一起(包括集成在单个的系统或组件内)。应注意，本文论述的功能或操作可实施为组件。组件可以以软件、硬件、或它们的组合实施。

此外，附图内的组件或系统之间的连接并不旨在限于直接连接。相反，在这些组件之间的数据可由中间组件修改、重新格式化、或以其它方式改变。另外，可使用另外或更少的连接。还应注意，术语“联接”、“连接”、或“通信地联接”应理解为包括直接连接、通过一个或多个中间设备来进行的间接连接、和无线连接。

在本说明书中对“一个实施方式”、“优选实施方式”、“实施方式”或“多个实施方式”的提及表示结合实施方式所描述的具体特征、结构、特性或功能包括在本发明的至少一个实施方式中，以及可包括在多于一个的实施方式中。另外，在本说明书的各个地方出现以上所提到的短语并不一定全都是指相同的实施方式或多个相同实施方式。

在本说明书的各个地方使用某些术语目的在于说明，并且不应被理解为限制。服务、功能或资源并不限于单个服务、单个功能或单个资源；这些术语的使用可指代相关服务、功能或资源的分布式或聚合的分组。图像可能是静止图像或来自视频。

术语“包括”、“包括有”、“包含”和“包含有”应理解为开放性的术语，并且其后任何列出内容都是示例，而不旨在限于所列项目。本文所使用的任何标题仅是为了组织目的，并且不应被用于限制说明书或权利要求的范围。本专利文献中提到的每个参考文献以其全文通过引用并入本文。

此外，本领域的技术人员应认识到：(1)某些步骤可以可选地执行；(2)步骤可不限于本文中所阐述的特定次序；(3)某些步骤可以以不同次序执行；以及(4)某些步骤可同时地进行。

A.引言

包括高光谱图像(HSI)和多光谱图像(MSI)的光谱成像为每个像素补充光谱域中的附加信息。所添加的光谱信息已使得其在广泛的应用领域(例如，遥感和医学成像)中被使用。为了在2D检测器上测量3D光谱数据立方体，已经开发了包括滤光轮和推扫式扫描仪的各种扫描技术。最近，多光谱滤波器阵列(MSFA)在快照光谱相机中越来越多地被用于在单次拍摄中捕获MSI。由MSFA相机捕获的图像在每个像素的特定波长处仅具有一个值，以设计的MSFA马赛克图案进行排序。为了重建全分辨率多光谱图像，必须基于来自相邻像素的原始传感器测量来估计每个像素处的所有缺失光谱信息。这种恢复过程被称为去马赛克。

已经提出了用于MSFA相机的各种去马赛克方法，以不断地改进去马赛克的图像的质量。对于具有主频带的MSFA，首先设计了一种基于二叉树的边缘感测(BTES)方法，以使用从主频带估计的信息来恢复次频带。另一个4×4的MSFA采用主导的绿色频带作为残余内插的指导，以实现MSI去马赛克。还设计了没有主导频带的MSFA图案，并且在该过程中出现了不同的去马赛克方法。PPID方法首先估计伪全色图像，并将其用作引导以平滑其与每个二次采样频带的差异。最近，一些人提出了一种基于深度学习的新的去马赛克模型，并且与PPID相比，实验显示了显著的改进。

在本专利文件中，公开了使用用于被称为深度全色图像引导残余内插(DGRI)的MSI的两步去马赛克过程的系统和方法实施方式。图1描绘了根据本公开的实施方式的两步去马赛克系统的结构。该系统包括深度神经网络110和DGRI去马赛克模块120。在一个或多个实施方式中，深度神经网络基于残余神经网络(ResNet)，并且在下文中可以被称为深度全色图像(DPI)模型或DPI-Net。DPI模型接收给定特定MSFA图案的原始马赛克图像105，并从原始马赛克图像重建DPI 115。在一个或多个实施方式中，DPI模型被训练为最小化其输出和从地面真值多光谱图像的所有频带平均的参考全色图像之间的误差。然后，DGRI去马赛克模块120使用引导残余内插从DPI 115恢复全分辨率MSI 125。在一个或多个实施方式中，DGRI去马赛克模块120使用双程去马赛克方法来恢复全分辨率MSI 125。第一程利用DPI作为引导来过滤每个二次采样频带和DPI之间的残余。第二程采用初始去马赛克的频带来进一步降低其自身和二次采样的马赛克图像之间的残余。在部分B中描述了所公开的过程的各种详细实施方式，并且在部分C中示出了实验结果。

B.用于去马赛克过程的实施方式

在该部分中，公开了去马赛克过程实施方式。

1.深色全色图像的实施方式

图2描绘了深度全色图像网络(DPI-Net)的结构，以及图3描绘了根据本公开的实施方式的用于使用DPI-Net从多光谱马赛克图像中恢复全分辨率全色图像的过程。DPI-Net从多光谱马赛克图像中恢复全分辨率全色图像，其中从MSFA滤波器中的一个采样每个像素。在一个或多个实施方式中，DPI-Net是卷积神经网络(CNN)，并且具有D的总深度。DPI-Net包括为投影层210的第一块、一个或多个中间块220、最终卷积层230和裁剪模块240。投影层210使用一组卷积和整流线性单元(Relu)滤波器将输入的2D马赛克图像205变换成多个通道215(305)。对于一个或多个中间块(D-2)220，每个块由卷积的两层222和224以及在块输入和块输出之间具有快捷连接226的参数化ReLUs(PReLUs)组成。在一个或多个实施方式中，批标准化(BN)不包括在整个DPI网络中，因为发现BN层不改善重构的性能。一个或多个中间块220生成中间输出228(310)，中间输出228经由最终卷积层230被投影到2D残余图像235(315)。从输入205中减除2D残余图像235以获得残余减除图像236(320)。然后使用裁剪模块240将残余减除图像236裁剪到最终输出245的有效像素值范围(325)，该最终输出245是全分辨率全色图像。

在一个或多个实施方式中，卷积的两层222和224以及PReLU可以具有或可以不具有相同的内核尺寸。例如，第一层222可以具有7×7的尺寸，而第二层可以具有5×5的尺寸。

在一个或多个实施方式中，DPI-Net是可以与深度去噪网络ResDNet具有某些相似性的残余网络(Kokkinos等人，Deep image demosaking using a cascade ofconvolutional residual denoising network(卷积残差去噪网络级联式深度图像去噪)，2018年欧洲计算机视觉会议(ECCV)议程，第317-333页)，因为马赛克图像可以是噪声全色图像的形式。然而，由于马赛克图像和频带平均全色图像之间的差异具有预定范围，因此本发明文件中的DPI-Net不需要噪声变量。另外，DPI-Net的实施方式可以采用被证明是有益的三个步骤。首先，内核的尺寸的重要性在层的深度之上。其次，可以在第一块210中使用特殊的填充方案，这是第一MSFA图案在每一侧上的有限滚动移位。在一个或多个实施方式中，特殊填充方案是具有与MSFA图案相同数量的填充行(向上和向下)和列(向左和向右)的循环填充。最后，在训练期间，在计算损耗函数之前，可以对全色图像的至少一个应用下面所示的锐化滤波器，因为它可以提供更好的梯度下降。

在一个或多个实施方式中，锐化滤波器应用于从DPI-Net重建的全色图像和参考全色图像两者。因此，代替计算从DPI-Net重建的全色图像或参考全色图像之间的损耗函数，两个锐化的全色图像用于损耗函数计算。

2.用于去马赛克的引导内插的实施方式

引导滤波是最近提出的具有优异的结构保持能力的方法。其将滤波近似为小窗口内的线性近似。如以下等式(1)所示，对于给定的窗口w，窗口内的任何像素(x,y)的滤波值被近似为原始值的线性变换：

其中G(x,y)是像素(x,y)处的引导图像值，并且是经滤波的图像值。使用线性回归方法，可以通过最小化窗口w中所有像素I(x,y)和/>之间的差异来估计两个系数a_w和b_w。

在一个或多个实施方式中，通过滑动窗口将滤波器应用于整个图像，使得每个像素对于(x,y)所属的所有窗口被估计多次。在一个或多个实施方式中，每个像素的线性变换系数在这些估计上被平均为

其中|w|是与窗口内的像素的数目相同的一个像素所处的窗口的数目。滤波后的图像可以计算为

对于上述引导的滤波，输入图像和引导图像具有相同数目的像素。在一个或多个实施方式中，为了将相同的方法应用于MSI去马赛克，需要使用如双线性内插的双采样方法对每个二次采样频带进行预处理。图4描绘了根据本公开的实施方式的用于去马赛克的引导内插的过程。在一个或多个实施方式中，对于所提出的MSI去马赛克，提出了一种用于估计a(x,y,λ)和b(x,y,λ)的新过程，其中λ是指MSFA中特定滤波器的波长。首先，假设MSFA图案是m×n，使用滑动窗口大小(m+1)×(n+1)(405)。滑动步数在相应的方向上分别为m和n。对于每个步骤，窗口覆盖来自每个二次采样频带中的稀疏网格的4个像素，并且仅使用这4个像素来估计系数a_w(λ)和b_w(λ)(410)。对于稀疏二次采样网格上的每个像素(x,y)，因为每个像素仅被4个窗口覆盖，可以使用下面等式(4)中所示的所有步骤的估计系数的平均值来获得线性内插系数a(x,y,λ)和b(x,y,λ)(415)。

使用双线性内插从稀疏网格或子集获得用于二次采样图像的全分辨率系数a(x,y,λ)和b(x,y,λ)(420)。引导内插的最后一步是使用引导图像I(x,y,λ)和获得的全分辨率系数从线性变换获得子频带的全分辨率图像(425)，显示为：

3.双程引导残余内插的实施方式

图5图示地描绘了根据本公开的实施方式的DPI引导残余内插(DGRI)去马赛克过程。DGRI去马赛克过程可以包括用于恢复全分辨率MSI的一个或多个去马赛克过程。图6描绘了根据本公开的实施方式的使用DPI作为用于引导残余内插的引导图像的第一程的过程。

如图5所示，输入多光谱马赛克图像502可以被分离为一组稀疏的二次采样或子频带图像(605)，每个对应于MSFA中的一个滤波器或子频带。使用DPI-Net 512从多光谱马赛克图像中恢复全分辨率深度全色图像(DPI)(610)。从恢复的DPI中获得二次采样的DPI图像514(615)。对于一个子频带图像504(使用二次采样的R带图像作为示例，子频带图像504的子频带对应于二次采样的DPI图像514)，首先从二次采样的DPI 514中减除子频带图像504，以获得稀疏残余图像516(620)。使用DPI作为引导图像515，将该稀疏残余图像516内插到全分辨率以获得初始去马赛克的残余图像517(625)，然后将该初始去马赛克的残余图像517加回到DPI以获得对应于R频带的第一程去马赛克图像523(630)。

在一个或多个实施方式中，可应用附加处理以进一步减少第一程去马赛克图像523与二次采样的马赛克图像之间的残余。图7描绘了根据本公开的实施方式的使用第一程去马赛克图像作为用于引导残余内插的引导图像的第二程。

在第二程中，对第一程去马赛克图像523进行二次采样，以获得二次采样的去马赛克图像524(705)。从二次采样的去马赛克图像524中减除原始子频带图像504，以获得第二程二次采样的R残余图像526(710)。使用第一程去马赛克图像523作为引导图像525，类似的引导内插方法被进一步应用于将第二程二次采样的R残余图像526内插至全分辨率，以获得第二程去马赛克的残余图像527(715)。将第二程的去马赛克残余527添加到第一程的去马赛克图像523，以获得最终的(第二程)去马赛克R图像530(720)。在一个或多个实施方式中，第二程是必要的，以在二次采样R频带的稀疏网格处最小化去马赛克图像和原始图像之间的差异。所有其它子频带可以遵循相同的过程来恢复在其它子频带处的去马赛克图像，并且因此可以获得完全去马赛克的MSI。

C.实验

应注意的是，这些实验和结果是通过举例说明的方式提供的，并且使用一个或多个具体实施方式在具体条件下进行；因此，无论是这些实验还是它们的结果都不应被用于限制本专利文件的公开范围。

在一个或多个实验设置中，为了评估所提出的过程的性能，采用最流行的峰值信噪比(PSNR)来表示多光谱图像I的质量。大小为m×n×w的MSI可以定义为I(x,y,λ_i)，其中x＝1,···,m；y＝1,···,n；以及i＝1,···,s.λ_i表示s频带多光谱图像中的波长。I(x,y)对应于图像中的像素(x,y)处的光谱反射率，其是s个元素的矢量，每个元素一个λ_i。为了定义图像质量度量，原始参考图像表示为I_r，以及由成像系统获取的测试图像表示为I_t。为了表征多光谱图像噪声，为每个像素计算均方根误差(RMSE)，然后对所有像素求平均。对于每个像素，RMSE(x,y)如下计算参考图像中的像素与测试图像中的相应像素之间的光谱响应的差：

然后，可以导出PSNR:

其中MAX_I是多光谱图像的最大可能像素值。

在一个或多个实验中，将各种多光谱数据组用于模型训练和测试。将所有数据组重采样至具有中心波长为λ_i∈{469,480,489,499,513,524,537,551,552,566,580,590,602,613,621,633}(nm)的16个频带。这些频带也是在现今市场上可得到的基于顶尖现成的MSFA的系统(即使用IMEC的MSFA技术的XIMEA的xiSpec相机)实现的配置。在本专利文献的实验中，所有图像都被转换为0到1之间的反射率值，并且当用于DPI训练和验证时被分割为128×128的补丁。

针对DPI模型训练，对每个16频带MSI补丁进行处理，以通过根据4×4MSFA图案对每个频带进行二次采样来生成马赛克图像作为网络输入。还通过对16频带求平均来将其变换成全色图像，该16个频带用于与网络输出进行比较以计算损耗函数。将这些补丁随机分成比率大致为4:1的训练组和验证组。训练组用于模型收敛的反向传播和梯度下降，而验证组用于基于网络输出和所有补丁的频带平均全色图像之间的平均PSNR找到最优模型。

在一个或多个实验设置中，将DPI网络深度设置为D＝7。在第一个卷积块中部署了9×9的内核尺寸和24个滤波器。中间的3个块具有相同的两层结构，以及第一层和第二层分别采用7×7和5×5的内核尺寸，其中通道主要为24。最后一个块使用5×5的内核尺寸将24个通道投影到一个2D残余图像。在一个或多个实验设置中，将所有的权重初始化为从正态分布采样的随机数，并使用自适应矩估计(ADAM)(Kingma等人,ADAM：一种随机优化方法“ADAM:A Method for Stochastic Optimization”，arXiv预印arXiv:1412.6980,2014)进行优化。在一个或多个实验设置中，训练过程以10^-3的初始学习速率开始，并乘以每10个时期0.95的比率。

D.部分结论

本文公开了用于从MSFA传感器去马赛克多光谱图像的系统和方法实施方式。提出了使用多个ResNet层以首先从原始马赛克图像以全空间分辨率恢复全色图像的深度神经网络的实施方式。为了增强去马赛克过程，还使用双程引导残余内插方法的实施方式来在堆叠在一起之前分别去马赛克每个二次采样频带，以重构全分辨率MSI图像。实验结果证明，所公开的实施方式在视觉上以及在PSNR方面优于现有技术的MSFA去马赛克方法。

E.系统实施方式

在实施方式中，本专利文献的方面可涉及、可包括一个或多个信息处理系统/计算系统或者可在一个或多个信息处理系统/计算系统上实施。计算系统可包括可操作来计算、运算、确定、分类、处理、传输、接收、检索、发起、路由、交换、存储、显示、通信、显现、检测、记录、再现、处理或利用任何形式的信息、智能或数据的任何手段或手段的组合。例如，计算系统可为或可包括个人计算机(例如，膝上型计算机)、平板电脑、平板手机、个人数字助理(PDA)、智能手机、智能手表、智能包装、服务器(例如，刀片式服务器或机架式服务器)、网络存储设备、相机或任何其他合适设备，并且可在大小、形状、性能、功能和价格方面改变。计算系统可包括随机存取存储器(RAM)、一个或多个处理资源(例如中央处理单元(CPU)或硬件或软件控制逻辑)、ROM和/或其他类型的存储器。计算系统的另外组件可包括一个或多个盘驱动器、用于与外部设备通信的一个或多个网络端口、以及各种输入和输出(I/O)设备(例如键盘、鼠标、触摸屏和/或视频显示器)。计算系统还可包括可操作为在各种硬件组件之间传输通信的一个或多个总线。

图8描绘根据本公开的实施方式的计算设备/信息处理系统(或计算系统)的简化框图。应理解，尽管计算系统可不同地配置并且包括不同组件，包括如图8中所示的更少或更多的部件，但应理解，针对系统800所示出的功能可操作为支持计算系统的各种实施方式。

如图8所示，计算系统800包括一个或多个中央处理单元(CPU)801，CPU 801提供计算资源并控制计算机。CPU 801可实施有微处理器等，并且还可包括一个或多个图形处理单元(GPU)819和/或用于数学计算的浮点协处理器。系统800还可包括系统存储器802，系统存储器802可呈随机存取存储器(RAM)、只读存储器(ROM)、或两者的形式。

如图8所示，还可提供多个控制器和外围设备。输入控制器803表示至各种输入设备804的接口，例如键盘、鼠标、触摸屏和/或手写笔。计算系统800还可包括存储控制器807，该存储控制器807用于与一个或多个存储设备808接合，存储设备中的每个包括存储介质(诸如磁带或盘)或光学介质(其可用于记录用于操作系统、实用工具和应用的指令的程序，它们可包括实施本发明的各方面的程序的实施方式)。存储设备808还可用于存储经处理的数据或是将要根据本发明处理的数据。系统800还可包括显示控制器809，该显示控制器809用于为显示设备811提供接口，显示设备811可为阴极射线管(CRT)、薄膜晶体管(TFT)显示器、有机发光二极管、电致发光面板、等离子面板或其他类型的显示器。计算系统800还可包括用于一个或多个外围设备806的一个或多个外围控制器或接口805。外围设备的示例可包括一个或多个打印机、扫描仪、输入设备、输出设备、传感器等。通信控制器814可与一个或多个通信设备815接合，这使系统800能够通过各种网络(包括互联网、云资源(例如以太云、经以太网的光纤通道(FCoE)/数据中心桥接(DCB)云等)、局域网(LAN)、广域网(WAN)、存储区域网络(SAN))中的任一网络，或通过任何合适电磁载波信号(包括红外信号)来连接至远程设备。

在示出的系统中，所有主要系统组件可连接至总线816，总线816可表示多于一个的物理总线。然而，各种系统组件可在物理上彼此接近或可不在物理上彼此接近。例如，输入数据和/或输出数据可从一个物理位置远程地传输到另一物理位置。另外，实现本发明的各方面的程序可经由网络从远程位置(例如，服务器)访问。该数据和/或程序可通过各种机器可读介质中的任一机器可读介质来传送，机器可读介质包括但不限于：诸如硬盘、软盘和磁带的磁性介质；诸如CD-ROM和全息设备的光学介质；磁光介质；以及硬件设备，该硬件设备专门配置成存储或存储并执行程序代码，该硬件设备例如专用集成电路(ASIC)、可编程逻辑器件(PLD)、闪存设备、以及ROM和RAM设备。

本发明的方面可利用用于一个或多个处理器或处理单元以使步骤执行的指令在一个或多个非暂时性计算机可读介质上编码。应注意，一个或多个非暂时性计算机可读介质应当包括易失性存储器和非易失性存储器。应注意，替代实施例是可能的，其包括硬件实施例或软件/硬件实施例。硬件实施的功能可使用ASIC、可编程的阵列、数字信号处理电路等来实现。因此，任何权利要求中的术语“装置”旨在涵盖软件实现方式和硬件实现方式两者。类似地，如本文使用的术语“计算机可读媒介或介质”包括具有在其上实施的指令程序的软件和/或硬件或它们的组合。利用所构想的这些替代实施例，应当理解，附图以及随附描述为本领域的技术人员提供编写程序代码(即，软件)和/或制造电路(即，硬件)以执行所需处理所要求的功能信息。

应当注意，本发明的实施方式还可涉及具有非暂时性有形计算机可读介质的计算机产品，计算机可读介质上具有用于执行各种计算机实施的操作的计算机代码。介质和计算机代码可为出于本发明的目的而专门设计和构造的介质和计算机代码，或者它们可为相关领域中的技术人员已知或可用的种类。有形计算机可读介质的示例包括但不限于：诸如硬盘、软盘和磁带的磁性介质；诸如CD-ROM和全息设备的光学介质；磁光介质；以及专门配置成存储或存储并执行程序代码的硬件设备，例如，专用集成电路(ASIC)、可编程逻辑器件(PLD)、闪存设备、以及ROM和RAM设备。计算机代码的示例包括机器代码(例如，编译器产生的代码)以及包含可由计算机使用解释器来执行的更高级代码的文件。本发明的实施方式可整体地或部分地实施为可在由处理设备执行的程序模块中的机器可执行指令。程序模块的示例包括库、程序、例程、对象、组件/分量和数据结构。在分布式计算环境中，程序模块可物理上定位在本地、远程或两者的设置中。

本领域的技术人员将认识到，计算系统或编程语言对本发明的实践来说均不重要。本领域的技术人员将还将认识到，多个上述元件可物理地和/或在功能上划分成子模块或组合在一起。

本领域技术人员将理解，前文的示例和实施方式是示例性的，并且不限制本公开的范围。其旨在说明，在本领域的技术人员阅读本说明书并研究附图后将对本领域的技术人员显而易见的本发明的所有置换、增强、等同、组合或改进包括在本公开的真实精神和范围内。还应注意，任何权利要求书的元素可不同地布置，包括具有多个从属、配置和组合。

Claims (22)

1.一种计算机实施的方法，用于对来自多光谱滤波器阵列传感器的具有多个子频带的多光谱图像进行去马赛克，所述方法包括：

使用深度神经网络和所述多光谱图像重构所述多光谱图像的全分辨率深度全色图像；

对于所述多光谱图像的每个子频带，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插来获得去马赛克的子频带图像；以及

形成包括所述去马赛克的子频带图像的去马赛克的多光谱图像，

其中，所述引导残余内插为使用所述全分辨率深度全色图像引导的残余内插。

2.根据权利要求1所述的计算机实施的方法，其中，对于所述多光谱图像的每个子频带，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插以获得所述去马赛克的子频带图像的步骤包括：

相对于所述子频带对所述全分辨率深度全色图像进行二次采样以获得二次采样的全分辨率深度全色图像；

从与所述子频带对应的子频带图像与所述二次采样的全分辨率深度全色图像的差值中获得二次采样的残余图像；

使用所述全分辨率深度全色图像作为所述二次采样的残余图像上的第一引导内插中的引导图像，以获得去马赛克的残余图像；以及

将所述去马赛克的残余图像与所述全分辨率深度全色图像相加，以获得第一程去马赛克的子频带图像。

3.根据权利要求2所述的计算机实施的方法，其中，对于所述多光谱图像的每个子频带，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插以获得所述去马赛克的子频带图像的步骤还包括以下步骤：

相对于所述子频带对所述第一程去马赛克的子频带图像进行二次采样，以获得第二程二次采样图像；

从子频带图像与所述第二程二次采样图像的差值中获得第二程二次采样的残余图像；

使用所述第一程去马赛克的子频带图像作为所述第二程二次采样的残余图像上的第二引导内插中的引导图像，以获得第二程去马赛克的残余图像；以及

将所述第二程去马赛克的残余图像与所述第一程去马赛克的子频带图像相加，以获得第二程去马赛克的子频带图像。

4.根据权利要求1所述的计算机实施的方法，其中，所述深度神经网络是卷积神经网络，所述卷积神经网络包括：

投影层，所述投影层将所述多光谱图像变换到多个通道；

一个或多个中间块，所述一个或多个中间块基于所述多个通道生成中间输出，每个中间块具有两个层，每个层包括卷积和整流线性单元滤波器以及每个中间块的输入和输出之间的跳跃连接；

最终卷积层，所述最终卷积层将所述中间输出投影到2D残余图像；以及

裁剪模块，所述裁剪模块将通过从所述多光谱图像中减除所述2D残余图像而获得的残余减除图像裁剪到所述全分辨率深度全色图像的有效像素值范围。

5.根据权利要求4所述的计算机实施的方法，其中，对所述卷积神经网络使用训练数据集进行预训练，以最小化所重构的全分辨率深度全色图像与从地面真值多光谱图像的所有频带平均的参考全色图像之间的损耗。

6.根据权利要求5所述的计算机实施的方法，其中，在所述预训练期间，在计算所述损耗之前将锐化滤波器应用于所重构的全分辨率深度全色图像和所述参考全色图像两者。

7.根据权利要求4所述的计算机实施的方法，其中，在所述一个或多个中间块中的第一中间块中使用填充方案以用于每一侧上的对第一多光谱滤波器阵列图案的有限滚动移位。

8.根据权利要求3所述的计算机实施的方法，其中，所述第一引导内插和所述第二引导内插包括以下步骤：

对于m和n为正整数的m×n的多光谱滤波器阵列图案，在所述多光谱滤波器阵列图案中使用在对应方向上分别具有m和n滑动步长的大小为(m+1)×(n+1)的滑动窗口，所述多光谱滤波器阵列图案对应于所述第一引导内插中的所述二次采样的残余图像或所述第二引导内插中的所述第二程二次采样的残余图像；

对于所述滑动窗口的每个滑动步长，仅利用来自每个子频带中的稀疏网格的像素来估计系数；

对于所述稀疏网格中的每个像素，使用所有滑动步长的估计系数的平均值来获得线性内插系数；

使用双线性内插从所述稀疏网格中获得所述多光谱图像的所述子频带的全分辨率系数；以及

从使用所重构的全分辨率深度全色图像作为引导图像的线性变换和在所述第一引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，或者从使用所述第一程去马赛克的子频带图像作为引导图像的线性变换以及在所述第二引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，所述全分辨率图像是在所述第一引导内插中的所述去马赛克的残余图像，或者在所述第二引导内插中的所述第二程去马赛克的残余图像。

9.一种计算机实施的方法，用于使用一个或多个处理器来对由多光谱滤波器阵列传感器捕获的多光谱图像中的子频带图像进行去马赛克，以导致包括以下的步骤被执行：

使用深度神经网络和所述多光谱图像重构所述多光谱图像的全分辨率深度全色图像；

相对于所述多光谱图像的子频带对所述全分辨率深度全色图像进行二次采样以获得二次采样的全分辨率深度全色图像；

从所述子频带图像与所述二次采样的全分辨率深度全色图像的差值中获得二次采样的残余图像；

使用所述全分辨率深度全色图像作为所述二次采样的残余图像上的引导内插中的引导图像，以获得去马赛克的残余图像；以及

将所述去马赛克的残余图像与所述全分辨率深度全色图像相加，以获得第一程去马赛克的子频带图像。

10.根据权利要求9所述的计算机实施的方法，还包括：

相对于所述子频带对所述第一程去马赛克的子频带图像进行二次采样，以获得第二程二次采样图像；

从所述子频带图像与所述第二程二次采样图像的差值中获得第二程二次采样的残余图像；

使用所述第一程去马赛克的子频带图像作为所述第二程二次采样的残余图像上的第二引导内插中的引导图像，以获得第二程去马赛克的残余图像；以及

将所述第二程去马赛克的残余图像与所述第一程去马赛克的子频带图像相加，以获得第二程去马赛克的子频带图像。

11.根据权利要求10所述的计算机实施的方法，其中，所述引导内插和所述第二引导内插包括以下步骤：

对于m和n为正整数的m×n的多光谱滤波器阵列图案，在所述多光谱滤波器阵列图案中使用在对应方向分别具有m和n滑动步长的大小为(m+1)×(n+1)的滑动窗口，所述多光谱滤波器阵列图案对应于所述引导内插中的所述二次采样的残余图像或所述第二引导内插中的所述第二程二次采样的残余图像；

对于所述滑动窗口的每个滑动步长，仅使用来自每个子频带中的稀疏网格的像素来估计系数；

对于所述稀疏网格中的每个像素，使用所有滑动步长的估计系数的平均值获得线性内插系数；

利用双线性内插从所述稀疏网格中获得所述多光谱图像的所述子频带的全分辨率系数；以及

从使用所重构的全分辨率深度全色图像作为引导图像的线性变换和在所述引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，或者从使用所述第一程去马赛克的子频带图像作为引导图像的线性变换以及在所述第二引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，所述全分辨率图像是所述引导内插中的所述去马赛克的残余图像，或者所述第二引导内插中的所述第二程去马赛克的残余图像。

12.根据权利要求9所述的计算机实施的方法，其中，所述深度神经网络是卷积神经网络，所述卷积神经网络包括：

投影层，所述投影层将所述多光谱图像变换到多个通道；

一个或多个中间块，所述一个或多个中间块基于所述多个通道生成中间输出，每个中间块具有两个层，每个层包括卷积和整流线性单元滤波器以及每个中间块之间的跳跃连接；

最终卷积层，所述最终卷积层将所述中间输出投影到2D残余图像；以及

裁剪模块，所述裁剪模块将通过从所述多光谱图像中减除所述2D残余图像而获得的残余减除图像裁剪到所述全分辨率深度全色图像的有效像素值范围。

13.根据权利要求12所述的计算机实施的方法，其中，对所述卷积神经网络使用训练数据集进行预训练，以最小化所重构的全分辨率深度全色图像与从地面真值多光谱图像的所有频带平均的参考全色图像之间的损耗。

14.根据权利要求13所述的计算机实施的方法，其中，在所述预训练期间，在计算所述损耗之前将锐化滤波器应用于所重构的全分辨率深度全色图像和所述参考全色图像两者。

15.一种非暂时性计算机可读媒介或介质，包括一个或多个指令序列，所述一个或多个指令序列在由一个或多个处理器运行时导致对来自多光谱滤波器阵列传感器的具有多个子频带的多光谱图像进行去马赛克的步骤将被执行，所述步骤包括：

使用深度神经网络将所述多光谱图像重构为全分辨率深度全色图像；

对于所述多光谱图像的每个子频带，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插来获得去马赛克的子频带图像；以及

形成包括所述去马赛克的子频带图像的去马赛克的多光谱图像，

其中，所述引导残余内插为使用所述全分辨率深度全色图像引导的残余内插。

16.根据权利要求15所述的非暂时性计算机可读媒介或介质，其中，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插以获得所述去马赛克的子频带图像的步骤包括：

相对于所述子频带对所述全分辨率深度全色图像进行二次采样以获得二次采样的全分辨率深度全色图像；

从与所述子频带对应的子频带图像与所述二次采样的全分辨率深度全色图像的差值中获得二次采样的残余图像；

使用所述全分辨率深度全色图像作为所述二次采样的残余图像上的第一引导内插中的引导图像，以获得去马赛克的残余图像；以及

将所述去马赛克的残余图像与所述全分辨率深度全色图像相加，以获得第一程去马赛克的子频带图像。

17.根据权利要求16所述的非暂时性计算机可读媒介或介质，其中，基于所重构的全分辨率深度全色图像执行至少一程引导残余内插以获得所述去马赛克的子频带图像还包括：

相对于所述子频带对所述第一程去马赛克的子频带图像进行二次采样，以获得第二程二次采样图像；

从所述子频带图像与所述第二程二次采样图像的差值中获得第二程二次采样的残余图像；

使用所述第一程去马赛克的子频带图像作为所述第二程二次采样的残余图像上的第二引导内插中的引导图像，以获得第二程去马赛克的残余图像；以及

将所述第二程去马赛克的残余图像与所述第一程去马赛克的子频带图像相加，以获得第二程去马赛克的子频带图像。

18.根据权利要求17所述的非暂时性计算机可读媒介或介质，其中，所述第一引导内插或所述第二引导内插包括以下步骤：

对于m和n为正整数的m×n的多光谱滤波器阵列图案，在所述多光谱滤波器阵列图案中使用在对应方向上分别具有m和n的滑动步长的大小为(m+1)×(n+1)的滑动窗口，所述多光谱滤波器阵列图案对应于所述第一引导内插中的所述二次采样的残余图像或所述第二引导内插中的所述第二程二次采样的残余图像；

对于所述滑动窗口的每个滑动步长，仅利用来自每个子频带中的稀疏网格的像素来估计系数；

对于所述稀疏网格中的每个像素，使用所有滑动步长的估计系数的平均值获得线性内插系数；

使用双线性内插从所述稀疏网格中获得所述多光谱图像的所述子频带的全分辨率系数；以及

从使用所重构的全分辨率深度全色图像作为引导图像的线性变换和在所述第一引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，或者从使用所述第一程去马赛克的子频带图像作为引导图像的线性变换以及在所述第二引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，所述全分辨率图像是所述第一引导内插中的所述去马赛克的残余图像，或者所述第二引导内插中的所述第二程去马赛克的残余图像。

19.根据权利要求18所述的非暂时性计算机可读媒介或介质，其中，所述深度神经网络是卷积神经网络，所述卷积神经网络包括：

投影层，所述投影层将所述多光谱图像变换到多个通道；

一个或多个中间块，所述一个或多个中间块基于所述多个通道生成中间输出，每个中间块具有两个层，每个层包括卷积和整流线性单元滤波器以及每个中间块之间的跳跃连接；

最终卷积层，所述最终卷积层将所述中间输出投影到2D残余图像；以及

裁剪模块，所述裁剪模块将通过从所述多光谱图像中减除所述2D残余图像而获得的残余减除图像裁剪到所述全分辨率深度全色图像的有效像素值范围。

20.根据权利要求19所述的非暂时性计算机可读媒介或介质，其中，每个中间块的所述两个层具有不同的内核尺寸。

21.一种用于对来自多光谱滤波器阵列传感器的具有多个子频带的多光谱图像进行去马赛克的系统，所述系统包括：

至少一个处理器；以及

存储器，存储有指令，所述指令在由所述至少一个处理器运行时致使所述至少一个处理器执行根据权利要求1-8中任一项所述的方法。

22.一种用于对由多光谱滤波器阵列传感器捕获的多光谱图像中的子频带图像进行去马赛克的系统，所述系统包括：

至少一个处理器；以及

存储器，存储有指令，所述指令在由所述至少一个处理器执行时致使所述至少一个处理器执行根据权利要求9-14中任一项所述的方法。