CN114240776B - 一种针对msfa高光谱图像的去马赛克与压缩融合框架 - Google Patents

一种针对msfa高光谱图像的去马赛克与压缩融合框架 Download PDF

Info

Publication number
CN114240776B
CN114240776B CN202111513072.2A CN202111513072A CN114240776B CN 114240776 B CN114240776 B CN 114240776B CN 202111513072 A CN202111513072 A CN 202111513072A CN 114240776 B CN114240776 B CN 114240776B
Authority
CN
China
Prior art keywords
image
ppi
raw
compression
demosaicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111513072.2A
Other languages
English (en)
Other versions
CN114240776A (zh
Inventor
刘澍民
张语格
陈捷
林庆帆
王逸平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111513072.2A priority Critical patent/CN114240776B/zh
Publication of CN114240776A publication Critical patent/CN114240776A/zh
Application granted granted Critical
Publication of CN114240776B publication Critical patent/CN114240776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；PPI图生成模块使用DPG‑Net网络获取Raw图中的各种特征，并针对特征进行图像重建，将重建的图像进行输出，生成PPI图像；压缩\解压缩模块用于压缩\解压缩Raw图和PPI图，减少压缩后文件的大小和算法的复杂度；快速去马赛克模块先Raw图和PPI图的光谱通道分离；再将分离后的Raw图与PPI图相减；对两者之差进行卷积，卷积后的图再与PPI相加，得到最终去马赛克图像。本发明框架具有压缩率高且在解压端去马赛克速度快的特点。

Description

一种针对MSFA高光谱图像的去马赛克与压缩融合框架
技术领域
本发明属于图像处理技术领域，具体涉及一种高光谱图像的去马赛克与压缩融合框架。
背景技术
高光谱成像作为一种新兴成像系统，随着成像技术的不断成熟，如今已经广泛应用国土测绘、城乡建设、统计调查、农林业资源监测、真假目标识别等多个领域。高光谱成像技术大致可分为两种：一，针对每个光谱生成一张单独的图像；二，使用MSFA使一张包含多个通道信息。前者因需要更换滤光镜等操作，成像速度较慢、相机较为昂贵且无法准确拍摄运动中的物体；而后者则在每个像素点只具有单个光谱通道信息(颜色)，如图1所示，当光线通过MSFA阵列时，每个像素点只允许一个光谱通道的信息通过，是以Raw图的每个像素都只能储存一个光谱通道的信息，需要去马赛克算法获取全光谱全解析度图像。去马赛克过程如图2所示，假设Raw图的长高为W和H，具有9个光谱通道，去马赛克算法则把Raw图的W×H×1扩充至W×H×9。无论使用哪种方法，高光谱图像相比传统图像都需要更多的储存空间，是以对高光谱图像的压缩与解压缩也是一个重要的步骤。其中，去马赛克是MSFA成像的必要步骤，压缩/解压缩是MSFA图像储存的重要步骤。
发明内容
为了克服现有技术的不足，本发明提供了一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；PPI图生成模块使用DPG-Net网络获取Raw图中的各种特征，并针对特征进行图像重建，将重建的图像进行输出，生成PPI图像；压缩\解压缩模块用于压缩\解压缩Raw图和PPI图，减少压缩后文件的大小和算法的复杂度；快速去马赛克模块先Raw图和PPI图的光谱通道分离；再将分离后的Raw图与PPI图相减；对两者之差进行卷积，卷积后的图再与PPI相加，得到最终去马赛克图像。本发明框架具有压缩率高且在解压端去马赛克速度快的特点。
本发明解决其技术问题所采用的技术方案如下：
一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；
所述PPI图生成模块通过以下步骤实现：
步骤1-1：从公开多光谱数据集抽取多幅图像，并分别采样每幅图像的H个频谱通道组成原始多光谱图像数据I，再采用MSFA仿真得到对应的Raw图IMSFA；
对H个频谱通道组成原始多光谱图像数据I进行平均生成真实PPI图IM；
将IMSFA和IM组成训练对；所有抽取图像生成的训练对组成数据集；将数据集分为训练集和测试集；
步骤1-2：构建DPG-Net网络；
DPG-Net网络所述网络输入为Raw图，Raw图同时经过左边路径和右边路径的计算，并对两个结果相加，形成输出PPI图；
所述左边路径从输入到输出依次为：卷积层C1，激活层A1，卷积层C2，激活层A2，卷积层C3，激活层A3，卷积层C4；
所述激活层皆为ReLU函数；
所述卷积层C1包含24个9×9的滤波器，步长为1；
所述卷积层C2包含24个7×7的滤波器，步长为1；
所述卷积层C3和C4均包含24个5×5的滤波器，步长均为1；
所述右边路径为Raw图和M矩阵的卷积；M矩阵针对MSFA的不同而改变，当MSFA为3×3时，M为如下所示：
当MSFA为4×4时，M为如下所示：
步骤1-3：所述DPG-Net网络训练时采用的联合损失函数如式(1)：
其中，表示真实PPI图IM和DPG-Net网络生成的PPI图/>之间的MSE，计算公式如式(2)：
其中N是图像中像素数量，p是像素索引；
为边缘损失，是将真实PPI图IM和DPG-Net网络生成的PPI图/>转换到小波域并计算高频信息的MSE，表示如式(3)：
其中和/>分别是IM和/>的第q个小波分解系数，NW是图像分解后高频系数的个数；
使用训练集对DPG-Net网络进行训练，当损失函数最小时，完成训练，得到最终的DPG-Net网络；
步骤1-4：使用测试集评估DPG-Net网络的图像预测质量，评价指标PSNR采用式(4)计算：
其中x是参考图像，是预测图像，H、W、C分别是图像的行、列与通道的个数；
SSIM采用式(5)计算：
其中μx，分别是参考图像x和预测图像/>的均值和方差，/>是相关系数；
所述压缩\解压缩模块，包括Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩、Raw图的重建、PPI图的压缩和PPI图的解压缩；
所述Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩和Raw图的重建通过以下步骤实现：
步骤2-1：根据Raw图中每个像素的光谱通道分离Raw图；
采用a1倍降采样得到Raw图的一个光谱通道图像，共分离出H个光谱通道图像；
步骤2-2：针对分离出的H个光谱通道图片分别进行图像压缩；
步骤2-3：针对压缩后的文件分别进行解压缩，获取分离后的H个光谱通道图像；
步骤2-4：将H个光谱通道图像进行合并，重建Raw图；
所述PPI图的压缩和PPI图的解压缩根据无损压缩或有损压缩选择相应的压缩标准；
所述快速去马赛克模块通过以下步骤实现：
步骤3-1：根据每个像素的光谱通道分离Raw图，每幅光谱通道图像中属于当前光谱通道的像素值不变，其余像素值归零；
步骤3-2：根据Raw图的每个像素的光谱通道分离PPI图；
步骤3-3：使分离Raw图与分离PPI图相减，获得分离低频差图像，如式(6)所示：
I分离后的低频差(x,y)＝I分离后的Raw(x,y)-I分离后的PPI(x,y) (6)
其中，I分离后的Raw(x,y)表示步骤3-1获取的分离后的Raw图，I分离后的PPI(x,y)表示步骤3-2获取的分离后的PPI图；
步骤3-4：对分离后的低频差进行卷积运算，获得插值后的低频差图像I插值后的低频差；
步骤3-6：使插值后的低频差图像与分离前的PPI图相加，获得最终去马赛克图，如式(7)所示：
I最终去马赛克图＝I插值后的低频差+IPPI (7)
在对Raw图像去马赛克时，先将Raw图像输入最终的DPG-Net网络，输出对应的PPI图像；
然后采用压缩\解压缩模块压缩Raw图像和生成的PPI图像，压缩后进行存储或传输，当要对Raw图像去马赛克时，采用压缩\解压缩模块恢复Raw图像和PPI图像；
再将Raw图像和PPI图像输入快速去马赛克模块，得到最终去马赛克图。
优选地，所述公开多光谱数据集为CAVE、TokyoTech-31band、TokyoTech-59band和M15。
优选地，所述步骤1-4中使用测试集评估DPG-Net网络的图像预测质量时，滑窗尺寸设置为11。
优选地，所述对DPG-Net网络进行训练时，采取的方法如下：
训练过程利用Adam优化算法采用两阶段训练；
一阶段：根据设置初始阶段学习率进行网络搜索,使得网络针对损失函数初步收敛，得到网络参数；二阶段：调低学习率，训练网络针对损失函数进一步收敛，得到精调后的网络参数；使用标准化的Kaiming对精调后的网络参数初始化；训练完成得到DPG-Net网络模型参数；
学习率设置为lr1，子阶段学习率根据MultiStepLR调整策略进行调整；利用Adam优化算法，批训练样本数设定为f1，算法训练两阶段分别训练g1+g2代；使用标准化的Kaiming对网络参数初始化；训练完成得到DPG-Net模型参数；
优选地，所述DPG-Net网络进行训练时，参数为：两阶段学习率lr1＝5x10-4，批训练样本数f1＝16，两阶段分别训练g1＝300，g2＝600。
本发明的有益效果如下：
传统的图像去马赛克与压缩/解压缩框架如图3所示。在压缩端，Raw图首先经过去马赛克处理得到去马赛克图像，接着被压缩，获得比特流；而在解压缩端，比特流在解压缩之后重新获取去马赛克图像。此去马赛克图像正是用户所需求的图像。除了高光谱图像，此框被广泛应用，例如市场上绝大多数RGB成像传感器(例如数码相机和手机相机)皆使用了此种框架。去马赛克图像，而非Raw图，被压缩/解压缩的原因是：去马赛克是个复杂的过程，以1080p的图像为例，需要数秒甚至数分钟执行去马赛克(相比之下，图像可在1秒之内解压缩)，这使得“打开图像立即显示”这个需求不可能被满足，所以去马赛克必须放在压缩端。
RGB图像具有3个通道，是以RGB图的像素点数量是Raw图的3倍。而针对高光谱图像，此倍数远大于3，图像大小显著增加。本发明提出一个去马赛克与压缩/解压缩的融合框架，将去马赛克算法差分成两份，其中大部分运算放在压缩端，极少运算放在解压端。此框架压缩了Raw图和去马赛克中间步骤PPI图，可以在极少减慢解压缩速度的代价下，极大地增加图像的压缩比。
附图说明
图1为MSFA阵列和RAW图图示。
图2为传统方法去马赛克过程图示。
图3为传统MSFA图像去马赛克与压缩/解压缩流程。
图4为本发明方法的MSFA图像去马赛克与压缩/解压缩流程。
图5为本发明方法的DPG-Net神经网络示意图。
图6为本发明方法Raw图的压缩/解压缩示意图。
图7为本发明方法PPI图的压缩/解压缩示意图。
图8为本发明方法快速去马赛克的缩示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
传统方法中去马赛克算法与压缩/解压缩算法相对独立，压缩/解压缩是在去马赛克完全完成后再进行，如图3所示。如图4所示，本发明把Raw图像去马赛克的复杂步骤放在压缩前进行，生成一个整合所有光谱通道信息的PPI；把去马赛克的简单步骤放在解压缩后进行，最大程度上减少对解压速度的影响。
一种针对MSFA高光谱图像的去马赛克与压缩融合框架，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；
所述PPI图生成模块通过以下步骤实现：
步骤1-1：从公开多光谱数据集CAVE、TokyoTech-31band、TokyoTech-59band和M15抽取多幅图像，并分别采样每幅图像的H个频谱通道组成原始多光谱图像数据I，再采用MSFA仿真得到对应的Raw图IMSFA；
对H个频谱通道组成原始多光谱图像数据I进行平均生成真实PPI图IM；
将IMSFA和IM组成训练对；所有抽取图像生成的训练对组成数据集；将数据集分为训练集和测试集；
步骤1-2：如图5所示，构建DPG-Net网络；
DPG-Net网络所述网络输入为Raw图，Raw图同时经过左边路径和右边路径的计算，并对两个结果相加，形成输出PPI图；
所述左边路径从输入到输出依次为：卷积层C1，激活层A1，卷积层C2，激活层A2，卷积层C3，激活层A3，卷积层C4；
所述激活层皆为ReLU函数；
所述卷积层C1包含24个9×9的滤波器，步长为1；
所述卷积层C2包含24个7×7的滤波器，步长为1；
所述卷积层C3和C4均包含24个5×5的滤波器，步长均为1；
所述右边路径为Raw图和M矩阵的卷积；M矩阵针对MSFA的不同而改变，当MSFA为3×3时，M为如下所示：
当MSFA为4×4时，M为如下所示：
步骤1-3：所述DPG-Net网络训练时采用的联合损失函数如式(1)：
其中，表示真实PPI图IM和DPG-Net网络生成的PPI图/>之间的MSE，计算公式如式(2)：
其中N是图像中像素数数量，p是像素索引；
为边缘损失，为了让预测的PPI图更加细节丰富，是将真实PPI图IM和DPG-Net网络生成的PPI图/>转换到小波域并计算高频信息的MSE，表示如式(3)：
其中和/>分别是IM和/>的第q个小波分解系数，NW是图像分解后高频系数的个数；
使用训练集对DPG-Net网络进行训练，当损失函数最小时，完成训练，得到最终的DPG-Net网络；
对DPG-Net网络进行训练时，采取的方法如下：
训练过程利用Adam优化算法采用两阶段训练；
一阶段：根据设置初始阶段学习率进行网络搜索,使得网络针对损失函数初步收敛，得到网络参数；二阶段：调低学习率，训练网络针对损失函数进一步收敛，得到精调后的网络参数；使用标准化的Kaiming对精调后的网络参数初始化；训练完成得到DPG-Net网络模型参数；
学习率设置为lr1，子阶段学习率根据MultiStepLR调整策略进行调整；利用Adam优化算法，批训练样本数设定为f1，算法训练两阶段分别训练g1+g2代；使用标准化的Kaiming对网络参数初始化；训练完成得到DPG-Net模型参数；
参数为：两阶段学习率lr1＝5x10-4，批训练样本数f1＝16，两阶段分别训练g1＝300，g2＝600。
步骤1-4：使用测试集评估DPG-Net网络的图像预测质量，评价指标PSNR采用式(4)计算：
其中x是参考图像，是预测图像，H、W、C分别是图像的行、列与通道的个数；
SSIM采用式(5)计算：
其中μx，分别是参考图像x和预测图像/>的均值和方差，/>是相关系数；滑窗尺寸设置为11。
所述压缩\解压缩模块，包括Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩、Raw图的重建、PPI图的压缩和PPI图的解压缩；
所述Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩和Raw图的重建通过以下步骤实现：
步骤2-1：根据Raw图中每个像素的光谱通道分离Raw图；
采用a1倍降采样得到Raw图的一个光谱通道图像，共分离出H个光谱通道图像；
步骤2-2：针对分离出的H个光谱通道图片分别进行图像压缩；
步骤2-3：针对压缩后的文件分别进行解压缩，获取分离后的H个光谱通道图像；
步骤2-4：将H个光谱通道图像进行合并，重建Raw图；
所述PPI图的压缩和PPI图的解压缩根据无损压缩或有损压缩选择相应的压缩标准；
所述快速去马赛克模块通过以下步骤实现：
步骤3-1：根据每个像素的光谱通道分离Raw图，每幅光谱通道图像中属于当前光谱通道的像素值不变，其余像素值归零；
步骤3-2：根据Raw图的每个像素的光谱通道分离PPI图；
步骤3-3：使分离Raw图与分离PPI图相减，获得分离低频差图像，如式(6)所示：
I分离后的低频差(x,y)＝I分离后的Raw(x,y)-I分离后的PPI(x,y) (6)
其中，I分离后的Raw(x,y)表示步骤3-1获取的分离后的Raw图，I分离后的PPI(x,y)表示步骤3-2获取的分离后的PPI图；
步骤3-4：对分离后的低频差进行卷积运算，获得插值后的低频差图像I插值后的低频差；
步骤3-6：使插值后的低频差图像与分离前的PPI图相加，获得最终去马赛克图，如式(7)所示：
I最终去马赛克图＝I插值后的低频差+IPPI (7)
在对Raw图像去马赛克时，先将Raw图像输入最终的DPG-Net网络，输出对应的PPI图像；
然后采用压缩\解压缩模块压缩Raw图像和生成的PPI图像，压缩后进行存储或传输，当要对Raw图像去马赛克时，采用压缩\解压缩模块恢复Raw图像和PPI图像；
再将Raw图像和PPI图像输入快速去马赛克模块，得到最终去马赛克图。
具体实施例：
本实施例利用神经网络提取Raw图中包含的所有高频信息，保存所有高频信息并以此引导后面的去马赛克问题，可以在多光谱滤波阵列采样稀疏的情况下，尽可能的减少由于各通道高频信息不对齐导致的各种瑕疵。
本实施例提供一种基于深度PPI图生成网络DPG-Net的PPI图预测方法，包括，从数据集中获得成对的Raw图与真实PPI图；对成对的数据进行统一的预处理；将处理后的数据输入带训练的DPG-Net，利用DPG-Net获取原始马赛克图像中的各种特征，并针对特征进行图像重建，将重建的图像进行输出；根据成对输入图像中的真实输出图像和实际输出图像，计算图像重建损失函数；根据损失函数继续不断的训练优化网络参数。
本实施例的PPI图生成网络DPG-Net，使用四个公开多光谱数据集：CAVE，TokyoTech-31band，TokyoTech-59band和M15，从多光谱数据集中进行图片选取并分别采样其9个频谱通道图像产生真实的PPI图IM，将训练数据组成训练对。选取数据集作为训练集，根据真实PPI图与网络生成PPI图之间的损失进行迭代。
DPG-Net网络结构如步骤1-2，损失函数如步骤1-3；按照步骤1-4对网络进行评价。
从数据集中获取一对配对好的Raw图IMSFA和真实PPI图IM；对数据统一进行预处理：归一化和剪裁。
将处理后的数据输入深度PPI图生成网络DPG-Net中，利用DPG-Net获取Raw图中的各种特征，并针对特征进行图像重建，将重建的图像进行输出；根据成对输入图像中的真实输出图像和实际输出图像，计算图像重建损失函数，根据损失函数继续不断的训练优化网络参数。
计算测试集的评价指标，测试PPI生成网络的实用性。
针对图4所示的压缩\解压缩模块，需要一种算法来压缩\解压缩Raw图和PPI图，通过利用图像光谱通道内的冗余信息，尽可能的减少压缩后文件的大小，同时尽可能的减少算法的复杂度。
本实施例提供一种基于图像光谱通道分离的压缩\解压缩方法，包括，Raw图的光谱通道分离；分离后Raw图的压缩；分离后Raw图的解压缩；Raw图的重建；PPI图的压缩；PPI图的解压缩。
充分利用Raw图的跨光谱通道冗余，针对Raw图压缩进行优化，在简单和复杂的场景下，都可以拥有不错的压缩性能。而对于PPI图，则空间冗余大于跨光谱通道冗余，无需额外处理。其中，分离后Raw图的压缩、分离后Raw图的解压缩、PPI图的压缩和PPI图的解压缩这4个步骤可以使用现有的压缩标准。例如，在无损压缩\解压缩场景下使用PNG，有损压缩场\解压缩景下使用JPEG等。
Raw图的光谱通道分离和重建两个阶段。
在本实施例中，利用简单的像素位置重新排列分离Raw图，只需一步便可直接分离Raw图。即，把Raw图中来自同一光谱通道的像素归为一类。而在重建阶段，则使用完全相反的步骤获得Raw图。
如图6所示，一种简单的Raw图的通道分离\重建方法，包括。
S2.1、根据每个像素的光谱通道分离Raw图。以图1所示的3×3的MSFA为例，可通过3倍降采样取得其一通道，共可分离出9个图片，其数学公式如下所示。
I分离后的Raw1(x,y)＝IRaw(3x,3y)
I分离后的Raw2(x,y)＝IRaw(3x,3y+1)
I分离后的Raw3(x,y)＝IRaw(3x,3y+2)
I分离后的Raw4(x,y)＝IRaw(3x+1,3y)
I分离后的Raw9(x,y)＝IRaw(3x+2,3y+2)
S2.2、针对分离出的不同光谱通道图片分别进行图像压缩。此压缩可以使用现有的压缩标准。例如，在无损压缩\解压缩场景下使用PNG，有损压缩场\解压缩景下使用JPEG等。
S2.3、针对压缩后的文件进行相应的解压缩，取得所有分离后的Raw图。
S2.4、针对分离后的Raw图进行合并，重建Raw图。以图1所示的3×3的MSFA为例，其数学公式如下所示。
IRaw(3x,3y)＝I分离后的Raw1(x,y)
IRaw(3x,3y+1)＝I分离后的Raw2(x,y)
IRaw(3x,3y+2)＝I分离后的Raw3(x,y)
IRaw(3x+1,3y)＝I分离后的Raw4(x,y)
IRaw(3x+2,3y+2)＝I分离后的Raw9(x,y)
如图7所示，一种直接的PPI图的压缩\解压缩方法，包括。
S2.5、针对PPI图整体进行图像压缩。此压缩可以使用现有的压缩标准。例如，在无损压缩\解压缩场景下使用PNG，有损压缩场\解压缩景下使用JPEG等。
S2.6、针对压缩后的文件进行相应的解压缩，取得完整的PPI图。
针对图4所示的快速去马赛克模块，需要一种算法来通过Raw图和PPI图去的最终的去马赛克图。此算法应尽可能保留Raw图的低频信息与PPI图的高频信息，同时尽可能的减少算法的复杂度。
本实施例提供一种基于卷积的快速去马赛克方法，包括，Raw图的光谱通道分离；PPI图的光谱通道分离；分离后的Raw图与PPI图相减；二图之差的卷积；卷积后图与PPI相加。
充分提取并保留Raw图的低频信息与PPI图的高频信息。此方法极为简单，每个通道的输出只需2步通道分离，2步加减操作和1步卷积操作，这极大的减少了Raw图和PPI图在解压缩后生成并显示最终图像的时间。
如图8所示，一种简单的通过PPI图引导Raw图的快速去马赛克方法，包括。
S3.1、根据每个像素的光谱通道分离Raw图，其中属于当前光谱通道的像素值不变，其余像素值归零。以图1所示的3×3的MSFA为例，可通过像素位置决定其值归零与否，其数学公式如下所示。
S3.2、根据Raw图的每个像素的光谱通道分离PPI图。以图1所示的3×3的MSFA为例，可通过像素位置决定其值归零与否，其数学公式如下所示。
S3.3、使分离Raw图与分离PPI图相减，获得分离低频差，其数学公式如下所示。
I分离后的低频差(x,y)＝I分离后的Raw1(x,y)-I分离后的PPI1(x,y)
S3.4、针对分离后的离低频差进行卷积运算，获得插值后的低频差。以图1所示的3×3的MSFA为例，其数学公式如下所示。
同理可得，当使用4×4的MSFA时，其数学公式如下所示。
S3.6、使插值后的低频差与PPI图相加，获得最终去马赛克图，其数学公式如下所示。
I最终去马赛克图＝I分离后的低频差+IPPI
对于本实验在TokyoTech-31band数据集上进行实验。该数据集包含35张31通道的不同大小的图像。通过此数据集图像模拟MSFA的Raw图，并使之通过图3和图4两种流程进行压缩。其中S2.2和S2.5步骤中的压缩标准选择为PNG。
为了证明本发明方法的有效性和泛化性能，使用了3×3和4×4两种MSFA进行模拟。表1和表2结果表明，本方面提出的方法可以有效的减少压缩后的数据大小，在3×3和4×4两种MSFA上分别可以减少70％和83％的大小，且MSFA越大效果越出色。
表1使用3×3MSFA时传统方法与本发明方法的压缩对比
表2使用4×4MSFA时传统方法与本发明方法的压缩对比
传统方法在压缩一个9通道的图像时，需要储存全部9个通道，而使用本方面提出的方法，则只需要储存Raw图与PPI图，需要储存的压缩前像素数量减少了77.8％。MSFA高光谱图像的通道数量越多，则本发明方法的效率越高。

Claims (5)

1.一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，包括PPI图生成模块、压缩\解压缩模块和快速去马赛克模块；
所述PPI图生成模块通过以下步骤实现：
步骤1-1：从公开多光谱数据集抽取多幅图像，并分别采样每幅图像的H个频谱通道组成原始多光谱图像数据I，再采用MSFA仿真得到对应的Raw图IMSFA；
对H个频谱通道组成原始多光谱图像数据I进行平均生成真实PPI图IM；
将IMSFA和IM组成训练对；所有抽取图像生成的训练对组成数据集；将数据集分为训练集和测试集；
步骤1-2：构建DPG-Net网络；
DPG-Net网络所述网络输入为Raw图，Raw图同时经过左边路径和右边路径的计算，并对两个结果相加，形成输出PPI图；
所述左边路径从输入到输出依次为：卷积层C1，激活层A1，卷积层C2，激活层A2，卷积层C3，激活层A3，卷积层C4；
所述激活层皆为ReLU函数；
所述卷积层C1包含24个9×9的滤波器，步长为1；
所述卷积层C2包含24个7×7的滤波器，步长为1；
所述卷积层C3和C4均包含24个5×5的滤波器，步长均为1；
所述右边路径为Raw图和M矩阵的卷积；M矩阵针对MSFA的不同而改变，当MSFA为3×3时，M为如下所示：
当MSFA为4×4时，M为如下所示：
步骤1-3：所述DPG-Net网络训练时采用的联合损失函数如式(1)：
其中，表示真实PPI图IM和DPG-Net网络生成的PPI图/>之间的MSE，计算公式如式(2)：
其中N是图像中像素数量，p是像素索引；
为边缘损失，是将真实PPI图IM和DPG-Net网络生成的PPI图/>转换到小波域并计算高频信息的MSE，表示如式(3)：
其中和/>分别是IM和/>的第q个小波分解系数，NW是图像分解后高频系数的个数；
使用训练集对DPG-Net网络进行训练，当损失函数最小时，完成训练，得到最终的DPG-Net网络；
步骤1-4：使用测试集评估DPG-Net网络的图像预测质量，评价指标PSNR采用式(4)计算：
其中x是参考图像，是预测图像，H、W、C分别是图像的行、列与通道的个数；
SSIM采用式(5)计算：
其中μx，分别是参考图像x和预测图像/>的均值和方差，/>是相关系数；
所述压缩\解压缩模块，包括Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩、Raw图的重建、PPI图的压缩和PPI图的解压缩；
所述Raw图的光谱通道分离、分离后Raw图的压缩、分离后Raw图的解压缩和Raw图的重建通过以下步骤实现：
步骤2-1：根据Raw图中每个像素的光谱通道分离Raw图；
采用a1倍降采样得到Raw图的一个光谱通道图像，共分离出H个光谱通道图像；
步骤2-2：针对分离出的H个光谱通道图片分别进行图像压缩；
步骤2-3：针对压缩后的文件分别进行解压缩，获取分离后的H个光谱通道图像；
步骤2-4：将H个光谱通道图像进行合并，重建Raw图；
所述PPI图的压缩和PPI图的解压缩根据无损压缩或有损压缩选择相应的压缩标准；
所述快速去马赛克模块通过以下步骤实现：
步骤3-1：根据每个像素的光谱通道分离Raw图，每幅光谱通道图像中属于当前光谱通道的像素值不变，其余像素值归零；
步骤3-2：根据Raw图的每个像素的光谱通道分离PPI图；
步骤3-3：使分离Raw图与分离PPI图相减，获得分离低频差图像，如式(6)所示：
I分离后的低频差(x,y)＝I分离后的Raw(x,y)-I分离后的PPI(x,y) (6)
其中，I分离后的Raw(x,y)表示步骤3-1获取的分离后的Raw图，I分离后的PPI(x,y)表示步骤3-2获取的分离后的PPI图；
步骤3-4：对分离后的低频差进行卷积运算，获得插值后的低频差图像I插值后的低频差；
步骤3-6：使插值后的低频差图像与分离前的PPI图相加，获得最终去马赛克图，如式(7)所示：
I最终去马赛克图＝I插值后的低频差+IPPI (7)
在对Raw图像去马赛克时，先将Raw图像输入最终的DPG-Net网络，输出对应的PPI图像；
然后采用压缩\解压缩模块压缩Raw图像和生成的PPI图像，压缩后进行存储或传输，当要对Raw图像去马赛克时，采用压缩\解压缩模块恢复Raw图像和PPI图像；
再将Raw图像和PPI图像输入快速去马赛克模块，得到最终去马赛克图。
2.根据权利要求1所述的一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，所述公开多光谱数据集为CAVE、TokyoTech-31band、TokyoTech-59band和M15。
3.根据权利要求1所述的一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，所述步骤1-4中使用测试集评估DPG-Net网络的图像预测质量时，滑窗尺寸设置为11。
4.根据权利要求1所述的一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，所述对DPG-Net网络进行训练时，采取的方法如下：
训练过程利用Adam优化算法采用两阶段训练；
一阶段：根据设置初始阶段学习率进行网络搜索,使得网络针对损失函数初步收敛，得到网络参数；二阶段：调低学习率，训练网络针对损失函数进一步收敛，得到精调后的网络参数；使用标准化的Kaiming对精调后的网络参数初始化；训练完成得到DPG-Net网络模型参数；
学习率设置为lr1，子阶段学习率根据MultiStepLR调整策略进行调整；利用Adam优化算法，批训练样本数设定为f1，算法训练两阶段分别训练g1+g2代；使用标准化的Kaiming对网络参数初始化；训练完成得到DPG-Net模型参数。
5.根据权利要求4所述的一种针对MSFA高光谱图像的去马赛克与压缩融合框架，其特征在于，所述DPG-Net网络进行训练时，参数为：两阶段学习率lr1＝5x10-4，批训练样本数f1＝16，两阶段分别训练g1＝300，g2＝600。
CN202111513072.2A 2021-12-12 2021-12-12 一种针对msfa高光谱图像的去马赛克与压缩融合框架 Active CN114240776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111513072.2A CN114240776B (zh) 2021-12-12 2021-12-12 一种针对msfa高光谱图像的去马赛克与压缩融合框架

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111513072.2A CN114240776B (zh) 2021-12-12 2021-12-12 一种针对msfa高光谱图像的去马赛克与压缩融合框架

Publications (2)

Publication Number Publication Date
CN114240776A CN114240776A (zh) 2022-03-25
CN114240776B true CN114240776B (zh) 2024-03-12

Family

ID=80755151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111513072.2A Active CN114240776B (zh) 2021-12-12 2021-12-12 一种针对msfa高光谱图像的去马赛克与压缩融合框架

Country Status (1)

Country Link
CN (1) CN114240776B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN110211044A (zh) * 2019-05-24 2019-09-06 北京理工大学 基于去马赛克算法和主成分分析的多光谱成像方法及装置
CN110458766A (zh) * 2019-07-11 2019-11-15 天津大学 一种快照式高光谱图像去马赛克方法
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
WO2021003594A1 (en) * 2019-07-05 2021-01-14 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
WO2021147095A1 (en) * 2020-01-23 2021-07-29 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep residual network for color filter array image denoising

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN110211044A (zh) * 2019-05-24 2019-09-06 北京理工大学 基于去马赛克算法和主成分分析的多光谱成像方法及装置
WO2021003594A1 (en) * 2019-07-05 2021-01-14 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
CN110458766A (zh) * 2019-07-11 2019-11-15 天津大学 一种快照式高光谱图像去马赛克方法
WO2021147095A1 (en) * 2020-01-23 2021-07-29 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep residual network for color filter array image denoising
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙帮勇 ; 袁年曾 ; 胡炳樑 ; .一种八谱段滤光片成像系统设计.光子学报.(05),100-109. *
杨鹰 ; 孔玲君 ; .基于改进SL0算法的MSFA模式多光谱图像去马赛克方法.包装学报.(01),40-45. *

Also Published As

Publication number Publication date
CN114240776A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN106709875B (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
US20110317916A1 (en) Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN109785252B (zh) 基于多尺度残差密集网络夜间图像增强方法
CN109859110A (zh) 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法
CN107169946B (zh) 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
US20150326878A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
CN113066022B (zh) 一种基于高效时空信息融合的视频比特增强方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN115272078A (zh) 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
US20160241884A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN115861083B (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN114240776B (zh) 一种针对msfa高光谱图像的去马赛克与压缩融合框架
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN116363036A (zh) 基于视觉增强的红外与可见光图像融合方法
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
CN116208812A (zh) 一种基于立体事件和强度相机的视频插帧方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant