CN111145276B - 基于深度学习和分布式信源编码的高光谱图像压缩方法 - Google Patents

基于深度学习和分布式信源编码的高光谱图像压缩方法 Download PDF

Info

Publication number
CN111145276B
CN111145276B CN201911313423.8A CN201911313423A CN111145276B CN 111145276 B CN111145276 B CN 111145276B CN 201911313423 A CN201911313423 A CN 201911313423A CN 111145276 B CN111145276 B CN 111145276B
Authority
CN
China
Prior art keywords
hyperspectral image
compressed
spectral band
spectral
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911313423.8A
Other languages
English (en)
Other versions
CN111145276A (zh
Inventor
李永军
杜浩浩
李莎莎
邓浩
陈立家
曹雪
王赞
李鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201911313423.8A priority Critical patent/CN111145276B/zh
Publication of CN111145276A publication Critical patent/CN111145276A/zh
Application granted granted Critical
Publication of CN111145276B publication Critical patent/CN111145276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:步骤1:构建高光谱图像显著性检测深度学习网络模型;步骤2:提取待压缩的高光谱图像的谱段分组与关键帧;步骤3:提取待压缩的高光谱图像的谱段组局部显著性特征;步骤4:得到该谱段组的全局显著性映射图;步骤5:得到待压缩的高光谱图像的谱段组的感兴趣区域;步骤6:对谱段组的感兴趣区域进行分布式压缩;步骤7:得到高光谱图像的压缩编码;本发明克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,具有精确压缩有用信息的优点;本发明克服了现有技术中高光谱图像压缩效率低缺点,具有快速实现压缩的优点。

Description

基于深度学习和分布式信源编码的高光谱图像压缩方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于深度学习和分布式信源编码的高光谱图像压缩方法。
背景技术
高光谱图像将确定地物属性的光谱和测量地物空间几何关系的图像有机地结合起来,被广泛应用于军事侦察和国民经济等领域。但随着光谱、空间、时间和辐射等分辨率及量化深度的不断提高,高光谱图像的数据量呈指数增长,数据的存储和传输面临巨大的压力。如何对高光谱遥感的大数据有效压缩,适应应用需求就成为了一个迫在眉睫的问题。
宋娟、吴成柯和张静等人在论文“基于分类和陪集码的高光谱图像无损压缩”(电子与信息学报2011年33卷1期第231页到234页)提出了基于分类和多元陪集编码的分布式高光谱图像编码算法。该算法利用高光谱图像前一谱段相应位置的预测误差,对当前谱段像素进行归类,把具有相近相关性的像素分为一类,对每一类像素分别进行陪集码编码,有效降低了码率。但是由于前一帧预测误差和当前帧预测误差的相关性不是很大,提高的压缩效果有限,同时由于引入了分类使得编码的复杂度有所提高。
哈尔滨工业大学在其专利技术申请“一种高光谱图像压缩方法”(专利申请号:201110122607.3,公开号:102156998A)中公开了一种高光谱图像压缩方法。该方法对待压缩的图像进行分级压缩处理,对感兴趣空间信息和感兴趣光谱信息无损或者近无损的压缩,对其它信息进行大于感兴趣空间信息和感兴趣光谱信息所选压缩比的压缩。该方法可以使特定区域免于损坏,但查找特定区域增加了算法的复杂度。
发明内容
本发明的目的在于提供一种基于深度学习和分布式信源编码的高光谱图像压缩方法,用于解决背景技术中所述的基于分类和陪集码的高光谱图像无损压缩以及一种高光谱图像压缩方法存在的问题。
为了实现上述目的,本发明采用以下技术方案:
基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
步骤1中所述的构建高光谱图像显著性检测深度学习网络模型RHSNet的方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
Figure BDA0002324043780000021
其中,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值,分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
步骤2中所述的提取待压缩的高光谱图像X的谱段分组与关键帧的方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
步骤2.4:计算N个谱段组中各谱段的谱段指数,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
Figure BDA0002324043780000031
其中,
Figure BDA0002324043780000032
是待压缩的高光谱图像X第n谱段组Xn的第ln谱段的谱段指数,σl为第ln谱段的标准差,/>
Figure BDA0002324043780000033
和/>
Figure BDA0002324043780000034
表示第ln谱段与前后两谱段的相关系数,n表示谱段组的序列数;
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
步骤3中所述的提取待压缩的高光谱图像X的谱段组局部显著性特征的方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值进行归一化,具体方法为:
Figure BDA0002324043780000041
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
Figure BDA0002324043780000042
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
Figure BDA0002324043780000043
其中,
Figure BDA0002324043780000044
是谱段组Xn第m谱段的第i行第j列空域滤波后的特征值,Rn是谱段组Xn的谱段数。
步骤4中所述的提取待压缩的高光谱图像X的谱段组高层显著性特征的方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,得到该谱段组Xn的全局显著性映射图Sdeep
所述步骤5包括以下步骤:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
Figure BDA0002324043780000051
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
步骤5.2:根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI
所述步骤6包括以下步骤:
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy
步骤6.4:将待压缩的高光谱图像X的谱段组Xn的非关键帧WZ帧的第r帧xr进行归一化并计算xr的均值
Figure BDA0002324043780000052
步骤6.5:利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
Figure BDA0002324043780000061
其中,W、H分别表示当前帧的长和宽;xr(i,j)是当前帧第i行第j列的像素值,y(i,j)表示关键帧第i行第j列的像素值;
Figure BDA0002324043780000062
和μy表示当前帧xr和边信息y的均值;
步骤6.6:计算当前帧第i行第j列像素值xr(i,j)的预测值和当前帧第i行第j列像素值xr(i,j)与预测值
Figure BDA0002324043780000063
的预测误差;
Figure BDA0002324043780000064
Figure BDA0002324043780000065
其中,
Figure BDA0002324043780000066
表示当前帧第i行第j列像素值xr(i,j)的预测值;er(i,j)表示当前帧第i行第j列像素值xr(i,j)与预测值/>
Figure BDA0002324043780000067
的预测误差;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值
Figure BDA0002324043780000068
的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
本发明的有益效果:
第一,由于本发明采用显著性检测得到的局部显著性映射图与利用深度学习得到的高层特征相融合,克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,使得本发明具有更加精确压缩有用信息的优点;
第二,由于本发明采用谱段分组和关键帧提取技术,对关键帧和非关键帧分别进行处理,克服了现有技术中高光谱图像压缩效率低缺点,使得本发明具有快速实现压缩的优点;
第三,由于本发明将高光谱图像的全局显著性特征映射图进行显著性增强和非显著性抑制,提取其感兴趣区域,并对关键帧的感兴趣区域与背景区域分别处理,克服了现有技术中的缺点,使得本发明具有更好的压缩性能的优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示:本发明所述的一种基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;具体方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化,以保证用于训练的高光谱图像和对应的高光谱图像显著性映射图尺寸符合特征提取网络的要求;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
Figure BDA0002324043780000071
其中,∑(i,j)[G(i,j)log(P(i,j))+(1-G(i,j))log(1-P(i,j))]表示常用的二值交叉熵损失,
Figure BDA0002324043780000072
表示两张图像的结构相似性,以保证高光谱图像显著性检测深度学习网络模型RHSNet在训练时能够更加精确的捕捉图像中的结构信息,增大边界信息在图像训练时得权重;
进一步的,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值(其中K×K表示滑动窗口的大小),分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032,以保证结构相似性函数中分母不为0;
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;具体方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
具体的,按照皮尔逊系数计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,相关系数矩阵如下所示:
Figure BDA0002324043780000081
其中,ρij表示第i个谱段以及第j个谱段之间的相关性,ρi,j值越大,谱段i与谱段j之间的相关性越大,根据该矩阵的“分块”性可确定谱段划分局部范围和矩阵划分子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
进一步的,通过相邻谱段互信息量I确定精确子空间划分位置,将谱段进行分组;该分组中根据相关系数确定谱段的独立性,根据互信息对连续谱段进行精确分组,得到差异性大的谱段组,可提高高光谱图像特性的可分性;
步骤2.4:计算N个谱段组中各谱段的谱段指数,谱段指数考虑了高光谱图像的空间和谱间相关性,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
Figure BDA0002324043780000091
其中,
Figure BDA0002324043780000092
是待压缩的高光谱图像X第n谱段组Xn的第ln谱段的谱段指数,σl为第ln谱段的标准差,/>
Figure BDA0002324043780000093
和/>
Figure BDA0002324043780000094
表示第ln谱段与前后两谱段的相关系数,n表示谱段组的序列数;
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;具体方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值通过Min-Max标准化进行归一化,具体方法为:
Figure BDA0002324043780000095
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:由于高光谱图像序列具有很强的谱内相关性和谱间相关性,因此可以通过空间滤波和时间滤波来提高显著性检测的准确性;具体的,对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
Figure BDA0002324043780000096
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
Figure BDA0002324043780000101
其中,
Figure BDA0002324043780000102
是谱段组Xn第m谱段的第i行第j列空域滤波后的特征值,Rn是谱段组Xn的谱段数;
进一步的,在生物视觉系统中时域滤波器也是出现在视觉皮层的前端的特点,我们采用时域滤波中的均值滤波的方法得到局部显著性特征映射图Svisual
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep;具体方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,该模型基于高光谱图像显著性的高层次识别和理解,具有提取图像高层特征的能力,可以很好地处理传统算法难以解决的高光谱图像显著性深层次表征问题,得到该谱段组Xn的全局显著性映射图Sdeep
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI;具体方法为:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
Figure BDA0002324043780000111
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
具体的,如果宏块n全局显著性大于或等于阈值T,即宏块n被深度卷积神经网络标定为显著的,那么它的显著性值等于q内所有显著性值与距离权重乘积的最大值;而如果宏块n全局显著性值小于阈值T,即被深度卷积神经网络标定为非显著的,先由(1-Svisual(q))d(n,q)计算q的非显著性与距离权值的乘积的最大值,宏块n的显著性值是该最大值的补;这样可以把深度卷积神经网络标定为显著的宏块的特征值依靠它邻域的特征值增大,而把深度卷积神经网络标定为非显著的宏块的特征值减小,从而实现显著性增强和非显著性抑制;
步骤5.2:由于谱段组Xn中不同区域重要程度不同,应对感兴趣区域和非感兴趣区域区别对待,可提高压缩编码效率;因此,根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;具体方法为:
由于谱段组Xn中不同区域重要程度不同,应对感兴趣区域和非感兴趣区域区别对待,提高压缩编码效率;因此,
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;即SRoI在接收端可以无失真重构,可确保感兴趣区域的保真度以及解码图像的人眼主观质量,但是,对谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流,可使获得的码流具有质量可分级特性;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy
步骤6.4:将待压缩的高光谱图像X的谱段组Xn的非关键帧WZ帧的第r帧xr进行归一化并计算xr的均值
Figure BDA0002324043780000128
步骤6.5:对于N个谱段组,将关键帧作为参考帧,为该组中的每一个WZ帧构造基于感兴趣区域的线性预测;具体的,利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
Figure BDA0002324043780000121
其中,W、H分别表示当前帧的长和宽;xr(i,j)是当前帧第i行第j列的像素值,y(i,j)表示关键帧第i行第j列的像素值;
Figure BDA0002324043780000129
和μy表示当前帧xr和边信息y的均值;当前谱段和边信息的相关性决定了传输该谱段所需要的信息量,相关性越高,需要传输的信息量就越少,进而达到高的压缩比;
步骤6.6:计算当前帧第i行第j列像素值xr(i,j)的预测值和当前帧第i行第j列像素值xr(i,j)与预测值
Figure BDA0002324043780000122
的预测误差;
Figure BDA0002324043780000123
Figure BDA0002324043780000124
其中,
Figure BDA0002324043780000125
表示当前帧第i行第j列像素值xr(i,j)的预测值;er(i,j)表示当前帧第i行第j列像素值xr(i,j)与预测值/>
Figure BDA0002324043780000126
的预测误差;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值
Figure BDA0002324043780000127
的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3;即对待压缩的高光谱图像X的谱段组数n加1,判断加1后的谱段组数n是否等于高光谱图像总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
本发明的有益效果:
第一,由于本发明采用显著性检测得到的局部显著性映射图与利用深度学习得到的高层特征相融合,克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,使得本发明具有更加精确压缩有用信息的优点;
第二,由于本发明采用谱段分组和关键帧提取技术,对关键帧和非关键帧分别进行处理,克服了现有技术中高光谱图像压缩效率低缺点,使得本发明具有快速实现压缩的优点;
第三,由于本发明将高光谱图像的全局显著性特征映射图进行显著性增强和非显著性抑制,提取其感兴趣区域,并对关键帧的感兴趣区域与背景区域分别处理,克服了现有技术中的缺点,使得本发明具有更好的压缩性能的优点。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
2.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤1中所述的构建高光谱图像显著性检测深度学习网络模型RHSNet的方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
Figure FDA0002324043770000021
其中,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值,分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
3.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤2中所述的提取待压缩的高光谱图像X的谱段分组与关键帧的方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
步骤2.4:计算N个谱段组中各谱段的谱段指数,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
Figure FDA0002324043770000031
其中,
Figure FDA0002324043770000032
是待压缩的高光谱图像X第n谱段组Xn的第ln谱段的谱段指数,σl为第ln谱段的标准差,
Figure FDA0002324043770000033
Figure FDA0002324043770000034
表示第ln谱段与前后两谱段的相关系数,n表示谱段组的序列数;
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
4.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤3中所述的提取待压缩的高光谱图像X的谱段组局部显著性特征的方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值进行归一化,具体方法为:
Figure FDA0002324043770000035
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
Figure FDA0002324043770000036
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
Figure FDA0002324043770000041
其中,
Figure FDA0002324043770000042
是谱段组Xn第m谱段的第i行第j列空域滤波后的特征值,Rn是谱段组Xn的谱段数。
5.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤4中所述的提取待压缩的高光谱图像X的谱段组高层显著性特征的方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,得到该谱段组Xn的全局显著性映射图Sdeep
6.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:所述步骤5包括以下步骤:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
Figure FDA0002324043770000043
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
步骤5.2:根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI
7.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:所述步骤6包括以下步骤:
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy
步骤6.4:将待压缩的高光谱图像X的谱段组Xn的非关键帧WZ帧的第r帧xr进行归一化并计算xr的均值
Figure FDA0002324043770000051
步骤6.5:利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
Figure FDA0002324043770000052
其中,W、H分别表示当前帧的长和宽;xr(i,j)是当前帧第i行第j列的像素值,y(i,j)表示关键帧第i行第j列的像素值;
Figure FDA0002324043770000053
和μy表示当前帧xr和边信息y的均值;
步骤6.6:计算当前帧第i行第j列像素值xr(i,j)的预测值和当前帧第i行第j列像素值xr(i,j)与预测值
Figure FDA0002324043770000054
的预测误差;
Figure FDA0002324043770000055
Figure FDA0002324043770000056
其中,
Figure FDA0002324043770000057
表示当前帧第i行第j列像素值xr(i,j)的预测值;er(i,j)表示当前帧第i行第j列像素值xr(i,j)与预测值
Figure FDA0002324043770000058
的预测误差;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值
Figure FDA0002324043770000059
的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
CN201911313423.8A 2019-12-18 2019-12-18 基于深度学习和分布式信源编码的高光谱图像压缩方法 Active CN111145276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911313423.8A CN111145276B (zh) 2019-12-18 2019-12-18 基于深度学习和分布式信源编码的高光谱图像压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911313423.8A CN111145276B (zh) 2019-12-18 2019-12-18 基于深度学习和分布式信源编码的高光谱图像压缩方法

Publications (2)

Publication Number Publication Date
CN111145276A CN111145276A (zh) 2020-05-12
CN111145276B true CN111145276B (zh) 2023-03-24

Family

ID=70518841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911313423.8A Active CN111145276B (zh) 2019-12-18 2019-12-18 基于深度学习和分布式信源编码的高光谱图像压缩方法

Country Status (1)

Country Link
CN (1) CN111145276B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787323B (zh) * 2020-05-23 2021-09-03 清华大学 一种基于对抗学习的可变比特率生成式压缩方法
CN114201118B (zh) * 2022-02-15 2022-05-17 北京中科开迪软件有限公司 一种基于光盘库的存储方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016000088A1 (zh) * 2014-07-02 2016-01-07 中国林业科学研究院林业研究所 一种基于最佳指数-相关系数法的高光谱波段提取方法
CN105825530A (zh) * 2016-03-21 2016-08-03 辽宁师范大学 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016000088A1 (zh) * 2014-07-02 2016-01-07 中国林业科学研究院林业研究所 一种基于最佳指数-相关系数法的高光谱波段提取方法
CN105825530A (zh) * 2016-03-21 2016-08-03 辽宁师范大学 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于分布式信源编码的高光谱图像无损压缩研究进展;粘永健等;《宇航学报》;20120730(第07期);全文 *
高光谱图像的分布式近无损压缩;汤毅等;《光学学报》;20150310(第03期);全文 *

Also Published As

Publication number Publication date
CN111145276A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
Xu et al. Reducing complexity of HEVC: A deep learning approach
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
CN110139109B (zh) 图像的编码方法及相应终端
CN110198444B (zh) 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN111726633B (zh) 基于深度学习和显著性感知的压缩视频流再编码方法
CN111145276B (zh) 基于深度学习和分布式信源编码的高光谱图像压缩方法
CN110971901B (zh) 卷积神经网络的处理方法、装置、设备及存储介质
WO2022067656A1 (zh) 一种图像处理方法及装置
CN116600132B (zh) 一种煤矿视频数据自适应压缩方法
CN111970509B (zh) 一种视频图像的处理方法、装置与系统
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN103501438A (zh) 一种基于主成分分析的内容自适应图像压缩方法
Zhu et al. Dictionary based surveillance image compression
Shen et al. A novel method for lossless compression of arbitrarily shaped regions of interest in hyperspectral imagery
He et al. End-to-end facial image compression with integrated semantic distortion metric
Bajpai et al. Curvelet transform based compression algorithm for low resource hyperspectral image sensors
Tolambiya et al. Relevance vector machine with adaptive wavelet kernels for efficient image coding
Savitri et al. Digital medical image compression algorithm using adaptive Huffman coding and graph based quantization based on IWT-SVD
CN114463449A (zh) 一种基于边缘引导的高光谱图像压缩方法
Thiyagarajan et al. An Improved Compression Algorithm for Hyperspectral Images based on DVAT-SVD
Kumari et al. Image Compression using Clustering Techniques for Bio Medical Applications
JPH0448310B2 (zh)
Valsesia et al. Image dequantization for hyperspectral lossy compression with convolutional neural networks
Ade et al. RoI based near lossless hybrid image compression technique
Kala et al. Feature correlation based parallel hyper spectral image compression using a hybridization of FCM and subtractive clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant