CN111145276A - 基于深度学习和分布式信源编码的高光谱图像压缩方法 - Google Patents
基于深度学习和分布式信源编码的高光谱图像压缩方法 Download PDFInfo
- Publication number
- CN111145276A CN111145276A CN201911313423.8A CN201911313423A CN111145276A CN 111145276 A CN111145276 A CN 111145276A CN 201911313423 A CN201911313423 A CN 201911313423A CN 111145276 A CN111145276 A CN 111145276A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral image
- compressed
- spectral band
- spectral
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006835 compression Effects 0.000 title claims abstract description 43
- 238000007906 compression Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 230000003595 spectral effect Effects 0.000 claims abstract description 185
- 238000001228 spectrum Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:步骤1:构建高光谱图像显著性检测深度学习网络模型;步骤2:提取待压缩的高光谱图像的谱段分组与关键帧;步骤3:提取待压缩的高光谱图像的谱段组局部显著性特征;步骤4:得到该谱段组的全局显著性映射图;步骤5:得到待压缩的高光谱图像的谱段组的感兴趣区域;步骤6:对谱段组的感兴趣区域进行分布式压缩;步骤7:得到高光谱图像的压缩编码;本发明克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,具有精确压缩有用信息的优点;本发明克服了现有技术中高光谱图像压缩效率低缺点,具有快速实现压缩的优点。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于深度学习和分布式信源编码的高光谱图像压缩方法。
背景技术
高光谱图像将确定地物属性的光谱和测量地物空间几何关系的图像有机地结合起来,被广泛应用于军事侦察和国民经济等领域。但随着光谱、空间、时间和辐射等分辨率及量化深度的不断提高,高光谱图像的数据量呈指数增长,数据的存储和传输面临巨大的压力。如何对高光谱遥感的大数据有效压缩,适应应用需求就成为了一个迫在眉睫的问题。
宋娟、吴成柯和张静等人在论文“基于分类和陪集码的高光谱图像无损压缩”(电子与信息学报2011年33卷1期第231页到234页)提出了基于分类和多元陪集编码的分布式高光谱图像编码算法。该算法利用高光谱图像前一谱段相应位置的预测误差,对当前谱段像素进行归类,把具有相近相关性的像素分为一类,对每一类像素分别进行陪集码编码,有效降低了码率。但是由于前一帧预测误差和当前帧预测误差的相关性不是很大,提高的压缩效果有限,同时由于引入了分类使得编码的复杂度有所提高。
哈尔滨工业大学在其专利技术申请“一种高光谱图像压缩方法”(专利申请号:201110122607.3,公开号:102156998A)中公开了一种高光谱图像压缩方法。该方法对待压缩的图像进行分级压缩处理,对感兴趣空间信息和感兴趣光谱信息无损或者近无损的压缩,对其它信息进行大于感兴趣空间信息和感兴趣光谱信息所选压缩比的压缩。该方法可以使特定区域免于损坏,但查找特定区域增加了算法的复杂度。
发明内容
本发明的目的在于提供一种基于深度学习和分布式信源编码的高光谱图像压缩方法,用于解决背景技术中所述的基于分类和陪集码的高光谱图像无损压缩以及一种高光谱图像压缩方法存在的问题。
为了实现上述目的,本发明采用以下技术方案:
基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep;
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI;
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
步骤1中所述的构建高光谱图像显著性检测深度学习网络模型RHSNet的方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
其中,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值,分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032;
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
步骤2中所述的提取待压缩的高光谱图像X的谱段分组与关键帧的方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
步骤2.4:计算N个谱段组中各谱段的谱段指数,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
步骤3中所述的提取待压缩的高光谱图像X的谱段组局部显著性特征的方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值进行归一化,具体方法为:
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
步骤4中所述的提取待压缩的高光谱图像X的谱段组高层显著性特征的方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,得到该谱段组Xn的全局显著性映射图Sdeep。
所述步骤5包括以下步骤:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
步骤5.2:根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI。
所述步骤6包括以下步骤:
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy;
步骤6.5:利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
本发明的有益效果:
第一,由于本发明采用显著性检测得到的局部显著性映射图与利用深度学习得到的高层特征相融合,克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,使得本发明具有更加精确压缩有用信息的优点;
第二,由于本发明采用谱段分组和关键帧提取技术,对关键帧和非关键帧分别进行处理,克服了现有技术中高光谱图像压缩效率低缺点,使得本发明具有快速实现压缩的优点;
第三,由于本发明将高光谱图像的全局显著性特征映射图进行显著性增强和非显著性抑制,提取其感兴趣区域,并对关键帧的感兴趣区域与背景区域分别处理,克服了现有技术中的缺点,使得本发明具有更好的压缩性能的优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示:本发明所述的一种基于深度学习和分布式信源编码的高光谱图像压缩方法,包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;具体方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化,以保证用于训练的高光谱图像和对应的高光谱图像显著性映射图尺寸符合特征提取网络的要求;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
其中,∑(i,j)[G(i,j)log(P(i,j))+(1-G(i,j))log(1-P(i,j))]表示常用的二值交叉熵损失,表示两张图像的结构相似性,以保证高光谱图像显著性检测深度学习网络模型RHSNet在训练时能够更加精确的捕捉图像中的结构信息,增大边界信息在图像训练时得权重;
进一步的,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值(其中K×K表示滑动窗口的大小),分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032,以保证结构相似性函数中分母不为0;
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;具体方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
具体的,按照皮尔逊系数计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,相关系数矩阵如下所示:
其中,ρi,j表示第i个谱段以及第j个谱段之间的相关性,ρi,j值越大,谱段i与谱段j之间的相关性越大,根据该矩阵的“分块”性可确定谱段划分局部范围和矩阵划分子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
进一步的,通过相邻谱段互信息量I确定精确子空间划分位置,将谱段进行分组;该分组中根据相关系数确定谱段的独立性,根据互信息对连续谱段进行精确分组,得到差异性大的谱段组,可提高高光谱图像特性的可分性;
步骤2.4:计算N个谱段组中各谱段的谱段指数,谱段指数考虑了高光谱图像的空间和谱间相关性,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;具体方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值通过Min-Max标准化进行归一化,具体方法为:
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:由于高光谱图像序列具有很强的谱内相关性和谱间相关性,因此可以通过空间滤波和时间滤波来提高显著性检测的准确性;具体的,对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
进一步的,在生物视觉系统中时域滤波器也是出现在视觉皮层的前端的特点,我们采用时域滤波中的均值滤波的方法得到局部显著性特征映射图Svisual。
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep;具体方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,该模型基于高光谱图像显著性的高层次识别和理解,具有提取图像高层特征的能力,可以很好地处理传统算法难以解决的高光谱图像显著性深层次表征问题,得到该谱段组Xn的全局显著性映射图Sdeep。
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI;具体方法为:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
具体的,如果宏块n全局显著性大于或等于阈值T,即宏块n被深度卷积神经网络标定为显著的,那么它的显著性值等于q内所有显著性值与距离权重乘积的最大值;而如果宏块n全局显著性值小于阈值T,即被深度卷积神经网络标定为非显著的,先由(1-Svisual(q))d(n,q)计算q的非显著性与距离权值的乘积的最大值,宏块n的显著性值是该最大值的补;这样可以把深度卷积神经网络标定为显著的宏块的特征值依靠它邻域的特征值增大,而把深度卷积神经网络标定为非显著的宏块的特征值减小,从而实现显著性增强和非显著性抑制;
步骤5.2:由于谱段组Xn中不同区域重要程度不同,应对感兴趣区域和非感兴趣区域区别对待,可提高压缩编码效率;因此,根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI。
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;具体方法为:
由于谱段组Xn中不同区域重要程度不同,应对感兴趣区域和非感兴趣区域区别对待,提高压缩编码效率;因此,
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;即SRoI在接收端可以无失真重构,可确保感兴趣区域的保真度以及解码图像的人眼主观质量,但是,对谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流,可使获得的码流具有质量可分级特性;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy;
步骤6.5:对于N个谱段组,将关键帧作为参考帧,为该组中的每一个WZ帧构造基于感兴趣区域的线性预测;具体的,利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
其中,W、H分别表示当前帧的长和宽;xr(i,j)是当前帧第i行第j列的像素值,y(i,j)表示关键帧第i行第j列的像素值;和μy表示当前帧xr和边信息y的均值;当前谱段和边信息的相关性决定了传输该谱段所需要的信息量,相关性越高,需要传输的信息量就越少,进而达到高的压缩比;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3;即对待压缩的高光谱图像X的谱段组数n加1,判断加1后的谱段组数n是否等于高光谱图像总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
本发明的有益效果:
第一,由于本发明采用显著性检测得到的局部显著性映射图与利用深度学习得到的高层特征相融合,克服了现有技术中难以解决的场景显著性深层次表征问题的缺点,使得本发明具有更加精确压缩有用信息的优点;
第二,由于本发明采用谱段分组和关键帧提取技术,对关键帧和非关键帧分别进行处理,克服了现有技术中高光谱图像压缩效率低缺点,使得本发明具有快速实现压缩的优点;
第三,由于本发明将高光谱图像的全局显著性特征映射图进行显著性增强和非显著性抑制,提取其感兴趣区域,并对关键帧的感兴趣区域与背景区域分别处理,克服了现有技术中的缺点,使得本发明具有更好的压缩性能的优点。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:包括以下步骤:
步骤1:构建高光谱图像显著性检测深度学习网络模型RHSNet;
步骤2:提取待压缩的高光谱图像X的谱段分组与关键帧;
步骤3:根据步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧,提取待压缩的高光谱图像X的谱段组局部显著性特征;
步骤4:将步骤2得到的待压缩的高光谱图像X的谱段分组与关键帧作为输入,输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,提取待压缩的高光谱图像X的谱段组高层显著性特征,得到该谱段组Xn的全局显著性映射图Sdeep;
步骤5:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到谱段组Xn的显著性映射图Sfuse,并进一步得到待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI;
步骤6:对步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI进行分布式压缩,直至待压缩的高光谱图像X的谱段组Xn中非关键帧的序列号加1后的和值等于谱段组Xn中非关键帧的总数值;
步骤7:判断待压缩的高光谱图像X的谱段组数加1后的和值是否等于高光谱图像X总的谱段组数N,若是,则得到高光谱图像的压缩编码;否则,执行步骤3。
2.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤1中所述的构建高光谱图像显著性检测深度学习网络模型RHSNet的方法为:
步骤1.1:对用于训练的高光谱图像和对应的高光谱图像显著性映射图进行尺寸归一化;
步骤1.2:把归一化的高光谱图像Xnorm和对应的高光谱图像显著性映射图Snorm送入ResNet-50网络,构建高光谱图像显著性检测深度学习网络模型RHSNet,具体方法为:
其中,G(i,j)∈{0,1}表示第i行第j列的像素点是否为GT label;
P(i,j)表示预测出(i,j)像素点为显著物体的概率;
e={ek∶k=1,2,……,K2}和f={fk∶k=1,2,……,K2}是两个对应Patch的像素值,分别从预测显著性概率图Snorm和高光谱图像Xnorm中裁剪;
μe、μf和σe、σf分别是e和f的均值和标准差,σef为e和f的协方差;
C1、C2分别取0.012和0.032;
步骤1.3:利用随机梯度下降法对高光谱图像显著性检测深度学习网络模型RHSNet进行训练,训练批次的大小为Batch=32,动量为Momentum=0.9,重量衰减为γ=0.0005,学习率初始设定为lr=0.001,当损失稳定时,每训练十个批次学习率lr降低0.1倍,训练周期Epoch=80,最终得到训练好的高光谱图像显著性检测深度学习网络模型RHSNet。
3.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤2中所述的提取待压缩的高光谱图像X的谱段分组与关键帧的方法为:
步骤2.1:输入待压缩的高光谱图像X,将待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W输出至压缩码流,每个值占16比特;
步骤2.2:利用步骤2.1得到的待压缩的高光谱图像X的谱段数L、每个谱段的高H和宽W,计算高光谱图像X各谱段相关系数ρ,得到L×L相关系数矩阵,并根据矩阵“分块”性划分出G个子空间;
步骤2.3:计算G个子空间中各谱段间的互信息I,根据G个子空间内互信息的最小值,在G个子空间的基础上以互信息I最小值的位置作为分界点将G个子空间划分为N个谱段组,N>G;具体的:
I(lu,lv)=H(lu)+H(lv)-H(lu,lv);
其中,lu、lv表示待压缩的高光谱图像X的第n子空间中的两个谱段,H(lu)和H(lv)分别表示lu和lv的信息熵,H(lu,lv)表示lu和lv的联合信息熵;
步骤2.4:计算N个谱段组中各谱段的谱段指数,将各谱段组中谱段指数最大的谱段作为关键帧K,谱段组里的其它帧作为非关键帧WZ帧,得到第n谱段组Xn的一个关键帧K和R-1个WZ帧,具体的:
步骤2.5:将待压缩的高光谱图像X的谱段组数N和每个谱段组所包含的谱段数R,以及关键帧所在的谱段号lx输出至压缩码流。
4.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤3中所述的提取待压缩的高光谱图像X的谱段组局部显著性特征的方法为:
步骤3.1:对待压缩的高光谱图像X第n个谱段组Xn中每一个谱段的亮度值进行归一化,具体方法为:
其中,VALmax和VALmin分别是谱段组Xn当前帧亮度值的最大值和最小值,NORM(i,j)表示当前帧的第i行第j列个像素的归一化特征值;
步骤3.2:对归一化得到的谱段组Xn每一帧的特征值NORM进行卷积空域平滑,具体方法为:
其中,FILT(i,j)表示当前帧第i行第j列个像素归一化特征值卷积空域平滑的结果,h(s,t)是一个m×n大小的高斯滤波器,a=(m-1)/2,b=(n-1)/2;
步骤3.3:对步骤3.2得到的谱段组Xn卷积空域平滑的结果,进行谱方向的均值滤波,得到待压缩的高光谱图像X的谱段组局部显著性特征映射图Svisual,具体方法为:
5.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:步骤4中所述的提取待压缩的高光谱图像X的谱段组高层显著性特征的方法为:
步骤4.1:对步骤2得到的待压缩的高光谱图像X的谱段组Xn的关键帧进行尺寸的归一化;
步骤4.2:将步骤4.1得到的待压缩的高光谱图像X的谱段组Xn的归一化后关键帧输入步骤1得到的高光谱图像显著性检测深度学习网络模型RHSNet,得到该谱段组Xn的全局显著性映射图Sdeep。
6.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:所述步骤5包括以下步骤:
步骤5.1:将步骤3得到的待压缩的高光谱图像X的谱段组Xn局部显著性特征和步骤4得到的待压缩的高光谱图像X的谱段组Xn的全局显著性映射图Sdeep进行融合与增强,得到待压缩的高光谱图像X谱段组Xn的显著性映射图Sfuse,具体方法为:
其中,d(n,q)是距离权重,n=(i,j)是当前处理像素的位置,q=(i′,j′,k′),|i-i′|≤1,|j-j′|≤1,|k-k′|≤Rn-1是包括n及其邻域的宏块集合,T是阈值常量;
步骤5.2:根据步骤5.1得到的待压缩的高光谱图像X谱段组Xn特征映射图Sfuse确定高光谱图像谱段组Xn的感兴趣区域SROI。
7.根据权利要求1所述的基于深度学习和分布式信源编码的高光谱图像压缩方法,其特征在于:所述步骤6包括以下步骤:
步骤6.1:利用步骤5得到的待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI,对待压缩的高光谱图像X的谱段组Xn的感兴趣区域SROI生成掩膜(Mask),并对掩膜进行JPEG-LS压缩编码输出至压缩码流;
步骤6.2:对待压缩的高光谱图像X的谱段组Xn中关键帧的非感兴趣区域采用分级SPIHT有损压缩并输出至压缩码流;
步骤6.3:将待压缩的高光谱图像X的谱段组Xn的关键帧作为边信息y,对y进行归一化并计算y的均值μy;
步骤6.5:利用最小二乘法计算使预测方差取得最小值的预测参数α,对α进行256级量化后传到接收端;
步骤6.7:对当前帧第i行第j列像素值xr(i,j)与预测值的预测误差er(i,j)进行典型的压缩感知采样,观测矩阵采用高斯随机矩阵,并将采样值经算术编码后输出至压缩码流,而预测参数α直接输出至压缩码流;
步骤6.8:将待压缩的高光谱图像X的谱段组Xn中WZ帧的序列号r加1,判断加1后的WZ帧的列序号r是否等于第n个谱段组Xn中WZ帧的总数R-1,若是,执行步骤7,否则,执行步骤6.4。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911313423.8A CN111145276B (zh) | 2019-12-18 | 2019-12-18 | 基于深度学习和分布式信源编码的高光谱图像压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911313423.8A CN111145276B (zh) | 2019-12-18 | 2019-12-18 | 基于深度学习和分布式信源编码的高光谱图像压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145276A true CN111145276A (zh) | 2020-05-12 |
CN111145276B CN111145276B (zh) | 2023-03-24 |
Family
ID=70518841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911313423.8A Active CN111145276B (zh) | 2019-12-18 | 2019-12-18 | 基于深度学习和分布式信源编码的高光谱图像压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145276B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111787323A (zh) * | 2020-05-23 | 2020-10-16 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
CN114201118A (zh) * | 2022-02-15 | 2022-03-18 | 北京中科开迪软件有限公司 | 一种基于光盘库的存储方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016000088A1 (zh) * | 2014-07-02 | 2016-01-07 | 中国林业科学研究院林业研究所 | 一种基于最佳指数-相关系数法的高光谱波段提取方法 |
CN105825530A (zh) * | 2016-03-21 | 2016-08-03 | 辽宁师范大学 | 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法 |
WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN108960333A (zh) * | 2018-07-12 | 2018-12-07 | 西安电子科技大学 | 基于深度学习的高光谱图像无损压缩方法 |
-
2019
- 2019-12-18 CN CN201911313423.8A patent/CN111145276B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016000088A1 (zh) * | 2014-07-02 | 2016-01-07 | 中国林业科学研究院林业研究所 | 一种基于最佳指数-相关系数法的高光谱波段提取方法 |
CN105825530A (zh) * | 2016-03-21 | 2016-08-03 | 辽宁师范大学 | 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法 |
WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN108960333A (zh) * | 2018-07-12 | 2018-12-07 | 西安电子科技大学 | 基于深度学习的高光谱图像无损压缩方法 |
Non-Patent Citations (2)
Title |
---|
汤毅等: "高光谱图像的分布式近无损压缩", 《光学学报》 * |
粘永健等: "基于分布式信源编码的高光谱图像无损压缩研究进展", 《宇航学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111787323A (zh) * | 2020-05-23 | 2020-10-16 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
CN111787323B (zh) * | 2020-05-23 | 2021-09-03 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
US11153566B1 (en) | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
CN114201118A (zh) * | 2022-02-15 | 2022-03-18 | 北京中科开迪软件有限公司 | 一种基于光盘库的存储方法及系统 |
CN114201118B (zh) * | 2022-02-15 | 2022-05-17 | 北京中科开迪软件有限公司 | 一种基于光盘库的存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111145276B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110225341B (zh) | 一种任务驱动的码流结构化图像编码方法 | |
Xu et al. | Reducing complexity of HEVC: A deep learning approach | |
CN110139109B (zh) | 图像的编码方法及相应终端 | |
CN110198444B (zh) | 视频帧编码方法、视频帧编码设备及具有存储功能的装置 | |
CN111726633B (zh) | 基于深度学习和显著性感知的压缩视频流再编码方法 | |
CN110971901B (zh) | 卷积神经网络的处理方法、装置、设备及存储介质 | |
WO2022067656A1 (zh) | 一种图像处理方法及装置 | |
CN111145276B (zh) | 基于深度学习和分布式信源编码的高光谱图像压缩方法 | |
Abdulrahman et al. | Face recognition using enhancement discrete wavelet transform based on MATLAB | |
CN103903261B (zh) | 一种基于分块压缩感知的光谱图像处理方法 | |
CN111970509B (zh) | 一种视频图像的处理方法、装置与系统 | |
CN116233479B (zh) | 基于数据处理的直播信息内容审核系统及方法 | |
CN116600132A (zh) | 一种煤矿视频数据自适应压缩方法 | |
He et al. | End-to-end facial image compression with integrated semantic distortion metric | |
CN117061711B (zh) | 一种基于物联网的视频监控安全管理方法及系统 | |
CN117750015A (zh) | 一种基于时域特征增强的神经表示视频压缩方法 | |
Tolambiya et al. | Relevance vector machine with adaptive wavelet kernels for efficient image coding | |
CN113160345B (zh) | 一种基于ConvLSTM的时间序列影像重建方法 | |
Savitri et al. | Digital medical image compression algorithm using adaptive Huffman coding and graph based quantization based on IWT-SVD | |
Zhao et al. | A Novel Framework for Object‐Based Coding and Compression of Hyperspectral Imagery | |
Proskura et al. | Classification of BPG-Based Lossy Compressed Noisy Images | |
Kumari et al. | Image Compression using Clustering Techniques for Bio Medical Applications | |
Thiyagarajan et al. | An Improved Compression Algorithm for Hyperspectral Images based on DVAT-SVD | |
Liu et al. | Decomposed Soft Compression for Remote Sensing Image | |
Valsesia et al. | Image dequantization for hyperspectral lossy compression with convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |