CN105163121A - 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 - Google Patents
基于深度自编码网络的大压缩比卫星遥感图像压缩方法 Download PDFInfo
- Publication number
- CN105163121A CN105163121A CN201510524105.1A CN201510524105A CN105163121A CN 105163121 A CN105163121 A CN 105163121A CN 201510524105 A CN201510524105 A CN 201510524105A CN 105163121 A CN105163121 A CN 105163121A
- Authority
- CN
- China
- Prior art keywords
- network
- compression
- remote sensing
- depth
- coding device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法,主要解决现有技术压缩比低的问题。其实现步骤为:将多个自编码器级联堆叠构成深度自编码网络;输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络;待压缩的遥感图像送入深度压缩网络,得到高阶稀疏特征,对特征量化和编码得到最终压缩码流;对接收到的码流反量化和编码,得到高阶稀疏特征并送入深度解压网络,网络的最终输出为解压的遥感图像。本发明结合图像处理与深度学习技术,实现卫星遥感数据的大倍率压缩;因压缩与解压过程只需进行简单的前向传递操作,实时性好;减轻了海量遥感数据的存储与传输负担。
Description
技术领域:
本发明属于图像处理和机器学习技术领域,更进一步涉及遥感图像的压缩方法,具体是一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法,可用于卫星遥感图像的在轨实时大倍率压缩、存储与传输,自然场景图像。
背景技术:
遥感是空间信息网络的重要应用,在环境、交通、海洋、农业、水利、测绘、地质等诸多领域发挥着重要的作用。随着新的卫星数据业务和新型传感器的发展,我国卫星遥感数据量正在呈几何级数增长,海量的高分辨卫星遥感数据在为遥感应用带来质量更高的数据源的同时,也给遥感数据存储与传输带来了困难。研究星地高速数据传输的新原理和新方法,设计压缩比大、失真度小、实时性好,并且能够准确保留影像结构信息的星上在轨压缩算法,已经成为当前极为迫切和重要的任务。
遥感数据存在空间性冗余、结构性冗余、时间性冗余、关注度冗余、心理视觉冗余、匹配性冗余与编码冗余等,使得其压缩成为可能。
DWT变换虽然能够对影像进行多尺度表示,但是无法捕获对象的边缘、纹理、轮廓等抽象结构信息。传统的遥感图像压缩技术很难做到大倍率实时在轨压缩。
传统的遥感图像数据压缩一般属于数据级压缩,只是为了减少存储空间与传输带宽,压缩数据不包含图像的特征。与数据级压缩相比,特征级压缩不仅可以减少存储空间与传输带宽,而且可以有效减少遥感图像分类、目标检测和识别等后续步骤的处理时间。
目前,遥感图像的特征级压缩方法还很少,主要是基于字典学习的线性稀疏编码方法,线性稀疏编码是一种“浅层架构”下的数据表征模型,只能学习到低级的诸如边缘方向的低阶特征,尽管可以通过字典学习获得稀疏描述空间,但通常不能挖掘出复杂非结构化场景的隐含解释性因素。
发明内容:
本发明的目的在于克服现有技术的不足,结合深度学习与图像压缩与传输等理论技术,提出了一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法,以实现遥感图像的大倍率实时在轨压缩。
为实现上述目的,本发明的基于深度自编码网络的大压缩比卫星遥感图像压缩方法包括如下步骤:
1)将多个自编码器堆叠构成深度自编码网络,自编码器主要包括基本的自编码器、稀疏自编码器、降噪自编码器、正则化自编码器。为挖掘复杂非结构化场景下的遥感影像的高阶稀疏特征,利用深度学习思想构造深度自编码网络。
2)输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络,这里的深度压缩网络也就是深度自编码压缩网络,同样,深度解压网络就是深度自编码解压网络。
3)将待压缩的卫星遥感图像送入深度压缩网络,进行一次前向传递操作,网络的输出即高阶稀疏特征,对高阶稀疏特征进行量化和编码得到最终的能够进行传输与存储的码流,实现遥感数据的大倍率压缩。
4)对接收到的码流进行反量化和编码,得到高阶稀疏特征,将高阶稀疏特征送入深度解压网络,网络的输出为解压后的遥感图像。解压后的遥感图像通常也称为重构图像。
本发明与现有技术相比具有如下优点:
第一,本发明可以将遥感图像所有波段的立方体数据作为深度压缩网络的输入,网络自动提取空间以及光谱维的特征,能够去除各波段间的光谱冗余以及波段内部的空间冗余,克服了现有算法压缩前需要先进行去光谱间相关性的操作的不足。本发明也可以对去波段间相关性后的遥感图像数据进行压缩。
第二,本发明的压缩过程只进行一次前向传递操作,只需简单的矩阵乘法等操作,因而实时性较好,实现简单,为在轨压缩提供了可能。
第三,本发明由于使用深度学习技术提取遥感图像数据的抽象高阶稀疏特征,所以只对压缩图像数据做简单的反量化和编码操作即得到图像的高阶稀疏特征,减少了后期应用处理的时间,属于特征级压缩方法。
附图说明:
图1是本发明的实现流程图;
图2是本发明中深度压缩网络与深度解压网络形成示意图;
图3(a)是本发明实验中采用的待压缩卫星遥感图像的第10波段原始图像;
图3(b)是本发明实验中采用的待压缩卫星遥感图像的第60波段原始图像;
图4(a)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图3(a)所示图像压缩后重构结果图;
图4(b)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图3(b)所示图像压缩后重构结果图;
图5(a)是本发明方法采用2个自编码器构成的压缩比为8的深度压缩网络对图3(a)所示图像压缩后重构结果图;
图5(b)是本发明方法采用2个自编码器构成的压缩比为8的深度压缩网络对图3(b)所示图像压缩后重构结果图;
图6(a)是本发明实验中采用的一幅待压缩彩色自然场景图像;
图6(b)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图6(a)所示图像压缩后重构结果图;
图7(a)是本发明实验中采用的一幅待压缩彩色自然场景图像;
图7(b)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图7(a)所示图像压缩后重构结果图。
具体实施方式:
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图说明本发明技术方案中所涉及的技术问题。
应指出的是,所描述的实施方式仅旨在便于对本发明的理解,而对其不起任何限定作用。
随着新的卫星数据业务和新型传感器的发展,我国卫星遥感数据量正在呈指数级数增长,新一代遥感卫星要求数据实时传输的速率达到几百Mbps-几Gbps,而目前最高传输速率才有几百Mbps。星上遥感数据压缩技术也得到了越来越多的重视,现有的无论是数据级卫星遥感图像压缩技术还是特征级卫星遥感图像压缩技术,都很难在保证图像质量的条件下达到压缩比大于8倍的大倍率压缩。设计一种压缩比大、失真度小、实时性好,并且能够准确保留影像结构信息的星上在轨压缩算法,已经成为卫星遥感影像压缩当前极为迫切和重要的任务,本发明正是在卫星遥感图像压缩技术领域进行地研究与创新。
实施例1
本发明是一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法,参见图1,包括如下步骤:
1)构建深度自编码网络,将多个自编码器级联堆叠构成深度自编码网络,自编码器主要包括基本的自编码器、稀疏自编码器、降噪自编码器、正则化自编码器。本发明利用深度学习技术逐步提取数据的高阶稀疏特征的技术优势,构建深度自编码网络提取遥感影像的高阶稀疏特征,并应用于卫星遥感影像压缩。
2)训练深度自编码网络,输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络。训练好深度自编码网络,也就训练好了每个自编码器,然后按一定的规则堆叠这些自编码器构成深度压缩网络和深度解压网络,它们也都是深度神经网络。
3)在深度压缩网络中压缩卫星遥感影像,将待压缩的卫星遥感图像送入深度压缩网络,计算网络各隐藏层的输出,得到层次化的逐步抽象的稀疏特征,对高阶稀疏特征进行量化和编码得到最终的能够进行传输与存储码流,实现遥感数据的大倍率压缩。已有的均匀量化、非均匀量化、矢量量化、熵编码和算术编码等量化和编码方法,各自具有其优缺点,在本发明中均可使用,实际使用中要根据稀疏特征的特点进行选择。
4)在深度解压网络中解压卫星遥感影像,对接收到的码流进行反量化和编码,得到高阶稀疏特征,将高阶稀疏特征送入深度解压网络,得到解压后的遥感图像。解压后的遥感图像通常也称为重构图像。这里接收压缩码流的设备即可以是卫星,也可以是地面接收站等设备。这里的反量化和编码操作对应于压缩时所采用的量化和编码操作的反操作。
本发明不同于“浅层架构”下的学习,深度学习是一种能够自动、多层次抽取复杂信息的“深层学习”架构模型,能够获得遥感影像的纹理、目标部件等更为高阶的特征,从而使得大倍率的卫星遥感影像压缩成为可能。
实施例2
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1,步骤1)中所述的多个自编码器,其数量宜在2-9的范围内选定。理论上自编码器的个数是不受限制的,但是自编码器的个数过多,使得网络结构较为复杂,训练深度自编码网络所需样本数和时间大大增加,过少又难以实现大倍率压缩,本发明经过反复的实验对比,自编码器的个数优选范围2到9个为宜。
因为深度自编码网络是一个由多个自编码器组成的神经网络,其前一层自编码器的输出作为后一层自编码器的输入,所以每个自编码器的输入层节点数目与隐藏层节点数目满足:后一个自编码器的输入层节点数等于前一个自编码器隐藏层的节点数,并且第一个自编码器的输入层节点数等于原始输入的维度。这里原始输入是指将遥感图像按行或按列逐像素排成的向量。例如,对于一组高为H、宽为W、波段数为B的遥感影像I,则该遥感影像共有H×W个像素,把位置(i,j)处的像素记为I(i,j),则I(i,j)是一个维度为B的向量,将所有像素按行或按列拼成维度为H×W×B原始输入向量。如果遥感图像尺寸较大,可对遥感影像的每个波段的图像进行相同的8×8的分块处理,分块后每个块的大小为8×8×B,然后将每个8×8的图像块内像素按行或按列拼成向量,作为原始输入,那么第一个自编码器的输入层节点数为8×8×B。如果不考虑遥感图像波段间的相关性,可以把每个波段对应的图像数据当作一幅图像来处理。
本例中自编码器的个数是4个,其实施效果可通过实施例6的实验验证。
实施例3
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-2,步骤3)中的深度压缩网络是:将训练好的每个自编码器的输入层与隐藏层,保持其连接关系及网络参数不变,顺序堆叠构成深度神经网络。即深度压缩网络的第一层与第二层为第一个自编码器的输入层与隐藏层,第二层与第三层为第二个自编码器的输入层与隐藏层,第三层与第四层为第三个自编码器的输入层与隐藏层,依次类推。本例中自编码器的个数是2个。
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-2,步骤4)中的深度解压网络是:将训练好的每个自编码器的隐藏层与输出层,保持其连接关系及网络参数不变,逆序堆叠构成深度神经网络。即深度解压网络的第一层与第二层为最后一个自编码器的隐藏层与输出层,第二层与第三层为倒数第二个自编码器的隐藏层与输出层,第三层与第四层为倒数第三个自编码器的隐藏层与输出层,依次类推。本例中自编码器的个数是2个。
本例已通过实验仿真,实验条件同实施例6,用于构建深度自编码网络的第一个自编码器的结构为:64-48-64,第二个自编码器的结构为:48-8-48,那么深度压缩网络的结构为:64-48-8。图3(a)为一组待压缩的遥感影像的第10波段的原始图像,采用本例的深度压缩网络进行8倍压缩后的效果图如图5(a)所示,峰值信噪比为30.48dB,图3(b)为一组待压缩的遥感影像的第60波段的原始图像,采用本例的深度压缩网络进行8倍压缩后的效果图如图5(b)所示,峰值信噪比为29.32dB。可见,采用本例的两个自编码器构成的深度自编码网络,在对遥感数据进行大倍率压缩的同时保证了压缩图像高质量的重构。
实施例4
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-3,本例中自编码器的个数是9个。
当自编码器的个数为9个时,深度自编码网络结构较为庞大,这一方面增加了深度自编码网络的训练时间,另一方面需要更多的训练图像数据来训练深度自编码网络。故本例适用于训练图像数据充足,且用于训练深度自编码网络的设备性能较好的情况。
下面结合具体操作和技术原理给出一个综合性的例子。
实施例5
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-4,
本发明基于深度自编码网络的大压缩比卫星遥感图像压缩方法,如图1所示,本发明的卫星遥感图像压缩方法包括有如下步骤:
步骤S1:将多个自编码器级联堆叠构成深度自编码网络,自编码器主要包括基本的自编码器、稀疏自编码器、降噪自编码器、正则化自编码器。
步骤S11自编码器:自编码器,记为AE,可视为一个三层的神经网络,包含一个输入层、一个隐藏层和一个输出层,如图2所示。自编码器以输入为输出,希望学习出输入的近似,所以称得上是无监督学习。从输入层到隐藏层是编码过程,从隐藏层到输出层是解码过程。当隐藏层节点数小于输入层节点数时,自编码器的隐藏层输出为数据的压缩表示。
记隐藏层激活函数为sf,通常取为sigmoid函数,输出层激活函数为sg,通常取为sigmoid函数或恒等函数,则从输入层到隐藏层编码过程表示为:
h=sf(W(1)x+b(1))
从隐藏层到输出层解码过程表示成:
其中,x=(x1,x2,…,xn)T为自编码器的输入,为自编码器的输出,h为自编码器的隐藏层输出,即编码,W(1)为输入层至隐藏层的权重,b(1)为偏置,W(2)为隐藏层到输出层的权重和偏置,b(2)偏置。
一般用交叉熵衡量x与间的重构误差:
对于训练样本集记θ={W(1),W(2),b(1),b(2)},则整体的损失函数为:
自编码器实际上就是优化上述损失函数,使其达到最小。为防止过拟合,可对权重加以限制,即加入L2正则项,得到正则化的自编码器,其损失函数为:
若要求自编码器满足一定的稀疏性,即神经元大部分时间处于抑制状态,可以加入稀疏性约束,得到稀疏自编码器,其损失函数为:
其中,ρ为稀疏性参数表示:隐藏层的第j个神经元在样本集上的平均激活度,并用KL离散度来惩罚那些与ρ有显著不同的
若要求自编码器具有一定的鲁棒性,可以对输入加入随机性噪声限制,得到降噪自编码器。即对输入进行随机地“破坏”,同时要求网络能够对损坏了的输入数据进行编码,且能很好地重构出原始未“破坏”的输入。这样隐藏层的表示对输入数据的扰动就变得更为鲁棒。通常加入的随机性噪声为:加性且同性的高斯噪声或者二值掩码噪声。
步骤S12深度自编码网络:将多个自编码器,还应包括其变种如稀疏自编码器,降噪自编码器,堆叠而成的深层神经网络,其前一层自编码器的输出作为其后一层自编码器的输入,如图2所示,有四个自编码器AE1-AE4,其中AE1的网络结构为输入层-隐藏层-输出层:5-5-5,AE2的网络结构为输入层-隐藏层-输出层:5-4-5,AE3的网络结构为输入层-隐藏层-输出层:4-3-4,AE4的网络结构为输入层-隐藏层-输出层:3-2-3,以上结构仅作为示意,实际上自编码器的结构要更庞大,下同。
对于一个n层深度自编码网络,用W(k,1),W(k,2),b(k,1),b(k,2)表示第k个自编码器对应的W(1),W(2),b(1),b(2)参数。那么该深度自编码器网络的编码过程就是,按照自编码器从前向后的堆叠顺序执行每一层自编码器的编码,编码公式为:
h(k+1)=sf(W(k,1)h(k)+b(k,1))(1)
同理,深度自编码网络的解码过程就是,按照自编码器从后向前的堆叠顺序执行每一层自编码器的解码,其解码公式为:
h(n+k)=sg(W(n-k,2)h(k+1)+b(n-k,2))(2)
其中,h(n)为最深层隐藏层的输出,包含了我们感兴趣的信息,也是对输入的更高阶的稀疏特征表示。
步骤S2:输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络。
步骤S21深度自编码网络的训练:采用逐层训练的方法,即每次只训练一层网络,即一个自编码器。用原始图像数据训练第一层网络,得到网络参数W(1,1),W(1,2),b(1,1),b(1,2)和隐藏层编码h(1),然后将该层的隐藏层编码h(1)作为下一个自编码器的输入,训练该自编码器得到网络参数W(2,1),W(2,2),b(2,1),b(2,2)和隐藏层编码h(2),依次类推,直至最后一层,即完成网络的训练。如图2所示,设有四个自编码器或其变种:AE1、AE2、AE3、AE4。先用原始图像数据训练AE1,得到网络参数和隐藏层编码C1;然后以C1作为AE2的输入,训练AE2,得到网络参数和隐藏层编码C2;再以C2作为AE3的输入,训练AE3,得到网络参数和隐藏层编码C3;再以C3作为AE4的输入,训练AE4,得到网络参数和隐藏层编码C4,完成训练。
步骤S3:将待压缩的遥感图像送入深度压缩网络,按照式(1)计算网络的各隐藏层输出,得到层次化的逐步抽象的稀疏特征,网络最后一层的输出为高阶稀疏特征,对其进行量化和编码得到最终的能够进行传输与存储码流,实现遥感数据的大倍率压缩。具体过程如下:
步骤S31深度压缩网络:将训练好的每个自编码器的输入层与隐藏层,保持其连接关系及网络参数不变,顺序堆叠构成深度神经网络。如图2所示,设有4个训练好的自编码器AE1-AE4,则深度压缩网络的第一层与第二层为自编码器AE1的输入层与隐藏层,第二层与第三层为自编码器AE2的输入层与隐藏层,第三层与第四层为自编码器AE3的输入层与隐藏层,第四层与第五层为自编码器AE4的输入层与隐藏层。
步骤S32遥感影像的压缩:将待压缩遥感影像输入至深度压缩网络,按照式(1)计算网络的各隐藏层输出,网络最后一层的输出为最终的高阶稀疏特征,对最终的高阶稀疏特征进行量化和编码,本例中采用均匀量化和霍夫曼编码方法,得到压缩码流,即完成压缩操作。
步骤S33压缩比的计算:先不考虑量化和编码,那么,对于一个输入层节点数目为p,输出层节点数目为q的深度压缩网络,其压缩比用CR=p/q计算。
步骤S4:对接收到的码流进行反量化和编码,得到高阶稀疏特征,将高阶稀疏特征送入深度解压网络,按照式(2)计算网络的各层的输出,网络最后一层输出为解压后的遥感图像。解压后的遥感图像通常也称为重构图像。
步骤S41深度解压网络:将训练好的每个自编码器的隐藏层与输出层,保持其连接关系及网络参数不变,逆序堆叠构成深度神经网络。如图2所示,设有4个训练好的自编码器AE1-AE4,则深度压缩网络的第一层与第二层为自编码器AE4的隐藏层与输出层,第二层与第三层为自编码器AE3的隐藏层与输出层,第三层与第四层为自编码器AE2的隐藏层与输出层,第四层与第五层为自编码器AE1的隐藏层与输出层。
步骤S42遥感影像的解压:将遥感影像压缩码流进行反量化与编码操作后送入深度解压网络,按照式(2)计算网络的各层的输出,网络最后一层输出为解压后的遥感图像。因为压缩图像时采用均匀量化和霍夫曼编码方法,在解压时采用相应的反操作。
本发明根据深度学习理论技术实现了一种大压缩比、实时性好的特征级压缩技术,能够克服现有技术的不足。以适应卫星遥感数据量呈几何级数增长,海量的高分辨卫星遥感数据的处理需求,是遥感数据存储与高速传输的新原理和新方法。
本发明效果可以通过以下仿真实验进一步说明。
实施例6
基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-5。
1.仿真实验条件:
本发明的硬件测试平台是:处理器为i5-3210M2.5GHz,内存4GB,软件平台为:Windows864位操作系统和MatlabR2014a64位。仿真实验的深度自编码网络的训练数据库为STL-10:http://cs.stanford.edu/~acoates/stl10/,此数据库包含10类物体,分别为:airplane、bird、car、cat、deer、dog、horse、monkey、ship、truck,每幅图像的大小为96×96×3。由于数据库较大(约2.65GB),故仅随机选取1500幅图像作为训练样本。
仿真实验的待压缩图像为一组干涉型高光谱遥感图像,图像大小为:486×509×95,由于图像较大,实验时对图像进行了8×8的分块。
采用的自编码器为稀疏自编码器,稀疏项惩罚因子β=0.005,稀疏性参数ρ=0.05;采用梯度下降法调整各自编码器网络参数,迭代次数200次。
2.仿真内容:
应用本发明的方法对高光谱遥感数据进行不同压缩倍率的压缩,不考虑量化与编码的压缩比分别为:8、16、32。本例中分别采用了1个、2个、4个自编码器,构成深度自编码网络并训练该网络,得到深度压缩网络和深度解压网络,其中深度压缩网络的结构如下表1所示,由其容易推知自编码器的网络结构和深度解压网络的结构。如采用4个自编码器,实现16=64/4倍的压缩,构成的深度压缩网络结构为64-96-64-32-4,那么四个自编码器的结构分别为:64-96-64、96-64-96、64-32-64、32-4-32,解压网络结构为4-32-64-96-64。
3.仿真结果分析
图3(a)是一组待压缩的遥感影像的第10波段的原始图像,图3(b)是一组待压缩的遥感影像的第60波段的原始图像;图4(a)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图3(a)所示图像压缩后重构结果图;图4(b)是本发明方法采用4个自编码器构成的压缩比为16的深度压缩网络对图3(b)所示图像压缩后重构结果图。对比图3(a)、图4(a)和图3(b)、图4(b),可以看出,本发明方法实现了对遥感图像数据大倍率压缩与重构。
一般来说,峰值信噪比PSNR是传统的图像压缩算法性能应用最广泛的客观评价指标,通过计算误差的范数度量来描述重构图像与原始图像的失真。其计算公式如下:
其中,Vpeak为采用某种表示法所对应的峰值,如采用8bits表示法,对应峰值Vpeak=255,f(i,j)为原始图像在(i,j)处的像素值,为重构图像在(i,j)处的像素值,M,N分别为图像的行数和列数。
图4(a)所示重构图像与图3(a)所示原始图像间的PSNR为27.77dB,图4(b)所示重构图像与图3(b)所示原始图像间的PSNR为26.68dB。采用本发明方法能以较高的质量压缩与重构卫星遥感影像。
表1不同深度压缩网络结构下遥感图像和自然图像压缩PSNR值
为了比较本发明方法在不同深度自编码网络结构下对应的压缩与重构性能,将本例所述不同深度压缩网络结构下,对本例所述一组遥感影像分别进行了8、16、32倍的大倍率压缩结果汇总至表1,其中,网络结构一栏中,未标明训练数据数目的为1500幅图像,即648,000个块;耗时一栏是指压缩遥感图像每波段平均耗时。此外,表1中还给出了,相应网络结构下,对一幅自然场景图像荷花进行压缩的结果,自然场景图像大小为:768×1024×3,原始图像见图6(a)。
从表1的PSNR客观评价结果可以看出,在相同压缩比的情况下:1)深层的深度压缩网络能在保证图像重构质量的前提下实现更大的压缩比,即采用2个自编码器的深度压缩网络的压缩结果要优于采用1个自编码器的深度压缩网络的压缩结果,这是因为1个自编码器只能构成一个浅层的神经网络,学习到的只是数据的低级特征,不能得到高阶稀疏特征;2)采用4个自编码器的深度压缩网络的压缩效果要次于采用2个自编码器的深度压缩网络的压缩效果,但从表1的最后一行可以看出,当我们增加训练4个自编码器构成的深度自编码网络的图像数据个数后,PSNR会有所提高,这说明,更深层的网络需要更多的训练数据才能获得最优的表示;3)本发明方法的实时性很好,为在轨压缩提供了可能,虽然网络结构越复杂,网络参数就越多,压缩遥感图像所需的时间也越长,但基本上与网络结构复杂度呈线性关系,每个波段的图像压缩时间均不超过0.1s,这是因为,采用本发明方法压缩卫星遥感影像,只需将图像输入深度压缩网络,进行一次简单的前向传递操作,涉及的运算多为矩阵乘法和加法;4)相同深度压缩网络结构下,对自然场景图像压缩重构后,其压缩效果的客观评价PSNR的值基本上都优于对遥感图像的压缩与重构结果,这是因为,训练数据库是基于自然场景图像的,与遥感影像相比,在纹理结构上略有不同,因而应采用遥感影像数据来训练深度自编码网络,获得更适合卫星遥感影像的深度压缩网络和深度解压网络。
实施例7
本发明还是一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法的用途,既适用于遥感图像的压缩,也适用于自然场景图像的压缩。其中基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-6,本例中实验仿真条件同实施例6,待压缩的图像是一幅彩色自然场景图像:荷花,图像大小为:768×1024×3,见图6(a),本例中采用了四个自编码器,其结构分别为:64-96-64、96-64-96、64-32-64、32-4-32,构成的深度压缩网络结构为64-96-64-32-4,则其压缩比为16,解压网络结构为4-32-64-96-64。图6(b)为使用本例深度压缩网络对图6(a)压缩后重构的结果,且其峰值信噪比为29.23dB。可见,本发明的图像压缩方法虽然针对于遥感图像的压缩,但同样适用于自然场景图像的压缩。
实施例8
本发明还是一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法的用途,既适用于遥感图像的压缩,也适用于自然场景图像的压缩。其中基于深度自编码网络的大压缩比卫星遥感图像压缩方法同实施例1-6,本例中实验仿真条件同实施例6,待压缩的图像是一幅彩色自然场景图像,图像大小为:2448×3264×3,见图7(a),本例中采用了四个自编码器,其结构分别为:64-96-64、96-64-96、64-32-64、32-4-32,构成的深度压缩网络结构为64-96-64-32-4,则其压缩比为16,解压网络结构为4-32-64-96-64。图7(b)为使用本例深度压缩网络对图7(a)压缩后重构的结果,且其峰值信噪比高达34.59dB。可见,虽然本发明是针对于遥感图像压缩的技术,但对于自然场景图像的压缩,也能在达到大的压缩比的同时保证图像的质量。无论是在遥感图像压缩处理领域还是在自然场景图像压缩领域,本发明都有着广阔的应用前景。
简而言之,本发明的基于深度自编码网络的大压缩比卫星遥感图像压缩方法,主要解决现有技术压缩比低的问题。其实现步骤为:将多个自编码器级联堆叠构成深度自编码网络;输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络;待压缩的遥感图像送入深度压缩网络,网络的最终输出为高阶稀疏特征,对特征量化和编码得到最终压缩码流;对接收到的码流进行反量化和编码,得到高阶稀疏特征并送入深度解压网络,网络的最终输出为解压的遥感图像。本发明结合图像处理与深度学习技术,实现卫星遥感数据的大倍率压缩;因压缩与解压过程只需进行简单的前向传递操作,实时性好,使遥感影像的在轨压缩成为可能;减轻了海量遥感数据的存储与传输负担。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的保护范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法,包括如下步骤:
1)将多个自编码器级联堆叠构成深度自编码网络,自编码器主要包括基本的自编码器、稀疏自编码器、降噪自编码器、正则化自编码器;
2)输入一组训练图像数据到深度自编码网络,训练该网络获得优化的网络参数,得到深度压缩网络和深度解压网络;
3)将待压缩的遥感图像送入深度压缩网络,计算网络的各隐藏层输出,得到层次化的逐步抽象的高阶稀疏特征,对特征进行量化和编码得到最终的能够进行传输与存储码流,实现遥感数据的大倍率压缩;
4)对接收到的码流进行反量化和编码,得到高阶稀疏特征,将高阶稀疏特征送入深度解压网络,网络的最终输出为解压后的遥感图像。
2.根据权利要求1所述的基于深度自编码网络的大压缩比卫星遥感图像压缩方法,其特征在于:所述多个自编码器,其数量宜在2-9的范围内选定;每个自编码器的输入层节点数目与隐藏层节点数目满足:后一个自编码器的输入层节点数等于前一个自编码器隐藏层的节点数。
3.根据权利要求1所述的基于深度自编码网络的大压缩比卫星遥感图像压缩方法,其特征在于:所述步骤3)中的深度压缩网络是:将训练好的每个自编码器的输入层与隐藏层,保持其连接关系及网络参数不变,顺序堆叠构成深度神经网络。
4.根据权利要求1所述的基于深度自编码网络的大压缩比卫星遥感图像压缩方法,其特征在于:所述步骤4)中的深度解压网络是:将训练好的每个自编码器的隐藏层与输出层,保持其连接关系及网络参数不变,逆序堆叠构成深度神经网络。
5.一种基于深度自编码网络的大压缩比卫星遥感图像压缩方法的用途,其特征在于:既适用于遥感图像的压缩,也适用于自然场景图像的压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510524105.1A CN105163121B (zh) | 2015-08-24 | 2015-08-24 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510524105.1A CN105163121B (zh) | 2015-08-24 | 2015-08-24 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105163121A true CN105163121A (zh) | 2015-12-16 |
CN105163121B CN105163121B (zh) | 2018-04-17 |
Family
ID=54803861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510524105.1A Active CN105163121B (zh) | 2015-08-24 | 2015-08-24 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105163121B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254879A (zh) * | 2016-08-31 | 2016-12-21 | 广州精点计算机科技有限公司 | 一种应用自编码神经网络的有损图像压缩方法 |
CN106778571A (zh) * | 2016-12-05 | 2017-05-31 | 天津大学 | 一种基于深度神经网络的数字视频特征提取方法 |
CN107240136A (zh) * | 2017-05-25 | 2017-10-10 | 华北电力大学 | 一种基于深度学习模型的静态图像压缩方法 |
CN107634943A (zh) * | 2017-09-08 | 2018-01-26 | 中国地质大学(武汉) | 一种权值简约无线传感网数据压缩方法、设备及存储设备 |
CN107634937A (zh) * | 2017-08-29 | 2018-01-26 | 中国地质大学(武汉) | 一种无线传感网数据压缩方法、设备及其存储设备 |
CN108111873A (zh) * | 2017-12-29 | 2018-06-01 | 国网山东省电力公司泰安供电公司 | 一种基于机器学习的gis图像数据传输方法 |
CN108174218A (zh) * | 2018-01-23 | 2018-06-15 | 中国科学技术大学 | 基于学习的视频编解码框架 |
CN108229644A (zh) * | 2016-12-15 | 2018-06-29 | 上海寒武纪信息科技有限公司 | 压缩/解压缩神经网络模型的装置、设备和方法 |
WO2018120723A1 (zh) * | 2016-12-30 | 2018-07-05 | 平安科技(深圳)有限公司 | 视频压缩感知重构方法、系统、电子装置及存储介质 |
CN108495132A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 |
CN108694414A (zh) * | 2018-05-11 | 2018-10-23 | 哈尔滨工业大学深圳研究生院 | 基于数字图像转化和深度学习的数字取证文件碎片分类方法 |
CN108780499A (zh) * | 2016-03-09 | 2018-11-09 | 索尼公司 | 基于量化参数的视频处理的系统和方法 |
CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
CN109547784A (zh) * | 2017-09-21 | 2019-03-29 | 华为技术有限公司 | 一种编码、解码方法及装置 |
CN109598336A (zh) * | 2018-12-05 | 2019-04-09 | 国网江西省电力有限公司信息通信分公司 | 一种基于栈式降噪自编码神经网络的数据约简方法 |
CN109816659A (zh) * | 2019-01-28 | 2019-05-28 | 北京旷视科技有限公司 | 图像分割方法、装置及系统 |
CN109903350A (zh) * | 2017-12-07 | 2019-06-18 | 上海寒武纪信息科技有限公司 | 图像压缩方法及相关装置 |
CN110062231A (zh) * | 2019-05-05 | 2019-07-26 | 济南浪潮高新科技投资发展有限公司 | 基于多层卷积神经网络的图像压缩方法 |
CN110188774A (zh) * | 2019-05-27 | 2019-08-30 | 昆明理工大学 | 一种基于深度学习的电涡流扫描图像分类识别方法 |
CN110321651A (zh) * | 2019-07-11 | 2019-10-11 | 福州大学 | 一种基于正则化svae的暂态稳定性判别方法 |
CN110348487A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
CN110516230A (zh) * | 2019-07-12 | 2019-11-29 | 昆明理工大学 | 基于枢轴语言的汉-缅双语平行句对抽取方法及装置 |
CN110596017A (zh) * | 2019-09-12 | 2019-12-20 | 生态环境部南京环境科学研究所 | 一种基于空间权重约束和变分自编码特征提取的高光谱影像土壤重金属浓度评估方法 |
CN110610159A (zh) * | 2019-09-16 | 2019-12-24 | 天津通卡智能网络科技股份有限公司 | 一种公交车客流量实时统计方法 |
CN110730352A (zh) * | 2019-11-12 | 2020-01-24 | 智洋创新科技股份有限公司 | 基于变分自编码的输电线路图像解码方法 |
CN110782018A (zh) * | 2019-10-28 | 2020-02-11 | 北京环境特性研究所 | 基于自编码器的光谱降维方法和装置 |
CN111163314A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及系统 |
CN111595790A (zh) * | 2020-05-30 | 2020-08-28 | 南京林业大学 | 基于高光谱图像的青梅糖酸度预测方法 |
CN112631120A (zh) * | 2019-10-09 | 2021-04-09 | Oppo广东移动通信有限公司 | Pid控制方法、装置和视频编解码系统 |
CN113808062A (zh) * | 2019-04-28 | 2021-12-17 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6804400B1 (en) * | 2000-11-01 | 2004-10-12 | Bae Systems Mission Solutions Inc. | Adaptive hyperspectral data compression |
CN104112263B (zh) * | 2014-06-28 | 2018-05-01 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
CN104199627B (zh) * | 2014-07-11 | 2018-01-19 | 上海交通大学 | 基于多尺度在线字典学习的可分级视频编码系统 |
-
2015
- 2015-08-24 CN CN201510524105.1A patent/CN105163121B/zh active Active
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108780499B (zh) * | 2016-03-09 | 2024-02-02 | 索尼公司 | 基于量化参数的视频处理的系统和方法 |
CN108780499A (zh) * | 2016-03-09 | 2018-11-09 | 索尼公司 | 基于量化参数的视频处理的系统和方法 |
CN106254879B (zh) * | 2016-08-31 | 2019-11-08 | 广东精点数据科技股份有限公司 | 一种应用自编码神经网络的有损图像压缩方法 |
CN106254879A (zh) * | 2016-08-31 | 2016-12-21 | 广州精点计算机科技有限公司 | 一种应用自编码神经网络的有损图像压缩方法 |
CN106778571A (zh) * | 2016-12-05 | 2017-05-31 | 天津大学 | 一种基于深度神经网络的数字视频特征提取方法 |
CN106778571B (zh) * | 2016-12-05 | 2020-03-27 | 天津大学 | 一种基于深度神经网络的数字视频特征提取方法 |
CN108229644A (zh) * | 2016-12-15 | 2018-06-29 | 上海寒武纪信息科技有限公司 | 压缩/解压缩神经网络模型的装置、设备和方法 |
US10630995B2 (en) | 2016-12-30 | 2020-04-21 | Ping An Technology (Shenzhen) Co., Ltd. | Video compressed sensing reconstruction method, system, electronic device, and storage medium |
WO2018120723A1 (zh) * | 2016-12-30 | 2018-07-05 | 平安科技(深圳)有限公司 | 视频压缩感知重构方法、系统、电子装置及存储介质 |
CN107240136B (zh) * | 2017-05-25 | 2020-07-10 | 华北电力大学 | 一种基于深度学习模型的静态图像压缩方法 |
CN107240136A (zh) * | 2017-05-25 | 2017-10-10 | 华北电力大学 | 一种基于深度学习模型的静态图像压缩方法 |
CN107634937A (zh) * | 2017-08-29 | 2018-01-26 | 中国地质大学(武汉) | 一种无线传感网数据压缩方法、设备及其存储设备 |
CN107634943A (zh) * | 2017-09-08 | 2018-01-26 | 中国地质大学(武汉) | 一种权值简约无线传感网数据压缩方法、设备及存储设备 |
CN109547784A (zh) * | 2017-09-21 | 2019-03-29 | 华为技术有限公司 | 一种编码、解码方法及装置 |
CN109903350A (zh) * | 2017-12-07 | 2019-06-18 | 上海寒武纪信息科技有限公司 | 图像压缩方法及相关装置 |
CN108111873A (zh) * | 2017-12-29 | 2018-06-01 | 国网山东省电力公司泰安供电公司 | 一种基于机器学习的gis图像数据传输方法 |
CN108111873B (zh) * | 2017-12-29 | 2020-04-14 | 国网山东省电力公司泰安供电公司 | 一种基于机器学习的gis图像数据传输方法 |
CN108174218A (zh) * | 2018-01-23 | 2018-06-15 | 中国科学技术大学 | 基于学习的视频编解码框架 |
CN108174218B (zh) * | 2018-01-23 | 2020-02-07 | 中国科学技术大学 | 基于学习的视频编解码系统 |
CN108495132A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 |
CN108694414A (zh) * | 2018-05-11 | 2018-10-23 | 哈尔滨工业大学深圳研究生院 | 基于数字图像转化和深度学习的数字取证文件碎片分类方法 |
CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
CN111163314A (zh) * | 2018-11-07 | 2020-05-15 | 合肥图鸭信息科技有限公司 | 一种图像压缩方法及系统 |
CN109598336A (zh) * | 2018-12-05 | 2019-04-09 | 国网江西省电力有限公司信息通信分公司 | 一种基于栈式降噪自编码神经网络的数据约简方法 |
CN109816659A (zh) * | 2019-01-28 | 2019-05-28 | 北京旷视科技有限公司 | 图像分割方法、装置及系统 |
CN113808062A (zh) * | 2019-04-28 | 2021-12-17 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
CN110062231A (zh) * | 2019-05-05 | 2019-07-26 | 济南浪潮高新科技投资发展有限公司 | 基于多层卷积神经网络的图像压缩方法 |
CN110188774B (zh) * | 2019-05-27 | 2022-12-02 | 昆明理工大学 | 一种基于深度学习的电涡流扫描图像分类识别方法 |
CN110188774A (zh) * | 2019-05-27 | 2019-08-30 | 昆明理工大学 | 一种基于深度学习的电涡流扫描图像分类识别方法 |
CN110348487B (zh) * | 2019-06-13 | 2021-07-20 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
CN110348487A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种基于深度学习的高光谱图像压缩方法及装置 |
CN110321651A (zh) * | 2019-07-11 | 2019-10-11 | 福州大学 | 一种基于正则化svae的暂态稳定性判别方法 |
CN110516230A (zh) * | 2019-07-12 | 2019-11-29 | 昆明理工大学 | 基于枢轴语言的汉-缅双语平行句对抽取方法及装置 |
CN110596017A (zh) * | 2019-09-12 | 2019-12-20 | 生态环境部南京环境科学研究所 | 一种基于空间权重约束和变分自编码特征提取的高光谱影像土壤重金属浓度评估方法 |
CN110596017B (zh) * | 2019-09-12 | 2022-03-08 | 生态环境部南京环境科学研究所 | 一种基于空间权重约束和变分自编码特征提取的高光谱影像土壤重金属浓度评估方法 |
CN110610159A (zh) * | 2019-09-16 | 2019-12-24 | 天津通卡智能网络科技股份有限公司 | 一种公交车客流量实时统计方法 |
CN112631120A (zh) * | 2019-10-09 | 2021-04-09 | Oppo广东移动通信有限公司 | Pid控制方法、装置和视频编解码系统 |
CN112631120B (zh) * | 2019-10-09 | 2022-05-17 | Oppo广东移动通信有限公司 | Pid控制方法、装置和视频编解码系统 |
CN110782018A (zh) * | 2019-10-28 | 2020-02-11 | 北京环境特性研究所 | 基于自编码器的光谱降维方法和装置 |
CN110730352A (zh) * | 2019-11-12 | 2020-01-24 | 智洋创新科技股份有限公司 | 基于变分自编码的输电线路图像解码方法 |
CN111595790A (zh) * | 2020-05-30 | 2020-08-28 | 南京林业大学 | 基于高光谱图像的青梅糖酸度预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105163121B (zh) | 2018-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105163121A (zh) | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 | |
CN107832837B (zh) | 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 | |
CN104331913B (zh) | 基于稀疏k‑svd的极化sar图像压缩方法 | |
CN108495132B (zh) | 基于轻量级深度卷积网络的遥感影像大倍率压缩方法 | |
CN105374054A (zh) | 基于空谱特性的高光谱图像压缩方法 | |
CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码系统 | |
CN111598786B (zh) | 一种基于深度去噪自编码网络的高光谱图像解混方法 | |
CN104506752B (zh) | 一种基于残差压缩感知的相似图像压缩方法 | |
CN103905831B (zh) | 基于图形处理器的条带波变换图像压缩方法 | |
CN107240136A (zh) | 一种基于深度学习模型的静态图像压缩方法 | |
CN103903261A (zh) | 一种基于分块压缩感知的光谱图像处理方法 | |
CN107942377A (zh) | 一种地震数据压缩与重构方法 | |
CN105354867A (zh) | 自适应冗余字典压缩感知的高光谱图像压缩算法研究 | |
CN109672885B (zh) | 一种用于矿井智能监控的视频图像编解码方法 | |
Schiavon et al. | Low bit rate 2D seismic image compression with deep autoencoders | |
CN103646409B (zh) | 多元向量量化的高光谱图像压缩编码方法 | |
CN114092579B (zh) | 一种基于隐式神经网络的点云压缩方法 | |
Seo et al. | Hybrid approach for efficient quantization of weights in convolutional neural networks | |
CN113450421A (zh) | 一种基于增强深度学习的无人机侦察图像压缩与解压方法 | |
CN105578183A (zh) | 一种基于高斯混合模型的压缩传感视频编解码方法 | |
CN107240138B (zh) | 基于样本二叉树字典学习的全色遥感图像压缩方法 | |
Natu et al. | Hybrid image compression using VQ on error image | |
Singh et al. | Neuro-curvelet model for efficient image compression using vector quantization | |
Ibrahim | Image compression using multilayer feed forward artificial neural network and dct | |
Dhannoon et al. | Color image compression using polynomial and quadtree coding techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |