CN117201693A - 一种物联网图像压缩方法、装置、终端设备及介质 - Google Patents

Abstract

本申请提供了一种物联网图像压缩方法、装置、终端设备及介质，适用于图像处理技术领域，该方法包括：获取待压缩处理的物联网图像；对所述物联网图像进行灰度化处理，得到灰度影像；对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。利用本申请方法进行图像压缩，压缩比可以达到2.28，压缩后的空间减少近1/2，可以在减少网络参数的同时，快速的提取图像特征，并且能够融合灰度影像的高分辨率信息，取得较好的重建效果，基本满足物联网场景下云端传输和存储的要求，同时可为后期研究提供借鉴。

Description

一种物联网图像压缩方法、装置、终端设备及介质

技术领域

本申请属于图像处理技术领域，尤其涉及物联网图像压缩方法、装置、终端设备及介质。

背景技术

随着5G技术的到来，人们即将进入万物互联的物联网时代，物联网技术的广泛应用催生了大量的数据，其中图像数据在信息交换中扮演着相当重要的角色，这些数据可以应用于智能制造、智慧医疗、智能电网以及智慧汽车等领域进行大数据分析，云平台为用户提供了物联网数据的存储服务，但是存在图像数据量过于庞大，存储空间占用多的问题。

一直以来，图像压缩在图像处理领域都是一个基础性和重要性的研究方向。传统图像压缩方法有JPEG、JPEG2000、BPG等。近年来，对于图像数据压缩的研究中基于深度学习的方法最为广泛，其中卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）等被大量应用在图像压缩领域。现有技术提出了以下几种方案：（1）利用卷积CNN进行图像的分块重构，但是重构结果存在一定的块效应，影响视觉效果；（2）在分块采样的基础上加入了全图重构策略，同时在网络训练过程中加入采样矩阵，设计了重构网络CSNet，一定程度上缓解了块效应；SCS-Net，CSNet+等方法有一个共同的弊端，仅在初始重构时使用观测值，使得重构图像的纹理细节缺失严重；（3）在网络结构中引入残差，多次利用观测值以补充重构图像的纹理细节；（4）利用循环神经网络，同时加入卷积核和归一化方法，从而提升压缩性能。

但是现有的研究仍存在一定问题，一是仅通过基础卷积单元构成，而单纯的卷积操作无法有效地利用图像的非局部自相似性；二是研究重点仍局限于单一方法，没有考虑多种方法的扩展；二是云场景下，网络结构中参数设计过多，从而影响时延。

发明内容

有鉴于此，本申请实施例提供了一种物联网图像压缩方法、装置、终端设备及介质，可以解决现有技术无法有效地利用图像的非局部自相似性，以及没有考虑多种方法的扩展，网络结构中参数设计过多，影响时延的问题。

本申请实施例的第一方面提供了一种物联网图像压缩方法，包括：

在第一方面的一种可能的实现方式中，一种物联网图像压缩方法，包括：

获取待压缩处理的物联网图像；

对所述物联网图像进行灰度化处理，得到灰度影像；

对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；

将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

本申请实施例的第二方面提供了一种物联网图像压缩装置，包括：

图像获取模块，用于获取待压缩处理的物联网图像；

灰度化处理模块，用于对所述物联网图像进行灰度化处理，得到灰度影像；

卷积编码解码模块，用于对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；以及

影像融合模块，用于将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

本申请实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述物联网图像压缩方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述物联网图像压缩方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述物联网图像压缩方法。

本申请实施例与现有技术相比存在的有益效果是：通过获取待压缩处理的物联网图像，对该物联网图像进行灰度化处理，得到灰度影像，以及对该物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像，进而将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。利用本申请方法进行图像压缩，压缩比可以达到2.28，压缩后的空间减少近1/2，可以在减少网络参数的同时，快速的提取图像特征，并且能够融合灰度影像的高分辨率信息，取得较好的重建效果，基本满足物联网场景下云端传输和存储的要求，同时可为后期研究提供借鉴。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的自编码器的结构示意图；

图2是本申请实施例提供的物联网图像压缩方法的实现流程示意图；

图3是本申请实施例提供的基于卷积自编码融合的物联网图像压缩方法框架图；

图4是本申请实施例提供的卷积自编码器网络的结构示意图；

图5是本申请实施例提供的物联网图像压缩方法的实现流程示意图；

图6是本申请实施例提供的编码器的结构示意图；

图7是本申请实施例提供的解码器的结构示意图；

图8是本申请实施例提供的解码融合增强HSV方法流程图；

图9是本申请实施例提供的Loss曲线图；

图10是本申请实施例提供的重构影像比较图：（a）原始影像；（b）传统自编码重构影像；（c）融合重构影像；

图11是本申请实施例提供的物联网图像压缩装置的结构示意图；

图12是本申请实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请设计了一种基于卷积自编码融合的物联网图像压缩方法RCSNET，首先将自编码模型引入物联网图像压缩中，从而减小网络参数；其次针对单一自编码引起的压缩失真问题，提出HSV融合重构方法，完成最终压缩图像的重构。通过实验结果表明，本申请所提出的方法有效，可为后期研究提供借鉴。

其中，自动编码器（AE）最初于1986年被提出，属于神经网络非监督学习方法，自动编码器可以自动学习输入神经网络中数据的特征，最后来取代原始数据进行输出。因此自动编码器可用于数据的压缩，它的编码和解码过程就是数据压缩和解压的过程，但是在编码和重构过程中会有信息的丢失。如下图1所示为一个简单的自编码器结构。利用传统的自编码器对图像数据进行处理所使用的是全连接层，这样存在较多的损失，而利用卷积自编码器，采用卷积层和池化层代替传统的全连接网络，就可以减少损失的信息。卷积神经网络有两大特性：一是卷积层中的神经元不是全连接的，而是部分连接的，就会构成一个局部连接网络；另一个是同一深度的神经元采用相同大小的卷积核计算，即共享一个权重。由于以上两个特性，卷积神经网络在进行平移和翻转等操作时具有一定的不变性，因此可以拥有更少的参数。影像融合技术是指将不同传感器获取的同一目标的影像数据进行计算处理，提取各自有效信息从而融合成高质量影像的技术，以形成对目标的清晰、完整、准确的信息描述的方法，多用于遥感影像融合、医学影像融合等。在遥感影像融合领域，通常会利用分辨率较高的全色影像(PAN)与光谱信息丰富的多光谱影像(MS)进行融合，这样既可以保留全色影像清晰的空间细节信息，又能够保持多光谱影像较为丰富的光谱信息，实现空间细节与光谱信息的优势互补，克服全色影像光谱分辨率较低以及多光谱影像空间分辨率低的问题。因此，本申请创新性地考虑考虑将卷积自编码器与影像融合技术进行结合，对传统的自编码器进行改进，提出一种基于卷积自编码融合的物联网图像压缩方法，创新点表现在：一是在编码过程中引入卷积神经网络，保留影像数据特征的同时减少网络参数；二是将遥感影像融合方法引入图像压缩中，提出HSV的重构融合方法，提升重构影像质量。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

图2示出了本申请实施例提供的物联网图像压缩方法的实现流程图，对应基于卷积自编码融合的物联网图像压缩方法的框架图如图3所示，详述如下：

步骤S202，获取待压缩处理的物联网图像。

步骤S204，对所述物联网图像进行灰度化处理，得到灰度影像。

在本申请实施例中，图像灰度化处理是指将一幅彩色影像转为灰度影像的过程。其中彩色影像通常包括R、G、B三个通道，分别对应红绿蓝等颜色；而灰度影像只有一个通道，其灰度是位于黑色和白色之间的色彩，灰度值越大影像的色彩就会越明亮，灰度的像素值范围在0-255之间，255和0分别表示白色和黑色。图像灰度化就是使彩色影像三分量相等的过程，图像的灰度化处理可以改善图像的质量，凸显图像的细节，提高图像的对比度。灰度化处理常用的有三种方法，分别是最大值法、平均值法和加权平均法。其中加权平均法效果更好，因此本申请优选采用加权平均法对原始数据进行灰度化处理以用于后续影像融合。

步骤S206，对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像。

在一些实施例中，本申请在传统自编码器中加入卷积神经网络，设计了GCNN卷积自编码模型。基于卷积自编码器对所述物联网图像进行卷积编码、二值化与解码处理，其中，卷积自编码器主要分为三部分：分别是编码器，二值化和解码器。卷积自编码要求训练过程中相关参数都必须是可学习的，其中编码部分与解码部分通常是做卷积与反卷积的操作，还需要计算编码前与解码后图像数据之间的损失，并采用反向传播算法不断调整参数的值更新误差的范围直到达到最小为止。

可选地，对于给定的一张物联网图像数据，本申请采用卷积自编码方法学习图像特证，首先将图像数据输入编码器进行编码，然后将编码输出的特征进行二值化处理，最后通过解码器对数据解码得到最终的输出，如果输出数据与输入数据的结果相近，那么就可以通过调整编码和解码阶段的权值和偏置参数，来最小化重构误差。卷积自编码器的网络结构如图4所示。

实现过程如下：

Step1：在网络输入图像数据x，在编码器中进行卷积操作提取图像特征，得到新的图像数据矩阵y。编码过程可表示为：

（1）

其中为编码权重，/>为编码偏置，/>为编码激活函数。

Step2：对编码过后的数据矩阵添加激活函数f，通过编码输出的特征y，再进行解码就能复原原始图像z。解码过程：

（2）

其中为解码权重，/>为解码偏置，/>为解码激活函数。

Step3：输入数据与输出数据的差即为网络的损失函数，通过不断减少损失值，就可以使网络输入数据与输出数据无限接近。设输入数据为x，输出数据为z，即z为x的预测值。采用反向传播算法对网络中的参数进行更新，当z与x的值无限接近时，那么网络就将z值输出。定义损失函数L来衡量x与z的误差。取x与z的平方误差，即：

（3）

可选地，如图5所示，所述步骤S206，包括：

步骤S502，对所述物联网图像进行卷积操作提取图像特征，得到预设压缩尺寸的图像数据矩阵。

在一些实施例中，基于编码器对所述物联网图像进行卷积操作提取图像特征，得到预设压缩尺寸的图像数据矩阵，包括：对所述物联网图像进行多次二维卷积、零值填充、激活和归一变换操作，得到预设压缩尺寸的图像数据矩阵。

其中，编码器部分主要由三个卷积层、一个残差层组成，结构如下图6所示：

E-conv1层：该层由一个零值填充操作，一个二维卷积操作、一个Relu变换操作和一个归一化操作组成。对于接收到的3×512×512尺寸的数据，首先在其上下左右边界分别向外进行2、2、2、2个单位的零值填充，得到3×516×516的数据；然后利用32个尺寸为8×8，步长为4的卷积核进行卷积，得到32×129×129的数据，然后使用Relu激活函数防止梯度消失，最后使用归一化操作，输出32×129×129的数据。

E-conv2层：该层由一个零值填充操作，一个二维卷积操作、一个Relu变换操作和一个归一化操作组成。对于接收到的32×129×129尺寸的数据，首先在其上下左右边界分别向外进行1、1、1、1个单位的零值填充，得到3×131×131的数据；利用64个尺寸为7×7，步长为2的卷积核进行卷积，得到64×64×64的数据，然后使用Relu激活函数防止梯度消失，最后使用归一化操作，输出64×64×64的数据。

E_conv3层：由一个零值填充操作，一个二维卷积操作和一个Relu变换操作组成。对于接收到的64×64×64尺寸的数据，首先在其上下左右边界分别向外进行1、1、1和1个单位的零值填充，得到64×66×66的数据；然后利用32个尺寸为6×6，步长为2的卷积核进行卷积，得到32×32×32的数据；最后使用Relu激活函数，输出32×32×32的数据。

E_block1层：由两个零值填充操作，两个二维卷积操作和一个Relu变换操作组成。对于接收到的32×32×32尺寸的数据，首先在其上下左右边界分别向外进行1、1、1、1个单位的零值填充，得到32×34×34的数据；然后利用32个尺寸为3×3，步长为1的卷积核进行卷积，得到32×32×32的数据；接着使用Relu激活函数，得到32×32×32的数据；再接着在其上下左右边界分别向外进行1、1、1、1个单位的零值填充，得到32×34×34的数据；接着利用32个尺寸为3×3，步长为1的卷积核进行卷积，得到32×32×32的数据；最后将上述步骤得到的32×32×32尺寸的数据同E_conv3层输出的32×32×32尺寸的进行相加，输出32×32×32的数据。

通过编码器对原始图像进行的一系列卷积、填充、激活和归一变换操作，将原始输入的3×512×512尺寸数据转换成了32×32×32尺寸的数据，这些数据可以将其存为二进制的数据，然后进行传输，就极大的减小了传输压力。在需要进行还原的设备上运行随机二值化和解码操作进行还原。

步骤S504，对所述图像数据矩阵进行二值化处理，得到二值化图像数据矩阵。

在一些实施例中，所述步骤S504，具体包括：获取预设压缩尺寸的服从0-1均匀分布的压缩随机数；对所述预设压缩尺寸的图像数据矩阵进行线性变化操作，得到压缩概率；根据所述压缩随机数、压缩概率以及图像数据矩阵，确定预设压缩尺寸的压缩噪声；将所述压缩噪声与图像数据矩阵进行加权，得到二值化图像数据矩阵。

可选地，通过对编码得到的输出数据添加二值化噪声，提高学习的稳定性。首先生成32×32×32尺寸的服从0-1均匀分布的压缩随机数；然后对输入数据进行线性变化操作对其进行压缩得到一个32×32×32尺寸的压缩概率；接着对于压缩随机数小于等于压缩概率的数据取输入数据的相反数并加1，对于压缩随机数大于压缩概率的数据取输入数据的相反数并减1，以获得32×32×32尺寸的压缩噪声；最后将压缩噪声同输入数据相加得到二值化后的输出数据。

步骤S506，对所述二值化图像数据矩阵进行解码处理，得到响应图像。

在一些实施例中，基于编码器对所述二值化图像数据矩阵进行解码处理，得到响应图像，包括：对所述二值化图像数据矩阵进行多次二维反卷积、二维卷积、零值填充、激活和归一变换操作，得到响应图像。

其中，解码器主要由三个反卷积层和一个残差层组成，结构如下图7所示：

D_conv1层：由一个二维反卷积操作，一个Relu变换操作组成。对于接收到的32×32×32尺寸的数据，首先利用128个尺寸为2×2，步长为2的卷积核进行反卷积，得到128×64×64的数据；然后使用Relu激活函数，得到128×64×64的数据。

D_block1层：由一个二维反卷积操作，一个零值填充操作，一个二维卷积操作，一个Relu激活操作组成。对于接收到的128×64×64尺寸的数据，首先使用64个尺寸为2×2，步长为2的卷积核进行反卷积，得到64×128×128的数据；接着在其上下左右边界分别向外进行1、1、1、1个单位的零值填充，得到128×130×130尺寸的数据；然后使用64个尺寸为6×6，步长为2的卷积核进行卷积，得到128×64×64尺寸的数据；接着使用Relu激活函数，得到128×64×64的数据；最后将上述步骤得到的128×64×64尺寸的数据同D_conv1层输出的128×64×64尺寸的数据相加，输出128×64×64尺寸的数据。

D_conv2层：由一个二维卷积操作，一个Relu变换操作，一个归一化操作组成。对于接收到的128×64×64尺寸的数据，利用32个尺寸为5×5，步长为1的卷积核进行卷积，得到32×60×60的数据；最后使用归一化操作和Relu激活函数，输出32×60×60尺寸的数据。

D_conv3层：由两个二维反卷积操作，两个Relu变换操作，一个零值填充和两个归一化操作组成。对于接收到的32×60×60尺寸的数据，首先在上下左右边界分别向外进行2、2、2、2个单位的零值填充，得到64×64×64尺寸的数据；然后利用32个尺寸为8×8，步长为4的卷积核进行反卷积，得到32×256×256的数据，再使用归一化操作和Relu激活函数，得到32×256×256尺寸的数据；接着再使用3个尺寸为2×2，步长为2的卷积核进行反卷积，得到3×512×512的数据，最后使用归一化操作和Relu激活函数，输出3×512×512尺寸的数据。

步骤S508，获取所述物联网图像与响应图像之间的损失差异。

步骤S510，判断所述损失差异是否符合预设重构误差阈值；若否，则调整卷积参数，并返回至所述步骤S502；若是，则将所述响应图像确定为解码后目标影像。

在本申请实施例中，所述卷积参数包括编码和解码阶段的权值和偏置参数。

步骤S208，将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

其中，通过卷积自编码解码输出的影像是失真的，分辨率会降低。在遥感影像融合领域，通常会利用分辨率较高的全色影像(PAN)与光谱信息丰富的多光谱影像(MS)进行融合，这样既可以保留全色影像清晰的空间细节信息，又能够保持多光谱影像较为丰富的光谱信息。将该种方法迁移至物联网图像压缩方法中，处理后的灰度图像分辨率较高但是失去了光谱信息，而经过解码重构的图像分辨率较低但是保留了光谱信息，因此将二者融合，实现空间细节与光谱信息的优势互补，提高最终重构图像的质量。

在一些实施例中，所述步骤S208，具体包括：将所述灰度影像以及解码后目标影像的色调、饱和度、亮度三个通道进行映射，基于预设的各个通道的融合模型以及色彩模型变换处理，得到融合重构影像。

可选地，为了增强融合的视觉效果，提高人眼对融合图像的辨识度，提出基于HSV色彩空间的重构融合方法。通常多光谱影像用RGB表达色彩空间。而HSV 色彩空间是由色调Hue、饱和度Saturation、亮度Value所构成的倒圆锥体。具体步骤如下：

1.解码后图像中任意坐标点的RGB颜色空间为(R，G，B)，HSV颜色空间为(H，S，V)，首先需要将解码影像R、G、B的值转换成0-1之间，得到新的(，/>，/>)，同时计算得到分量最大值/>和最小值/>以及差值/>。

（4）

（5）

（6）

2.然后将解码影像进行HSV变换得到H、S、V三分量。

（7）

（8）

（9）

（10）

（11）

（12）

3.将解码影像变换得到的V分量替换为灰度影像。

4.将解码影像的H分量和S分量重采样到灰度影像的像元尺寸，然后进行HSV逆变换得到最终融合影像。如图8所示为解码融合增强HSV方法流程图。

（13）

（14）

（15）

（16）

（17）

（18）

其中H^'、f、p、q、t为中间变量。

另外，为了保证有效的对比结果，本申请实验使用了与文献（SHI W, JIANG F,LIU S, et al. Image compressed sensing using convolutional neural network[J].IEEE Transactions on Image Processing, 2019, 29: 375-388.［DOI:10.1109/TIP.2019.2928136］）相同的数据集，为BSDS500数据集，其中训练集共计200张图片，测试集共计200张图片，验证集共计100张图片。首先通过数据处理函数将原始图片大小批量设置为512×512，并使用数据增强(旋转或翻转)来准备训练数据。

所有实验均搭载在Intel(R)Core(TM)i5-10210U、CPU@1.60GHz2.11GHz、Windows10操作系统下，深度学习框架为PyTorch-CPU-1.12.1。网络结构按照2.2节方式进行搭建，分别设置学习率为0.01和0.1，训练100次，每个epoch迭代10次。最终使用Set8(8张图片)进行测试。彩色图像在视觉效果上评估重构结果，并采用峰值信噪比（Peak Signalto Noise Ratio，PSNR）和结构相似度（Structural Similarity Index Measure，SSIM）来评价重构结果。

利用本申请方法进行图像压缩，压缩比可以达到2.28，压缩后的空间减少近1/2。图9给出了初始化参数后，在0.1采样率下卷积自编码模型GCNN的Loss曲线图。在传统自编码器中加入卷积神经网络，可以看出损失下降很快，在训练到90次左右时有一定波动，但最终仍然趋于稳定。同时使用MSE指标评估自动编码器的效能，也就是重构误差，可以看出MSE最终也趋于稳定并且数值在0~0.005之间，说明重构误差较小。

为了对比实验效果，本申请选择了传统压缩方法中重构质量最优的GSR以及八种前沿的方法进行了比较，包括CSNet+、SCSNet、SPLNet、AMPNet、OPINENet+、BCSNet、MADUN和FSOINet。其中，CSNet+、SCSNet、BCSNet 为普通的压缩感知网络方法，SPLNet、AMPNet、OPINENet+和MADUN为基于深度学习的优化压缩方法。为了更全面地比较，采样率分别设置为0.01和0.1。

表1给出了几种方法的PSNR和SSIM结果，由表1可见，在0.01采样率下，基于深度学习的压缩方法的重构质量受网络在特征域的重构能力影响，普通的压缩感知网络因为具有复杂的特征处理模块，相比较深度学习方法取得了比较好的重构效果；然而随着采样率的升高，基于深度学习方法的优势逐渐显露，重构质量逐渐高过普通方法；而本申请的方法RCSNET利用卷积自编码提取特征的同时进行了影像的融合，无论在低采样率或高采样率下均优于上述方法。其中PSNR值越大，表示重构后的图像质量越好，从表中结果可以看出，当学习率为0.01时，其余方法的PSNR最大值为21.73，本申请方法的PSNR为30.93，当学习率为0.1时，其余方法的PSNR最大值为30.44，本申请方法的PSNR为38.05；其中SSIM的范围为0到1，其值越大，表示图像的质量越好，当两张图像一模一样时，此时SSIM=1，从表中结果可以看出，当学习率为0.01时，其余方法的SSIM最大值为0.5937，本申请方法的SSIM为0.6902，当学习率为0.1时，其余方法的SSIM最大值为0.9018，本申请方法的SSIM为0.9156。由此可见，综合两种评价指标，本申请方法重构后的影像效果明显优于其他方法。

表1 Set8数据集不同算法重构图像PSNR(dB)/SSIM对比

为了弥补客观评价指标的不足，本申请还选取数据集中的图像进行码率相近的可视化结果对比。图10分别给出了数据集中PIG1-PIG8的原始影像、传统自编码重构影像以及融合重构影像。明显可以看出，传统自编码方法得到的重构影像清晰度、对比度和信息的丰富程度较低，较原始影像失真较多；而本申请方法则弥补了上述方法的不足，在清晰度、对比度和信息丰富程度上均保持较好水平，并且能够减少失真，效果更为直观。

进一步，本申请用Set8数据集在0.1采样率下对两个模块进行了消融实验。如表2所示，卷积自编码模型GCNN可以提取图像更为丰富的特征，重构图像的PSNR和SSIM分别提升了8.26dB和5.37%；解码融合增强HSV因为聚合了光谱信息与像素信息，整体性能也有所提升，但是改善效果没有GCNN好，重构图像的PSNR和SSIM分别提升了3.96dB和2.49%；综上所述，本申请所提两个模块的方法均可以给物联网重构图像带来了一定的性能提升，同时加入GCNN和HSV两个模块效果更好。

表2 Set8数据集在0.1采样率下的消融实验

综上，本申请实施例对物联网图像数据量过于庞大，存储空间占用多的问题，提出一种基于卷积自编码融合的物联网图像压缩方法RCSNET，将自编码模型以及融合算法引入物联网图像压缩中。首先，对采集的物联网图像进行灰度化处理得到灰度影像；其次利用改进的卷积自编码模型GCNN对采集到的原始彩色图像进行编码、二值化与解码处理；最后将自编码器解码后的影像与灰度影像利用HSV融合重构方法进行融合增强。实验结果表明，利用本申请方法进行图像压缩，压缩比可以达到2.28，压缩后的空间减少近1/2，同时融合重构影像能够减少失真，在PSNR和SSIM上均有明显优势，且清晰度、对比度和信息丰富程度上均保持较好水平。本申请提出的网络模型和融合重构方法可以在减少网络参数的同时，快速的提取图像特征，并且能够融合灰度影像的高分辨率信息，取得较好的重建效果，基本满足物联网场景下云端传输和存储的要求，同时可为后期研究提供借鉴。

对应于上文实施例的方法，图11示出了本申请实施例提供的物联网图像压缩装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。图11示例的物联网图像压缩装置可以是前述实施例提供的物联网图像压缩方法的执行主体。

参照图11，该物联网图像压缩装置包括：

图像获取模块1120，用于获取待压缩处理的物联网图像；

灰度化处理模块1140，用于对所述物联网图像进行灰度化处理，得到灰度影像；

卷积编码解码模块1160，用于对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；以及

影像融合模块1180，用于将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

本申请实施例提供的物联网图像压缩装置中各模块实现各自功能的过程，具体可参考前述图2所示实施例的描述，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一表格可以被命名为第二表格，并且类似地，第二表格可以被命名为第一表格，而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格，但是它们不是同一表格。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的物联网图像压缩方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

例如，所述终端设备可以是WLAN中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，STB)、用户驻地设备(customer premise equipment，CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的移动终端等。

作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

图12是本申请一实施例提供的终端设备的结构示意图。如图12所示，该实施例的终端设备7包括：至少一个处理器70（图12中仅示出一个）、存储器71，所述存储器71中存储有可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个物联网图像压缩方法实施例中的步骤，例如图2所示的步骤S202至S208。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图11所示模块1120至1180的功能。

所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图10仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例还提供了一种终端设备，所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使所述终端设备实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电载波信号、电信信号以及软件分发介质等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种物联网图像压缩方法，其特征在于，包括：

获取待压缩处理的物联网图像；

对所述物联网图像进行灰度化处理，得到灰度影像；

对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；

将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

2.如权利要求1所述的物联网图像压缩方法，其特征在于，所述对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像，包括：

对所述物联网图像进行卷积操作提取图像特征，得到预设压缩尺寸的图像数据矩阵；

对所述图像数据矩阵进行二值化处理，得到二值化图像数据矩阵；

对所述二值化图像数据矩阵进行解码处理，得到响应图像；

获取所述物联网图像与响应图像之间的损失差异；

判断所述损失差异是否符合预设重构误差阈值；若否，则调整卷积参数，并返回至所述对所述物联网图像进行卷积操作提取图像特征，得到目标图像数据矩阵的步骤；若是，则将所述响应图像确定为解码后目标影像。

3.如权利要求2所述的物联网图像压缩方法，其特征在于，所述对所述物联网图像进行卷积操作提取图像特征，得到预设压缩尺寸的图像数据矩阵，包括：

对所述物联网图像进行多次二维卷积、零值填充、激活和归一变换操作，得到预设压缩尺寸的图像数据矩阵。

4.如权利要求2所述的物联网图像压缩方法，其特征在于，所述对所述图像数据矩阵进行二值化处理，得到二值化图像数据矩阵，包括：

获取预设压缩尺寸的服从0-1均匀分布的压缩随机数；

对所述预设压缩尺寸的图像数据矩阵进行线性变化操作，得到压缩概率；

根据所述压缩随机数、压缩概率以及图像数据矩阵，确定预设压缩尺寸的压缩噪声；

将所述压缩噪声与图像数据矩阵进行加权，得到二值化图像数据矩阵。

5.如权利要求2所述的物联网图像压缩方法，其特征在于，所述对所述二值化图像数据矩阵进行解码处理，得到响应图像，包括：

对所述二值化图像数据矩阵进行多次二维反卷积、二维卷积、零值填充、激活和归一变换操作，得到响应图像。

6.如权利要求2所述的物联网图像压缩方法，其特征在于，所述卷积参数包括权值和偏置参数。

7.如权利要求1所述的物联网图像压缩方法，其特征在于，所述将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像，包括：

将所述灰度影像以及解码后目标影像的色调、饱和度、亮度三个通道进行映射，基于预设的各个通道的融合模型以及色彩模型变换处理，得到融合重构影像。

8.一种物联网图像压缩装置，其特征在于，包括：

图像获取模块，用于获取待压缩处理的物联网图像；

灰度化处理模块，用于对所述物联网图像进行灰度化处理，得到灰度影像；

卷积编码解码模块，用于对所述物联网图像进行卷积编码、二值化与解码处理，得到解码后目标影像；以及

影像融合模块，用于将所述灰度影像以及解码后目标影像进行影像融合处理，得到融合重构影像。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述物联网图像压缩方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述物联网图像压缩方法的步骤。