CN113411583B - 基于维度拆分的图像压缩方法 - Google Patents

Abstract

本发明提供了一种基于维度拆分的图像压缩方法。首先，利用通道拆分器对输入图像数据矩阵进行自适应通道拆分，分别得到包含信息较多的有效通道数据和包含信息较少冗余通道数据；然后，对有效通道数据分别进行分组卷积和点卷积，对冗余通道数据进行单个卷积层的简单卷积，分别得到相应通道的最终输出结果；最后，依据不同通道输出结果的重要性进行数据融合，得到压缩结果。本发明方法能够在保证任务精度的情况下选择信息最丰富、判别特征最明显的数据组合，有效地降低算法复杂度，实现轻量、快速的图像压缩。

Description

基于维度拆分的图像压缩方法

技术领域

本发明属数据压缩技术领域，具体涉及一种基于维度拆分的图像压缩方法。

背景技术

随着图像处理单元(GPU)和张量处理单元(TPU)的发展，深度神经网络算法在许多领域取得了出色的表现，包括但不限于模式识别、目标检测、自然语言处理、语言信号处理和机器人控制等。这些成功多依赖于更大更深的神经网络模型。这些强大的模型也伴随着延迟、存储、算力和能耗等方面的巨大开销，在资源有限的移动设备和嵌入式设备上难以部署，难以实现离线智能。如K.Simonyan等人在“K.Simonyan,and A.Zisserman.Very DeepConvolutional Networks for Large-Scale Image Recognition,2015,ICLR”中提出的VGG(Visual Geometry Group)模型。这种模型占用超过500MB的存储空间，1.4×10⁸个参数，大约1000ms的性能延迟。这使得深度学习模型难以应用在有限硬件水平下进行快速而精确的反应，难以适应如自动驾驶、无人机目标追踪等领域的要求。与此同时，智能手机、智能汽车、智能手表等边缘智能设备的数量逐年增加，体积大、计算成本高的模型难以适应于嵌入式设备。因此，利用模型压缩技术，减少深度神经网络参数和降低计算复杂度有助于将深度学习算法的落地与应用。

现有的基于剪枝的模型压缩算法，如S.Han等人在“S.Han,J.Pool,J.Tran,andW.Dally.Learning both Weights and Connections for Efficient NeuralNetworks.In Advances in Neural Information Processing Systems,2015,pp.1135-1143.”提出的基于参数大小的剪枝算法只将不重要的参数置零，并没有减少矩阵尺寸与计算复杂度，实际加速效果不明显。此外这种基于剪枝的方法需要针对特定的网络结构进行微调，训练过程复杂。

基于稀疏矩阵分解的模型压缩算法有B.Liu等人在“B.Liu,M.Wang,and H,Foroosh.Sparse Convolutional Neural Networks.In Proceedings of the IEEEComputer Society Conference on Computer Vision and Pattern Recognition,2015,pp.806-814.”提出的将大型参数矩阵分解为小型矩阵的低秩矩阵分解法。这种方法在实际部署时需要特别设计底层硬件结构，难以广泛应用。

发明内容

为了克服现有技术的不足，本发明提供一种基于维度拆分的图像压缩方法。首先，利用通道拆分器对输入图像数据矩阵进行自适应通道拆分，分别得到包含信息较多的有效通道数据和包含信息较少冗余通道数据；然后，对有效通道数据分别进行分组卷积和点卷积，对冗余通道数据进行单个卷积层的简单卷积，分别得到相应通道的最终输出结果；最后，依据不同通道输出结果的重要性进行数据融合，得到压缩结果。本发明方法能够在保证任务精度的情况下选择信息最丰富、判别特征最明显的数据组合，有效地降低算法复杂度，并减少现有高性能神经网络对硬件计算能力、存储能力的依赖，解决神经网络在小型平台上高延迟的问题，实现轻量、快速的图像数据压缩。

一种基于维度拆分的图像压缩方法，其特征在于步骤如下：

步骤1：按照文献“K.He,X.Zhang and S.Ren.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification.InInternational Conference on Computer Vision,2015,pp.1026-1034.”中的方法对嵌入向量Z_embeding和全连接网络权重W_h进行初始化，然后，将嵌入向量输入全连接网络，再经激活函数，得到通道拆分掩膜Mask，具体如下：

步骤a：嵌入向量Z_embeding经过全连接网络输出隐藏层向量W_r：

W_r＝W_h×Z_embeding (1)

步骤b：隐藏层向量W_r经过激活函数F后得到通道拆分掩膜Mask：

Mask＝F(W_r,r) (2)

其中，F(·)为激活函数，r∈(0,1)为激活函数的参数，激活函数的计算公式如下：

步骤2：将待处理图像X与通道拆分掩膜Mask进行卷积处理，得到有效通道数据S，即：

其中，

代表卷积；

将待处理图像X与通道拆分掩膜Mask按下式进行卷积处理，得到有冗余通道数据S′：

步骤3：对有效通道数据S进行分组卷积，得到分组卷积结果S_y1，即

其中，

O表示分组卷积结果S_y1的通道数量，M×N表示S_y1的大小，

为分组卷积核，k的取值为3、5或7；

对分组卷积结果S_y1进行点卷积，得到有效通道的最终输出结果S_y，即：

其中，

为点卷积核，U输出特征图的通道数；

对冗余通道数据S′与1×1卷积核进行卷积处理，得到冗余通道的最终输出结果S_r：

其中，W表示1×1卷积核；

步骤4：按照下式对有效通道的输出结果S_y和冗余通道的输出结果S_r进行加权融合，得到最终的图像压缩结果Y：

Y＝βS_y+rS_r (10)

其中，β表示有效通道因子，r表示冗余通道因子，分别按下式计算得到：

r＝1-β (12)

其中，S₁表示有效通道的输出结果S_y中所有元素的平均值，S₂表示冗余通道的输出结果S_r中所有元素的平均值。

本发明的有益效果是：通过采用自适应维度拆分方法对大规模神经网络的结构进行调整，能够减小模型占用空间、加快模型运行速度；通过删除不重要的参数，大大减少深度模型的参数冗余性；通过一种自适应的二值化卷积模块对输入图像数据的各个维度进行筛选，在保证任务精度的情况下能够提取出信息最丰富、判别特征最明显的维度组合。本发明方法能够高效处理输入图像数据的高冗余度，充分利用数据特征的同时大大减少计算量。

附图说明

图1是本发明的基于维度拆分的图像压缩方法流程图；

图2是本发明的自适应通道拆分器示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于维度拆分的图像压缩方法，其主要实现过程如下：

1、构建自适应通道拆分器

如图2所示，本发明构建了一种由嵌入向量(一种模型参数)生成二值化权重的全连接网络的自适应通道拆分器。按照文献“K.He,X.Zhang and S.Ren.Delving Deep intoRectifiers:Surpassing Human-Level Performance on ImageNet Classification.InInternational Conference on Computer Vision,2015,pp.1026-1034.”中的方法对嵌入向量Z_embeding和全连接网络权重W_h进行初始化，然后，将嵌入向量输入全连接网络，再经激活函数，得到二值化向量，这个二值化向量就是二值化的1×1卷积核，它与输入图像做卷积能够起到通道拆分的效果，称其为通道拆分掩膜Mask。具体过程如下：

(1)嵌入向量Z_embeding经过全连接网络输出隐藏层向量W_r：

W_r＝W_h×Z_embeding (13)

(2)隐藏层向量W_r经过激活函数F后得到二值化向量，即通道拆分掩膜Mask：

Mask＝F(W_r,r) (16)

激活函数的参数r→0时，激活函数F(x,r)不断逼近sign()，即：

Mask是二值化的1×1卷积核。

2、通道拆分

将原始输入图像经过通道拆分器拆分为没有重叠两部分，分别输入“有效路径”和“冗余路径”。具体而言，将输入图像数据X与生成的Mask做点积得到的输出作为“有效通道”的输入S，将输入数据X与(1-Mask)做卷积得到的输出作为“冗余通道”的输入S'，如公式(14)

3、卷积计算

考虑计算量，给两条路径分配不同的计算资源。对于“冗余路径”分配较少的计算资源，仅使用单个1×1卷积层进行简单特征提取。为了进一步减少卷积计算量，对于“有效路径”采用一种新的卷积方式代替计算复杂度较高的传统卷积：分组卷积与点卷积结合的方式。具体为：

1)对“有效路径”的输入特征图S进行分组卷积得到中间特征图

计算公式如下：

其中，O表示中间特征图S_y1的通道数量，M和N表示特征图的宽度和高度。

为大小为k×k的分组卷积核，k一般取3、5、7左右的整数。对分组卷积的结果进行点卷积，得到的结果S_y作为有效路径的最终输出特征图，

计算公式如下：

其中，

为点卷积核，U输出特征图的通道数。

2)对“冗余路径”的数据S'进行普通1×1卷积得到冗余路径的输出S_r：

其中，W为1×1卷积核。

4、数据融合

将有效通道的输出结果S_y和冗余通道的输出结果S_r进行数据融合，得到最终输出特征图，即最终的图像压缩结果Y。

首先，分别计算两个通道的重要性系数：

其中，S_1c表示有效通道数据第c个通道的重要性系数，S_2c表示冗余通道数据第c个通道的重要性系数。

然后，使用归一化指数函数使得所有重要性系数的和为1，得到不同通道的归一化重要性系数：

r_c＝1-β_c (25)

其中，β_c表示有效通道第c个通道的因子，r_c表示冗余通道第c个通道的因子。

最后，按下式进行数据融合，得到压缩结果Y：

Y＝βS_y+rS_r (26)

其中，β＝[β₁,β₂,…,β_O]表示有效通道因子，r＝[r₁,r₂,…,r_O]表示冗余通道因子。

本发明方法相比于基于像素的方法，基于通道的选择机制能够更多地关注整体的语义信息，对于对抗样本的鲁棒性高，压缩后模型的稳定性良好。相比较基于剪枝的算法和基于稀疏矩阵分解的算法，本发明方法减小了算法的理论计算复杂度，无需依赖于特别的底层硬件设计，具有显著的加速模型运算、节省硬盘空间和降低设备能耗的效果。

为验证本发明方法的效果，在中央处理器为

i7-77003.2GHz CPU、NvidiaGeforce 1080、内存8G、WINDOWS 10操作系统上，运用python软件进行图像压缩仿真实验。实验选择VGG(Visual Geometry Group)算法作为对比算法在图像分类数据集CIFAR100上进行对比试验。VGG算法是文献“K.Simonyan,and A.Zisserman.Very Deep ConvolutionalNetworks for Large-Scale Image Recognition.In Conf.International Conferenceon Learning Representations,2015.”提出的。

实验结果如表1所示，可以看出，本发明方法在CIFAR100数据集上取得了73.6％的精度，比传统VGG算法的精确度更高，参数量方面为7.32M，相对传统VGG算法能够节省近65％的存储空间，且计算量减少28.2％，明显优于现有方法。

表1

Claims (1)

1.一种基于维度拆分的图像压缩方法，其特征在于步骤如下：

步骤1：按照文献“K.He,X.Zhang and S.Ren.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification.InInternational Conference on Computer Vision,2015,pp.1026-1034.”中的方法对嵌入向量Z_embeding和全连接网络权重W_h进行初始化，然后，将嵌入向量输入全连接网络，再经激活函数，得到通道拆分掩膜Mask，具体如下：

步骤a：嵌入向量Z_embeding经过全连接网络输出隐藏层向量W_r：

W_r＝W_h×Z_embeding (1)

步骤b：隐藏层向量W_r经过激活函数F后得到通道拆分掩膜Mask：

Mask＝F(W_r,r) (2)

其中，F(·)为激活函数，r∈(0,1)为激活函数的参数，激活函数的计算公式如下：

步骤2：将待处理图像X与通道拆分掩膜Mask进行卷积处理，得到有效通道数据S，即：

其中，

代表卷积；

将待处理图像X与通道拆分掩膜Mask按下式进行卷积处理，得到有冗余通道数据S′：

步骤3：对有效通道数据S进行分组卷积，得到分组卷积结果S_y1，即：

其中，

O表示分组卷积结果S_y1的通道数量，M×N表示S_y1的大小，

为分组卷积核，k的取值为3、5或7；

对分组卷积结果S_y1进行点卷积，得到有效通道的最终输出结果S_y，即：

其中，

为点卷积核，U输出特征图的通道数；

对冗余通道数据S′与1×1卷积核进行卷积处理，得到冗余通道的最终输出结果S_r：

其中，W表示1×1卷积核；

步骤4：按照下式对有效通道的输出结果S_y和冗余通道的输出结果S_r进行加权融合，得到最终的图像压缩结果Y：

Y＝βS_y+rS_r (10)

其中，β表示有效通道因子，r表示冗余通道因子，分别按下式计算得到：

r＝1-β (12)

其中，S₁表示有效通道的输出结果S_y中所有元素的平均值，S₂表示冗余通道的输出结果S_r中所有元素的平均值。

Images