CN116128737B - 一种基于数据压缩的图像超分网络鲁棒性提升装置 - Google Patents

一种基于数据压缩的图像超分网络鲁棒性提升装置 Download PDF

Info

Publication number
CN116128737B
CN116128737B CN202310420888.3A CN202310420888A CN116128737B CN 116128737 B CN116128737 B CN 116128737B CN 202310420888 A CN202310420888 A CN 202310420888A CN 116128737 B CN116128737 B CN 116128737B
Authority
CN
China
Prior art keywords
module
feature map
tensor
discrete cosine
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310420888.3A
Other languages
English (en)
Other versions
CN116128737A (zh
Inventor
王中风
汪文浩
施禹伯
王美琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310420888.3A priority Critical patent/CN116128737B/zh
Publication of CN116128737A publication Critical patent/CN116128737A/zh
Application granted granted Critical
Publication of CN116128737B publication Critical patent/CN116128737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置，包括压缩模块和解压缩模块；所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块、压缩编码模块；所述特征图张量切块与重排模块用于为空间二维分块，分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理；所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间；本发明利用特定压缩方案处理深度神经网络传输的特征图，在图像超分网络上可提高其鲁棒性。实现神经网络在端侧设备部署时，在提升模型安全性能同时，缓解特征图传输带来的带宽压力，降低传输功耗。

Description

一种基于数据压缩的图像超分网络鲁棒性提升装置
技术领域
本发明属于计算机领域，尤其涉及一种基于数据压缩的图像超分网络鲁棒性提升装置。
背景技术
在人工智能浪潮之下，人工神经网络凭借其强大的自我适应能力在诸如图像识别、语音识别、自然语言处理，以及预测和决策等任务中展现出越来越强大的性能。近年来随着神经网络的广泛应用，其在智能可穿戴设备的部署中对硬件资源消耗和安全性等指标也提出了的更高的需求。
真实图像超分辨问题主要解决从低分辨率图像中重建出更加丰富的纹理细节，在图像压缩、视频感知和遥感成像等领域具有重要意义。之前的研究表明现有的基于学习的图像超分辨网络在面对对抗扰动时，呈现出严重的脆弱性，对抗扰动可以误导图像超分辨的超分重建的方向。对抗攻击常常被分为两类，白盒攻击和黑盒攻击。其中白盒攻击可以完全获得目标模型具有目标模型的全部信息。而黑盒模型并不能获得完全的目标模型，对目标模型只有有限的信息，比如不知道目标模型的架构和权重，其中白盒环境下的攻击更加具有挑战性。
现有技术有如下几种：
一、基于对抗性训练的方法
对于DNN网络（(Deep Neural Networks, DNN)）来说，样本会被混合一些微小的扰动就可以误导分类器输出错误的标签：对于给定的DNN分类器
Figure SMS_1
和输入图像样本/>
Figure SMS_2
，X为输入样本集合，y表示正确的分类标签，对抗样本/>
Figure SMS_3
满足下面的条件：
Figure SMS_4
其中
Figure SMS_5
为一个小量；该方案中采用白盒攻击方案，采用生成对抗样本的快速梯度符号方法FGSM(Fast Gradient Sign Method)和投影坡度下降Project Gradient Descent方案生成对抗样本，将对抗样本以数据增强的形式加入训练集对模型进行训练。遗憾的是对抗性训练的方法往往需要重新对模型进行重新训练以及重新设计损失函数,会增加大量训练时间以及浪费大量能源；而且在图像领域，采用对抗训练虽然能提高鲁棒性，但是通常都会造成泛化性降低，影响普通样本的分类能力。
二、基于模型权重的优化的方法
模型压缩技术旨在最大程度的减小模型复杂度，减少模型存储需要的空间，也致力于加速模型的训练和推测，同时还可以在一定程度提高网络的鲁棒性。大量的基于权重的模型压缩技术诸如量化、剪枝等技术已经被提出并且获得了较好的鲁棒性。
三、基于特征图滤波的方法（参考文献：Yue J, Li H, Wei P, et al. Robustreal-world image super-resolution against adversarial attacks[C]//Proceedingsof the 29th ACM International Conference on Multimedia. 2021: 5148-5157）
在对图像超分网络的特征图分析研究中发现现代的鲁棒攻击样本常常包含了一个对图像的高频扰动。因此可以采用一个频率域上掩膜算法去除图像中有害的高频扰动，以较低的成本一定程度上提高模型的鲁棒性的同时缓解了特征图传输过程中产生的带宽压力，而无需重新训练。此外对ResNet的消融试验表明同时使用特征图的频率掩膜和对权重的量化可以提升模型的鲁棒性，然而该方案并没有针对CNN加速器进行专用的设计和实现。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于数据压缩的图像超分网络鲁棒性提升装置，主要用于卷积神经网络的卷积计算单元中，可减少特征图数据的存储规模并提升系统鲁棒性，所述装置包括压缩模块和解压缩模块；
所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块和压缩编码模块；
所述特征图（feature map，FM）张量切块与重排模块用于为空间二维分块，分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理；
所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间；
所述量化模块用于将浮点数转换为定点数，降低数据存储规模；
所述随机掩膜滤波器模块用于提升特征图压缩的鲁棒性；
所述压缩编码模块通过减小存储数据（鲁棒特征图张量）中的冗余信息，减小数据量，降低带宽压力，增加单位存储中的信息量，也可采用现有的Huffman编码或Jpeg编码方案。
所述解压缩模块用于完成压缩模块的逆过程。
所述解压缩模块包括解码模块、解量化模块、二维离散余弦逆变换模块和张量元素排序复原模块；
所述解码模块用于恢复编码特征图为非编码特征图；
所述解量化模块将特征图中的定点数转换为浮点数；
所述二维离散余弦逆变换模块用于将特征图信息从特征图频率空间恢复到特征图空间；
所述张量元素排序复原模块用于从子特征图张量恢复成原特征图张量。
所述特征图张量切块与重排模块用于为空间二维分块，具体包括：向特征图张量切块与重排模块输入图像数据，所述图像数据是特征图张量，并且是三维数据，将三维数据中一个维度看成通道，即能够变成二维张量，从而完成空间二维分块，对于维度不能整除的特征图张量，填充0至子特征图张量的维度（一般取8）的整数倍再分割。
所述特征图张量为卷积层的输出三维张量（tensor），包含了与任务相关的输入数据的学习特征。
所述二维离散余弦变换模块是使用Ⅱ型离散余弦变换做变换处理，其中，二维离散余弦变换的维度与分块后的特征图张量的尺寸相同，即都为N，具体包括：
对于原特征图张量的每个已经切块的、边长为N的方阵X，二维离散余弦正变换后维度为N的方阵Y，通过通用矩阵乘法计算完成变换，计算公式如下：
Figure SMS_6
（1）
其中，T表示矩阵的转置；
逆变换的计算公式如下：
Figure SMS_7
（2）
其中A为离散余弦变换实正交矩阵，满足以下条件，
Figure SMS_8
为归一化系数：
Figure SMS_9
（3）
其中，A ij 表示离散余弦变换矩阵中坐标为[i,j]的元素；N的另一个含义是表示二维离散余弦变换的维度。
所述随机掩膜滤波器模块采用随机掩膜矩阵进行遮盖，对方阵Y进行如下处理：
Figure SMS_10
（4）
其中
Figure SMS_11
为点乘，/>
Figure SMS_12
为随机掩膜滤波器模块输出，Y为随机掩膜滤波器模块输入，M为随机掩膜矩阵，维度与Y相同；
Figure SMS_13
为随机掩膜矩阵M第u行第v列的项，Bernoulli表示伯努利分布， 伯努利分布以p概率取值为1，1-p的概率取值为0；/>
Figure SMS_14
Figure SMS_15
表示/>
Figure SMS_16
为/>
Figure SMS_17
到/>
Figure SMS_18
中的一个随机值，/>
Figure SMS_19
和/>
Figure SMS_20
为0到1之间的值。
所述量化模块和解量化模块分别采用如下量化函数(5)和解量化函数(6)：
Figure SMS_21
（5）
Figure SMS_22
（6）
其中
Figure SMS_23
为取整函数，x为/>
Figure SMS_24
中的元素，/>
Figure SMS_25
为量化后的整数，/>
Figure SMS_26
为解量化后的浮点数，s为尺度因子，/>
Figure SMS_27
为x的标准差，b为量化后位宽，z为零点，clamp函数定义如下所示：
Figure SMS_28
（7）
其中
Figure SMS_29
是中间参数，一般取x的上界和下界，在公式（5）中分别指代0、/>
Figure SMS_30
；
综合公式（5）和（6）得到综合量化函数
Figure SMS_31
，其中/>
Figure SMS_32
表示公式（4）中的运算：
Figure SMS_33
（8）。
本发明主要是针对带有卷积结构的网络的推理过程进行优化，旨在提升模型安全性能同时，缓解特征图传输时带来的带宽压力、降低传输功耗，具有如下优势：
1）引出一组额外的掩膜参数和乘法运算，参考公式（4），利用特征图的频率域信息提升了鲁棒性，避免了重新训练带来大量的资源消耗
2）利用分块和并行的思想，将特征图数据进行分块和并行处理，有效的提高了系统的运行速度和吞吐量。
本发明装置是基于白盒攻击环境。本发明针对图像超分网络中效率和鲁棒性平衡的问题，利用特征图压缩技术在减少存储开销的同时也提高了网络的鲁棒性。
有益效果：本发明利用特定压缩方案处理深度神经网络传输的特征图，在图像超分网络上可提高其鲁棒性。实现神经网络在端侧设备部署时，在提升模型安全性能同时，缓解特征图传输带来的带宽压力，降低传输功耗。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方法的优点将会变得更加清楚。
图1是CNN 加速处理器特征图压缩鲁棒性提升装置示意图。
图2是CNN加速器特征图处理流程图。
图3是特征图切块模块示意图。
图4是特征图编码和解码示意图。
图5是ResNet-18 鲁棒性提升网络模型示意图。
具体实施方式
本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置，所述装置包括压缩模块和解压缩模块；
所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块和压缩编码模块；
所述特征图（feature map，FM）张量切块与重排模块用于为空间二维分块，分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理；
所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间；
所述量化模块用于将浮点数转换为定点数，降低数据存储规模；
所述随机掩膜滤波器模块用于提升特征图压缩的鲁棒性；
所述压缩编码模块通过减小存储数据（鲁棒特征图张量）中的冗余信息，减小数据量，降低带宽压力，增加单位存储中的信息量，也可采用现有的Huffman编码或Jpeg编码方案。
所述解压缩模块用于完成压缩模块的逆过程。
所述解压缩模块包括解码模块、解量化模块、二维离散余弦逆变换模块和张量元素排序复原模块；
所述解码模块用于恢复编码特征图为非编码特征图；
所述解量化模块将特征图中的定点数转换为浮点数；
所述二维离散余弦逆变换模块用于将特征图信息从特征图频率空间恢复到特征图空间；
所述张量元素排序复原模块用于从子特征图张量恢复成原特征图张量。
所述特征图张量切块与重排模块用于为空间二维分块，具体包括：向特征图张量切块与重排模块输入图像数据，所述图像数据是特征图张量，并且是三维数据，将三维数据中一个维度看成通道，即能够变成二维张量，从而完成空间二维分块，对于维度不能整除的特征图张量，填充0至子特征图张量的维度（一般取8）的整数倍再分割。
所述特征图张量为卷积层的输出三维张量（tensor），包含了与任务相关的输入数据的学习特征。
所述二维离散余弦变换模块是使用Ⅱ型离散余弦变换做变换处理，其中，二维离散余弦变换的维度与分块后的特征图张量的尺寸相同，即都为N，具体包括：
对于原特征图张量的每个已经切块的、边长为N的方阵X，二维离散余弦正变换后维度为N的方阵Y，通过通用矩阵乘法计算完成变换，计算公式如下：
Figure SMS_34
（1）
其中，T表示矩阵的转置；
逆变换的计算公式如下：
Figure SMS_35
（2）
其中A为离散余弦变换实正交矩阵，满足以下条件，
Figure SMS_36
为归一化系数：
Figure SMS_37
（3）
其中，A ij 表示离散余弦变换矩阵中坐标为[i,j]的元素；N的另一个含义是表示二维离散余弦变换的维度。
所述随机掩膜滤波器模块采用随机掩膜矩阵进行遮盖，对方阵Y进行如下处理：
Figure SMS_38
（4）
其中
Figure SMS_39
为点乘，/>
Figure SMS_40
为随机掩膜滤波器模块输出，Y为随机掩膜滤波器模块输入，M为随机掩膜矩阵，维度与Y相同；
Figure SMS_41
为随机掩膜矩阵M第u行第v列的项，Bernoulli表示伯努利分布， 伯努利分布以p概率取值为1，1-p的概率取值为0；/>
Figure SMS_42
Figure SMS_43
表示/>
Figure SMS_44
为/>
Figure SMS_45
到/>
Figure SMS_46
中的一个随机值，/>
Figure SMS_47
和/>
Figure SMS_48
为0到1之间的值。
所述量化模块和解量化模块分别采用如下量化函数(5)和解量化函数(6)：
Figure SMS_49
（5）
Figure SMS_50
（6）
其中
Figure SMS_51
为取整函数，x为/>
Figure SMS_52
中的元素，/>
Figure SMS_53
为量化后的整数，/>
Figure SMS_54
为解量化后的浮点数，s为尺度因子，/>
Figure SMS_55
为x的标准差，b为量化后位宽，z为零点，clamp函数定义如下所示：
Figure SMS_56
（7）
其中
Figure SMS_57
是中间参数，一般取x的上界和下界，在公式（5）中分别指代0、/>
Figure SMS_58
；
综合公式（5）和（6）得到综合量化函数
Figure SMS_59
，其中/>
Figure SMS_60
表示公式（4）中的运算：
Figure SMS_61
（8）。
实施例1
本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置，所述装置包括压缩模块（执行压缩流程）和解压缩模块（执行解压缩流程）；所述装置针对神经网络处理器（Neural network Processing Unit，NPU）中激活函数与内存之间传输的特征图做压缩处理。流程如图1所示：
压缩流程（compression Process）中依次包含特征图张量切块与重排(chunk)模块、二维离散余弦变换模块（2 Dimension - Discrete Cosine Transform，2D-DCT）、量化模块（Quantization）、随机掩膜滤波器模块(Random Mask)和压缩编码(Encoding)模块；
解压缩流程包含解码模块（Decode）、解量化(Dequantization)模块、二维离散余弦逆变换（Inverse Discrete Cosine Transform，2D-IDCT）模块(IDCT)和张量元素排序复原(Rearrange)模块。
本发明在量化模块化中添加了随机掩膜滤波器模块，其中加入随机掩膜滤波器模块的装置称为特征图压缩的鲁棒性提升装置（简称Robustness device），未加入随机掩膜滤波器模块的称为特征图压缩装置。该装置用于卷积处理（CNN main Process）和片上内存（On-chip SRAM）之间进行数据的压缩和解压，compression Process接受上一个卷积层的激活数据（Output Feature Map OFM）作为输入，并得到压缩后的特征图存储到SRAM上；Reconstruction Process从SRAM提取压缩后的特征图数据，最终产生复原特征图张量(Input Feature Map,IFM)作为下一个卷积层的输入。
NPU中的compression Process数据处理流程如图2所示：从输出特征图OFM分块得到N*N 的子特征图（block），并通过DCT、Mask、Quantization和Encode得到压缩后的数据并存到On-chip SRAM上，该流程即为提升系统鲁棒性和降低存储带宽压力的关键。具体每个模块的细节如下：
特征图张量切块与重排模块：
特征图张量切块与重排模块（下简称切块）为空间二维分块。张量元素排序复原（下简称切块恢复）用于从子特征图张量恢复成原特征图张量。数据经过切块后的数据输入至同等尺寸的2D-DCT正变换做处理；切块恢复的数据输入来源为同等尺寸的2D-DCT逆变换。以子块维度N等于4为例，切块模式如图3所示，特别地，对于不规则的特征图张量，可以先在边缘填充零为N的整数倍。
二维离散余弦变换模块和二维离散余弦逆变换模块：
二维离散余弦变换模块使用Ⅱ型离散余弦变换。对于原特征图的每个已经切块的，边长为N的方阵X，其变换后为边长N的方阵Y，通过变换矩阵A及其转置矩阵A T，通过通用矩阵乘法计算完成变换，计算公式如公式（1）、（2）和（3）所示。
提升鲁棒性的随机掩膜滤波器模块：
本发明所使用的鲁棒性提升装置中采取了随机掩膜矩阵，变换如公式（4）所示，随机掩膜滤波器模块不仅可以过滤掉高频率的噪音，还可以增加模型的鲁棒性。
量化模块和解量化模块：
本发明应用于NPU，通常计算模式为定点数计算，因此上述变换的输入、输出和计算均以定点数形式存储。具体量化过程参考公式（5）~公式（8）。
编码和解码模块：
Encode模块可采用游程编码（Run-length Encoding）加Huffman编码方案 （参考文献：Evans R D, Liu L, Aamodt T M. Jpeg-act: accelerating deep learning viatransform-based lossy compression[C]//2020 ACM/IEEE 47th Annual InternationalSymposium on Computer Architecture (ISCA). IEEE, 2020: 860-873. Fig.5）或者零值压缩编码方案如图4所示:丢弃DCT变换和量化后的所有零值，Encode从FM buffer中取出b bit
Figure SMS_62
的FM（feature map）分解为b/>
Figure SMS_63
的 />
Figure SMS_64
和一个1bit N*N位图矩阵（bitmap）分别存储在/>
Figure SMS_65
buffer和 index buffer中，Decode模块从/>
Figure SMS_66
buffer和 index buffer取出/>
Figure SMS_67
和bitmap,并根据bitmap中非零元素位置依次在
Figure SMS_68
索取得到FM。
实施例2
如图5所示，以超深图像超分网络（Very Deep Super-Resolution ConvolutionalNetworks , VDSR）为例，在每3层构成一个block，每一个block的第一个卷积层加入结合特征图压缩的鲁棒性提升装置，在其它层仅加入特征图压缩装置。其中输入为一张图像下采样后得到的低分辨率图像(input low-resolution image, ILR img),经过第一层64通道、3*3的卷积层后得到的特征图张量（OFM）作为Robustness device的输入,该装置输出的特征图张量（IFM）将作为神经网络的下一个卷积层的输入，最终得到高分辨率的图像（high-resolution image, HR img）。
其中，切块2D-DCT阶数设置8，2D-DCT正变换使用Ⅱ型离散余弦变换，随机遮罩的阈值为0.5，本实施例中，无需引入重训练，即可保持原有模型在特征图16-bit位宽定点压缩时的性能，同时提高鲁棒性。
本发明提供了一种基于数据压缩的图像超分网络鲁棒性提升装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于数据压缩的图像超分网络鲁棒性提升装置，其特征在于，包括压缩模块和解压缩模块；
所述压缩模块包括特征图张量切块与重排模块、二维离散余弦变换模块、量化模块、随机掩膜滤波器模块、压缩编码模块；
所述特征图张量切块与重排模块用于为空间二维分块，分块后的数据输入至同等尺寸的二维离散余弦变换模块做变换处理；
所述二维离散余弦变换模块用于将数据从特征图空间转换到特征图频率空间；
所述量化模块用于将浮点数转换为定点数，降低数据存储规模；
所述随机掩膜滤波器模块用于提升特征图压缩的鲁棒性；
所述压缩编码模块通过减小存储数据中的冗余信息，减小数据量，降低带宽压力，增加单位存储中的信息量；
所述解压缩模块用于完成压缩模块的逆过程；
所述解压缩模块包括解码模块、解量化模块、二维离散余弦逆变换模块、张量元素排序复原模块；
所述解码模块用于恢复编码特征图为非编码特征图；
所述解量化模块将特征图中的定点数转换为浮点数；
所述二维离散余弦逆变换模块用于将特征图信息从特征图频率空间恢复到特征图空间；
所述张量元素排序复原模块用于从子特征图张量恢复成原特征图张量；
所述特征图张量切块与重排模块用于为空间二维分块，具体包括：向特征图张量切块与重排模块输入图像数据，所述图像数据是特征图张量，并且是三维数据，将三维数据中一个维度看成通道，即能够变成二维张量，从而完成空间二维分块，对于维度不能整除的特征图张量，填充0至子特征图张量的维度的整数倍再分割；
所述二维离散余弦变换模块是使用Ⅱ型离散余弦变换做变换处理，其中，二维离散余弦变换的维度与分块后的特征图张量的尺寸相同，即都为N，具体包括：
对于原特征图张量的每个已经切块的、边长为N的方阵X，二维离散余弦正变换后维度为N的方阵Y，通过通用矩阵乘法计算完成变换，计算公式如下：
Y＝AXAT (1)
其中，T表示矩阵的转置；
逆变换的计算公式如下：
X＝ATYA (2)
其中A为离散余弦变换实正交矩阵，满足以下条件，c(i)为归一化系数：
Figure QLYQS_1
其中，Aij表示离散余弦变换矩阵中坐标为[i,j]的元素；
所述随机掩膜滤波器模块采用随机掩膜矩阵进行遮盖，对方阵Y进行如下处理：
Figure QLYQS_2
其中⊙为点乘，Yo为随机掩膜滤波器模块输出，Y为随机掩膜滤波器模块输入，M为随机掩膜矩阵，维度与Y相同；
Mu,v为随机掩膜矩阵M第u行第v列的项，Bernoulli表示伯努利分布，伯努利分布以p概率取值为1，1-p的概率取值为0；
Figure QLYQS_3
rt～U(rl,ru)表示rt为rl到ru中的一个随机值，rl和ru为0到1之间的值。
2.根据权利要求1所述的装置，其特征在于，所述量化模块和解量化模块分别采用如下量化函数(5)和解量化函数(6)：
Figure QLYQS_4
Figure QLYQS_5
其中
Figure QLYQS_6
为取整函数，x为Yo中的元素，xint为量化后的整数，/>
Figure QLYQS_7
为解量化后的浮点数，s为尺度因子，σ为x的标准差，b为量化后位宽，z为零点，clamp函数定义如下所示：
Figure QLYQS_8
其中a,c是中间参数，在公式(5)中分别指代0、2b-1；
综合公式(5)和(6)得到综合量化函数q(·)，其中Mask(·)表示公式(4)中的运算：
Figure QLYQS_9
CN202310420888.3A 2023-04-19 2023-04-19 一种基于数据压缩的图像超分网络鲁棒性提升装置 Active CN116128737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310420888.3A CN116128737B (zh) 2023-04-19 2023-04-19 一种基于数据压缩的图像超分网络鲁棒性提升装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310420888.3A CN116128737B (zh) 2023-04-19 2023-04-19 一种基于数据压缩的图像超分网络鲁棒性提升装置

Publications (2)

Publication Number Publication Date
CN116128737A CN116128737A (zh) 2023-05-16
CN116128737B true CN116128737B (zh) 2023-06-27

Family

ID=86308550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310420888.3A Active CN116128737B (zh) 2023-04-19 2023-04-19 一种基于数据压缩的图像超分网络鲁棒性提升装置

Country Status (1)

Country Link
CN (1) CN116128737B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847800B (zh) * 2016-05-18 2018-10-09 山东大学（威海） 基于全相位离散正弦双正交变换的图像压缩方法及系统
CN112906874B (zh) * 2021-04-06 2024-08-23 南京大学 卷积神经网络特征图数据压缩方法及装置
CN115706798A (zh) * 2021-08-17 2023-02-17 华为技术有限公司 熵编解码方法和装置

Also Published As

Publication number Publication date
CN116128737A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
He et al. Reversible data hiding in JPEG images based on negative influence models
Rawat et al. A Hybrid Image Compression Scheme Using DCT and Fractal Image Compression.
US10382789B2 (en) Systems and methods for digital media compression and recompression
US20140043347A1 (en) Methods for jpeg2000 encoding and decoding based on gpu
WO2001050768A2 (en) Method and apparatus for video compression using sequential frame cellular automata transforms
EP2406958A2 (en) Adaptive entropy coding for images and videos using set partitioning in generalized hierarchical trees
US20070116371A1 (en) Decoding apparatus, inverse quantization method, and computer readable medium
Zhe et al. Rate-distortion optimized coding for efficient cnn compression
CN116128737B (zh) 一种基于数据压缩的图像超分网络鲁棒性提升装置
US6330283B1 (en) Method and apparatus for video compression using multi-state dynamical predictive systems
Yeh et al. On the optimality of a universal noiseless coder
US6400766B1 (en) Method and apparatus for digital video compression using three-dimensional cellular automata transforms
CN111614864B (zh) 基于svd及cbc模式结合的图像压缩加密传输方法
CN102395031B (zh) 一种数据压缩方法
Prantl Image compression overview
Chen et al. Efficient Pruning Method for Learned Lossy Image Compression Models Based on Side Information
Jiao et al. SVM regression and its application to image compression
CN115623207B (zh) 一种基于多进多出技术的数据传输方法及相关设备
Chen et al. Adaptive VQVAE: a learning-based image compression framework with vector quantization
Shleymovich et al. Weight Model for Image Compression Method
Dobrovolný et al. Asymmetric image compression for embedded devices based on singular value decomposition
Kranthi et al. Enhanced image compression algorithm for image processing applications
Sachdeva et al. A Review on Digital Image Compression Techniques
Raju et al. Image compression using self organizing map and discrete wavelet transform with error correction
Li Optimal Quantization for Big Data Based on the Dynamic Programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant