CN114222123B - 一种任意压缩率的加密图像有损压缩与重构系统及方法 - Google Patents

Abstract

本发明公开了一种任意压缩率的加密图像有损压缩与重构系统及方法，涉及图像加密压缩和计算机视觉的技术领域，所述系统包括加密模块、压缩模块和解密重构模块；原始图像输入至加密模块，加密模块对原始图像进行加密操作，获得加密图像，发送至压缩模块；压缩模块对加密图像进行联合压缩操作，获得压缩加密图像，发送至解密重构模块；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。本发明采用联合压缩操作获得任意的压缩率，提高了压缩性能；重构时深层特征提取获得了图像的细节特征，信息补充用来补充丢失的信息，下采样约束对采样位置进行约束，协同提高重构性能。

Description

一种任意压缩率的加密图像有损压缩与重构系统及方法

技术领域

本发明涉及图像加密压缩和计算机视觉的技术领域，更具体地，涉及一种任意压缩率的加密图像有损压缩与重构系统及方法。

背景技术

为了保证数据在网络传输中的高效性和安全性，一般需要对其进行压缩和加密。传统的方法是先对数据进行压缩再进行加密，将加密好的数据进行传输，接收方对数据进行解密解压缩获得原数据，这种方式被称为先压缩后加密(compression-then-encryption，CTE)系统，随着云技术和分布式处理技术的发展，为了安全起见，发送方会先对数据进行加密，但在自身计算资源有限的情况下，不会对数据进行压缩，而是加密之后直接通过网络进行传输；云端受到传输带宽和存储资源的限制，再对数据进行压缩；为了恢复原始数据，接收端需要对数据进行联合解压缩及解密操作，这种方式被称为先加密后压缩(encryption-then-compression，ETC)系统；ETC系统分为无损和有损两种模式，在有损压缩情况下，ETC系统的压缩率较低，重构出的图像质量难以达到令人满意的程度。

现有技术提供了一种基于稠密卷积神经网络的并联单帧图像超分辨率重建方法，包括：构建由两个并联稠密连接结构块和一个跳层连接结构组成的稠密卷积神经网络，两个并联的稠密连接结构块作为循环子块，每条支路均包含一个子块结构和恒等映射。该方法进行重建的数据基础仅包括低分辨率图片的特征信息，没有关注像素点的周边信息，会导致重构质量降低；重建时将浅层特征通过跳层连接结构与深层特征相加连接，导致部分学习信息丢失；并且无法在任意压缩率的情况下都能保证重构质量。

发明内容

本发明为克服上述现有先加密后压缩系统压缩和重构性能差的缺陷，提供一种任意压缩率的加密图像有损压缩与重构系统及方法，能够获得任意的压缩率，并且在高压缩率的情况下保证图像的重构质量，使加密后压缩系统的加密图像压缩和有损重构的性能得到大幅度提升。

为解决上述技术问题，本发明的技术方案如下：

本发明提供了一种任意压缩率的加密图像有损压缩与重构系统，包括加密模块、压缩模块和解密重构模块；

原始图像输入至加密模块，加密模块对原始图像进行加密操作，获得加密图像，发送至压缩模块；压缩模块对加密图像进行联合压缩操作，获得压缩加密图像，发送至解密重构模块；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

本发明的加密模块采用任意加密方式对原始图像进行加密获得加密图像；压缩模块对加密图像进行联合压缩操作，联合压缩操作能够获得任意的压缩率，提高了压缩性能；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像，在高压缩率的情况下也可以获得优秀的重构质量。

优选地，所述系统还包括密钥生成模块；

所述密钥生成模块用于生成密钥，将密钥输入加密模块，加密模块根据密钥对原始图像进行加密操作；并且，密钥通过安全信道传输至解密重构模块，解密重构模块根据密钥对压缩加密图像进行解密还原操作。

密钥生成模块利用任意加密方式生成密钥，如流密码加密方法、高级加密标准加密方法、同态加密方法。

优选地，加密模块根据密钥对原始图像进行加密操作的具体方法为：

式中，I_enc表示加密图像，I_or表示原始图像，(x,y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R,G,B}；K(i)表示密钥中的第i位，K(i)∈[0,255]；

其中，原始图像的大小为3×H×W，H,W分别表示原始图像的高度和宽度；则i＝(ind(c)×H×W+(y-1)×W+x)，i∈{1,…,3×H×W}，ind(c)的输出为0、1、2，分别表示R、G、B三个通道。

优选地，压缩模块对加密图像进行的压缩操作包括均匀下采样和随机下采样。均匀下采样和随机下采样可以保证获取到任意压缩率的同时，保留尽可能多的图像信息；均匀下采样的目的是保留图像中的空间统计性，以保证重构质量；随机下采样的目的是获取任意的压缩率。

优选地，根据压缩率的数值不同，压缩操作时的下采样方法不同，具体为：

将压缩率记为R，0<R≤1；压缩率定义为

式中，I_endw表示压缩加密图像，size(·)表示图像比特数的计算函数；

一、当R<0.5时：

计算阈值

式中ceil(·)表示向上取整函数；

设s_x和s_y分别表示横向采样因子和纵向采样因子，s_x,s_y∈N，N表示自然数；寻找最优横向采样因子s′_x和最优纵向采样因子s′_y：

1)将纵向采样因子s_y的初始值设置为2；

2)计算符合

且s_x∈[s_y,T]的横向采样因子的最小值mins_x；

3)比较s_y和T的大小，当s_y≤T时，令s_y＝s_y+1，重复步骤2)；当s_y>T时，将此时的s_y作为最优纵向采样因子s′_y，将上一次迭代计算的mins_x作为最优横向采样因子s′_x；

利用最优横向采样因子s′_x和最优纵向采样因子s′_y对加密图像I_enc进行均匀下采样；

对均匀下采样后的加密图像进行随机下采样，获得压缩加密图像I_endw，随机下采样的像素点个数为n，像素点位置通过密钥K_r来生成，其中：

式中，round(·)表示四舍五入函数，H表示原始图像的高度，W表示原始图像的宽度；

二、当R＝0.5时对加密图像I_enc上的像素点利用均匀下采样进行交替采样，获得压缩加密图像I_endw；

三、当R>0.5时，计算R′＝1-R，利用与方法一相同的方法，将R^′作为压缩率，计算出像素点进行下采样的采样位置，之后将采样位置和非采样互换，获得压缩加密图像I_endw。

优选地，所述解密重构模块包括解密单元、浅层特征提取单元、深层特征提取单元、信息补充单元和下采样约束单元；

解密单元根据密钥对压缩加密图像I_endw进行解密还原，获得有损图像I_dec，输出取至浅层特征提取单元和信息补充单元；

获得压缩加密图像I_endw后，将采样的像素部分还原为之前的位置，将丢弃的未采样的像素部分的像素值设为0，获得的有损图像I_dec的大小与原始图像的大小相同；

浅层特征提取单元对有损图像I_dec提取浅层特征，获得浅层特征图F₀，输出至深层特征提取单元；浅层特征提取单元为一层的卷积层；

深层特征提取单元根据浅层特征图F₀提取深层特征，获得深层特征总图F_P，输出至信息补充单元；

信息补充单元根据有损图像I_dec和深层特征总图F_P进行补充，获得初始重构图像I₂，输出至下采样约束单元；

下采样约束单元对初始重构图像I₂中采样位置的像素值进行约束，生成最终重构图像I_rec。

优选地，所述深层特征提取单元包括依次连接的P个残差组、第一卷积层和第一加和点；每个残差组包括依次连接Q个残差通道注意力块、第二卷积层和第二加和点；每个残差通道注意力块包含注意力机制；

在深层特征提取单元层面，浅层特征图F₀输入深层特征提取单元，P个残差组依次提取深层特征，第p个残差组的深层特征图F_p通过第一卷积层传输到第一加和点；同时浅层特征图F₀长跳连接至第一加和点，与第p个残差组的深层特征图F_p进行加和，获得深层特征总图F_P；长跳连接为了建立更深的深层特征提取单元，缓解了跨越多个残差组的信息流，解决了深层特征提取单元的深度过深时训练稳定性的问题，并且通过残差学习提升表现；

深层特征提取单元层面，第p个残差组的深层特征图F_p表示为：

F_p＝H_p(F_p-1)＝H_p(H_p-1(…H₁(F₀)…))

深层特征总图F_P表示为：

F_P＝F₀+W₁F_p

式中，H_p,H_p-1,…,H₁分别表示第p,p-1,…,1个残差组的参数，W₁表示第一卷积层的权重；

在残差组层面，第p-1个残差组的深层特征图F_p-1输入第p个残差组，Q个残差通道注意力块依次提取特征，第q个残差通道注意力块的特征F_p,q通过第二卷积层传输到第二加和点；同时深层特征图F_p-1短跳连接至第二加和点，与第q个残差通道注意力块的特征F_p,q进行加和，获得第p个残差组的深层特征图F_p；短跳连接保证学习到更多的残差信息，让图像中的低频信息也得到良好的重构；残差通道注意力块包含的注意力机制可以充分利用通道的信息提高图像的重构性能；

则第p个残差组的第q个残差通道注意力块的特征表示为：

F_p,q＝H_p,q(F_p,q-1)＝H_p,q(H_p,q-1(…H_p,1(F_p-1)…))

残差组层面，第p个残差组的深层特征图F_p表示为：

F_p＝F_p-1+W₂F_p,q

式中，H_p,q,H_p,q-1,…,H_p,1分别表示第p个残差组的第q,q-1,…,1个残差通道注意力块的参数，W₂表示第二卷积层的权重。

优选地，所述信息补充单元包括第三卷积层、第四卷积层、负值删除块、残差块、按位相减点和第一按位相加点；

深层特征总图F_P输入第三卷积层生成候选图像S₁，输入按位相减点，同时有损图像I_dec也输入按位相减点，与候选图像S₁按位相减，获得信息丢失图像S₂，输入负值删除块；负值删除块将信息丢失图像S₂中负数的像素值设置为0，获得置零图像S₃，输入残差块；残差块提取置零图像S₃的有用特征，生成特征图像S₄，输入第一按位相加点；深层特征总图F_P经第四卷积层输入第一按位相加点，与特征图像S₄按位相加，获得初始重构图像I₂。

由于深层次的卷积会导致信息丢失，将候选图像S₁与有损图像I_dec相减，获得在深层特征提取单元中丢失信息后的信息丢失图像S₂，而有损图像I_dec中未采样的像素部分的像素值设为0，相减会导致信息丢失图像S₂中存在很多的像素值为负数的像素点，所以通过负值删除块将负的像素值设置为0。

优选地，所述下采样约束单元表示为：

式中，I_rec表示最终重构图像，I₂表示初始重构图像，M表示约束函数，I_dec表示有损图像，(x,y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R,G,B}；其中，M^c(x,y)＝0时，表示采样位置，M^c(x,y)＝1时，表示缺失像素的位置。

设M(x,y)＝{M^R(x,y),M^G(x,y),M^B(x,y)}(x∈[1,H],y∈[1,W])，在M中存在以下约束：M^c(x,y)＝0(c∈{R,G,B})表示采样位置，M^c(x,y)＝1(c∈{R,G,B})表示缺失像素的位置。经过浅层特征提取单元、深层特征提取单元、信息补充单元后会改变采样位置的像素值，最后经过以上约束关系进行约束，使采样位置保持不变，与原始图像完全一致，缺失的像素通过网络来获取填补。

本发明还提供了一种任意压缩率的加密图像有损压缩与重构方法，包括：

S1：对原始图像进行加密操作，获得加密图像；

S2：对加密图像进行联合压缩操作，获得压缩加密图像；

S3：对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

与现有技术相比，本发明技术方案的有益效果是：

本发明的加密模块采用任意加密方式对原始图像进行加密获得加密图像；压缩模块对加密图像进行联合压缩操作，联合压缩操作能够获得任意的压缩率，提高了压缩性能；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。深层特征提取获得了图像更多的细节特征，信息补充用来补充丢失的信息，下采样约束对压缩操作的采样位置进行约束，协同提高了重构性能。本发明能够提高加密图像的压缩性能，在高压缩率的情况下也可获得优秀的重构质量。

附图说明

图1为实施例1所述的一种任意压缩率的加密图像有损压缩与重构系统的结构示意图；

图2为实施例2所述的一种任意压缩率的加密图像有损压缩与重构系统的结构示意图；

图3为实施例2所述的不同下采样方法下的压缩加密图像的示意图；

图4为实施例2所述的解密重构模块的结构示意图；

图5为实施例2所述的深层特征提取单元的结构示意图；

图6为实施例2所述的残差组的结构示意图；

图7为实施例2所述的残差通道注意力块的结构示意图；

图8为实施例2所述的信息补充单元的结构示意图；

图9为实施例2所述的负值删除块原理示意图；

图10为实施例2所述的残差块的结构示意图；

图11为实施例3所述的一种任意压缩率的加密图像有损压缩与重构方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供了一种任意压缩率的加密图像有损压缩与重构系统，如图1所示，包括加密模块、压缩模块和解密重构模块；

原始图像输入至加密模块，加密模块对原始图像进行加密操作，获得加密图像，发送至压缩模块；压缩模块对加密图像进行联合压缩操作，获得压缩加密图像，发送至解密重构模块；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

在具体实施过程中，加密模块采用任意加密方式对原始图像进行加密获得加密图像；压缩模块对加密图像进行联合压缩操作，联合压缩操作能够获得任意压缩率，提高了压缩性能；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像，在高压缩率的情况下也可以获得优秀的重构质量。

实施例2

本实施例提供一种任意压缩率的加密图像有损压缩与重构系统，如图2所示，包括密钥生成模块、加密模块、压缩模块和解密重构模块；

所述密钥生成模块用于生成密钥，将密钥输入加密模块，同时密钥通过安全信道传输至解密重构模块；

原始图像输入至加密模块，加密模块根据密钥对原始图像进行加密操作，获得加密图像，发送至压缩模块；压缩模块对加密图像进行联合压缩操作，获得压缩加密图像，发送至解密重构模块；解密重构模块根据密钥对压缩加密图像进行解密还原操作，之后再依次进行浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

密钥生成模块利用任意加密方式生成密钥，如流密码加密方法、高级加密标准加密方法、同态加密方法。本实施中以流密码加密方法生成密钥，即通过一个随机的种子K_e来生成一串用作加密密钥的伪随机序列，将伪随机序列作为密钥K。

加密模块根据密钥对原始图像进行加密操作的具体方法为：

式中，I_enc表示加密图像，I_or表示原始图像，(x,y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R,G,B}；K(i)表示密钥中的第i位，K(i)∈[0,255]。原始图像的大小为3×H×W，H,W分别表示原始图像的高度和宽度；则i＝(ind(c)×H×W+(y-1)×W+x)，i∈{1,…,3×H×W}，ind(c)的输出为0、1、2，分别表示R、G、B三个通道。

压缩模块对加密图像进行的压缩操作包括均匀下采样和随机下采样。

根据压缩率的数值不同，压缩操作时的下采样方法不同，具体为：

将压缩率记为R，0<R≤1；压缩率定义为

式中，I_endw表示压缩加密图像，size(·)表示图像比特数的计算函数；

如图3所示，表示不同下采样方法下的压缩加密图像的示意图，其中，白色部方格为均匀下采样的位置，灰色方格为随机下采样的位置。均匀下采样和随机下采样可以保证获取到任意压缩率的同时，保留尽可能多的图像信息；均匀下采样的目的是保留图像中的空间统计性，以保证重构质量；随机下采样的目的是获取任意压缩率。

一、当R<0.5时：

计算阈值

式中ceil(·)表示向上取整函数；

设s_x和s_y分别表示横向采样因子和纵向采样因子，s_x,s_y∈N，N表示自然数；寻找最优横向采样因子s′_x和最优纵向采样因子s′_y：

1)将纵向采样因子s_y的初始值设置为2；

2)计算符合

且s_x∈[s_y,T]的横向采样因子的最小值mins_x；

3)比较s_y和T的大小，当s_y≤T时，令s_y＝s_y+1，重复步骤2)；当s_y＞T时，将此时的s_y作为最优纵向采样因子s′_y，将上一次迭代计算的mins_x作为最优横向采样因子s′_x；

利用最优横向采样因子s′_x和最优纵向采样因子s′_y对加密图像I_enc进行均匀下采样；

对均匀下采样后的加密图像进行随机下采样，获得压缩加密图像I_endw，随机下采样的像素点个数为n，像素点位置通过密钥K_r来生成，其中：

式中，round(·)表示四舍五入函数，H表示原始图像的高度，W表示原始图像的宽度；

二、当R＝0.5时对加密图像I_enc上的像素点利用均匀下采样进行交替采样，获得压缩加密图像I_endw；

三、当R>0.5时，计算R′＝1-R，利用与方法一相同的方法，将R′作为压缩率，计算出像素点进行下采样的采样位置，之后将采样位置和非采样互换，获得压缩加密图像I_endw。

如图4所示，所述解密重构模块包括解密单元、浅层特征提取单元、深层特征提取单元、信息补充单元和下采样约束单元；

解密单元根据密钥对压缩加密图像I_endw进行解密还原，获得有损图像I_dec，输出取至浅层特征提取单元和信息补充单元；

获得压缩加密图像I_endw后，将采样的像素部分还原为之前的位置，将丢弃的未采样的像素部分的像素值设为0，获得的有损图像I_dec的大小与原始图像的大小相同；

浅层特征提取单元对有损图像I_dec提取浅层特征，获得浅层特征图F₀，输出至深层特征提取单元；浅层特征提取单元为一层的卷积层；

深层特征提取单元根据浅层特征图F₀提取深层特征，获得深层特征总图F_P，输出至信息补充单元；

信息补充单元根据有损图像I_dec和深层特征总图F_P进行补充，获得初始重构图像I₂，输出至下采样约束单元；

下采样约束单元对初始重构图像I₂中采样位置的像素值进行约束，生成最终重构图像I_rec。

所述深层特征提取单元包括依次连接的P个残差组、第一卷积层和第一加和点；每个残差组包括依次连接Q个残差通道注意力块、第二卷积层和第二加和点；每个残差通道注意力块包含注意力机制；

在深层特征提取单元层面，如图5所示，残差组记为RG，第一卷积层记为Conv1，长跳连接记为LSC；浅层特征图F₀输入深层特征提取单元，P个残差组依次提取深层特征，第p个残差组的深层特征图F_p通过第一卷积层传输到第一加和点；同时浅层特征图F₀长跳连接至第一加和点，与第p个残差组的深层特征图F_p进行加和，获得深层特征总图F_P；长跳连接为了建立更深的深层特征提取单元，缓解了跨越多个残差组的信息流，解决了深层特征提取单元的深度过深时训练稳定性的问题，并且通过残差学习提升表现；

深层特征提取单元层面，第p个残差组的深层特征图F_p表示为：

F_p＝H_p(F_p-1)＝H_p(H_p-1(…H₁(F₀)…))

深层特征总图F_P表示为：

F_P＝F₀+W₁F_p

式中，H_p,H_p-1,…,H₁分别表示第p,p-1,…,1个残差组的参数，W₁表示第一卷积层的权重；

如图6所示，残差通道注意力块记为RCAB、第二卷积层Conv2；在残差组层面，第p-1个残差组的深层特征图F_p-1输入第p个残差组，Q个残差通道注意力块依次提取特征，第q个残差通道注意力块的特征F_p,q通过第二卷积层传输到第二加和点；同时深层特征图F_p-1短跳连接至第二加和点，与第q个残差通道注意力块的特征F_p,q进行加和，获得第p个残差组的深层特征图F_p；短跳连接保证学习到更多的残差信息，让图像中的低频信息也得到良好的重构；如图7所示，残差通道注意力块包含的注意力机制可以充分利用通道的信息提高图像的重构性能；

则第p个残差组的第q个残差通道注意力块的特征表示为：

F_p,q＝H_p,q(F_p,q-1)＝H_p,q(H_p,q-1(…H_p,1(F_p-1)…))

残差组层面，第p个残差组的深层特征图F_p表示为：

F_p＝F_p-1+W₂F_p,q

式中，H_p,q,H_p,q-1,…,H_p,1分别表示第p个残差组的第q,q-1,…,1个残差通道注意力块的参数，W₂表示第二卷积层的权重。

如图8所示，所述信息补充单元包括第三卷积层、第四卷积层、负值删除块、残差块、按位相减点和第一按位相加点；第三卷积层记为Conv3，第四卷积层记为Conv4，负值删除块记为NRB，残差块记为RB；

深层特征总图F_P输入第三卷积层生成候选图像S₁，输入按位相减点，同时有损图像I_dec也输入按位相减点，与候选图像S₁按位相减，获得信息丢失图像S₂，输入负值删除块；负值删除块将信息丢失图像S₂中负数的像素值设置为0，获得置零图像S₃，输入残差块；残差块提取置零图像S₃的有用特征，生成特征图像S₄，输入第一按位相加点；深层特征总图F_P经第四卷积层输入第一按位相加点，与特征图像S₄按位相加，获得初始重构图像I₂。

由于深层次的卷积会导致信息丢失，将候选图像S₁与有损图像I_dec相减，获得在深层特征提取单元中丢失信息后的信息丢失图像S₂，而有损图像I_dec中未采样的像素部分的像素值设为0，相减会导致信息丢失图像S₂中存在很多的像素值为负数的像素点，所以通过负值删除块将负的像素值设置为0。信息丢失图像S₂经过负值删除块置0的原理如图9所示。

如图10所示，残差块包括依次相连的卷积层、ReLU层、卷积层和加和点，用来提取置零图像S₃的有用特征。

所述下采样约束单元表示为：

式中，I_rec表示最终重构图像，I₂表示初始重构图像，M表示约束函数，I_dec表示有损图像，(x,y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R,G,B}；其中，M^c(x,y)＝0时，表示采样位置，M^c(x,y)＝1时，表示缺失像素的位置。

设M(x,y)＝{M^R(x,y),M^G(x,y),M^B(x,y)}(x∈[1,H],y∈[1,W])，在M中存在以下约束：M^c(x,y)＝0(c∈{R,G,B})表示采样位置，M^c(x,y)＝1(c∈{R,G,B})表示缺失像素的位置。经过浅层特征提取单元、深层特征提取单元、信息补充单元后会改变采样位置的像素值，最后经过以上约束关系进行约束，使采样位置保持不变，与原始图像完全一致，缺失的像素通过网络来获取填补。

网络中的各种参数Θ通过L₁损失函数来优化：

式中，A代表每一个批次训练的图像数量。

在具体实施过程中，加密模块采用任意加密方式对原始图像进行加密获得加密图像；压缩模块联合均匀下采样和随机采样根据压缩率要求的不同，对加密图像进行不同的压缩操作，均匀下采样保留了图像中的空间统计性，随机下采样获取了任意压缩率，联合压缩操作提高了压缩性能；解密单元对压缩加密图像进行解密还原为有损图像，浅层特征提取单元对有损图像进行浅层特征提取浅层特征图，输入至深层特征提取单元；深层特征提取单元包含多个残差组，每个残差组包含多个残差通道注意力块，每个残差通道注意力块包含注意力机制，可以充分利用通道的信息提高图像的重构性能，残差通道注意力块中的短跳连接可以学习到更多的残差信息，让图像中的低频信息也得到良好的重构，残差组中的长跳连接可以建立更深的结构，缓解了跨越多个残差组的信息流，解决了深层特征提取单元的深度过深时训练稳定性的问题，并且通过残差学习提升表现；深层特征提取单元充分利用通道的信息，学习更多的残差信息，保证最终重构图像的重构质量；经过深层特征提取单元获得的深层特征总图输入信息补充单元中，深层特征总图经过深层次的卷积会导致信息丢失，通过将候选图像与有损图像进行相减，获得损失的信息，再将信息丢失图像中负数的像素值通过负值删除块设置为0，通过残差块提取出置零图像的有用特征，与经过第四卷积层的深层特征总图相加，获得初始重构图像；信息补充单元充分补充了可能丢失的信息，保证最终重构图像的重构质量；经过浅层特征提取单元、深层特征提取单元、信息补充单元后获得的初始重构图像会改变采样位置的像素值，最后通过下采样约束单元进行约束，使采样位置保持不变，与原始图像完全一致，获得最终重构图像。本实施例提供的系统可以大幅度提高压缩和重构质量。

设置实验对本实施例提供的解密重构模块的效果进行验证。

(一)实验设置

(1)数据集

训练集为DIV2K，该数据集一共有900张图片，包括800张训练集，100张验证集；DIV2K还有100张测试集。本实验采用800张训练集来训练，10张验证集来验证。在测试图像的重构性能时用Set5、Set14、BSDS100、Urban100和Manga109作为测试数据集；

(2)测试标准

本实验采用峰值信噪比(Signal-to-Noise Ratio，PSNR)和结构相似度(Structural Similarity，SSIM)来对最终重构图像的质量进行评估。在计算PSNR时，需要将最终重构图像转化为YCbCr图像，取其中的Y通道来计算PSNR和SSIM。

(3)参数设置

本实验中，将深层特征提取单元中的残差组设置为10个，每个残差组中包括16个残差通道注意力块，除了注意力机制中的卷积层的尺寸为1×1，其他卷积层大小均为3×3，为了保持卷积前后特征图大小不变，将零填充的大小设置为1，将网络跨度设置为64。

(4)训练参数设置

本实验运用Adam优化器来优化解密重构模块，优化器参数设置为β₁＝0.9,β₂＝0.999,∈＝10^-8，学习率初始化为10^-4，每训练200轮，学习率减半。训练过程中，将训练图片切割成48×48大小的块，每一个块都经过随机水平翻转、竖直翻转或者90度旋转等随机数据增强方式之后，进行训练。测试时，本实验运用几何自相似的方法提高图像重构的性能，测试前，测试图像通过各种几何变化与原测试图像构成8张图片，输入训练好的的解密重构模块，分别变换回原来的模式，然后平均得到最终重构图像。本实验操作系统平台为Ubuntu20.04LTS，在PyTorch中实现训练和测试，并在RTX 3080GPU运行。

(二)消融实验

为了验证解密重构模块中信息补充单元和下采样约束单元的效果，训练200轮之后利用数据集Manga109测试进行效果对比，包括1)无信息补充单元和下采样约束单元；2)无信息补充单元有下采样约束单元；3)无下采样约束单元有信息补充单元；4)信息补充单元和下采样约束单元都有；结果如下表所示：

	信息补充单元	下采样约束单元	PSNR(dB)
				1)	×	×	36.160
2)	×	√	36.129
				3)	√	×	36.182
4)	√	√	36.210

从表中可以看出，信息补充单元和下采样约束单元都有时，PSNR最高。

(三)实验结果

本实验用数据集Set5、Set14、BSDS100、Urban100和Manga109作为测试集，测试了重构性能，实验结果如下表所示；

传统的ETC系统只能在低压缩率的情况下，保证重构图像的重构质量。从表中可以看出，本实施例提供的系统不仅在低压缩率下，保证重构图像的重构质量，且随着压缩率的增大，PSNR和SSIM数值也增大，表明本系统压缩率越大，重构图像的重构质量越高。

实施例3

本实施例提供了一种任意压缩率的加密图像有损压缩与重构方法，如图11所示，包括：

S1：对原始图像进行加密操作，获得加密图像；

S2：对加密图像进行联合压缩操作，获得压缩加密图像；

S3：对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种任意压缩率的加密图像有损压缩与重构系统，其特征在于，包括加密模块、压缩模块和解密重构模块；

原始图像输入至加密模块，加密模块对原始图像进行加密操作，获得加密图像，发送至压缩模块；压缩模块对加密图像进行联合压缩操作，获得压缩加密图像，发送至解密重构模块；解密重构模块对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像；

所述压缩模块对加密图像进行的联合压缩操作包括均匀下采样和随机下采样；根据压缩率的数值不同，联合压缩操作时的下采样方法不同，具体为：

将压缩率记为R，0＜R≤1；

一、当R＜0.5时：

计算阈值

式中ceil(·)表示向上取整函数；

设s_x和s_y分别表示横向采样因子和纵向采样因子，s_x，s_y∈N，N表示自然数；寻找最优横向采样因子s′_x和最优纵向采样因子s′_y：

1)将纵向采样因子s_y的初始值设置为2；

2)计算符合

且s_x∈[s_y，T]的横向采样因子的最小值min s_x；

3)比较s_y和T的大小，当s_y≤T时，令s_y＝s_y+1，重复步骤2)；当s_y＞T时，将此时的s_y作为最优纵向采样因子s′_y，将上一次迭代计算的min s_x作为最优横向采样因子s′_x；

利用最优横向采样因子s′_x和最优纵向采样因子s′_y对加密图像I_enc进行均匀下采样；

对均匀下采样后的加密图像进行随机下采样，获得压缩加密图像I_endw；随机下采样的像素点个数为n，像素点位置通过密钥K_r来生成，其中：

式中，round(·)表示四舍五入函数，H表示原始图像的高度，W表示原始图像的宽度；

二、当R＝0.5时，对加密图像I_enc上的像素点利用均匀下采样进行交替采样，获得压缩加密图像I_endw；

三、当R＞0.5时，计算R′＝1-R，利用与方法一相同的方法，将R′作为压缩率，计算出像素点进行下采样的采样位置，之后将采样位置和非采样互换，获得压缩加密图像I_endw。

2.根据权利要求1所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，所述系统还包括密钥生成模块；

所述密钥生成模块用于生成密钥，将密钥输入加密模块，加密模块根据密钥对原始图像进行加密操作；并且，密钥通过安全信道传输至解密重构模块，解密重构模块根据密钥对压缩加密图像进行解密还原操作。

3.根据权利要求2所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，加密模块根据密钥对原始图像进行加密操作的具体方法为：

式中，I_enc表示加密图像，I_or表示原始图像，(x，y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R，G，B}；K(i)表示密钥中的第i位，K(i)∈[0，255]。

4.根据权利要求1所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，所述解密重构模块包括解密单元、浅层特征提取单元、深层特征提取单元、信息补充单元和下采样约束单元；

解密单元根据密钥对压缩加密图像I_endw进行解密还原，获得有损图像I_dec，输出取至浅层特征提取单元和信息补充单元；

浅层特征提取单元对有损图像I_dec提取浅层特征，获得浅层特征图F₀，输出至深层特征提取单元；

深层特征提取单元根据浅层特征图F₀提取深层特征，获得深层特征总图F_P，输出至信息补充单元；

信息补充单元根据有损图像I_dec和深层特征总图F_P进行补充，获得初始重构图像I₂，输出至下采样约束单元；

下采样约束单元对初始重构图像I₂中采样位置的像素值进行约束，生成最终重构图像I_rec。

5.根据权利要求4所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，所述深层特征提取单元包括依次连接的P个残差组、第一卷积层和第一加和点；每个残差组包括依次连接Q个残差通道注意力块、第二卷积层和第二加和点；每个残差通道注意力块包含注意力机制；

在深层特征提取单元层面，浅层特征图F₀输入深层特征提取单元，P个残差组依次提取深层特征，第p个残差组的深层特征图F_p通过第一卷积层传输到第一加和点；同时浅层特征图F₀长跳连接至第一加和点，与第p个残差组的深层特征图F_p进行加和，获得深层特征总图F_P；

深层特征提取单元层面，第p个残差组的深层特征图F_p表示为：

F_p＝H_p(F_p-1)＝H_p(H_p-1(…H₁(F₀)…))

深层特征总图F_P表示为：

F_P＝F₀+W₁F_p

式中，H_p，H_p-1，…，H₁分别表示第p，p-1，…，1个残差组的参数，W₁表示第一卷积层的权重；

在残差组层面，第p-1个残差组的深层特征图F_p-1输入第p个残差组，Q个残差通道注意力块依次提取特征，第q个残差通道注意力块的特征F_p，q通过第二卷积层传输到第二加和点；同时深层特征图F_p-1短跳连接至第二加和点，与第q个残差通道注意力块的特征F_p，q进行加和，获得第p个残差组的深层特征图F_p；

则第p个残差组的第q个残差通道注意力块的特征表示为：

F_p，q＝H_p，q(F_p，q-1)＝H_p，q(H_p，q-1(…H_p，1(F_p-1)…))

残差组层面，第p个残差组的深层特征图F_p表示为：

F_p＝F_p-1+W₂F_p，q

式中，H_p，q，H_p，q-1，…，H_p，1分别表示第p个残差组的第q，q-1，…，1个残差通道注意力块的参数，W₂表示第二卷积层的权重。

6.根据权利要求4所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，所述信息补充单元包括第三卷积层、第四卷积层、负值删除块、残差块、按位相减点和第一按位相加点；

深层特征总图F_P输入第三卷积层生成候选图像S₁，输入按位相减点，同时有损图像I_dec也输入按位相减点，与候选图像S₁按位相减，获得信息丢失图像S₂，输入负值删除块；负值删除块将信息丢失图像S₂中负数的像素值设置为0，获得置零图像S₃，输入残差块；残差块提取置零图像S₃的有用特征，生成特征图像S₄，输入第一按位相加点；深层特征总图F_P经第四卷积层输入第一按位相加点，与特征图像S₄按位相加，获得初始重构图像I₂。

7.根据权利要求4所述的任意压缩率的加密图像有损压缩与重构系统，其特征在于，所述下采样约束单元表示为：

式中，I_rec表示最终重构图像，I₂表示初始重构图像，M表示约束函数，I_dec表示有损图像，(x，y)表示图像上像素点的坐标，c表示图像的通道数，c∈{R，G，B}；其中，M^c(x，y)＝0时，表示下采样位置，M^c(x，y)＝1时，表示缺失像素的位置。

8.一种任意压缩率的加密图像有损压缩与重构方法，其特征在于，包括：

S1：对原始图像进行加密操作，获得加密图像；

S2：对加密图像进行联合压缩操作，获得压缩加密图像；

对加密图像进行的联合压缩操作包括均匀下采样和随机下采样；根据压缩率的数值不同，联合压缩操作时的下采样方法不同，具体为：

将压缩率记为R，0＜R≤1；

一、当R＜0.5时：

计算阈值

式中ceil(·)表示向上取整函数；

设s_x和s_y分别表示横向采样因子和纵向采样因子，s_x，s_y∈N，N表示自然数；寻找最优横向采样因子s′_x和最优纵向采样因子s′_y：

1)将纵向采样因子s_y的初始值设置为2；

2)计算符合

且s_x∈[s_y，T]的横向采样因子的最小值min s_x；

3)比较s_y和T的大小，当s_y≤T时，令s_y＝s_y+1，重复步骤2)；当s_y＞T时，将此时的s_y作为最优纵向采样因子s′_y，将上一次迭代计算的min s_x作为最优横向采样因子s′_x；

利用最优横向采样因子s′_x和最优纵向采样因子s′_y对加密图像I_enc进行均匀下采样；

对均匀下采样后的加密图像进行随机下采样，获得压缩加密图像I_endw；随机下采样的像素点个数为n，像素点位置通过密钥K_r来生成，其中：

式中，round(·)表示四舍五入函数，H表示原始图像的高度，W表示原始图像的宽度；

二、当R＝0.5时，对加密图像I_enc上的像素点利用均匀下采样进行交替采样，获得压缩加密图像I_endw；

三、当R＞0.5时，计算R′＝1-R，利用与方法一相同的方法，将R′作为压缩率，计算出像素点进行下采样的采样位置，之后将采样位置和非采样互换，获得压缩加密图像I_endw；

S3：对压缩加密图像依次进行解密还原、浅层特征提取、深层特征提取、信息补充和下采样约束操作，获得最终重构图像。

Images