CN115100301A - 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统 - Google Patents

Abstract

本发明提供了基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。图像压缩感知方法包括：获取多个图像块测量值；对多个图像块测量值进行初始重建获得初始重建图像；基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。快速傅里叶卷积对初始重建图像进一步重建，快速傅里叶卷积感受野能够覆盖整个图像，有效利用了全局上下文信息，再通过像素级滤波器获取像素局部邻域的局部信息，两者结合有效提升压缩感知图像重建效果和视觉效果。

Description

基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及 系统

技术领域

本发明属于图像压缩感知技术领域，尤其涉及一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。

背景技术

在图像压缩感知重建算法的研究中，一些传统的算法如MH(如2020年由W.Shi、F.Jiang、S.Liu等在IEEE Transactions on Image Processing上公开的论文“Imagecompressed sensing using convolutional neural network[J]”中有公开MH算法)，大多从图像先验着手添加额外的优化方法或结合迭代阈值算法，其大多计算复杂度较高，图像重建质量不理想。基于深度学习的算法如ReconNet(如2016年K.Kulkarni、S.Lohit、P.Turaga等人在Proceedings ofthe IEEE Conference on ComputerVision and PatternRecognition(CVPR)上发表的论文“ReconNet:Non-iterative reconstruction of imagesfromcompressively sensedmeasurements[C]”,中有公开ReconNet算法)，具有较低的计算成本，但大多数采用小感受野，导致损失了图像本身的非局部信息，重构质量不高，同时深度学习方法的可解释性较差这一问题还未得以解决。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，提供一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法，包括：获取多个图像块测量值；对多个图像块测量值进行初始重建获得初始重建图像；基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种快速傅里叶卷积与卷积滤波流的图像压缩感知系统，包括：采样模块，用于对原始图像进行压缩采样获得多个图像块测量值；初始重建模块，用于对多个图像块测量值进行初始重建获得初始重建图像；傅里叶卷积重建模块，基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像；像素级滤波器，对傅里叶卷积重建图像进行滤波处理，所述像素级滤波器采用卷积滤波流网络架构；融合模块，将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

上述技术方案：本发明在对图像进行初始重建后，基于快速傅里叶卷积进一步对初始重建图像进行重建，快速傅里叶卷积具有非局部感受野，感受野能够覆盖整个图像，有效利用了全局上下文信息，有助于提升重建图像质量，再通过像素级滤波器获取像素局部邻域的局部信息，具有良好的可解释性，快速傅里叶卷积和卷积滤波流结合充分利用信号的稀疏性以及信号自身的机构信息，有效提升压缩感知图像重建效果和视觉效果。

附图说明

图1是本发明一种优选实施方式中图像压缩感知方法的流程示意图；

图2是本发明一种优选实施方式中图像压缩感知方法的详细流程示意图；

图3是本发明一种优选实施方式中图像压缩感知系统的结构框图；

图4是本发明一种优选实施方式中采样模块结构示意图；

图5是本发明一种优选实施方式中像素洗牌过程示意图；

图6是本发明一种优选实施方式中初始重建模块结构示意图；

图7是本发明一种优选实施方式中快速傅里叶卷积网络结构示意图；

图8是本发明一种优选实施方式中傅里叶卷积重建模块结构示意图；

图9是本发明一种优选实施方式中30％采样率下图像压缩感知系统最终重建图像与滤波器流图。

附图说明：

C卷积层；B批归一化层(Batch Normalization，简称BN)；R激活函数层；F实部快速傅里叶变换层；IF实部快速傅里叶逆变换层；U上采样层；M最大池化层。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

卷积神经网络作为深度学习的核心，是最近一些研究领域取得巨大进展的主要驱动力，而卷积神经网络的核心则是感受野，感受野是卷积神经网络特征映射的输入图像的区域。现代设计的卷积神经网络中大多采用具有小感受野的卷积层，这种局部操作在层数较少的情况下不能做到特征提取的长距离依赖，只能通过堆叠卷积层以达到线性或者指数增加感受野的大小，或通过使用空洞卷积来增加感受野。然而，对于压缩感知中的图像重建问题，对上下文信息是比较敏感的，小型感受野相对不利于图像重建，因为一个较大的感受野对于理解图像的全局结构，解决压缩感知的图像重建具有重要的作用。

快速傅里叶卷积(FastFourierConvolution,简称FFC)是近期提出的一种新型的卷积模块，如在2020年期刊IEEE Transactions on ImageProcessing,2020,29:375-388中公开了由W.Shi、F.Jiang、S.Liu等发表的论文“Image compressed sensing usingconvolutional neural network[J]”，该论文提出了快速傅里叶卷积，其优势是具有非局部的感受野，且在卷积单元内跨尺度特征融合。根据傅里叶理论中的频域卷积定理，仅需改变频域中的一个点即可影响空间域里的全局特征，快速傅里叶卷积允许图像范围内的接受域，能够覆盖整个图像，本申请发明人发现其甚至是可以在图像重建阶段的一些早期卷积层中使用。

本申请公开了一种快速傅里叶卷积网络结构，如图7所示。快速傅里叶卷积网络由两条相互并联的路径组成，一条路径为局部路径，其在一部分输入特征通道上进行普通卷积处理，另一条路径为全局路径，其在频谱域中运行操作。每条路径均可以捕获具有不用感受野的信息，并相互补充，且路径间的信息交换是在内部执行的。将输入图像X沿着特征通道维数分割为X＝{X^l,X^g}，X^l用于局部路径学习，X^g用于在全局路径中捕获全局上下文信息。

在该快速傅里叶卷积网络结构中，如图7所示，局部路径包括两条并联的支路，每条支路上设置一个卷积层，两条支路输出的处理图像进行元素求和后再通过一个批归一化层和一个激活函数层获得局部张量Y^l。全局路径也包括两条并联的支路，其中一条支路上设置一个卷积层，另一条支路上依次设置第一全局卷积层、第一全局批归一化层、第一全局激活层、全局残差网络、第二全局卷积层，全局残差网络包括依次连接的实部快速傅里叶变换层、第二全局卷积层、第二全局批归一化层、第二全局激活层、实部快速傅里叶逆变换层、全局元素求和单元以及跳线，该跳线将第一全局激活层的输出图像引入到全局元素求和单元与实部快速傅里叶逆变换层的输出图像进行元素求和，将求和结果再依次输入到一个批归一化层和一个激活层获得全局张量Y^g，融合局部张量Y^l和全局张量Y^g获得快速傅里叶卷积网络输出图像。

设某个快速傅里叶卷积网络的输入特征图为

其中，H×W是空间分辨率，C是特征通道数，首先沿着特征通道数的维度分割为X＝{X^l,X^g}，局部部分

被用于局部路径学习，

被用于捕获全局上下文，α_in∈[0,1]，α_in表示输入分配给全局路径的通道百分比。输出张量

对应的Y＝{Y^l,Y^g}里面有局部分割输出和全局分割输出，输出的张量维度也由一个超参数α_out∈[0,1]，α_out表示输出分配给全局路径的通道百分比，快速傅里叶卷积更新的过程可以表示为：

Y^l＝Y^l→l+Y^g→l＝f_l(X^l)+f_g→l(X^g)；

Y^g＝Y^g→g+Y^l→g＝f_g(X^g)+f_l→g(X^l)；

对于旨在捕获小尺度信息的Y^l→l、通过路径间转换的分量Y^g→l和Y^l→g均使用普通的卷积，Y^g→g为频谱转换器，目的是将原始空间特征转换为频谱域，某个使用加速版本的Cooley-Tukey算法的离散傅里叶变换，有效地将卷积的感受野扩展到输入特征图的全分辨率。如图7所示，在全局路径中使用实部快速傅里叶变换(real FFT)来解释全局上下文，其只使用一半的频谱，应用逆变换来恢复空间结构，保证输出为实值，最后再将全局路径和局部路径融合输出。

在图像压缩感知理论中，大多数现代研究图像逆问题的技术都将研究重点集中在计算优化的正则化技术上，有效利用好各类图像先验从而获得更好的图像重建效果，但带来的却是昂贵的计算代价。同时基于深度学习的压缩感知图像算法有效利用了数据驱动的方法，让图像重建可以更快速，但其缺乏可解释性和鲁棒性的保证。受到现有技术中卷积滤波流思想启发，如2009年S.M.Seitz、S.Baker等人在2009IEEE 12th InternationalConference on Computer Vision.Kyoto上发表的论文“Filter flow”文中公开的滤波器流思想，本申请提出了一种新的图像压缩感知卷积滤波流框架，卷积滤波流(Convolutional Filter Flow,CFF)既保留良好的可解释性以及对重建结果的控制，又保证了计算的快速推理。对于压缩感知中这类低级图像处理任务提供新的解决方案。

在卷积滤波流中，对输入图像的局部邻域中的像素进行线性组合，用来重建输出图像中对应位置的像素，与普通的卷积不同之处在于，滤波器的权重是随空间位置而变化的，本申请对给定的输入图像估计回归滤波器的权重。必要来说，卷积滤波流不关注原始图像与欠采样图像之间的流，而是关注整个卷积滤波流以及图像的变换。虽然卷积滤波流基于卷积神经网络，但是却不同于其他基于深度学习的压缩感知重建算法，因为卷积滤波流可以展示出从输入图像到输出重建图像的显式表述，其如何变换的是直观透明可以解释的。

具体来说，根据滤波操作I(u,v)表示一个图像，u＝(u,v)是像素的位置，在每个图像的像素上，可以定义一个滤波器

作用于以像素u为中心的图像区域：

其中，i,j控制着邻域的大小。卷积滤波流将图像变换I₁→I₂建模为一个线性映射，与前文描述一样，每个输出的像素只取决于对应输入像素的局部邻域，通过学习的方法找到这样的流可以被卷积滤波流框架求解为一个受约束的线性系统。

I₂＝TI₁,T∈Γ (2)

其中，T是一个矢量矩阵，其每一行定义了I₁中像素的线性组合，作用于输入图像的矢量矩阵，在I₂的适当位置生成像素。T∈Γ为整个附加约束集的占位符，例如普通的卷积对应的T通常是一个循环矩阵，其行为单个滤波器权重集的循环排列，这些滤波器权重通常被约束为具有紧凑的局部非零。式(2)看起来简化了，但在理论上直接求解是欠考虑的，比如当图像大小不一时，需要让滤波器在空间上进行变化，这就需要开展可学习的方法。

为了更好的估计输入图像与输出图像之间的变换，卷积滤波流通过学习的方式训练一个可学习的函数f_w(·)，w为卷积滤波流网络的超参数，卷积滤波流模型可以表示为：

需要给定图像对

i＝1,...,N，在压缩感知理论中，将退化图像作为I₁，原始图像作为I₂，构成图像训练对以寻找最优的参数w。在损失函数的设计上，力求最小化重建图像

与原始图像I₂之间的差值，损失函数设置为：

通过设计f_w(·)的结构作为硬约束，选择合适的正则化项

作为软约束。

中每个像素仅依赖于I₁中以对应像素为中心的局部邻域，相当于引入了对输出的每个像素仅依赖于对应输入像素局部邻域的结构约束，此邻域的大小也是一个超参数。

输入像素局部邻域的结构约束是通过“im2col”操作实现的，其作用实际上是优化卷积的运算，通过将矩阵间的卷积操作转换为矩阵间的乘法操作，这是基于卷积相乘再相加的操作同向量内积极其相似，减少了时间和空间成本，解决了按照卷积操作的数学步骤来做而导致的内存读取不连续问题。

卷积滤波流是一个完全自监督学习的框架，作为深度学习的一种“理想状态”，卷积滤波流模型不需要手动标注数据，可以直接从无标签的数据中进行学习。给定原始图像块，并对其进行压缩采样，进行初始重建得到初始重建的图像块，与原始图像块构成训练对，通过自监督的方式完成对模型参数的训练。

本发明还公开了一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法，如图1所示，包括：

步骤S1，获取多个图像块测量值。多个图像块测量值为待压缩感知图像压缩采样后获得的多个图像块测量值。

步骤S2，对多个图像块测量值进行初始重建获得初始重建图像。

步骤S3，基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像。

步骤S4，将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

在本实施方式中，为降低基于快速傅里叶卷积与卷积滤波流网络整体的计算复杂度，采用块压缩感知(Block-based Compressive Sensing，BCS)算法对原始图像进行分块操作，为了提高采样自适应性，如图4所示，步骤S1具体为：将原始图像输入采样网络获得多个图像块测量值，采样网络包括采样卷积层，采样卷积层包括n_s个采样卷积核，采样卷积核的大小为S×S×k。块压缩感知采用大小为n_s×kS²的测量矩阵，记作A_s，对于图像块I_i而言，其压缩采样过程可以表示为y_i＝A_sI_i。本本申请采样过程具体做法为将测量矩阵A_s中的每一行当作一个卷积核，用一个无偏差的卷积层模拟块压缩采样过程，那么则有当采样率为M/N时，每个大小为S×S×k的卷积核，因为图像块Ii大小也是S×S×k，那么测量矩阵A_s中有n_s行，其中ns＝MkS2/N，即可以从一个图像块中测量出n_s个测量值。那么压缩采样过程可以表示为：

y＝S(I)＝W_s*I，其中S(·)表示压缩采样操作，y表示压缩感知测量值，W_s为卷积核，其大小为S×S×k且共有n_s个，*表示卷积操作，I为输入的待测量图像，采样网络可以表示为图4。通过学习方式训练测量矩阵能够更有效地利用图像本身的特性，如结构化信息等，为后续的重建过程奠定良好的基础。

在本实施方式中，为了将图像块观测值转换为与原始图像大小一致的图像，以便后续进一步重构，优选地，如图6所示，步骤S2具体包括：

将多个图像块测量值输入初始重建卷积层获得图像块的向量表示；如图5所示，通过像素洗牌操作将多个图像块的向量表示重塑为与原始图像大小一致的初始重建图像。

在本实施方式中，在本申请的初始重建网络中，输入为采样网络的输出压缩采样后的测量值y，同采样网络类似，首先采用一层卷积层将测量值的信息提取变换为图像信息。其具体做法如下：首先将

设置为一层卷积层的卷积核，其大小为1×1×n_s，且共有kS²个滤波器，因为测量值y大小也为1×1×n_s，每个图像块中含有kS²个元素，输出为1×1×kS²大小的张量，此输出即为每个初始重建图像块的向量表示。然后，如图5所示，通过像素洗牌操作将1×1×kS²的张量输出重塑为S×S×k，共有n_s个图像块，保证了初始重建的图像与原始图像大小保持一致，可以实现张量的拼接和整形。

在本实施方式中，为了有效地将卷积的感受野扩展到输入特征图的全分辨率，如图8所示，步骤S3具体包括：

将初始重建图像依次输入快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层处理获得全局特征图像；将初始重建图像和全局特征图像进行元素求和获得傅里叶卷积重建图像。早期通过快速傅里叶卷积网络提取全局上下文信息，参数设置为α_in＝0,α_out＝0.5，卷积核大小为3×3×64。通过多个快速傅里叶卷积残差网络将有效地将卷积的感受野扩展到输入特征图的全分辨率，优选但不限于有5个个快速傅里叶卷积残差网络，最后一层采用1×1的标准卷积的第一卷积层将特征图与初始重建图像一起拼接为图像信息，获得傅里叶卷积重建图像。

在本实施方式中，通过步骤S3处理，其输出的傅里叶卷积重建图像是较优的退化图像，具备了对后续卷积滤波流中像素级滤波器的学习条件。

在本实施方式中，为了让像素级滤波器不但注重局部信息，还需要注重全局上下文信息，以便提高重构质量。优选地，如图3所示，像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和映射层；傅里叶卷积重建图像输入第一卷积神经网络和第二卷积神经网络分别获得第一图像和第二图像，傅里叶卷积重建图像输入第一卷积神经网络获得第一图像，傅里叶卷积重建图像输入第二卷积神经网络获得第二图像；对第一图像和第二图像进行元素求和并将求和结果依次输入第三卷积神经网络和映射层处理获得滤波处理结果；第一卷积神经网络的深度大于第二卷积神经网络的深度，具体的，深度是指卷积神经网络的层数。第三卷积神经网络包括多层卷积，优选但不限于为3层卷积。

在本实施方式中，如图3所示，将像素级滤波器分为两条并行并联路径，其中，第一卷积神经网络为第一条路径，第二卷积神经网络为第二条路径。第一条路径优选但不限于为基于Resnet18改进的18层深度卷积神经网络，具有较大的感受野，能够通过考虑上下文信息来估计像素滤波器。第二条路径优选但不限于为全分辨率的相对较浅的卷积神经网络，包括多个级联的处理网络，处理网络包括依次串联的卷积层、激活层和批量归一化层，第二条路径通过保持原始图像的分辨率，保护原始图像的空间信息不受损失。最后合并拼接两条路径输出的第一图像和第二图像。将合并拼接后的图像输入第三卷积神经网络，第三卷积神经网络优选但不限于包括依次连接的第二卷积层、第二激活层、第二批量归一化层、第三卷积层、第三激活层、第三批量归一化层、第四卷积层。映射层优选但不限于为Softmax分类器。像素级滤波器的过程可描述为：

其中，

表示最终的重建图像，

为傅里叶卷积重建图像，

f_w(·)表示像素级滤波器学习得到的滤波函数，R_C(·)表示卷积滤波流网络。

本发明还公开了一种快速傅里叶卷积与卷积滤波流的图像压缩感知系统，如图2所示，在一种优选实施方式中，该系统包括：采样模块，用于对原始图像进行压缩采样获得多个图像块测量值；初始重建模块，用于对多个图像块测量值进行初始重建获得初始重建图像；傅里叶卷积重建模块，基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像；像素级滤波器，对傅里叶卷积重建图像进行滤波处理，像素级滤波器采用卷积滤波流网络架构；融合模块，将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

在本实施方式中，优选地，采样模块包括一个采样卷积层，如图4所示。

在本实施方式中，优选地，初始重建模块包括依次连接的初始重建卷积层和像素洗牌单元，如图6所示，初始重建过程可以表示为：

其中，

为初始重建图像，R₀(·)表示初始重建操作，PixelShuffle(·)表示像素洗牌操作，W_initial为kS²个1×1×n_s大小的卷积核。

在本实施方式中，优选地，傅里叶卷积重建模块包括第一求和单元，以及依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层；快速傅里叶卷积网络的输入端与初始重建模块的输出端连接，第一卷积层的输出端与第一求和单元的第一输入端连接，初始重建模块的输出端还与第一求和单元的第二输入端连接，第一求和单元输出傅里叶卷积重建图像。快速傅里叶卷积网络FFC结构如图7所示，傅里叶卷积重建模块的网络结构如图8所示。

在本实施方式中，傅里叶卷积重建模块可表示为：

其中，

为快速傅里叶卷积残差网络的重建图像，同时作为整体快速傅里叶卷积滤波流与卷积滤波流网络的退化图像；R_F(·)表示依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层；

为初始重建图像，作为残差连接防止网络训练时出现梯度消散，让整体网络框架学习到“恒等映射+扰动”，而不是最优的映射，以提高重构质量。

在本实施方式中，优选地，如图2所示，像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第二求和单元和映射层，第一卷积神经网络的深度大于第二卷积神经网络的深度，第三卷积神经网络包括多层卷积；傅里叶卷积重建模块的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接，第一卷积神经网络的输出端和第二卷积神经网络的输出端均与第二求和单元的输入端连接，第二求和单元的输出端与第三卷积神经网络的输入端连接，第三卷积神经网络的输出端与映射层的输入端连接。

在本实施方式中，从采样模块到融合模块构成了一个基于卷积滤波流的图像压缩感知框架，给定输入图像I₂，基于快速傅里叶卷积与卷积滤波流模型网络的简要流程是：首先使用采样网络S获得压缩感知测量值y，接着使用初始重建网络R₀从测量值中学习到初始重建图像

然后从深度重建网络中的快速傅里叶卷积网络R_F得到进一步恢复图像

最后从卷积滤波流网络R_C学习到像素级滤波器

进而准确恢复出原始图像

基于快速傅里叶卷积与卷积滤波流网络是一个端到端的自监督网络，训练所需的输入以及标签均通过输入图像I₂获得，数据集训练对可以表示为

i＝1,...,N。基于快速傅里叶卷积与卷积滤波流网络采用平均绝对误差(MAE)作为代价函数，力求初始重建图像

以及重建图像

都尽可能的逼近原始图像I₂，所以在网络训练过程中对初始重建图像以及重建图像都施加约束，构建训练过程中的损失函数为：

其中，N表示训练数据集中图像块总数量；i表示训练数据集中图像块索引，i＝1,...,N；

表示第i个图像块对应的原始图像；

表示第i个图像块对应的初始重建图像；

表示第i个图像块对应的傅里叶卷积重建图像；f_w(·)为像素级滤波器学习得到的滤波函数；

表示对第i个图像块对应的傅里叶卷积重建图像的滤波结果。

在本发明的一种应用场景中，搭建采样模块到融合模块的网络结构后构建训练集，选用与多个主流基于深度学习的压缩感知重建算法一致的数据集91image，每张训练图像以57个像素为步长裁剪出36184张图像块作为训练集，图像块大小为64×64。测试集包括Set11、BSD68等常用的标准数据集。使用Adam优化算法，训练次数为200批次(epochs)，批处理大小为32(batch size)，学习率为10-4，滤波器大小设置为17，则FFC-CFFNet在每个图像的像素位置输出大小为17×17＝289个权值。

对本发明提供压缩感知重建方法、现有的MH算法、ReconNet、CSNet、ISTANet+四种压缩感知重建算法进行对比，发现在Set11数据集下，本发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均PSNR在10％采样率下分别提升2.13dB、5.50dB、0.58dB、1.46dB，在20％采样率下分别提升2.28dB、6.67dB、1.88dB、0.41dB，在30％采样率下分别提升2.16dB、7.97dB、2.73dB、0.01dB。在BSD68数据集下，本发明提出的重构算法相比于MH算法、ReconNet、CSNet、ISTANet+的平均PSNR在10％采样率下分别提升2.69dB、3.04dB、0.54dB、1.36dB，在20％采样率下分别提升2.61dB、4.47dB、0.08dB、0.56dB，在30％采样率下分别提升2.50dB、5.02dB、0.28dB、0.94dB。在Set11数据集下，本发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均SSIM在10％采样率下分别提升0.0865、0.2442、0.0275、0.0651，在20％采样率下分别提升0.0504、0.1901、0.0213、0.0094，在30％采样率下分别提升0.0437、0.1415、0.0588、0.0118。在BSD68数据集下，发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均SSIM在10％采样率下分别提升0.1337、0.1414、0.0172、0.0895，在20％采样率下分别提升0.1127、0.1768、0.0063、0.0178，在30％采样率下分别提升0.0910、0.1344、0.0352、0.0404。可见本发明提供的方法在数据集下平均PSNR和平均SSIM是重建质量最优的，说明本发明提供的重构系统是一个可实现高质量重建的图像压缩感知重建网络模型。PSNR是指峰值信噪比(Peak Signal to Noise Ratio)，SSIM是指结构相似性(Structure Similarity)。

在本应用场景中，对卷积滤波流学习到的像素级滤波器进行可视化分析，如图9所示，展示了在30％采样率下本发明系统的重建图像以及对应的滤波器流的可视化图，模型训练学习的是像素级的滤波器流，最终的重建图像是通过快速傅里叶卷积的重建图像与滤波器流进行广播机制的不同维度的相乘操作得到。使用2Dt-SNE给每个质心分配一个颜色，并可视化最近的质心在每个滤波器的位置，通过计算期望的滤波器流向量来可视化其分布，展示了在滤波器流可视化图中的不同颜色是对应像素在对应的空间位置的变化，颜色的深浅表示变化的强度。可视化的结果提供了一个显式的表述，表明了卷积滤波流框架学到的内容，同时卷积滤波流模型网络架构中每个模块的设计均发挥着作用，无论是模型架构的可解释性还是提供的显式表述，这是相比于其他卷积神经网络重建模型在可解释性方面是显著的优势。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，包括：

获取多个图像块测量值；

对多个图像块测量值进行初始重建获得初始重建图像；

基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像；

将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果，将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

2.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述获取多个图像块测量值的步骤，具体为：

将原始图像输入采样网络获得多个图像块测量值，所述采样网络包括采样卷积层。

3.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述对多个图像块测量值进行初始重建获得初始重建图像步骤，具体包括：

将多个图像块测量值输入初始重建卷积层获得图像块的向量表示；

通过像素洗牌操作将多个图像块的向量表示重塑为与原始图像大小一致的初始重建图像。

4.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像的步骤，包括：

将初始重建图像依次输入快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层处理获得全局特征图像；

将初始重建图像和全局特征图像进行元素求和获得傅里叶卷积重建图像。

5.如权利要求1或2或3或4所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法，其特征在于，所述像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和映射层；

所述傅里叶卷积重建图像输入第一卷积神经网络和第二卷积神经网络分别获得第一图像和第二图像；

对第一图像和第二图像进行元素求和并将求和结果依次输入第三卷积神经网络和映射层处理获得滤波处理结果；

第一卷积神经网络的深度大于第二卷积神经网络的深度，第三卷积神经网络包括多层卷积。

6.快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，包括：

采样模块，用于对原始图像进行压缩采样获得多个图像块测量值；

初始重建模块，用于对多个图像块测量值进行初始重建获得初始重建图像；

傅里叶卷积重建模块，基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像；

像素级滤波器，对傅里叶卷积重建图像进行滤波处理，所述像素级滤波器采用卷积滤波流网络架构；

融合模块，将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。

7.如权利要求6所述的快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，所述采样模块包括一个采样卷积层；

和/或，所述初始重建模块包括依次连接的初始重建卷积层和像素洗牌单元。

8.如权利要求6所述的快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，所述傅里叶卷积重建模块包括第一求和单元，以及依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层；

所述快速傅里叶卷积网络的输入端与初始重建模块的输出端连接，第一卷积层的输出端与第一求和单元的第一输入端连接，初始重建模块的输出端还与第一求和单元的第二输入端连接，第一求和单元输出傅里叶卷积重建图像。

9.如权利要求6或7或8所述的快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，所述像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第二求和单元和映射层，第一卷积神经网络的深度大于第二卷积神经网络的深度，第三卷积神经网络包括多层卷积；

所述傅里叶卷积重建模块的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接，第一卷积神经网络的输出端和第二卷积神经网络的输出端均与第二求和单元的输入端连接，第二求和单元的输出端与第三卷积神经网络的输入端连接，第三卷积神经网络的输出端与映射层的输入端连接。

10.如权利要求9所述的快速傅里叶卷积与卷积滤波流的图像压缩感知系统，其特征在于，所述图像压缩感知系统进行训练中的损失函数为：

其中，N表示训练数据集中图像块总数量；i表示训练数据集中图像块索引，i＝1,...,N；

表示第i个图像块对应的原始图像；

表示第i个图像块对应的初始重建图像；

表示第i个图像块对应的傅里叶卷积重建图像；f_w(·)为像素级滤波器学习得到的滤波函数；

表示对第i个图像块对应的傅里叶卷积重建图像的滤波结果。

Images