CN114245117A - 多采样率复用重建网络方法、装置、设备及存储介质 - Google Patents

多采样率复用重建网络方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114245117A
CN114245117A CN202111546498.8A CN202111546498A CN114245117A CN 114245117 A CN114245117 A CN 114245117A CN 202111546498 A CN202111546498 A CN 202111546498A CN 114245117 A CN114245117 A CN 114245117A
Authority
CN
China
Prior art keywords
sampling
image
reconstruction
matrix
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111546498.8A
Other languages
English (en)
Other versions
CN114245117B (zh
Inventor
汪鼎文
辛李麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111546498.8A priority Critical patent/CN114245117B/zh
Publication of CN114245117A publication Critical patent/CN114245117A/zh
Application granted granted Critical
Publication of CN114245117B publication Critical patent/CN114245117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多采样率复用重建网络方法、装置、设备及存储介质，所述方法通过获取采样矩阵所需的最大采样比率和输入图像块，根据最大采样比率和输入图像块确定最大采样矩阵；以输入图像块作为训练数据，根据最大采样矩阵对训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取最终重建图像与原始图像之间的图像误差，对图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率。

Description

多采样率复用重建网络方法、装置、设备及存储介质
技术领域
本发明涉及压缩感知和深度学习技术领域，尤其涉及一种多采样率复用重建网络方法、装置、设备及存储介质。
背景技术
现代信号处理的一个关键基础是香农采样理论：一个信号可以无失真重建所要求的离散样本数不小于最高频率的两倍；但是香农采样定理是一个信号重建的充分非必要条件；在过去的十几年内，压缩感知作为一个新的采样理论，它可以在远小于香农采样率的条件下获取信号样本，保证信号的高效重建；压缩感知理论一经提出，就引起学术界和工业界的广泛关注，为医学成像系统、高速视频、单像素相机、通信系统、磁共振成像等新的成像技术提供了强大的技术支撑。
压缩感知理论的核心思想主要包括两点，第一个是信号的稀疏结构，传统的香农信号表示方法只开发利用了最少的被采样信号的先验信息，即信号的带宽；但是，现实生活中很多广受关注的信号本身具有一些结构特点；相对于带宽信息的自由度，这些结构特点是由信号的更小的一部分自由度所决定；换句话说，在很少的信息损失情况下，这种信号可以用很少的数字编码表示；所以，在这种意义上，这种信号是稀疏信号(或者近似稀疏信号、可压缩信号)；另外一点是不相关特性，稀疏信号的有用信息的获取可以通过一个非自适应的采样方法将信号压缩成较小的样本数据来完成，理论证明压缩感知的采样方法只是一个简单的将信号与一组确定的波形进行相关的操作，这些波形要求是与信号所在的稀疏空间不相关的。
压缩感知方法抛弃了当前信号采样中的冗余信息，它直接从连续时间信号变换得到压缩样本，然后在数字信号处理中采用优化方法处理压缩样本，这里恢复信号所需的优化算法常常是一个已知信号稀疏的欠定线性逆问题，然而欠定线性逆问题是难以直接求得解的，对此，人们一开始提出了许多压缩感知算法模型从已知信号出发，通过稀疏化约束从欠定采样样本中有效的恢复信号，传统的方法通常采用梯度域、小波域和离散余弦变换(Discrete Cosine Transform，DCT)域的稀疏正则化来恢复压缩感知测量图像，由于自然图像是非平稳的，这些方法的重建效果通常很差，特别是在低采样比的情况下，为了提高恢复效果，需要在压缩感知重建中增加先验知识，然而，这些图像压缩感知方法依赖于复杂的稀疏化，需要多次迭代，计算成本高，限制了压缩感知的应用。
为了解决这一问题，一些新的方法将传统算法与深度神经网络相结合，利用网络直接学习高质量的重构过程从测量值到原始信号的映射，例如，在稀疏编码条件下，Gregor等人提出了一种快速确定稀疏编码最优近似的矩阵学习算法，称为可学习的迭代阈值收缩算法(LITSA)，基于LISTA，Zhang等人提出了进一步的扩展，将稀疏编码问题扩展到一般压缩感知图像重建，称为ISTA-Net，此外，Yang等人提出了另一种将交替方向乘法器(Alternating Direction Method of Multipliers，ADMM)映射到压缩感知磁共振成像(CS-MRI)神经网络的结构，实验证明了其在核磁共振和自然图像的压缩感知成像中的有效性，然而基于神经网络的重建方法虽然具有更好的重建效果以及出色的重建速度，但由于不同采样比例下的获取的信号量不同以及深度学习训练参数的相关性，重建网络难以针对不同的采样率进行重建，因此，通常只能运用在特定场景或消耗大量的内存空间进行多比率情况应用。
发明内容
本发明的主要目的在于提供一种多采样率复用重建网络方法、装置、设备及存储介质，旨在解决现有技术中重建网络难以针对不同的采样率进行重建，只能运用在特定场景或消耗大量的内存空间进行多比率情况应用，重建效率低，空间占用率大，图像重建效果差的技术问题。
第一方面，本发明提供一种多采样率复用重建网络方法，所述多采样率复用重建网络方法包括以下步骤：
获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
可选地，所述获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵，包括：
获取采样矩阵所需最大采样比率Kn和输入图像块
Figure BDA0003415903900000031
其中，
Figure BDA0003415903900000032
为实数集，向下取整，N*N为所述输入图像块的图像大小；
根据下述公式确定最大采样矩阵
Figure BDA0003415903900000033
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。
可选地，所述以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像，包括：
以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure BDA0003415903900000034
将所述压缩数据
Figure BDA0003415903900000035
进行初始重建，利用大小为
Figure BDA0003415903900000036
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure BDA0003415903900000037
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure BDA0003415903900000038
可选地，所述获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，包括：
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；
对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；
确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；
根据所述采样比例确定本轮采样矩阵
Figure BDA0003415903900000039
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure BDA00034159039000000310
对所述目标压缩数据进行初始重建，利用大小为
Figure BDA0003415903900000041
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure BDA0003415903900000042
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure BDA0003415903900000043
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。
可选地，所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。
可选地，所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure BDA0003415903900000044
为全零矩阵，通过
Figure BDA0003415903900000045
进行初始重建。
可选地，所述损失函数为:
Figure BDA0003415903900000046
其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵
Figure BDA0003415903900000047
的轮次编号，Θ为预设重建网络参数。
第二方面，为实现上述目的，本发明还提出一种多采样率复用重建网络装置，所述多采样率复用重建网络装置包括：
数据获取模块，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
压缩模块，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
网络重建模块，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
第三方面，为实现上述目的，本发明还提出一种多采样率复用重建网络设备，所述多采样率复用重建网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多采样率复用重建网络程序，所述多采样率复用重建网络程序配置为实现如上文所述的多采样率复用重建网络方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如上文所述的多采样率复用重建网络方法的步骤。
本发明提出的多采样率复用重建网络方法，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明多采样率复用重建网络方法第一实施例的流程示意图；
图3为本发明多采样率复用重建网络方法的采样矩阵网络结构示意图；
图4为本发明多采样率复用重建网络方法的重建网络结构示意图；
图5为本发明多采样率复用重建网络装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率，解决了现有技术中重建网络难以针对不同的采样率进行重建，只能运用在特定场景或消耗大量的内存空间进行多比率情况应用，重建效率低，空间占用率大，图像重建效果差的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non-Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多采样率复用重建网络程序。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，并执行以下操作：
获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
获取采样矩阵所需最大采样比率Kn和输入图像块
Figure BDA0003415903900000071
其中，
Figure BDA0003415903900000072
为实数集，向下取整，N*N为所述输入图像块的图像大小；
根据下述公式确定最大采样矩阵
Figure BDA0003415903900000073
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure BDA0003415903900000074
将所述压缩数据
Figure BDA0003415903900000075
进行初始重建，利用大小为
Figure BDA0003415903900000076
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure BDA0003415903900000081
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure BDA0003415903900000082
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；
对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；
确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；
根据所述采样比例确定本轮采样矩阵
Figure BDA0003415903900000083
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure BDA0003415903900000084
对所述目标压缩数据进行初始重建，利用大小为
Figure BDA0003415903900000085
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure BDA0003415903900000086
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure BDA0003415903900000087
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure BDA0003415903900000091
为全零矩阵，通过
Figure BDA0003415903900000092
进行初始重建。
本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：
所述损失函数为:
Figure BDA0003415903900000093
其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵
Figure BDA0003415903900000094
的轮次编号，Θ为预设重建网络参数。
本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。
基于上述硬件结构，提出本发明多采样率复用重建网络方法实施例。
参照图2，图2为本发明多采样率复用重建网络方法第一实施例的流程示意图。
在第一实施例中，所述多采样率复用重建网络方法包括以下步骤：
步骤S10、获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。
需要说明的是，所述最大采样比率为采样矩阵所需的最大采样比率，输入图像块为自适应多采样率复用重建网络的输入值，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。
在具体实现中，为了更好的适用于不同场景，同时减少采样矩阵大小，一般采用块压缩的方案，将图像切割为大小相等的不重叠块，本方案中设置图像块的大小为33*33。
进一步的，所述步骤S10具体包括以下步骤：
获取采样矩阵所需最大采样比率Kn和输入图像块
Figure BDA0003415903900000101
其中，
Figure BDA0003415903900000102
为实数集，向下取整，N*N为所述输入图像块的图像大小；
根据下述公式确定最大采样矩阵
Figure BDA0003415903900000103
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。
在具体实现中，为采样矩阵Φ，设置一个最大采样比率，本方案中为50％；因此，深度学习网络结构中设置一个大小为545×1089的采样矩阵Φ，相对应的，有一个大小为1089×545的逆矩阵Ψ；将最大比率下的采样与初始重建过程结合整个重建网络进行训练；得到一个在50％采样率下重建效果较好的压缩感知网络；其中重建网络将滤波器分为不同层次，对应之后不同的采样率。
步骤S20、以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像。
可以理解的是，可以将所述输入图像块作为训练数据，进而通过最大采样矩阵对训练数据进行压缩，得到压缩后的压缩数据，对所述压缩数据进行初始重建和多次重建，获得神经网络训练的最终重建图像。
进一步的，所述步骤S20具体包括以下步骤：
以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure BDA0003415903900000104
将所述压缩数据
Figure BDA0003415903900000105
进行初始重建，利用大小为
Figure BDA0003415903900000106
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure BDA0003415903900000111
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure BDA0003415903900000112
应当理解的是，将采样矩阵Φ中切割出最小比率的采样矩阵Φ0，本方案中最小采样率为1％，即Φ0大小为10*1089，同样的，有逆矩阵Ψ0以及重建网络中对应的滤波器W0，再将重建网络中的其它参数设置为不可学习，对网络进行训练，优化Φ0，Ψ0以及W0，对于1％采样率下得到的初始重建值x0具有良好的优化效果。
步骤S30、获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
应当理解的是，通过损失函数计算可以获得所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，可以更新神经网络参数和本轮采样矩阵，重复上述步骤直至损失函数计算的误差达到期望值，结束本轮神经网络训练，通过多次训练直至达到预设的训练计划，可以获得最终神经网络参数和最终采样矩阵，进而可以更新最终神经网络参数和最终采样矩阵，从而重建神经网络。
进一步的，所述步骤S30具体包括以下步骤：
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；
对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；
确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；
根据所述采样比例确定本轮采样矩阵
Figure BDA0003415903900000113
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure BDA0003415903900000114
对所述目标压缩数据进行初始重建，利用大小为
Figure BDA0003415903900000115
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure BDA0003415903900000121
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure BDA0003415903900000122
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。
应当理解的是，如图3所示，图3为本发明多采样率复用重建网络方法的采样矩阵网络结构示意图，参见图3，在1％采样率矩阵训练完成之后，将Φ0，Ψ0对应的采样矩阵与逆矩阵值设置为不可学习，并从矩阵Φ，Ψ中依据第二小的采样率切割出Φ1，Ψ1本方案中采样率为5％。将Φ1，Ψ1带入重建网络W1进行训练，并Φ0，Ψ0对应的矩阵值保持不变，得到该采样率下最优的重建效果。
应当理解的是，重复上述步骤，可以训练出各个所需的采样率，直到再一次训练出最大采样率50％下的最优网络结构；进一步的，本方案中将采样矩阵Φ分段设置为Φ0，Φ1-0，Φ2-1，Φ3-2，Φ4-3，Φ5-4，Φ6-5六个矩阵，其中Φ0大小为10×1089，Φ1-0大小为44×1089，Φ2-1大小为55×1089，Φ3-2，Φ4-3，Φ5-4，Φ6-5大小为109×1089，这六个矩阵拼接为采样率为50％的矩阵Φ，矩阵Ψ同理。
进一步的，所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵；
相应地，所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure BDA0003415903900000123
为全零矩阵，通过
Figure BDA0003415903900000124
进行初始重建。
相应地，所述损失函数为:
Figure BDA0003415903900000125
其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵
Figure BDA0003415903900000126
的轮次编号，Θ为预设重建网络参数。
可以理解的是，
第一步训练：
将矩阵Φ，Ψ与重建网络参数Θ一起训练至最优解。
第二步训练：
保持重建网络参数Θ不变，从矩阵Φ，Ψ中切割出Φ0，Ψ0，将Φ0，Ψ0与滤波器W0进行训练，得到在已有网络参数下的最优采样与重建矩阵。
第三步训练：
保持重建网络参数Θ，采样矩阵Φ0，逆矩阵Ψ0不变，从矩阵Φ，Ψ中切割出Φ1(由Φ0，Φ1-0拼接成)，Ψ1(由Ψ0，Ψ1-0拼接成)，将Φ1，Ψ1与W1进行训练，得到最优解，值得指出的是，神经网络中的其它滤波器参数虽然不参与学习，但仍然参与图像重建过程运算；
以此类推训练Φ2，Ψ2等，直到训练出Φ6，Ψ6，W6，此时Φ6，Ψ6大小与Φ，Ψ相同，训练结束。
上述重建网络的网络参数训练的输入值与输出标签都为原始图像
Figure BDA0003415903900000131
Figure BDA0003415903900000132
本身，训练数据集表示为{x,x}p,其中p为训练图像数目。
对于损失函数，通过计算最终重建结果与原始图像之间的差距，用于网络重建质量的评估。
在具体实现中，如图4所示，图4为本发明多采样率复用重建网络方法的重建网络结构示意图，参见图4，获取采样矩阵所需最大采样比率Kn和输入图像块
Figure BDA0003415903900000133
其中，
Figure BDA0003415903900000134
为实数集，向下取整，N*N为所述输入图像块的图像大小；根据下述公式确定最大采样矩阵
Figure BDA0003415903900000135
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]；以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure BDA0003415903900000136
将所述压缩数据
Figure BDA0003415903900000137
进行初始重建，利用大小为
Figure BDA0003415903900000138
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure BDA0003415903900000139
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure BDA00034159039000001310
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；根据所述采样比例确定本轮采样矩阵
Figure BDA0003415903900000141
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure BDA0003415903900000142
对所述目标压缩数据进行初始重建，利用大小为
Figure BDA0003415903900000143
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure BDA0003415903900000144
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure BDA0003415903900000145
Figure BDA0003415903900000146
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络；所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵；所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure BDA0003415903900000147
为全零矩阵，通过
Figure BDA0003415903900000148
进行初始重建。
可以理解的是，本发明的仿真实验是在Intel(R)Core(TM)i7-4790 CPU@3.60GHz，Windows 10操作系统的仿真条件下运行的，仿真软件采用PyCh arm。在仿真实验中，实验对象分别为：
woman——图像大小344×228；
butterfly——图像大小256×256；
head——图像大小280×280；
bird——图像大小288×288；
baby——图像大小512×512。
将本发明提出的展开迭代优化算法的深度压缩感知网络方法(FISTA-CSNet:ADeep Compressed Sensing Network by Unrolling Iterative OptimizationAlgorithm)与基于组稀疏表示图像恢复算法(GSR：Group-Based Sparse Representationfor Image Restoration)、对压缩感知测量数据进行非迭代的图像重建方法(ReconNet:Non-Iterative Reconstruction of Imag es from Compressively SensedMeasurements)以及基于可解释优化的深度网络用于图像压缩感知方法(ISTA-Net:Interpretable Optimization-Inspired Deep Network for Image CompressiveSensing)进行比较。
图像重建质量的评价指标为峰值信噪比(Peak Signal to Noise Ratio，PSNR):
Figure BDA0003415903900000151
其中
Figure BDA0003415903900000152
为均方误差：
Figure BDA0003415903900000153
将采样率设为0.2，对于五幅图像的重建过程采用默认参数，表1为各种重建方法在0.2倍采样率下重建图像的PSNR，粗体表示同一幅图像最大的PSNR值。可以看到，本发明的重建质量领先于其它重建方法，证明了本发明所提出的Multi-CSNet网络结构相比于其它重建方法具有更良好的重建性能。表2为其它重建方法与本发明在如实施方案中所述的七种采样率下所需的元素个数，可以发现，本发明的神经网络元素个数降低至其它方法的30％，证明本发明所提出的Multi-CSNet网络结构相比于其它重建方法具有更良好的空间利用率。
下表为各方法重建图像的PSNR对比结果(dB)
Figure BDA0003415903900000154
表2其它方法与Multi-CSNet所需元素数量对比
Figure BDA0003415903900000161
本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。
相应地，本发明进一步提供一种多采样率复用重建网络装置。
参照图5，图5为本发明多采样率复用重建网络装置第一实施例的功能模块图。
本发明多采样率复用重建网络装置第一实施例中，该多采样率复用重建网络装置包括：
数据获取模块10，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。
压缩模块20，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像。
网络重建模块30，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
其中，多采样率复用重建网络装置的各个功能模块实现的步骤可参照本发明多采样率复用重建网络方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如下操作：
获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
获取采样矩阵所需最大采样比率Kn和输入图像块
Figure BDA0003415903900000171
其中，
Figure BDA0003415903900000172
为实数集，向下取整，N*N为所述输入图像块的图像大小；
根据下述公式确定最大采样矩阵
Figure BDA0003415903900000173
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure BDA0003415903900000181
将所述压缩数据
Figure BDA0003415903900000182
进行初始重建，利用大小为
Figure BDA0003415903900000183
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure BDA0003415903900000184
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure BDA0003415903900000185
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；
对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；
确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；
根据所述采样比例确定本轮采样矩阵
Figure BDA0003415903900000186
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure BDA0003415903900000187
对所述目标压缩数据进行初始重建，利用大小为
Figure BDA0003415903900000188
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure BDA0003415903900000189
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure BDA00034159039000001810
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure BDA0003415903900000191
为全零矩阵，通过
Figure BDA0003415903900000192
进行初始重建。
进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：
所述损失函数为:
Figure BDA0003415903900000193
其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵
Figure BDA0003415903900000194
的轮次编号，Θ为预设重建网络参数。
本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多采样率复用重建网络方法，其特征在于，所述多采样率复用重建网络方法包括：
获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
2.如权利要求1所述的多采样率复用重建网络方法，其特征在于，所述获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵，包括：
获取采样矩阵所需最大采样比率Kn和输入图像块
Figure FDA0003415903890000011
其中，
Figure FDA0003415903890000012
为实数集，向下取整，N*N为所述输入图像块的图像大小；
根据下述公式确定最大采样矩阵
Figure FDA0003415903890000013
其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。
3.如权利要求2所述的多采样率复用重建网络方法，其特征在于，所述以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像，包括：
以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据
Figure FDA0003415903890000014
将所述压缩数据
Figure FDA0003415903890000015
进行初始重建，利用大小为
Figure FDA0003415903890000016
的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为
Figure FDA0003415903890000017
将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像
Figure FDA0003415903890000021
4.如权利要求3所述的多采样率复用重建网络方法，其特征在于，所述获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，包括：
通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；
对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；
确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；
根据所述采样比例确定本轮采样矩阵
Figure FDA0003415903890000022
其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据
Figure FDA0003415903890000023
对所述目标压缩数据进行初始重建，利用大小为
Figure FDA0003415903890000024
的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为
Figure FDA0003415903890000025
将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像
Figure FDA0003415903890000026
获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。
5.如权利要求4所述的多采样率复用重建网络方法，其特征在于，所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。
6.如权利要求5所述的多采样率复用重建网络方法，其特征在于，所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
Figure FDA0003415903890000031
为全零矩阵，通过
Figure FDA0003415903890000032
进行初始重建。
7.如权利要求6所述的多采样率复用重建网络方法，其特征在于，所述损失函数为:
Figure FDA0003415903890000033
其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵
Figure FDA0003415903890000034
的轮次编号，Θ为预设重建网络参数。
8.一种多采样率复用重建网络装置，其特征在于，所述多采样率复用重建网络装置包括：
数据获取模块，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；
压缩模块，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；
网络重建模块，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。
9.一种多采样率复用重建网络设备，其特征在于，所述多采样率复用重建网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多采样率复用重建网络程序，所述多采样率复用重建网络程序配置为实现如权利要求1至7中任一项所述的多采样率复用重建网络方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如权利要求1至7中任一项所述的多采样率复用重建网络方法的步骤。
CN202111546498.8A 2021-12-16 2021-12-16 多采样率复用重建网络方法、装置、设备及存储介质 Active CN114245117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111546498.8A CN114245117B (zh) 2021-12-16 2021-12-16 多采样率复用重建网络方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111546498.8A CN114245117B (zh) 2021-12-16 2021-12-16 多采样率复用重建网络方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114245117A true CN114245117A (zh) 2022-03-25
CN114245117B CN114245117B (zh) 2023-04-07

Family

ID=80757402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111546498.8A Active CN114245117B (zh) 2021-12-16 2021-12-16 多采样率复用重建网络方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114245117B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311174A (zh) * 2022-10-10 2022-11-08 深圳大学 图像恢复网络的训练方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN112991472A (zh) * 2021-03-19 2021-06-18 华南理工大学 一种基于残差稠密阈值网络的图像压缩感知重建方法
US20210241475A1 (en) * 2018-05-03 2021-08-05 The Governing Council Of The University Of Toronto Method and system for optimizing depth imaging
CN113284202A (zh) * 2021-06-11 2021-08-20 北京大学深圳研究生院 一种基于内容自适应的可伸缩网络的图像压缩感知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241475A1 (en) * 2018-05-03 2021-08-05 The Governing Council Of The University Of Toronto Method and system for optimizing depth imaging
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN112991472A (zh) * 2021-03-19 2021-06-18 华南理工大学 一种基于残差稠密阈值网络的图像压缩感知重建方法
CN113284202A (zh) * 2021-06-11 2021-08-20 北京大学深圳研究生院 一种基于内容自适应的可伸缩网络的图像压缩感知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311174A (zh) * 2022-10-10 2022-11-08 深圳大学 图像恢复网络的训练方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114245117B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Shi et al. Scalable convolutional neural network for image compressed sensing
Needell et al. Stable image reconstruction using total variation minimization
CN112884851B (zh) 基于展开迭代优化算法的深度压缩感知网络的构建方法
CN110084862B (zh) 基于多尺度小波变换与深度学习的图像压缩感知算法
Ghrare et al. Digital image compression using block truncation coding and Walsh Hadamard transform hybrid technique
CN108419083B (zh) 一种图像多级小波全子带压缩感知编码方法
JP2006270375A (ja) 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
Pustelnik et al. Relaxing tight frame condition in parallel proximal methods for signal restoration
Azghani et al. Iterative methods for random sampling and compressed sensing recovery
CN103400349A (zh) 基于盲压缩感知的图像重构方法
Chierchia et al. Epigraphical projection and proximal tools for solving constrained convex optimization problems: Part i
CN114245117B (zh) 多采样率复用重建网络方法、装置、设备及存储介质
CN117354523A (zh) 一种频域特征感知学习的图像编码、解码、压缩方法
KR102398365B1 (ko) 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
Sevak et al. CT image compression using compressive sensing and wavelet transform
CN107154061B (zh) 一种分块压缩感知的正则化解码方法
CN113923723A (zh) 流量重构方法、装置、设备及存储介质
Dong et al. A learning-based method for compressive image recovery
CN113674172A (zh) 一种图像处理方法、系统、装置及存储介质
Lu et al. Compressive image sensing for fast recovery from limited samples: A variation on compressive sensing
CN109559357B (zh) 一种基于小波包阈值的图像块压缩感知重构方法
KR100545445B1 (ko) 스케일링 항, 초기 중지 및 정밀도 세분을 이용한 고속 이산 변환 방법
US20060215916A1 (en) Decoding device, distribution estimation method, decoding method and programs thereof
Agarwal et al. Near lossless image compression using discrete cosine transformation and principal component analysis
Kher et al. Medical image compression framework based on compressive sensing, DCT and DWT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant