CN115861472B - 一种图像重构方法、装置、设备及介质 - Google Patents

一种图像重构方法、装置、设备及介质 Download PDF

Info

Publication number
CN115861472B
CN115861472B CN202310169017.9A CN202310169017A CN115861472B CN 115861472 B CN115861472 B CN 115861472B CN 202310169017 A CN202310169017 A CN 202310169017A CN 115861472 B CN115861472 B CN 115861472B
Authority
CN
China
Prior art keywords
image
reconstruction
signal
iterative
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310169017.9A
Other languages
English (en)
Other versions
CN115861472A (zh
Inventor
张军
郭智景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310169017.9A priority Critical patent/CN115861472B/zh
Publication of CN115861472A publication Critical patent/CN115861472A/zh
Application granted granted Critical
Publication of CN115861472B publication Critical patent/CN115861472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本申请公开了一种图像重构方法、装置、设备及介质,对原始图像信号进行压缩采样、初始化,得到初始化信号,进而输入到迭代网络进行迭代优化得到重构图像,迭代网络中各迭代重构层通过对输入信号进行图像块化和拼接,得到拼接图像;通过拼接图像获取当前迭代重构层的输入信号与原始图像信号之间的误差值;对误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像;基于重构图像和原始图像信号计算损失值以更新网络参数,最终通过训练好的迭代网络进行图像重构;改善了现有技术采用逐图像块重构的方式进行图像重构,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢的技术问题。

Description

一种图像重构方法、装置、设备及介质
技术领域
本申请涉及图像重构技术领域,尤其涉及一种图像重构方法、装置、设备及介质。
背景技术
随着移动通讯的发展,每天都有大量图像信号需要传输,而对于有限的信道容量,就需要在这一类大容量信号传输前尽可能地压缩和采样,而压缩感知(Compressedsensing,CS)能利用线性降维框架同时对信号采样和压缩,其采样率远低于奈奎斯特定理的比率,并通过有效算法实现高精度的信号恢复,因此压缩感知为图像信号的传输和恢复提供了一个可行的框架。
现有的图像压缩感知方案通常采用深度非折叠算法,该方法通过加入卷积网络模块,将传统的压缩感知迭代算法映射为一个迭代优化形式的神经网络,不仅具有传统迭代算法的强数学解释性的优点,还能继承神经网络优秀的学习能力,利用训练数据来获得速度快、重构质量高的信号重构模型。但现有的重构模型中的重构层在迭代优化过程中,通常采用逐图像块重构的方式进行图像重构,当图像块单独进行重构时,会产生图像区块伪影,为了提高重构质量,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢。
发明内容
本申请提供了一种图像重构方法、装置、设备及介质,用于改善现有技术采用逐图像块重构的方式进行图像重构,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢的技术问题。
有鉴于此,本申请第一方面提供了一种图像重构方法,包括:
对原始图像信号进行压缩采样,得到测量值;
对所述测量值进行初始化,得到初始化信号;
将所述初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;
基于所述重构图像和所述原始图像信号之间的误差计算损失值,通过所述损失值更新所述迭代网络的参数,得到训练好的迭代网络;
通过所述训练好的迭代网络对待重构信号进行图像重构;
其中,所述迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:
对输入信号进行图像块化和图像块拼接,得到拼接图像;
对所述拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与所述原始图像信号之间的误差值;
对所述误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像。
可选的,所述对原始图像信号进行压缩采样,得到测量值,包括:
将所述原始图像信号分块成多个不重叠的图像子块;
将各图像子块转换为一维信号;
通过采样矩阵对各一维信号进行压缩采样,得到各图像子块的测量值。
可选的,所述对所述测量值进行初始化,得到初始化信号,包括:
基于采样矩阵对所述测量值进行线性映射,得到初始化信号。
可选的,所述对所述拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与所述原始图像信号之间的误差值,包括:
对所述拼接图像分别进行多个尺度的卷积处理,得到多个尺度的卷积特征;
对所有所述卷积特征进行通道拼接,得到拼接特征;
对所述拼接特征进行多次卷积处理后与所述拼接图像进行残差连接,得到当前迭代重构层的输入信号与所述原始图像信号之间的误差值。
可选的,信号修正过程为:
Figure SMS_1
式中,
Figure SMS_2
为第q个图像子块在第k次迭代得到的重构子块图像,/>
Figure SMS_3
为第q个图像子块在第k-1次迭代得到的重构子块图像,/>
Figure SMS_4
为第q个图像子块对应的一维信号与第q个图像子块在第k-1次迭代得到的重构子块图像的误差值,/>
Figure SMS_5
为第k个迭代重构层的步长,A为采样矩阵,/>
Figure SMS_6
为第q个图像子块的测量值,I为单位矩阵。
可选的,所述损失值的计算公式为:
Figure SMS_7
式中,L为损失值,X i 为第i个原始图像信号,
Figure SMS_8
为第i个原始图像信号对应的重构图像,N b 为原始图像信号的数量,H×W表示原始图像信号的大小。
本申请第二方面提供了一种图像重构装置,包括:
采样单元,用于对原始图像信号进行压缩采样,得到测量值;
初始化单元,用于对所述测量值进行初始化,得到初始化信号;
迭代优化单元,用于将所述初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;
参数更新单元,用于基于所述重构图像和所述原始图像信号之间的误差计算损失值,通过所述损失值更新所述迭代网络的参数,得到训练好的迭代网络;
图像重构单元,用于通过所述训练好的迭代网络对待重构信号进行图像重构;
其中,所述迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:
对输入信号进行图像块化和图像块拼接,得到拼接图像;
对所述拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与所述原始图像信号之间的误差值;
对所述误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像。
可选的,所述采样单元,具体用于:
将所述原始图像信号分块成多个不重叠的图像子块;
将各图像子块转换为一维信号;
通过采样矩阵对各一维信号进行压缩采样,得到各图像子块的测量值。
本申请第三方面提供了一种图像重构设备,所述设备包括处理器以及存储器;
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的图像重构方法。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码被处理器执行时实现第一方面任一种所述的图像重构方法。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供了一种图像重构方法,包括:对原始图像信号进行压缩采样,得到测量值;对测量值进行初始化,得到初始化信号;将初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;基于重构图像和原始图像信号之间的误差计算损失值,通过损失值更新迭代网络的参数,得到训练好的迭代网络;通过训练好的迭代网络对待重构信号进行图像重构;其中,迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:对输入信号进行图像块化和图像块拼接,得到拼接图像;对拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与原始图像信号之间的误差值;对误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像。
本申请中,在迭代网络进行迭代优化的过程中,各迭代重构层对输入信号进行图像块化和图像块拼接,以获取完整的图像信息,通过完整的拼接图像实现图像块之间的信息通讯,以便在逐块重构的过程中充分利用整图信息,避免在逐个图像块恢复的过程中产生伪影,从而免去额外的去伪影层,减少模型参数量和重构时间,加快重构速度,改善了现有技术采用逐图像块重构的方式进行图像重构,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种图像重构方法的一个流程示意图;
图2为本申请实施例提供的一种图像重构方法的框架图;
图3为本申请实施例提供的迭代重构层的结构示意图;
图4为本申请实施例提供的一种多尺度残差卷积网络的结构示意图;
图5为本申请实施例提供的一种图像重构装置的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
对于稀疏信号x∈R N ,在编码端可以利用一个线性映射
Figure SMS_9
对稀疏信号同时实现压缩和采样,获得观测值y∈R N ,其中/>
Figure SMS_10
为采样矩阵。然后,可以将极少量的观测值y传输到解码端,解码端获取到观测值y后,就可以通过相应的算法精确重构出x。尽管现有的图像压缩感知重构方法能获取较高的重构精度,但往往需要大量的模型参数,并不利于在资源受限的环境下重构信号,因此,就需要在保证重构精度的前提下使资源消耗尽可能低。
为了便于理解,请参阅图1,本申请实施例提供了一种图像重构方法,包括:
步骤101、对原始图像信号进行压缩采样,得到测量值。
采样端可以先将原始图像信号分成多个不重叠的图像子块,然后逐块进行压缩采样。具体的,首先,可以通过分块函数将原始图像信号
Figure SMS_13
分成多个不重叠的图像子块,记为/>
Figure SMS_15
Q为图像子块的数量,各图像子块的大小为B×B;然后,通过向量化函数将各图像子块转换为一维信号/>
Figure SMS_16
,其中,/>
Figure SMS_12
q=1,2,...,Q;图像分块和向量化的整体过程可以表示为x=SV(X),其中,/>
Figure SMS_14
Q个一维向量的整合信号,即一维整合信号,SV(·)为图像分块和向量化函数。在完成分块和向量化后,通过采样矩阵A对各一维信号进行压缩采样,得到各图像子块的测量值,即/>
Figure SMS_17
。因此,图像逐块采样的整体过程可以表示为y=Ax,其中,/>
Figure SMS_18
,/>
Figure SMS_11
为原始图像信号的测量值,y的每一列对应一个图像子块的测量值。
步骤102、对测量值进行初始化,得到初始化信号。
重构端在接收到测量值后,基于采样矩阵A对测量值y进行线性映射,得到初始化信号x0,即x0=ATy,T为转置。
步骤103、将初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像。
初始化信号为迭代网络的初始输入,迭代网络通过一系列的迭代重构层进行迭代优化,得到重构图像,本申请实施例中的图像重构过程可以参考图2,迭代网络包括多个串联的迭代重构层。在第q个图像子块的向量信号的第k次迭代优化过程中,一般的迭代过程可以表示为:
Figure SMS_19
(1)
Figure SMS_20
(2)
式中,
Figure SMS_21
为第q个图像子块在第k-1次迭代得到的重构子块图像的测量误差,A为采样矩阵,/>
Figure SMS_22
为第q个图像子块的测量值,/>
Figure SMS_23
为第q个图像子块的第k-1次迭代得到的重构子块图像,/>
Figure SMS_24
为第k个迭代重构层的非线性函数,可以采用卷积网络实现该非线性函数的映射过程,/>
Figure SMS_25
为第k个迭代重构层的步长。/>
Figure SMS_26
和/>
Figure SMS_27
代入式(2)中的/>
Figure SMS_28
,可以得到如下推导:
Figure SMS_29
(3)
Figure SMS_30
(4)
上式为构建迭代重构层的关键,式中只有原信号和迭代信号的误差
Figure SMS_31
是未知的,因此需要利用相关的误差估值网络来估值该误差。可以采用一个普通的卷积网络
Figure SMS_32
(如仅由卷积层和激活函数依次堆叠构成的卷积网络)对该误差/>
Figure SMS_33
进行估值,进而逐个对图像子块进行重构,即:
Figure SMS_34
(5)
由于逐个图像子块进行重构会产生图像区块伪影,因此,需要在每次重构后构建一个去伪影层,通过去伪影层将各图像子块对应的重构子块图像进行拼接,再利用卷积网络
Figure SMS_35
实现去伪影,即:
Figure SMS_36
(6)
式中,
Figure SMS_37
为第k个去伪影层输入的重构子块图像的拼接图像,/>
Figure SMS_38
为第k个去伪影层输出的去伪影后的拼接图像。
上述方法构建的迭代重构层在迭代过程中,需要通过额外的去伪影层来去除图像伪影,假设迭代网络采用四个迭代重构层,为了去除伪影,每个迭代重构层后需要增加一个去伪影层,即最终的迭代网络需要4个迭代重构层和4个去伪影层来交替处理,8层都需要进行卷积运算,这样堆叠的卷积运算会使得迭代网络的运行速度受限制,且会大大增加迭代网络的参数量和训练成本,会增加重构时间;并且,采用普通的卷积网络结构作为误差估值网络,重构性能还有很大的提升空间。
为了改善上述问题,本申请实施例中构建的迭代重构层在逐块重构的过程中,充分利用整图信息,避免在逐个图像子块的恢复过程中产生伪影,从而免去额外的去伪影层,以减少迭代网络的参数量和重构时间,提高重构速度;并且,改进了误差估值网络,使用多尺度残差卷积网络代替普通的卷积网络,以实现更高的重构性能。
本申请实施例中,初始化信号作为迭代网络的初始输入,通过一系列的迭代重构层进行迭代优化,其中,第k个迭代重构层如图3所示,各迭代重构层的图像重构过程为:
S1、对输入信号进行图像块化和图像块拼接,得到拼接图像;
以第k个迭代重构层为例,第k个迭代重构层的输入信号为
Figure SMS_39
(即上一个迭代重构层的输出),可以理解的是,初始迭代重构层的输入信号为初始化信号x0。可以通过整合图像块化和拼接函数BM(·)对第k个迭代重构层的输入信号/>
Figure SMS_40
进行图像块化和图像块拼接,得到拼接图像/>
Figure SMS_41
,即将输入信号/>
Figure SMS_42
转换为整张图像的信号形式/>
Figure SMS_43
S2、对拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与原始图像信号之间的误差值;
为了进一步提高重构性能,更好的对当前迭代重构层的输入信号与原始图像信号之间的误差值进行估值,本申请实施例改进了卷积网络结构,采用多尺度残差卷积网络
Figure SMS_44
对拼接图像进行多尺度卷积处理,获取当前迭代重构层的输入信号与原始图像信号之间的误差值,多尺度残差卷积网络/>
Figure SMS_45
的网络结构可以参考图4。具体的,对拼接图像分别进行多个尺度的卷积处理,得到多个尺度的卷积特征,可以采用1×1、3×3、5×5、7×7多个尺度的卷积核提取拼接图像的低频率、高频率的图像信息;再对所有卷积特征进行通道拼接,得到拼接特征,然后对拼接特征进行多次卷积处理,以将多个频率的图像信息进行融合,再与拼接图像进行残差连接(即将卷积处理后的拼接特征与拼接图像相加,形成残差网络),得到当前迭代重构层的输入信号与原始图像信号之间的误差值。通过本申请实施例中的多尺度残差卷积网络可以更好的拟合当前迭代重构层的输入信号与原始图像信号之间的误差值,从而提升重构质量。
S3、对误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像。
迭代重构层在通过多尺度残差卷积网络估值得到误差值后,对误差值与输入信号进行残差连接,再进行信号修正,得到当前迭代重构层的重构图像。由于多尺度残差卷积网络的输入为整张图像,为方便后续逐图像块修正,可以通过图像分块和向量化函数SV(·)对多尺度残差卷积网络的输出进行分块和向量化,从而得到各图像子块对应的误差值
Figure SMS_46
,再将各图像子块对应的误差值与各图像子块对应的输入信号/>
Figure SMS_47
进行相加,再进行信号修正,得到各图像子块在当前迭代重构层的重构图像/>
Figure SMS_48
。其中,信号修正过程为:
Figure SMS_49
(7)
式中,
Figure SMS_50
为第q个图像子块在第k次迭代得到的重构子块图像,/>
Figure SMS_51
为第q个图像子块在第k-1次迭代得到的重构子块图像,/>
Figure SMS_52
为第q个图像子块对应的一维信号与第q个图像子块在第k-1次迭代得到的重构子块图像的误差值,/>
Figure SMS_53
为第k个迭代重构层的步长,A为采样矩阵,/>
Figure SMS_54
为第q个图像子块的测量值,I为单位矩阵。
通过上述过程可知,本申请实施例中的迭代重构层是围绕公式(3)和(4)来构建的,但相比将逐块重构和去伪影进行分开操作的方式,本申请实施例中将这两个操作融合成同一步来实现。具体的,对于迭代式(3)和(4),首先将
Figure SMS_55
和/>
Figure SMS_56
代入到式(3)和(4)中,可通过如下的推导获得更低的矩阵运算量:
Figure SMS_57
(8)/>
其中,
Figure SMS_58
为第q个图像子块对应的一维信号/>
Figure SMS_59
与第q个图像子块在第k-1次迭代得到的重构子块图像/>
Figure SMS_60
的误差值。
由于逐块重构的过程中,图像块是单独进行重构的,因此会产生图像区块伪影,本申请实施例在逐块重构过程中,将各图像子块对应的重构子块图像进行拼接,将得到的拼接图像作为误差估值网络的输入,对于公式(8)中的误差值
Figure SMS_61
,本申请采用多尺度残差卷积网络/>
Figure SMS_62
作为误差估值网络进行估值。因此,本申请实施例中的各迭代重构层的重构过程可以采用如下公式表示:
Figure SMS_63
(9)
其中,
Figure SMS_64
为第k-1次迭代得到的各重构子块图像的一维整合信号,/>
Figure SMS_65
为第k-1次迭代得到的各重构子块图像拼接得到的拼接图像,/>
Figure SMS_66
为多尺度残差卷积网络/>
Figure SMS_67
估算得到的拼接图像与原始图像信号之间的误差值的一维整合信号,/>
Figure SMS_68
为/>
Figure SMS_69
中第q个重构子块图像对应的误差值。
步骤104、基于重构图像和原始图像信号之间的误差计算损失值,通过损失值更新迭代网络的参数,得到训练好的迭代网络。
在经过各个迭代重构层的迭代优化后,获取最后一层迭代重构层的输出,并将其转换为整张图像的信号形式,得到最终的重构图像,然后计算该重构图像和对应的原始图像信号之间的误差,进而计算损失值L,通过损失值更新迭代网络的参数,得到训练好的迭代网络。对于K层迭代重构层的迭代网络,其需要学习的参数包括采样矩阵A、步长
Figure SMS_70
、以及多尺度残差卷积网络/>
Figure SMS_71
的参数/>
Figure SMS_72
,为在训练的过程中充分优化各个参数以降低原信号和重构信号之间的误差,本申请实施例使用均方误差作为损失函数,即:
Figure SMS_73
(10)
式中,X i 为第i个原始图像信号,即第i张训练图像;
Figure SMS_74
为第i个原始图像信号对应的重构图像,N b 为原始图像信号的数量,H×W表示原始图像信号的大小。
现有的压缩感知重构方法需要假设图像服从某个先验信息,然后围绕着先验信息构建迭代网络,但在实际应用中并不一定每类图像都能很好地满足先验假设,从而导致部分图像重构效果差。而本申请实施例利用基于原始图像信号的无损表达式(即式(8))来构建迭代网络,使得图像的重构精度仅取决于各迭代重构层的输入信号和原图像信号之间的误差值,不需要专门设计图像的先验信息,通过网络训练,使得卷积网络估计出与输入信号和原图像信号之间的误差值非常接近的值,从而逐步逼近原始图像信号,提高图像重构质量;并且,本申请采用多尺度残差卷积网络替换普通的卷积网络,以更好的拟合各迭代重构层的输入信号与原始图像信号之间的误差值,进一步提升重构质量,重构图像细节更丰富。
步骤105、通过训练好的迭代网络对待重构信号进行图像重构。
在训练好的迭代网络后,重构端通过训练好的迭代网络对待重构信号进行图像重构,以获取重构图像。
本申请实施例中,在迭代网络进行迭代优化的过程中,各迭代重构层对输入信号进行图像块化和图像块拼接,以获取完整的图像信息,通过完整的拼接图像实现图像块之间的信息通讯,以便在逐块重构的过程中充分利用整图信息,避免在逐个图像块恢复的过程中产生伪影,从而免去额外的去伪影层,减少模型参数量和重构时间,加快重构速度,改善了现有技术采用逐图像块重构的方式进行图像重构,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢的技术问题。
以上为本申请提供的一种图像重构方法的一个实施例,以下为本申请提供的一种图像重构装置的一个实施例。
请参考图5,本申请实施例提供的一种图像重构装置,包括:
采样单元,用于对原始图像信号进行压缩采样,得到测量值;
初始化单元,用于对测量值进行初始化,得到初始化信号;
迭代优化单元,用于将初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;
参数更新单元,用于基于重构图像和原始图像信号之间的误差计算损失值,通过损失值更新迭代网络的参数,得到训练好的迭代网络;
图像重构单元,用于通过训练好的迭代网络对待重构信号进行图像重构;
其中,迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:
对输入信号进行图像块化和图像块拼接,得到拼接图像;
对拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与原始图像信号之间的误差值;
对误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像。
作为进一步地改进,采样单元,具体用于:
将原始图像信号分块成多个不重叠的图像子块;
将各图像子块转换为一维信号;
通过采样矩阵对各一维信号进行压缩采样,得到各图像子块的测量值。
作为进一步地改进,初始化单元,具体用于:
基于采样矩阵对测量值进行线性映射,得到初始化信号。
本申请实施例中,在迭代网络进行迭代优化的过程中,各迭代重构层对输入信号进行图像块化和图像块拼接,以获取完整的图像信息,通过完整的拼接图像实现图像块之间的信息通讯,以便在逐块重构的过程中充分利用整图信息,避免在逐个图像块恢复的过程中产生伪影,从而免去额外的去伪影层,减少模型参数量和重构时间,加快重构速度,改善了现有技术采用逐图像块重构的方式进行图像重构,需要在各个重构层后增加额外的去伪影层实现去伪影,增加了网络参数量和重构时间,导致重构速度慢的技术问题。
本申请实施例还提供了一种图像重构设备,设备包括处理器以及存储器;
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行前述方法实施例中的图像重构方法。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码被处理器执行时实现前述方法实施例中的图像重构方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种图像重构方法,其特征在于,包括:
对原始图像信号进行压缩采样,得到测量值;
对所述测量值进行初始化,得到初始化信号;
将所述初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;
基于所述重构图像和所述原始图像信号之间的误差计算损失值,通过所述损失值更新所述迭代网络的参数,得到训练好的迭代网络;
通过所述训练好的迭代网络对待重构信号进行图像重构;
其中,所述迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:
对输入信号进行图像块化和图像块拼接,得到拼接图像;
对所述拼接图像进行多尺度卷积处理,得到多个尺度的卷积特征;再对所有卷积特征进行通道拼接,得到拼接特征,然后对拼接特征进行多次卷积处理,得到当前迭代重构层的输入信号与所述原始图像信号之间的误差值;
对所述误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像;信号修正过程为:
Figure QLYQS_1
式中,
Figure QLYQS_2
为第q个图像子块在第k次迭代得到的重构子块图像,/>
Figure QLYQS_3
为第q个图像子块在第k-1次迭代得到的重构子块图像,/>
Figure QLYQS_4
为第q个图像子块对应的一维信号与第q个图像子块在第k-1次迭代得到的重构子块图像的误差值,/>
Figure QLYQS_5
为第k个迭代重构层的步长,A为采样矩阵,/>
Figure QLYQS_6
为第q个图像子块的测量值,I为单位矩阵。
2.根据权利要求1所述的图像重构方法,其特征在于,所述对原始图像信号进行压缩采样,得到测量值,包括:
将所述原始图像信号分块成多个不重叠的图像子块;
将各图像子块转换为一维信号;
通过采样矩阵对各一维信号进行压缩采样,得到各图像子块的测量值。
3.根据权利要求1所述的图像重构方法,其特征在于,所述对所述测量值进行初始化,得到初始化信号,包括:
基于采样矩阵对所述测量值进行线性映射,得到初始化信号。
4.根据权利要求1所述的图像重构方法,其特征在于,所述对所述拼接图像进行多尺度卷积处理,以获取当前迭代重构层的输入信号与所述原始图像信号之间的误差值,包括:
对所述拼接图像分别进行多个尺度的卷积处理,得到多个尺度的卷积特征;
对所有所述卷积特征进行通道拼接,得到拼接特征;
对所述拼接特征进行多次卷积处理后与所述拼接图像进行残差连接,得到当前迭代重构层的输入信号与所述原始图像信号之间的误差值。
5.根据权利要求1所述的图像重构方法,其特征在于,所述损失值的计算公式为:
Figure QLYQS_7
;/>
式中,L为损失值,X i 为第i个原始图像信号,
Figure QLYQS_8
为第i个原始图像信号对应的重构图像,N b 为原始图像信号的数量,H×W表示原始图像信号的大小。
6.一种图像重构装置,其特征在于,包括:
采样单元,用于对原始图像信号进行压缩采样,得到测量值;
初始化单元,用于对所述测量值进行初始化,得到初始化信号;
迭代优化单元,用于将所述初始化信号作为输入信号输入到迭代网络进行迭代优化,得到重构图像;
参数更新单元,用于基于所述重构图像和所述原始图像信号之间的误差计算损失值,通过所述损失值更新所述迭代网络的参数,得到训练好的迭代网络;
图像重构单元,用于通过所述训练好的迭代网络对待重构信号进行图像重构;
其中,所述迭代网络包括多个串联的迭代重构层,各迭代重构层的图像重构过程为:
对输入信号进行图像块化和图像块拼接,得到拼接图像;
对所述拼接图像进行多尺度卷积处理,得到多个尺度的卷积特征;再对所有卷积特征进行通道拼接,得到拼接特征,然后对拼接特征进行多次卷积处理,得到当前迭代重构层的输入信号与所述原始图像信号之间的误差值;
对所述误差值与输入信号进行残差连接后进行信号修正,得到当前迭代重构层的重构图像;信号修正过程为:
Figure QLYQS_9
式中,
Figure QLYQS_10
为第q个图像子块在第k次迭代得到的重构子块图像,/>
Figure QLYQS_11
为第q个图像子块在第k-1次迭代得到的重构子块图像,/>
Figure QLYQS_12
为第q个图像子块对应的一维信号与第q个图像子块在第k-1次迭代得到的重构子块图像的误差值,/>
Figure QLYQS_13
为第k个迭代重构层的步长,A为采样矩阵,/>
Figure QLYQS_14
为第q个图像子块的测量值,I为单位矩阵。
7.根据权利要求6所述的图像重构装置,其特征在于,所述采样单元,具体用于:
将所述原始图像信号分块成多个不重叠的图像子块;
将各图像子块转换为一维信号;
通过采样矩阵对各一维信号进行压缩采样,得到各图像子块的测量值。
8.一种图像重构设备,其特征在于,所述设备包括处理器以及存储器;
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的图像重构方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码被处理器执行时实现权利要求1-5任一项所述的图像重构方法。
CN202310169017.9A 2023-02-27 2023-02-27 一种图像重构方法、装置、设备及介质 Active CN115861472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310169017.9A CN115861472B (zh) 2023-02-27 2023-02-27 一种图像重构方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310169017.9A CN115861472B (zh) 2023-02-27 2023-02-27 一种图像重构方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115861472A CN115861472A (zh) 2023-03-28
CN115861472B true CN115861472B (zh) 2023-05-23

Family

ID=85659104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310169017.9A Active CN115861472B (zh) 2023-02-27 2023-02-27 一种图像重构方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115861472B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886898B (zh) * 2019-03-05 2020-10-02 北京理工大学 基于优化启发的神经网络的光谱成像系统的成像方法
CN110378980B (zh) * 2019-07-16 2020-07-03 厦门大学 一种基于深度学习的多通道磁共振图像重建方法
CN112991472B (zh) * 2021-03-19 2023-12-19 华南理工大学 一种基于残差稠密阈值网络的图像压缩感知重建方法
CN115330901B (zh) * 2022-10-17 2023-01-17 广东工业大学 一种基于压缩感知网络的图像重构方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络

Also Published As

Publication number Publication date
CN115861472A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Unser et al. Splines are universal solutions of linear inverse problems with generalized TV regularization
CN111488986B (zh) 一种模型压缩方法、图像处理方法以及装置
Qin et al. An alternating direction method for total variation denoising
CN107182216B (zh) 一种基于深度卷积神经网络的快速磁共振成像方法及装置
CN109035169B (zh) 一种无监督/半监督ct图像重建深度网络训练方法
CN104160421B (zh) 用于执行对输入图像的分层超分辨率的方法和装置
US7496619B2 (en) System and methods of nonuniform data sampling and data reconstruction in shift invariant and wavelet spaces
WO2021088849A1 (zh) 一种超声成像方法、装置、可读存储介质及终端设备
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
CN112991472B (zh) 一种基于残差稠密阈值网络的图像压缩感知重建方法
CN106301385A (zh) 用于对数进行有理压缩和解压缩的方法和装置
CN108010094A (zh) 一种磁共振图像重建方法和装置
CN110378975B (zh) 一种基于深度神经网络的压缩编码孔径成像方法及系统
CN103247035A (zh) 基于数字x光机的医学图像处理装置、方法及系统
CN115950837A (zh) 基于即插即用先验的快照式光谱成像方法、系统及介质
CN109859131A (zh) 一种基于多尺度自相似性与共形约束的图像复原方法
CN117011673A (zh) 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
Kumar et al. HHO-based vector quantization technique for biomedical image compression in cloud computing
CN115861472B (zh) 一种图像重构方法、装置、设备及介质
KR102398365B1 (ko) 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
CN116579966B (zh) 一种图像重建方法、装置、电子设备及存储介质
CN103841583B (zh) 一种基于压缩感知的无线网络优化海量信令数据采集方法
Qin et al. Multi-resolution space-attended residual dense network for single image super-resolution
DeGuchy et al. Deep neural networks for low-resolution photon-limited imaging
CN109728822A (zh) 一种信号处理的方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant