CN110378975A - 一种基于深度神经网络的压缩编码孔径成像方法及系统 - Google Patents

一种基于深度神经网络的压缩编码孔径成像方法及系统 Download PDF

Info

Publication number
CN110378975A
CN110378975A CN201910625515.3A CN201910625515A CN110378975A CN 110378975 A CN110378975 A CN 110378975A CN 201910625515 A CN201910625515 A CN 201910625515A CN 110378975 A CN110378975 A CN 110378975A
Authority
CN
China
Prior art keywords
neural network
deep neural
matrix
measured value
subimage block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625515.3A
Other languages
English (en)
Other versions
CN110378975B (zh
Inventor
张�成
陈倩文
王美琴
汤俊
朱园园
韦穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201910625515.3A priority Critical patent/CN110378975B/zh
Publication of CN110378975A publication Critical patent/CN110378975A/zh
Application granted granted Critical
Publication of CN110378975B publication Critical patent/CN110378975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的压缩编码孔径成像方法及系统,属于压缩成像领域,包括:训练时,将原训练集中每个原始图片裁剪成多个尺寸相同的子图像块;分别将每个子图像块与编码孔径进行卷积和下采样操作,得到与每个子图像块对应的测量值;增加预处理步骤,得到优化后的测量值和测量矩阵;将每个子图像块及其对应的测量值作为训练数据对,对该深度神经网络进行训练;测试时,将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。本发明通过将深度学习引入压缩编码孔径的重建过程,改善了压缩编码孔径成像重建的时间限制,并且预处理步骤的引入,提高了重建结果的质量。

Description

一种基于深度神经网络的压缩编码孔径成像方法及系统
技术领域
本发明涉及压缩成像技术领域,特别涉及一种基于深度神经网络的压缩编码孔径成像方法及系统。
背景技术
压缩成像(Compressed Imaging,CI)作为压缩感知(Compressed Sensing,CS)在成像领域的重要应用,利用自然界中大部分图像在某些稀疏基上具有稀疏性或者可压缩性,通过较少的线性测量值重建出原始图像。
2006年,Rice大学研制出的单像素相机(Single-Pixel Camera,SPC),作为第一个成功的CI实例。但是SPC架构的最大的问题在于一次曝光只能得到一个测量值,因此SPC无法在高分辨率应用领域中广泛使用。2009年,Marcia等人首先提出压缩编码孔径成像(Compressed Coded Aperture Imaging,CCAI),它可以在单次曝光条件下获取低分辨率压缩测量。其基本思想是首先生成一种随机编码孔径,其实质上是引入比针孔更复杂的点扩散函数,透过编码孔径之后在探测器上形成投影图像,这些图像叠加得到退化后的编码测量,然后利用探测器上记录的低分辨率测量值进行非线性重建。
与SPC相比,编码孔径易于构建,并融入实用、稳健和紧凑的光学系统设计中,更重要的是,CCAI通过单次曝光完成所有测量值的记录。在随后的工作中,CCAI方法可以扩展到视频成像,高分辨率成像等。
但是,现有CCAI的重建方法在针对大尺度图像的压缩重建时,仍存在显著的瓶颈:其一,利用显式矩阵构造的前向模型的精度高,但是其测量矩阵维数随图像尺寸的增加呈几何级增加,给测量矩阵的存储传输及计算方面带来严重的负担;其二,利用构造的前向算符可以避免矩阵维数过大的问题,但其只能通过梯度下降等优化方法进行求解,并且由于前向算符及其伴随算符的匹配度较差,导致重建图像的质量不高。其三,由于重建过程是通过迭代求解一个优化问题来完成的,计算复杂度非常高,耗时较长。
发明内容
本发明的目的在于解决上述背景技术部分存在的问题,以改善压缩编码孔径成像重建的时间限制。
为实现以上目的,一方面,本发明采用一种基于深度神经网络的压缩编码孔径成像方法,包括如下步骤:
训练时,将训练集中每张图片裁剪成尺寸相同的子图像块,总共可得到d个尺寸相同的子图像块;
分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵;
将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
测试时,将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。
进一步地,所述分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵,包括:
根据压缩编码孔径的观测矩阵成像模型计算每个子图像块的对应的测量值,其压缩编码孔径的观测矩阵成像模型为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声,h(CCA)表示编码孔径;
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵,将所述压缩编码孔径的观测矩阵成像模型转换为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声;
将转换后的压缩编码孔径的观测矩阵成像模型表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
进一步地,在所述分别将每个子图像块与编码孔径进行卷积后,根据给定的下采样率进行下采样,得到与每个子图像块对应的测量值之前,还包括:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
进一步地,所述深度神经网络为ISTA-Net-Plus。
进一步地,在所述将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建之前,还包括对所述训练好的深度神经网络模型进行测试,具体为:
将基准数据集中的测试集图片裁剪成p个尺寸相同的测试子图像块,该测试子图像块的尺寸与所述子图像块的尺寸相同;
分别将每个测试子图像块与所述编码孔径进行卷积后,进行下采样操作,得到与每个测试子图像块对应的测试测量值和测量矩阵;
将所述测试测量值作为所述训练好的深度神经网络模型的输入,完成对所述训练好的深度神经网络模型的测试。
另一方面,采用一种基于深度神经网络的压缩编码孔径成像系统,包括:裁剪模块、测量值计算模块、训练模块以及重建模块;
裁剪模块用于训练时将原始图片集中每个原始图片裁剪成d个尺寸相同的子图像块;
测量值计算模块用于分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵;
训练模块用于将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
重建模块用于将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。
进一步地,所述测量值计算模块具体用于:
根据压缩编码孔径的观测矩阵成像模型计算每个子图像块的对应的测量值,其压缩编码孔径的观测矩阵成像模型为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声,h(CCA)表示编码孔径;
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵,将所述压缩编码孔径的观测矩阵成像模型转换为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声;
将转换后的压缩编码孔径的观测矩阵成像模型表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
进一步地,还包括与测量值计算模块输入端连接的预处理模块,预处理模块用于:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
进一步地,所述深度神经网络为ISTA-Net-Plus。
进一步地,还包括测试模块,测试模块输入端与所述训练模块连接、输出端与所述重建模块连接;
测试模块用于利用基准数据集中的测试集图片对所述训练好的深度神经网络模型进行测试。
与现有技术相比,本发明存在以下技术效果:本发明首先将尺寸较大的原始图片裁剪成多个尺寸相同的子图像块,子图像块经过与编码孔径进行卷积和下采样处理,得到与子图像块对应的测量值;通过预处理步骤,得到优化后的测量值和测量矩阵;然后将子图像块与其测量值构成数据对,对深度学习架构进行训练,得到最优的网络参数;最后直接将图像的测量值作为网络的输入,即可在非迭代的情况下进行图像的重建。本方案通过将深度学习引入压缩编码孔径的重建过程,利用图像与其测量值构成的数据对来训练深度学习架构,在图像对的重建过程通过非迭代完成,实现从低分辨率测量值的实时重建,改善压缩编码孔径成像重建的时间限制。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种基于深度神经网络的压缩编码孔径成像方法的流程示意图;
图2是ISTA-Net-Plus的深度学习架构的流程图;
图3是本发明中成像系统的原理框图;
图4是一种基于基于深度神经网络的压缩编码孔径成像系统的结构示意图;
图5是单次重建实验结果示意图。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
如图1所示,本实施例公开了一种基于深度神经网络的压缩编码孔径成像方法,包括如下步骤S1-S4:
S1、训练时,将训练集中原始图片集中每个原始图片裁剪成d个尺寸相同的子图像块;
需要说明的是,本实施例中的随机裁剪相当于建立每个因子特征与相应类别的权重关系,减弱背景(或噪音)因子的权重,也就可以产生更好的学习效果,增加模型稳定性。
应当理解的是,本实施例中将原始图片裁剪的子图像块的数量越多,所构建的数据集越大,相对来说训练出来的结果会较好,但同时也应考虑数据集越大训练过程则越耗时。
S2、分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值;
S3、将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
S4、将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。
需要说明的是,本实施例中通过将图像及其对应的测量值作为一对训练对,从而构建出训练对集合,利用训练对集合对事先选定的深度学习框架进行训练,得到最优的网络参数,从而得到训练好的深度神经网络,然后将待重建图像对应的测量值作为训练好的深度神经网络的输入,即可在非迭代的情况下从低分辨率测量值进行原始图像的重建。
具体地,本实施例中将原始图片裁剪为的子图像块(步长stride=q),得到的子图像块总数为d,将子图像块和编码孔径进行卷积和下采样操作,得到测量值然后对其进行向量化操作,得到测量值的列向量为其中i=1,2,3…,d。
具体地,测量值的计算过程对应于Marcia等人提出的CCA成像机制。假设压缩编码孔径的观测模型可表示为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声。h(CCA)表示编码孔径。
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵。因此,卷积模型可改写为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声。
因此,压缩编码孔径的观测矩阵成像模型可表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
具体地,本实施例实验所用的训练集中有91张原始图片(原始图片尺寸不是完全一样的),在Matlab或者Python中,读取每一张图片之后,该处设置子图像块的大小是33×33,每隔7个像素进行一次裁剪。对这91张图片都进行这样的操作,得到子图像块的总数为d,本实施例中得到的训练的子图像块总数是85591。然后,每个图像块和编码孔径先进行卷积,再进行下采样得到测量值y,生成训练数据对即Nb=85591,这些构成了训练对集合,作为深度神经网络的输入。
进一步地,在上述步骤S3:在所述分别将每个子图像块与编码孔径进行卷积后,根据给定的下采样率进行下采样,得到与每个子图像块对应的测量值之前,还包括对所述深度神经网络:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
其中,下采样率可以是不固定的,采样率越高,测量值中包含的信息就越多,重建结果会越好。单次重建实验选择的是30%,图像块的大小是33×33,拉成列向量就是1089×1,因此测量值的维数就是1089×30%=327。
需要说明的是,本方案的设计思路是通过深度神经网络来构造反向算符Rb,实现从测量值中快速重建为了增加前向算符和反向算符之间的匹配度,引入奇异值分解方法作为深度学习框架的预处理步骤,以提高图像重建性能。
进一步地,如图2所示,本方案中所采用的深度神经网络为ISTA-Net-Plus,迭代收缩-阈值算法(Iterative Shrinkage-Thresholding Algorithm,ISTA)是一种流行的一阶近端方法,适合解决大尺度图像的线性逆问题。主要通过解决以下优化问题完成原始图像的重建:
其中,表示重建信号,τ是正则化因子,可以控制保真项(即第一项)和正则化项(即第二项)之间的权重,||·||1为l1范数。
具体来说,ISTA通过在以下更新步骤之间迭代来解决根据图像的测量值进行图像重建的问题:
r(k)=x(k-1)-ρRT(Rx(k-1)-y),
其中,k是ISTA的迭代索引值,ρ是步长。
但是,对于更复杂的非正交(或甚至非线性)变换,获得x(k)仍然是困难的。并且,ISTA通常需要多次迭代才能获得令人满意的结果,因此计算量很大。所有参数如ρ和λ是预定义的(不随k变化),调整先验通常具有挑战性。
Zhang等人通过神经网络结构构建了基于深度网络的压缩感知模型,将先前的ISTA更新步骤映射到由固定数量的阶段组成的深层网络架构,每个对应于传统ISTA中的一次迭代,提出ISTA-Net和ISTA-Net的改进版本ISTA-Net-Plus。与传统压缩感知算法不同,在压缩感知网络模型中参数无需提前预定义,网络模型会计算出最优参数,且迭代次数远小于常规压缩感知的迭代算法。主要分为两个模块:
r(k)模块:它用于产生立即重建结果r(k)。特别注意的是,RT(Rr(k-1)-y)基本上是数据保真度项的梯度,在x(k-1)处计算。为了在增加网络灵活性的同时保留ISTA结构,我们允许步长ρ在迭代中变化(当它在传统ISTA中固定时),因此具有输入x(k-1)的该模块的输出最终定义为:
r(k)=x(k-1)(k)RT(Rx(k-1)-y),
x(k)模块:输入为r(k),输出为x(k),则有:
其中,表示滤波器,H由两个线性卷积操作和一个激活函数组成,为H的左逆,其具有与H对称的结构并满足对称约束I为单位操作符,θ是收缩阈值,在每个训练阶段中是一个可学习的参数,表示矩阵点乘。
进一步地,利用训练对集合对所述深度神经网络模型进行训练,得到训练好的深度神经网络之后,还需对训练好的深度神经网络进行测试:具体为:
将基准数据集中的测试集图片裁剪成p个尺寸相同的测试子图像块,该测试子图像块的尺寸与所述子图像块的尺寸相同;
分别将每个测试子图像块与所述编码孔径进行卷积后,根据素数给定的下采样率进行下采样,得到与每个测试子图像块对应的测试测量值;
将所述测试测量值作为所述训练好的深度神经网络模型的输入,完成对所述训练好的深度神经网络模型的测试。
需要说明的是,本实施例中p的取值与d的取值不同,d是训练集中所有图像得到图像块的总数,p可以只是测试集中任意一张图片得到的图像块数。
需要说明的是,在测试时,选用广泛使用的基准数据集:Set11,它们分别具有11个灰度图像。将测试集图片得到的测量值直接作为已经训练好的深度神经网络的输入,可在较短的时间内完成重建过程。
进一步,上述步骤S4:将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建,具体包括步骤S41-S4:
S41、将待重建图像裁剪成p个尺寸相同的子图像块;
S42、分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值;
S43、将测量值输入所述训练好的深度神经网络,进行所述待重建图像的重建。
本实施例在前端测量值的获取中主要考虑测量矩阵的物理可实现的性质,后端重建过程更多的考虑对测量矩阵和测量值进行优化,以提高重建性能。通过将深度学习引入压缩编码孔径的重建过程,通过图像与测量值构成的数据对训练深度学习架构,在测试阶段的重建过程通过非迭代完成,实现从低分辨率测量值的实时重建。并且,在训练阶段,增加预处理模块,来增加前向算符和反向算符之间的匹配度,以提高重建性能。
如图3-4所示,本实施例公开了一种基于深度神经网络的压缩编码孔径成像系统,包括:裁剪模块10、测量值计算模块20、训练模块30以及重建模块40;
裁剪模块10用于将训练集中每个原始图片裁剪,总共可得到d个尺寸相同的子图像块;
测量值计算模块20用于分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵;
训练模块30用于训练深度神经网络,将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
重建模块40用于测试时,将待重建图像的测量值作为所述训练好的深度神经网络的输入,可直接进行图像重建。
进一步地,还包括测试模块50,测试模块50输入端与所述训练模块30连接、输出端与所述重建模块40连接;
测试模块50用于利用基准数据集中的测试集图片对所述训练好的深度神经网络模型进行测试。
具体地,测量值计算模块20具体用于:
根据压缩编码孔径的观测矩阵成像模型计算每个子图像块的对应的测量值,其压缩编码孔径的观测矩阵成像模型为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声。h(CCA)表示编码孔径。
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵。因此,卷积模型可改写为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声。
因此,压缩编码孔径的观测矩阵成像模型可表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
具体地,还包括与测量值计算模块20输出端连接的预处理模块,预处理模块用于:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
需要说明的是,本方案中深度神经网络采用ISTA-Net-Plus,是因为ISTA-Net-Plus框架与其他框架相比,重建性能较好,而且与本方案中的重建过程较为匹配。
需要说明的是,如图3所示,本实施例将ISTA-Net-Plus用于压缩编码孔径的成像过程中,其核心思想是通过学习深度神经网络来构造反向算符Rb,实现从测量值中快速重建训练过程中,先对原始图片进行剪裁得到尺寸较小的图像块,图像块经过和编码孔径进行卷积和下采样来获得测量值,然后通过预处理步骤对测量值进行优化,图像块和其测量值构成训练数据对,通过网络训练得到ISTA-Net-Plus最优的网络参数。测试过程直接将图像的测量值作为网络的输入,即可在非迭代的情况下进行图像的重建。
为验证本方案的优越性,进行单次重建实验如下:
首先采样率SR定义为其中m2是每个图像块的压缩测量数目,n2是每个图像块中的像素数,在以下实验中设置为n=33。实施和训练使用的网络为ISTA-Nets-Plus,为了训练网络,使用Adam优化,学习率重置为0.0001,批量大小为64。设置了三组对比实验,分别是通过压缩编码孔径获取测量值,然后未进行任何优化直接对神经网络进行训练,记为CCA;Zhang等人的方法记为CS-Orth;对测量矩阵进行正交化处理,记为CCA-Orth;对神经网络训练前,使用奇异值分解得到优化后的测量值的测量矩阵作为神经网络的输入,即本发明的方法CCA-SVD。所有实验都在具有Intel Core i7 6820 CPU和GTX2070 GPU的服务器上进行。训练阶段数为Np=9的ISTA-Nets-plus大约需要10个小时。
图5所示为不同方法中下采样率为30%时264×264boats和528×528flinstones的重建结果。从图5中可以明显看出,在采样率相同时,与传统CCA相比,本方法CCA-SVD的重建质量更高,并消除了传统CCA由于块处理带来的块效应。和CCA-Orth相比,本方法在测量值的获取中,不用显式构造行正交的矩阵,更有利于硬件的实施,同时得到较好的重建质量。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度神经网络的压缩编码孔径成像方法,其特征在于,包括:
训练时,将训练集中每张图片裁剪成尺寸相同的子图像块,总共可得到d个尺寸相同的子图像块;
分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵;
将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。
2.如权利要求1所述的基于深度神经网络的压缩编码孔径成像方法,其特征在于,所述分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵,包括:
根据压缩编码孔径的观测矩阵成像模型计算每个子图像块的对应的测量值,其压缩编码孔径的观测矩阵成像模型为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声,h(CCA)表示编码孔径;
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵,将所述压缩编码孔径的观测矩阵成像模型转换为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声;
将转换后的压缩编码孔径的观测矩阵成像模型表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
3.如权利要求2所述的基于深度神经网络的压缩编码孔径成像方法,其特征在于,在所述分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵之后,还包括:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx,
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
4.如权利要求3所述的基于深度神经网络的压缩编码孔径成像方法,其特征在于,所述深度神经网络为ISTA-Net-Plus。
5.如权利要求3所述的基于深度神经网络的压缩编码孔径成像方法,其特征在于,在所述将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建之前,还包括对所述训练好的深度神经网络模型进行测试,具体为:
将基准数据集中的测试集图片裁剪成p个尺寸相同的测试子图像块,该测试子图像块的尺寸与所述子图像块的尺寸相同;
分别将每个测试子图像块与所述编码孔径进行卷积后,进行下采样操作,得到与每个测试子图像块对应的测试测量值;
将所述测试测量值作为所述训练好的深度神经网络模型的输入,完成对所述训练好的深度神经网络模型的测试。
6.一种基于深度神经网络的压缩编码孔径成像系统,其特征在于,包括:裁剪模块、测量值计算模块、训练模块以及重建模块;
裁剪模块用于将训练集中所有原始图片进行裁剪,得到d个尺寸相同的子图像块;
测量值计算模块用于分别将每个子图像块与编码孔径进行卷积后,进行下采样操作,得到与每个子图像块对应的测量值和测量矩阵;
训练模块用于将每个子图像块及其对应的测量值作为训练数据对,并将训练数据对作为深度神经网络的输入,对该深度神经网络进行训练,得到训练好的深度神经网络;
重建模块用于将待重建图像的测量值作为所述训练好的深度神经网络的输入,进行图像重建。
7.如权利要求6所述的基于深度神经网络的压缩编码孔径成像系统,其特征在于,所述测量值计算模块具体用于:
根据压缩编码孔径的观测矩阵成像模型计算每个子图像块的对应的测量值,其压缩编码孔径的观测矩阵成像模型为:
y=vec(Y)=vec(D(Xtrue*h(CCA))+E),
其中,vec(·)为向量化算子,表示原始二维信号,D表示下采样操作,表示二维测量值,向量化后的一维测量值,*表示卷积操作,E表示系统噪声,h(CCA)表示编码孔径;
表示N2×N2维傅里叶变换矩阵,其元素并且令其中表示克罗内克积,F表示大小为N×N傅里叶变换矩阵,将所述压缩编码孔径的观测矩阵成像模型转换为:
其中,CH是大小为N2×N2的对角矩阵,其对角元素为CH=diag(H(CCA)),e表示噪声;
将转换后的压缩编码孔径的观测矩阵成像模型表示为:
其中,编码孔径的合理设计应使得测量矩阵R满足RIP。
8.如权利要求7所述的基于深度神经网络的压缩编码孔径成像系统,其特征在于,还包括与测量值计算模块输出端连接的预处理模块,预处理模块用于:
对所述测量矩阵R进行奇异值分解:R=U(∑ 0)VT,其中,∑表示维数为m2×n2的半正定对角矩阵,0表示m2×(n2-m2)维元素全为0的矩阵,是正交矩阵;
将所述压缩编码孔径的观测矩阵成像模型转换为:
y=Rx=U(∑ 0)VTx=U(∑ 0)(V1 V2)Tx=U∑V1 Tx,
其中,为列正交矩阵,x表示一维信号;
令ySVD=∑-1UTy,RSVD=V1 T,获得新的测量系统:ySVD=RSVDx,ySVD表示优化后的测量值,RSVD表示优化后的测量矩阵。
9.如权利要求8所述的基于深度神经网络的压缩编码孔径成像系统,其特征在于,所述深度神经网络为ISTA-Net-Plus。
10.如权利要求8所述的基于深度神经网络的压缩编码孔径成像系统,其特征在于,还包括测试模块,测试模块输入端与所述训练模块连接、输出端与所述重建模块连接;
测试模块用于利用基准数据集中的测试集图片对所述训练好的深度神经网络模型进行测试。
CN201910625515.3A 2019-07-11 2019-07-11 一种基于深度神经网络的压缩编码孔径成像方法及系统 Active CN110378975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625515.3A CN110378975B (zh) 2019-07-11 2019-07-11 一种基于深度神经网络的压缩编码孔径成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625515.3A CN110378975B (zh) 2019-07-11 2019-07-11 一种基于深度神经网络的压缩编码孔径成像方法及系统

Publications (2)

Publication Number Publication Date
CN110378975A true CN110378975A (zh) 2019-10-25
CN110378975B CN110378975B (zh) 2022-10-28

Family

ID=68252797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625515.3A Active CN110378975B (zh) 2019-07-11 2019-07-11 一种基于深度神经网络的压缩编码孔径成像方法及系统

Country Status (1)

Country Link
CN (1) CN110378975B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415303A (zh) * 2020-02-14 2020-07-14 清华大学 基于深度学习的波带片编码孔径成像方法及装置
CN112950750A (zh) * 2021-03-18 2021-06-11 中国科学院西安光学精密机械研究所 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法
CN113777648A (zh) * 2021-09-09 2021-12-10 南京航空航天大学 一种基于随机编码与神经网络探测器成像的方法及伽马相机
CN115136520A (zh) * 2020-02-24 2022-09-30 高通股份有限公司 使用编码器神经网络的经压缩的测量反馈

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN109883548A (zh) * 2019-03-05 2019-06-14 北京理工大学 基于优化启发的神经网络的光谱成像系统的编码优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN109883548A (zh) * 2019-03-05 2019-06-14 北京理工大学 基于优化启发的神经网络的光谱成像系统的编码优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊承义等: "级联模型展开与残差学习的压缩感知重构", 《中南民族大学学报(自然科学版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415303A (zh) * 2020-02-14 2020-07-14 清华大学 基于深度学习的波带片编码孔径成像方法及装置
CN111415303B (zh) * 2020-02-14 2022-09-13 清华大学 基于深度学习的波带片编码孔径成像方法及装置
CN115136520A (zh) * 2020-02-24 2022-09-30 高通股份有限公司 使用编码器神经网络的经压缩的测量反馈
CN112950750A (zh) * 2021-03-18 2021-06-11 中国科学院西安光学精密机械研究所 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法
CN112950750B (zh) * 2021-03-18 2023-12-08 中国科学院西安光学精密机械研究所 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法
CN113777648A (zh) * 2021-09-09 2021-12-10 南京航空航天大学 一种基于随机编码与神经网络探测器成像的方法及伽马相机
CN113777648B (zh) * 2021-09-09 2024-04-12 南京航空航天大学 一种基于随机编码与神经网络探测器成像的方法及伽马相机

Also Published As

Publication number Publication date
CN110378975B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN110378975A (zh) 一种基于深度神经网络的压缩编码孔径成像方法及系统
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN102708576B (zh) 基于结构字典的分块图像压缩感知重建方法
Kim et al. Deep residual network with enhanced upscaling module for super-resolution
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN108335339A (zh) 一种基于深度学习和凸集投影的磁共振重建方法
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN107525588A (zh) 一种基于gpu的双相机光谱成像系统的快速重构方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN109741407A (zh) 一种基于卷积神经网络的光谱成像系统的高质量重构方法
US20230097417A1 (en) Multi-slice magnetic resonance imaging method and device based on long-distance attention model reconstruction
CN103077544B (zh) 一种磁共振参数匹配方法、装置及医疗图像处理设备
CN114429422A (zh) 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN109191376A (zh) 基于srcnn改进模型的高分辨率太赫兹图像重构方法
Shen et al. Rapid reconstruction of highly undersampled, non‐Cartesian real‐time cine k‐space data using a perceptual complex neural network (PCNN)
CN113160380A (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN109886898A (zh) 基于优化启发的神经网络的光谱成像系统的成像方法
Mansour et al. Image-to-image MLP-mixer for image reconstruction
Yang et al. An iterative algorithm for third-order tensor multi-rank minimization
CN115115575A (zh) 一种图像检测方法、装置、计算机设备及存储介质
Bai et al. Self-supervised deep blind video super-resolution
Qin et al. Multi-resolution space-attended residual dense network for single image super-resolution
CN115170418B (zh) 符合退化的低秩高维图像填充模型及其填充方法与系统
JP7139397B2 (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
CN111397733B (zh) 一种单/多帧快照式光谱成像方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant