CN114283235B - 一种基于有限角度投影数据的三维磁层重构方法及系统 - Google Patents
一种基于有限角度投影数据的三维磁层重构方法及系统 Download PDFInfo
- Publication number
- CN114283235B CN114283235B CN202111485669.0A CN202111485669A CN114283235B CN 114283235 B CN114283235 B CN 114283235B CN 202111485669 A CN202111485669 A CN 202111485669A CN 114283235 B CN114283235 B CN 114283235B
- Authority
- CN
- China
- Prior art keywords
- projection data
- dimensional
- data
- magnetic layer
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于有限角度投影数据的三维磁层重构方法及系统。所述方法包括:接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;基于补全的三维投影数据实现三维重建。相比现有技术是利用单个角度积分投影数据,本发明利用多角度积分投影信息对磁层进行三维CT重构;弥补了三维磁层计算机断层成像(CTA)的研究空白,提升三维重构的准确度;本发明采用的投影补全寻优网络的评价函数完全创新,在保持结构相似性的同时使得均方误差最小化。
Description
技术领域
本发明涉及空间探测投影重构技术领域,尤其涉及一种基于有限角度投影数据的三维磁层重构方法及系统。
背景技术
太阳风—磁层相互作用全景成像卫星计划(SMILE),将利用创新的X射线和紫外成像仪器,首次对太阳风和地球磁层之间的相互作用进行全球成像。如图1所示为SMILE卫星任务示意图。
但是由于SMILE卫星还未发射,并且目前还没有已发射的磁层X射线成像卫星,所以尚无磁层的X射线观测数据。但是太阳物理学家们创造了PPMLR-MHD模型,它是用于模拟太阳风-磁层-电离层耦合系统,SMILE卫星发射之前,可利用该模型对SMILE计划进行初步研究。图2是PPMLR-MHD模型三维仿真数据,太阳风条件为Vx=300km/s,N=1cm-3和Bz=1nT。X轴范围为-300~30RE,Y和Z轴范围为-150~150RE。如图2所示,其中图2(a)是XZ截面,图2(b)是XY截面,图2(c)是YZ截面,图2(d)是三维MHD数据。
PPMLR-MHD模型模拟的太阳风-磁层-电离层耦合系统。它是一种自主开发的全球磁流体力学的磁层模型。当然这个系统是完整的太阳风-磁层-电离层耦合系统,本文的研究对象是其磁层顶的部分,所以需要利用梯度法对PPMLR-MHD模型仿真数据的磁层顶部分X辐射数据进行提取,截取的数据范围是X轴范围为-5.4~30RE,Y和Z轴范围为-19.5~18.6RE。提取的数据如图3所示,其中图3(a)是XZ截面,图3(b)是XY截面,图3(c)是YZ截面,图2(d)是三维数据。
SXI成像过程
SMILE搭载的软X射线成像仪(SXI)具有广阔的视场(FOV),有望提供亚太阳区域附近大尺度磁层顶的软X射线图像。收集磁层中粒子SWCX过程X射线发射携带关于磁层顶和弓形激波位置的信息。太阳风电荷交换(SWCX)过程发生在一个高电荷态太阳风离子(如O7+)遇到一个中性原子或分子(如H)并在激发态捕获一个电子时,示例公式如下:
O7++H→O6+*+H+
具体成像过程如图4所示。
当离子衰变到较低的能态时,它会释放出一个光子,因此可能导致卫星探测到软X射线。这一过程与CT的积分投影过程是类似的,起点是有限源,终点是无限场。因此可将两个过程类比,在地面上可用CT的思想对SWCX过程进行研究,相当于对磁层顶和弓形激波做一个CT。
CT成像过程
CT重构问题的本质是使用X射线通过线积分求解待重构截面的线性衰减系数分布,再对衰减系数进行成像。如图5所示。假设有一长为l的物体,其衰减系数为μ。设I0为X射线入射该物体时的强度,I为X射线穿过被扫描物体之后的出射强度,则X射线检测器接收到的满I足比尔定理,即有:
I=I0e-μx
所以有:
通常情况下,物体的线性衰减系数在物体内部是不均匀分布的,当沿射线方向物体的线性衰减系数为μ1,μ2,...μn时,具体μ(l)为线性衰减系数沿射线路径变化的函数,则有:
其中μ(l)可以反映出物体内部的密度变化,也可反应重构图像每个像素的灰度分布,令p(l)为投影数据,则有:
可以看出,从投影数据p(l)计算函数μ(l)值的反演问题就是图像重构问题的实质。
锥形束投影(CBCT)
CBCT成像过程的关键是一个两端分别固定在X射线源和检测器的旋转机架。该旋转机架将发散的金字塔形或圆锥形电离辐射源穿过感兴趣区域的中心,引导到另一侧的X射线检测器上。X射线源和检测器围绕固定在感兴趣区域中心的旋转支点旋转。在旋转过程中,以完整或有时是局部的弧线获取了多个视场(FOV)的顺序平面投影图像。
图6展示的是CBCT几何示意图,X射线源S到旋转中心O的距离为DSO,旋转中心O是笛卡尔坐标系的原点。X射线源照射到一个圆锥形区域,该区域包含需探测的三维物体,探测器D测量撞击到该区域的光子的强度,这些光子按照比尔-兰伯定律被衰减。物体以位置O'为中心,该位置与坐标系原点O的距离为探测器D位于距离X射线源DSD的位置,其中心位置为D',与D的偏移量为即位于XY平面上距离源DSD DSO的一个点。在测量采集投影数据过程中,X射线源和探测器D以α的角度绕z轴旋转。
利用CBCT工作原理与卫星运行的相似性,可将卫星获取数据的解积分过程和CBCT成像过程进行类比,在卫星还发射之前可以利用CBCT对截取的三维MHD数据进行投影成像研究。
扫描角度缺失模拟
卫星在运行过程中,并不是全角度(0~180°)都能进行工作,在某些角度卫星无法进行工作,如图7所示。所以造成得到的X辐射积分数据并不是完整的,故在利用CBCT进行模拟时得到的投影数据也应该是不完整的。
不完整的投影数据用以重建所得到的结果是十分不精确且具有误导性。具体重建结果如图8所示。图8给出了完整角度和有限角度三维投影的三个截面图,并利用完整角度和有限角度的投影数据分别利用FDK算法进行重建得到相应的重建结果。图8(a)是完整角度投影数据截面图,图8(b)是有限角度投影数据截面图,图8(c)是完整角度投影数据FDK重建结果,图8(d)是有限角度投影数据FDK重建结果;从结果上来看,利用有限角度投影数据重建的结果已经严重失真,细节信息也严重丢失。因此需要在有限角度投影数据的基础上进一步提高重建精度。
发明内容
本发明的目的在于克服现有技术缺陷,提出了一种基于有限角度投影数据的三维磁层重构方法及系统。
为了实现上述目的,本发明提出了一种基于有限角度投影数据的三维磁层重构方法,所述方法包括:
接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;
基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;
基于补全的三维投影数据实现三维重建。
作为上述方法的一种改进,所述3D生成对抗网络包括生成器和判别器,生成器的输出与判别器的输入相连,判别器的判别结果再反馈至生成器。
作为上述方法的一种改进,所述生成器为完全卷积的前馈神经网络,包括6层级联,前4层和第6层均为转置卷积层,转置卷积运算对每一层中的图像进行上采样;第5层为单个卷积层,用于减少由于上采样而产生的伪影;前5层的激活函数均为LeakyReLU函数,第6层的激活函数为Tanh函数。
作为上述方法的一种改进,所述判别器包括6层级联的卷积层,前5层的激活函数均为LeakyReLU函数,第6层的激活函数为Sigmoid函数。
作为上述方法的一种改进,所述方法还包括3D生成对抗网络的训练步骤,具体包括:
步骤A1)建立作为真实数据的训练样本集,标签Label∈[0.9,1.0];
步骤A2)固定生成器G的参数,将训练样本集的潜在空间z向量依次输入生成器G,得到标签Label∈[0,0.1]的“虚假”样本,与训练样本集代表的“真实”样本共同输入判别器以训练判别器;
步骤A3)固定判别器D的参数,通过判别器的反馈信息更新生成器G的参数,以达到训练生成器的目的;
步骤A4)重复步骤A2)和A3),反复交替训练判别器和生成器,直到两者的代价函数逼近纳什均衡点,得到训练好的3D生成对抗网络,从而得到训练好的生成器。
作为上述方法的一种改进,所述建立作为真实数据的训练样本集;具体包括:
采用Jorgensen辐射模型在太阳风速度Vx=400km/s,行星际磁场Z方向的分量Bz=5nT,太阳风数密度N分别为N=5cm-3、N=20cm-3和N=35cm-3条件下各产生Q份X轴范围为-6.2~29.8RE,RE为地球半径,Y和Z轴范围为-18~18RE的三维磁层X辐射数据,并对这些数据进行锥形束CT投影,得到3Q份64×64×64的三维磁层X辐射投影数据,构成作为真实数据的训练样本集。
作为上述方法的一种改进,所述基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;具体包括:
由下式得到上下文丢失损失函数Lc:
其中,SSIM为结构相似度,MSE为均方误差;
由下式得到先验损失函数Lp(z):
Lp(z)=log(1-D(G(z)))
其中,D(·)表示判别器,G(z)表示生成器输入潜在空间z向量生成的图像;
根据下式计算总损失函数L(z):
L(z)=Lc(G(z)⊙M|y)+λLp(z)
其中,M为一个有限角度部分为1,其余部分为0的0-1矩阵,y是有限角度投影数据,λ为上下文丢失损失函数Lc和先验损失函数Lp(z)之间平衡的参数;
根据总损失函数L(z),通过基于梯度下降的优化方法寻找与缺失角度投影最佳匹配的G(z),从而实现对三维投影数据缺失角度的数据补全。
一种基于有限角度投影数据的三维磁层重构系统,所述系统包括:缺失角度三维投影数据生成模块、补全模块和三维重建模块;其中,
所述缺失角度三维投影数据生成模块,用于接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;
所述补全模块,用于基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;
所述三维重建模块,用于基于补全的三维投影数据实现三维重建。
与现有技术相比,本发明的优势在于:
1、相比现有技术是利用单个角度积分投影数据,本发明利用多角度积分投影信息对磁层进行三维CT重构;
2、本发明的方法弥补了三维磁层计算机断层成像(CTA)的研究空白;
3、本发明运用三维生成对抗网络技术生成与完整投影数据特征一致的生成样本,利用投影寻优补全网络对有限角度投影数据进行补全,进而提升三维重构的准确度;
4、本发明采用的投影补全寻优网络的评价函数完全创新,在保持结构相似性(SSIM)的同时使得均方误差(MSE)最小化。
5、在训练数据不足的情况下,采用简化的Jorgensen辐射模型生成大量训练数据,学习简化Jorgensen磁层模型投影数据的特征数据分布补全复杂MHD模型磁层投影数据结果依旧显著,体现本发明具有很强的泛化能力。
附图说明
图1是SMILE卫星任务示意图;
图2是MHD数据,其中图2(a)是XZ截面,图2(b)是XY截面,图2(c)是YZ截面,图2(d)是三维MHD数据;
图3是磁层顶X辐射数据,其中图3(a)是XZ截面,图3(b)是XY截面,图3(c)是YZ截面,图3(d)是三维数据;
图4是SXI成像过程;
图5是线性衰减系数不均匀的物体;
图6是CBCT几何示意图;
图7是卫星有限角度工作示意图;
图8(a)是完整角度投影数据截面图,图8(b)是有限角度投影数据截面图,图8(c)是完整角度投影数据FDK重建结果,图8(d)是有限角度投影数据FDK重建结果;
图9(a)是MHD辐射模型数据;
图9(b)是Jorgensen辐射模型数据;图
图10是本发明的生成器G(z)的神经网络架构图;
图11是本发明的3D生成对抗网络的训练与投影寻优补全网络处理流程图;
图12(a)是七组测试集补全投影数据与完整角度投影数据之间PSNR分布;
图12(b)是七组测试集补全投影数据与完整角度投影数据均利用FDK算法三维重构之后的两者之间的PSNR分布;
图12(c)是七组测试集补全投影数据与有限角度投影数据都经过FDK算法三维磁层重构之后与原始磁层X辐射率数据之间的PSNR分布;
图12(d)是七组测试集有限角度投影数据在经过补全之后FDK三维重建磁层PSNR的增长率柱状图;
图13是实验2和实验3的磁层重构效果,包括七个测试组别;其中图13(a)是T1组MHD原始磁层X辐射率数据;图13(b)是T2组完整角度投影通过FDK算法重建得到的磁层X辐射率数据;图13(c)-图13(i)是T1-T7组,不同缺失角度补全之后FDK算法重构得到的磁层X辐射率数据。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
生成式对抗网络的全称为Generative Adversarial Networks,简称GAN,是Goodfellow等人在2014年提出的一种无监督学习方法,它包含生成器网络和判别器网络两个部分,生成器网络致力于生成能够与真实数据媲美的逼真数据,判别器致力于对真实数据和生成器生成数据进行判别。两个网络相互博弈,生成器出于压力不断学习真实数据被迫生成看似真实的样本,判别器则进一步学习分辨生成样本和真实样本。2016年,AlecRadford在GAN的基础上提出了深度卷积生成式对抗网络(Deep Convolution GenerativeAdversarial Networks,DCGAN),DCGAN的网络结构图和GAN的网络结构图类似,但生成网络和判别网络都使用了深度卷积神经网络,并在整个生成模型中去掉了全连接层和池化层,可以生成质量较高的数据。
磁层X辐射数据的有限角度的投影数据会导致重建结果失真,但是磁层X辐射数据的投影数据之间具有一定的相似性。因此本文提出利用3D-DCGAN深度学习网络学习磁层X辐射数据的完整角度投影数据的数据特征,再利用学习好的生成器生成的3D投影数据对有限角度的投影数据进行补全工作,进而得到高质量的磁层X辐射数据重建结果。
但是由于磁层MHD模型是一种接近真实太阳风条件的磁层模型,但是其数据量庞大且计算复杂缓慢,而训练GAN网络需要大量的磁层模型数据,所以不适合将MHD模型的计算结果作为训练数据集使用。所以在磁层顶和弓激波边界之间使用了一个拟合MHD模型计算值的Jorgensen辐射模型来模拟MHD模型计算出来的结果,Jorgensen辐射模型的X射线辐射率计算公式如下:
其中ref=10RE。当太阳风条件满足:太阳风等离子体数密度N0=22.5cm-3,太阳风风速的x方向分量Vx_0=400km/s,y和z方向的分量Vy_0=Vz_0=0,行星际磁场Z方向的分量Bz_0=5nT,x和y方向的分量Bx_0=By_0=0时,最合适的一组参数值是:
A1=3.2285×10-5eVcm-3s-1,B=-1.7985×10-5eVcm-3s-1
A2=1.3588×10-5eVcm-3s-1,α=2.4908,β=-1.6458
由于实际上参数A1、B、A2的值与的值成正比,比值为:
times=N×Vx÷(22.5×400)
所以对任意太阳风等离子体数密度N与太阳风风速的Vx方向分量,最合适的参数值为:
A1=3.2285×10-5eVcm-3s-1×times
B=-1.7985×10-5eVcm-3s-1×times
A2=1.3588×10-5eVcm-3s-1×times
α=2.4908,β=-1.6458
本文利用Jorgensen该辐射模型在三种太阳风条件下(分别是太阳风速度Vx=400km/s,Bz=5nT,太阳风数密度分别为N=5cm-3、N=20cm-3和N=35cm-3)各产生1000份X轴范围为-6.2~29.8RE,RE为地球半径,通常为6370公里。Y和Z轴范围为-18~18RE三维磁层X辐射数据,并对这些数据进行锥形束CT投影(投影角度为0~179.4°,X射线间隔为2.8°,故共64次X射线积分),由此得到3000份64×64×64的三维磁层X辐射投影数据。将这些数据当做真实数据利用3D-DCGAN网络进行学习训练,通过生成器生成在数据特征上一致的生成样本数据。图9(a)是MHD辐射模型数据;图9(b)是Jorgensen辐射模型数据。
图10展示了生成器G(z)的神经网络架构的具体结构,潜在向量z通过一个完全卷积的前馈神经网络,转置卷积运算对每一层中的图像进行上采样,在最终网络层之前引入单个卷积层使用转置卷积减少由于上采样而产生的伪影。具体网络结构构造可参照下表:
表1:生成器和判别器详细结构
生成器是DCGAN(Radford et al.2015)的完全卷积版本,在最终转置卷积之前有一个额外的卷积层,LeakyReLU激活函数用于所有层,除了最后一个使用Tanh激活函数。
3D-DCGAN网络的训练与投影寻优补全网络
搭建好3D-DCGAN网络和得到足够的训练数据之后,下面开始讨论3D-DCGAN的训练步骤以及训练结束能够生成3D投影数据之后如何对有限角度的投影数据进行补全的工作。
GAN的思想是由两个可微函数组成:判别器D和生成器G。判别器的输入是从隐藏的潜在空间z由生成器创建的“真实”数据集(Label 0.9~1.0)x~pdata和“虚假”样本(Label0~0.1)G(z)的样本。隐空间z由独立的实随机变量组成,通常为正态分布或均匀分布,表示对发生器G的随机输入。生成器器G将隐空间中的随机变量映射到立体空间中。判别器的作用是量化一个随机样本来自“真实”数据分布pdata的概率。判别器D试图正确地标记每个样本,而生成器G试图“欺骗”判别器将假样本标记为真实数据分布的一部分,从而实现D(G(z))趋于1,故可将GAN的损失即代价函数定义为最小化-最大化问题,如公式(1)所示:
这个优化问题的解便是纳什均衡点,其中生成器和判别器的损失函数相对于它们的参数都达到局部最小值。DCGAN通过卷积神经网络来表示G和D,卷积神经网络经过基于梯度下降的优化方法训练。训练被分成分两步进行:首先,当生成器器参数固定时,
训练判别器使公式(2)最大化,以此提高了判别器区分真伪数据的能力。第二步,利用生成器从n维正态分布潜在空间中绘制样本z来生成生成样本G(z),并训练生成器使下列公式(3)最小化,同时保持判别器参数不变。
通过最小化公式(3),生成器试图“欺骗”判别器,使其相信样本G(z)是真实的数据样本。通过这种方式,生成器学会表示一个分布pg(x),它尽可能地接近真实的数据分布pdata(x)。当收敛到pg(x)=pdata(x)时,判别器的值变为1/2,至此判别器无法再区分两者,便达到训练生成器的目的。实际情况下,一开始判别器D的性能显著优于生成器G,使用于训练生成器的梯度接近于零。因此,一般直接最大化log(D(G(z)),而不是最小化生成器的log(1-D(G(z))。
图11展示了3D-DCGAN网络的训练过程以及在得到性能显著的生成器G之后,如何寻找与有限角度投影最佳匹配的生成器生成数据的过程。先将生成器G的参数固定,将潜在空间z向量输入生成器G得到“虚假”样本(Label 0~0.1),与“真实”数据集(Label 0.9~1.0)共同输入判别器以此训练判别器。之后固定判别器参数,通过判别器的反馈信息更新生成器参数,以达到训练生成器的目的,不断反复,直到两者的代价函数逼近纳什均衡点。由此,一个能够生成接近真实的数据分布的生成器就被训练完成。
但是,生成器能够生成无数种逼真的3D投影数据,需要找到与有限角度投影最佳匹配那一份数据,因此本文设计了最佳匹配投影寻优补全网络,首先生成器生成的数据必须能通过判别器的鉴别,因此定义先验损失Lp,它是指基于数据高级特征的一种惩罚,而不是简单的计算每个像素之间差异,其作用是不断使得通过3D-DCGAN网络鉴别的数据与从训练集中提取的样本图像满足相似的数据分布。
Lp(z)=log(1-D(G(z))) (4)
为了补全缺失角度的投影数据,本文将利用有限角度的的投影数据设计上下文丢失损失函数来捕捉这些信息,对于上下文丢失损失一个方便的选择是简单地在生成的样本G(z)和有限角度投影对应位置之间的2范数。但是实际情况下是不理想的,所以本文引入峰值信噪比(PSNR)和结构相似度(SSIM)来衡量有限角度投影和生成的样本G(z)对应部分的相似性。PSNR是用于评价图像重构质量的一种常用的图像客观评价指标,通过均方误差(MSE)定义。而SSIM则是一种衡量两份数据相似度的指标,所以采用PSNR和SSIM来作为反映两份数据相似性的客观评价指标。PSNR的计算公式如下所示:
其中分别表示f1的均值和方差,表示f2的均值和方差,则是f1和f2之间的协方差,C1=(K1L)2和C2=(K2L)2是用来维持稳定的常数,一般K1=0.01,K2=0.03,L为数据中的最大值。SSIM的范围为0~1,越接近1表示越相似。最终定义上下文丢失损失函数为:
因此,投影寻优补全网络的总损失函数定义如下所示,λ是在两个损失之间平衡的参数,取值为1。
L(z)=Lc(G(z)⊙M|y)+λLp(z) (9)
G(z)生成器生成数据,M是一个有限角度部分为1,其余部分为0的0-1矩阵,y是有限角度投影数据。
通过基于梯度下降的优化方法(Adam)寻找与有限角度投影最佳匹配的生成器生成样本G(z),从而对有限角度投影缺失部分的数据进行补全,进而提高重建的精度。
实验设计
本文设计了相关实验,用以证实上述方法的有效性。实验总共分为四个小实验,首先随机选取24份MHD辐射模型,这24份数据是未进入3D-DCGAN网络学习的新数据。将24份数据的按照以下几组计算有限角度投影数据,如下表所示:
表2
(以T7为例,有限投影角度即能获得投影数据的角度是86.8°~92.4°(3次X射线积分))。
再对上述各组测试数据进行补全,并对补全结果进行如下四个实验:
实验一:将补全的24份投影数据与测试集中24份完整的投影数据进行比较,计算两者之间的PSNR,目的是测试3D-DCGAN在补全实验上的效果。
实验二:对补全的24份投影数据使和24份完整的投影数据均用FDK方法进行三维重构,再计算两者之间的PSNR进行比较。目的是测试本文提出的基于DCGAN的有限角度磁层顶边界三维补全重构技术的有效性。
实验三:对补全的24份投影数据使用FDK方法进行三维重构,再计算重构图像与原24份磁层X射线辐射率数据之间的评价指标PSNR。目的是测试补全投影数据的重构效果与真实X射线辐射率数据之间的差异。
实验四:将有限角度投影数据直接进行重构,再计算重构图像与24份完整的投影数据进行三维重构之后的重构图像之间的评价指标PSNR,目的是比较补全后再重构的准确度相比未补全直接重构的准确度的提升程度。
实验一和实验二着重是为了验证3D-DCGAN网络对投影数据的补全效果,对投影数据进行高质量补全对后面的重建工作至关重要。实验三和实验四则是更重视重构之后的数据与原始数据之间的差异程度,以及本文提出的方法对重构效果的提升程度。图12(a)是七组测试集补全投影数据与完整角度投影数据之间PSNR分布;图12(b)是七组测试集补全投影数据与完整角度投影数据均利用FDK算法三维重构之后的两者之间的PSNR分布;图12(c)是七组测试集补全投影数据与有限角度投影数据都经过FDK算法三维磁层重构之后与原始磁层X辐射率数据之间的PSNR分布;图12(d)是七组测试集有限角度投影数据在经过补全之后FDK三维重建磁层PSNR的增长率柱状图。
从实验一的相似度统计中可以看出随着有限投影角度的减小,补全数据与完整投影之间的PSNR平均值逐渐降低,平均补全效果随之下降。但下降速率并不大,且PSNR平均值均在28以上,体现出了很好的健壮性。
实验二的结果表明,对完整的三维投影数据直接进行FDK重构与对补全后的投影数据进行FDK重构之间的相似度随着角度覆盖比例的减小而减小,重构的准确率逐渐降低,但是七组PSNR平均值均在27以上,说明重构效果较好。实验二的结果说明本文提出的基于生成式对抗网络的磁层重构方法具有较好的重构效果。
实验三的结果表明,补全后的投影数据进行FDK重构效果与真实的磁层X射线辐射率数据之间的PSNR平均值随着角度覆盖比例的减小呈减小趋势,基本稳定在25以上,与实验二差距不大,说明补全投影数据的重构效果与真实X射线辐射率数据之间的差异不大。
实验四的结果表明,本文提出的基于生成式对抗网络的磁层重构方法在PSNR数值指标上具有一定优势,重构效果优于仅使用传统FDK算法进行重构的效果,且PSNR数值的增长率皆大于50%,且随着有限角度投影数据的减少而增大,体现了在大范围投影角度数据缺失时,该方法的作用更显著。
为了直观观察实验二和实验三的重构效果,从测试的MHD数据中选取了一种太阳风条件下的磁层重构效果进行展示,如图13所示,其中图13(a)是T1组MHD原始磁层X辐射率数据;图13(b)是T2组完整角度投影通过FDK算法重建得到的磁层X辐射率数据;图13(c)-图13(i)是T1-T7组,不同缺失角度补全之后FDK算法重构得到的磁层X辐射率数据。图13(a)是参考数据,图13(b)-图13(i)最右边的数值均是与图13(a)进行比较得到的PSNR(dB)。
实施例2
本发明的实施例2提出了一种基于有限角度投影数据的三维磁层重构系统,基于实施例1的方法实现,该系统包括:缺失角度三维投影数据生成模块、补全模块和三维重建模块;其中,
所述缺失角度三维投影数据生成模块,用于接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;
所述补全模块,用于基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;
所述三维重建模块,用于基于补全的三维投影数据实现三维重建。。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于有限角度投影数据的三维磁层重构方法,所述方法包括:
接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;
基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;
基于补全的三维投影数据实现三维重建;
所述基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;具体包括:
由下式得到上下文丢失损失函数Lc:
其中,SSIM为结构相似度,MSE为均方误差;
由下式得到先验损失函数Lp(z):
Lp(z)=log(1-D(G(z)))
其中,D(·)表示判别器,G(z)表示生成器输入潜在空间z向量生成的图像;
根据下式计算总损失函数L(z):
L(z)=Lc(G(z)⊙M|y)+λLp(z)
其中,M为一个有限角度部分为1,其余部分为0的0-1矩阵,y是有限角度投影数据,λ为上下文丢失损失函数Lc和先验损失函数Lp(z)之间平衡的参数;
根据总损失函数L(z),通过基于梯度下降的优化方法寻找与缺失角度投影最佳匹配的G(z),从而实现对三维投影数据缺失角度的数据补全。
2.根据权利要求1所述的基于有限角度投影数据的三维磁层重构方法,其特征在于,所述3D生成对抗网络包括生成器和判别器,生成器的输出与判别器的输入相连,判别器的判别结果再反馈至生成器。
3.根据权利要求2所述的基于有限角度投影数据的三维磁层重构方法,其特征在于,所述生成器为完全卷积的前馈神经网络,包括6层级联,前4层和第6层均为转置卷积层,转置卷积运算对每一层中的图像进行上采样;第5层为单个卷积层,用于减少由于上采样而产生的伪影;前5层的激活函数均为LeakyReLU函数,第6层的激活函数为Tanh函数。
4.根据权利要求2所述的基于有限角度投影数据的三维磁层重构方法,其特征在于,所述判别器包括6层级联的卷积层,前5层的激活函数均为LeakyReLU函数,第6层的激活函数为Sigmoid函数。
5.根据权利要求2所述的基于有限角度投影数据的三维磁层重构方法,其特征在于,所述方法还包括3D生成对抗网络的训练步骤,具体包括:
步骤A1)建立作为真实数据的训练样本集,标签Label∈[0.9,1.0];
步骤A2)固定生成器G的参数,将训练样本集的潜在空间z向量依次输入生成器G,得到标签Label∈[0,0.1]的“虚假”样本,与训练样本集代表的“真实”样本共同输入判别器以训练判别器;
步骤A3)固定判别器D的参数,通过判别器的反馈信息更新生成器G的参数,以达到训练生成器的目的;
步骤A4)重复步骤A2)和A3),反复交替训练判别器和生成器,直到两者的代价函数逼近纳什均衡点,得到训练好的3D生成对抗网络,从而得到训练好的生成器。
6.根据权利要求5所述的基于有限角度投影数据的三维磁层重构方法,其特征在于,所述建立作为真实数据的训练样本集;具体包括:
采用Jorgensen辐射模型在太阳风速度Vx=400km/s,行星际磁场Z方向的分量Bz=5nT,太阳风数密度N分别为N=5cm-3、N=20cm-3和N=35cm-3条件下各产生Q份X轴范围为-6.2~29.8RE,RE为地球半径,Y和Z轴范围为-18~18RE的三维磁层X辐射数据,并对这些数据进行锥形束CT投影,得到3Q份64×64×64的三维磁层X辐射投影数据,构成作为真实数据的训练样本集。
7.一种基于有限角度投影数据的三维磁层重构系统,其特征在于,所述系统包括:缺失角度三维投影数据生成模块、补全模块和三维重建模块;其中,
所述缺失角度三维投影数据生成模块,用于接收有限角度的三维磁层X辐射投影数据,输入预先建立和训练好的3D生成对抗网络,得到缺失角度的三维投影数据;
所述补全模块,用于基于投影寻优补全网络从3D生成对抗网络生成的三维投影数据中进行优选,实现对三维投影数据缺失角度的数据补全;
所述三维重建模块,用于基于补全的三维投影数据实现三维重建;
所述补全模块的处理过程包括:
由下式得到上下文丢失损失函数Lc:
其中,SSIM为结构相似度,MSE为均方误差;
由下式得到先验损失函数Lp(z):
Lp(z)=log(1-D(G(z)))
其中,D(·)表示判别器,G(z)表示生成器输入潜在空间z向量生成的图像;
根据下式计算总损失函数L(z):
L(z)=Lc(G(z)⊙M|y)+λLp(z)
其中,M为一个有限角度部分为1,其余部分为0的0-1矩阵,y是有限角度投影数据,λ为上下文丢失损失函数Lc和先验损失函数Lp(z)之间平衡的参数;
根据总损失函数L(z),通过基于梯度下降的优化方法寻找与缺失角度投影最佳匹配的G(z),从而实现对三维投影数据缺失角度的数据补全。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111485669.0A CN114283235B (zh) | 2021-12-07 | 2021-12-07 | 一种基于有限角度投影数据的三维磁层重构方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111485669.0A CN114283235B (zh) | 2021-12-07 | 2021-12-07 | 一种基于有限角度投影数据的三维磁层重构方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114283235A CN114283235A (zh) | 2022-04-05 |
CN114283235B true CN114283235B (zh) | 2022-08-23 |
Family
ID=80871105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111485669.0A Active CN114283235B (zh) | 2021-12-07 | 2021-12-07 | 一种基于有限角度投影数据的三维磁层重构方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283235B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116778128B (zh) * | 2023-08-15 | 2023-11-17 | 武汉大学 | 一种基于三维重建的对抗补丁重投影方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555811A (zh) * | 2019-07-02 | 2019-12-10 | 五邑大学 | 一种sar图像数据增强方法、装置及存储介质 |
CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9037413B1 (en) * | 2010-10-12 | 2015-05-19 | Exelis, Inc. | System and method of visualization of species characterization, dynamics and stratification of the magnetosphere |
WO2019128660A1 (zh) * | 2017-12-29 | 2019-07-04 | 清华大学 | 训练神经网络的方法和设备、图像处理方法和设备以及存储介质 |
CN109677645B (zh) * | 2019-01-24 | 2021-10-22 | 哈尔滨工业大学 | 模拟三维非对称磁重联的等离子体模拟装置及其实现方法 |
CN110047138A (zh) * | 2019-04-24 | 2019-07-23 | 复旦大学 | 一种磁共振薄层图像重建方法 |
CN111783024B (zh) * | 2020-06-24 | 2023-10-13 | 中国科学院国家空间科学中心 | 一种中性原子图像的局部三维磁层离子通量分布反演方法 |
CN112001978B (zh) * | 2020-07-28 | 2023-09-01 | 中国人民解放军战略支援部队信息工程大学 | 一种基于生成对抗网络的双能双90°ct扫描重建图像的方法及装置 |
CN112634145A (zh) * | 2020-11-27 | 2021-04-09 | 长春工业大学 | 基于三维深度卷积生成对抗网络的三维模型修复方法 |
-
2021
- 2021-12-07 CN CN202111485669.0A patent/CN114283235B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555811A (zh) * | 2019-07-02 | 2019-12-10 | 五邑大学 | 一种sar图像数据增强方法、装置及存储介质 |
CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114283235A (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110533722B (zh) | 一种基于视觉词典的机器人快速重定位方法及系统 | |
US10984565B2 (en) | Image processing method using convolutional neural network, image processing device and storage medium | |
CN110544282B (zh) | 基于神经网络的三维多能谱ct重建方法和设备及存储介质 | |
CN109993224B (zh) | 基于深度学习与多核学习的geo卫星形状与姿态识别方法 | |
CN112308961B (zh) | 基于分层高斯混合模型的机器人快速鲁棒三维重建方法 | |
CN110148103A (zh) | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 | |
CN114283235B (zh) | 一种基于有限角度投影数据的三维磁层重构方法及系统 | |
CN112797989A (zh) | 一种脉冲星频率参数的快速搜索方法 | |
CN112581626B (zh) | 一种基于非参数化和多注意力机制的复杂曲面测量系统 | |
Balke et al. | Separable models for cone-beam MBIR reconstruction | |
Li et al. | Improved lightweight YOLOv5 using attention mechanism for satellite components recognition | |
Li et al. | Reconstructing the 3D digital core with a fully convolutional neural network | |
Wang et al. | A 3D Magnetospheric CT Reconstruction Method Based on 3D GAN and Supplementary Limited‐Angle 2D Soft X‐Ray Images | |
CN113111706A (zh) | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 | |
CN117095199A (zh) | 一种基于单纯形扩散模型的工业视觉异常检测系统 | |
Wang et al. | SAR image synthesis based on conditional generative adversarial networks | |
CN113436235B (zh) | 一种激光雷达与视觉点云的初始化自动配准方法 | |
CN115311380A (zh) | 基于admm网络的反射式荧光分子断层成像方法及系统 | |
Wang et al. | Using restored two-dimensional X-ray images to reconstruct the three-dimensional magnetopause | |
Cendra et al. | SL3D: Self-supervised-Self-labeled 3D Recognition | |
Vuillaume et al. | GammaLearn-first steps to apply Deep Learning to the Cherenkov Telescope Array data | |
Klinner | Development and assessment of volume resolving velocimetry for turbomachinery test facilities | |
CN114820329B (zh) | 基于高斯过程大核注意力装置引导的曲面测量方法及装置 | |
Song et al. | N $^{3} $-Mapping: Normal Guided Neural Non-Projective Signed Distance Fields for Large-scale 3D Mapping | |
Zdybal et al. | Machine learning based event reconstruction for the MUonE experiment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |