CN116597037B - 一种物理生成数据驱动的快速磁共振智能成像方法 - Google Patents
一种物理生成数据驱动的快速磁共振智能成像方法 Download PDFInfo
- Publication number
- CN116597037B CN116597037B CN202310576205.3A CN202310576205A CN116597037B CN 116597037 B CN116597037 B CN 116597037B CN 202310576205 A CN202310576205 A CN 202310576205A CN 116597037 B CN116597037 B CN 116597037B
- Authority
- CN
- China
- Prior art keywords
- data
- network
- dimensional
- magnetic resonance
- coil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 15
- 238000012804 iterative process Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000013524 data verification Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 8
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
- G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
- G01R33/56509—Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种物理生成数据驱动的快速磁共振智能成像方法，包括以下步骤：1)依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样等操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集；2)设计基于迭代过程展开的深度神经网络模型、网络的反馈功能及损失函数；3)利用步骤1)获得的训练集，求解深度神经网络的最优参数；4)将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建。
Description
技术领域
本发明涉及磁共振图像的重建方法，尤其是涉及一种物理生成数据驱动的快速磁共振智能成像方法。
背景技术
磁共振成像是一种非侵入性和非放射性成像技术，可提供解剖结构、生理功能和组织参数等丰富信息，在现代医学诊断中起着不可或缺的作用。然而，磁共振数据采集时间较长，可能导致患者不适和引入运动引起的伪影。并行成像和稀疏采样通过傅里叶空间欠采样来缩短扫描时间，但会引入较强的图像伪影。如何从欠采样数据中重建得到高质量图像是快速磁共振成像中的一个重要问题。
过去的二十年里，许多磁共振图像重建方法被提出，其中包括：1)并行成像：依赖于傅里叶空间中心自动校准信号预估的线圈灵敏度图进行重建(K.P.Pruessmann,M.Weiger,M.B.Scheidegger,P.Boesiger,"SENSE:Sensitivity encoding for fastMRI,"Magnetic Resonance in Medicine,vol.42,pp.952-962,1999.)，或者预估校准卷积核执行自一致性重建等(M.Lustig,J.M.Pauly,"SPIRiT:Iterative self-consistentparallel imaging reconstruction from arbitrary k-space,"Magnetic Resonance inMedicine,vol.64,pp.457-471,2010.)。2)稀疏低秩约束：引入稀疏先验(M.Lustig,D.Donoho,J.M.Pauly,"Sparse MRI:The application of compressed sensing forrapid MR imaging,"Magnetic Resonance in Medicine,vol.58,pp.1182-1195,2007.)，或者低秩先验等(Z.Liang,"Spatiotemporal imaging with partially separablefunctions,"in IEEE International Symposium on Biomedical Imaging(ISBI),pp.988-991,2007.)执行迭代重建。但是上述方法存在重建时间过长、参数设置繁琐的问题。
最近，通过强大的卷积神经网络，深度学习可以实现高质量、快速的磁共振图像重建(S.Wang et al.,"Accelerating magnetic resonance imaging via deep learning,"in IEEE International Symposium on Biomedical Imaging(ISBI),pp.514-517,2016；Z.Wang et al.,"One-dimensional deep low-rank and sparse network foraccelerated MRI,"IEEE Transactions on Medical Imaging,vol.42,pp.79-90,2023.)。但是，现有深度学习仍主要受限于(Q.Yang,Z.Wang,K.Guo,C.Cai,X.Qu,"Physics-drivensynthetic data learning for biomedical magnetic resonance:The imagingphysics-based data synthesis paradigm for artificial intelligence,"IEEESignal Processing Magazine,vol.40,pp.129-140,2023.)：1)训练数据不足。现有大型公共数据库中，数据的采集设备商、对比度、解剖部位有限，数据规模和多样性严重不足。2)现有深度学习方法的鲁棒性不足。它们难以克服实际应用中常见的训练与测试数据之间的不匹配，导致性能下滑明显，需要针对性的重复训练才能保持较好的性能。
总而言之，磁共振图像重建中，现有方法的重建质量和鲁棒性仍有待提高。亟待开发一种高效的数据生成策略得到大规模、多样化的数据集用于深度神经网络训练，同时建立一种鲁棒的深度神经网络，以实现高质量、鲁棒、快速的磁共振智能成像。
发明内容
本发明目的在于提供重建质量高、重建速度快、泛化性能强的一种物理生成数据驱动的快速磁共振智能成像方法。
本发明包括以下步骤：
1)依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样等操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集；
2)设计基于迭代过程展开的深度神经网络模型、网络的反馈功能及损失函数；
3)利用步骤1)获得的训练集，求解深度神经网络的最优参数；
4)将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建。
在步骤1)中，所述依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样等操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集的具体方法可为：
首先，根据磁共振图像所包含的物理特性，可以将全采样的多线圈图像仿真数据分解成以下三个部分分别生成：
X＝A⊙P⊙S, (1)
其中，为幅值，/>为相位，/>为线圈灵敏度图。/>表示第j个线圈的全采样的图像仿真数据，/>表示实数域，/>表示复数域，M,N,J分别表示数据中行数、列数和线圈数，符号⊙表示逐元素点乘。
接下来，依据磁共振成像物理模型，生成的欠采样填零的多线圈一维傅里叶空间仿真数据可表示为：
其中，为欠采样算子，/>为一维傅里叶变换，/>表示从每个线圈的图像数据中随机抽取一行的操作算子，/>为全采样的多线圈一维图像，/>为傅里叶空间的加性高斯白噪声，欠采样算子/>对应生成的一维欠采样模板为/>
基于公式(1)和(2)，生成仿真数据的全流程为：1)随机生成大量灰度图来模拟不同图像对比度(即信号强度分布)，作为幅度A；2)对大量随机生成的复数高斯白噪声进行大小为r×r的傅里叶截断，作为相位P；3)随机选取在少量实测数据中估计得到的线圈灵敏度图S；4)随机匹配以上三个分量，并提取大量一维图像x。5)对一维图像做一维傅里叶变换，再添加随机信噪比的高斯加性白噪声，最后进行欠采样，得到大量欠采样填零的多线圈一维傅里叶空间数据y。
通过上述操作，建立T组包含全采样的多线圈一维图像仿真数据x、欠采样填零的多线圈一维傅里叶空间仿真数据y和对应的一维欠采样模板u的训练集{xt,yt,ut|t＝1,2,...,T}，其中y和x分别为神经网络的输入和标签数据。
在步骤2)中，所述深度神经网络模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含两个子块，单个迭代块的网络结构如下：
a)子块D是一个图像去伪影模块，用于更新网络中间量d。它由两个LD层一维卷积神经网络和一个自适应阈值选择网络/>三者构成，两个一维卷积神经网络的卷积核大小均为ID，阈值自适应选择网络中的卷积核大小均为1。首先，子块D的输入为上一个迭代块的最终输出/>第一个一维卷积神经网络/>的第1～LD层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，可以得到第一个一维卷积神经网络的输出r；对第一个一维卷积神经网络的最后一层的输出进行软阈值操作soft(x；θ)后再将其输入到第二个一维卷积神经网络的第一层，其中θ是由自适应阈值选择网络/>得到的阈值；第二个一维卷积神经网络的第1～LD层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，可以得到子块D的最终计算结果d；完整的子块D用如下非线性映射函数表示：
其中，ΘD表示该迭代块中子块D的内部参数，fD(·)表示子块D所训练的非线性映射，定义软阈值操作soft为soft(x；θ)＝max{|x|-θ}·x/|x|；阈值θ通过自适应阈值选择网络根据输入数据特征自动选择得到，具体过程为：首先，对输入的r的所有元素取绝对值，然后经过全局均值池化(Global Average Pooling,GAP)得到中间量g；接着将输入到一个小型的LD层一维卷积神经网络中，这个小型网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度参数α，该参数中的每个元素范围均为(0,1)，最终输出的阈值为
b)子块C用于更新基于数据校验操作求解得到当前迭代块的输出数据校验需要每次输出/>都必须保持数据与采样的傅里叶空间y的一致性，以保证输出结果与采集数据对齐。完整的子块C用如下函数表示：
其中，ΘC表示该迭代块中子块C的内部参数，fC(·)表示子块C所训练的线性映射，λ表示非负的正则化参数，表示一维傅里叶逆变换，/>表示逆欠采样操作；
综上，将以上两个子块D和C级联，单个迭代块整体可以用如下非线性映射函数组表示：
其中，表示该迭代块中所有子块内部参数的集合；F(·)表示子块的级联；表示所训练的从/>到/>的非线性映射，是各子块非线性映射的组合。
设计的基于迭代过程展开的深度神经网络模型可整体表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从欠采样填零的多线圈一维傅里叶空间数据y到网络最终输出结果的所有迭代块级联的非线性映射。
所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络每个迭代块的输出值与全采样的多线圈一维图像数据x均进行比较并反馈梯度来更新迭代块的参数，使网络随着迭代块的增加，逐渐逼近全采样的多线圈一维图像数据。
所述损失函数定义为：
其中，Θ表示整体网络内部参数的集合，||·||2表示二范数项，k表示第k个迭代块，K表示迭代块的总数，k＝1,2,...,K，t表示第t个训练样本，T表示训练样本的总数，t＝1,2,...,T，∑表示求和运算。
在步骤3)中，求解基于迭代过程展开的深度神经网络的最优参数可采用深度学习中表现较好的Adam优化器，利用步骤1)中生成的训练集进行网络训练，通过最小化步骤2)中的损失函数来得到最优目标参数集合/>
4)将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建。
在步骤4)中，所述将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建，单个迭代块中，引入傅里叶空间自一致性操作进行数据校准后的重建过程可以表示为：
其中，为待重建的欠采样的多线圈磁共振傅里叶空间数据。对其做二维傅里叶逆变换/>得到/> 的所有行形成一个批量作为已训练好的网络的输入，依照训练好的相对最优参数进行网络的前向传播，并行重建该批量，并将其依次拼接起来；再对其做二维傅里叶变换/>后进行傅里叶空间自一致性校准操作/>(校准卷积核大小为IG×IG，内部参数通过在/>的中心密采的自动校准信号/>执行自一致性估计得到)，再做二维傅里叶逆变换/>(以上部分定义为子块G)，得到中间量D；接着执行数据校验操作即可得到当前迭代块的输出/>
最终得到重建后的磁共振图像的整体过程可表示为：
本发明提出了一种物理生成数据驱动的快速磁共振智能成像方法。在训练数据方面，本发明依据磁共振图像物理特性和成像物理模型，生成大规模、多样化的仿真数据集用于深度神经网络训练，突破了训练数据数量、多样性不足的瓶颈问题。在网络设计方面，本发明结合了数据驱动的深度学习和目标数据自一致性校准，可进行高质量、快速鲁棒的磁共振智能成像。
附图说明
图1为本发明实施例中采用的25％采样率的欠采样模板。其中，(a)为膝盖数据采用的欠采样模板；(b)为脑部数据采用的欠采样模板。
图2为基于迭代过程展开的深度神经网络结构。其中，(a)为训练和重建阶段，整体网络结构和第k个迭代块结构的示意图；(b)为各子块的网络结构示意图。
图3为全采样标签图像和25％采样率下的重建图像。其中，(a)和(b)分别是膝盖全采样标签图像和本发明的重建图像；(c)和(d)分别是脑部全采样标签图像和本发明的重建图像。
具体实施方式
以下实施例将结合附图对本发明作进一步说明。本发明实施例利用所提出的数据生成策略构建仿真训练集，通过若干次迭代训练得到最优网络参数，最后分别将需要重建的欠采样多线圈膝盖、脑部数据输入已训练的深度学习网络模型得到对应的重建后的磁共振图像。
以下给出具体实施例。
本发明实施例包括以下步骤：
第一步：依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样等操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集。
本实施例总计生成320000对仿真训练数据。首先，根据磁共振图像所包含的物理特性，我们可以将全采样的多线圈图像仿真数据分解成以下三个部分分别生成：
X＝A⊙P⊙S, (1)
其中，为幅值，/>为相位，/>为线圈灵敏度图。/>表示第j个线圈的全采样的图像仿真数据，/>表示实数域，/>表示复数域，M,N,J分别表示数据中行数、列数和线圈数，符号⊙表示逐元素点乘。本实施例中，M＝320,N＝320,J＝8。
接下来，依据磁共振成像物理模型，生成的欠采样填零的多线圈一维傅里叶空间仿真数据可表示为：
其中，为欠采样算子，/>为一维傅里叶变换，/>表示从每个线圈的图像数据中随机抽取一行的操作算子，/>为全采样的多线圈一维图像，/>为傅里叶空间的加性高斯白噪声，欠采样算子/>对应生成的一维欠采样模板为/>单线圈对应的欠采样模板示意图见图1，其中白色的是采样点，表示该位置对应的数据被采样，黑色表示没有采样到的点，该位置对应的数据丢失。本实施例中采样率为25％。
本实施例中，基于公式(1)和(2)，生成仿真数据的全流程为：1)随机选取2000张自然图像裁剪至320×320大小并灰度化，生成灰度图来模拟不同图像对比度(即信号强度分布)，作为幅度2)对1000个随机生成的复数高斯白噪声进行大小为2×2的傅里叶截断，作为相位/>3)随机选取在60张膝盖图像中估计得到的线圈灵敏度图4)随机匹配以上三个分量，并提取320000张一维图像/>5)对一维图像做一维傅里叶变换，再随机添加信噪比范围是10～80dB的高斯加性白噪声，最后进行欠采样，得到320000个欠采样填零的多线圈一维傅里叶空间数据/>
通过上述操作，建立T＝320000组包含全采样的多线圈一维图像仿真数据x、欠采样填零的多线圈一维傅里叶空间仿真数据y和对应的一维欠采样模板u的训练集{xt,yt,ut|t＝1,2,...,320000}，其中y和x分别为神经网络的输入和标签数据。
第二步：设计基于迭代过程展开的深度神经网络模型、网络的反馈功能及损失函数。
深度神经网络模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含两个子块。以第k个迭代块为例，本实施例中网络结构的解释如下：
a)子块D是一个图像去伪影模块，用于更新网络中间量d(k)。它由两个5层一维卷积神经网络和一个自适应阈值选择网络/>三者构成，两个一维卷积神经网络的卷积核大小均为3，阈值自适应选择网络中的卷积核大小均为1。首先，子块D的输入为上一个迭代块的最终输出x(k-1)，第一个一维卷积神经网络/>的第1～5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，可以得到第一个一维卷积神经网络的输出r(k)；对第一个一维卷积神经网络的最后一层的输出进行软阈值操作soft(x；θ(k))后再将其输入到第二个一维卷积神经网络/>的第一层，其中θ(k)是第k个迭代块中由自适应阈值选择网络/>得到的阈值；第二个一维卷积神经网络/>的第1～5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，可以得到子块D的最终计算结果d(k)；完整的子块D用如下非线性映射函数表示：
其中，表示第k个迭代块中子块D的内部参数，fD(·)表示子块D所训练的非线性映射，定义软阈值操作soft为soft(x；θ)＝max{|x|-θ}·x/|x|；阈值θ(k)通过自适应阈值选择网络/>根据输入数据特征自动选择得到，具体过程为：首先，对输入的r(k)的所有元素取绝对值，然后经过全局均值池化(Global Average Pooling,GAP)得到中间量g(k)；接着将输入到一个小型的2层一维卷积神经网络中，这个小型网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度参数α(k)，该参数中的每个元素范围均为(0,1)，最终输出的阈值为
b)子块C用于更新基于数据校验操作求解得到当前迭代块的输出x(k)。数据校验需要每次输出x(k)都必须保持数据与采样的傅里叶空间y的一致性，以保证输出结果与采集数据对齐。完整的子块C用如下函数表示：
其中，表示第k个迭代块中子块C的内部参数，fC(·)表示子块C所训练的线性映射，λ(k)表示第k个迭代块的非负的正则化参数，/>表示一维傅里叶逆变换；
综上，将以上两个子块D和C级联，单个迭代块整体可以用如下非线性映射函数组表示：
其中，Θ(k)表示第k个迭代块中所有子块内部参数的集合；F(·)表示子块的级联；foverall(x(k-1)|Θ(k))表示所训练的从x(k-1)到x(k)的非线性映射，是各子块非线性映射的组合。
设计的基于迭代过程展开的深度神经网络模型具体结构如图2(a)中的训练阶段所示。可整体表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从欠采样填零的多线圈一维傅里叶空间数据y到网络最终输出结果的所有迭代块级联的非线性映射。
所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络每个迭代块的输出值x(k)与全采样的多线圈一维图像数据x均进行比较并反馈梯度来更新迭代块的参数，使网络随着迭代块的增加，逐渐逼近全采样的多线圈一维图像数据。
所述损失函数定义为：
其中，Θ表示整体网络内部参数的集合，||·||2表示二范数项，k表示第k个迭代块，K表示迭代块的总数，k＝1,2,...,K，t表示第t个训练样本，T表示训练样本的总数，t＝1,2,...,T，∑表示求和运算。本实施例中K＝10，T＝320000。
第三步：训练基于迭代过程展开的深度神经网络的最优参数。
采用深度学习中表现较好的Adam优化器(D.Kingma,J.Ba,“Adam:A method forstochastic optimization,”arXiv:1412.6980,2014.)，通过最小化第二步中的损失函数训练可得到最优目标参数集合/>
第四步：将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建。
以第k个迭代块为例，本实施例中，引入傅里叶空间自一致性操作进行数据校准后的重建过程可以表示为：
其中，为待重建的欠采样的多线圈磁共振傅里叶空间数据。以第1个迭代块为例，对其做二维傅里叶逆变换/>得到/>的所有行形成一个批量作为已训练好的网络的输入，依照训练好的相对最优参数进行网络的前向传播，并行重建该批量，并将其依次拼接起来；再对其做二维傅里叶变换/>后进行傅里叶空间自一致性校准操作/>(校准卷积核大小为5×5，内部参数通过在/>的中心密采的自动校准信号/>执行自一致性估计得到)，再做二维傅里叶逆变换/>(以上部分定义为子块G)，得到中间量D(1)；接着执行数据校验操作即可得到当前迭代块的输出X(1)。
最终得到重建后的磁共振图像的具体结构如图2(b)中的重建阶段所示，整体过程可表示为：
在本实施例中，分别重建25％采样率下的欠采样多线圈膝盖数据(数据维度320×320×8)和多线圈脑部数据(数据维度224×224×8)。欠采样模板如图1所示。在图1中，欠采样模板中白色的是采样点，表示该位置对应的数据被采样；黑色表示没有采样到的点，该位置对应的数据丢失)。膝盖全采样标签图像和本发明的重建图像分别如图3(a)和(b)。脑部全采样标签图像和本发明的重建图像分别如图3(c)和(d)。可以看出，利用本发明提出的物理生成数据驱动的快速磁共振智能成像方法，可以高质量、快速鲁棒地重建出不同解剖部位的磁共振图像。
本发明提出了一种物理生成数据驱动的快速磁共振智能成像方法，具有重建质量高、重建速度快和泛化性能强的特点。在训练数据方面，本发明依据磁共振图像物理特性和成像物理模型，生成大规模、多样化的仿真数据集用于深度神经网络训练，突破了训练数据数量、多样性不足的瓶颈问题。在网络设计方面，本发明结合了数据驱动的深度学习和目标数据自一致性校准，可进行高质量、快速鲁棒的磁共振智能成像。
参考文献：
[1]Q.Yang,Z.Wang,K.Guo,C.Cai,X.Qu,"Physics-driven synthetic datalearning for biomedical magnetic resonance:The imaging physics-based datasynthesis paradigm for artificial intelligence,"IEEE Signal ProcessingMagazine,vol.40,pp.129-140,2023.
[2]K.P.Pruessmann,M.Weiger,M.B.Scheidegger,P.Boesiger,"SENSE:Sensitivity encoding for fast MRI,"Magnetic Resonance in Medicine,vol.42,pp.952-962,1999.
[3]M.Lustig,J.M.Pauly,"SPIRiT:Iterative self-consistent parallelimaging reconstruction from arbitrary k-space,"Magnetic Resonance inMedicine,vol.64,pp.457-471,2010.
[4]M.Lustig,D.Donoho,J.M.Pauly,"Sparse MRI:The application ofcompressed sensing for rapid MR imaging,"Magnetic Resonance in Medicine,vol.58,pp.1182-1195,2007.
[5]Z.Liang,"Spatiotemporal imaging with partially separablefunctions,"in IEEE International Symposium on Biomedical Imaging(ISBI),pp.988-991,2007.
[6]S.Wang et al.,"Accelerating magnetic resonance imaging via deeplearning,"in IEEEInternational Symposium on Biomedical Imaging(ISBI),pp.514-517,2016,.
[7]Z.Wang et al.,"One-dimensional deep low-rank and sparse networkfor accelerated MRI,"
IEEE Transactions on Medical Imaging,vol.42,pp.79-90,2023.
[8]D.Kingma,J.Ba,"Adam:A method for stochastic optimization,"arXiv:1412.6980,2014.
[9]F.K.Zbontar et al.,"fastMRI:An open dataset and benchmarks foraccelerated MRI,"arXiv:1811.08839,2019.
[10]O.Russakovsky et al.,"ImageNet large scale visual recognitionchallenge,"arXiv:1409.0575,2015.
[11]J.P.Haldar,"Low-rank modeling of local k-space neighborhoods(LORAKS)for constrainedMRI,"IEEE Transactions on Medical Imaging,vol.33,pp.668-681,2014.
[12]K.He,X.Zhang,S.Ren,J.Sun,"Deep residual learning for imagerecognition,"in IEEEConference on Computer Vision and Pattern Recognition(CVPR),2016.
Claims (6)
1.一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于包括以下步骤：
1)依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集；
2)设计基于迭代过程展开的深度神经网络模型、网络的反馈功能及损失函数；
所述深度神经网络模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含两个子块，单个迭代块的网络结构如下：
a)子块D是一个图像去伪影模块，用于更新网络中间量d；它由两个LD层一维卷积神经网络和一个自适应阈值选择网络/>三者构成，两个一维卷积神经网络的卷积核大小均为ID，阈值自适应选择网络中的卷积核大小均为1；首先，子块D的输入为上一个迭代块的最终输出x，第一个一维卷积神经网络/>的第1～LD层之间以线性整流函数连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，得到第一个一维卷积神经网络的输出r；对第一个一维卷积神经网络的最后一层的输出进行软阈值操作soft(x；θ)后再将其输入到第二个一维卷积神经网络/>的第一层，其中θ是由自适应阈值选择网络/>得到的阈值；第二个一维卷积神经网络/>的第1～LD层之间以线性整流函数连接，且每层输入均为之前网络层的输出，部分卷积层之间增加跳连结构，得到子块D的最终计算结果d；完整的子块D用如下非线性映射函数表示：
其中，ΘD表示该迭代块中子块D的内部参数，fD(g)表示子块D所训练的非线性映射，定义软阈值操作soft为soft(x；θ)＝max{|x|-θ}·x/|x|；阈值θ通过自适应阈值选择网络根据输入数据特征自动选择得到，具体过程为：首先，对输入的r的所有元素取绝对值，然后经过全局均值池化得到中间量g；接着将输入到一个小型的LD层一维卷积神经网络中，这个小型网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度参数α，该参数中的每个元素范围均为(0,1)，最终输出的阈值为/>
b)子块C用于更新基于数据校验操作求解得到当前迭代块的输出数据校验需要每次输出/>都必须保持数据与采样的傅里叶空间y的一致性，以保证输出结果与采集数据对齐；完整的子块C用如下函数表示：
其中，ΘC表示该迭代块中子块C的内部参数，fC(g)表示子块C所训练的线性映射，λ表示非负的正则化参数，表示一维傅里叶逆变换，/>表示逆欠采样操作；
将以上两个子块D和C级联，单个迭代块整体用如下非线性映射函数组表示：
其中，表示该迭代块中所有子块内部参数的集合；F(g)表示子块的级联；表示所训练的从/>到/>的非线性映射，是各子块非线性映射的组合；
设计的基于迭代过程展开的深度神经网络模型整体表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从欠采样填零的多线圈一维傅里叶空间数据y到网络最终输出结果的所有迭代块级联的非线性映射；
3)利用步骤1)获得的训练集，求解深度神经网络的最优参数；
4)将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建。
2.如权利要求1所述一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于在步骤1)中，所述依据磁共振图像所包含的物理特性，生成全采样的多线圈图像仿真数据，再依据磁共振成像物理模型，通过傅里叶变换、傅里叶空间噪声添加、傅里叶空间欠采样操作，建立包含全采样的多线圈一维图像仿真数据、欠采样填零的多线圈一维傅里叶空间仿真数据和对应的一维欠采样模板的训练集的具体方法为：
首先，根据磁共振图像所包含的物理特性，将全采样的多线圈图像仿真数据分解成以下三个部分分别生成：
X＝A⊙P⊙S, (1)
其中，为幅值，/>为相位，/>为线圈灵敏度图，表示第j个线圈的全采样的图像仿真数据，/>表示实数域，/>表示复数域，M,N,J分别表示数据中行数、列数和线圈数，符号⊙表示逐元素点乘；
其次，依据磁共振成像物理模型，生成的欠采样填零的多线圈一维傅里叶空间仿真数据表示为：
其中，为欠采样算子，/>为一维傅里叶变换，/>表示从每个线圈的图像数据中随机抽取一行的操作算子，/>为全采样的多线圈一维图像，/>为傅里叶空间的加性高斯白噪声，欠采样算子/>对应生成的一维欠采样模板为/>
基于公式(1)和(2)，生成仿真数据的全流程为：1)随机生成大量灰度图来模拟不同图像对比度，作为幅度A；2)对大量随机生成的复数高斯白噪声进行大小为r×r的傅里叶截断，作为相位P；3)随机选取在少量实测数据中估计得到的线圈灵敏度图S；4)随机匹配以上三个分量，并提取大量一维图像x；5)对一维图像做一维傅里叶变换，再添加随机信噪比的高斯加性白噪声，最后进行欠采样，得到大量欠采样填零的多线圈一维傅里叶空间数据y；
通过上述操作，建立T组包含全采样的多线圈一维图像仿真数据x、欠采样填零的多线圈一维傅里叶空间仿真数据y和对应的一维欠采样模板u的训练集{xt,yt,ut|t＝1,2,...,T}，其中y和x分别为神经网络的输入和标签数据。
3.如权利要求1所述一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于在步骤2)中，所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络每个迭代块的输出值与全采样的多线圈一维图像数据x均进行比较并反馈梯度来更新迭代块的参数，使网络随着迭代块的增加，逐渐逼近全采样的多线圈一维图像数据。
4.如权利要求1所述一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于在步骤2)中，所述损失函数定义为：
其中，Θ表示整体网络内部参数的集合，||·||2表示二范数项，k表示第k个迭代块，K表示迭代块的总数，k＝1,2,...,K，t表示第t个训练样本，T表示训练样本的总数，t＝1,2,...,T，Σ表示求和运算。
5.如权利要求1所述一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于在步骤3)中，求解基于迭代过程展开的深度神经网络的最优参数采用深度学习中的Adam优化器，利用步骤1)中生成的训练集进行网络训练，通过最小化步骤2)中的损失函数来得到最优目标参数集合/>
6.如权利要求1所述一种物理生成数据驱动的快速磁共振智能成像方法，其特征在于在步骤4)中，所述将待重建的欠采样的磁共振傅里叶空间数据输入已训练的网络，并在网络求解中引入傅里叶空间自一致性操作进行数据校准，实现磁共振图像重建，单个迭代块中，引入傅里叶空间自一致性操作进行数据校准后的重建过程表示为：
其中，为待重建的欠采样的多线圈磁共振傅里叶空间数据，对其做二维傅里叶逆变换得到/> 的所有行形成一个批量作为已训练好的网络的输入，依照训练好的最优参数进行网络的前向传播，并行重建该批量，并将其依次拼接起来；再对其做二维傅里叶变换/>后进行傅里叶空间自一致性校准操作/>校准卷积核大小为IG×IG，内部参数通过在/>的中心密采的自动校准信号/>执行自一致性估计得到，再做二维傅里叶逆变换/>得到中间量D；接着执行数据校验操作即得到当前迭代块的输出/>
最终得到重建后的磁共振图像的整体过程表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310576205.3A CN116597037B (zh) | 2023-05-22 | 2023-05-22 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310576205.3A CN116597037B (zh) | 2023-05-22 | 2023-05-22 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597037A CN116597037A (zh) | 2023-08-15 |
| CN116597037B true CN116597037B (zh) | 2024-06-04 |
Family
ID=87595183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310576205.3A Active CN116597037B (zh) | 2023-05-22 | 2023-05-22 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597037B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113205A1 (zh) * | 2015-12-30 | 2017-07-06 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| CN109993809A (zh) * | 2019-03-18 | 2019-07-09 | 杭州电子科技大学 | 基于残差U-net卷积神经网络的快速磁共振成像方法 |
| CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
| CN111783631A (zh) * | 2020-06-29 | 2020-10-16 | 厦门大学 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN112946545A (zh) * | 2021-01-28 | 2021-06-11 | 杭州电子科技大学 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
| CN113129401A (zh) * | 2021-03-22 | 2021-07-16 | 厦门大学 | 一种参数化磁共振成像的图像重建方法 |
| CN113971706A (zh) * | 2021-10-15 | 2022-01-25 | 厦门大学 | 一种快速磁共振智能成像方法 |
| CN114305386A (zh) * | 2021-12-13 | 2022-04-12 | 厦门理工学院 | 一种人工智能多对比度磁共振快速成像方法 |
| CN114333983A (zh) * | 2021-12-24 | 2022-04-12 | 厦门大学 | 一种基于深度学习的磁共振波谱智能量化分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10489943B2 (en) * | 2018-02-28 | 2019-11-26 | General Electric Company | System and method for sparse image reconstruction |
-
2023
- 2023-05-22 CN CN202310576205.3A patent/CN116597037B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113205A1 (zh) * | 2015-12-30 | 2017-07-06 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| CN109993809A (zh) * | 2019-03-18 | 2019-07-09 | 杭州电子科技大学 | 基于残差U-net卷积神经网络的快速磁共振成像方法 |
| CN110378980A (zh) * | 2019-07-16 | 2019-10-25 | 厦门大学 | 一种基于深度学习的多通道磁共振图像重建方法 |
| CN111783631A (zh) * | 2020-06-29 | 2020-10-16 | 厦门大学 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
| CN111870245A (zh) * | 2020-07-02 | 2020-11-03 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| CN112946545A (zh) * | 2021-01-28 | 2021-06-11 | 杭州电子科技大学 | 基于PCU-Net网络的快速多通道磁共振成像方法 |
| CN113129401A (zh) * | 2021-03-22 | 2021-07-16 | 厦门大学 | 一种参数化磁共振成像的图像重建方法 |
| CN113971706A (zh) * | 2021-10-15 | 2022-01-25 | 厦门大学 | 一种快速磁共振智能成像方法 |
| CN114305386A (zh) * | 2021-12-13 | 2022-04-12 | 厦门理工学院 | 一种人工智能多对比度磁共振快速成像方法 |
| CN114333983A (zh) * | 2021-12-24 | 2022-04-12 | 厦门大学 | 一种基于深度学习的磁共振波谱智能量化分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于k空间加速采集的磁共振成像技术;翁卓;谢国喜;刘新;熊承义;郑海荣;邱本胜;;中国生物医学工程学报;20101020(05);第785-792页 * |
| 基于参考图像梯度方向先验的压缩感知磁共振快速成像;朱庆永;彭玺;王珊珊;梁栋;;集成技术;20160515(03);第47-53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597037A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee MRI reconstruction | |
| CN110378980B (zh) | 一种基于深度学习的多通道磁共振图像重建方法 | |
| CN108829639B (zh) | 一种磁共振成像方法和设备 | |
| US10627470B2 (en) | System and method for learning based magnetic resonance fingerprinting | |
| Ravishankar et al. | Adaptive sampling design for compressed sensing MRI | |
| CN112150568A (zh) | 基于Transformer模型的磁共振指纹成像重建方法 | |
| US11346911B2 (en) | Magnetic resonance fingerprinting image reconstruction and tissue parameter estimation | |
| CN109597012B (zh) | 一种基于残差网络的单扫描时空编码成像重建方法 | |
| CN110807492B (zh) | 一种磁共振多参数同时定量成像方法及系统 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN113971706B (zh) | 一种快速磁共振智能成像方法 | |
| Liu et al. | High-performance rapid MR parameter mapping using model-based deep adversarial learning | |
| JP2021010408A (ja) | 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 | |
| CN111870245A (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
| Du et al. | Multiple slice k-space deep learning for magnetic resonance imaging reconstruction | |
| US20230236271A1 (en) | Systems and methods for accelerated magnetic resonance imaging (mri) reconstruction and sampling | |
| CN110942496B (zh) | 基于螺旋桨采样和神经网络的磁共振图像重建方法及系统 | |
| US20220198725A1 (en) | Deep learning systems and methods of removal of truncation artifacts in magnetic resonance images | |
| CN114255291A (zh) | 用于磁共振参数定量成像的重建方法、系统 | |
| CN116597037B (zh) | 一种物理生成数据驱动的快速磁共振智能成像方法 | |
| Islam et al. | Compressed sensing regularized calibrationless parallel magnetic resonance imaging via deep learning | |
| Gan et al. | SS-JIRCS: Self-supervised joint image reconstruction and coil sensitivity calibration in parallel MRI without ground truth | |
| CN116203486A (zh) | 用于mri数据处理的系统和方法 | |
| Levac et al. | Accelerated motion correction with deep generative diffusion models | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |