CN115423894A - 一种基于变分自编码器的磁共振加权图像合成方法和装置 - Google Patents
一种基于变分自编码器的磁共振加权图像合成方法和装置 Download PDFInfo
- Publication number
- CN115423894A CN115423894A CN202211375033.5A CN202211375033A CN115423894A CN 115423894 A CN115423894 A CN 115423894A CN 202211375033 A CN202211375033 A CN 202211375033A CN 115423894 A CN115423894 A CN 115423894A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- weighted image
- encoder
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title claims description 14
- 238000012549 training Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000015572 biosynthetic process Effects 0.000 claims description 30
- 238000003786 synthesis reaction Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 27
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011002 quantification Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000264 spin echo pulse sequence Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于变分自编码器的磁共振加权图像合成方法和装置，包括以下步骤：步骤S1：使用磁共振扫描仪获取多对比度的真实磁共振加权图像及磁共振定量参数图；步骤S2：组成磁共振加权图像；步骤S3：构建具有编码器和解码器结构的预训练变分自编码器模型；步骤S4：得到变分自编码器模型；步骤S5：将所述磁共振加权图像和所述磁共振定量参数图通过所述变分自编码器模型合成第二磁共振加权图像。本发明使用变分自编码器模型，通过多种对比度磁共振加权图像的训练，可以得到一个近似的对比度信息的连续分布，这使得本发明中涉及的变分自编码器模型可以重建得到训练数据中不存在的磁共振加权图像。
Description
技术领域
本发明涉及一种医学图像处理技术领域，尤其涉及一种基于变分自编码器的磁共振加权图像合成方法和装置。
背景技术
磁共振成像（Magnetic Resonance Imaging, MRI）是一种无创并且不含电离辐射的医学成像方法，在科研和临床中都有着广泛运用。
磁共振成像依赖于质子在高场强磁场下的极化作用，使用射频脉冲将质子激发到共振状态后，质子会逐渐恢复到平衡态，上述过程被称为质子的弛豫过程。磁共振信号即为弛豫过程中产生的电磁信号，根据采集序列的参数差异，磁共振信号表现出不同对比度的加权和，包括纵向弛豫参数T1对比度加权，横向弛豫参数T2对比度加权以及质子密度PD对比度加权等。因此磁共振成像可以通过改变采集序列的参数获得不同的对比度加权图像，上述不同对比度加权图像可以反映不同的组织特性。因此在实际临床检查过程中，通常会采集多种不同对比度的磁共振加权图像，上述采集过程导致磁共振检查会消耗大量的时间，带来沉重的医疗资源压力。
近年来得到快速发展的定量磁共振成像方法为解决上述问题提供了新的思路。定量磁共振成像方法采集组织的磁共振定量参数图，采集得到的磁共振定量参数图可以用于描述组织的定量特性。根据磁共振信号公式，通过设定合适的采集参数，利用磁共振定量参数可以合成对应的磁共振信号，原则上可以获得任意对比度的磁共振加权图像。然而通过磁共振信号公式合成的方法得到的磁共振加权图像，由于磁共振定量组织参数的测量存在误差导致合成的磁共振加权图像相比真实采集得到的磁共振加权图像存在一定的局限性。此外，研究显示，经磁共振定量参数图合成得到的T2FLAIR图像无法达到完全的脑脊液抑制效果。
利用深度学习方法有望解决上述公式合成过程中遇到的问题，近年来的研究使用对抗生成网络实现磁共振加权图像的合成。将采集得到的磁共振定量参数图作为生成器的输入，将实际采集得到的磁共振加权图像作为生成器训练过程的标签，配合判别器进行对抗训练，可以实现较好的合成效果。然而上述方法同样存在一定的局限性，利用深度学习方法受限于训练数据中真实采集的磁共振加权图像的对比度，只能合成训练数据中已有对比度的磁共振加权图像，大大限制磁共振定量参数图在合成不同对比度的磁共振加权图像的应用范围。
为此，我们提出一种基于变分自编码器的磁共振加权图像合成方法和装置以解决上述技术问题。
发明内容
本发明为了解决上述技术问题，提供一种基于变分自编码器的磁共振加权图像合成方法和装置。
本发明采用的技术方案如下：
一种基于变分自编码器的磁共振加权图像合成方法，包括以下步骤：
步骤S1：使用磁共振扫描仪获取多对比度的真实磁共振加权图像及磁共振定量参数图；
步骤S2：根据所述磁共振定量参数图中对应的定量值、图像信号合成时假设的重复时间、图像信号合成时假设的回波时间和/或图像信号合成时假设的反转时间合成第一磁共振加权图像，将所述第一磁共振加权图像和所述真实磁共振加权图像组成磁共振加权图像；
步骤S3：构建具有编码器和解码器结构的预训练变分自编码器模型；
步骤S4：利用所述磁共振加权图像和所述磁共振定量参数图构建训练集，并对所述预训练变分自编码器模型进行训练，更新所述预训练变分自编码器模型的参数，得到变分自编码器模型；
步骤S5：将所述磁共振加权图像和所述磁共振定量参数图通过所述变分自编码器模型合成第二磁共振加权图像。
进一步地，所述步骤S1中所述真实磁共振加权图像和所述磁共振定量参数图通过磁共振扫描仪执行预设扫描序列产生。
进一步地，所述磁共振定量参数图由T1定量图、T2定量图和质子密度定量图组成。
进一步地，所述真实磁共振加权图像至少包括以下任意一种：T1加权常规图像、T2加权常规图像、质子密度加权图像、T1加权Flair图像和/或T2加权Flair图像。
进一步地，所述步骤S3具体包括以下子步骤：
步骤S31：利用若干个三维卷积层构建编码器，每个所述三维卷积层后包含编码激活层和池化层；
步骤S32：利用编码层和解码层构建解码器，所述编码层由多个转置卷积层组成，所述解码层由多个卷积层构成，每个所述卷积层后包含解码激活层；
步骤S33：利用全连接层连接所述编码器和所述解码器得到预训练变分自编码器模型。
进一步地，所述步骤S4具体包括以下子步骤：
步骤S41：利用线性配准和非线性配准方法将所述真实磁共振加权图像配准至所述第一磁共振加权图像，得到经过配准的真实磁共振图像；
步骤S42：将所述经过配准的真实磁共振图像、所述第一磁共振加权图像和所述磁共振定量参数图通过线性插值统一分辨率，得到训练集；
步骤S43：将所述经过配准的真实磁共振图像和/或所述第一磁共振加权图像输入所述预训练变分自编码器模型中的编码器，经过卷积后输出假设多元高斯分布的均值和方差，并将所述均值和所述方差经过采样操作，得到表征对比度编码的隐层变量；
步骤S44：将所述编码器通过全连接层与所述预训练变分自编码器模型中的解码器的编码层相连；
步骤S45：将所述隐层变量通过所述编码层中的转置卷积层后，所述隐层变量被恢复到与所述磁共振定量参数图相同尺寸的对比度编码知识矩阵；
步骤S46：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图结合后得到矩阵；
步骤S47：所述矩阵经过所述解码器的解码层输出得到对应对比度的第二磁共振加权图像，根据所述训练集中相应对比度的真实磁共振加权图像计算损失函数；
步骤S48：重复步骤S41-步骤S47，设置预设学习度，根据损失函数进行反向梯度传播，更新所述预训练变分自编码器模型的参数，直至损失函数不再下降，完成训练，得到变分自编码器模型。
进一步地，所述步骤S46中所述结合的方法包括：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图经过若干个三维卷积层后进行拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图相加。
进一步地，所述步骤S47中用于计算损失函数的所述训练集中相应对比度的真实磁共振加权图像与所述步骤S43中所述经过真实磁共振图像和/或所述第一磁共振加权图像的输入具有相同的对比度，并且与所述步骤S46中所述训练集中的磁共振定量参数图的个体为相同个体。
进一步地，所述步骤S4中所述预训练变分自编码器模型的训练损失函数为：
其中，
，
是编码器输出的隐层变量正态分布的均值和方差，
是解码器的输出结果，
是对应对比度的第二磁共振加权图像，i为输入的样本，j为用于提取对比度编码信息的输入样本，n，d分布为计算一次loss时输入的样本量。
本发明还提供一种基于变分自编码器的磁共振加权图像合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例任一项所述的一种基于变分自编码器的磁共振加权图像合成方法。
本发明还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例任一项所述的一种基于变分自编码器的磁共振加权图像合成方法。
本发明的有益效果是：
1、本发明基于磁共振信号公式的磁共振加权图像合成方法，通过设定合适的采集参数，利用磁共振定量参数可以合成对应的磁共振信号。然而通过磁共振信号公式合成的方法得到的磁共振加权图像，由于磁共振定量组织参数的测量存在误差导致合成的磁共振加权图像相比真实采集得到的磁共振加权图像存在一定的局限性。本发明使用深度学习方法生成合成磁共振加权图像，可以利用深度学习模型学习真实采集得到的磁共振加权图像的特征，得到与真实采集得到的磁共振加权图像更为一致的合成磁共振加权图像。
2、目前基于其他深度学习方法受限于训练数据中真实采集的磁共振加权图像的对比度，只能合成训练数据中已有对比度的磁共振加权图像，大大限制磁共振定量参数图在合成不同对比度的磁共振加权图像的应用范围。本发明使用变分自编码器模型，通过多种对比度磁共振加权图像的训练，可以得到一个近似的对比度信息的连续分布，这使得本发明中涉及的变分自编码器模型可以重建得到训练数据中不存在的磁共振加权图像。
3、本发明在条件变分自编码器模型的训练中将编码器输入的磁共振加权图像与作为解码器训练标签的真实磁共振加权图像在个体层面解耦合，进而使变分自编码器模型的编码器学习到与个体无关的对比度信息。上述训练过程中的解耦合可以实现用任意个体的磁共振加权图像提取低维的对比度编码信息，使得在实际应用过程中可以利用单个个体的磁共振加权图像生成大量目标对比度的合成磁共振加权图像。
4、变分自编码器是一类常见的数据生成模型，通过变分自编码器的编码器可以将输入的高维数据映射到一个简单的多元高斯分布。通过在该分布中采样可以得到对应的隐层变量，该变量可以反映输入高维数据的某类低维特征，并且该隐层变量的值符合上述高斯分布。基于变分自编码器的上述特性，可以利用变分自编码器的解码器将对应磁共振加权图像的对比度信息映射到一个多元高斯分布，通过在该分布内采样即可得到相应的隐层变量，该隐层变量反映的是高维的磁共振加权图像的对比度信息。根据该对比度信息，联合个体的磁共振定量参数图，使用变分自编码器的解码器可以实现对应对比度的磁共振加权图像合成重建。由于不同个体相同对比度的磁共振加权图像在低维的对比度信息上是一致的，因此可以使用不同个体的磁共振加权图像作为变分自编码器的输入，进而采样得到对应的对比度信息。通过多种对比度磁共振加权图像的训练，可以得到一个近似的对比度信息的连续分布，这使得变分自编码器模型可以重建得到训练数据中不存在的磁共振加权图像。本发明采用条件变分自编码器模型，将个体的磁共振定量图像作为变分自编码器的条件进而控制变分自编码器准确生成该个体的合成磁共振加权图像。
附图说明
图1为本发明一种基于变分自编码器的磁共振加权图像合成方法的流程图；
图2为实施例使用的条件变分自编码器的模型结构图；
图3为本发明一种基于变分自编码器的磁共振加权图像合成装置的结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，一种基于变分自编码器的磁共振加权图像合成方法，包括以下步骤：
步骤S1：使用磁共振扫描仪获取多对比度的真实磁共振加权图像及磁共振定量参数图；
所述真实磁共振加权图像和所述磁共振定量参数图通过磁共振扫描仪执行预设扫描序列产生；
所述磁共振定量参数图由T1定量图、T2定量图和质子密度定量图组成；
所述真实磁共振加权图像至少包括以下任意一种：T1加权常规图像、T2加权常规图像、质子密度加权图像、T1加权Flair图像和/或T2加权Flair图像。
步骤S2：根据所述磁共振定量参数图中对应的定量值、图像信号合成时假设的重复时间、图像信号合成时假设的回波时间和/或图像信号合成时假设的反转时间合成第一磁共振加权图像，将所述第一磁共振加权图像和所述真实磁共振加权图像组成磁共振加权图像；
步骤S3：构建具有编码器和解码器结构的预训练变分自编码器模型；
步骤S31：利用若干个三维卷积层构建编码器，每个所述三维卷积层后包含编码激活层和池化层；
步骤S32：利用编码层和解码层构建解码器，所述编码层由多个转置卷积层组成，所述解码层由多个卷积层构成，每个所述卷积层后包含解码激活层；
步骤S33：利用全连接层连接所述编码器和所述解码器得到预训练变分自编码器模型。
步骤S4：利用所述磁共振加权图像和所述磁共振定量参数图构建训练集，并对所述预训练变分自编码器模型进行训练，更新所述预训练变分自编码器模型的参数，得到变分自编码器模型；
步骤S41：利用线性配准和非线性配准方法将所述真实磁共振加权图像配准至所述第一磁共振加权图像，得到经过配准的真实磁共振图像；
步骤S42：将所述经过配准的真实磁共振图像、所述第一磁共振加权图像和所述磁共振定量参数图通过线性插值统一分辨率，得到训练集；
步骤S43：将所述经过配准的真实磁共振图像和/或所述第一磁共振加权图像输入所述预训练变分自编码器模型中的编码器，经过卷积后输出假设多元高斯分布的均值和方差，并将所述均值和所述方差经过采样操作，得到表征对比度编码的隐层变量；
步骤S44：将所述编码器通过全连接层与所述预训练变分自编码器模型中的解码器的编码层相连；
步骤S45：将所述隐层变量通过所述编码层中的转置卷积层后，所述隐层变量被恢复到与所述磁共振定量参数图相同尺寸的对比度编码知识矩阵；
步骤S46：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图结合后得到矩阵；
所述结合的方法包括：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图经过若干个三维卷积层后进行拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图相加；
步骤S47：所述矩阵经过所述解码器的解码层输出得到对应对比度的第二磁共振加权图像，根据所述训练集中相应对比度的真实磁共振加权图像计算损失函数；
所述步骤S47中用于计算损失函数的所述训练集中相应对比度的真实磁共振加权图像与所述步骤S43中所述经过真实磁共振图像和/或所述第一磁共振加权图像的输入具有相同的对比度，并且与所述步骤S46中所述训练集中的磁共振定量参数图的个体为相同个体。
步骤S48：重复步骤S41-步骤S47，设置预设学习度，根据损失函数进行反向梯度传播，更新所述预训练变分自编码器模型的参数，直至损失函数不再下降，完成训练，得到变分自编码器模型；
所述预训练变分自编码器模型的训练损失函数为：
其中，
，
是编码器输出的隐层变量正态分布的均值和方差，
是解码器的输出结果，
是对应对比度的第二磁共振加权图像，i为输入的样本，j为用于提取对比度编码信息的输入样本，n，d分布为计算一次loss时输入的样本量。
步骤S5：将所述磁共振加权图像和所述磁共振定量参数图通过所述变分自编码器模型合成第二磁共振加权图像。
参见图2，实施例：一种基于条件变分自编码器的多对比度的磁共振加权图像合成方法，包括以下步骤：
步骤S1：使用磁共振扫描仪获取多对比度的真实磁共振加权图像及磁共振定量参数图；
所述真实磁共振加权图像和所述磁共振定量参数图通过磁共振扫描仪执行预设扫描序列产生；
所述磁共振定量参数图由T1定量图、T2定量图和质子密度定量图组成；
所述真实磁共振加权图像至少包括以下任意一种：T1加权常规图像、T2加权常规图像、质子密度加权图像、T1加权Flair图像和/或T2加权Flair图像。
使用磁共振扫描仪获取磁共振定量参数图和真实磁共振加权图像是通过磁共振扫描仪执行特定扫描序列实现。其中磁共振定量参数图的获取可以采用多种扫描序列，例如采集T1定量图时，可以采用多个反转时间的反转恢复序列，例如MP2RAGE序列，利用采集得到的真实磁共振加权图像中的信号值与采集参数间(反转时间)的对应关系可以从中计算得到对应的T1定量图；采集T2定量图时，可以采用多个回波时间的自旋回波序列，利用采集得到的真实磁共振加权图像中的信号值与采集参数间(回波时间)的对应关系可以从中计算得到对应的T2定量图；也可通过新型的定量磁共振成像序列在单次扫描中获得多种磁共振定量参数图，包括MDME(Multiple Dynamic Multiple Echo)序列和磁共振指纹成像(Magnetic Resonance Fingerprinting，MRF)序列等，通过对应序列特定的重建方法，可以同时得到多种磁共振定量参数图，不再赘述。本实施例中通过磁共振指纹成像MRF序列获得磁共振定量参数图，对于本发明中涉及方法而言，获取磁共振定量参数图的具体方式不影响本发明中涉及方法后续的所有步骤，因此此处仅是本发明的一个具体案例，并不限制本发明在其他实施例中选用其他方法获取磁共振定量参数图。真实磁共振加权图像的获取可以采用特定的扫描序列和扫描参数获得，当选用不同的扫描序列或者设定不同的扫描参数时，可以得到不同对比度的真实磁共振加权图像。该实施例中通过控制重复时间，回波时间和反转时间得到不同对比度的真实磁共振加权图像，为保障后续训练效果并兼顾效率，采集的真实磁共振加权图像对比度的种类数量大于5种。本实施例中获取的磁共振定量参数图和真实磁共振加权图像是同一个体的，且个体数量大于10人次。
步骤S2：根据所述磁共振定量参数图中对应的定量值、图像信号合成时假设的重复时间、图像信号合成时假设的回波时间和/或图像信号合成时假设的反转时间合成第一磁共振加权图像，将所述第一磁共振加权图像和所述真实磁共振加权图像组成磁共振加权图像；
当图像为T1加权常规图像、T2加权常规图像和质子密度加权图像时，合成第一磁共振加权图像公式一如下：
其中，T1，T2和PD分别是T1定量图，T2定量图，质子密度定量图中对应的定量值，TR是图像合成信号时假设的重复时间，TE是图像合成信号时假设的回波时间。选择合适的TR和TE参数，使得其对比度符合T1加权常规图像。
当图像为T1加权Flair图像，T2加权Flair图像等其他含有单个反转脉冲序列的图像时，合成第一磁共振加权图像公式二如下：
其中，T1，T2和PD分别是T1定量图，T2定量图，质子密度定量图中对应的定量值，TR是图像合成信号时假设的重复时间，TE是图像合成信号时假设的回波时间，TI是图像合成信号时假设的反转时间。
步骤S3：构建具有编码器和解码器结构的预训练变分自编码器模型；
步骤S31：利用若干个三维卷积层构建编码器，每个所述三维卷积层后包含编码激活层和池化层；
所述编码激活层的激活函数为“relu”函数，所述池化层的池化函数为最大值池化；
步骤S32：利用编码层和解码层构建解码器，所述编码层由多个转置卷积层组成，所述解码层由多个卷积层构成，每个所述卷积层后包含解码激活层；
所述解码激活层的激活函数为“relu”函数；
步骤S33：利用全连接层连接所述编码器和所述解码器得到预训练变分自编码器模型。
步骤S4：利用所述磁共振加权图像和所述磁共振定量参数图构建训练集，并对所述预训练变分自编码器模型进行训练，更新所述预训练变分自编码器模型的参数，得到变分自编码器模型；
假设高维磁共振加权图像中存在一个低维对比度信息z，并且低维对比度信息可以用一个简单的多元高斯分布近似表达，则有：
其中I代表单位矩阵，因此z是一个服从标准多元高斯分布的多维随机变量。
假设条件变分自编码器模型的编码器符合后验分布
，解码器符合后验分布
，其中X表示高维磁共振加权图像，Y表示磁共振定量参数图，
，
代表假设模型编码器和解码器的参数。基于变分贝叶斯算法，使用
的编码器拟合后验分布
。
为实际模型中的后验分布。
模型训练中最大化
，利用全概率定理展开得到：
所述预训练变分自编码器模型的训练损失函数为：
其中， 
，
是编码器输出的隐层变量正态分布的均值和方差，
是解码器的输出结果，
是对应对比度的第二磁共振加权图像，i为输入的样本，j为用于提取对比度编码信息的输入样本，n，d分布为计算一次loss时输入的样本量。
步骤S41：利用线性配准和非线性配准方法将所述真实磁共振加权图像配准至所述第一磁共振加权图像，得到经过配准的真实磁共振图像；
步骤S42：将所述经过配准的真实磁共振图像、所述第一磁共振加权图像和所述磁共振定量参数图通过线性插值统一分辨率，得到训练集；
步骤S43：将所述经过配准的真实磁共振图像和/或所述第一磁共振加权图像输入所述预训练变分自编码器模型中的编码器，经过卷积后输出假设多元高斯分布的均值和方差，并将所述均值和所述方差经过采样操作，得到表征对比度编码的隐层变量z；
其中采样公式如下：
其中，
，
是编码器输出的隐层变量正态分布的均值和方差，
符合标准正态分布。
使用上述训练集作为模型训练的数据。在模型训练过程中，随机选择某个体，某种对比度的经过配准的真实磁共振图像和/或第一磁共振加权图像作为编码器的输入。
当选用第一磁共振加权图像时，需要对进行预处理后的磁共振定量参数图进行第一磁共振加权图像的合成。特别地，当用于训练过程中编码器的输入时，第一磁共振加权图像的对比度需要与采集得到的真实磁共振加权图像一致，即该第一磁共振加权图像的对比度需要与采集得到的真实磁共振加权图像对比度中的某一种相一致。
步骤S44：将所述编码器通过全连接层与所述预训练变分自编码器模型中的解码器的编码层相连；
步骤S45：将所述隐层变量通过所述编码层中的转置卷积层后，所述隐层变量被恢复到与所述磁共振定量参数图相同尺寸的对比度编码知识矩阵M；
步骤S46：将所述对比度编码知识矩阵M与所述训练集中的所述磁共振定量参数图结合后得到矩阵F；
所述结合的方法包括：将所述对比度编码知识矩阵M与所述训练集中的所述磁共振定量参数图拼接、或将所述对比度编码知识矩阵M与所述训练集中的所述磁共振定量参数图经过若干个三维卷积层后进行拼接、或将所述对比度编码知识矩阵M与所述训练集中的所述磁共振定量参数图相加。
具体地，将对比度编码知识矩阵M与磁共振定量参数图，包括T1定量图，T2定量图和质子密度定量图以矩阵拼接的方式结合后得到矩阵F。
步骤S47：所述矩阵经过所述解码器的解码层输出得到对应对比度的第二磁共振加权图像，根据所述训练集中相应对比度的真实磁共振加权图像计算损失函数；
步骤S48：重复步骤S41-步骤S47，设置预设学习度，根据损失函数进行反向梯度传播，更新所述预训练变分自编码器模型的参数，直至损失函数不再下降，完成训练，得到变分自编码器模型；
基于损失函数对模型进行反向传播，更新模型参数，实施实例中模型训练时使用Adam优化器，并且设置相应的学习率为0.0001。
步骤S5：将所述磁共振加权图像和所述磁共振定量参数图通过所述变分自编码器模型合成第二磁共振加权图像。
加载经过训练后的条件变分自编码器模型，并选择磁共振加权图像和磁共振定量参数图作为编码器的输入。预训练变分自编码器模型训练时使用真实磁共振加权图像和第一磁共振加权图像作为训练数据，因此该步骤中既可以选择真实磁共振权图像作为编码器的输入，也可以选择第一磁共振加权图像作为编码器的输入。此处选择的个体与最终模型输出的第二磁共振加权图像没有关联，因此选择任意一个个体的目标磁共振加权图像。由于模型训练的特性，此处选择的目标磁共振加权图像可以是训练数据集中没有出现过的对比度类型。因此根据实际应用需求，选择不同类型的磁共振加权数据作为输入提取隐层变量，此处以一种没有在训练数据集中出现过的对比度类型的第一磁共振加权图像数据作为模型输入为例。首先构建一种没有在训练数据集中出现过的对比度类型的第一磁共振加权图像数据，选择合适的合成参数，选择磁共振信号合成公式一或磁共振信号合成公式二，合成得到第一磁共振加权图像数据。将合成得到的该数据输入至加载得到的条件变分自编码器模型的编码器中，输出隐层变量后验正态分布的均值和方差，通过采样公式采样得到隐层变量z。
使用训练后的解码器，基于提取的隐层变量和磁共振定量参数图合成对应对比度的第二磁共振加权图像。
加载经过训练后的条件变分自编码器模型。选择提取的隐层变量和某个个体的磁共振定量参数图。此处选择的个体即决定条件变分自编码器模型输出该个体的第二磁共振加权图像。
与前述一种基于条件变分自编码器的多对比度的磁共振加权图像合成方法的实施例相对应，本发明还提供了一种基于条件变分自编码器的多对比度的磁共振加权图像合成装置的实施例。
参见图3，本发明实施例提供的一种基于条件变分自编码器的多对比度的磁共振加权图像合成装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种基于条件变分自编码器的多对比度的磁共振加权图像合成方法。
本发明一种基于条件变分自编码器的多对比度的磁共振加权图像合成装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种基于条件变分自编码器的多对比度的磁共振加权图像合成装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于条件变分自编码器的多对比度的磁共振加权图像合成方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，包括以下步骤：
步骤S1：使用磁共振扫描仪获取多对比度的真实磁共振加权图像及磁共振定量参数图；
步骤S2：根据所述磁共振定量参数图中对应的定量值、图像信号合成时假设的重复时间、图像信号合成时假设的回波时间和/或图像信号合成时假设的反转时间合成第一磁共振加权图像，将所述第一磁共振加权图像和所述真实磁共振加权图像组成磁共振加权图像；
步骤S3：构建具有编码器和解码器结构的预训练变分自编码器模型；
步骤S4：利用所述磁共振加权图像和所述磁共振定量参数图构建训练集，并对所述预训练变分自编码器模型进行训练，更新所述预训练变分自编码器模型的参数，得到变分自编码器模型；
步骤S5：将所述磁共振加权图像和所述磁共振定量参数图通过所述变分自编码器模型合成第二磁共振加权图像。
2.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S1中所述真实磁共振加权图像和所述磁共振定量参数图通过磁共振扫描仪执行预设扫描序列产生。
3.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述磁共振定量参数图由T1定量图、T2定量图和质子密度定量图组成。
4.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述真实磁共振加权图像至少包括以下任意一种：T1加权常规图像、T2加权常规图像、质子密度加权图像、T1加权Flair图像和/或T2加权Flair图像。
5.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S3具体包括以下子步骤：
步骤S31：利用若干个三维卷积层构建编码器，每个所述三维卷积层后包含编码激活层和池化层；
步骤S32：利用编码层和解码层构建解码器，所述编码层由多个转置卷积层组成，所述解码层由多个卷积层构成，每个所述卷积层后包含解码激活层；
步骤S33：利用全连接层连接所述编码器和所述解码器得到预训练变分自编码器模型。
6.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S4具体包括以下子步骤：
步骤S41：利用线性配准和非线性配准方法将所述真实磁共振加权图像配准至所述第一磁共振加权图像，得到经过配准的真实磁共振图像；
步骤S42：将所述经过配准的真实磁共振图像、所述第一磁共振加权图像和所述磁共振定量参数图通过线性插值统一分辨率，得到训练集；
步骤S43：将所述经过配准的真实磁共振图像和/或所述第一磁共振加权图像输入所述预训练变分自编码器模型中的编码器，经过卷积后输出假设多元高斯分布的均值和方差，并将所述均值和所述方差经过采样操作，得到表征对比度编码的隐层变量；
步骤S44：将所述编码器通过全连接层与所述预训练变分自编码器模型中的解码器的编码层相连；
步骤S45：将所述隐层变量通过所述编码层中的转置卷积层后，所述隐层变量被恢复到与所述磁共振定量参数图相同尺寸的对比度编码知识矩阵；
步骤S46：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图结合后得到矩阵；
步骤S47：所述矩阵经过所述解码器的解码层输出得到对应对比度的第二磁共振加权图像，根据所述训练集中相应对比度的真实磁共振加权图像计算损失函数；
步骤S48：重复步骤S41-步骤S47，设置预设学习度，根据损失函数进行反向梯度传播，更新所述预训练变分自编码器模型的参数，直至损失函数不再下降，完成训练，得到变分自编码器模型。
7.如权利要求6所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S46中所述结合的方法包括：将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图经过若干个三维卷积层后进行拼接、或将所述对比度编码知识矩阵与所述训练集中的所述磁共振定量参数图相加。
8.如权利要求6所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S47中用于计算损失函数的所述训练集中相应对比度的真实磁共振加权图像与所述步骤S43中所述经过真实磁共振图像和/或所述第一磁共振加权图像的输入具有相同的对比度，并且与所述步骤S46中所述训练集中的磁共振定量参数图的个体为相同个体。
9.如权利要求1所述的一种基于变分自编码器的磁共振加权图像合成方法，其特征在于，所述步骤S4中所述预训练变分自编码器模型的训练损失函数为：
其中，
，
是编码器输出的隐层变量正态分布的均值和方差，
是解码器的输出结果，
是对应对比度的第二磁共振加权图像，i为输入的样本，j为用于提取对比度编码信息的输入样本，n，d分布为计算一次loss时输入的样本量。
10.一种基于变分自编码器的磁共振加权图像合成装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9中任一项所述的一种基于变分自编码器的磁共振加权图像合成方法。
11.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-9中任一项所述的一种基于变分自编码器的磁共振加权图像合成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211375033.5A CN115423894B (zh) | 2022-11-04 | 2022-11-04 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
| PCT/CN2023/080571 WO2024093083A1 (zh) | 2022-11-04 | 2023-03-09 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
| US18/219,678 US20230358835A1 (en) | 2022-11-04 | 2023-07-09 | Variational autoencoder-based magnetic resonance weighted image synthesis method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211375033.5A CN115423894B (zh) | 2022-11-04 | 2022-11-04 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115423894A true CN115423894A (zh) | 2022-12-02 |
| CN115423894B CN115423894B (zh) | 2023-02-03 |
Family
ID=84208250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211375033.5A Active CN115423894B (zh) | 2022-11-04 | 2022-11-04 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115423894B (zh) |
| WO (1) | WO2024093083A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024093083A1 (zh) * | 2022-11-04 | 2024-05-10 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090871A (zh) * | 2017-12-15 | 2018-05-29 | 厦门大学 | 一种基于卷积神经网络的多对比度磁共振图像重建方法 |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN110309853A (zh) * | 2019-05-20 | 2019-10-08 | 湖南大学 | 基于变分自编码器的医学图像聚类方法 |
| CN111640118A (zh) * | 2019-03-01 | 2020-09-08 | 西门子医疗有限公司 | 使用多参数磁共振成像的肿瘤组织表征 |
| EP3719711A2 (en) * | 2020-07-30 | 2020-10-07 | Institutul Roman De Stiinta Si Tehnologie | Method of detecting anomalous data, machine computing unit, computer program |
| CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
| CN113160138A (zh) * | 2021-03-24 | 2021-07-23 | 山西大学 | 一种脑部核磁共振图像分割方法及系统 |
| CN114255291A (zh) * | 2021-12-08 | 2022-03-29 | 深圳先进技术研究院 | 用于磁共振参数定量成像的重建方法、系统 |
| CN114556410A (zh) * | 2019-09-04 | 2022-05-27 | 牛津大学科技创新有限公司 | 医学图像的增强 |
| CN114601445A (zh) * | 2020-12-09 | 2022-06-10 | 通用电气精准医疗有限责任公司 | 生成磁共振图像的方法和系统、计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11880962B2 (en) * | 2018-02-15 | 2024-01-23 | General Electric Company | System and method for synthesizing magnetic resonance images |
| US10783660B2 (en) * | 2018-02-21 | 2020-09-22 | International Business Machines Corporation | Detecting object pose using autoencoders |
| CN115423894B (zh) * | 2022-11-04 | 2023-02-03 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
-
2022
- 2022-11-04 CN CN202211375033.5A patent/CN115423894B/zh active Active
-
2023
- 2023-03-09 WO PCT/CN2023/080571 patent/WO2024093083A1/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090871A (zh) * | 2017-12-15 | 2018-05-29 | 厦门大学 | 一种基于卷积神经网络的多对比度磁共振图像重建方法 |
| CN111640118A (zh) * | 2019-03-01 | 2020-09-08 | 西门子医疗有限公司 | 使用多参数磁共振成像的肿瘤组织表征 |
| CN110309853A (zh) * | 2019-05-20 | 2019-10-08 | 湖南大学 | 基于变分自编码器的医学图像聚类方法 |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
| CN114556410A (zh) * | 2019-09-04 | 2022-05-27 | 牛津大学科技创新有限公司 | 医学图像的增强 |
| EP3719711A2 (en) * | 2020-07-30 | 2020-10-07 | Institutul Roman De Stiinta Si Tehnologie | Method of detecting anomalous data, machine computing unit, computer program |
| CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
| CN114601445A (zh) * | 2020-12-09 | 2022-06-10 | 通用电气精准医疗有限责任公司 | 生成磁共振图像的方法和系统、计算机可读存储介质 |
| CN113160138A (zh) * | 2021-03-24 | 2021-07-23 | 山西大学 | 一种脑部核磁共振图像分割方法及系统 |
| CN114255291A (zh) * | 2021-12-08 | 2022-03-29 | 深圳先进技术研究院 | 用于磁共振参数定量成像的重建方法、系统 |
Non-Patent Citations (2)
| Title |
|---|
| LINCHEN QIAN; JIASONG CHEN; TIMUR URAKOV; WEIYONG GU等: ""CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with Application to Disk Shape Analysis from Lumbar Spine MRI Images"", 《2020 19TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS (ICMLA)》 * |
| 刘相顺: ""基于去噪自编码先验的多对比度磁共振图像去噪及重建研究"", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024093083A1 (zh) * | 2022-11-04 | 2024-05-10 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115423894B (zh) | 2023-02-03 |
| WO2024093083A1 (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tezcan et al. | MR image reconstruction using deep density priors | |
| US10753997B2 (en) | Image standardization using generative adversarial networks | |
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee MRI reconstruction | |
| Cole et al. | Unsupervised MRI reconstruction with generative adversarial networks | |
| US20190046068A1 (en) | Protocol independent image processing with adversarial networks | |
| Lee et al. | Deep learning in MR image processing | |
| Narnhofer et al. | Inverse GANs for accelerated MRI reconstruction | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| Lv et al. | Which GAN? A comparative study of generative adversarial network-based fast MRI reconstruction | |
| CN113160138B (zh) | 一种脑部核磁共振图像分割方法及系统 | |
| Fan et al. | A segmentation-aware deep fusion network for compressed sensing mri | |
| CN110827369B (zh) | 欠采样模型生成方法、图像重建方法、设备和存储介质 | |
| CN115423894B (zh) | 一种基于变分自编码器的磁共振加权图像合成方法和装置 | |
| US20230194640A1 (en) | Systems and methods of deep learning for large-scale dynamic magnetic resonance image reconstruction | |
| Oh et al. | A k‐space‐to‐image reconstruction network for MRI using recurrent neural network | |
| CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
| Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge | |
| US20230358835A1 (en) | Variational autoencoder-based magnetic resonance weighted image synthesis method and device | |
| Bian et al. | Diffusion Modeling with Domain-conditioned Prior Guidance for Accelerated MRI and qMRI Reconstruction | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| CN114255291A (zh) | 用于磁共振参数定量成像的重建方法、系统 | |
| CN112184845B (zh) | 弥散加权图像重建模型的生成方法及装置 | |
| Ke et al. | CRDN: cascaded residual dense networks for dynamic MR imaging with edge-enhanced loss constraint | |
| Golbabaee et al. | Compressive MRI quantification using convex spatiotemporal priors and deep auto-encoders | |
| Heckel et al. | Deep learning for accelerated and robust MRI reconstruction: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |