CN113436128B - 一种双鉴别器多模态mr图像融合方法、系统及终端 - Google Patents
一种双鉴别器多模态mr图像融合方法、系统及终端 Download PDFInfo
- Publication number
- CN113436128B CN113436128B CN202110837765.0A CN202110837765A CN113436128B CN 113436128 B CN113436128 B CN 113436128B CN 202110837765 A CN202110837765 A CN 202110837765A CN 113436128 B CN113436128 B CN 113436128B
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- fusion
- generator
- dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 31
- 230000004927 fusion Effects 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 93
- 230000008569 process Effects 0.000 claims abstract description 34
- 230000009977 dual effect Effects 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 18
- 230000008602 contraction Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 4
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 11
- 230000000717 retained effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002679 ablation Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009026 tissue transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种双鉴别器多模态MR图像融合方法、系统及终端，采用双鉴别器分别对融合图像和MR‑T1图像,融合图像和MR‑T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR‑T1和MR‑T2的特征；采用U‑Net结构代替普通的卷积神经网络结构作为生成器；基于U‑Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来。能够保证医学图像中一些微小的细节信息得以保留,对于医生的临床诊断和治疗是极其有帮助的。采用基于生成对抗思想的GAN网络来对生成器进行训练。在本发明的GAN中,设置了双鉴别器分别对两种模态的源图像和融合图像进行分类,以保证两种模态源图像中的信息都可以在最大程度上得以保留。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种双鉴别器多模态MR图像融合方法、系统及终端。
背景技术
随着传感器和计算机技术的发展,医学成像技术在疾病的诊断和治疗等多种临床应用中发挥着越来越重要的作用。通过不同的成像方式获取不同模态的医学图像,可以向医生提供不同组织形态的临床信息。例如,电子计算机断层扫描(CT)图像主要反映骨骼或植入物等致密结构的信息；核磁共振(MR)图像侧重于提供器官组织的纹理细节、解剖信息和组织病变信息；PET和SPECT侧重于提供血流和代谢变化等功能性信息。MR图像又包括MR-T1与MR-T2图像,其中MR-T1图像主要反映器官或组织的解剖信息；MR-T2图像对出血比较敏感,有利于观察病变,且伪影相对较少。由于每种成像方式都有其自身的特点和实用局限性,当前无法将成像方式进行有机的融合发挥出更高一层的作用，当前也无法将成像方式进行互补，弱化了医生的决策作用。
发明内容
本发明提供一种双鉴别器多模态MR图像融合方法，通过图像融合将不同模态医学图像中的互补信息结合起来并将融合图像进行可视化,从而帮助医生更容易,更好的进行各种目的的决策。
方法采用双鉴别器分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征；
采用U-Net结构代替普通的卷积神经网络结构作为生成器；基于U-Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来。
进一步的讲，以灰度形式读取MR-T1图像与MR-T2图像,将源图像在通道维度进行拼接后输入U-Net生成器网络,U-Net生成器网络将输入数据映射为与源图像大小一致的融合图像；
融合图像与MR-T1图像分别输入到鉴别器D1,融合图像与MR-T2图像分别输入到鉴别器D2,以此来对鉴别器进行训练使得鉴别器能对源图像和生成图像进行准确的分类；
同时将鉴别器的分类结果反馈给生成器指导生成器进行参数优化。
进一步的讲，U-Net生成器网络采用四层结构的收缩路径方式和拓展路径方式；
其中，收缩路径方式中,每层在进行下采样之前都经过两次卷积操作,卷积前后feature map大小一致,通道数变为原来的二倍，提取图像中不同的特征；
收缩路径过程中，经过三次下采样,每次下采样feature map的大小变为原来的一半,通道数不变；
在拓展路径方式中,采用反卷积进行上采样,之后与收缩路径中的同级层进行跨层连接,连接时采用对应元素相加的策略,在不降低训练效果的情况下减少计算量。
进一步的讲，U-Net生成器网络训练过程中，采用随机梯度下降对生成器网络的参数进行更新调整；
U-Net生成器网络的损失函数由对抗损失和内容损失两部分组成:
LG＝Lcon(G)+λLcontent (9)
其中,Lcon(G)表示生成器和鉴别器之间的对抗损失,λ代表内容损失Lcontent在整体损失中所占的比重,λ取经验值0.5；对抗损失Lcon(G)定义为:
Lcon(G)包含生成器与鉴别器D1的损失和生成器与鉴别器D2的损失。
表示第n幅融合图像,N表示融合图像的数量；
内容损失Lcontent定义为:
其中H和W分别代表输入图像的长和宽,||·||F表示矩阵的F范数,
代表梯度算子；α、β、γ是3个超参数,用来控制等式(8)中三部分所占的比重,最终取α＝15.0、β＝5.0、γ＝7.0。
进一步的讲，方法中，鉴别器与生成器形成对抗关系,鉴别器D1和鉴别器D2采用相同的结构；
鉴别器网络每个卷积层中卷积核的移动步数均设置为2；在最后一层中,采用tanh激活函数生成预测标签用来估计输入图像来自于源图像而非生成图像的概率；
鉴别器的损失函数定义如下:
进一步的讲，方法中，采用最小二乘损失函数作为鉴别器的损失函数。
采用多源同步策略,使鉴别器在对源图像和融合图像进行分类时，使用相同的网络结构和参数,将图像特征映射到相同的特征域中,使得鉴别器对同种特征的特征图进行分类。
本发明还提供一种双鉴别器多模态MR图像融合系统，包括：双鉴别器和生成器；双鉴别器用于分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征；生成器采用U-Net结构；生成器基于U-Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来。
鉴别器与生成器形成对抗关系,鉴别器D1和鉴别器D2采用相同的结构；鉴别器网络每个卷积层中卷积核的移动步数均设置为2。
本发明还提供一种实现双鉴别器多模态MR图像融合方法的终端，包括：存储器，用于存储计算机程序及双鉴别器多模态MR图像融合方法；处理器，用于执行所述计算机程序及双鉴别器多模态MR图像融合方法，以实现双鉴别器多模态MR图像融合方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明以灰度形式读取MR-T1图像与MR-T2图像,将源图像在通道维度进行拼接后输入U-Net生成器网络,生成器将输入数据映射为与源图像大小一致的融合图像,然后融合图像与MR-T1图像分别输入到鉴别器D1,融合图像与MR-T2图像分别输入到鉴别器D2,以此来对鉴别器进行训练使得鉴别器能对源图像和生成图像进行准确的分类。同时将鉴别器的分类结果反馈给生成器指导生成器进行参数优化,以提高生成图像的质量。
本发明的提出了跨层连接的策略。跨层连接起到了补充信息的作用,当从抽象特征中已经大致恢复了图像的部分区域信息时再加上原始特征的修正,最终就可以有效减少图像信息的丢失,提高对图像的处理效果。跨层连接能够促使模型降低对新数据的敏感度,提高泛化能力。还能够保证医学图像中一些微小的细节信息得以保留,对医生的临床诊断和治疗提供了有效的帮助。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为GAN训练过程图；
图2为双鉴别器多模态MR图像融合方法实施例示意图；
图3为数据集图像示意图；
图4为两组脑部MR图像融合结果对比示意图；
图5为消融实验图像融合结果对比示意图；
图6为双鉴别器多模态MR图像融合系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
作为本发明来讲，本发明是基于多模态医学图像融合技术通过将不同模态医学图像的特征进行融合,以达到特征互补从而辅助医生更好地诊断和治疗疾病的目的。多模态医学图像融合技术在许多临床应用中发挥着极其重要的作用,但目前已有的大多数医学图像融合算法都存在融合图像中部分有用信息丢失和细节不清晰等问题。为此本发明提出一种端到端的双鉴别器网络模型用于融合MR-T1/MR-T2两种不同模态的医学图像。模型采用双鉴别器以确保融合图像中模态1与模态2源图像中的信息都可以得到充分的保留,避免融合图像过度融合某一模态的特征而忽略另一种模态的特征。特别的,在训练鉴别器的过程中,采用多源同步策略将源图像与生成图像映射到相同的特征空间进行分类,以更好地估计源图像与融合图像分布的相似度。另外,为了避免在下采样和上采样过程中源图像的结构、细节等信息丢失,生成器利用U-Net网络跨层连接结构将图像的底层特征适时补充到更高的隐藏层中。基于Harvard公开数据集,将本发明方法与另外4种图像融合深度学习方法进行了比较,并进行了3组消融实验来证明该方法的优势,5种客观评价指标结果显示,本发明所提出的方法在保留细节、对比度和清晰度以及不同模态图像信息的保留程度等方面都有较好的表现。
也基于双鉴别器多模态MR图像融合方法及系统中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
基于双鉴别器多模态MR图像融合方法及系统的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
基于双鉴别器多模态MR图像融合方法及系统中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
此外，基于双鉴别器多模态MR图像融合方法及系统所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
本发明提出了一种双鉴别器多模态MR图像融合方法，方法基于生成对抗网络(GAN)的基本框架。生成过程中生成器采用U-Net网络模型对原始图像进行编码-解码以生成融合图像。对抗过程采用两个鉴别器分别计算融合图像与两种不同模态源图像的特征相似程度。
鉴别器采用多源同步策略,通过共享结构及参数将融合图像与源图像映射到同一个特征空间中来判断融合图像与源图像的匹配程度。通过对抗过程可以使源图像的特征和信息在融合图像中最大程度上得以保留。
具体来讲，本发明采用双鉴别器分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征，从而避免造成某一模态图像的信息在视觉效果上的损失。
采用U-Net结构代替普通的卷积神经网络结构作为生成器；由于普通的卷积神经网络结构在特征映射的过程中必不可免的会造成特征域的改变,这必然就会导致某些特征的丢失,而U-Net具有独特的跨层连接结构,可以在上采样重构图像的过程中将同级底层特征保留下来,这样就能够从很大程度上减少源图像的信息丢失。
对于本发明来讲，生成对抗网络(GAN)是一种基于生成对抗的博弈思想的网络模型。GAN由生成器网络和鉴别器网络两部分组成,训练过程采用“零和博弈”的策略。在训练过程中,生成器和鉴别器作为博弈的双方,生成器不断提高自己拟合数据的能力去欺骗鉴别器,而鉴别器则尽力去鉴别生成器传送过来的拟合数据。当两者达到纳什均衡时GAN模型收敛,此时GAN网络的目标函数取得最优解:
其中x表示真实的数据分布,z表示经生成器网络生成的数据分布,
与
分别代表真实数据与生成数据分布的期望,D(·)表示鉴别器将数据判断为真的概率。当固定生成器对鉴别器进行训练时,需要优化的目标函数为:
也就是鉴别器要尽量把真实数据判断为1,尽量把生成数据判断为0,最终需要将鉴别器的目标函数优化到最大值。当固定鉴别器对生成器进行训练时,需要优化的目标函数为:
也就是生成器生成的数据要尽可能的被鉴别器判断为1,最终将生成器的目标函数优化到最小值。图1使用相应的梯度来训练生成器和鉴别器的过程。
如图1所示,当节点A与节点C连通时,模型进入鉴别器的训练过程,此时只对鉴别器的参数进行更新,生成器的参数不发生改变。同理,当节点B与节点C连通时,进入生成器的训练过程,只更新生成器的参数不更新鉴别器的参数。其中回传梯度gradient1可表示为：
gradient2有两种表达形式,分别是：
m表示图像的数量,x表示源图像,z表示生成图像,式(5)与式(6)等价。
对于当前的GAN在图像生成领域需要改善生成图像的质量；提高训练过程的稳定性。可以通过使用卷积代替池化操作,在网络中加入Batch Normalization对数据进行归一化并修改鉴别器网络中的激活函数来提高GAN训练的稳定性。由于原始的GAN中鉴别器网络采用的是sigmoid交叉熵损失函数,训练过程中可能会引起梯度消失问题。为了解决这个问题，训练鉴别器网络采用的是最小二乘损失函数,函数定义如下:
对于本发明的U-Net网络模型来讲，U-Net网络模型最早是用来完成医学图像分割任务的,由于U-Net网络自身的结构特点和优势,在医学图像处理领域发挥着越来越重要的作用。U-Net网络模型主要具有两大特点:独特的U型结构、跨层连接(skip connection)的策略。其U型结构包括一个捕获上下发明信息的收缩路径和一个允许精确定位的对称拓展路径。对于图像融合任务,收缩路径主要通过卷积和下采样提取图像的特征,对图像的特征信息进行编码,其中图像的底层特征比较偏向于反映组成图像的基本单元,如点、线、边缘轮廓等,而高层特征就更加的抽象,更近似于表示图像的语义信息。拓展路径根据编码过程中产生的图像特征进行上采样实现解码重构以获取目标图像。
无论是在编码还是解码过程中,图像的特征空间不可避免的会发生变化,这就必然会导致信息的丢失。而医学图像是人体某一固定器官的成像,图像的语义较为简单、结构较为固定,所以高级语义信息和低级特征就都显得十分重要,这就要求在对医学图像进行处理的过程中要尽可能地减少信息丢失。为了解决这一问题,U-Net提出了跨层连接的策略。跨层连接起到了补充信息的作用,当从抽象特征中已经大致恢复了图像的部分区域信息时再加上原始特征的修正,最终就可以有效减少图像信息的丢失,提高对图像的处理效果。除此之外,这种跨层连接能够促使模型降低对新数据的敏感度,提高泛化能力。
在此问题上，本发明为了得到细节丰富,纹理清晰的融合图像,本发明基于端到端的双鉴别器网络模型，实现融合MR-T1/MR-T2两种不同模态的医学图像。本发明的网络结构如图2所示,首先以灰度形式读取MR-T1图像与MR-T2图像,将源图像在通道维度进行拼接后输入U-Net生成器网络,生成器将输入数据映射为与源图像大小一致的融合图像,然后融合图像与MR-T1图像分别输入到鉴别器D1,融合图像与MR-T2图像分别输入到鉴别器D2,以此来对鉴别器进行训练使得鉴别器能对源图像和生成图像进行准确的分类。同时将鉴别器的分类结果反馈给生成器指导生成器进行参数优化,以提高生成图像的质量。
本发明涉及的U-Net生成器网络中，U-Net生成器网络的收缩路径与拓展路径均采用四层结构。收缩路径中,每层在进行下采样之前都会经过两次卷积操作,卷积前后feature map大小一致,通道数变为原来的二倍,以此来提取图像中更多不同特征。收缩路径中一共会经过三次下采样,每次下采样feature map的大小变为原来的一半,通道数不变。下采样的次数越多feature map的感受野就越大,提取的特征就越抽象,所包含的语义信息就越丰富。在扩展路径中,采用反卷积进行上采样,之后与收缩路径中的同级层进行跨层连接,连接时采用对应元素相加的策略,在不降低训练效果的情况下减少计算量,提高训练模型的效率。网络参数如表1所示:
表1生成器网络所用参数
训练过程中采用随机梯度下降对生成器网络的参数进行更新调整。生成器的损失函数由对抗损失和内容损失两部分组成:
LG＝Lcon(G)+λLcontent (9)
其中,Lcon(G)表示生成器和鉴别器之间的对抗损失,λ代表内容损失Lcontent在整体损失中所占的比重,本发明中λ取经验值0.5。对抗损失Lcon(G)定义为:
Lcon(G)包含生成器与鉴别器D1的损失和生成器与鉴别器D2的损失。
表示第n幅融合图像,N表示融合图像的数量。
内容损失Lcontent定义为:
其中H和W分别代表输入图像的长和宽,||·||F表示矩阵的F范数,
代表梯度算子。内容损失的目的是使融合图像中尽量保留MR-T1图像中的边缘细节信息和MR-T2图像中的像素信息。α、β、γ是3个超参数,用来控制等式(8)中三部分所占的比重,最终取α＝15.0、β＝5.0、γ＝7.0。
对于本发明涉及的鉴别器主要负责与生成器形成对抗关系,本发明采用普通的分类网络作为鉴别器,并且鉴别器D1和鉴别器D2采用相同的结构,网络结构如图2所示。鉴别器网络每个卷积层中卷积核的移动步数均设置为2。在最后一层中,采用tanh激活函数生成预测标签用来估计输入图像来自于源图像而非生成图像的概率。
作为本发明来讲,根据等式(11)可知在没有鉴别器的情况下也可以得到融合图像,而且融合图像中可以保留MR-T1图像的纹理细节信息和MR-T2图像的像素信息。但这依然是不够的,因为仅仅使用梯度不足以表达图像中的全部纹理信息,本发明将会进行实验证明这一点。因此需要增加鉴别器与生成器之间的对抗关系促使融合图像中保留更多的细节信息。鉴别器的损失函数定义如下:
由于最小化最小二乘损失函数等价于最小化Pearsonχ2散度,本发明采用最小二乘损失函数作为鉴别器的损失函数,从而增加训练过程的稳定性并且加快鉴别器损失函数的收敛速度。
同时本发明方法采用多源同步策略,使鉴别器在对源图像和融合图像进行分类时使用相同的网络结构和参数,将图像特征映射到相同的特征域中,最终使得鉴别器对同种特征的特征图进行分类。
对于本发明提供的双鉴别器多模态MR图像融合方法流程及其实现的效果，本发明通过具体验证其效果。
具体来讲实验中所用到的数据集取自于公开数据集Harvard dataset,共包含377对已配准的MR-T1/MR-T2图像。如图3所示,数据集图像大小均为256pt×256pt,包含脑部经轴图、矢状图、冠状图。在临床疾病的诊断与治疗中,MR-T1图像主要提供成像器官的解剖信息,MR-T2图像则有利于观察器官病变。
为了验证本发明方法的性能,选取Semantic-based method、FusionGAN、Zero-learnin-fast-fusion、PMGI 4种方法进行对比实验。
(1)Semantic-based方法通过两次编码-解码操作将两幅源图像融合之后又分解为两幅图像,通过计算源图像与分解后的两幅图像之间的损失来指导网络中参数的优化更新。也就是说,该方法将图像融合这一无监督学习任务变成了有监督学习任务。
(2)FusionGAN方法原本用于融合红外与可见光两种模态的图像,红外与可见光的融合图像中主要需要保留红外图像的像素能量信息与可见光图像的纹理梯度信息,这与MR-T1/MR-T2融合任务的目标基本一致,因此可用于MR-T1/MR-T2的融合。该方法主要采用GAN网络,其中生成器利用CNN进行下采样提取特征,另外设置了一个鉴别器重点保留可见光图像中的相关信息。
(3)Zero-learnin-fast-fusion是一种利用预训练神经网络从多模态源中生成包含特征的单一图像的实时图像融合方法。该方法基于卷积神经网络提取的深度特征图对图像进行融合。通过将这些特征映射进行比较,可生成驱动多模态图像融合过程的融合权重。
(4)PMGI方法将网络划分为梯度路径与像素强度路径,分别进行相应的特征提取。在提取特征的过程中梯度和强度信息通过路径传递块进行传递,实现两条路径之间的信息通信,最终使用连接和卷积的策略来融合从两个路径提取的特征。
此外，本发明还进行了3组消融实验,分别是:(1)单纯的GAN(Only GAN)网络,将本发明所提方法中的生成器换为普通的CNN实现的编码-解码网络,依旧采用双鉴别器结构来保证MR-T1/MR-T2的信息可以得到同等程度的保留；(2)单纯的U-Net(Only U-Net)：使用与本发明所提方法生成器结构相同的4层U-Net网络,去掉鉴别器结构；(3)将等式(11)中的β值设为0,仅保留MR-T1图像中的梯度信息,MR-T1图像中的其他信息不作保留。
本发明采用5个评价指标(结构相似性、熵、空间频率、标准化互信息、相关系数)来客观评估所提方法和对比方法的性能。这5个评价指标将融合图像的质量与信息内容保存的不同方面相关联,是与人类视觉感知基本一致的融合图像客观质量评价指标,目前被大多数图像融合任务所使用。
结构相似性(structural similarity index measure,SSIM),从图像的亮度、对比度、结构三方面来衡量源图像和融合图像的相似性,定义如下:
SSIM＝SSIMa,f+SSIMb,f (15)
其中,SSIMx,f表示源图像x和融合图像f的结构相似性,μx和μf分别表示源图像与融合图像的平均值,σx和σf分别表示源图像与融合图像的标准差,σxf表示源图像与融合图像的标准协方差,C1、C2、C3表示3个常数,避免分母为0时导致系统错误。SSIMa,f与SSIMb,f分别表示MR-T1图像和MR-T2图像与融合图像的结构相似性。SSIM的值越大表示融合效果越好。
熵(entropy,EN),用于衡量融合图像中所包含信息量的多少。定义如下：
L表示灰度级水平,在本发明实验中L＝256,pl表示融合图像中相应灰度级的归一化直方图。熵值越大表示融合图像中所包含的信息越多,融合效果越好。
空间频率(spatial frequency,SF),用于衡量图像的梯度分布,定义如下:
其中RF指的是空间行频率,定义为:
CF表示空间列频率,定义为：
SF越大表示融合图像中包含的细节和纹理信息越丰富,融合效果越好。
标准化互信息(Normalized Mutual Information,NMI),用于衡量源图像与融合图像在灰度分布上的相似度,定义如下:
NMI＝MI(f,a)+MI(f,b) (20)
MI(f,a)与MI(f,b)分别表示融合图像f与源图像a和源图像b之间的互信息:
其中P表示联合概率密度函数。
相关系数(correlation coefficient,CC),用于衡量源图像与融合图像之间的线性相关程度,定义如下:
其中
表示源图像X的平均值。相关系数越大代表融合图像与源图像的相似度越高,融合效果越好。
基于上述分析，为了证明本发明方法对于多模态医学图像融合任务来说具有比较好的效果,本发明选取了Semantic-based method、FusionGAN、Zero-learnin-fast-fusion、PMGI 4种方法进行融合结果的对比。融合结果如图4所示,融合结果的客观评价指标如表2所示。
Semantic-based融合方法经过了2次编码-解码操作,在下采样与上采样过程中很容易造成因特征域改变导致的某些细小特征丢失。根据图4可以看出,与本发明方法产生的融合图像相比,Semantic-based方法的结果中不同组织过渡区域的一些细小特征大量丢失。例如图4的描框区域中的组织信息在视觉效果上表现为细节粗糙,不具有参考价值。根据表2也可以看出,在Semantic方法的融合图像中,与MR-T2图像相关的结构信息丢失严重,源图像与融合图像之间的线性相关程度较低。由熵(EN)值可以看出,Semantic方法产生的融合图像信息丰富程度远远不如本发明所提出的融合方法。
与本发明方法相比,FusionGAN方法产生的结果主要表现为与MR-T2相关的功能及语义信息丢失严重,根据图4可以看出MR-T2图像中间高像素部分代表的内囊组织信息在FusionGAN产生的融合图像中基本上没有得到体现。由于该方法中仅使用了一个鉴别器保留MR-T1中的纹理信息,就容易造成MR-T2图像特征在融合图像中的弱表现性。表2中的客观评价指标也说明了该方法融合图像对MR-T2图像信息的保留程度远远小于对MR-T1图像信息的保留程度,两者之间的结构相似性、互信息以及线性相关性指标严重失衡。
Zero-learning方法产生的融合图像很好的保留了源图像的结构信息,但在主观视觉效果上对MR-T2图像信息的融合度较差,与FusionGAN的结果类似MR-T2中的高亮度信息只得到了很少的保留,这就会导致融合图像的主观视觉感受较差。表2中的客观评价指标与主观评价基本一致,MR-T2与融合图像的互信息和线性相关性指标远远低于MR-T1与融合图像的指标。
PMGI方法将网络分成两条路径分别提取源图像的梯度信息与像素信息,然后再将提取到的信息进行融合。该方法产生的结果与本发明方法的融合结果相比,视觉效果上整体表现为亮度更高,某些特征表现的更加突出。但是就客观评价指标而言,融合图像与MR-T1的结构相似性、互信息、相关性相对较低,而且该方法产生的融合图像的空间频率值也相对较低,说明融合图像中与MR-T1相关的梯度及纹理信息等保留不够充分。相比之下,本发明方法的融合图像使得MR-T1图像中的纹理细节信息以及MR-T2图像中的内容语义信息均得到同等程度的保留,无论是根据主观感受还是客观评价指标,都具有较好的融合效果。
消融实验的结果如图5所示,融合结果的客观评价指标如表3所示。在Olny GAN方法中,将本发明所提融合方法中的生成器换成普通的CNN网络。在结果图中可以看出,该方法侧重于保留源图像的整体信息,对细节信息的保留度较差,因此融合图像整体比较模糊,对比度较低,纹理细节信息丢失较为严重。根据表3的客观评价指标,两种模态源图像的结构信息在融合图像中均没有得到充分保留。另外由于融合图像纹理信息缺失导致空间频率(SF)偏低。在Only U-Net方法中,使用单纯的U-Net网络对MR-T1/MR-T2图像进行融合。在结果图中可以看出,融合效果较Only GAN有很大的提升,融合图像对比度提高,但相较于本发明方法的结果依旧存在纹理细节信息丢失的问题。从表3中也可以看出,融合图像与MR-T1的结构相似度、互信息和相关性指标明显要比融合图像与MR-T2的指标差。当β＝0,即内容损失函数中仅包含MR-T1的梯度信息与MR-T2的像素信息,不包含MR-T1的任何像素信息时,融合图像比较模糊且对比度降低。通过表3也可以看出,融合结果中有关MR-T1的信息丢失较为严重。经过多次实验,本发明方法中β最终取值为0.5。对比之下,本发明提出的方法既可以最大程度上保留MR-T2的功能和语义信息,又可以尽量不丢失MR-T1的纹理细节性信息,融合效果相对较好。
表2对比实验融合图像客观评价指标
表3消融实验融合图像客观评价指标
基于上述方法本发明还提供了一种双鉴别器多模态MR图像融合系统，如图6所示，包括：双鉴别器和生成器1；
双鉴别器也就是鉴别器D1和鉴别器D2，用于分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征；生成器1采用U-Net结构；生成器基于U-Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来。
鉴别器与生成器形成对抗关系,鉴别器D1和鉴别器D2采用相同的结构；鉴别器网络每个卷积层中卷积核的移动步数均设置为2。
本发明提出的端到端的双鉴别器网络模型用于融合MR-T1/MR-T2两种不同模态的医学图像。在模型的训练过程中,将MR-T1与MR-T2图像在通道维度进行拼接之后输入到基于U-Net的生成器中,源图像在经过生成器的编码-解码过程之后生成融合图像。由于U-Net本身具有跨层连接的结构特点,底层的细节信息可以直接补充到上采样的同级隐藏层中,这样能够保证医学图像中一些微小的细节信息得以保留,对于医生的临床诊断和治疗是极其有帮助的。在多模态医学图像融合任务中,缺少标签数据来指导深度网络的学习,对此本发明方法采用基于生成对抗思想的GAN网络来对生成器进行训练。在本发明的GAN中,设置了双鉴别器分别对两种模态的源图像和融合图像进行分类,以保证两种模态源图像中的信息都可以在最大程度上得以保留。实验证明本发明方法产生的融合图像包含了MR-T1图像中的纹理细节以及MR-T2图像中的内容语义,且内容较为丰富,细节较为清晰,无论是在主观评价还是在客观评价上都取得了不错的效果。
本发明还涉及一种实现双鉴别器多模态MR图像融合方法的终端，包括：存储器，用于存储计算机程序及双鉴别器多模态MR图像融合方法；处理器，用于执行所述计算机程序及双鉴别器多模态MR图像融合方法，以实现双鉴别器多模态MR图像融合方法的步骤。
终端可以以各种形式来实施。例如，本发明实施例中描述的终端可以包括诸如笔记本电脑、平板电脑(PAD)、台式计算机等等的终端。
双鉴别器多模态MR图像融合方法和系统是结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种双鉴别器多模态MR图像融合方法，其特征在于，方法包括：
采用双鉴别器分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征；
采用U-Net结构代替普通的卷积神经网络结构作为生成器；基于U-Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来；
U-Net生成器网络采用四层结构的收缩路径方式和拓展路径方式；
其中，收缩路径方式中,每层在进行下采样之前都经过两次卷积操作,卷积前后feature map大小一致,通道数变为原来的二倍，提取图像中不同的特征；
收缩路径过程中，经过三次下采样,每次下采样feature map的大小变为原来的一半,通道数不变；
在拓展路径方式中,采用反卷积进行上采样,之后与收缩路径中的同级层进行跨层连接,连接时采用对应元素相加的策略,在不降低训练效果的情况下减少计算量；
U-Net生成器网络训练过程中，采用随机梯度下降对生成器网络的参数进行更新调整；
U-Net生成器网络的损失函数由对抗损失和内容损失两部分组成:
LG＝Lcon(G)+λLcontent (9)
其中,Lcon(G)表示生成器和鉴别器之间的对抗损失,λ代表内容损失Lcontent在整体损失中所占的比重,λ取经验值0.5；对抗损失Lcon(G)定义为:
Lcon(G)包含生成器与鉴别器D1的损失和生成器与鉴别器D2的损失；
表示第n幅融合图像,N表示融合图像的数量；
内容损失Lcontent定义为:
其中H和W分别代表输入图像的长和宽,|| ||F表示矩阵的F范数,
代表梯度算子；α、β、γ是3个超参数，取α＝15.0、β＝5.0、γ＝7.0；
方法中，鉴别器与生成器形成对抗关系,鉴别器D1和鉴别器D2采用相同的结构；
鉴别器网络每个卷积层中卷积核的移动步数均设置为2；在最后一层中,采用tanh激活函数生成预测标签用来估计输入图像来自于源图像而非生成图像的概率；
鉴别器的损失函数定义如下:
2.根据权利要求1所述的双鉴别器多模态MR图像融合方法，其特征在于，
以灰度形式读取MR-T1图像与MR-T2图像,将源图像在通道维度进行拼接后输入U-Net生成器网络,U-Net生成器网络将输入数据映射为与源图像大小一致的融合图像；
融合图像与MR-T1图像分别输入到鉴别器D1,融合图像与MR-T2图像分别输入到鉴别器D2,以此来对鉴别器进行训练使得鉴别器能对源图像和生成图像进行准确的分类；
同时将鉴别器的分类结果反馈给生成器指导生成器进行参数优化。
3.根据权利要求1所述的双鉴别器多模态MR图像融合方法，其特征在于，
方法中，采用最小二乘损失函数作为鉴别器的损失函数。
4.根据权利要求1所述的双鉴别器多模态MR图像融合方法，其特征在于，
方法中，采用多源同步策略,使鉴别器在对源图像和融合图像进行分类时，使用相同的网络结构和参数,将图像特征映射到相同的特征域中,使得鉴别器对同种特征的特征图进行分类。
5.一种双鉴别器多模态MR图像融合系统，其特征在于，系统采用如权利要求1至4任意一项所述的双鉴别器多模态MR图像融合方法；
系统包括：双鉴别器和生成器；
双鉴别器用于分别对融合图像和MR-T1图像,融合图像和MR-T2图像进行特征提取及分类,以确保融合图像在相同程度上保留MR-T1和MR-T2的特征；
生成器采用U-Net结构；生成器基于U-Net的跨层连接结构,在上采样重构图像的过程中将同级底层特征保留下来。
6.根据权利要求5所述的双鉴别器多模态MR图像融合系统，其特征在于，
鉴别器与生成器形成对抗关系,鉴别器D1和鉴别器D2采用相同的结构；
鉴别器网络每个卷积层中卷积核的移动步数均设置为2。
7.一种实现双鉴别器多模态MR图像融合方法的终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至4任意一项所述双鉴别器多模态MR图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110837765.0A CN113436128B (zh) | 2021-07-23 | 2021-07-23 | 一种双鉴别器多模态mr图像融合方法、系统及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110837765.0A CN113436128B (zh) | 2021-07-23 | 2021-07-23 | 一种双鉴别器多模态mr图像融合方法、系统及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436128A CN113436128A (zh) | 2021-09-24 |
| CN113436128B true CN113436128B (zh) | 2022-12-06 |
Family
ID=77761753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110837765.0A Active CN113436128B (zh) | 2021-07-23 | 2021-07-23 | 一种双鉴别器多模态mr图像融合方法、系统及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436128B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342444B (zh) * | 2023-02-14 | 2024-07-26 | 山东财经大学 | 一种双通道多模态图像融合方法及电子设备 |
| CN116383747A (zh) * | 2023-04-06 | 2023-07-04 | 中国科学院空间应用工程与技术中心 | 基于多时间尺度深度卷积生成对抗网络的异常检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084863B (zh) * | 2019-04-25 | 2020-12-25 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN111260594B (zh) * | 2019-12-22 | 2023-10-31 | 天津大学 | 一种无监督的多模态图像融合方法 |
-
2021
- 2021-07-23 CN CN202110837765.0A patent/CN113436128B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436128A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199550B (zh) | 图像分割网络的训练方法、分割方法、装置和存储介质 | |
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN109614991A (zh) | 一种基于Attention的多尺度扩张性心肌的分割分类方法 | |
| CN113436128B (zh) | 一种双鉴别器多模态mr图像融合方法、系统及终端 | |
| Yu et al. | Sample-adaptive GANs: linking global and local mappings for cross-modality MR image synthesis | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| WO2024001140A1 (zh) | 一种椎体亚区域分割方法、装置及存储介质 | |
| CN112258456B (zh) | 一种基于卷积神经网络监督的三维图像分割方法 | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| CN114049334B (zh) | 一种以ct图像为输入的超分辨率mr成像方法 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| Battula et al. | Medical Image Data Classification Using Deep Learning Based Hybrid Model with CNN and Encoder. | |
| Zhang et al. | Medical image fusion based a densely connected convolutional networks | |
| CN116630272A (zh) | 基于病理学解耦的脑出血伪健康图像生成方法 | |
| CN116739988A (zh) | 一种基于多难度课程学习的深度学习脑出血分类方法 | |
| CN112750097B (zh) | 基于多cnn组合和模糊神经网络的多模态医学图像融合 | |
| CN116205930A (zh) | 一种基于多层ct影像的颅内出血区域自动分割方法 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| Wang et al. | Vision Transformer-based Classification Study of Intracranial Hemorrhage | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN114066863B (zh) | 脑室区域分割模型训练、确定模板图像的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |