CN111105472B - Pet图像的衰减校正方法、装置、计算机设备和存储介质 - Google Patents
Pet图像的衰减校正方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111105472B CN111105472B CN201911172215.0A CN201911172215A CN111105472B CN 111105472 B CN111105472 B CN 111105472B CN 201911172215 A CN201911172215 A CN 201911172215A CN 111105472 B CN111105472 B CN 111105472B
- Authority
- CN
- China
- Prior art keywords
- image
- pet
- attenuation correction
- model
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000002591 computed tomography Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 6
- 210000001519 tissue Anatomy 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000002247 constant time method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
Abstract
本申请涉及一种PET图像的衰减校正方法、装置、计算机设备和存储介质。该方法包括:获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。该方法提高了PET衰减校正图像处理的效率及提高了得到的PET图像的准确度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种PET图像的衰减校正方法、装置、计算机设备和存储介质。
背景技术
近年来,随着医学技术的不断发展,采用多种检测技术融合的方式对人体进行检测已进入临床应用,例如,对软组织检测使用正电子发射型计算机断层显像(PositronEmission Computed Tomography,PET)与核磁共振(Magnetic Resonance,MR)结合的系统,该系统对软组织成像敏感且无辐射危害,是目前医疗设备研发的热点。MR反映的是物质弛豫时间和质子密度分布,PET反映的是定量分析示踪剂在体内的代谢过程,然而PET成像过程中γ射线会发生一定程度的衰减,导致图像出现偏差,因此需要进行PET衰减校正。
目前,PET/MR系统中PET图像的衰减校正常用的方法有:地图集法、组织分割法、发射数据重建法、透射扫描法等,而由于MR图像和PET图像的衰减校正之间无映射关系,因此利用上述方法实现PET图像的衰减校正需要增加额外的硬件支持或者复杂的计算过程,其实现效率和准确度较低。
发明内容
基于此,有必要针对传统技术中PET图像的衰减校正效率和准确率较低的问题,提供一种PET图像的衰减校正方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种PET图像的衰减校正方法,包括:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;
将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
第二方面,本申请实施例提供一种PET图像的衰减校正装置,包括:
获取模块,用于获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
生成模块,用于将MR图像输入图像生成模型中,生成伪电子计算机断层扫描CT图像;
衰减校正模块,用于将伪CT图像和PET图像输入衰减校正模型中,得到衰减校正的PET图像。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;
将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;
将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
上述PET图像的衰减校正方法、装置、计算机设备和存储介质,能够获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。该方法中,使用训练收敛的网络模型分别对MR图像和PET图像进行处理得到衰减校正的PET图像,不需要额外的硬件支持及复杂的计算过程,提高了图像处理的效率;且先使用MR图像生成伪CT图像,借鉴CT图像与PET图像之间的对应关系对PET图像进行衰减校正,进而提高了得到的PET图像的准确度。
附图说明
图1为一个实施例提供的PET图像的衰减校正方法的流程示意图;
图2为另一个实施例提供的PET图像的衰减校正方法的流程示意图;
图3为又一个实施例提供的PET图像的衰减校正方法的流程示意图;
图4为又一个实施例提供的PET图像的衰减校正方法的流程示意图;
图5为一个实施例提供的PET图像的衰减校正装置的结构示意图;
图6为一个实施例提供的计算机设备的内部结构示意图。
具体实施方式
本申请实施例提供的PET图像的衰减校正方法,可以适用于对PET/MR一体机获得的PET图像的衰减校正过程。PET/MR一体机在发展过程中克服了多种困难,如在探测器电子学与强磁场、强梯度场和射频场的兼容问题,PET技术是现代医学影像技术的重要组成部分,定量分析示踪剂在人体内的代谢过程是其成像的一个重要优势,但对PET图像精确性影响最为严重的一个因素为成像过程中的射线衰减。因此PET图像的衰减校正是成像过程中必不可少的步骤,然而目前PET/MR一体机中MR图像反映的是物质弛豫时间和质子密度分布,与组织电子密度或衰减强度无关,无法直接得到物体的衰减系数分布,需要通过特殊的方式产生组织或物质对射线的衰减系数,其实现效率和准确度较低。本实施例提供的PET图像的衰减校正方法、装置、计算机设备和存储介质,旨在解决上述技术问题。
为了使本申请的目的、技术方案及优点更加清楚明白,通过下述实施例并结合附图,对本申请实施例中的技术方案进行进一步的详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,下述方法实施例的执行主体可以是PET图像的衰减校正装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。该计算机设备可以是单独的计算设备,也可以集成与PET/MR一体机中,下述方法实施例以执行主体为计算机设备为例进行说明。
图1为一个实施例提供的PET图像的衰减校正方法的流程示意图。本实施例涉及的是计算机设备根据获取的MR图像以及PET图像,对PET图像进行衰减校正的具体过程。如图1所示,该方法包括:
S101,获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像。
具体的,对PET图像进行衰减校正时所使用的参考图像需与该PET图像具有相同的扫描区域,因此本实施例中的MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像。其中,该MR图像和PET图像可以为由PET/MR一体机同时采集的医学图像,也可以由单独的PET设备和MR设备分别对同一扫描区域采集的医学图像。通常,医疗设备采集到医学图像后可以将其存储至影像归档和通信系统(Picture Archiving and CommunicationSystems,PACS)中,那么计算机设备可以从PACS系统中获取成对的MR和PET图像。
S102,将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像。
具体的,计算机设备将上述MR图像输入预设的图像生成模型,可以生成伪CT图像,由于该CT图像是由MR图像通过一定的转换关系变换而来,并不是真正的CT图像,因此我们将它称为伪CT图像。其中,图像生成模型可以从MR图像中提取图像特征,该图像特征可以为MR图像的像素值性质或组织结构性质,然后根据像素值性质或组织结构性质转换为对应的CT值,由CT值可生成对应的伪CT图像。
其中,图像生成模型可以为神经网络模型,也可以为其他机器学习模型,包括但不限于2D、2.5D或3D网络模型。可选的,图像生成模型可以为U-Net模型或V-Net等,本实施例对此不做限制。另外,图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练得到的,CT样本图像作为金标准图像,计算机设备计算图像生成模型输出的伪CT图像和CT样本图像之间的损失,使用该损失对图像生成模型进行训练,得到收敛的网络模型。
S103,将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
具体的,计算机设备将上述得到的伪CT图像和获取的PET图像输入预设的衰减校正模型,可以得到衰减校正的PET图像。其中,衰减校正模型可根据CT图像获取组织器官与物质发生作用而衰减的衰减系数,然后沿着PET数据采集的响应线对衰减系数做正投影,即可获得PET发射数据的衰减矫正因子,完成PET图像的衰减矫正。
其中,衰减校正模型可以为神经网络模型,也可以为其他机器学习模型,包括但不限于2D、2.5D或3D网络模型。可选的,衰减校正模型可以为U-Net模型或V-Net等,本实施例对此不做限制。另外,衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练得到的,该PET样本图像包括衰减校正前的样本图像和衰减校正后的样本图像,衰减校正后的PET样本图像可以作为金标准图像;计算机设备计算衰减校正模型输出的衰减校正的PET图像和金标准图像之间的损失,使用该损失对衰减校正模型进行训练,得到收敛的网络模型。
可选的,上述MR图像和PET图像在输入对应的网络模型之前,计算机设备还可以对其进行图像预处理,如图像非均匀校正、直方图匹配以及灰度归一化等,以降低在图像采集过程中带来的图像噪声。
相比较传统技术中的地图集法、组织分割法、发射数据重建法和透射扫描法,地图集法在对患者进行PET/MR扫描时,通过将MR模版与MR图像进行配准,并将配准所用的变换矩阵作用于CT模版,得到伪CT图像后进行PET衰减校正;此方法计算处理过程较复杂,且会因个体之间解剖结构的差异影响校正结果。组织分割法是将MR扫描的图像进行分割为不同的组织结构,再将各个类别的组织结构赋予511kevγ光子下对应的衰减系数;此方法需要开发不同的序列来分割组织,其性能受到序列和分割算法的约束,且开发不同的序列过程也较复杂。发射数据重建法是在PET发射的数据中同时包含有组织的衰减信息,且MR能提供清晰的组织结构和对一体机飞行时间进行定位,从而准确获得衰减图;但此方法技术难度大,算法复杂。透射扫描法需在PET/MR设备中放入外置的旋转均匀的放射性核素源,利用一体机飞行时间实现图像采集同时获得发射图像和透射图像;此方法需要增加额外的硬件支持,空间限制较多。
本实施例提供的PET图像的衰减校正方法,计算机设备首先获取同一扫描区域对应的MR图像和PET图像,然后将MR图像输入图像生成模型,生成伪CT图像,再将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。该方法中,使用训练收敛的网络模型分别对MR图像和PET图像进行处理得到衰减校正的PET图像,不需要额外的硬件支持及复杂的计算过程,提高了图像处理的效率;且先使用MR图像生成伪CT图像,借鉴CT图像与PET图像之间的对应关系对PET图像进行衰减校正,进而提高了得到的PET图像的准确度。
图2为另一个实施例提供的PET图像的衰减校正方法的流程示意图。本实施例涉及的是计算机设备对图像生成模型进行训练的具体过程,其中,图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练所得到的。在上述实施例的基础上,可选的,如图2所示,上述方法还包括:
S201,将MR样本图像和CT样本图像输入预设的配准网络,得到配准后的CT图像。
其中,医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换,使它与另外一幅医学图像或者多幅图像上的对应点达到空间上的一致。这种一致是建立两幅图像中相同解剖结构的匹配对应关系。通常配准算法的策略是,假定两幅待配准的图像分别为M和F,定义一个目标函数(也称能量函数)E=E(M,T(F)),其中T代表对图像F作空间变换,一般认为E值的大小代表了图像的配准程度,对于特定的配准任务,图像M和F是确定的,因此E是空间变换T的函数,即E=E(T)。上述配准网络通过该配准思想可以将CT样本图像配准到MR样本图像的图像空间上,得到配准后的CT图像,作为初始图像生成模型训练过程中的金标准图像。
可选的,上述配准网络可以为现有的配准工具,也可以为其他图像配准算法,本实施例对此不做限制。
S202,将MR样本图像输入初始图像生成模型,生成初始伪CT图像。
具体的,初始图像生成模型可以为新搭建的网络模型,其对MR样本图像的处理过程可以参见上述实施例的描述。因初始网络模型的精度还不高,生成的伪CT图像准确率也较低,因此我们称为初始伪CT图像。
S203,计算初始伪CT图像和配准后的CT图像之间的第一损失,根据第一损失对初始图像生成模型进行训练;当第一损失满足预设条件时,初始图像生成模型训练完成,得到图像生成模型。
具体的,计算机设备可以计算上述初始伪CT图像和配准后的CT图像之间的第一损失,可选的,可以采用交叉熵损失函数或其他类型的损失函数计算该第一损失。然后,根据第一损失对初始图像生成模型进行训练,可选的,计算机设备可以采用反向梯度传播方式根据第一损失调整初始图像生成模型的网络参数,以对初始图像生成模型进行更新。接下来使用更新后的初始图像生成模型返回执行S202的步骤,直至得到的第一损失满足预设条件为止,表征初始图像生成模型训练网络,得到收敛的图像生成模型。可选的,第一损失满足预设条件可以为第一损失小于或者等于预设阈值,也可以为第一损失达到收敛。
本实施例提供的PET图像的衰减校正方法,计算机设备使用MR样本图像和CT样本图像对初始图像生成模型进行训练,得到收敛的图像生成模型。通过不断训练可以得到精度较高的图像生成模型,以提高得到的伪CT图像的精度,进而提高得到的PET图像的准确度;且相比较传统的MR图像配准生成CT图像的过程,降低了计算复杂度,提高了生成伪CT的效率。
图3为又一个实施例提供的PET图像的衰减校正方法的流程示意图。本实施例涉及的是计算机设备对衰减校正模型进行训练的具体过程,其中,衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练所得到的。在上述实施例的基础上,可选的,如图3所示,上述方法还包括:
S301,通过预设的图像处理算法使用CT样本图像对PET样本图像进行衰减校正,得到标准PET图像。
具体的,计算机设备通过图像处理算法使用CT样本图像对PET样本图像进行衰减校正,可选的,图像处理算法可以为比例缩放法、分割法、双值组合法、双线性法或者双能CT法。使用CT样本图像对PET样本图像进行衰减校正,可以得到标准PET图像,该标准PET图像作为初始衰减校正模型训练过程中的金标准图像。需要说明的是,上述图像处理算法计算过程较复杂,因此将衰减校正模型训练完成后,可直接使用衰减校正模型生成衰减校正的PET图像,不必再进行复杂的计算过程,提高了衰减校正过程的效率。
S302,将CT样本图像和PET样本图像输入初始衰减校正模型,得到初始衰减校正的PET图像。
具体的,初始衰减校正模型可以为新搭建的网络模型,其根据CT样本图像对PET样本图像进行衰减校正的处理过程可以参见上述实施例的描述。因初始网络模型的精度还不高,进行衰减校正的准确率也较低,因此我们称为初始衰减校正的PET图像。
可选的,为扩充衰减校正模型的训练数据量,除了使用对同一扫描区域的CT样本图像和PET样本图像进行训练之外,还可以加入PET样本图像和由同一扫描区域的MR样本图像生成的伪CT图像进行训练。由此扩大训练数据量,可提高训练得到的衰减校正模型的精度。
S303,计算初始衰减校正的PET图像和标准PET图像之间的第二损失,根据第二损失对初始衰减校正模型进行训练;当第二损失满足预设条件时,初始衰减校正模型训练完成,得到衰减校正模型。
具体的,计算机设备可以计算上述初始衰减校正的PET图像和标准PET图像之间的第二损失,可选的,可以采用交叉熵损失函数或其他类型的损失函数计算该第二损失。然后,根据第二损失对初始衰减校正模型进行训练,可选的,计算机设备可以采用反向梯度传播方式根据第二损失调整初始衰减校正模型的网络参数,以对初始衰减校正模型进行更新。接下来使用更新后的初始衰减校正模型返回执行S302的步骤,直至得到的第二损失满足预设条件为止,表征初始衰减校正模型训练网络,得到收敛的衰减校正模型。可选的,第二损失满足预设条件可以为第二损失小于或者等于预设阈值,也可以为第二损失达到收敛。
本实施例提供的PET图像的衰减校正方法,计算机设备使用CT样本图像和PET样本图像对初始衰减校正模型进行训练,得到收敛的衰减校正模型。通过不断训练及扩大训练数据量,可以得到精度较高的衰减校正模型,以提高得到的衰减校正的PET图像的准确度。
图4为又一个实施例提供的PET图像的衰减校正方法的流程示意图。本实施例涉及的是计算机设备对图像生成模型和衰减校正模型进行优化更新的具体过程。在上述实施例的基础上,可选的,上述方法还包括:
S401,将MR样本图像输入图像生成模型,生成参考伪CT图像。
S402,通过图像处理算法使用参考伪CT图像对PET样本图像进行衰减校正,得到第一PET图像。
S403,将参考伪CT图像和PET样本图像输入衰减校正模型,得到第二PET图像。
S404,计算第一PET图像和第二PET图像之间的第三损失,根据第三损失对图像生成模型和衰减校正模型进行更新;当第三损失满足预设条件时,图像生成模型和衰减校正模型更新完成。
具体的,在上述实施例中图像生成模型和衰减校正模型单独训练完成之后,计算机设备还可以对图像生成模型和衰减校正模型进行联调。即将MR样本图像输入图像生成模型,生成参考伪CT图像,然后通过上述图像处理算法使用该参考伪CT图像对PET样本图像进行衰减校正,得到第一PET图像,将第一PET图像作为联调过程的金标准图像。计算机设备再将上述参考伪CT图像和PET样本图像输入衰减校正模型中,得到衰减校正的第二PET图像,并计算第一PET图像与第二PET图像之间的第三损失。根据第三损失调整图像生成模型和衰减校正模型的网络参数,以对图像生成模型和衰减校正模型进行更新,直至得到的第三损失满足预设条件为止。其中,生成参考伪CT图像、第一PET图像和第二PET图像的具体过程可以参见上述实施例的描述,在此不再赘述。
本实施例提供的PET图像的衰减校正方法,计算机设备通过MR样本图像和PET样本图像对图像生成模型和衰减校正模型进行更新优化,进一步提高图像生成模型和衰减校正模型的精度,进而提高得到的衰减校正的PET图像的准确度;且使用第三损失一个损失对两个网络模型进行联调,减少损失的计算量,提高了网络模型更新的效率。
可选的,在其中一些实施例中,上述将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像,包括:将伪CT图像输入衰减校正模型,得到衰减系数图;根据衰减系数图对PET图像进行衰减校正。其中,CT图像为X线在组织中的衰减系数图像,将伪CT图像输入衰减校正模型,可以得到伪CT图像中各组织器官的衰减系数,进而得到对应的衰减系数图,然后根据衰减系数图中各组织器官的衰减系数对PET图像进行衰减校正。
可选的,在其中一些实施例中,上述将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像,包括:将MR图像输入图像生成模型,得到MR图像的组织参数图;使用图像生成模型对组织参数图进行处理,得到MR图像对应的CT值;根据CT值生成伪CT图像。其中,MR图像的组织参数图可以包括质子密度图、纵向弛豫时间图和横向弛豫时间图中的至少一个,图像生成模型对MR图像进行图像分析,可以得到其对应的组织参数图;然后根据组织参数与CT值的对应关系,可以生成MR图像对应的CT值,并根据CT值生成伪CT图像。
本实施例提供的PET图像的衰减校正方法,计算机设备将MR图像输入图像生成模型,生成伪CT图像,再将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。不需要额外的硬件支持及复杂的计算过程,提高了图像处理的效率;且先使用MR图像生成伪CT图像,借鉴CT图像与PET图像之间的对应关系对PET图像进行衰减校正,进而提高了得到的PET图像的准确度。
应该理解的是,虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例提供的PET图像的衰减校正装置的结构示意图。如图5所示,该装置包括:获取模块11、生成模块12和衰减校正模块13。
具体的,获取模块11,用于获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像。
生成模块12,用于将MR图像输入图像生成模型中,生成伪电子计算机断层扫描CT图像。
衰减校正模块13,用于将伪CT图像和PET图像输入衰减校正模型中,得到衰减校正的PET图像。
本实施例提供的PET图像的衰减校正装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练所得到的;上述装置还包括训练模块,用于将MR样本图像和CT样本图像输入预设的配准网络,得到配准后的CT图像;将MR样本图像输入初始图像生成模型,生成初始伪CT图像;计算初始伪CT图像和配准后的CT图像之间的第一损失,根据第一损失对图像生成模型进行训练;当第一损失满足预设条件时,初始图像生成模型训练完成,得到图像生成模型。
在其中一个实施例中,衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练所得到的;上述训练模块,还用于通过预设的图像处理算法使用CT样本图像对PET样本图像进行衰减校正,得到标准PET图像;将CT样本图像和PET样本图像输入初始衰减校正模型,得到初始衰减校正的PET图像;计算初始衰减校正的PET图像和标准PET图像之间的第二损失,根据第二损失对初始衰减校正模型进行训练;当第二损失满足预设条件时,初始衰减校正模型训练完成,得到衰减校正模型。
在其中一个实施例中,上述训练模块,还用于将MR样本图像输入图像生成模型,生成参考伪CT图像;通过图像处理算法使用参考伪CT图像对PET样本图像进行衰减校正,得到第一PET图像;将参考伪CT图像和PET样本图像输入衰减校正模型,得到第二PET图像;根据第一PET图像和第二PET图像之间的第三损失,根据第三损失对图像生成模型和衰减校正模型进行更新;当第三损失满足预设条件时,图像生成模型和衰减校正模型更新完成。
在其中一个实施例中,上述衰减校正模块13,具体用于将伪CT图像输入衰减校正模型,得到衰减系数图;根据衰减系数图对PET图像进行衰减校正。
在其中一个实施例中,上述生成模块12,具体用于将MR图像输入图像生成模型,得到MR图像的组织参数图;使用图像生成模型对组织参数图进行处理,得到MR图像对应的CT值;根据CT值生成伪CT图像。
在其中一个实施例中,图像生成模型和衰减校正模型为神经网络模型。
关于PET图像的衰减校正装置的具体限定可以参见上文中对于PET图像的衰减校正方法的限定,在此不再赘述。上述PET图像的衰减校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种PET图像的衰减校正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;
将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
本实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练所得到的;处理器执行计算机程序时还实现以下步骤:
将MR样本图像和CT样本图像输入预设的配准网络,得到配准后的CT图像;
将MR样本图像输入初始图像生成模型,生成初始伪CT图像;
计算初始伪CT图像和配准后的CT图像之间的第一损失,根据第一损失对初始图像生成模型进行训练;当第一损失满足预设条件时,初始图像生成模型训练完成,得到图像生成模型。
在一个实施例中,衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练所得到的;处理器执行计算机程序时还实现以下步骤:
通过预设的图像处理算法使用CT样本图像对PET样本图像进行衰减校正,得到标准PET图像;
将CT样本图像和PET样本图像输入初始衰减校正模型,得到初始衰减校正的PET图像;
计算初始衰减校正的PET图像和标准PET图像之间的第二损失,根据第二损失对初始衰减校正模型进行训练;当第二损失满足预设条件时,初始衰减校正模型训练完成,得到衰减校正模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将MR样本图像输入图像生成模型,生成参考伪CT图像;
通过图像处理算法使用参考伪CT图像对PET样本图像进行衰减校正,得到第一PET图像;
将参考伪CT图像和PET样本图像输入衰减校正模型,得到第二PET图像;
计算第一PET图像和第二PET图像之间的第三损失,根据第三损失对图像生成模型和衰减校正模型进行更新;当第三损失满足预设条件时,图像生成模型和衰减校正模型更新完成。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将伪CT图像输入衰减校正模型,得到衰减系数图;
根据衰减系数图对PET图像进行衰减校正。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将MR图像输入图像生成模型,得到MR图像的组织参数图;
使用图像生成模型对组织参数图进行处理,得到MR图像对应的CT值;
根据CT值生成伪CT图像。
在一个实施例中,图像生成模型和衰减校正模型为神经网络模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,MR图像与PET图像为对同一扫描区域进行扫描得到的医学图像;
将MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;
将伪CT图像和PET图像输入衰减校正模型,得到衰减校正的PET图像。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练所得到的;计算机程序被处理器执行时还实现以下步骤:
将MR样本图像和CT样本图像输入预设的配准网络,得到配准后的CT图像;
将MR样本图像输入初始图像生成模型,生成初始伪CT图像;
计算初始伪CT图像和配准后的CT图像之间的第一损失,根据第一损失对初始图像生成模型进行训练;当第一损失满足预设条件时,初始图像生成模型训练完成,得到图像生成模型。
在一个实施例中,衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练所得到的;计算机程序被处理器执行时还实现以下步骤:
通过预设的图像处理算法使用CT样本图像对PET样本图像进行衰减校正,得到标准PET图像;
将CT样本图像和PET样本图像输入初始衰减校正模型,得到初始衰减校正的PET图像;
计算初始衰减校正的PET图像和标准PET图像之间的第二损失,根据第二损失对初始衰减校正模型进行训练;当第二损失满足预设条件时,初始衰减校正模型训练完成,得到衰减校正模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将MR样本图像输入图像生成模型,生成参考伪CT图像;
通过图像处理算法使用参考伪CT图像对PET样本图像进行衰减校正,得到第一PET图像;
将参考伪CT图像和PET样本图像输入衰减校正模型,得到第二PET图像;
计算第一PET图像和第二PET图像之间的第三损失,根据第三损失对图像生成模型和衰减校正模型进行更新;当第三损失满足预设条件时,图像生成模型和衰减校正模型更新完成。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将伪CT图像输入衰减校正模型,得到衰减系数图;
根据衰减系数图对PET图像进行衰减校正。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将MR图像输入图像生成模型,得到MR图像的组织参数图;
使用图像生成模型对组织参数图进行处理,得到MR图像对应的CT值;
根据CT值生成伪CT图像。
在一个实施例中,图像生成模型和衰减校正模型为神经网络模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种PET图像的衰减校正方法,其特征在于,包括:
获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,所述MR图像与所述PET图像为对同一扫描区域进行扫描得到的医学图像;
将所述MR图像输入图像生成模型,生成伪电子计算机断层扫描CT图像;其中,所述图像生成模型用于提取所述MR图像的图像特征,并将所述图像特征转换为CT值,根据所述CT值生成伪CT图像;所述图像特征包括所述MR图像的像素值性质或组织结构性质;
将所述伪CT图像和所述PET图像输入衰减校正模型,得到衰减校正的PET图像。
2.根据权利要求1所述的方法,其特征在于,所述图像生成模型为根据同一扫描区域的MR样本图像和CT样本图像进行训练所得到的;所述图像生成模型的训练方式包括:
将所述MR样本图像和所述CT样本图像输入预设的配准网络,得到配准后的CT图像;
将所述MR样本图像输入初始图像生成模型,生成初始伪CT图像;
计算所述初始伪CT图像和所述配准后的CT图像之间的第一损失,根据所述第一损失对所述初始图像生成模型进行训练;当所述第一损失满足预设条件时,所述初始图像生成模型训练完成,得到所述图像生成模型。
3.根据权利要求2所述的方法,其特征在于,所述衰减校正模型为根据同一扫描区域的CT样本图像和PET样本图像进行训练所得到的;所述衰减校正模型的训练方式包括:
通过预设的图像处理算法使用所述CT样本图像对所述PET样本图像进行衰减校正,得到标准PET图像;
将所述CT样本图像和所述PET样本图像输入初始衰减校正模型,得到初始衰减校正的PET图像;
计算所述初始衰减校正的PET图像和所述标准PET图像之间的第二损失,根据所述第二损失对所述初始衰减校正模型进行训练;当所述第二损失满足预设条件时,所述初始衰减校正模型训练完成,得到所述衰减校正模型。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
将所述MR样本图像输入所述图像生成模型,生成参考伪CT图像;
通过所述图像处理算法使用所述参考伪CT图像对所述PET样本图像进行衰减校正,得到第一PET图像;
将所述参考伪CT图像和所述PET样本图像输入所述衰减校正模型,得到第二PET图像;
计算所述第一PET图像和所述第二PET图像之间的第三损失,根据所述第三损失对所述图像生成模型和所述衰减校正模型进行更新;当所述第三损失满足预设条件时,所述图像生成模型和所述衰减校正模型更新完成。
5.根据权利要求1所述的方法,其特征在于,将所述伪CT图像和所述PET图像输入预设的衰减校正模型,得到衰减校正的PET图像,包括:
将所述伪CT图像输入所述衰减校正模型,得到衰减系数图;
根据所述衰减系数图对所述PET图像进行衰减校正。
6.根据权利要求1所述的方法,其特征在于,将所述MR图像输入预设的图像生成模型,生成伪电子计算机断层扫描CT图像,包括:
将所述MR图像输入所述图像生成模型,得到所述MR图像的组织参数图;
使用所述图像生成模型对所述组织参数图进行处理,得到所述MR图像对应的CT值;
根据所述CT值生成所述伪CT图像。
7.根据权利要求1所述的方法,其特征在于,所述图像生成模型和所述衰减校正模型为神经网络模型。
8.一种PET图像的衰减校正装置,其特征在于,包括:
获取模块,用于获取核磁共振扫描MR图像以及正电子发射型计算机断层扫描PET图像,所述MR图像与所述PET图像为对同一扫描区域进行扫描得到的医学图像;
生成模块,用于将所述MR图像输入图像生成模型中,生成伪电子计算机断层扫描CT图像;其中,所述图像生成模型用于提取所述MR图像的图像特征,并将所述图像特征转换为CT值,根据所述CT值生成伪CT图像;所述图像特征包括所述MR图像的像素值性质或组织结构性质;
衰减校正模块,用于将所述伪CT图像和所述PET图像输入衰减校正模型中,得到衰减校正的PET图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911172215.0A CN111105472B (zh) | 2019-11-26 | 2019-11-26 | Pet图像的衰减校正方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911172215.0A CN111105472B (zh) | 2019-11-26 | 2019-11-26 | Pet图像的衰减校正方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111105472A CN111105472A (zh) | 2020-05-05 |
CN111105472B true CN111105472B (zh) | 2024-03-22 |
Family
ID=70420825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911172215.0A Active CN111105472B (zh) | 2019-11-26 | 2019-11-26 | Pet图像的衰减校正方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111105472B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767511B (zh) * | 2021-01-28 | 2024-06-25 | 沈阳智核医疗科技有限公司 | Pet图像的获取方法及装置 |
CN114358285A (zh) * | 2022-01-11 | 2022-04-15 | 浙江大学 | 一种基于流模型的pet系统衰减校正方法 |
EP4273569A1 (en) | 2022-05-04 | 2023-11-08 | Siemens Healthcare GmbH | Method for generating a subject-specific map of a tissue property |
CN116502701B (zh) * | 2023-06-29 | 2023-10-20 | 合肥锐世数字科技有限公司 | 衰减校正方法和装置、训练方法和装置、成像方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108074270A (zh) * | 2016-11-11 | 2018-05-25 | 上海东软医疗科技有限公司 | 一种pet衰减校正方法和装置 |
CN108351396A (zh) * | 2015-11-02 | 2018-07-31 | 皇家飞利浦有限公司 | 用于组织分类的方法、计算机程序产品和磁共振成像系统 |
CN109685796A (zh) * | 2018-12-26 | 2019-04-26 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、设备和存储介质 |
CN110133553A (zh) * | 2019-05-10 | 2019-08-16 | 浙江大学 | 一种超短回波时间磁共振指纹弛豫时间测量方法 |
CN110151210A (zh) * | 2019-05-21 | 2019-08-23 | 上海联影医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读介质 |
CN110234400A (zh) * | 2016-09-06 | 2019-09-13 | 医科达有限公司 | 用于生成合成医学图像的神经网络 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2019
- 2019-11-26 CN CN201911172215.0A patent/CN111105472B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108351396A (zh) * | 2015-11-02 | 2018-07-31 | 皇家飞利浦有限公司 | 用于组织分类的方法、计算机程序产品和磁共振成像系统 |
CN110234400A (zh) * | 2016-09-06 | 2019-09-13 | 医科达有限公司 | 用于生成合成医学图像的神经网络 |
CN108074270A (zh) * | 2016-11-11 | 2018-05-25 | 上海东软医疗科技有限公司 | 一种pet衰减校正方法和装置 |
CN109685796A (zh) * | 2018-12-26 | 2019-04-26 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、设备和存储介质 |
CN110133553A (zh) * | 2019-05-10 | 2019-08-16 | 浙江大学 | 一种超短回波时间磁共振指纹弛豫时间测量方法 |
CN110151210A (zh) * | 2019-05-21 | 2019-08-23 | 上海联影医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读介质 |
Non-Patent Citations (2)
Title |
---|
Hossein Arabi 等.Novel adversarial semantic structure deep learning for MRI-guided attenuation correction in brain PET/MRI.《European Journal of Nuclear Medicine and Molecular Imaging》.2019,第46卷(第13期),第2746-2759页. * |
基于MR模板的PET/MRI衰减校正方法;胡彬;胡海勇;;中国医学影像技术;20180920(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111105472A (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105472B (zh) | Pet图像的衰减校正方法、装置、计算机设备和存储介质 | |
Harms et al. | Paired cycle‐GAN‐based image correction for quantitative cone‐beam computed tomography | |
US10964071B2 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
CN109308728B (zh) | 正电子发射型计算机断层扫描图像处理方法及装置 | |
CN109754447A (zh) | 图像生成方法、装置、设备和存储介质 | |
US20230394719A1 (en) | System and method for image processing | |
CN110960241A (zh) | 医学影像扫描的扫描参数确定方法、装置和计算机设备 | |
Sanaat et al. | Robust-Deep: a method for increasing brain imaging datasets to improve deep learning models’ performance and robustness | |
CN109215014B (zh) | Ct图像预测模型的训练方法、装置、设备及存储介质 | |
CN111028212B (zh) | 关键点检测方法、装置、计算机设备和存储介质 | |
CN110136076B (zh) | 医学扫描成像方法、装置、存储介质及计算机设备 | |
CN111223158B (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
CN111340903B (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
CN110223247B (zh) | 图像衰减校正方法、装置、计算机设备和存储介质 | |
CN113989110A (zh) | 肺部图像配准方法、装置、计算机设备和存储介质 | |
Amirkolaee et al. | Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation | |
Lei et al. | Generative adversarial network for image synthesis | |
CN110687585B (zh) | 获取晶体效率的方法、装置、计算机设备和存储介质 | |
CN110473241A (zh) | 图像配准方法、存储介质及计算机设备 | |
CN112052885B (zh) | 图像处理方法、装置、设备及pet-ct系统 | |
Chourak et al. | Voxel-wise analysis for spatial characterisation of Pseudo-CT errors in MRI-only radiotherapy planning | |
US11854126B2 (en) | Methods and apparatus for deep learning based image attenuation correction | |
US20230056685A1 (en) | Methods and apparatus for deep learning based image attenuation correction | |
CN110211198B (zh) | 图像散射校正方法、装置、计算机设备和存储介质 | |
Sargeant et al. | A Novel Method Combining Global and Local Assessments to Evaluate CBCT-Based Synthetic CTs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |