CN116402864A - 一种图像配准融合方法及装置、存储介质、计算机设备 - Google Patents
一种图像配准融合方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN116402864A CN116402864A CN202310387298.5A CN202310387298A CN116402864A CN 116402864 A CN116402864 A CN 116402864A CN 202310387298 A CN202310387298 A CN 202310387298A CN 116402864 A CN116402864 A CN 116402864A
- Authority
- CN
- China
- Prior art keywords
- image
- pet
- target
- data
- scanning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 22
- 238000002591 computed tomography Methods 0.000 claims abstract description 81
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 54
- 230000009466 transformation Effects 0.000 claims description 37
- 238000012879 PET imaging Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000013170 computed tomography imaging Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011229 interlayer Substances 0.000 claims description 6
- 238000012636 positron electron tomography Methods 0.000 claims 48
- 230000000694 effects Effects 0.000 abstract description 9
- 239000010410 layer Substances 0.000 description 10
- 230000003902 lesion Effects 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002503 metabolic effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及图像处理技术领域,具体公开了一种图像配准融合方法及装置、存储介质、计算机设备,该方法包括:获取PET扫描数据以及CT扫描数据;确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。本申请能够更准确、更高效的把PET图像和CT图像融合一体,可以有效提升PET/CT这种融合图像的配准效果以及整体质量。
Description
技术领域
本申请涉及图像处理技术领域,尤其是涉及到一种图像配准融合方法及装置、存储介质、计算机设备。
背景技术
随着PET/CT技术的兴起,PET/CT可以支持疾病辅助诊断、健康管理等功能。PET/CT是PET与CT的一种融合图像,其中,由PET可以提供病灶详尽的功能与代谢等分子信息,由CT可以提供病灶的精确解剖定位。所以,PET/CT可以在一次显像中获得患者全身各方位的断层图像。PET/CT本身具有灵敏、准确、特异及定位精确等特点,因此在早期发现病灶和疾病诊断方面具有不可替代的作用。
PET/CT这种融合图像的质量对于疾病诊断结果的准确性与全面性具有直接影响作用。现有技术中,PET/CT这种融合图像的配准效果还不理想,因此,如何提升PET/CT这种融合图像的配准效果以及整体质量成为了本领域亟待解决的技术问题。
发明内容
有鉴于此,本申请提供了一种图像配准融合方法及装置、存储介质、计算机设备,通过基于视场角的PET/CT图像配准融合方法,通过自然的模拟图像成像方式来实现图像配准与融合,能够更准确、更高效的把PET图像和CT图像融合一体,可以有效提升PET/CT这种融合图像的配准效果以及整体质量。
根据本申请的一个方面,提供了一种图像配准融合方法,包括:
获取PET扫描数据以及CT扫描数据;
确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
根据本申请的另一方面,提供了一种图像配准融合装置,包括:
扫描数据获取模块,用于获取PET扫描数据以及CT扫描数据;
视场角确定模块,用于确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
图像重建模块,用于依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
图像融合模块,用于将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述图像配准融合方法。
依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像配准融合方法。
借由上述技术方案,本申请提供的一种图像配准融合方法及装置、存储介质、计算机设备,在进行图像配准融合之前,首先可以获取PET扫描数据和CT扫描数据。获取PET扫描数据和CT扫描数据之后,一方面,可以以PET扫描数据为基础,确定PET视场角,另一方面,可以以CT扫描数据为基础,确定CT视场角。确定CT视场角之后,可以以CT视场角为基础,对CT扫描数据进行三维图像重建,进而可以重建得到目标CT图像。得到目标CT图像之后,为了保证三维图像重建得到的目标PET图像与目标CT图像的图像大小相同,在对目标PET图像进行三维重建时,可以以目标CT图像和PET视场角为基础,对PET扫描数据进行三维图像重建,进而得到与目标CT图像大小相同的目标PET图像。得到目标CT图像、目标PET图像之后,即可将目标CT图像、目标PET图像相互间进行配准,配准之后再融合在一起,进而得到目标融合图像,也即PET/CT图像。本申请实施例通过基于视场角的PET/CT图像配准融合方法,通过自然的模拟图像成像方式来实现图像配准与融合,能够更准确、更高效的把PET图像和CT图像融合一体,可以有效提升PET/CT这种融合图像的配准效果以及整体质量。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种图像配准融合方法的流程示意图;
图2示出了本申请实施例提供的一种平行投影的视场角示意图;
图3示出了本申请实施例提供的另一种图像配准融合方法的流程示意图;
图4示出了本申请实施例提供的另一种图像配准融合方法的流程示意图;
图5示出了本申请实施例提供的一种图像配准融合装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种图像配准融合方法,如图1所示,该方法包括:
步骤101,获取PET扫描数据以及CT扫描数据;
本申请实施例提供的图像配准融合方法,可以应用于医疗领域中PET(PositronEmission Computed Tomography,正电子发射型计算机断层显像)图像与CT(ComputedTomography,电子计算机断层扫描)图像的配准融合过程中。PET图像与CT图像配准融合之后可以生成PET/CT图像,也即目标融合图像。PET/CT全称为正电子发射断层显像/X线计算机体层成像仪,由一个工作站控制,是一种将PET(功能代谢显像)和CT(解剖结构显像)两种先进的影像技术有机地结合在一起的新型的影像设备。单PET进行核医学显像时,有其它诊断设备无法比拟的早期发现灵敏性等优越特性,但因药物及其原理所限,其定位精度不够好,因而后来将PET和CT设计为一体,将微量的正电子核素示踪剂注射到人体内,然后采用特殊的体外探测仪(PET)探测这些正电子核素人体各脏器的分布情况,通过计算机断层显像的方法显示人体的主要器官的生理代谢功能,同时应用CT技术为这些核素分布情况进行精确定位,使这台机器同时具有PET和CT的优点,发挥出各自的最大优势,扫描时根据需求同时进行PET显像和CT显像,并由工作站将两种图像融合到一起,以达到更好的鉴别和定位的效果。PET/CT图像在疾病诊断过程中具有不可替代的重要作用。在PET/CT图像中,PET可以提供病灶详尽的功能与代谢等分子信息,CT可以提供病灶的精确解剖定位。所以,PET/CT可以在一次显像中获得患者全身各方位的断层图像。在进行图像配准融合之前,首先可以获取PET扫描数据和CT扫描数据。PET扫描数据以及CT扫描数据可以从扫描设备中获取。PET扫描数据以及CT扫描数据具体可以是患者的全身扫描数据,也可以是患者的某个部位的扫描数据,例如胃部、腹部、心脏、膝盖、脑部等。
步骤102,确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
在该实施例中,获取PET扫描数据和CT扫描数据之后,一方面,可以以PET扫描数据为基础,确定PET视场角,另一方面,可以以CT扫描数据为基础,确定CT视场角。其中,PET视场角是以PET扫描数据中的PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置数据为基础确定的;CT视场角是以CT扫描数据中的CT成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、CT成像平面的平面尺寸、CT成像平面的中心坐标以及第二数据体包围盒的位置数据为基础确定的。视场角即人眼对应的视野角度(FOV;英文全称:Field Of View)。人眼在看一个事物时,在距离人眼的上下、左右、前后存在一定的视野范围,只有在这个范围内的物体才能被看到,因此和这个范围相关的一些参数被统一的称为视野角度(FOV)。通常情况下,可视的投影方式分为透视投影和平行投影,但为了使医学图像不发生形变可以采用平行投影的方式,如图2所示平行投影的FOV。在平行投影中,图形沿平行线变换到投影面上;在透视投影中,图形沿收敛于某一点的直线变换到投影面上。例如,就PET视场角来说,通过PET扫描数据中的PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置数据,可以确定PET层面下可以看到的数据范围,接着,如果PET层面下的视野角度(FOV)采用平行投影方式,那么可以将PET层面下可以看到的数据范围利用平行投影的方式进行投影,得到PET视场角,也即平行投影的PETFOV。视野角度的大小不同,在PET层面下看到的数据范围的大小也不相同。
步骤103,依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
在该实施例中,确定CT视场角之后,可以以CT视场角为基础,对CT扫描数据进行三维图像重建,进而可以重建得到目标CT图像。三维重建是针对一系列二维图像,通过重建算法,重建出三维实体,并将实体在二维图像中上显示出来,以便用户直接查看和交互操作的可视化方法。这里,三维图像重建可以利用光线投射算法。光线投射算法的原理如下:假设光线以平行光的方式由成像平面出发,按照一定的步长去穿透整个数据体,在整个过程中,通过三线性插值的重采样方法把采集到的最大体素值通过灰度表映射到成像平面的像素点上,做为结果图像的像素点的值,最终得到二维的目标CT图像。得到目标CT图像之后,为了保证三维图像重建得到的目标PET图像与目标CT图像的图像大小相同,在对目标PET图像进行三维重建时,可以以目标CT图像和PET视场角为基础,对PET扫描数据进行三维图像重建,进而得到与目标CT图像大小相同的目标PET图像。
步骤104,将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
在该实施例中,得到目标CT图像、目标PET图像之后,即可将目标CT图像、目标PET图像相互间进行配准,配准之后再融合在一起,进而得到目标融合图像,也即PET/CT图像。在疾病诊断过程中,通过PET/CT图像,可以快速准确地定位病灶,即机体上发生病变的部分,例如,胃部病灶、腹部病灶、心脏病灶、膝盖病灶、脑部病灶等。
在本申请实施例中,可选地,步骤103中所述“依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像”,包括:获取所述目标CT图像的图像尺寸以及点距,依据所述图像尺寸、所述点距以及所述PET视场角,对所述PET扫描数据进行三维图像重建,得到所述目标PET图像。
在该实施例中,在对目标PET图像进行三维重建时,可以先从重建得到的目标CT图像中,获取目标CT图像的图像尺寸、点距,接着,可以以目标CT图像的图像尺寸、点距以及PET视场角为基础,同样利用光线投射算法,对PET扫描数据进行三维重建,最终得到匹配的目标PET图像。
在本申请实施例中,可选地,步骤102中所述“确定所述PET扫描数据对应的PET视场角”,包括:基于所述PET扫描数据,获取第一目标信息,所述第一目标信息包括PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置信息;基于所述第一目标信息,确定第一可视数据范围,并依据所述第一可视数据范围以及目标投影方式,确定所述PET视场角;步骤102中所述“确定所述CT扫描数据对应的CT视场角”,包括:基于所述CT扫描数据,获取第二目标信息,所述第二目标信息包括CT成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、CT成像平面的平面尺寸、CT成像平面的中心坐标以及第二数据体包围盒的位置信息;基于所述第二目标信息,确定第二可视数据范围,并依据所述第二可视数据范围以及目标投影方式,确定所述CT视场角。
在该实施例中,在确定PET视场角时,可以从PET扫描数据中分别识别出PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置信息,并将这些信息作为第一目标信息。其中,从X轴方向像素点尺寸、Y轴方向像素点尺寸中分别可以看出X轴方向像素点的物理大小、Y轴方向像素点的物理大小。第一数据体包围盒的位置信息可以包括最大位置信息以及最小位置信息,最大位置信息可以是距离原点位置最远的数据所在的位置的位置信息,最小位置信息可以是距离原点位置最近的数据所在的位置的位置信息,从第一数据体包围盒的位置信息中可以看出能够被PET图像显示出来的数据有哪些。之后,可以利用第一目标信息中包含的PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置信息,确定出第一可视数据范围,从第一可视数据范围中可以确定第一坐标系,以及在第一坐标系下的全部可以看到的数据范围。接着,可以以第一可视数据范围为基础,根据选择的目标投影方式确定对应的PET视场角。在这里,投影方式可以包括透视投影、平行投影等,以平行投影为例,可以以第一可视数据范围为基础,利用平行投影的方式,对第一可视数据范围内的数据进行投影,得到PET视场角。同样地,可以利用该方法确定CT视场角。
通过应用本实施例的技术方案,在进行图像配准融合之前,首先可以获取PET扫描数据和CT扫描数据。获取PET扫描数据和CT扫描数据之后,一方面,可以以PET扫描数据为基础,确定PET视场角,另一方面,可以以CT扫描数据为基础,确定CT视场角。确定CT视场角之后,可以以CT视场角为基础,对CT扫描数据进行三维图像重建,进而可以重建得到目标CT图像。得到目标CT图像之后,为了保证三维图像重建得到的目标PET图像与目标CT图像的图像大小相同,在对目标PET图像进行三维重建时,可以以目标CT图像和PET视场角为基础,对PET扫描数据进行三维图像重建,进而得到与目标CT图像大小相同的目标PET图像。得到目标CT图像、目标PET图像之后,即可将目标CT图像、目标PET图像相互间进行配准,配准之后再融合在一起,进而得到目标融合图像,也即PET/CT图像。本申请实施例通过基于视场角的PET/CT图像配准融合方法,通过自然的模拟图像成像方式来实现图像配准与融合,能够更准确、更高效的把PET图像和CT图像融合一体,可以有效提升PET/CT这种融合图像的配准效果以及整体质量。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,提供了另一种图像配准融合方法,如图3所示,该方法包括:
步骤201,获取PET扫描数据以及CT扫描数据;
步骤202,确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
步骤203,依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
步骤204,将所述目标PET图像按照变换矩阵进行坐标变换处理,得到坐标变换后的目标PET图像,所述变换矩阵用于指示从所述目标PET图像对应的第一坐标系变换为所述目标CT图像对应的第二坐标系;
在该实施例中,分别重建得到目标PET图像以及目标CT图像之后,为了能够对目标PET图像和目标CT图像进行配准融合,可以将目标CT图像作为固定图像,将目标PET图像作为移动图像。接着,可以将目标PET图像按照变换矩阵进行坐标变换处理,使得目标PET图像对应的坐标系从原来的第一坐标系,变为与目标CT图像相一致的第二坐标系,这样,经过坐标变换处理以后的目标PET图像即可与目标CT图像进行配准融合。如图4所示,首先,将目标PET图像进行坐标变换处理。在这里,目标PET图像即为图中的移动图像,移动图像具体可以是患者的头部PET图像,固定图像具体可以是该患者的头部CT图像。移动图像对应的坐标系可以是第一坐标系,而固定图像对应的坐标系可以是第二坐标系。将移动图像按照变换矩阵进行坐标变换处理,这样可以将移动图像从原来的第一坐标系,变成与固定图像一致的第二坐标系,从而实现了固定图像与移动图像的配准基本条件,进而可以进行后续的配准融合步骤。
步骤205,确定所述目标PET图像的第一中心、所述目标CT图像的第二中心以及目标配准中心,对所述坐标变换后的目标PET图像以及所述目标CT图像进行图像配准,并在图像配准后进行融合处理,得到目标融合图像。
在该实施例中,将目标PET图像从第一坐标系转换到第二坐标系之后,还可以找到目标PET图像和目标CT图像之间的配准中心。具体地,可以从目标PET图像中找到第一中心,同时可以从目标CT图像中找到第二中心。此外,还可以找到目标PET图像与目标CT图像之间的重合部分,并找到该重合部分的中心,作为目标配准中心。之后,可以将目标配准中心作为目标PET图像与目标CT图像之间的配准基础,利用目标配准中心与第一中心,将坐标变换之后的目标PET图像位置固定,再利用目标配准中心与第二中心,将目标CT图像位置固定,进而实现了目标PET图像与目标CT图像之间的配准,最后可以进行融合处理,得到目标融合图像,也即PET/CT图像。
在本申请实施例中,可选地,步骤205中所述“确定所述目标PET图像的第一中心、所述目标CT图像的第二中心以及目标配准中心”,包括:基于所述PET扫描数据,确定PET成像平面上的第一顶点坐标、第一点距以及PET成像平面的平面尺寸,并依据所述第一顶点坐标、所述第一点距以及所述PET成像平面的平面尺寸,确定所述目标PET图像的第一中心;基于所述CT扫描数据,确定CT成像平面上的第二顶点坐标、第二点距以及CT成像平面的平面尺寸,并依据所述第二顶点坐标、所述第二点距以及所述CT成像平面的平面尺寸,确定所述目标CT图像的第二中心;依据所述PET扫描数据以及所述CT扫描数据,确定成像重合范围,并识别所述成像重合范围的中心坐标,作为所述目标配准中心。
在该实施例中,在确定目标PET图像的第一中心时,可以从获取的PET扫描数据中,识别出PET成像平面上的第一顶点坐标、第一点距、PET成像平面的平面尺寸。其中,第一顶点坐标可以是PET成像平面的左上角点坐标,第一点距可以是PET成像平面上的像素点距离,PET成像平面的平面尺寸可以是目标PET图像的成像平面在x轴方向、y轴方向的尺寸。之后,根据这些信息就可以确定出目标PET图像的第一中心。同样地,利用这种方法可以确定目标CT图像的第二中心。其中,第二顶点坐标可以是CT成像平面的左上角点坐标,第二点距可以是CT成像平面上的像素点距离,CT成像平面的平面尺寸可以是目标CT图像的成像平面在x轴方向、y轴方向的尺寸。
在确定目标配准中心时,可以根据PET扫描数据以及CT扫描数据,找出目标PET图像以及目标CT图像的成像重合范围,之后确定该成像重合范围的中心坐标,将该成像重合范围的中心坐标作为目标配准中心即可。
在本申请实施例中,可选地,步骤205中所述“在图像配准后进行融合处理,得到目标融合图像”,包括:在图像配准后,按照所述目标PET图像对应的第一权重,以及所述目标CT图像对应的第二权重,对配准后的图像进行融合处理,得到目标融合图像。
在该实施例中,在经过坐标变换处理以后的目标PET图像与目标CT图像进行配准之后,还可以按照预先为目标PET图像设置的第一权重,以及预先为目标CT图像设置的第二权重,对这两个图像进行融合,最终得到目标融合图像。其中,第一权重和第二权重可以按照各自50%进行设定,也可以按照其它需求进行设定,第一权重与第二权重的和为100%。
在本申请实施例中,可选地,步骤204之前,所述方法还包括:从所述PET扫描数据中确定X轴向量、Y轴向量以及法向量,基于所述X轴向量、所述Y轴向量以及所述法向量,生成翻转子矩阵;确定所述PET扫描数据对应的第一坐标系的第一原点,以及所述CT扫描数据对应的第二坐标系的第二原点,基于所述第一原点以及所述第二原点,生成平移子矩阵;基于所述第一坐标系以及所述第二坐标系,生成缩放子矩阵;依据所述翻转子矩阵、所述平移子矩阵以及所述缩放子矩阵,生成所述变换矩阵。
在该实施例中,变换矩阵可以由三个部分组成,分别是翻转子矩阵、平移子矩阵以及缩放子矩阵。变换矩阵可以写成下述矩阵1的形式,其中a11~a33组成翻转子矩阵,tx~tz组成缩放子矩阵,px~pz组成平移子矩阵,s为常数。
其中,可以从PET扫描数据中确定X轴向量、Y轴向量以及法向量,之后可以以X轴向量、Y轴向量以及法向量为基础,生成翻转子矩阵。在这里,a11、a12、a13可以用于表示X轴向量,a21、a22、a23可以用于表示Y轴向量,a31、a32、a33可以用于表示法向量。此外,还可以确定PET扫描数据对应的第一坐标系的第一原点,以及CT扫描数据对应的第二坐标系的第二原点,之后根据第一原点以及第二原点,确定X轴、Y轴、Z轴方向上的平移尺寸,对应生成平移子矩阵。还可以根据第一坐标系以及第二坐标系,确定从第一坐标系变换为第二坐标系的缩放情况,对应生成缩放子矩阵。
在本申请实施例中,可选地,步骤201之前,所述方法还包括:对初始PET数据以及初始CT数据进行方向来源筛选,将非目标方向来源的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,将初始PET数据以及初始CT数据进行图像索引筛选,将图像索引重复的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,将初始PET数据以及初始CT数据进行层间距筛选,将非目标层间距的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据。
在该实施例中,为了避免后续三维图像重建时出现图形变形或者取值错误的情况,可以从获取的初始PET数据中识别出PET扫描数据,以及从初始CT数据中识别出CT扫描数据。识别出来的PET扫描数据和CT扫描数据都是同一次扫描得到的,因而可以避免图形变形或者取值错误的情况出现。初始PET数据以及初始CT数据均对应有方向来源,方向来源可以包括从头至脚扫描、从脚至头扫描等,其中,可以将初始PET数据、初始CT数据中数量最多的方向来源作为目标方向来源,之后,将初始PET数据、初始CT数据中非目标方向来源的剔除,得到的即可为PET扫描数据以及CT扫描数据。此外,初始PET数据以及初始CT数据还对应有图像索引,可以将图像索引重复的初始PET数据、初始CT数据从中剔除,这样得到的即为PET扫描数据以及CT扫描数据。初始PET数据以及初始CT数据还可以对应不同的层间距,不同的层间距实际上属于不同次的扫描,因此,可以将初始PET数据、初始CT数据中数量最多的层间距作为目标层间距,之后,将初始PET数据、初始CT数据中非目标层间距的剔除,得到的即可为PET扫描数据以及CT扫描数据。本申请实施例通过在利用PET扫描数据、CT扫描数据进行三维图像重建之前,先确定PET扫描数据、CT扫描数据是在同次扫描过程中得到的,可以有效保证后续三维图像重建的准确性。
进一步的,作为图1方法的具体实现,本申请实施例提供了一种图像配准融合装置,如图5所示,该装置包括:
扫描数据获取模块,用于获取PET扫描数据以及CT扫描数据;
视场角确定模块,用于确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
图像重建模块,用于依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
图像融合模块,用于将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
可选地,所述视场角确定模块,包括:
第一信息获取单元,用于基于所述PET扫描数据,获取第一目标信息,所述第一目标信息包括PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置信息;
第一视场角确定单元,用于基于所述第一目标信息,确定第一可视数据范围,并依据所述第一可视数据范围以及目标投影方式,确定所述PET视场角;
所述视场角确定模块,还包括:
第二信息获取单元,用于基于所述CT扫描数据,获取第二目标信息,所述第二目标信息包括CT成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、CT成像平面的平面尺寸、CT成像平面的中心坐标以及第二数据体包围盒的位置信息;
第二视场角确定单元,用于基于所述第二目标信息,确定第二可视数据范围,并依据所述第二可视数据范围以及目标投影方式,确定所述CT视场角。
可选地,所述图像重建模块,用于:
获取所述目标CT图像的图像尺寸以及点距,依据所述图像尺寸、所述点距以及所述PET视场角,对所述PET扫描数据进行三维图像重建,得到所述目标PET图像。
可选地,所述图像融合模块,包括:
坐标变换处理单元,用于将所述目标PET图像按照变换矩阵进行坐标变换处理,得到坐标变换后的目标PET图像,所述变换矩阵用于指示从所述目标PET图像对应的第一坐标系变换为所述目标CT图像对应的第二坐标系;
配准融合单元,用于确定所述目标PET图像的第一中心、所述目标CT图像的第二中心以及目标配准中心,对所述坐标变换后的目标PET图像以及所述目标CT图像进行图像配准,并在图像配准后进行融合处理,得到目标融合图像。
可选地,所述配准融合单元,用于:
在图像配准后,按照所述目标PET图像对应的第一权重,以及所述目标CT图像对应的第二权重,对配准后的图像进行融合处理,得到目标融合图像。
可选地,所述装置还包括:
第一子矩阵生成模块,用于所述将所述目标PET图像按照变换矩阵进行坐标变换处理之前,从所述PET扫描数据中确定X轴向量、Y轴向量以及法向量,基于所述X轴向量、所述Y轴向量以及所述法向量,生成翻转子矩阵;
第二子矩阵生成模块,用于确定所述PET扫描数据对应的第一坐标系的第一原点,以及所述CT扫描数据对应的第二坐标系的第二原点,基于所述第一原点以及所述第二原点,生成平移子矩阵;
第三子矩阵生成模块,用于基于所述第一坐标系以及所述第二坐标系,生成缩放子矩阵;
变换矩阵生成模块,用于依据所述翻转子矩阵、所述平移子矩阵以及所述缩放子矩阵,生成所述变换矩阵。
可选地,所述配准融合单元,还用于:
基于所述PET扫描数据,确定PET成像平面上的第一顶点坐标、第一点距以及PET成像平面的平面尺寸,并依据所述第一顶点坐标、所述第一点距以及所述PET成像平面的平面尺寸,确定所述目标PET图像的第一中心;基于所述CT扫描数据,确定CT成像平面上的第二顶点坐标、第二点距以及CT成像平面的平面尺寸,并依据所述第二顶点坐标、所述第二点距以及所述CT成像平面的平面尺寸,确定所述目标CT图像的第二中心;依据所述PET扫描数据以及所述CT扫描数据,确定成像重合范围,并识别所述成像重合范围的中心坐标,作为所述目标配准中心。
可选地,所述装置还包括:
剔除模块,用于所述获取PET扫描数据以及CT扫描数据之前,对初始PET数据以及初始CT数据进行方向来源筛选,将非目标方向来源的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,将初始PET数据以及初始CT数据进行图像索引筛选,将图像索引重复的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,将初始PET数据以及初始CT数据进行层间距筛选,将非目标层间距的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据。
需要说明的是,本申请实施例提供的一种图像配准融合装置所涉及各功能单元的其他相应描述,可以参考图1至图4方法中的对应描述,在此不再赘述。
基于上述如图1至图4所示方法,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述如图1至图4所示的图像配准融合方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1至图4所示的方法,以及图5所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种计算机设备,具体可以为个人计算机、服务器、网络设备等,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图4所示的图像配准融合方法。
可选地,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。在进行图像配准融合之前,首先可以获取PET扫描数据和CT扫描数据。获取PET扫描数据和CT扫描数据之后,一方面,可以以PET扫描数据为基础,确定PET视场角,另一方面,可以以CT扫描数据为基础,确定CT视场角。确定CT视场角之后,可以以CT视场角为基础,对CT扫描数据进行三维图像重建,进而可以重建得到目标CT图像。得到目标CT图像之后,为了保证三维图像重建得到的目标PET图像与目标CT图像的图像大小相同,在对目标PET图像进行三维重建时,可以以目标CT图像和PET视场角为基础,对PET扫描数据进行三维图像重建,进而得到与目标CT图像大小相同的目标PET图像。得到目标CT图像、目标PET图像之后,即可将目标CT图像、目标PET图像相互间进行配准,配准之后再融合在一起,进而得到目标融合图像,也即PET/CT图像。本申请实施例通过基于视场角的PET/CT图像配准融合方法,通过自然的模拟图像成像方式来实现图像配准与融合,能够更准确、更高效的把PET图像和CT图像融合一体,可以有效提升PET/CT这种融合图像的配准效果以及整体质量。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (11)
1.一种图像配准融合方法,其特征在于,包括:
获取PET扫描数据以及CT扫描数据;
确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述PET扫描数据对应的PET视场角,包括:
基于所述PET扫描数据,获取第一目标信息,所述第一目标信息包括PET成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、PET成像平面的平面尺寸、PET成像平面的中心坐标以及第一数据体包围盒的位置信息;
基于所述第一目标信息,确定第一可视数据范围,并依据所述第一可视数据范围以及目标投影方式,确定所述PET视场角;
所述确定所述CT扫描数据对应的CT视场角,包括:
基于所述CT扫描数据,获取第二目标信息,所述第二目标信息包括CT成像平面的X轴向量、Y轴向量、法向量、X轴方向像素点尺寸、Y轴方向像素点尺寸、CT成像平面的平面尺寸、CT成像平面的中心坐标以及第二数据体包围盒的位置信息;
基于所述第二目标信息,确定第二可视数据范围,并依据所述第二可视数据范围以及目标投影方式,确定所述CT视场角。
3.根据权利要求2所述的方法,其特征在于,所述依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像,包括:
获取所述目标CT图像的图像尺寸以及点距,依据所述图像尺寸、所述点距以及所述PET视场角,对所述PET扫描数据进行三维图像重建,得到所述目标PET图像。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像,包括:
将所述目标PET图像按照变换矩阵进行坐标变换处理,得到坐标变换后的目标PET图像,所述变换矩阵用于指示从所述目标PET图像对应的第一坐标系变换为所述目标CT图像对应的第二坐标系;
确定所述目标PET图像的第一中心、所述目标CT图像的第二中心以及目标配准中心,对所述坐标变换后的目标PET图像以及所述目标CT图像进行图像配准,并在图像配准后进行融合处理,得到目标融合图像。
5.根据权利要求4所述的方法,其特征在于,所述在图像配准后进行融合处理,得到目标融合图像,包括:
在图像配准后,按照所述目标PET图像对应的第一权重,以及所述目标CT图像对应的第二权重,对配准后的图像进行融合处理,得到目标融合图像。
6.根据权利要求4或5所述的方法,其特征在于,所述将所述目标PET图像按照变换矩阵进行坐标变换处理之前,所述方法还包括:
从所述PET扫描数据中确定X轴向量、Y轴向量以及法向量,基于所述X轴向量、所述Y轴向量以及所述法向量,生成翻转子矩阵;
确定所述PET扫描数据对应的第一坐标系的第一原点,以及所述CT扫描数据对应的第二坐标系的第二原点,基于所述第一原点以及所述第二原点,生成平移子矩阵;
基于所述第一坐标系以及所述第二坐标系,生成缩放子矩阵;
依据所述翻转子矩阵、所述平移子矩阵以及所述缩放子矩阵,生成所述变换矩阵。
7.根据权利要求6所述的方法,其特征在于,所述确定所述目标PET图像的第一中心、所述目标CT图像的第二中心以及目标配准中心,包括:
基于所述PET扫描数据,确定PET成像平面上的第一顶点坐标、第一点距以及PET成像平面的平面尺寸,并依据所述第一顶点坐标、所述第一点距以及所述PET成像平面的平面尺寸,确定所述目标PET图像的第一中心;
基于所述CT扫描数据,确定CT成像平面上的第二顶点坐标、第二点距以及CT成像平面的平面尺寸,并依据所述第二顶点坐标、所述第二点距以及所述CT成像平面的平面尺寸,确定所述目标CT图像的第二中心;
依据所述PET扫描数据以及所述CT扫描数据,确定成像重合范围,并识别所述成像重合范围的中心坐标,作为所述目标配准中心。
8.根据权利要求1所述的方法,其特征在于,所述获取PET扫描数据以及CT扫描数据之前,所述方法还包括:
对初始PET数据以及初始CT数据进行方向来源筛选,将非目标方向来源的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,
将初始PET数据以及初始CT数据进行图像索引筛选,将图像索引重复的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据;和/或,
将初始PET数据以及初始CT数据进行层间距筛选,将非目标层间距的初始PET数据以及初始CT数据剔除,得到所述PET扫描数据以及CT扫描数据。
9.一种图像配准融合装置,其特征在于,包括:
扫描数据获取模块,用于获取PET扫描数据以及CT扫描数据;
视场角确定模块,用于确定所述PET扫描数据对应的PET视场角,以及确定所述CT扫描数据对应的CT视场角;
图像重建模块,用于依据所述CT视场角对所述CT扫描数据进行三维图像重建,得到目标CT图像,并依据所述目标CT图像以及所述PET视场角对所述PET扫描数据进行三维图像重建,得到目标PET图像;
图像融合模块,用于将所述目标CT图像以及所述目标PET图像进行配准融合处理,得到目标融合图像。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
11.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310387298.5A CN116402864A (zh) | 2023-04-10 | 2023-04-10 | 一种图像配准融合方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310387298.5A CN116402864A (zh) | 2023-04-10 | 2023-04-10 | 一种图像配准融合方法及装置、存储介质、计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116402864A true CN116402864A (zh) | 2023-07-07 |
Family
ID=87007122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310387298.5A Pending CN116402864A (zh) | 2023-04-10 | 2023-04-10 | 一种图像配准融合方法及装置、存储介质、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116402864A (zh) |
-
2023
- 2023-04-10 CN CN202310387298.5A patent/CN116402864A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9980691B2 (en) | Method and apparatus for three dimensional viewing of images | |
CN104008540B (zh) | 用于执行医学图像的配准的方法和设备 | |
CN105844586A (zh) | 基于特征的2d/3d图像配准 | |
CN102727258A (zh) | 图像处理装置、超声波摄影系统及图像处理方法 | |
CN108697402A (zh) | 在三维图像中确定深度脑刺激电极的旋转方位 | |
Shan et al. | Augmented reality based brain tumor 3D visualization | |
JP2023139022A (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
CN106485691A (zh) | 信息处理装置、信息处理系统和信息处理方法 | |
CN104337529A (zh) | 医学图像处理装置、医学图像处理方法以及放疗系统 | |
CN111540008A (zh) | 定位方法、装置、系统、电子设备及存储介质 | |
US10074174B2 (en) | Image processing apparatus that sets imaging region of object before imaging the object | |
EP3094261B1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2011041475A1 (en) | Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods | |
WO2011041473A1 (en) | Medical image analysis system for anatomical images subject to deformation and related methods | |
CN108038904A (zh) | 医学影像三维重建系统 | |
US11495346B2 (en) | External device-enabled imaging support | |
CN113689477A (zh) | 多模态医学图像配准方法、系统、可读存储介质和设备 | |
Bögel et al. | Respiratory Motion Compensation Using Diaphragm Tracking for Cone‐Beam C‐Arm CT: A Simulation and a Phantom Study | |
EP2483864A1 (en) | Medical image analysis system for displaying anatomical images subject to deformation and related methods | |
JP6155177B2 (ja) | 画像診断支援装置に画像処理を実行させるためのコンピュータプログラム、装置及び方法 | |
CN116402864A (zh) | 一种图像配准融合方法及装置、存储介质、计算机设备 | |
Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
Ropinski et al. | Multimodal visualization with interactive closeups | |
Maur et al. | CBCT auto-calibration by contour registration | |
Baum | Multimodal breast imaging: Registration, visualization, and image synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |