CN101010696A - 利用多形式可视化监测疾病发展和对治疗反应的系统和方法 - Google Patents

利用多形式可视化监测疾病发展和对治疗反应的系统和方法 Download PDF

Info

Publication number
CN101010696A
CN101010696A CNA2005800286883A CN200580028688A CN101010696A CN 101010696 A CN101010696 A CN 101010696A CN A2005800286883 A CNA2005800286883 A CN A2005800286883A CN 200580028688 A CN200580028688 A CN 200580028688A CN 101010696 A CN101010696 A CN 101010696A
Authority
CN
China
Prior art keywords
data set
image data
constantly
image
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800286883A
Other languages
English (en)
Inventor
V·R·拉马墨菲
A·克里什南
C·贝尔丁格
J·措尔德纳
M·马明
A·巴特
S·卡普林格
M·格卢思
P·豪曼
D·D·伯克哈德特
A·普拉茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Medical Solutions USA Inc
Original Assignee
Siemens AG
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Medical Solutions USA Inc filed Critical Siemens AG
Publication of CN101010696A publication Critical patent/CN101010696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Nuclear Medicine (AREA)

Abstract

提供用多形式可视化监测疾病进展和对治疗反应的系统和方法。该方法包括:选取第一时刻的第一图像数据组(310);加载该第一时刻的第一图像数据组(320);选取第二时刻的第二图像数据组(330);加载该第二时刻的第二图像数据组(340);将该第一时刻的第一图像数据组与该第二时刻的第二图像数据组重合(350);以及显示该第一时刻的第一图像数据组和第二时刻的第二图像数据组(360)。

Description

利用多形式可视化监测疾病发展和对治疗反应的系统和方法
对相关申请的交叉引用
本申请要求于2004年6月18日提交的美国临时申请No.60/581,136的权益,现将该申请的副本引用于此作为参考。
发明背景
1.技术领域
本发明涉及医学图像分析,更具体而言,涉及用多形式的可视化监测疾病进展或对治疗反应的系统和方法。
2.相关领域的讨论
在各种医学异常的诊断中利用单光子发射的计算断层扫描(SPECT)和正电子发射断层扫描(PET)的功能成像具有及其重要的意义。但是,有时在SPECT和PET图像上缺乏解剖学的明确性限制了它们的用途。为克服这一点,有时将身体同一部位的磁共振图像(MRI)和X射线计算断层扫描(CT)图像同SPECT或PET功能图像相结合。因而提供一种解剖(MRI或CT)和生理(SPECT或PET)互补的信息,这对于研究,诊断和治疗都是极为重要的。
功能性的体部图像和结构图像是医务工作者用于诊断某些医学异常的两种类型的医学图像。体部功能图像,诸如从SPECT或PET扫描获得的图像,提供生理信息,而结构图像,诸如从MRI和CT获得的图像提供其体部的解剖映像。不同的医学影像技术提供的扫描互补和偶尔矛盾的信息。例如,利用图片存档通信系统(PACS)的这种图像的组合(经图像融合或图像重合)常常可以获得在单种图像中不会出现的额外临床信息。因此,在一组功能图像上加上解剖结构框架,即使是在没有足够的解剖细节的地方也可以在功能图像上确定肿瘤或其它异常的位置。
虽然用图像重合(registration)构成一种复合的重叠医学图像主要是用于功能和解剖图像的融合上,但它也已经应用于相同形式的图像。这类实例是对一相同对象将其跟踪研究中的SPECT图像加以重合,或是将具有正常摄入特性的图像同有怀疑异常的图像相比较。此外,SPECT和PET图像的重合和SPECT及PET图像同解剖图谱的重合提供一种重要的手段用以评估SPECT和PET放射药物的比较摄入特性,从而将摄入特性同解剖学联系起来。
多种形式医学图像重合正在迅速成为一种可视化工具,它明显地有助于肿瘤和其它疾病的早期诊断和有助于提高诊断的准确性。例如,因为在CT和MRI图像中癌变和周围组织之间的对比度低,即使是借助于诸如CT和MRI的结构图像的帮助,放射医学常常难以对癌变组织加以定位和准确地识别。但是,通过使用SPECT和辐射标记的单克隆抗体可以获取抗体在肿瘤中浓聚的高对比度图像。
因此将多个医学成像系统的输出和强势加以组合正在成为一种强烈的愿望。但是它本身却存在某些缺陷,这是由于这种复合图像的不同文档结构的组合,传输和其传输的网络以及重合和可视化所致。例如,这样一种系统典型地不支持多个以上来自不同形式的数据组的组合。此外,许多系统不提供用于分析肿瘤内变化的快速和准确的工具。而且,许多系统不提供对来自不同时刻的医学图像进行排列的快速技术。例如,为了准确地分析肿瘤内发生的变化,通常有必要将在不同时刻扫描的同一形式的图像加以比较。
相应地,需要有一种技术能使医务工作者将病人在不同时间用相同或不同的形式所获取的扫描加以比较以便以一种经济有效的方式做出更为客观的诊断,治疗和跟踪决择。
发明内容
通过使用多形式可视化系统提供一种用以监测疾病进展及治疗反应的系统和方法,本发明克服了在现有技术中所遇到的前述和其它问题。
在本发明的一种实施方案中,用于多形式可视化的一种方法包括:选取第一时刻的第一图像数据组;加载该第一时刻的第一图像数据组;选取第二时刻的第二图像数据组;加载该第二时刻的第二图像数据组;将该第一时刻的第一图像数据组同该第二时刻的第二图像数据组重合;将该第一时刻的第一图像数据组和该第二时刻的第二图像数据组加以显示。
第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振成像(MR)和超声检查之一中获取的数据。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括CT图像和MR图像序列、PET图像组和SPECT图像序列、CT和PET图像序列组合、MR和PET图像序列组合、MR和SPECT图像序列及超声图像序列组合中的一种。
在该第一时刻的第一图像数据组和第二时刻的第二图像数据组的每一种之中的图像序列包括来自治疗前、治疗中和治疗后研究之一的数据。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组是利用自动重合、地标重合和直观重合之一加以重合的。在将第一时刻的第一图像数据组和第二时刻的第二图像数据组重合步骤中所采用的自动重合包括:将第一时刻的第一图像数据组的第一图像序列同第二图像序列重合;将第一时刻的第一图像数据组的第一图像序列同第二时刻的第二图像数据组的第一图像序列重合;以及将第二时刻的第二图像数据组的第一图像序列同第二时刻的第二图像数据组的第二图像序列重合。
显示第一时刻的第一图像数据组和第二时刻的第二图像数据组的步骤包括:显示第一时刻的第一图像数据组的第一图像序列和第二图像序列以及第二时刻的第二图像数据组的第一图像序列和第二图像序列。
该方法还进一步包括:在第一时刻的第一图像数据组的第一图像序列或第二图像序列上以及在第二时刻的第二图像数据组的第一图像序列或第二图像序列上画出感兴趣区(VOI);将该感兴趣区(VOI)复制到该第一时刻的第一图像数据组和第二时刻的第二图像数据组的余下的图像序列上;将第一时刻的第一图像数据组的第一图像序列和第二图像序列以及第二时刻的第二图像数据组的第一图像序列和第二图像序列的各感兴趣区(VOI)加以链接。该VOI是异常、肿瘤和癌变区之一。
该方法还包括对该第一时刻的第一图像数据组的第一图像序列和第二图像序列以及该第二时刻的第二图像数据组的第一图像序列和第二图像序列上的感兴趣(VOI)加以量化。该量化值是最小偏差、最大偏差、标准偏差、平均值、体积、中值、直径、面积、像素数量以及重心中的一个。
该方法进一步包括:探测该VOI中的变化;产生与量化后的VOI相关的报告;计算第一时刻的第一图像数据组和第二时刻的第二图像数据组之一的最大强度投影(MIP);以及将该MIP显示;和将该MIP和第一时刻的第一图像数据组及第二时刻的第二图像数据组的坐标对准。
在本发明的另一种实施方案中,多形式可视化的用户界面包括:第一显示区,用于显示第一时刻的第一图像数据组和第二时刻的第二图像数据组以比较该第一时刻的第一图像数据组和第二时刻的第二图像数据组;第二显示区,用于显示控制区,其中该控制区包括病人挡案,工作流程视窗以及控制;其中第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振(MR)以及超声检查之一中获取的数据。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括CT图像序列和MR图像序列、PET图像序列和SPECT图像序列、CT和PET图像序列的组合、MR和PET图像序列的组合、CT和SPECT图像序列的组合、MR及SPECT图像序列同超声检查图像序列的组合之一的图像。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组的每一种中的图像序列包括来自治疗前、治疗中和治疗后研究之一的数据。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别以弧矢视野、冠状视野和轴向视野之一加以显示,该第一图像数据组和第二图像数据组以融合视野显示。
该工作流程视窗包括到重合视窗、可视化视窗、最大强度投影(MIP)视窗,轮廓视窗以及报告视窗之一的链接。
在本发明的再一种实施方案中,用于多形态可视化的系统包括:用于储存程序的存储设备;和该存储设备通信的处理器,该处理器和该程序一起工作以便:选取第一时刻的第一图像数据组和第二时刻的第二图像数据组;将该第一时刻的第一图像数据组和第二时刻的第二图像数据组加载;将该第一时刻的第一图像数据组同第二时刻的第二图像数据组重合;以及显示该第一时刻的第一图像数据组和第二时刻的第二图像数据组。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振(MR)以及超声检查之一中所获取的数据。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括CT图像序列和MR图像序列、PET图像序列和SPECT图像序列、CT和PET图像序列组合、MR和PET图像序列组合、CT和SPECT图像序列组合、MR和SPECT图像序列同超声检查的组合之一的图像。
该第一时刻的第一图像数据组和第二时刻的第二图像数据组的每一组中的图像序列包括来自治疗前、治疗中和治疗后研究的数据。
上述方面是属于代表性的实施方案,介绍的目的是帮助了解本发明。诚然不应当将它们视为对如权利要求中所限定的本发明的限制,或视为对其权利要求等同物的限制。因此,不应当将对上述方面的综述视为在确定权利要求等同物时起支配作用。从随后对附图及权利要求的说明中将会对本发明的特点有更为清晰的了解。
附图说明
图1是根据本发明的一种示例性实施方案的用于多形式可视化的系统方框图;
图2是根据本发明的示例性实施方案的用户界面;
图3是流程图,用以展示根据本发明示例性实施方案的用于多形式可视化的方法;
图4是根据本发明的示例性实施方案的病人浏览器;
图5是流程图,展示用于产生根据本发明示例性实施方案的一个时刻的层次结构;
图6为一组列表对话,显示用于加载按本发明示例性实施方案的时刻的有效和无效图像组;
图7显示根据本发明的示例性实施方案的一对重合视窗;
图8是根据本发明的示例性实施方案的用户界面;
图9是根据本发明的示例性实施方案的已加载的PET数据组的一对旋转最大强度投影(MIP);
图10是流程图,展示用于根据本发明的另一种示例性实施方案的多形态可视化的方法;
图11是根据本发明的一种示例性实施方案在3×3的显示区框内的一个等轮廓感兴趣区(VOI);
图12是根据本发明的示例性实施方案在2×2的显示区框上利用椭圆轮廓的自由格式轮廓图;
图13是根据本发明的示例性实施方案的用户界面;
图14是根据本发明的另一种示例性实施方案的用户界面;
图15是根据本发明的再一种示例性实施方案的用户界面;
图16是根据本发明的示例性实施方案的用户界面;
图17是根据本发明另一种示例性实施方案的用户界面。
具体实施方式
本发明的示例性实施方案涉及允许将一个或多个研究结果加以相互比较的多形态应用。典型地是将初始诊断同治疗后的跟踪扫描加以比较。例如,本发明可以用于进行一个或几个跟踪研究的肿瘤学情况以评估疾病的发展和对治疗的反应。本发明也适用于用变化测定来探测异常、肿瘤、癌变等的医学形态研究。
例如,本发明可以用于如下医学成像领域:用随时间的计算断层扫描(CT)或磁共振(MR)图像、正电子发射断层扫描(PET)或CT、单光子发射计算断层扫描(SPECT)实施变化探测以监测治疗反应;进行骨骼区段和异常探测以达到骨肿瘤探测;利用灌注和谱学进行肝癌探测;将灌注和谱学结合探测乳腺癌以及区分良性或恶性肿瘤;以及利用半自动和自动工具对像海马体积这种脑结构体积学进行神经学研究。
本发明使用的形态是,例如,静态衰减相关(AC)PET,动态非衰减相关(NAC)PET和呼吸选用PET;静态AC SPECT或核医学(NM)和静态NAC SPECT或NM;高分辨率CT,低分辨率CT,螺旋CT和呼吸选通CT;高分辨率磁共振(MR)图像;以及超声检查。本发明可以加载机架倾斜数据组。此外,本发明可以接受包括不等间隔的切层的图像组或包括有重叠切层的图像组。
本发明可以进一步加载静态AC PET或静态NAC PET数据组,这些数据组同来自一个病人研究,经PET/CT扫描机或在分开的设备上采集的相应的重合的CT数据组副合在一起。此外,和来自一个病人研究的对应重合CT数据组副合在一起的静态AC SPECT或静态NACSPECT数据组,经由SPECT/CT扫描机或在分开的设备上采集的,可以被加载。而且,相同形态类型的两组可以加载并显示融合在单一时刻之内。例如,本发明可允许CT数据组同另外一CT数据组相融合,其中两个数据组是经由同一CT扫描仪或不同设备采集的。
图1是根据本发明的一种示例性实施方案的用于监测疾病发展和对治疗的反应的系统100的方框图。
如图1所示,该系统100包括几种扫描设备105a,b……x,计算机110和经网络120连接的操作员操作台115。该扫描设备105a,b……x每一个可以是如下设备之一:MR成像设备、CT成像设备、螺旋CT设备、PET设备、SPECT设备、混合PET-CT设备、混合SPECT-CT设备、二维(2D)或三维(3D)荧光成像设备、2D,3D或4维(4D)超声成像设备、或X射线设备。除了上述的扫描设备之外,扫描设备105a,b……x的一个或全部可以是能够,例如,在PET模式,SPECT模式或MR模式中扫描或从单一混合设备发生PET和CT扫描的多形式或混合型扫描设备。
计算机110,可以是笔记本电脑、个人数字助理(PDA)等,包括中央处理单元(CPU)125和存储器130,它们同输入150及输出155相连接。中央处理器125包括多形态可视化模块145,该模块145包括一个或多个利用多形态可视化监测疾病发展或对治疗反应的方法。
该存储器130包括随机存取存储器(RAM)135和只读式存储器(ROM)140。存储器130还可以包括数据库,CD,DVD,盘驱动等,或它们之组合。RAMI35作为数据存储器工作储存程序在CPU125内执行期间使用的数据并作为工作区。ROM140作为程序存储器用于储存在CPU125中执行的程序。输入150由键盘,鼠标等形成,而输出155由液晶显示器(LCD),阴极射线管(CRT)显示,或打印机形成。
系统100的操作的控制来自操作员操作台115,该台包括控制器165,例如键盘,和显示160,例如CRT显示。该操作员操作台115和计算机110及扫描设备105进行通信使由扫描设备105a,b……x收集到的2D图像数据组可以由计算机110重点成3D数据,然后在显示设备160上观看和用,例如,输入150和输出155设备执行由控制器165和显示160所完成的某些任务,可以将计算机110布置成操作和显示由扫描设备105a,b……x提供的信息而不需要操作员操作台115。
操作员操作台115进一步包括可以处理采集到的图像数据组(或它们的一部分)的数字图像数据组以发生和在显示160上显示2D和/或3D图像的任何合适的图像处理系统/工具/应用软件。更具体而言,该图像处理系统可以是提供医学图像数据组的2D/3D处理和可视化的应用软件,并且它可以在未用或通用计算机工作台上执行。计算机110还可以包括图像处理系统/工具/应用软件,用于处理所采集的图像数据组的数字图像数据组以发生和显示2D和/或3D图像。
如图1所示,该多形态可视化模块145也可以为计算机110接收处理数字医学图像数据组,这些数据如上述提到的那样可以是原始图像数据组、2D重建数据(如轴向层面)、或诸如体积图像数据组或多平面重新格式化的3D重建数据,或这些格式的任意组合。该数据处理结果可经由网络120输出至操作员操作台115的图像处理系统用于根据其数据处理结果产生图像数据组的2D和/或3D重建,如器官式解剖结构的区段、彩色或强度变化等等。
图2展示了根据本发明的示例性实施方案的用户界面200。如图2所示,该用户界面200包括控制区205,显示区210和彩色或混合条215。控制区205包括诸如病人文件夹,控制图标和键225以及工作流程视窗230。控制区205是一个有着各种工具或子项的区域用以按本发明操作应用软件。显示区210为显示2D和3D图像的区域。彩色条215用于设定所显示图像的彩色分配。该彩色条215还可以包括混合滑动器用以调节所显示图像的混合因子或混合比。
工作流程窗框230包括至重合视窗230a、可视化视窗230b、最大强度投影(MIP)视窗230c、轮廓视窗230d和报告视窗230e的链接。这些链接允许用户完成由视窗230a-e各自提供的某种功能。此外,这些链接被设计成使得它们在执行这些功能时按阶梯形式进行。换言之,流程视窗230按顺序指导用户首先使用重合视窗230a将一个时刻的图像数据组重合,再利用可视化视窗230b观看图像,如此等等。
图3是流程图,展示利用按本发明的示例性实施方案的多形式可视化用于监测疾病进展和治疗反应的方法。如图3所示,用户通过图4(310)的病人浏览器400选取一个第一时刻。该第一时刻可以包括图像数据组的如下组合之一:单一CT序列;单一PET序列;单一SPECT序列;来自同一病人或不同研究的CT和PET序列的组合;来自同一病人或不同研究的CT和SPECT序列的组合。单时刻的实例性数据组的组合列于下表1。
表1
单时刻的数据组或组合
单一CT序列
单一PET-AC序列
单一PET-NAC序列
单一SPECT-AC序列
单一SPECT-NAC序列
CT序列+PET-AC序列
CT序列+PET-NAC序列
CT序列+SPECT-AC序列
CT序列+SPECT-NAC序列
单一MR序列
MR序列+PET-AC序列
MR序列+PET-NAC序列
MR序列+SPECT-AC序列
MR序列+SPECT-NAC序列
该第一时刻和随后时刻的图像数据组可以是来自治疗前、治疗期间或治疗后的研究。此外,可以包括相同的图像序列既作为第一时刻又可作为随后时刻的序列。例如,在对病人进行如图5所预示的层结构采样时,可以将高分辨率CT序列同PET AC序列的组合以形成第一时刻,并且可以将该高分辨率CT序列同一PET NAC序列组合以形成第二时刻。换言之,单个时刻可以对第一和第二时刻产生影响。
在选取第一时刻的图像数据组之后,将该图像数据组加以加载(320)。该图像数据组可以按如下方式加载:将病人浏览器400拖出所选取的图像数据组放到显示区210上;点击病人浏览器400上的延伸按钮然后双击该病人浏览器400上的相关数据。例如,用户可以在该病人浏览器400内进行相关的选择然后点击按钮进行加载。在病人浏览器400内所选择的数据的级别可以是序列,研究或该病人的级别。
也可以加载包括距离不相等的层面或覆盖层面的图像序列。此外,也可以加载诸如NM RECON TOMO(例如单个图像内作为帧数的体积)的多帧图像或不同类型的NM图像。而且可以加载螺旋CT的扫描数据。一旦加载这些数据就用图像标题信息加以验证。用这种方式,当选择包括对单一以及多个时刻的不同病人标题信息进行加载时,将可能有警告对话弹出提醒用户该病人的识别号码ID不同并且提示正确地加载图像序列的方式。该警告对话也可以用来用户修改病人ID之后的回应。在图像被验证之后,根据该图像序列建造体积,而与该体积相关联的图像则被加以显示,这一点将在以后进行讨论,此后请参照图8。
一旦该第一时刻的图像数据组被选取,则可以选择第二时刻的一个图像数据组(330)。与选取第一时刻的图像数据组相似,该第二时刻的图像数据组也可以通过病人浏览器400选择。此外,该第二时刻可以是上面对第一时刻所描述的图像序列之一。在选取用于装配的第二时刻之后将其加载(340)。对第二时刻的加载技术也是使用上面所提到的加载第一时刻的技术之一。该第二时刻被加载后则可以同第一时刻进行比较。因此,一旦第二时刻被加载并在随后加以显示,医务工作者则可以在第一和第二时刻范围内比较或诊断医学状况或对治疗的反应。
在加载第二时刻时,要判断对多时刻加载其数据组的组合是否有效,然后加以分类。对多时刻加载的有效数据组合表如下面表2所示:
表2
第一时刻 第二时刻
独个或加NAC的PET AC 独个或加NAC的PET AC
独个或加NAC+CT的PET AC
独个或加NAC+MR的PET AC
SPECT
独个或加NAC的SPECT AC 独个或加NAC的SPECT AC
独个或加NAC+CT的SPECT
独个或加NAC+MR的SPECT PET
PET
CT
独个或加NAC的CT PET AC
独个或加NAC的CT+SPECT AC
MR
MR MR
独个或加NAC的MR+PET AC
独个或加NAC的MR+SPECT AC
CT
独个或加NAC+CT的PET AC 独个或加NAC的PET AC
CT
独个或加NAC+CT的PET AC
MR
SPECT
独个或加NAC+CT的SPECTAC 独个或加NAC的SPECT AC
CT
独个或加NAC+CT的SPECT AC
MR
PET
如表2所示,假如,例如包括独个SPECT AC的数据组或加NAC数据组的SPECT AC数据组已经加载,则来自该第一时刻的SPECTNAC数据组,独个或加NAC数据组的SPECT AC数据组以及独个或加NAC和CT数据组的SPECT AC数据之一均可以作为第二时刻加以加载。但是,如果该第二时刻不是用于加载的有效数据组合之一的话,则图6的序列对话600可被显示以向用户指明用于加载的有效数据组的组合。
如图2进一步所示,PET或SPECT AC和NAC数据组没有被分开列出,因为假定只要用户选取了该PET AC数据并将其加载,则该PET AC数据组就会被加以显示。类似地,与用户选取了PET NAC数据并加以加载,该PET NAC数据将被加载并和一CT数据组一起加以显示。因此用户也可以在该PET AC和PET NAC数据组之间。对于SPECT AC/NAC数据组也有着相同的功能。
在第一时刻和第二时刻的图像数据组被加载之后,将它们加以重合(350)。重合是将医学图像数据组对准的过程。换言之,这是将不同形态(扫描设备)或同一形态在不同时刻产生的两个输入图像序列加以对准的过程步骤。在重合期间,一个数据组被固定,例如处于一种不变的位置,而其它的数据组则被加以变换,例如平移,旋转和比例变化以便使两个数据组对准。固定数据组也可以称做参照体积,而要变换的数据组被称做模式体积。因此对该模式体积进行的几何学变换是为了匹配该参照体积的解剖学。
为起动该重合处理过程,用户可点击用户界面200的工作流程视窗230中的视窗之一。例如,用户可点击图7的710a或710b的重合视窗。该重合视窗710a或710b包括一组用于本发明与不同重合方法相关的控制。例如,用户可以选择该重合视窗内的自动按钮720以起动自动重合。类似地,用户也可以选择重合视窗710b以起动直观对准。
在步骤350,可以使用几种重合方法/算法。它们是,例如,自动/交互信息重合(例如自动重合);地标重合和直观对准(例如交互匹配)。
自动重合是根据交互信息或标准后的交互信息的一种完全自动的匹配算法。但是,在起动自动重合之前,用户可实行直观对准以改善自动重合的操作特性。
自动重合包括如下步骤:将第一时刻的第一图像数据组的第一图像序列同第二图像序列相重合;将该第一时刻的第一图像数据组的第一图像序列同第二时刻的第二图像数据组的第一图像序列相重合;以及将该第二时刻的第二图像数据组的第一图像序列同该第二时刻的第二图像数据组的第二图像序列相重合。
例如,当两个CT-PET扫描加载时,该CT-PET的重合始于按顺序的第一和第二时刻。一旦该CT-PET的重合完成,其重合被起动以将该第一和第二时刻范围内的两次CT研究加以匹配。在自动重合进行时,在α混合图像(例如融合图像)中可以窥见该重合过程。过程文字也可以加以显示以指示该自动重合的当前进展。
地标重合是在两种图像序列中的非同心位置识别已知标志。从该标志开始用算式计算其重合。在已融合的数据组上完成直观对准。其参照序列保持固定并利用直观对准控制750,可以将模式序列平移/转动以实现和参照图像的对准。
在第一和第二时刻的图像数据组重合之后将它加以显示(360)。它们可以,例如,显示在用户界面200的显示区210上。诚然,只要被加载每一第一和第二时刻的图像数据组就可以被显示。此外,该第一和第二时刻的图像数据组可以在它们被重合时加以显示。而且重合的一步或多步也可以和加载的一步或多步同时发生。一旦第一和第二时刻的图像数据组被加以显示,用户就可以对第一和第二时刻进行相互比较。
图8示出了根据本发明的示例性实施方案显示加载的CT和PET图像数据组的用户界面800。同图2的用户界面200相似,已经选择性地做了布局,其用户界面200包括控制区805,显示区810和彩色或混合条815。该控制区805包括病人档案820,工作流程视窗825,以及旋转最大强度投影(MIP)830。
如图8所示,显示区810被分割成几个区。这些区域是:弧矢显示区835;冠状显示区840;轴向或者横切方向显示区845以及融合显示区850。弧矢显示区835显示平行于病人从左至右的长轴的视野。冠状显示区840显示平行于病人长轴和前后的视野。轴向和横切方向显示区845显示与病人长轴垂直的视野。融合显示区850显示融合后的图像。例如,该融合显示区850可以用于显示融合在一起的加载的CT和PET图像数据组。
诚然,显示区810可以分成比图8中更多的区域。此外,显示区835-850可以配置成以任何这样一种方式显示图像。例如,显示区835-850可以这样配置使图像的显示是一个弧矢面而在冠状视野内是两幅图像。
当数据是以任意布局加载时显示区810还可以这样配置,整个体积的多面重建(MPR)被加以计算,并且在缺省情况下显示该体积的中间载面而取决于其视野。加载数据组的细节也可以在病人的文挡区820内显示。显示区810可以进入宽屏格式以允许该显示区810扩展至控制区805。换言之,在宽屏格式下,显示区810将控制区805加以隐藏。该显示区810可以进一步被配置成显示治疗前后图像间的对比,显示有着治疗前和治疗后图像的相关MIP以及显示治疗前后图像,相关的MIP以及融合的VRI用于比对。
图9展示的是加载的PET数据组的一对旋转MIP 910a和910b。通过计算加载的体积的平行投影和观看该体积的最大值,用MIP算式产生该旋转MIP 910a和910b。MIP 910a是该旋转MIP被演示时的一个画面,而MIP 910b是该旋转MIP暂停时的一个画面。通过点击演示按钮920或暂停按钮930可以使旋转MIP 910a和910b进行转动。点击不同控制按钮如前述的帧按钮940或顺时钟/反时钟旋转按钮950,可以进一步管理和控制该旋转MIP 910a和910b。
如图9所示,在每一旋转MIP 910a和MIPb中包括有一参考线960。该参考线960指示该切面的位置和取向。对体积过滤器,该参考线960指示观察面的取向。该参考线960可与在显示区810的不同区内所显示的图像坐标对齐。因此,在显示区805内的每一幅图像上,该参考线的位置用另一参考线所指明。这样,例如,可以使医务工作者知道在该旋转MIP 910a或910b中在显示区810的某一区域内被识别的异常的位置。除了坐标对齐的参考线之外,也可以让光标坐标对齐或同各时刻相关联。因此,可以将光标指到同一研究或不同研究的图像切层上的同一位置。
图10是一流程图,展示根据本发明的示例性实施方案用多形式可视化监测疾病发展或治疗反应的另一种方法。如图10所示,用户围绕一异常(1010)画面,例如一感兴趣区(VOI)。具体做法是用户选取一种椭圆形或无规则等轮廓工具并沿该异常画出其周边。其典型做法是在图像被显示在轴向视野进行。图11所示是在显示区1100的一个3×3的范围内画出的VOI等轮廓的一个实例。
除了使用椭圆或无规则等轮廓工具之外,用户也可以用无规则形VOI工具沿异常用手画出其边界。当用手画出边界时,也可以在与该数据组相连系的MIP上对每一异常画出一水平或参考线。图12是在显示区1200的2×2范围内用椭圆形轮廓画出的无规则轮廓的实例。
在围绕异常画出VOI之后,用户可以进行一系列的操作,但是为示例目的其VOI被复制到显示区的余下部分(1020)。换言之,对应于该VOI的轮廓可以从一个时刻复制到另一个时刻。通过选择与复制相连系的控制区的控制图标或按钮可以将该VOI复制到之前或随后的图像上。这样可以将所画的轮廓或VOI复制到当前切层的下一层面或前一层面的同一2D时刻上。在复制之前或之后可以对该VOI的轮廓加以编辑。例如,可以让该轮廓线靠近以恰当地绑定该异常或者给加以彩色以便于对各种不同形式的识别。
由于该VOI被加以复制,则可以对各时刻加以连接(1030)。这样可以追踪对比信息的变化和发生。为了将VOI从一个时刻复制至另一时刻,用户选定该VOI然后点击与复制该选定的VOI至另一时刻相关的按钮。例如,用户选择该第二时刻内的一个VOI并点击其按钮。所选VOI则被复制到在合适体素坐标处的第一时刻上并被自动连接。除了将VOI从一个时刻复制到另一时刻之外,可以将所有的VOI从一个时刻复制到另一时刻。而且,假如用户试图将空间位置不一致的VOI加以连接则将显示出警告信息。
一旦VOI被复制和链接到显示区余下的部分,则可以对该VOI加以量化(1040)。但是,应当了解即使是该VOI尚未被复制仍可被量化。在量化该复制的VOI,用户可以选择在该异常上标记的任意VOI以便知道与之相关的量化参数。例如,该量化参数可以是该VOI的最大值、最小值、标准偏差、平均值、体积和中值。
在对该VOI量化之后即产生报告以便向医务工作者展示其量化参数(1050)。诚然,除了产生同多个时刻的VOI相关的多个报告之外,对只加载了单一时刻的情况也可以产生多个报告。该报告可以是包括有关第一和第二时刻的信息。该报告也可以包括信息,诸如产生时标,上次保存的时标、医院名称、站点名称、病人姓名、跟踪筛选日期、第一时刻细节、第二时刻细节、用户结论、异常的细节、对特定VOI的参考图像的连接,对包括特定VOI的图像序列的连接或对每一加载的时刻的数据组的连接。
图13-17用于展示图2的工作流程视窗,更具体而言,展示如何使用该流程视窗230按步骤实行该视窗的功能。例如,图13展示的是在进行体积重合时用户界面1300的重合视窗1310。图14展视的是在进行可视化时用户界面1400的一个可视化视窗1400,而图15展示的是进行MIP显示时用户界面1500的一个MIP视窗1510。图16展示的是进行轮廓操作时用户界面1600的一个轮廓视窗1610,而图17展示的是在产生报告时用户界面1700的一个报告视窗1700。
根据本发明的一种示例性实施方案,医务工作者可以有效地比较来自不同时刻(例如治疗前和治疗后)的病人扫描。通过自动重合和显示来自不同研究在不同时间采集的PET/CT或SPECT-CT图像,本发明帮助医务工作做出有正确信息诊断、治疗和跟踪决择。例如,本发明提供与功能PET或SPECT数据组相融合的体积重建CT图像的显示。它也能画出VOI以例计算异常内标准化的摄入值(SUV)。此外,VOI可以从一个研究复制到对比研究的合适的体素坐标。
当然本发明的实现可以用各种形式的硬件、软件、固件、专用处理器、或它们的组合。在一种实施方案中,本发明可以在作为应用程序真正置于程序储存装置(例如磁盘、RAM、CD ROM、DVD、ROM和闪速存储器)上的软件内加以实现。该应用程序可以加载到包括有任何合适的体系结构的机器上并由它加以执行。
还应该知道的是因为在附图中所指出的某些结构系统组件和方法步骤可以在软件内加以实现,所以该系统组件(或处理步骤)之间的实际连接可以不同而取决于偏离本发明的方式。就本发明在此提供的技术,本领域内的普通技术人员将能够仔细考虑本发明的这些和类似的实施或配置。
应当懂得上述说明只是展示性实施方案的代表。为使读者方便起见,上述说明集中在可能的实施方案的代表性样本上,这是一种展示本发明的原理的样本。因此,这种说明并不试图完全列举所有可能的变异。对本发明特定部分的那种可能的实施方案也未进行说明,或这种尚未进一步说明的可能的实施方案对于本发明的一部分也许是可行的,但这些都不能被认为是对这些选择性替代方案的权益的舍弃。可以实施其他的应用和实施方案,但不能偏离本发明的构思和范围。
因此旨在不将本发明限制到特别说明的实施方案,因为对于上述实施方案有着无数变更和组合及涉及对其上述的非发明替代的实施方案,但本发明是按随后的权利要求加以限定的。可以理解本发明的许多未加说明的实施方案都在所附权利要求的表述范围之内,并且对其等效物亦如此。

Claims (24)

1.用于多形式可视化的方法,包括:
选择第一时刻的第一图像数据组;
加载该第一时刻的第一图像数据组;
选择第二时刻的第二图像数据组;
加载该第二时刻的第二图像数据组;
将该第一时刻的第一图像数据组同该第二时刻的第二图像数据组重合;和
显示该第一时刻的第一图像数据组和该第二时刻的第二图像数据组。
2.权利要求1的方法,其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振(MR)和超声检查之一获取的数据。
3.权利要求2的方法,其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组分别包括CT图像序列和MR图像序列、PET图像序列和SPECT图像序列、CT和PET图像序列的组合、MR和PET图像序列的组合;CT和SPECT图像序列的组合、ME及SPECT图像序列和超声图像序列的组合。
4.权利要求3的方法,其中在该第一时刻的第一图像数据组和该第二时刻的第二图像数据组中的每一组内的图像序列包括治疗前,治疗中和治疗后之一的数据。
5.权利要求1的方法,其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组是用自动重合、地标重合和直观重合之一加以重合的。
6.权利要求5的方法,其中在使该第一时刻的第一图像数据组和该第二时刻的第二图像数据组重合期间所使用的自动重合包括:
将第一图像序列同该第一时刻的第一图像数据组的第二图像序列重合;
将该第一时刻的第一图像数据组的第一图像序列同该第二时刻的第二图像数据组的第一图像序列重合;和
将该第二时刻的第二图像数据组的第一图像序列同该第二时刻的第二图像数据组的第二图像序列重合。
7.权利要求1的方法,其中显示该第一时刻的第一图像数据组和该第二时刻的第二图像数据组的步骤包括:
显示该第一时刻的第一图像数据组的第一图像序列和第二图像序列以及该第二时刻的第二图像数据组的第一图像序列和第二图像序列。
8.权利要求7的方法,进一步包括:在该第一时刻的第一图像数据组的第一图像序列或第二图像序列和该第二时刻的第二图像数据组的第一图像序列或第二图像序列之一上画出感兴趣区(VOI);
将该VOI复制到该第一时刻的第一图像数据组和该第二时刻的第二图像数据组余下的图像序列上;和
将该第一时刻的第一图像数据组的第一图像序列和第二图像序列以及该第二时刻的第二图像数据组的第一图像序列和第二图像序列加以链接。
9.权利要求8的方法,其中该VOI是异常,肿瘤和癌变区之一。
10.权利要求8的方法,进一步包括:
对该第一时刻的第一图像数据组的第一图像序列和第二图像序列以及该第二时刻的第二图像数据组的第一图像序列和第二图像序列上的VOI加以量化。
11.权利要求10的方法,其中所指的量化是最小偏差、最大偏差、标准偏差、平均值、体积、中值、直径、面积、像素数和重心。
12.权利要求10的方法,进一步包括:
探测该VOI内的变化。
13.权利要求10的方法,进一步包括:
生成与该量化的VOI相连系的报告。
14.权利要求1的方法,进一步包括:
计算该第一时刻的第一图像数据组和该第二时刻的第二图像数据组中的一个的最大强度投影(MIP)。
15.权利要求14的方法,进一步包括:
将该MIP同该第一时刻的第一图像数据组和该第二时刻的第二图像数据组的坐标对齐。
16.用于多形式可视化的用户界面,包括:
第一显示区,用于显示第一时刻的第一图像数据组和第二时刻的第二图像数据组以比较该第一时刻的第一图像数据组和该第二时刻的第二图像数据组;
第二显示区,用于显示控制区,其中该控制区包括病人档案、工作流程视窗和控制;
其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振(MR)以及超声检查之一中获取的数据。
17.权利要求16的用户界面,其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组分别包括CT图像序列和MR图像序列、PET图像序列和SPECT图像序列、CT和PET图像序列的组合、MR和PET图像序列的组合、CT和SPECT图像序列的组合、MR和SPECT图像序列及超声检查的组合之一。
18.权利要求17的用户界面,其中该第一时刻的第一图像数据组和该第二时刻的第二图像数据组的每一个中的图像序列包括来自治疗前、治疗中和治疗后之一的数据。
19.权利要求16的用户界面,其中当该第一时刻的第一图像数据组和该第二时刻的第二图像数据组各自被显示在弧矢视野,冠状视野和轴向视野之一时,该第一图像数据组和第二图像数据组显示在融合视野内。
20.权利要求16的用户界面,其中该工作流程视窗包括至重合视窗、可视化视窗、最大强度视窗(MIP)、轮廓视窗和报告视窗之一的链接。
21.用于多形式可视化的系统,包括:
用于储存程序的存储器设备;
与该存储器设备通信的处理器,该处理器用该程序运行,以:
选择第一时刻的第一图像数据组和第二时刻的第二图像数据组;
加载该第一时刻的第一图像数据组和第二时刻的第二图像数据组;
将该第一时刻的第一图像数据组同第二时刻的第二图像数据组重合;以及
显示该第一时刻的第一图像数据组和第二时刻的第二图像数据组。
22.权利要求21的系统,其中该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括从计算断层扫描(CT)、正电子发射断层扫描(PET)、单光子发射计算断层扫描(SPECT)、磁共振(MR)和超声检查之一中获取的数据。
23.权利要求22的系统,其中该第一时刻的第一图像数据组和第二时刻的第二图像数据组分别包括CT图像序列和MR图像序列、PET图像序列和SPECT图像序列、CT和PET图像序列的组合、MR和PET图像序列的组合、CT和SPECT图像序列的组合、MR和SPECT图像序列和超声图像序列的组合之一。
24.权利要求23的系统,其中该第一时刻的第一图像数据组和第二时刻的第二图像数据组的每一个中的图像序列包括来自治疗前、治疗中和治疗后的研究之一的数据。
CNA2005800286883A 2004-06-18 2005-06-15 利用多形式可视化监测疾病发展和对治疗反应的系统和方法 Pending CN101010696A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US58113604P 2004-06-18 2004-06-18
US60/581,136 2004-06-18
US11/146,788 2005-06-07

Publications (1)

Publication Number Publication Date
CN101010696A true CN101010696A (zh) 2007-08-01

Family

ID=38698127

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2005800280355A Active CN101006465B (zh) 2004-06-18 2005-06-13 横跨时间点链接vois以分析疾病进展或者对治疗的响应的系统和方法
CNA2005800286883A Pending CN101010696A (zh) 2004-06-18 2005-06-15 利用多形式可视化监测疾病发展和对治疗反应的系统和方法
CNA2005800278618A Pending CN101019152A (zh) 2004-06-18 2005-06-15 用于载入时点以分析疾病进展或治疗反应的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2005800280355A Active CN101006465B (zh) 2004-06-18 2005-06-13 横跨时间点链接vois以分析疾病进展或者对治疗的响应的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA2005800278618A Pending CN101019152A (zh) 2004-06-18 2005-06-15 用于载入时点以分析疾病进展或治疗反应的系统和方法

Country Status (1)

Country Link
CN (3) CN101006465B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016061802A1 (zh) * 2014-10-24 2016-04-28 通用电气公司 一种在当前超声影像上显示感兴趣区域的方法及装置
CN106333700A (zh) * 2015-07-09 2017-01-18 三星麦迪森株式会社 医学成像设备及其操作方法
CN107019487A (zh) * 2016-02-02 2017-08-08 深圳市巨烽显示科技有限公司 医疗影像显示方法及装置
CN110910374A (zh) * 2019-11-25 2020-03-24 华中科技大学同济医学院附属协和医院 一种主动脉影像智能处理系统及方法
CN111373438A (zh) * 2017-10-17 2020-07-03 透视诊断有限公司 用于对器官成像的方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290303B2 (en) 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
US9451924B2 (en) * 2009-12-30 2016-09-27 General Electric Company Single screen multi-modality imaging displays
CN104750951A (zh) * 2013-11-21 2015-07-01 上海联影医疗科技有限公司 一种医疗图像数据的分析处理方法及装置
JP6563942B2 (ja) * 2014-02-12 2019-08-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 病変サイズ傾向をモニタリングするシステムおよびその動作方法
CN106157287B (zh) * 2015-04-03 2019-09-06 东芝医疗系统株式会社 数据处理装置、数据处理方法和医学图像设备
DE102016200433B4 (de) * 2016-01-15 2024-05-23 Siemens Healthineers Ag Verfahren zur Planung einer Bestrahlung eines Patienten und Bestrahlungsplanungseinheit
CN110537930A (zh) 2019-09-06 2019-12-06 上海联影医疗科技有限公司 图像重建方法及装置、设备、存储介质
CN113160947A (zh) * 2021-05-18 2021-07-23 上海商汤智能科技有限公司 医学图像的展示方法及装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1331454A (zh) * 2000-06-24 2002-01-16 王建华 医学数字图象动态监测方法
US7283652B2 (en) * 2002-11-27 2007-10-16 General Electric Company Method and system for measuring disease relevant tissue changes

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016061802A1 (zh) * 2014-10-24 2016-04-28 通用电气公司 一种在当前超声影像上显示感兴趣区域的方法及装置
CN106333700A (zh) * 2015-07-09 2017-01-18 三星麦迪森株式会社 医学成像设备及其操作方法
US10789707B2 (en) 2015-07-09 2020-09-29 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
CN106333700B (zh) * 2015-07-09 2021-09-24 三星麦迪森株式会社 医学成像设备及其操作方法
CN107019487A (zh) * 2016-02-02 2017-08-08 深圳市巨烽显示科技有限公司 医疗影像显示方法及装置
CN111373438A (zh) * 2017-10-17 2020-07-03 透视诊断有限公司 用于对器官成像的方法和装置
CN110910374A (zh) * 2019-11-25 2020-03-24 华中科技大学同济医学院附属协和医院 一种主动脉影像智能处理系统及方法

Also Published As

Publication number Publication date
CN101006465B (zh) 2013-03-20
CN101019152A (zh) 2007-08-15
CN101006465A (zh) 2007-07-25

Similar Documents

Publication Publication Date Title
CN101010696A (zh) 利用多形式可视化监测疾病发展和对治疗反应的系统和方法
US7616799B2 (en) System and method for monitoring disease progression or response to therapy using multi-modal visualization
JP4571187B2 (ja) 病気の進行または治療効果を解析するために関心領域を複数の時点にわたってリンクさせるシステムおよび方法
US9020235B2 (en) Systems and methods for viewing and analyzing anatomical structures
CN101032423B (zh) 实时交互式数据分析管理工具
CN102855618B (zh) 用于图像产生和图像分析的方法
US7840050B2 (en) System and method for piecewise registration of timepoints
CN103222876B (zh) 医用图像处理装置、图像诊断装置、计算机系统以及医用图像处理方法
US20060030769A1 (en) System and method for loading timepoints for analysis of disease progression or response to therapy
CN102231963A (zh) 重新参数化的牛眼图
CN104750951A (zh) 一种医疗图像数据的分析处理方法及装置
CN104969265A (zh) 为用户显示第一绘制投影和第二绘制投影之间的过渡的方法和系统
Slomka et al. Automated three-dimensional quantification of myocardial perfusion and brain SPECT
Schellingerhout et al. Coregistration of head CT comparison studies: assessment of clinical utility
Prakken et al. PET/MRI in practice: a clinical centre survey endorsed by the European Association of Nuclear Medicine (EANM) and the EANM Forschungs GmbH (EARL)
Zanzonico et al. Introduction to clinical and laboratory (small-animal) image registration and fusion
Antonica et al. Useful diagnostic biometabolic data obtained by PET/CT and MR fusion imaging using open source software
Forsberg et al. Synchronized navigation of current and prior studies using image registration improves radiologist’s efficiency
Wu et al. Toward a multimodal diagnostic exploratory visualization of focal cortical dysplasia
Grafe et al. Intra-Individual Comparison of 124I-PET/CT and 124I-PET/MR Hybrid Imaging of Patients with Resected Differentiated Thyroid Carcinoma: Aspects of Attenuation Correction
Augustine et al. Comprehensive, powerful, efficient, intuitive: a new software framework for clinical imaging applications
Sunako et al. Introduction and Implementation of a System to Share Findings with ROI for PET Diagnosis Support
Sibomana et al. Head and neck multimodality volumes visualization methods
JP2005044299A (ja) 医用情報管理装置、方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication