CN101484919B - 借助于运动模型的心脏形状预测 - Google Patents
借助于运动模型的心脏形状预测 Download PDFInfo
- Publication number
- CN101484919B CN101484919B CN2007800251351A CN200780025135A CN101484919B CN 101484919 B CN101484919 B CN 101484919B CN 2007800251351 A CN2007800251351 A CN 2007800251351A CN 200780025135 A CN200780025135 A CN 200780025135A CN 101484919 B CN101484919 B CN 101484919B
- Authority
- CN
- China
- Prior art keywords
- model
- registration
- meshes
- propagation
- mean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种系统(100),用于基于第一平均模型网格和第二平均模型网格传播模型网格,所述系统包括:配准单元(110),用于计算将第一模型网格与所述平均模型网格进行配准的配准变换;正变换单元(120),用于使用配准变换将模型网格变换为经配准的模型网格;计算单元(130),用于计算用以传播所述经配准的模型网格的传播场,所述传播场包括第二平均模型网格的顶点相对于第一平均模型网格的相应顶点的位移矢量;传播单元(140),用于基于将包括在传播场中的顶点位移矢量应用于经配准的模型网格的各个顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及逆变换单元(150),用于使用配准变换的逆变换,将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。使用包括第二平均模型网格的顶点相对于第一平均模型网格的相应顶点的位移矢量的传播场改进了解剖形状的运动的建模。有利地,顶点位移矢量的传播场是直接计算并应用的。
Description
技术领域
本发明涉及解剖形状的医学成像领域,更具体的涉及对解剖形状的运动进行建模。
背景技术
在C.Lorenz和J.von Berg的题为“Towards a comprehensive geometricmodel of the heart”的文章中说明了一种用于人心脏运动进行建模的方法,其发表在FIMH,Proceeding of the Third international Workshop,第102-112页,Springer-Verlag 2005,下文中称为参考文献1。在这篇文章中,借助于模型网格来描述人心脏。用模型空间变换来说明从心动周期的第一阶段到心动周期的第二阶段的模型网格的运动。用可能稀疏的变形场的平滑内插值(例如薄板样条内插(thin-plate-splines interpolation))来估计该模型空间变换,该变形场包括参考模型的一组心脏标记的位移,对于该位移已知了位移矢量。将模型网格变换到参考模型空间中,并使用对于参考模型的标记的位移矢量的所述平滑内插,来估计变换后的模型网格的标记的位移矢量。不幸的是,内插得到的位移矢量在模型网格的运动模型中引入了误差。
发明内容
获得能够更好地对单个网格的运动进行建模的系统是有优势的。
为了更好的解决这个所关注的问题,在本发明的一个方面中,一种用于基于第一平均模型网格和第二平均模型网格传播模型网格的方法包括:
-配准单元,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换;
-正变换单元,用于使用所述配准变换将模型网格变换为经配准的模型网格;
-计算单元,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量;
-传播单元,用于基于将包括在传播场中的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换单元,用于采用配准变换的逆变换,将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。
第一平均模型网格和第二平均模型网格可以描述在运动的两个不同阶段的解剖形状,例如在心动周期的第一阶段和心动周期的第二阶段的人的心脏。两个平均模型网格都具有相同的网格拓扑。在J.von Berg和C.Lorenz的“Multi-surface cardiac Modeling,Segmentation and Tracking”中说明了一种用于在平均模型空间中构建一系列平均模型网格的方法,其中该系列平均模型网格描述了在心动周期不同阶段的人心脏,该文章发表在FIMH,Proceeding of the Third international Workshop,第1-11页,Springer-Verlag2005,下文中称为参考文献2。模型网格可以是适于个体图像数据的网格,其中所述个体图像数据描述了在心动周期第一阶段的个人心脏。通常,模型网格和平均模型网格具有相同的网格拓扑。
配准单元被布置为计算用于将所述模型网格与第一平均模型网格进行配准的配准变换。可以将模型网格嵌入到与图像数据空间(通常是三维(3D)欧几里德空间)相关的模型空间中。可以借助在模型空间坐标系中的模型网格顶点坐标来描述模型网格。类似的,可以借助于第一平均模型网格和第二平均模型网格在平均模型空间坐标系统(通常是3D欧几里德空间)中的顶点坐标来描述第一平均模型网格和第二平均模型网格。配准变换可以是模型网格空间中的可逆变换,例如相似变换。正变换单元被布置为使用配准变换将模型网格变换为经配准的模型网格。计算单元被布置为计算用于传播经配准的模型网格的传播场,该传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量。传播单元被布置为借助所计算的传播场的各顶点位移矢量来平移经配准的模型网格的各顶点,从而将经配准的模型网格变换为传播的经配准的模型网格。逆变换单元被布置为将配准变换的逆变换应用于传播的经配准的模型网格,从而将传播的经配准的模型网格变换为传播的模型网格。传播的模型网格描述了在心动周期的第二阶段的个人心脏。
通常,与参考文献1中所述的基于包含有以第二平均模型网格的多个顶点相对于第一平均模型网格相应顶点的位移矢量为基础而内插值得到的矢量的传播场的传播的模型网格相比,基于包含有第二平均模型网格的多个顶点相对于第一平均模型网格相应顶点的位移矢量的传播场的传播的模型网格更好地描述了在心动周期第二阶段的模型化的个人心脏。这可以是起因于这个事实:即,平均模型网格的顶点位移从顶点到顶点之间会发生显著的变化。这样,内插值得到的顶点位移常常不如本发明系统所用的平均模型顶点位移准确。因此,本发明的系统改进了个人心脏的运动的建模。有利的,平均模型顶点位移矢量的传播场是直接计算并应用的。
在该系统的一个实施例中,该系统还包括调整单元,用于基于将网格调整为适应于图像数据来构建模型网格。在J.Weese等人的题为“Shapeconstrained deformable models for 3D medical image segmantation”的文章中,Proc.IPMI,第380-387页,Springer 2001,下文中称为参考文献3,说明了一种用于调整三角形网格的适合的调整方法。调整单元还允许使用本发明的系统来构建模型网格。
在该系统的一个实施例中,该系统还包括构建单元,用于基于第一训练图像数据集构建第一平均模型网格,并基于第二训练图像数据集构建第二平均模型网格。构建单元允许使用本发明的系统来构建第一平均模型网格和第二平均模型网格。在参考文献2中说明了一种用于构建一系列平均模型网格来描述在心动周期的不同阶段的人心脏的方法。
在该系统的一个实施例中,第一平均模型网格描述了在第一时刻的模型化的解剖形状,第二平均模型网格描述了在第二时刻的模型化的解剖形状。因此,可以将该系统有利地应用于对由模型网格描述的解剖形状(例如人心脏)的运动进行建模。例如,时序信息允许确定模型网格的顶点的速度。
在本发明进一步的方面中,一种图像采集设备包括用于基于第一平均模型网格和第二平均模型网格来传播模型网格的系统,所述系统包括:
-配准单元,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换;
-正变换单元,用于使用所述配准变换将模型网格变换为经配准的模型网格;
-计算单元,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量;
-传播单元,用于基于将传播场的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换单元,用于使用配准变换的逆变换将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。
在本发明进一步的方面中,一种包括用于基于第一平均模型网格和第二平均模型网格来传播模型网格的系统的工作站,所述系统包括:
-配准单元,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换;
-正变换单元,用于使用所述配准变换将模型网格变换为经配准的模型网格;
-计算单元,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量;
-传播单元,用于基于将传播场的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换单元,用于使用配准变换的逆变换将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。
在本发明进一步的方面中,一种基于第一平均模型网格和第二平均模型网格传播模型网格的方法,包括:
-配准步骤,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换;
-正变换步骤,用于使用所述配准变换将模型网格变换为经配准的模型网格;
-计算步骤,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量;
-传播步骤,用于基于将传播场的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换步骤,用于使用配准变换的逆变换,将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。
在本发明进一步的方面中,一种用于基于第一平均模型网格和第二平均模型网格传播模型网格的装置包括:
-配准模块,用于计算用以将所述模型网格与所述第一平均模型网格进行配准的配准变换;
-正变换模块,用于使用所述配准变换将所述模型网格变换为经配准的模型网格;
-计算模块,用于计算用以传播所述经配准的模型网格的传播场,所述传播场包括所述第二平均模型网格的顶点相对于所述第一平均模型网格的相应顶点的位移矢量;
-传播模块,用于基于将包括在所述传播场中的所述顶点位移矢量应用于所述经配准的模型网格的相应顶点,来将所述经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换模块,用于使用所述配准变换的逆变换,将所述传播的经配准的模型网格变换为所述传播的模型网格,从而传播所述模型网格。
基于本说明书,技术人员可以实施对应于所述系统的修改及其变化的所述图像采集设备、工作站、方法和/或计算机程序产品的修改及其变化。
技术人员会意识到,可以将该方法应用于通过各种采集形式采集的三维(3D)图像数据和四维(4D)的依赖于时间的图像数据,例如但不局限于:常规X射线、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、和核医学(NM)。
附图说明
相对于下文所述的执行过程和实施例,并参考附图,来阐明本发明的这些及其它方面,并从而变得显而易见,其中:
图1示意性的显示了系统的示范性实施例的框图;
图2显示了方法的示范性执行过程的流程图;
图3显示了方法的示范性执行过程的功能图;
图4显示了基于方法的模型网格多次传播的第一示范性执行过程的功能图;
图5显示了基于方法的模型网格多次传播的第二示范性执行过程的功能图;
图6显示了包含调整步骤的方法的示范性执行过程的功能图;
图7示意性的显示了图像采集设备的示范性实施例;及
图8示意性的显示了工作站的示范性实施例。
在全部附图中相同的参考数字标记用于表示相似的部分。
具体实施方式
图1示意性的显示了系统的示范性实施例的框图,该系统用于基于第一平均模型网格和第二平均模型网格传播模型网格,该系统包括:
-配准单元110,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换;
-正变换单元120,用于使用所述配准变换将模型网格变换为经配准的模型网格;
-计算单元130,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量;
-传播单元140,用于基于将传播场的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换单元150,用于使用配准变换的逆变换,将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。
系统100的示范性实施例还包括以下可选单元:
-调整单元102,用于基于将网格调整为适应于图像数据,来构建模型网格;
-构建单元104,用于基于第一训练图像数据集构建第一平均模型网格,并基于第二训练图像数据集构建第二平均模型网格;
-控制单元160,用于控制系统100中的工作流程;
-用户接口165,用于与系统100的用户进行通信;及
-存储器单元170,用于存储数据。
在系统100的示范性实施例中有三个输入连接器181、182和183,用于输入的数据。第一输入连接器181被布置为从数据存储设备接收数据输入,所述数据存储设备例如但不限于:硬盘、磁带、闪存或光盘。第二输入连接器182被布置为从用户输入设备接收数据输入,所述用户输入设备例如但不限于:鼠标或触摸屏。第三输入连接器183被布置为从诸如键盘的用户输入设备接收数据输入。输入连接器181、182和183连接到输入控制单元180。
在系统100的示范性实施例中有两个输出连接器191和192,用于输出数据。第一输出连接器191被布置为将数据输出到数据存储设备,所述数据存储设备例如但不限于:硬盘、磁带、闪存或光盘。第二输出连接器192被布置为将数据输出到显示设备。输出连接器191和192经由输出控制单元190接收各自的数据。
技术人员会明白存在许多方式来将输入设备连接到系统100的输入连接器181、182和183,并将输出设备连接到系统100的输出连接器191和192。这些方式包括但不限于:有线和无线连接,数字网络,例如但不限于局域网(LAN)和广域网(WAN)、互联网、数字电话网,以及模拟电话网。
在系统100的示范性实施例中,系统100包括存储器单元170。系统100被布置为从外部设备经由任一输入连接器181、182和183接收输入数据,并将接收的输入数据存储在存储器单元170中。将输入数据装入存储器单元170允许系统100中的单元对相关数据部分进行快速存取。输入数据可以包括:例如模型网格、第一平均模型网格和第二平均模型网格。可替换地,输入可以包括:网格,用于构建模型网格;图像数据,用于基于将网格调整为适应于所述图像数据来构建模型网格;第一组训练图像,用于构建第一平均模型网格;以及第二组训练图像,用于构建第二平均模型网格。存储器单元170可以由以下设备来实现,例如但不限于:随机存取存储器(RAM)芯片、只读存储器(ROM)芯片、和/或硬盘驱动器和硬盘。存储器单元170可以进一步被布置为存储输出数据。输出数据可以包括例如传播的模型网格。存储器单元170还被布置为经由存储器总线175从系统100中的单元接收数据并向这些单元传递数据,系统100中的单元包括:调整单元102、构建单元104、配准单元110、正变换单元120、计算单元130、传播单元140、逆变换单元150、控制单元160和用户接口165。存储器单元170还被布置为使外部设备可以经由任一输出连接器191和192获得输出数据。将来自系统100中的单元的数据存储在存储器单元170中可以有利地改进系统100中的单元的性能,以及输出数据从系统100中的单元传递到外部设备的速率。
可替换的,系统100可以不包括存储器单元170和存储器总线175。可以由连接到系统100中的单元的至少一个外部设备(例如外部存储器或处理器)提供系统100所使用的输入数据。类似地,系统100所产生的输出数据可以提供给连接到系统100的单元的至少一个外部设备(例如外部存储器或处理器)。系统100中的单元可以被布置为经由内部连接或经数据总线从彼此接收数据。
在图1所示的系统100的示范性实施例中,系统100包括控制单元160,用于控制系统100中的工作流程。控制单元可以被布置为从系统100中的单元接收控制数据并向这些单元提供控制数据。例如,在由配准单元110计算了配准变换之后,配准单元110可以被布置为向控制单元160提供控制数据“计算了配准变换”,控制单元160可以被布置为向正变换单元120提供进一步的控制数据“变换模型网格”,请求正变换单元120计算经配准的模型网格。可替换地,可以在系统100的另一个单元中实现控制功能。
在图1所示的系统100的示范性实施例中,系统100包括用户接口165,用于与系统100的用户进行通信。用户接口165可以被布置为提示用户,并接受用户输入,例如用于指定包含第一平均模型网格和第二平均模型网格的文件。用户接口165还可以提供向用户提供顶点位移矢量的传播场的理解。可选地,用户接口可以接收用户输入,用于选择系统100的操作模式,例如用于使用调整单元来将网格调整为适应于图像数据的模式。技术人员会明白可以在系统100的用户接口165中有利地实现更多功能。
任选的,在系统100进一步的实施例中,系统100可以包括输入设备,例如鼠标或键盘,和/或输出设备,例如显示器。技术人员会明白存在可以有利地包含在系统100中的大量输入和输出设备。
本发明的系统100可以用于对解剖形状(例如成人的心脏)的运动进行例如成人的心脏。模型网格可以是被调整为适应于用以描述在心动周期第一阶段(例如在心脏舒张期的终点)的心脏的图像的网格。第一平均模型网格是用于对在心脏舒张期终点的成人的“平均”心脏进行建模的网格。可以采用对用以描述多个成人的多个心脏的多个网格进行的Procrustes分析和/或主要组件分析(PCA)来构建第一平均模型网格。在I.L.Dryden和K.V.Mardia的题为“Statistical Shape Analysis”的书,John Wiley & Sons;Chichester,UK,1998,中说明了Procrustes分析和/或PCA,在下文中称为参考文献4。可以通过将网格调整为适应于来自多个训练图像的训练图像,来获得所述多个网格中的每一个网格,其中每一个训练图像都描述了在心脏舒张期终点的成人的心脏。在IEEE Transaction on Medical Imaging,vol.22,no.8,2003中的M.R.Kaus等人的题为“Automated 3-D PDM ConstructionFrom Segmented Image Using Deformable Models”的文章中说明了一种基于多个训练图像来构建多个网格的方法,下文中称为参考文献5。可以以类似的方式来构建第二平均模型网格,其用于对在第二阶段(例如在心脏舒张期终点之后或之前的阶段的)的心脏进行建模。在参考文献2中说明了一种用于在平均模型空间中构建一系列平均模型网格的方法,这个系列平均模型网格描述了在心动周期的不同阶段的人心脏。
由系统100基于第一平均模型网格和第二平均模型网格来传播模型网格。传播的模型网格对在心动周期第二阶段的成人的心脏进行建模。所有这四个网格,模型网格、第一平均模型网格、第二平均模型网格和传播的模型网格都具有相同的拓扑。
通常借助于第一平均模型网格和第二平均模型网格的顶点在平均模型空间坐标系中的坐标来描述第一平均模型网格和第二平均模型网格。通常将平均模型空间描述为3D欧几里德空间。可以借助在平均模型空间坐标系中第二平均模型网格的多个顶点相对于第一平均模型网格的相应顶点的位移矢量来描述在第一平均模型网格与第二平均模型网格之间的关系。平均模型空间坐标系可以基于人解剖结构,例如基于脊椎骨。在系统100的一个实施例中,消除了第二平均模型网格相对于第一平均模型网格的平移,例如通过将第一平均模型网格与第二平均模型网格以使两者的质心在同一位置上(例如在平均模型空间坐标系的原点上)的方式进行平移。在系统100的一个实施例中,消除了第二平均模型网格相对于第一平均模型网格的旋转,例如通过使第一平均模型网格的惯性张量的轴与平均模型空间坐标系的轴对准并且使第二平均模型网格的惯性张量的轴与平均模型空间坐标系的轴对准。技术人员会明白存在用于定义第二平均模型网格相对于第一平均模型网格的位移的其它方法,并且上述的方法是用于说明本发明的,而不是用于限制权利要求的范围。
配准单元110被布置为计算用以将模型网格p与第一平均模型网格m1进行配准的配准变换R。借助模型网格p的顶点在模型空间坐标系中的坐标可以方便地描述模型网格p。随后可以将模型网格的配准变换R定义为模型网格坐标的变换。通常,从模型空间的变换T的类C中选出所计算的配准变换R。由多个参数来指定每一个变换T,允许这些参数在参数特定范围内变化。在一个实施例中,用于计算配准变换R的变换的类C是刚性变换类。可以由6个独立参数来指定每一个刚性变换。在进一步的实施例中,用于计算配准变换R的变换的类C可以是相似变换类或仿射变换类。由7个参数来指定每一个相似变换,由12个参数来指定每一个仿射变换。在更普遍的实施例中,用于计算配准变换R的变换的类C可以包括分段仿射变换。指定分段仿射变换的参数的数量取决于将平均模型空间划分为成分仿射变换的域的情况。例如,可以通过将作为变换T参数的函数的代价函数d(T(p),m1)进行优化,来计算配准变换R的参数值。可以用模型空间坐标系中模型网格p的坐标和平均模型空间坐标系中平均模型网格m1的坐标来容易地定义代价函数d。例如,可以借助于在经变换的模型网格T(p)的顶点与第一平均模型网格m1的相应顶点之间的距离函数来定义代价函数,其中变换模型网格T(p)的顶点由其在模型网格空间坐标系中的坐标来描述,第一平均模型网格m1的各顶点由其在平均模型网格空间坐标系中的坐标来描述。代价函数的优化可以是使距离函数最小。距离函数d例如可以是标准欧几里得度量,或者可以是黎曼几何度量。技术人员会认识到,所描述的用于将模型网格与第一平均模型网格进行配准的方法是用于说明本发明的,而不是用于限制权利要求的范围。
正变换单元120被布置为将由配准单元110计算的配准变换R应用于模型网格p。随后,通过将传播场F的顶点位移矢量应用于模型空间中经配准的模型网格的各顶点,来由传播单元140将经配准的模型网格R(p)变换为传播的经配准的模型网格F(R(p))。由计算单元130计算顶点位移矢量的传播场F。传播场F包括第二平均模型网格m2的顶点在平均模型网格空间中相对于第一平均模型网格m1的相应顶点的位移矢量。逆变换单元150被布置为将配准变换R的逆变换应用于传播的经配准的模型网格F(R(p)),产生传播的模型网格R-1(F(R(p)))。
图2显示了用于基于第一平均模型网格与第二平均模型网格传播模型网格的方法200的示范性执行过程的流程图。该方法开始于配准步骤210,用于计算用以将所述模型网格与第一平均模型网格进行配准的配准变换。在计算了配准变换之后,方法200继续前进到正变换步骤220,用于使用所述配准变换将模型网格变换为经配准的模型网格。在正变换步骤220之后,方法200继续前进到计算步骤230,用于计算用以传播经配准的模型网格的传播场,所述传播场包括第二平均模型网格的顶点相对于第一平均模型网格的相应顶点的位移矢量。在计算步骤230之后,方法200继续前进到传播步骤240,用于基于将传播场的顶点位移矢量应用于经配准的模型网格的相应顶点,来将经配准的模型网格变换为传播的经配准的模型网格。接下来,方法200继续前进到逆变换步骤250,用于使用配准变换的逆变换将传播的经配准的模型网格变换为传播的模型网格,从而传播模型网格。在逆变换步骤250之后,方法200结束。在图3中概括了该方法的各个步骤,其显示了方法200的示范性执行过程的功能图。
在系统100的实施例中,系统100可以被布置为构建一系列模型网格(p1,p2,p3,…,pn)。图4显示了基于方法200的模型网格(其也称为第一模型网格)的多次传播的第一示范性执行过程的功能图。配准单元110被布置为计算用于将第一模型网格p1与第一平均模型网格m1进行配准的第一配准变换R1。系统100将第一模型网格p1变换为传播的第一模型网格R1 -1(F1,2(R1(p1))),其也称为第二模型网格p2。由计算单元130计算的传播场F1,2包括第二平均模型网格m2的顶点在平均模型网格空间坐标系中相对于第一平均模型网格m1的相应顶点的位移矢量。系统100进一步被布置为将第一模型网格p1变换为另一个传播的第一模型网格R1 -1(F1,3(R1(p1))),其也称为第三模型网格p3。由计算单元130计算的传播场F1,3包括第三平均模型网格m3的顶点在平均模型网格空间坐标系中相对于第一平均模型网格m1的相应顶点的位移矢量。技术人员会明白,包括在传播场F1,3中的顶点位移矢量是传播场F1,2和F2,3的各顶点位移矢量之和。因此,也可以通过将传播场F2,3应用于传播的经配准的第一网格F1,2(R1(p1))来获得第三模型网格。可以由计算单元130来计算传播场F2,3,并且传播场F2,3包括第三平均模型网格m3的顶点相对于第二平均模型网格m2的相应顶点的位移矢量。将系统100反复地用于传播第一模型网格,直到构建了最后的传播的网格pn=(R1 -1(F1,n(R1(p1)))),n是在序列(p1,p2,p3,…,pn)中的模型网格的数量。由计算单元130所计算的传播场F1,n包括第n个平均模型网格mn的顶点在平均模型网格空间坐标系中相对于第一平均模型网格m1的相应顶点的位移矢量。这个模型网格序列(p1,p2,p3,…,pn)可以描述解剖形状,例如在心动周期的连续阶段中的心脏,并且例如可以用于图示出心脏运动,并以电影形式来显示。
在系统100的一个实施例中,系统100可以被布置为以不同方式来构建一系列模型网格(p1,p2,p3,…,pn)。图5显示了基于方法200的模型网格(其也称为第一模型网格)的多次传播的第二示范性执行过程的功能图。配准单元110被布置为计算用于将第一模型网格p1与第一平均模型网格m1进行配准的第一配准变换R1。系统100将第一模型网格p1变换为传播的第一模型网格R1 -1(F1,2(R1(p1))),其也称为第二模型网格p2。由计算单元130所计算的传播场F1,2包括第二平均模型网格m2的顶点在平均模型网格空间坐标系中相对于第一平均模型网格m1的相应顶点的位移矢量。接下来,配准单元110被布置为计算用于将第二模型网格p2与第二平均模型网格m2进行配置的第二配准变换R2。系统100进一步被布置为将第二模型网格p2变换为传播的第二模型网格R2 -1(F2,3(R2(p2))),其也称为第三模型网格p3。由计算单元130所计算的传播场F2,3包括第三平均模型网格m3的顶点在平均模型网格空间坐标系中相对于第二平均模型网格m2的相应顶点的位移矢量。将由系统100的各单元执行的正变换步骤220、传播步骤240和逆变换步骤250反复用于将模型网格pi-1变换为模型网格pi=(Ri-1 -1Fi-1,iRi-1)(pi-1),i=2,…,n,直到构建了该序列的最后的模型网格pn。由配准单元110计算用于将模型网格pi-1与平均模型网格mi-1进行配准的配准变换Ri-1。由计算单元130所计算的传播场Fi-1,i包括第二平均模型网格mi的顶点在平均模型网格空间坐标系中相对于第一平均模型网格mi-1的相应顶点的位移矢量。该模型网格序列(p1,p2,p3,…,pn)可以描述解剖形状,例如在心动周期的连续阶段中的心脏,并且例如可以用于图示出心脏运动,并以电影形式来显示。
模型网格的多次传播的第二示范性执行过程的计算成本略高于模型网格的多次传播的第一示范性执行过程的计算成本。可以通过使用处理器带宽和/或计算时间来确定计算成本。然而,使用模型网格的多次传播的第二示范性执行过程所计算的模型网格序列(p1,p2,p3,…,pn)与使用模型网格的多次传播的第一示范性执行过程所计算的模型网格序列(p1,p2,p3,…,pn)相比,可以更好地描述模型化的解剖形状。
在系统100的一个实施例中,系统100还包括调整单元102,用于将网格调整为适应于图像数据。在参考文献3中说明了一种用于调整三角形网格的适合的调整方法。技术人员会明白,还可以由系统100使用在该文献中所述的其它调整方法,并且权利要求的范围不受对具体调整方法的选择的限制。图像数据可以描述在心动周期一个阶段的成人的心脏。将调整单元102被布置为将网格q调整为适应于图像数据,从而构建经调整的网格p。经调整的网格p是要由系统100传播的模型网格。也可以将网格q调整为适应于图像数据的效果描述为使用调整变换A将网格q变换为经调整的网格p=A(q)。经调整的网格A(q)可以是模型网格p。系统100的单元可以进一步传播经调整的网格p=A(q)。图6显示了包含调整步骤的方法的示范性执行过程的功能图。
可以在方法200中执行基于调整网格以适应于图像数据而构建模型网格的调整步骤。在该调整步骤中,方法200可以使用调整变换A将网格q变换为模型网格p=A(q)。
在系统100的一个实施例中,系统100还包括构建单元(104),用于基于第一训练图像数据集构建第一平均模型网格,并基于第二训练图像数据集构建第二平均模型网格。所述构建单元允许构建第一平均模型和第二平均模型。第一平均模型网格可以是用于对在心动周期第一阶段的“平均”成人心脏进行建模的模型网格。可以基于用于描述多个成人的多个心脏的多个网格来构建第一平均模型网格。可以使用对多个网格的Procrustes分析和/或主要组件分析(PCA)来构建第一平均模型网格。在参考文献4中说明了Procrustes分析和PCA。可以通过将网格调整为适应于来自多个训练图像的一个训练图像来获得多个网格中的每一个网格,其中每一个训练图像都描述了在心动周期第一阶段的多个成人中的一个成人的心脏。在参考文献5中说明了一种用于基于多个训练图像构建多个网格的方法。可以以类似的方式来构建用于对在第二阶段的心脏进行建模的第二平均模型网格。在参考文献2中说明了用于在平均模型空间中构建一系列平均模型网格的方法,该平均模型网格序列描述了在心动周期不同阶段的人的心脏。
可以在方法200中执行构建步骤,用于基于第一训练图像数据集来构建第一平均模型网格,并基于第二训练图像数据集来构建第二平均模型网格。
系统100和方法200可以用于对除了取决于时间的可变性之外的解剖形状的可变性进行建模。例如,对于患者人群来说,可以对起因于患者年龄、疾病阶段,或起因于患者体重的解剖形状的可变性进行建模。尽管将心脏用作示范性解剖形状来说明了该系统的实施例和该方法的执行过程,技术人员会意识到,该系统可以用于描述其它解剖形状的可变性,例如象肝脏、肾脏和胃。因此,在实施例的说明中所用的可变性的类型和解剖形状的类型并不限制权利要求的范围。
技术人员还会明白,系统100的其它实施例也是可能的。其中,还可以重新定义系统的各个单元并重新分配其功能。例如,在系统100的实施例中,配准单元110的功能可以与第一变换单元120的功能合并。在系统100进一步的实施例中,可以存在多个配准单元,以代替计算单元110。所述多个配准单元中的每一个配准单元都可以被布置为使用不同的配准算法。所使用的算法可以是基于用户选择的。
可以用处理器来实现系统100的各个单元。通常,在软件程序产品的控制下执行其功能。在执行期间,常常将软件程序产品装入存储器,如RAM,并由此执行。可以从后台存储器装入程序,如ROM、硬盘、或磁性和/或光存储设备,或者可以经由网络装入,如互联网。可选的,专用集成电路可以提供所述的功能。
方法200中用于计算包括第一图像和第二图像的图像的步骤顺序不是强制的,技术人员可以改变一些步骤的顺序,或使用线程模型、多处理器系统或多个进程来同时执行一些步骤,而不会脱离本发明想要获得的概念。可选的,可以将本发明的方法100的两个或多个步骤合并为一个步骤。可选的,可以将本发明的方法100的一个步骤分为多个步骤。方法100的一些步骤是可选的,并可以省略。
图7示意性的显示了使用系统100的图像采集设备700的示范性实施例,所述图像采集设备700包括:图像采集单元710,其经由内部连接与系统100相连;输入连接器701;以及输出连接器702。这种配置有利地提高了图像采集设备700的性能,为所述图像采集设备700提供了系统100的用于基于第一平均模型网格和第二平均模型网格来传播模型网格的优越性能。图像采集设备的实例包括但不限于:CT系统、X射线系统、MRI系统、US系统、PET系统、SPECT系统和NM系统。
图8示意性的显示了工作站800的示范性实施例。该工作站包括系统总线801。将处理器810、存储器820、磁盘输入/输出(I/O)适配器830和用户接口(UI)840可操作地连接到系统总线801。磁盘存储设备831可操作地耦接到磁盘I/O适配器830。键盘841、鼠标842和显示器843可操作地耦接到UI 840。将实现为计算机程序的本发明的系统100存储在磁盘存储设备831中。工作站800被布置为将该程序和输入数据装入存储器820,并在处理器810上执行该程序。用户可以用键盘841和/或鼠标842将信息输入到工作站800中。该工作站被布置为向显示设备843和/或磁盘831输出信息。技术人员会明白,在现有技术中已知存在工作站800的许多其它实施例,本实施例起到说明本发明的目的,而不应解释为将本发明限制于这个具体实施例。
应注意上述实施例说明而不是限制本发明,本领域技术人员能够设计可替换实施例,而不会脱离所附权利要求的范围。在权利要求中,括号中的任何参考标记都不应解释为限制权利要求。词语“包括”不排除没有在权利要求或说明中列出的元件或步骤的存在。在元件之前的词语“一个”不排除存在多个此类元件。可以借助于包括几个不同元件的硬件以及借助于经编程的计算机来实现本发明。在列举了几个单元的系统权利要求中,这些单元中的几个可以用同一硬件或软件来体现。词语第一、第二和第三等的使用并不表示任何顺序。这些词语应解释为名称。
Claims (9)
1.一种用于基于第一平均模型网格和第二平均模型网格传播模型网格的系统(100),所述系统包括:
-配准单元(110),用于计算用以将所述模型网格与所述第一平均模型网格进行配准的配准变换;
-正变换单元(120),用于使用所述配准变换将所述模型网格变换为经配准的模型网格;
-计算单元(130),用于计算用以传播所述经配准的模型网格的传播场,所述传播场包括所述第二平均模型网格的顶点相对于所述第一平均模型网格的相应顶点的位移矢量;
-传播单元(140),用于基于将包括在所述传播场中的所述顶点位移矢量应用于所述经配准的模型网格的相应顶点,来将所述经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换单元(150),用于使用所述配准变换的逆变换,将所述传播的经配准的模型网格变换为所述传播的模型网格,从而传播所述模型网格。
2.如权利要求1所述的系统(100),还包括调整单元(102),用于基于将网格调整为适应于图像数据来构建所述模型网格。
3.如权利要求1或2所述系统,还包括构建单元(104),用于基于第一训练图像数据集构建所述第一平均模型网格,并基于第二训练图像数据集构建所述第二平均模型网格。
4.如权利要求1或2所述的系统,其中,所述第一平均模型网格描述了在第一时刻的模型化的解剖形状,所述第二平均模型网格描述了在第二时刻的所述模型化的解剖形状。
5.如权利要求1或2所述的系统(100),其中,所述配准变换是仿射变换。
6.一种图像采集设备,包括如权利要求1所述的系统(100)。
7.一种工作站,包括如权利要求1所述的系统(100)。
8.一种用于基于第一平均模型网格和第二平均模型网格传播模型网格的方法(200),所述方法包括:
-配准步骤(210),用于计算用以将所述模型网格与所述第一平均模型网格进行配准的配准变换;
-正变换步骤(220),用于使用所述配准变换将所述模型网格变换为经配准的模型网格;
-计算步骤(230),用于计算用以传播所述经配准的模型网格的传播场,所述传播场包括所述第二平均模型网格的顶点相对于所述第一平均模型网格的相应顶点的位移矢量;
-传播步骤(240),用于基于将包括在所述传播场中的所述顶点位移矢量应用于所述经配准的模型网格的相应顶点,来将所述经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换步骤(250),用于使用所述配准变换的逆变换,将所述传播的经配准的模型网格变换为所述传播的模型网格,从而传播所述模型网格。
9.一种用于基于第一平均模型网格和第二平均模型网格传播模型网格的装置,所述装置包括:
-配准模块,用于计算用以将所述模型网格与所述第一平均模型网格进行配准的配准变换;
-正变换模块,用于使用所述配准变换将所述模型网格变换为经配准的模型网格;
-计算模块,用于计算用以传播所述经配准的模型网格的传播场,所述传播场包括所述第二平均模型网格的顶点相对于所述第一平均模型网格的相应顶点的位移矢量;
-传播模块,用于基于将包括在所述传播场中的所述顶点位移矢量应用于所述经配准的模型网格的相应顶点,来将所述经配准的模型网格变换为传播的经配准的模型网格;及
-逆变换模块,用于使用所述配准变换的逆变换,将所述传播的经配准的模型网格变换为所述传播的模型网格,从而传播所述模型网格。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06116648.4 | 2006-07-05 | ||
EP06116648 | 2006-07-05 | ||
PCT/IB2007/052559 WO2008004171A2 (en) | 2006-07-05 | 2007-07-02 | Prediction of cardiac shape by a motion model |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101484919A CN101484919A (zh) | 2009-07-15 |
CN101484919B true CN101484919B (zh) | 2013-06-19 |
Family
ID=38722663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800251351A Active CN101484919B (zh) | 2006-07-05 | 2007-07-02 | 借助于运动模型的心脏形状预测 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8314792B2 (zh) |
EP (1) | EP2041721B1 (zh) |
JP (1) | JP5061185B2 (zh) |
CN (1) | CN101484919B (zh) |
WO (1) | WO2008004171A2 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8994747B2 (en) * | 2007-11-09 | 2015-03-31 | Imacor Inc. | Superimposed display of image contours |
US8165361B2 (en) * | 2008-01-14 | 2012-04-24 | General Electric Company | System and method for image based multiple-modality cardiac image alignment |
JP5438029B2 (ja) * | 2008-01-31 | 2014-03-12 | コーニンクレッカ フィリップス エヌ ヴェ | 短軸遅延強調心臓mriの自動三次元セグメント化 |
US8792699B2 (en) * | 2010-09-29 | 2014-07-29 | Siemens Aktiengesellschaft | Motion tracking for clinical parameter derivation and adaptive flow acquisition in magnetic resonance imaging |
US8577177B2 (en) * | 2010-11-11 | 2013-11-05 | Siemens Aktiengesellschaft | Symmetric and inverse-consistent deformable registration |
KR102211154B1 (ko) * | 2013-08-06 | 2021-02-04 | 삼성전자주식회사 | 심장 운동 모델링에 기반하여 심장 질환을 진단하는 방법 및 장치 |
US20170136296A1 (en) * | 2015-11-18 | 2017-05-18 | Osvaldo Andres Barrera | System and method for physical rehabilitation and motion training |
WO2019162874A1 (en) | 2018-02-21 | 2019-08-29 | Navix International Limited | Mapping binned medical data |
CN111540041B (zh) * | 2020-04-22 | 2021-02-12 | 南京前知智能科技有限公司 | 一种基于大数据的口内修复体数字化设计方法 |
CN116129060B (zh) * | 2023-04-18 | 2023-06-23 | 心航路医学科技(广州)有限公司 | 心脏三维解剖模型构建方法和心脏三维标测系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1639675A (zh) * | 2001-07-06 | 2005-07-13 | 皇家菲利浦电子有限公司 | 与三维图像中表示的三维表面互动的图像处理方法 |
US6931145B1 (en) * | 1999-11-16 | 2005-08-16 | Advanced Telecommunications Research Institute International | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model |
CA2578043A1 (en) * | 2004-08-31 | 2006-03-09 | Siemens Medical Solutions Usa, Inc. | Method and system for motion correction in a sequence of images |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU6178696A (en) | 1995-06-16 | 1997-01-15 | Trustees Of The University Of Pennsylvania, The | Apparatus and method for dynamic modeling of an object |
US6867770B2 (en) * | 2000-12-14 | 2005-03-15 | Sensable Technologies, Inc. | Systems and methods for voxel warping |
DE10111661A1 (de) * | 2001-03-09 | 2002-09-12 | Philips Corp Intellectual Pty | Verfahren zum Segmentieren einer in einem Objekt enthaltenen dreidimensionalen Struktur, insbesondere für die medizinische Bildanalyse |
JP2003044873A (ja) * | 2001-08-01 | 2003-02-14 | Univ Waseda | 顔の3次元モデルの作成方法及びその変形方法 |
US7286866B2 (en) * | 2001-11-05 | 2007-10-23 | Ge Medical Systems Global Technology Company, Llc | Method, system and computer product for cardiac interventional procedure planning |
EP1639542A1 (en) * | 2003-06-16 | 2006-03-29 | Philips Intellectual Property & Standards GmbH | Image segmentation in time-series images |
JP3873938B2 (ja) * | 2003-07-25 | 2007-01-31 | コニカミノルタホールディングス株式会社 | メッシュマージ方法、メッシュマージ装置、およびコンピュータプログラム |
US7154498B2 (en) | 2003-09-10 | 2006-12-26 | Siemens Medical Solutions Usa, Inc. | System and method for spatio-temporal guidepoint modeling |
EP1723570A4 (en) | 2004-02-09 | 2010-06-02 | Inst Cardiologie De Montreal M | CALCULATION OF CARDIAC CAVITY GEOMETRIC PARAMETER FROM A CARDIAC TOMOGRAPHY DATA SET |
WO2006038166A2 (en) * | 2004-10-05 | 2006-04-13 | Philips Intellectual Property & Standards Gmbh | Device, method, computer-readable medium and program element for processing image data of a movable object, and rotational x-ray angiography apparatus |
WO2006088429A1 (en) * | 2005-02-17 | 2006-08-24 | Agency For Science, Technology And Research | Method and apparatus for editing three-dimensional images |
RU2431443C2 (ru) * | 2005-08-04 | 2011-10-20 | Конинклейке Филипс Электроникс Н.В. | Компенсация движения в функциональном формировании изображений |
-
2007
- 2007-07-02 CN CN2007800251351A patent/CN101484919B/zh active Active
- 2007-07-02 JP JP2009517569A patent/JP5061185B2/ja active Active
- 2007-07-02 WO PCT/IB2007/052559 patent/WO2008004171A2/en active Application Filing
- 2007-07-02 EP EP07789855.9A patent/EP2041721B1/en active Active
- 2007-07-02 US US12/306,564 patent/US8314792B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6931145B1 (en) * | 1999-11-16 | 2005-08-16 | Advanced Telecommunications Research Institute International | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model |
CN1639675A (zh) * | 2001-07-06 | 2005-07-13 | 皇家菲利浦电子有限公司 | 与三维图像中表示的三维表面互动的图像处理方法 |
CA2578043A1 (en) * | 2004-08-31 | 2006-03-09 | Siemens Medical Solutions Usa, Inc. | Method and system for motion correction in a sequence of images |
Non-Patent Citations (4)
Title |
---|
Cristian Lorenz,et al.."Towards a Comprehensive Geometric Model of the Heart".《FIMH 2005》.2005,第102-112页. |
Jens von Berg,et al.."Multi-surface Cardiac Modelling, Segmentation, and Tracking".《FIMH 2005》.2005,第1-11页. * |
JensvonBerg et al.."Multi-surface Cardiac Modelling |
Jürgen Weese,et al.."Shape Constrained Deformable Models for 3D Medical Image Segmentation".《IPMI 2001》.2001,第380-387页. |
Also Published As
Publication number | Publication date |
---|---|
US8314792B2 (en) | 2012-11-20 |
WO2008004171A3 (en) | 2009-03-19 |
WO2008004171A2 (en) | 2008-01-10 |
US20090231335A1 (en) | 2009-09-17 |
EP2041721A2 (en) | 2009-04-01 |
JP2009542296A (ja) | 2009-12-03 |
EP2041721B1 (en) | 2016-09-07 |
JP5061185B2 (ja) | 2012-10-31 |
CN101484919A (zh) | 2009-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101484919B (zh) | 借助于运动模型的心脏形状预测 | |
CN101512602B (zh) | 胸部ct成像中心脏运动伪影的减少 | |
Barber et al. | Efficient computational fluid dynamics mesh generation by image registration | |
CN111724904A (zh) | 用于针对医学扫描的患者建模的多任务渐进式网络 | |
US8260586B2 (en) | Method of and a system for adapting a geometric model using multiple partial transformations | |
US20090202150A1 (en) | Variable resolution model based image segmentation | |
CN105264533A (zh) | 用于心脏机电学的交互计算的方法和系统 | |
US20060147114A1 (en) | Image segmentation in time-series images | |
US10482215B2 (en) | Unified computational method and system for patient-specific hemodynamics | |
CN101116104A (zh) | 用于分割多维数据集中的表面的方法、系统和计算机程序 | |
Wong et al. | Velocity-based cardiac contractility personalization from images using derivative-free optimization | |
Kalmoun et al. | 3D optical flow computation using a parallel variational multigrid scheme with application to cardiac C-arm CT motion | |
EP2332124B1 (en) | Patient specific anatomical sketches for medical reports | |
Wuhrer et al. | Finite element based tracking of deforming surfaces | |
WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
Haber et al. | Using tagged MRI to reconstruct a 3D heartbeat | |
JP6737491B1 (ja) | Aiを用いる診断装置、診断システム、及び、プログラム | |
Gibney | An Optical Flow Based Approach to Validating Dynamic Structural Finite Element Models of Biological Organs Using 4D Medical Images-the Aortic Valve as an Example | |
Silva et al. | Processing, visualization and analysis of medical images of the heart: an example of fast prototyping using MeVisLab | |
Wang et al. | Instantiation-Net: 3D Mesh Reconstruction from Single 2D Image for Right Ventricle | |
Fels et al. | Advanced tools for biomechanical modeling of the oral, pharyngeal, and laryngeal complex | |
Zhu et al. | A 3D Reconstruction algorithm based on 3d deformable atlas | |
Lin et al. | 3D deformable image processing and Integration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |