CN102138161B - 长轴后期增强心脏mri的分割 - Google Patents

长轴后期增强心脏mri的分割 Download PDF

Info

Publication number
CN102138161B
CN102138161B CN200980133505.2A CN200980133505A CN102138161B CN 102138161 B CN102138161 B CN 102138161B CN 200980133505 A CN200980133505 A CN 200980133505A CN 102138161 B CN102138161 B CN 102138161B
Authority
CN
China
Prior art keywords
template
scar
heart
long axial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980133505.2A
Other languages
English (en)
Other versions
CN102138161A (zh
Inventor
C·乔福洛-法伊特
M·弗拉德金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102138161A publication Critical patent/CN102138161A/zh
Application granted granted Critical
Publication of CN102138161B publication Critical patent/CN102138161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种用于使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜轮廓的系统(200),其中,所述模板界定用于描绘图像中的心内膜和心外膜轮廓的曲线,所述系统(200)包括:模板定位单元(205),用于基于短轴图像数据定位模板;瘢痕图初始化单元(210),用于基于心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将模板适配于图像,所述在先分割基于短轴图像数据;以及适配单元(220),用于使用准则函数将所述模板适配于图像,所述准则函数包括描述向图像特征吸引模板的项以及描述模板之内的内部交互作用的项,且其中基于所述瘢痕图定义所述准则函数的至少一个项。识别包括于瘢痕图中的图像像素通过包括至少一个且可能多个基于瘢痕图定义的准则函数项提高了准则函数的精确度。包括基于瘢痕图定义的准则函数项以将用于描绘心内膜和心外膜轮廓的模板(即可变形的模型)适配于长轴图像数据有助于避免从所描绘的心肌组织排除瘢痕组织并从而改善对心脏的心内膜和心外膜轮廓的描绘。

Description

长轴后期增强心脏MRI的分割
技术领域
本发明涉及图像分割,更具体而言涉及在从图像数据计算出的图像中描绘解剖结构。
背景技术
对于心脏病发作之后的手术和治疗规划而言,生存力评估是必不可少的。具体而言,在判断患者是否可以受益于血管再生过程时有生存力的心肌层比例是一项主要因素。除了估计左心室厚度和变厚之外,还可以使用对比度增强成像技术,尤其是后期增强心脏磁共振(LECMR),以高空间分辨率对正常、局部缺血和无生存力的区域进行可视化。为了定位和量化无生存力的组织,重要的是在所有可用心脏视图上描绘心内膜和心外膜轮廓。具体而言,在长轴采集上获得的轮廓提供了对从短轴数据获得的信息进行补充的信息,因为短轴切片间的间距过大(大到10mm),无法重建精确的3D心脏体积用于生存力评估。
设计一种自动方法来描绘心内膜和心外膜轮廓是困难的,主要因为造影剂在局部缺血和无生存力的区域中的积累导致的心肌层的不均匀方面。这些区域呈现为白色,而健康部分是黑色的,并且周围的器官从灰色到黑色不一。图1给出了从两位患者获得的LECMR长轴(LA)2-腔视图的两个范例,示出了健康心肌层(11)、血池(12)和异常组织(13)。因此,挑战是从带纹理的环境中提取包含黑色和白色区部两者的结构。此外,白色区域的边界常常显得非常模糊,尤其是如果它们接近血池时,这使得正确定位心内膜特别困难。尽管在处理短轴(SA)数据时也遇到这些困难,但对LA视图而言还有其他困难:心肌层并未呈现出带有能够容易检测的环形;因此必须找到新方式以在找到其轮廓之前定位它。尽管很多科技出版物都在研究长轴图像的分割,仅使用LA数据:M.Blok,M.G.Danilouchkine,C J Veenman,F.Admiraal-Behloul,E.A.Hendriks,J.H.C.Reiber和B.P.F.Lelieveldt,“Long-axis cardiac MRI contour detection with adaptive virtualexploring robot”,Proceedings of the Third International Conference onFunctional Imaging and Modeling of the Heart(FIMH′,2005),pp.54-64,Springer,2005;使用LA和SA数据:Koikkalainen,M.Pollari,J.S.和K.Lauerma,“Segmentation of cardiac structures simultaneouslyfrom short-and long-axis MR images”,Proceedings of the 7th InternationalConference on Medical Image Computing and Computer-Assisted Intervention(MICCAI’04),pp.427-434,Springer,2004),但没有任何出版物完整利用了LECMR组织的生存力数据。
发明内容
有利的是提供一种备选方案,用于在存在瘢痕组织的情况下在LECMRLA图像数据中描绘心肌轮廓,其对于在使用各种图像采集模态采集的图像中描绘其他结构也是有用的。
于是,在一方面中,本发明提供了一种用于使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜轮廓的系统,其中,所述模板界定用于在所述图像中描绘心内膜和心外膜轮廓的曲线,所述系统包括:
-模板定位单元,用于基于短轴图像数据定位所述模板;
-瘢痕图初始化单元,用于基于心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述图像,所述在先分割基于短轴图像数据;以及
-适配单元,用于使用准则函数将所述模板适配于所述图像,所述准则函数包括描述向图像特征吸引所述模板的项以及描述所述模板之内的内部交互作用的项,且其中基于所述瘢痕图定义所述准则函数的至少一个项。
识别瘢痕图中包含的图像像素通过包括至少一个且可能多个基于瘢痕图定义的准则函数项提高了准则函数的精确度。包括基于瘢痕图定义的准则函数项以将用于描绘心内膜和心外膜轮廓的模板(即可变形的模型)适配于长轴图像数据有助于避免从所描绘的心肌组织排除瘢痕组织并从而改善对心脏的心内膜和心外膜轮廓的描绘。
在一实施例中,该系统还包括基于经适配的模板更新瘢痕图的瘢痕图更新单元。基于将模板适配于图像的结果更新瘢痕图能够改善心肌组织之内瘢痕组织的检测,其中心肌组织是由经适配的模板描述的。可以反复重复由适配单元适配模板以及由瘢痕适配单元更新瘢痕图的步骤,直到满足了确定满意适配结果的条件。
在系统的一实施例中,瘢痕图初始化单元包括:
-顶点标记单元,在从心内膜和心外膜表面的在先分割获得的心内膜和心外膜网格的顶点满足基于短轴图像数据的标记条件时,将该网格顶点标记为瘢痕顶点;以及
-第一标注单元,基于所述心内膜和心外膜网格的经标记的瘢痕顶点将图像的像素标注为瘢痕图像素。
标记条件通常基于SA图像数据的体素值。将带有经标记顶点的网格与LA图像数据对准。将靠近经标记顶点的从LA图像数据导出的图像像素标注为瘢痕像素。
在系统的一实施例中,基于所述瘢痕图定义的至少一个准则函数项是均匀性项或对比度项。均匀性项和对比度项提高了具有表示包括于心肌层中的瘢痕组织的像素的机会,例如,在Ciofolo,C.;Fradkin,M.;Mory,B.;Hautvast,G.;Breeuwer,M.“Automatic myocardium segmentation inlate-enhancement MRI”,5th IEEE International Symposium on BiomedicalImaging:From Nano to Macro,2008.14-17May 2008,Pages:225-228中描述了这两项,下文将该文献称为参考文献1。
在系统的一实施例中,瘢痕图更新单元包括:
-区带界定单元,用于基于适配于图像的模板界定图像中的感兴趣区域;
-第二标注单元,用于基于所界定的感兴趣区域将图像的像素标注为瘢痕图像素。
例如,在示范性实施例中,将包括于感兴趣区域中的且亮度高于阈值的像素标注为瘢痕图像素。
在系统的一实施例中,所述模板是由外部和内部闭合轮廓界定的闭合带。闭合带模板对于对心肌层的心外膜和心内膜的轮廓建模是有用的。
在一实施例中,该系统进一步被布置成接收用于定义要被包括在所述准则函数中的项和/或用于确定这些项的权重的用户输入。例如,用户可以提供用于确定准则函数的各项的权重的输入。在系统的实施例中,用户输入包括心肌层中存在的瘢痕类型。系统被布置成基于输入的瘢痕类型计算准则函数的各项的权重。此外或备选地,可以基于瘢痕类型计算准则函数的其他参数。瘢痕类型可以包括小的或散布瘢痕、大的透壁瘢痕、心内膜下的瘢痕和/或无瘢痕。
在本发明的另一方面中,根据本发明的系统包含于图像采集设备当中。
在本发明的另一方面中,根据本发明的系统包含于工作站中。
在另一方面中,本发明提供了一种用于使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜的轮廓的方法,其中,所述模板界定用于在所述图像中描绘心内膜和心外膜的轮廓的曲线,所述方法包括:
-瘢痕图初始化步骤,用于基于心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述图像,所述在先分割基于短轴图像数据;以及
-适配步骤,用于使用准则函数将所述模板适配于所述图像,所述准则函数包括描述向图像特征吸引模板的项以及描述模板之内的内部交互作用的项,且其中基于所述瘢痕图定义所述准则函数的至少一个项。
在另一方面中,本发明提供了一种将被计算机装置加载的计算机程序产品,所述计算机程序产品包括用于使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜轮廓的指令,其中,所述模板界定用于描绘图像中的心内膜和心外膜的轮廓的曲线,所述计算机装置包括处理单元和存储器,所述计算机程序产品在被加载之后将为所述处理单元提供执行下述任务的能力:
-基于心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述图像,所述在先分割基于短轴图像数据;以及
-使用准则函数将所述模板适配于所述图像,所述准则函数包括描述向图像特征吸引模板的项以及描述所述模板之内的内部交互作用的项,且其中基于所述瘢痕图定义所述准则函数的至少一个项。
本领域的技术人员将认识到,可以通过任何被认为有用的方式组合本发明的上述实施例、实施方式和/或方面中的两个或更多个。
在本说明书的基础上,本领域技术人员能够执行对图像采集设备、工作站、方法和/或计算机程序产品的修改和变化,所述修改和变化对应于对所述系统的修改和变化。
本领域的技术人员将认识到,该方法可以应用于通过各种采集模态采集的多维图像数据,例如2维(2D)、3维(3D)或4维(4D)图像,所述采集模态例如,但不限于,标准X射线成像、计算断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算断层摄影(SPECT)和核医学(NM)。
附图说明
从下文描述的实施方式和实施例并参考附图,本发明的这些和其他方面将变得显而易见并得到阐明,其中:
图1示出了LECMR LA2-腔视图的两个范例;
图2示意性地示出了系统的示范性实施例的方框图;
图3示出了闭合的带状模板;
图4示出了对闭合带状模板进行初始化;
图5示出了示范性初始瘢痕图;
图6示出了界定感兴趣区域的示范性方式;
图7示出了分别在第一和第二更新之后的两个示范性瘢痕图71和72;
图8示出了描绘心外膜和心内膜的轮廓的示范性结果;
图9示出了方法的示范性实施方式的流程图;
图10示意性地示出了图像采集设备的示范性实施例;以及
图11示意性地示出了工作站的示范性实施例。
在所有的附图中采用相同的附图标记表示类似的部分。
具体实施方式
图2示意性地示出了系统200的示范性实施例的方框图,该系统200用于使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜轮廓,其中,该模板界定用于描绘图像中的心内膜和心外膜轮廓的曲线,系统200包括:
-模板定位单元205,用于基于短轴图像数据定位模板;
-瘢痕图初始化单元210,用于基于心内膜和心外膜表面的在先分割(该在先分割基于短轴图像数据)对瘢痕图进行初始化,以用于将模板适配于图像板;以及
-适配单元220,用于使用准则函数将模板适配于图像,准则函数包括描述向图像特征吸引模板的项以及描述模板之内的内部交互作用的项,且其中基于瘢痕图定义准则函数的至少一个项。
系统200的示范性实施例还包括下述单元:
-瘢痕图更新单元230,用于基于经适配的模板更新瘢痕图;
-控制单元260,用于控制系统200中的流程;
-用户接口265,用于与系统200的用户通信;以及
-存储单元270,用于存储数据。
在系统200的示范性实施例中,瘢痕图初始化单元210包括:
-顶点标记单元212,用于在顶点满足基于短轴图像数据的标记条件时,将从心内膜和心外膜表面的在先分割获得的心内膜和心外膜网格的顶点标记为瘢痕顶点;以及
-第一标注单元214,基于心内膜和心外膜网格的经标记的瘢痕顶点将图像的像素标注为瘢痕图像素。
在系统200的示范性实施例中,瘢痕图更新单元230包括:
-区带界定单元232,用于基于适配于图像的模板界定图像中的感兴趣区域;以及
-第二标注单元234,用于基于所界定的感兴趣区域将图像的像素标注为瘢痕图像素。
在系统200的一实施例中,有三个用于输入数据的输入连接器281、282和283。将第一输入连接器281布置成接收来自数据存储模块的数据,数据存储模块例如,但不限于硬盘、磁带、闪速存储器或光盘。将第二输入连接器282布置成接收来自用户输入装置的输入,用户输入装置例如,但不限于鼠标或触摸屏。将第三输入连接器283布置成接收来自诸如键盘的用户输入装置的数据。输入连接器281、282和283连接到输入控制单元280。
在系统200的一实施例中,有两个用于输出数据的输出连接器291和292。将第一输出连接器291布置成向诸如硬盘、磁带、闪速存储器或光盘的数据存储模块输出数据。将第二输出连接器292布置成向显示装置输出数据。输出连接器291和292经由输出控制单元290接收相应的数据。
本领域的技术人员将理解,有很多方式将输入装置连接到系统200的输入连接器281、282和283,将输出装置连接到系统200的输出连接器291和292。这些方式包括但不限于有线和无线连接、诸如但不限于局域网(LAN)和广域网(WAN)的数字网络、因特网、数字电话网和模拟电话网。
在系统200的一实施例中,系统200包括存储单元270。将系统200布置成经由输入连接器281、282和283中的任一个接收来自外部装置的输入数据,并将所接收到的输入数据存储到存储单元270内。将输入数据加载到存储单元270内允许系统200的各单元快速访问相关数据部分。例如,输入数据可以包括LECMR SA图像数据和分割结果,以及LECMR LA图像数据。任选地,输入数据还可以包括模板。可以通过诸如但不限于随机存取存储器(RAM)芯片、只读存储器(ROM)芯片以及/或者硬盘驱动器和硬盘的装置实现存储单元270。还可以将存储单元270布置成存储输出数据。例如,输出数据可以包括根据本发明适配于长轴图像数据的模板。还可以布置存储单元270以经由存储总线275从系统200的各单元接收数据和/或向系统200的各单元提供数据,这些单元包括模板定位单元205、瘢痕图初始化单元210、适配单元220、瘢痕图更新单元230、顶点标记单元212、第一标注单元214、区带界定单元232、第二标注单元234、控制单元260和用户接口265。还将存储单元270布置成使输出数据能够经由任意输出连接器291和292为外部装置所用。将来自系统200的各单元的数据存储在存储单元270内可以有利地提高系统200的各单元的性能以及从系统200的各单元向外部装置传送输出数据的速率。
或者,系统200可以不包括存储单元270和存储总线275。可以通过连接至系统200的单元的至少一个外部装置(诸如外部储存器或处理器)提供由系统200使用的输入数据。类似地,可以将由系统200产生的输出数据提供给连接至系统200的至少一个外部装置(诸如外部储存器或处理器)。可以将系统200的各单元布置成经由内部连接或者经由数据总线接收彼此的数据。
在系统200的一实施例中,系统200包括用于控制系统200中的流程的控制单元260。可以将控制单元布置成接收来自系统200的各单元的控制数据以及向所述系统的各单元提供控制数据。例如,在将模板适配于从图像数据计算的图像之后,可以布置适配单元220以向控制单元260提供控制数据“将模板适配于图像”,并且可以布置控制单元260以向瘢痕图更新单元230提供控制数据“更新瘢痕图”。或者,例如,可以在瘢痕图初始化单元210、适配单元220和/或瘢痕图更新单元230中实现控制功能。
在系统200的一实施例中,系统200包括用于与系统200的用户通信的用户接口265。可以布置用户接口265以接收用于在从SA或LA图像数据计算的图像上显示的瘢痕类型的用户输入,用于定义准则函数,例如,定义要包括于准则函数中的项并确定其权重的用户输入。用户接口还可以提供用于选择要在显示器上显示的经适配模板的视图的模块。本领域的技术人员将理解,可以在系统200的用户接口265中有利地实现更多功能。
现在将参考对LECMR LA图像数据中的心外膜和心内膜轮廓的描绘来描述本发明的实施例。本领域的技术人员将认识到,该系统对于描绘包括例如瘢痕的易混淆结构且使用例如PET或CT成像的其他技术采集的LA图像数据中的心外膜和心内膜轮廓也是有用的。
在本发明的一实施例中,适于对心肌层M建模的模板是如图3所示的闭合带R。利用内插样条来实现模板,其中,使用尽可能少的节点以减少模型参数的数量。在一实施例中,基于初始瘢痕图在模板适配期间由10个节点定义样条参数,基于更新的瘢痕图在模板适配期间由14个节点定义样条参数。使用样条产生了最优的平滑解。此外,与逼近函数和控制点相反,基于内插的函数和节点的具体选择提高了算法稳定性和优化策略的一致性。在P.Brigger、J.Hoeg和M.Unser的论文“B-Spline Snakes:A Flexible Toolfor Parametric Contour Detection”,IEEE Transactions on Image Processing,Vol.9,No.9,pp.1484-1496,2000中描述了使用样条在图像中描绘轮廓。更具体而言,将心肌层M建模为带状结构R,带状结构由虚拟中心线C构成,虚拟中心线C包括多个节点(由点示意性地示出)并由宽度参数(由箭头示意性地示出)描述。中心线和宽度都是有限集变量(xk,yk,wk)的连续样条内插,其中xk,yk表示图像坐标系中中心线第k节点的坐标,且wk是中心线第k节点处带的宽度。通过样条内插参数的样条函数C(s)对中心线C的节点进行内插。类似地,通过样条函数w(s)对带模板R的宽度wk进行内插。在这种表示的优点中,有心外膜Ci和心内膜Co之间的自然耦合以及采样的灵活性。能够使用如M.Unser,A.Aldroubi和M.Eden的“B-spline Signal Processing;Part 1-Theory”,IEEE Transactions on SignalProcessing,Vol.41,No.2,pp.821-832,1993描述的快速样条滤子以任何希望精度对轮廓采样。
没有关于受损组织的任何先验信息要正确定位几何模板是非常困难的,尤其是在心肌层的很大部分受到影响的情况下。因此,由模板定位单元205使用在与LA视图相同的检查中采集的SA图像中获得的分割结果对模板进行初始化。在参考文献1中描述了分割LECMR SA图像的方法。分割结果由两个3D网格构成,3D网格表示SA图像栈中的内部和外部心肌层壁。图4示出了对闭合带模板进行初始化。
如图片41所示,将这些网格放在LECMR LA图像数据空间中。为了对模板位置进行初始化,计算网格、SA切片和LA平面之间的交点。这样就获得了沿着心肌层采样的表示模板的心内膜和心外膜节点的点对,如图片42所示。这些对节点之间的中间位置定义了中心线的节点,如图片43所示。不过,因为SA和LA图像通常是在不同的屏住呼吸时刻采集的,它们通常有轻微的未对准,交点仅能够用于对模板进行初始化。然后,每对点定义与一开始定位于该对的中心的节点相关联的模板宽度。由于SA切片不与左心室顶部区相交,通过外插法计算额外的节点,例如,其中是节点pi的位置矢量,i=0,1,2,3。与外插节点pa相关联的宽度是对所有其他节点计算的平均宽度。图4中的图片43示出了所描述的外插法。最后,从节点的位置内插出中心线,并对节点进行均等地重新采样以获得初始模板。模板的带状结构的宽度可以是常数,例如,基于SA分割结果计算的心肌层的平均宽度。图4中的图片44示出了对节点重新采样之后的示范性初始模板位置。
在系统200中,由瘢痕图初始化单元210基于短轴分割结果对瘢痕图进行初始化。SA图像数据与长轴图像数据具有相同标度。使用SA图像数据识别心肌的瘢痕组织。然后将图应用到LA图像数据。任选地,可以基于LA图像数据进一步处理该图。
在系统200的一实施例中,布置瘢痕图初始化单元210的瘢痕顶点标记单元212以为每个顶点计算沿着从顶点投射并指向心肌层的法线的平均亮度。在计算的平均亮度高于基于血池内部平均灰度级确定的阈值时,将顶点标记为属于异常组织。
布置瘢痕图初始化单元210的第一标注单元214以例如通过将SA图像数据坐标变换成LA图像数据坐标,来将在SA图像数据体积中界定的心内膜和心外膜网格的标记为瘢痕的顶点映射到LA图像数据空间中。因为没有关于长轴图像中对应于位于最高短轴切片上方或最低短轴切片下方的像素的区域中的异常组织的先验信息,所以由第一标注单元214在瘢痕图上将这些区域标注为“未知”。然后进一步布置第一标注单元214以将靠近被标记为属于异常组织的顶点的像素标注为“疑似瘢痕”。例如,将靠近图像平面并被标记为属于异常组织的顶点投射在该平面上并将对应的像素标注为“疑似瘢痕”。可以使用扩张操作扩张由被标注像素界定的区域。图5示出了示范性初始瘢痕图50。所示出的图还包括“未知”区域51和52。
适配单元220被布置用于使用准则函数将模板适配到图像,准则函数包括描述向图像特征吸引模板的项以及描述模板之内的内部交互作用的项,且其中基于瘢痕图定义准则函数的至少一个项。
作为内部和外部能量项的一部分、补充或与之组合,能量函数的其他可能项包括,但不限于涉及以下内容的项:
规则性:沿着中心线C的宽度变化受到限制。这确保了轮廓之间的适当耦合。可能的选择是宽度变量关于其平均值的偏差度量。
血池均匀性:除了乳头肌之外,血池应当是均匀的。可能的选择是排除直方图最下部分以计入乳头肌的可能存在之后内部区域的方差。
心肌层均匀性:如果组织是正常的,心肌层区域应当是均匀分布且黑色的,否则是白色的。
心内膜对比度:血池应当在局部显示出比心肌层更高的亮度,其能够由沿法线到心内膜轮廓的1D对比度滤子(例如,基于高斯滤子的一阶导数定义)之和来度量。
心外膜对比度:根据周围的器官,心外膜应当显示出正、负或类脊状对比度。这能够由沿法线到心外膜的1D脊对比度滤子(例如基于高斯滤子的二阶导数定义)之和来度量。
心肌层对比度:健康心肌层的平均亮度应当小于血池的平均亮度。不过,在存在大范围瘢痕的情况下,心肌层的平均亮度可能大于血池的平均亮度。
形状相似性:模板应当类似于对心肌层建模的预定义形状。
在一实施例中,准则函数是准则函数项的加权和。权重是用户指定的算法参数。备选地或附加地,准则函数可以是作用于模板的力场,而准则条件可以是力场基本为零。
在本发明的一实施例中,使用参考文献1中描述的优化方案,通过将准则函数最小化来将模板适配到LECMR LA图像数据,其中,准则函数的项基于相对于血池的心内膜对比度、心外膜对比度、全局心肌层对比度,均匀性度量以及预定义形状。对于短轴图像使用与参考文献1中相同的原理,计算对比度项而不考虑瘢痕。不过,在均匀性度量中使用瘢痕图。被标注为“疑似瘢痕”的像素的位置和数量都被计入考虑。
在一实施例中,系统200还包括用于基于经适配的模板更新瘢痕图的瘢痕图更新单元230。在模板适配之后,重置并随后更新瘢痕图。图6示出了基于经适配的心肌层的中心线C界定感兴趣区域的示范性方式。首先,通过提取模板中心线周围的区带界定感兴趣区域60,该区带朝向血池偏移并且其宽度等于模板平均宽度的两倍。然后,在该区域中,将亮度高于阈值的所有像素标注为“疑似瘢痕”,可以将阈值定义为接近平均血池亮度的数字。最后,利用相继的双态形态学操作细化瘢痕图:首先,利用大的结构化元素使它闭合以使孔闭合,然后利用小的结构化元素打开它以移除隔离的瘢痕标注。感兴趣区域的位置向血池偏移,以确保心内膜下(sub-endocardial)的瘢痕被包括在新瘢痕图中。
图7示出了分别在第一和第二更新之后的两个示范性瘢痕图71和72。第一瘢痕图71仅包括异常组织的像素中最亮的像素。不过,第二瘢痕图包括所有异常组织的像素。
在本发明的一实施例中,将模板适配于图像数据受限于接近瘢痕的区域,扩展在适配期间为了吸引心外膜和/或心内膜轮廓而进行的图像特征搜索以便捕获心内膜下的瘢痕。可以将这种适配称为模板的局部变形。任选地,可以在独立的局部变形单元中实现这一操作。
在包含不同长轴视图(2-腔:左心室+左心房,以及4-腔:左和右心室+左和右心房)并呈现各种异常组织(大的透壁瘢痕、心内膜下的瘢痕以及小的低对比度且易混淆的瘢痕)的数据集上测试系统200。图8示出了由根据本发明的系统进行的心外膜和心内膜轮廓描绘的示范性结果,其中,心肌层包括心内膜下的瘢痕。
在本发明的一实施例中,准则函数是描述闭合带模板的能量的能量函数。该能量函数包括内部能量项和外部能量项。在模板几何结构不变形且与基于先验知识的典型模板几何结构相同时,内部能量项达到最小值。在模板变形使得模板的某些部分与图像中检测的某些特征交叠时,外部能量项达到最小值。准则条件是能量函数达到最小值。
在本发明的实施例中,可以由以下能量函数给出准则函数F:
F(p,I)=Fs(C,w)+Fc(Ci,Co,I)+Fr(M,B,I),
其中:
-p是包括模板参数(xi,yi,wi)的参数矢量,模板参数(xi,yi,wi)包括中心线节点坐标(xi,yi)和带宽度wi
-w是包括宽度wi的宽度矢量;
-C,Ci和Co分别是闭合带模板的中心线、内部轮廓和外部轮廓;
-I是图像,即向图像各位置分配亮度的图;而
-M和B分别是由闭合带模板在图像中的放置界定的心肌层和血池区域。
第一项Fs(C,w)是模板形状项并且为内部能量项。例如,
F s ( C , w ) = λ 0 ∫ 0 1 | C ( s ) - T ( C ~ ( s ) ) | 2 ds + λ 1 ∫ 0 1 | w ′ ( s ) | 2 ds ,
其中使第一积分最小化需要模板形状仿射地类似于预定义的形状最小值由通过仿射变换T变换的预定义轮廓和当前轮廓C之间的最小(T上)差异定义。本领域的技术人员将理解,s是闭合带模板模型的样条表示的参数。第二积分对模板宽度w的变化施加了约束,模板宽度w的变化由其一阶导数w′描述。
第二项Fc(Ci,Co,I)是轮廓项;这一项布置用于将心外膜和心内膜壁吸引到图像梯度的优选位置。能够将其表示为
F c ( C i , C i , I ) = λ 2 ∫ 0 1 ▿ I in ( s ) ds - λ 3 ∫ 0 1 | ▿ I on ( s ) | ds ,
其中 为图像梯度,而n(s)是中心线的向外指向的法线。为了实现这一项,如关于异常组织检测的段落中所述,使用梯度滤子,梯度滤子表现了对心肌层正常和异常部分的相对亮度的先验知识。
第三项Fr(M,B,I)为区域项。血池灰度级应当是均匀分布的。而且,正常心肌层组织是黑色的,而异常心肌层组织是亮的,这导致与血池之间强的全局对比度。因此区域项为:
F r ( M , B , I ) = λ 4 | M | ∫ M | I ( x , y ) - m ‾ | dxdy + λ 5 | B | ∫ B | I ( x , y ) - b ‾ | dxdy ,
其中血池区域B具有平均亮度和面积|B|,而预计心肌层区域M的亮度为
异常心肌部分的亮度不同于健康区域的亮度,这一事实意味着准则项的一些调整。利用所计算并更新的异常组织图检测异常区部。如果检测结果是肯定的,由于受损心肌层比周围器官更亮,所以沿边界界定预计对比度的梯度滤子被倒转。出于同样原因,心肌层内部的预计值是亮度范围的最大值而非健康心肌层的最小值。这些极值不是专门的参数,而是来自LECMR LA图像的采集参数,调节这些采集参数,使得健康心肌层呈现得尽可能黑,而瘢痕显得尽可能亮。
在一实施例中,准则函数不是模板参数(xi,yi,wi)的可微函数,其中i是中心线上节点的索引,这尤其是因为以非线性方式排除了内部区域的直方图来计入乳头肌。因此,通常的梯度下降法不是用于最小化的适当选项。此外,任何梯度下降方案都具有内在局限,即对局部极小值非常敏感。优化方案基于贪婪算法,仅依赖于直接准则计算。这种选择在计算复杂性和对初始条件的敏感度之间提供了良好的折衷。所采用的优化方案比梯度下降方案更加鲁棒,比动态规划复杂性更小,动态规划是用于对基于样条的模型进行全局优化的传统选择。可以通过以下迭代算法描述贪婪优化策略:
重复
(A)逐一访问每个节点,
-在预定范围内进行第i个节点参数(xi,yi,wi)值的搜索,
-移动到给出最低能量的所找到最佳位置,
(B)沿着中心线重新采样和移动节点(滑动)以增大旋转和参数化不变性,
直到找到稳定状态。
本领域的技术人员将认识到,系统200可以是用于在医师工作的很多方面辅助其的有价值工具。
本领域的技术人员将理解,系统200的其他实施例也是可能的。还有可能重新定义系统的单元,以及重新分配其功能。尽管所述的实施例应用于医疗图像,不涉及医疗应用的系统其他应用也是可能的。
可以使用处理器实现系统200的单元。通常而言,在软件程序产品的控制下执行所述单元的功能。在执行过程中,通常将软件程序产品加载到类似RAM的存储器内,并从其中执行所述软件程序产品。可以从诸如ROM、硬盘或者磁和/或光存储器的后台存储器加载所述程序,或者可以经由类似因特网的网络加载所述程序。任选地,专用集成电路可以提供所描述的功能。
图9示出了方法900的示范性实施方式的流程图,该方法900使用模板在从长轴图像数据计算的图像中描绘心脏的心内膜和心外膜轮廓,其中该模板界定用于描绘图像中的心内膜和心外膜轮廓的曲线。方法900开始于模板定位步骤905,用于基于短轴图像数据定位模板。在模板定位步骤905之后,该方法继续进行瘢痕图初始化步骤910,用于基于心内膜和心外膜表面的在先分割(该在先分割基于短轴图像数据)对瘢痕图进行初始化,以用于将模板适配于图像。在实施方法900期间,图初始化步骤包括顶点标记步骤912,用于在顶点满足标记条件时,将从心内膜和心外膜表面的在先分割和短轴图像数据获得的心内膜和心外膜网格的顶点标记为瘢痕顶点,接下来是第一标注步骤914,用于基于所标记的心内膜和心外膜网格的瘢痕顶点将图像的像素标注为瘢痕图像素。在图初始化步骤910之后,该方法900继续进行适配步骤920,用于使用准则函数将模板适配于图像,准则函数包括描述向图像特征吸引模板的项以及描述模板之内的内部交互作用的项,且其中基于瘢痕图定义准则函数的至少一个项。在一实施方式中,在适配步骤920之后,该方法900继续进行控制步骤940,其中检查条件,例如瘢痕图更新次数。如果满足该条件,例如,如果执行了最大次数的瘢痕图更新,该方法终止。否则,方法900继续进行瘢痕图更新步骤930,用于基于经适配的模板更新瘢痕图。在方法900的实施方式中,瘢痕图更新步骤930包括区带界定步骤932,用于基于适配于图像的模板界定图像中的感兴趣区域,接下来是第二标注步骤934,用于基于所界定的感兴趣区域将图像的像素标注为瘢痕图像素。在瘢痕更新步骤930之后,方法900继续到适配步骤920。
在不背离本发明意指的理念的情况下,本领域技术人员可以改变一些步骤的顺序或者采用线程模型、多处理器系统或多个过程同时执行一些步骤。任选地,可以将本发明的方法的两个或更多步骤结合到一个步骤当中。任选地,可以将本发明的方法的步骤拆分成多个步骤。
图10示意性地示出了采用系统200的图像采集设备1000的示范性实施例,所述图像采集设备1000包括经由内部连接与系统200连接的MR图像采集单元1010、输入连接器1001和输出连接器1002。这一布置有利地提高了图像采集设备1000的能力,即,为所述图像采集设备1000提供了系统200的有利能力。
图11示意性地示出了工作站1100的示范性实施例。工作站包括系统总线1101。将处理器1110、存储器1120、磁盘输入/输出(I/O)适配器1130和用户接口(UI)1140操作性连接至系统总线1101。磁盘存储装置1131操作性耦合到磁盘I/O适配器1130。将键盘1141、鼠标1142、显示器1143操作性耦合至UI 1140。将本发明的作为计算机程序实现的系统200存储到磁盘存储装置1131内。工作站1100被布置成将所述程序和输入数据加载到存储器1120内,并在处理器1110上执行所述程序。用户能够使用键盘1141和/或鼠标1142向工作站1100输入信息。所述工作站被布置成向显示装置1143和/或向磁盘1131输出信息。本领域的技术人员将理解,现有技术中已知有很多工作站1100的其他实施例,而本实施例的目的是图示说明本发明,决不应被解释为将本发明限制到该具体实施例。
应当注意,上述实施例旨在对本发明进行图示说明,而不是对其做出限制,并且本领域技术人员能够在不背离权利要求的范围的情况下设计出备选的实施例。在权利要求中,不应当将任何放置在括号内的附图标记推断为限制所述权利要求。“包括”一词不排除权利要求或说明书中未列举的元件或步骤的存在。元件前的单数冠词不排除存在复数个这样的元件。可以借助于包括若干不同元件的硬件,也可以借助于被编程控制的计算机实现本发明。在列举了若干单元的系统权利要求中,可以由同一个硬件或软件体现这些单元中的若干个。第一、第二、第三等词语的使用不表示任何顺序排列。可以将这些词语解释为名称。

Claims (13)

1.一种用于使用模板在从长轴图像数据计算的长轴图像中描绘心脏的心内膜和心外膜轮廓的系统(200),其中,所述模板界定用于在所述长轴图像中描绘所述心内膜和心外膜轮廓的曲线,所述系统(200)包括:
-模板定位单元(205),用于基于短轴图像数据在所述长轴图像中定位所述模板;
-瘢痕图初始化单元(210),用于基于所述心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述长轴图像,其中,所述在先分割基于所述短轴图像数据;以及
-适配单元(220),用于使用准则函数将所述模板适配于所述长轴图像,所述准则函数包括描述向图像特征吸引所述模板的项以及描述所述模板之内的内部交互作用的项,且其中,基于所述瘢痕图定义所述准则函数的至少一个项。
2.根据权利要求1所述的系统(200),还包括瘢痕图更新单元(230),用于基于经适配的所述模板更新所述瘢痕图。
3.根据权利要求1所述的系统(200),其中,基于来自所述短轴图像数据的在先分割的心内膜和心外膜网格对所述瘢痕图进行初始化。
4.根据权利要求3所述的系统(200),其中,所述瘢痕图初始化单元(210)包括:
-顶点标记单元(212),用于在从所述心内膜和心外膜表面的所述在先分割获得的心内膜和心外膜网格的顶点满足基于所述短轴图像数据的标记条件时,将所述网格顶点标记为瘢痕顶点;
-第一标注单元(214),用于基于所述心内膜和心外膜网格的所标记的瘢痕顶点将所述长轴图像的像素标注为瘢痕图像素。
5.根据权利要求1所述的系统,其中,基于所述瘢痕图定义的所述至少一个准则函数项是均匀性项或对比度项。
6.根据权利要求1所述的系统,其中,所述瘢痕图更新单元(230)包括:
-区带界定单元(232),用于基于适配于所述长轴图像的所述模板界定所述长轴图像中的感兴趣区域;
-第二标注单元(234),用于基于所界定的感兴趣区域将所述长轴图像的像素标注为瘢痕图像素。
7.根据权利要求1所述的系统(200),其中,所述模板是由外部和内部闭合轮廓界定的闭合带。
8.根据权利要求1所述的系统(200),还布置用于接收用于定义要包括于所述准则函数中的项和/或用于确定这些项的权重的用户输入。
9.根据权利要求8所述的系统(200),其中,所述用户输入包括瘢痕类型。
10.一种用于使用模板在从长轴图像数据计算的长轴图像中描绘心脏的心内膜和心外膜轮廓的方法(900),其中,所述模板界定用于在所述长轴图像中描绘所述心内膜和心外膜轮廓的曲线,所述方法(900)包括:
-模板定位步骤(905),用于基于短轴图像数据在所述长轴图像中定位所述模板;
-瘢痕图初始化步骤(910),用于基于所述心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述长轴图像,其中,所述在先分割基于所述短轴图像数据;以及
-适配步骤(920),用于使用准则函数将所述模板适配于所述长轴图像,所述准则函数包括描述向图像特征吸引所述模板的项以及描述所述模板之内的内部交互作用的项,且其中,基于所述瘢痕图定义所述准则函数的至少一个项。
11.一种包括根据权利要求1所述的系统(200)的图像采集设备(1000)。
12.一种包括根据权利要求1所述的系统(200)的工作站(1100)。
13.一种使用模板在从长轴图像数据计算的长轴图像中描绘心脏的心内膜和心外膜轮廓的装置,其中,所述模板界定用于在所述长轴图像中描绘所述心内膜和心外膜轮廓的曲线,所述装置包括:
-用于基于短轴图像数据在所述长轴图像中定位所述模板的模块;
-用于基于所述心内膜和心外膜表面的在先分割对瘢痕图进行初始化,以用于将所述模板适配于所述长轴图像的模块,其中,所述在先分割基于所述短轴图像数据;以及
-用于使用准则函数将所述模板适配于所述长轴图像的模块,所述准则函数包括描述向图像特征吸引所述模板的项以及描述所述模板之内的内部交互作用的项,且其中,基于所述瘢痕图定义所述准则函数的至少一个项。
CN200980133505.2A 2008-09-01 2009-08-25 长轴后期增强心脏mri的分割 Active CN102138161B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08305513.7 2008-09-01
EP08305513 2008-09-01
PCT/IB2009/053723 WO2010023618A1 (en) 2008-09-01 2009-08-25 Segmentation of the long-axis late-enhancement cardiac mri

Publications (2)

Publication Number Publication Date
CN102138161A CN102138161A (zh) 2011-07-27
CN102138161B true CN102138161B (zh) 2014-07-09

Family

ID=41263968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980133505.2A Active CN102138161B (zh) 2008-09-01 2009-08-25 长轴后期增强心脏mri的分割

Country Status (6)

Country Link
US (1) US8463008B2 (zh)
EP (1) EP2338141B1 (zh)
JP (1) JP5576374B2 (zh)
CN (1) CN102138161B (zh)
RU (1) RU2522038C2 (zh)
WO (1) WO2010023618A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463008B2 (en) * 2008-09-01 2013-06-11 Koninklijke Philips Electronics N.V. Segmentation of the long-axis late-enhancement cardiac MRI
US8965484B2 (en) * 2011-04-27 2015-02-24 General Electric Company Method and apparatus for generating a perfusion image
GB201121307D0 (en) * 2011-12-12 2012-01-25 Univ Stavanger Probability mapping for visualisation of biomedical images
EP2755185A1 (en) 2013-01-14 2014-07-16 Universitat Pompeu-Fabra Computer implemented method for identifying channel like structures in a 3D volume using a layered approach, and computer program product implementing the method
JP5669977B1 (ja) * 2013-08-29 2015-02-18 日本メジフィジックス株式会社 心筋輪郭抽出技術
EP3080777B1 (en) 2013-12-10 2017-08-02 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
EP3134020B1 (en) * 2014-04-23 2019-12-11 Johnson & Johnson Surgical Vision, Inc. Medical device data filtering for real time display
KR101616029B1 (ko) * 2014-07-25 2016-04-27 삼성전자주식회사 자기 공명 영상 처리 방법 및 방법을 실행하기 위한 장치
RU2576816C1 (ru) * 2015-03-02 2016-03-10 Федеральное государственное бюджетное учреждение "Российский кардиологический научно-производственный комплекс" Министерства здравоохранения Российской Федерации (ФГБУ "РКНПК" Минздрава России) Способ определения контуров миокарда левого предсердия на мр-изображениях с использованием мультипланарных реконструкций
DE102017203313A1 (de) * 2017-03-01 2018-09-06 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Auswertung eines kontrastmittelverstärkten Magnetresonanzschichtbildes eines Herzens, Bildverarbeitungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
CN115272374B (zh) * 2022-08-01 2023-05-12 北京安德医智科技有限公司 心脏磁共振影像的心室分割方法和装置
CN117011315B (zh) * 2023-10-07 2023-12-29 中国人民解放军总医院第二医学中心 一种lge mri左心房瘢痕分割系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
RU46164U1 (ru) * 2004-12-29 2005-06-27 Опытно-производственное унитарное предприятие "Конструкторское бюро спецтехники" Белорусского государственного университета (УП "КБСТ" БГУ) Система мониторинга состояния микроциркуляции
US20100278405A1 (en) 2005-11-11 2010-11-04 Kakadiaris Ioannis A Scoring Method for Imaging-Based Detection of Vulnerable Patients
US7864997B2 (en) * 2006-04-28 2011-01-04 Pie Medical Imaging B.V. Method, apparatus and computer program product for automatic segmenting of cardiac chambers
US8463008B2 (en) * 2008-09-01 2013-06-11 Koninklijke Philips Electronics N.V. Segmentation of the long-axis late-enhancement cardiac MRI

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Myocardium Segmentation in Late-enhancement MRI;C.Ciofolo等;《2008 IEEE International Symposium on Biomedical Imaging: From Nano to Macro》;20080517;第225页右栏第18行至第20行,第226页左栏第2节方法部分,第226页左栏第2段第2.1节,第226页左栏第3段,第226页右栏第2段,第227页右栏第25行至第28行第2.2节,第228页左栏第1段至第2段,第228页左栏第3节 *
C.Ciofolo等.Automatic Myocardium Segmentation in Late-enhancement MRI.《2008 IEEE International Symposium on Biomedical Imaging: From Nano to Macro》.2008,第225页右栏第18行至第20行,第226页左栏第2节方法部分,第226页左栏第2段第2.1节,第226页左栏第3段,第226页右栏第2段,第227页右栏第25行至第28行第2.2节,第228页左栏第1段至第2段,第228页左栏第3节.
Cardiac segmentation by a velocity-aided active contour model;Jinsoo Cho等;《Computerized Medical Imaging and Graphics》;20061231;全文 *
Jinsoo Cho等.Cardiac segmentation by a velocity-aided active contour model.《Computerized Medical Imaging and Graphics》.2006,全文.

Also Published As

Publication number Publication date
RU2011112402A (ru) 2012-10-10
WO2010023618A1 (en) 2010-03-04
JP2012501201A (ja) 2012-01-19
US8463008B2 (en) 2013-06-11
EP2338141A1 (en) 2011-06-29
RU2522038C2 (ru) 2014-07-10
US20110158496A1 (en) 2011-06-30
EP2338141B1 (en) 2018-11-21
CN102138161A (zh) 2011-07-27
JP5576374B2 (ja) 2014-08-20

Similar Documents

Publication Publication Date Title
CN102138161B (zh) 长轴后期增强心脏mri的分割
CN101933045B (zh) 短轴后期增强心脏mri的自动3d分割
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
US7844087B2 (en) Method for segmentation of lesions
Lynch et al. Segmentation of the left ventricle of the heart in 3-D+ t MRI data using an optimized nonrigid temporal model
US20190139227A1 (en) Methods and systems for image segmentation
Rueckert et al. Automatic tracking of the aorta in cardiovascular MR images using deformable models
CN104424629B (zh) 一种x光胸片肺部分割方法和装置
US8135189B2 (en) System and method for organ segmentation using surface patch classification in 2D and 3D images
US7643663B2 (en) Volume measurement in 3D datasets
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
CN110648358B (zh) 用于3d医学图像中的对象定位的形状参数的自适应非线性优化
US20090202150A1 (en) Variable resolution model based image segmentation
RU2669680C2 (ru) Инициализация модели на основе классификации видов
CN110546685B (zh) 图像分割和分割预测
Kronman et al. A geometric method for the detection and correction of segmentation leaks of anatomical structures in volumetric medical images
Patera et al. A non-rigid registration method for the analysis of local deformations in the wood cell wall
WO2009101577A2 (en) Interactive selection of a region of interest and segmentation of image data
Nuñez-Garcia et al. Standard quasi-conformal flattening of the right and left atria
Böttger et al. Application of a new segmentation tool based on interactive simplex meshes to cardiac images and pulmonary MRI data
Mao et al. Technique for evaluation of semiautomatic segmentation methods
Bersvendsen et al. Semiautomated biventricular segmentation in three-dimensional echocardiography by coupled deformable surfaces
Lakshmi Cardiac function review by machine learning approaches
Wan et al. Variational reconstruction of left cardiac structure from CMR images
Yao et al. Live level set: A hybrid method of livewire and level set for medical image segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant