CN1823337A - 用于检测医学图像中的隆起的系统和方法 - Google Patents

用于检测医学图像中的隆起的系统和方法 Download PDF

Info

Publication number
CN1823337A
CN1823337A CNA2004800198657A CN200480019865A CN1823337A CN 1823337 A CN1823337 A CN 1823337A CN A2004800198657 A CNA2004800198657 A CN A2004800198657A CN 200480019865 A CN200480019865 A CN 200480019865A CN 1823337 A CN1823337 A CN 1823337A
Authority
CN
China
Prior art keywords
medical image
many rays
distance
protuberance
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800198657A
Other languages
English (en)
Other versions
CN1823337B (zh
Inventor
A·P·基拉利
C·L·诺瓦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corporate Research Inc filed Critical Siemens Corporate Research Inc
Publication of CN1823337A publication Critical patent/CN1823337A/zh
Application granted granted Critical
Publication of CN1823337B publication Critical patent/CN1823337B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S378/00X-ray or gamma ray systems or devices
    • Y10S378/901Computer tomography program or processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供一种用于检测医学图像中的隆起的系统和方法。所述方法包括:获得医学图像(205),其中所述医学图像具有解剖部分;分割所述医学图像(210);计算所述医学图像的距离映射(215);计算距离映射医学图像的梯度(220);并且处理所述梯度以检测所述医学图像中的隆起(225)。所述梯度通过以下方式来处理:从距离映射医学图像中的位置投射多条射线;基于所述多条射线中的每一条的特征以及所述距离映射医学图像的梯度计算所述多条射线中的每一条的值;累加并且换算所述多条射线中的每一条的值;并且利用所述多条射线的累加和换算值检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述隆起。

Description

用于检测医学图像中的隆起的系统和方法
相关申请的交叉引用
本申请要求编号为60/486,799的于2003年7月11日提交的美国临时申请的权益,其副本在此被并入以作参考。
技术领域
本申请涉及用于检测医学图像中的隆起的系统和方法,以及更具体地涉及通过计算已分割的医学图像的距离映射来检测医学图像中的隆起以及处理距离映射医学图像的梯度特性以检测医学图像中的隆起。
背景技术
在医学成像领域中,各种系统已经被开发用来生成用于筛选和评价医学状况目的的个体的各种解剖结构的医学图像。这些成像系统例如包括计算机断层摄影(CT)成像、磁共振成像(MRI)、正电子发射X射线层析摄影(PET)等等。每种成像形式可以提供优于用于筛选和评价某些类型的疾病、医学状况或者解剖异常的其它形式的独特优点,所述某些类型的疾病、医学状况或解剖异常例如包括结肠息肉,动脉瘤、肺结节、心脏或者动脉组织硬化、乳房组织中的癌微钙化或者肿块、和各种其他病变或者异常。
例如,CT成像系统可以被用来获得患者的感兴趣区域(ROI)的一组横截面图像或者二维(2D)“切片”以用于使器官和其他组织成像的目的。CT形式通常被用于诊断疾病,因为这样的形式提供说明各种解剖结构、例如器官、软组织和骨头的尺寸、形状和位置的精确图像,并且能够实现对病变和异常解剖结构、例如肿瘤、息肉等的更精确的评价。
被内科医生、临床医生、放射科医师等用于诊断和评价医学状况的一种常规的方法是人工观察根据所获得的数据集重构的医学图像的硬拷贝(X射线胶片、打印、照片等),以辨别感兴趣的典型特征。例如,在CT检查期间所获得的CT图像数据可以被用于产生一组2D医学图像(X光胶片),受过训练的内科医生、临床医生、放射科医师等可以观察该组2D医学图像以识别潜在的异常解剖结构或者病变。虚拟结肠镜检查可以产生包括对应于结肠的正常解剖结构的医学图像,并且受过训练的放射科医师可能能够在这些潜在地为癌肿或者尚未成癌的结构中识别出小息肉。然而,受过训练的内科医生、临床医生、放射科医师可能因为人为误差而忽略医学状况、例如结肠息肉。
因此,各种图像处理系统和工具已经被开发以协助内科医生、临床医生、放射科医师评价医学图像以便诊断医学状况。例如,计算机辅助设计(CAD)工具已经被开发用于各种临床应用以提供医学图像中的医学状况的自动检测。通常,CAD系统使用用于图像数据(例如,CT数据)的数字信号处理的方法来自动检测结肠息肉和其他异常解剖结构,例如肺结节、损伤、动脉瘤、心脏或者动脉组织硬化、乳房组织中的微钙化或者肿块等。
尽管这样的CAD系统对于诊断目的来说是非常有用的,但是因为例如放射科医师不得不检查的数据的量是大量的,从而导致冗长的分析时间和用于放射科医师的解释的专业费用的高昂成本,所以降低成本是难以实现的。另外,许多CAD系统遭受假阳性(例如,不正确地将正常组织识别为不正常)和假阴性(例如,未能正确地识别异常)之苦。因此,需要一种CAD技术,该CAD技术准确地识别医学图像中的医学状况、例如结肠息肉,因此例如放射科医师的医学专家能够在短期时间内有效并且正确地分析这些状况。
发明内容
本发明通过提供用于检测医学图像中的隆起的系统和方法来克服在已知学说中遇到的前述和其他问题。
在本发明的一个实施例中,一种用于检测医学图像中的隆起的方法包括:分割医学图像;计算所述医学图像的距离映射;计算距离映射医学图像的梯度;并且处理所述梯度以检测医学图像中的隆起。
所述方法进一步包括:获得所述医学图像,存储一个或者多个所检测到的隆起的列表;并且从所述列表中过滤一个或者多个假阳性,其中所述假阳性中的一个或者多个不是结节、病变、息肉、癌症前期生长、和癌生长之一。所述医学图像是通过计算机断层摄影(CT)、螺旋CT、x光、正电子发射X射线层析摄影、荧光检查法、超声、和磁共振(MR)成像技术之一获得的。所述医学图像具有解剖部分。所述隆起是结节、病变、息肉、癌症前期生长、和癌生长之一。
所述处理步骤进一步包括:从距离映射医学图像中的位置投射多条射线;基于所述多条射线中的每一条的特征以及所述距离映射医学图像的梯度计算所述多条射线中的每一条的值;累加并且换算所述多条射线中的每一条的值;并且利用所述多条射线的累加和换算值检测类似球的形状和类似息肉的形状之一,其中所述类似球的形状和类似息肉的形状之一是所述隆起。
所述处理步骤也可以包括:从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;计算所述多条射线中的每一条的长度和所述多条射线中的每一条的终点处的距离值之差的绝对值,其中所述多条射线中的每一条的长度是离所述位置的初始距离值的若干分之几;用所述多条射线的总数除所述绝对值的总和;并且利用所述除法的结果检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述隆起。
在本发明的另一个实施例中,所述处理步骤包括:从所述距离映射图像中的包括初始距离值的位置投射多条射线;确定多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;计算基于球形的响应,其中所述基于球形的响应由此计算得出:
Σ i ∈ S ( d - l i ) T ,
其中d是初始距离值,li是射线i的长度,T是多条射线的总数,并且S是li<d的多条射线的集合;并且利用所述基于球形的响应检测所述隆起。
在又一个本发明的实施例中,所述处理步骤包括:从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;确定多条射线中的具有补充射线的每一条的距离值,所述补充射线具有小于所述初始距离值的距离值;计算基于半球形的响应,其中所述基于半球形的响应由此计算得出:
Σ i ∈ S ( d - l i ) T / 2 ,
其中d是初始距离值,li是射线i的长度,T是多条射线的总数,并且S是补充射线不具有小于初始距离值的值的多条射线的集合;并且利用所述基于半球形的响应检测所述隆起。
所述处理步骤额外地包括:从所述距离映射医学图像的边缘投射多条射线,其中所述多条射线遵循最陡的梯度;并且累加所述多条射线的路径,其中所累加的路径形成用于检测所述隆起的响应图像。所述处理步骤进一步包括:从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;确定多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;计算基于球形的响应,其中所述基于球形的响应由此计算得出:
Σ i = 0 F × d | d i - l i | T
其中d是初始距离值,F是在0和1之间的分数值,di是在沿着所述多条射线之一的点处的距离值,li是在点i处所述多条射线之一的长度,以及T是从i=0到i=F*d所取的点的总数;计算所述距离映射医学图像的灰度级差,其中所述灰度级差由此计算得出:
Σ i = 0 K r k K ,
其中rk表示射线k的基于球形的响应;并且使用所述灰度级差检测所述隆起。
在本发明的另一个实施例中,一种用于检测医学图像中的隆起的系统包括:用于存储程序的存储装置;与所述存储装置通信的处理器;所述处理器运行所述程序来:分割医学图像;计算所述医学图像的距离映射;计算距离映射医学图像的梯度;并且处理所述梯度以检测所述医学图像中的隆起。
所述处理器在处理所述梯度时进一步运行程序代码来:从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;确定多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;计算所述多条射线的基于球形的响应;计算所述多条射线的基于半球形的响应;并且利用基于球形的响应和基于半球形的响应检测所述隆起。
在本发明的又一个实施例中,所述处理器在处理所述梯度时进一步运行程序代码来:从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;确定多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;计算所述多条射线的基于球形的响应;计算所述距离映射医学图像的灰度级差;并且利用基于球形的响应和所述灰度级差检测所述隆起。
在本发明的另一个实施例中,一种计算机程序产品包括计算机可用介质,该计算机可用介质具有记录在其上的用于检测医学图像中的隆起的计算机程序逻辑,所述计算机程序逻辑包括:用于分割医学图像的程序代码;用于计算所述医学图像的距离映射的程序代码;用于计算距离映射医学图像的梯度的程序代码;并且用于处理所述梯度以检测所述医学图像中的隆起的程序代码。
在本发明的又一个实施例中,一种用于检测医学图像中的隆起的系统包括:用于获得医学图像的装置;用于分割所获得的医学图像的装置;用于计算所述医学图像的距离映射的装置;用于计算距离映射医学图像的梯度的装置;并且用于处理所述梯度以检测所述医学图像中的隆起的装置。
在本发明的另一个实施例中,一种用于检测结肠图像中的息肉的方法包括:获得结肠的图像;将结肠的表面与邻近结构分割开;计算所分割的表面的距离映射;计算距离映射图像的梯度;并且处理所述梯度以检测所述结肠中的息肉,其中所述梯度是通过以下方式来处理的:从所述距离映射图像中的位置投射多条射线;基于所述多条射线中的每一条的特征和所述距离映射图像的梯度计算所述多条射线中的每一条的值;累加和换算所述多条射线中的每一条的值;并且利用所述多条射线的累加和换算值检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述息肉。
前述优点和特征是代表性的实施例的并且被提供用于帮助理解本发明。应当理解的是它们并不旨在被认为是对如由权利要求所定义的本发明的限定,或者是对权利要求的等价物的限定。因而,特征和优点的这种概述不应当被认为在确定等价物时是决定性的。本发明的附加的特征和优点在下面的描述中、从附图和权利要求中将变得明显。
附图说明
图1是根据本发明的示范性实施例的、用于检测医学图像中的隆起的系统的方块图;
图2是表示根据本发明的示范性实施例的、用于检测医学图像中的隆起的方法的操作的流程图;
图3说明根据图2的方法处理的结肠的三维(3D)医学图像;
图4说明收敛于结肠中类似于息肉的结构的中心的、3D医学图像的梯度;
图5说明根据本发明的示范性实施例处理的结肠的3D医学图像;
图6说明根据本发明的另一个示范性实施例处理的结肠的3D医学图像;以及
图7说明根据本发明的又一个示范性实施例处理的结肠的3D医学图像。
具体实施方式
图1是根据本发明的示范性实施例的、用于检测医学图像中的隆起的系统100的方块图。如图1中所示,系统100尤其包括扫描装置105、个人计算机(PC)110和通过例如以太网120相连接的操作者控制台115。扫描装置105可以是磁共振成像(MRI)装置、计算机断层(CT)成像装置、螺旋CT装置、正电子发射X射线层析摄影(PET)装置、二维(2D)或者三维(3D)荧光成像装置、2D、3D或者四维(4D)超声成像装置或x光装置等。
可以是便携式或者膝上型计算机、个人数字助理(PDA)等的PC 110包括中央处理单元(CPU)125和存储器130,它们被连接到输入装置155和输出装置160上。CPU 125包括检测模块145,该检测模块是包括一种或者多种用于检测医学图像中的隆起、例如息肉的方法的计算机辅助检测(CAD)模块。CPU 125进一步包括诊断模块150,其被用于执行医学图像数据的自动诊断或评价功能。
存储器130包括随机存取存储器(RAM)135和只读存储器(ROM)140。存储器130也可以包括数据库、磁盘驱动器、磁带驱动器等或者它们的结合。RAM 135起数据存储器的作用,该数据存储器存储在CPU 125中的程序的执行期间所使用的数据并且作为工作区而被使用。ROM 140起程序存储器的作用,用于存储在CPU 125中执行的程序。输入装置155由键盘、鼠标等构成,以及输出装置160由液晶显示器(LCD)、阴极射线管(CRT)显示器、打印机等构成。
系统100的操作由操作者控制台115所控制,操作者控制台115包括例如键盘的控制器170和例如CRT显示器的显示器165。操作者控制台115与PC 110和扫描装置105通信,以便由扫描装置105收集的2D图像数据可以经由PC 110转换为3D数据并且在显示器165上进行观察。应理解的是,PC 110可以被配置为使用例如输入155和输出160装置来操作和显示由不存在于操作者控制台115上的扫描装置105所提供的信息,以执行由控制器170和显示器165所执行的某些任务。
操作者控制台115可以进一步包括任何合适的能够处理所获得的图像数据集(或者其中的部分)的数字图像数据的图像再现系统/工具/应用,以生成并在显示器165上显示2D和/或3D图像。更具体地,所述图像再现系统可以是提供医学图像数据的2D/3D再现和可视化并且在通用或者特定计算机工作站上运行的应用。此外,所述图像转换再现系统可以包括图形用户界面(GUI),其使用户能够导航通过3D图像或者多个2D图像切片。PC 110也可以包括用于处理所获得的图像数据集的数字图像数据的图像再现系统/工具/应用,以生成和显示2D和/或3D图像。
如图1中所示,检测模块145和诊断模块150也被PC 110用于接收和处理数字医学图像数据,如上所述,该数字医学图像数据的形式可以为未加工的图像数据、2D重建数据(例如,轴向切片)或者例如体积图像数据或者多平面重定格式的3D重建数据、或者这样的格式的任一组合。数据处理结果可以经由网络120从PC 110输出到操作者控制台115中的图像再现系统,以根据所述数据处理结果、例如器官或者解剖结构的分割、颜色或者亮度变化等生成图像数据的2D和/或3D再现。
应理解的是,根据本发明的用于检测医学图像中的隆起的CAD系统和方法可以被实施为对用于处理图像数据的传统的CAD方法或者其他自动检测方法的扩展或者替代。进一步地,应理解的是,在此描述的示范性的方法和系统可以利用3D医学图像和CAD系统或者应用来容易地实现,所述3D医学图像和CAD系统或者应用适合于宽范围的成像形式(例如CT、MRI等)以及适合于诊断和评价各种异常解剖结构或者病变、例如结肠息肉、动脉瘤、肺结节等。在这点上,尽管示范性的实施例在此可能参考特定成像形式或者特定解剖特征来描述,但不应当被解释为对本发明的范围的限制。
此外,应理解的是本发明可以以硬件、软件、固件、专用处理器或者它们的组合的不同形式来实现。在一个实施例中,本发明可以以软件形式作为确实地被包含在程序存储装置(例如,磁软盘、RAM、CD ROM、DVD、ROM和闪存)中的应用程序被实现。所述应用程序可以被上传到包括任何适合的结构的机器并且由其执行。
图2是表示根据本发明的示范性实施例的、用于检测医学图像中的隆起的方法的操作的流程图。如图2中所示,3D数据是从例如结肠的医学图像中获得的(步骤205)。这通过使用运行在操作者控制台115上的扫描装置105、例如CT扫描仪来扫描结肠从而生成与所述结肠相关的一连串的2D图像而完成。所述结肠的2D图像可以接着被转换或者变换为3D再现图像。应理解的是,所述医学图像可以是管腔,除了结肠之外,所述管腔可以是胰腺、支气管、喉、气管、窦、耳道、血管、尿道和膀胱等中的任意一个。所述医学图像也可以是非管状的结构,例如肺软组织或者肝脏。
在从所述结肠获得3D数据后,所述结肠的3D数据被分割(步骤210)。更具体地,将结肠的表面或者壁与所述3D图像中的其它结构分割开。如图3中所示,图像310说明经历分割之后结肠的一部分。特别地,图像310的亮的部分定义结肠壁,而暗的部分表示结肠管腔。应理解的是,根据本发明可以使用多种分割技术、例如区域生长、阈值处理、高斯平滑、边缘检测、和连通成分标记,以基于例如尺寸和位置特征来识别不属于所述结肠的结构。另外,不是所有的本发明所使用的分割方法都仅仅被限于结肠分割。
如图2中进一步所示,所分割的3D数据的距离变换和/或距离映射被计算(步骤215)。存在许多用于计算距离变换的方法。一种方法被称作斜面度量或者斜面距离方法,其近似真实的欧几里得距离。在这种方法中,所述距离变换通过首先为管腔外的所有三维象素分配无穷大值来计算。所述结肠壁和管腔的三维象素被分配值“0”。这些值相应于离管腔的距离并且将通过以下方式而被更新,即取具有最小值的三维象素,增加距离值,并且如果相邻的近邻具有更大的值,则分配所述距离值给所述近邻。这个过程被重复直到没有新的分配发生。
用于计算所述距离变换的另一种方法包括计算真实的欧几里得距离,但是以更长的处理时间为代价。使用相似的概念,在图像的x、y和z方向上给近邻分配值。在每种情况中,实际的三维象素距离的平方被分配。如图3中所示,图像320说明图像310的距离变换。
在计算了所述医学图像的被分割的3D数据的距离变换后,获得所述距离变换的梯度(步骤220)。距离变换图像的梯度使用例如下面所示的公式(1)来计算:
▿ I ( x , y , z ) = [ dI ( x , y , z ) / dx , dI ( x , y , z ) / dy , dI ( x , y , z ) / dz ] - - - ( 1 )
其中I是所述图像,dI是所述图像的导数,以及x,y,和z定义所述图像中的特定位置。应理解的是所述图像的梯度可以以多种方式计算,在一个实例中,通过使所述图像与基于高斯的核卷积来计算所述梯度,这样导致对图像噪声不太敏感的梯度。
接下来,所述距离变换图像被处理以确定息肉候选(步骤225)。存在多种可以被用于处理距离变换和/或距离映射图像并提供息肉候选的方法,这些方法在下文中将参照图3-7来讨论。
可以看出所计算的距离变换图像的梯度趋向于集中于类似息肉的结构和/或形状的中心,例如如图4中所示。在图4中,距离变换图像410具有类似息肉的结构,线420说明离表面相等距离的水平,并且线430说明所计算的距离变换图像410的梯度的方向。
在第一方法中,从所述距离变换图像中的所选位置向外投射一连串和/或多条射线,所述位置可以是类似息肉的结构所处的任何位置。计算基于所述多条射线中的每一条的特征(例如所述梯度和所述多条射线之间的角或者所述多条射线中的每一条的长度)和所述距离变换图像的梯度的、多条射线中的每一条的值(例如,所述梯度和所述多条射线之间的角的余弦值)。所得到的值被累加并被换算并且被用来确定给定位置的最终值。所述最终值接着被用来确定是否所述位置具有与息肉的结构相似的类似球形或者类似息肉的结构。
另一方法也包括使用射线。例如,在图像之中给定所选择的点(x,y,z),从此位置放射状地向外投射射线。当所述射线命中等于在其原点(例如,所述射线被投射的所选择的点)处的距离标志的若干分之几(例如,四分之一)的距离时,它被停止。如果所述射线到达大于其原点的距离,它被视为从被分割的表面离开并且不被考虑。计算射线长度减去所述射线命中分数点和/或三维象素的距离的绝对值。对于理想的球形来说,所述结果是达到零的球形值,并且被用于确定是否所述位置具有与息肉的结构相似的类似球形或者类似息肉的结构。
如图3中所示,图像330说明在利用上述第一方法被处理以确定息肉候选之后图像320的结肠的部分。更具体地,图3说明取被处理的图像的亮的部分来确定息肉候选。在这种情况中,通过在图像330中心的面向下的隆起来识别所述息肉候选。为了确定所述候选,采用所述图像的阈值,并且仅仅比邻近的候选更亮的三维象素被接受,因为所述息肉候选包括比它们的近邻更亮的三维象素值。
在步骤225之后,所检测到的隆起被存储在CPU 125的存储器130中以用于进一步的分析或者它们立即由例如医学专家使用常规的CAD技术来进行分析。在所述分析期间,所获得的数据被过滤以确定是否所检测到的隆起是例如结节、病变、息肉、癌症前期生长或癌生长。如果它们不是,则它们被从所述数据集中过滤或者移除和/或被指示为假阳性。
根据本发明的另一个示范性的实施例,所述距离变换图像可以经历不同的处理方法以确定息肉候选。例如,基于球形或者半球形的响应趋向于生成接近息肉的亮值,因为它们具有相似的形状,该基于球形或者半球形的响应可以被用于检测和估计息肉候选的尺寸和结构。
通过首先选择距离变换图像中的位置并且记录在那个位置处的距离值来计算基于球形和半球形的响应。一组射线接着从所选择的位置向外放射状地投射,并且测量每一条射线的距离值,该距离值为离所选择的位置的距离(即它的原点距离)的若干分之几(例如,近似四分之三)。所得到的数据由一系列射线长度组成(其中,每条射线具有在补充方向上的合作者),并且这些长度被用于所述球形和半球形响应的计算中。
在所述射线长度已经被确定以后,所述基于球形的响应被计算。首先,如果长度值小于初始值,则计算初始值(即所述图像中所选择的位置)减去各条射线的值的差的总和,所述各条射线的值是所选择的位置的距离的若干分之几。接着用从所述所选择的位置放射状地向外投射的射线的总数除所述总和,并且确定最终值。所述基于球形的响应使用下面所示的公式(2)来计算:
Σ i ∈ S ( d - l i ) T - - - ( 2 )
其中d是(所选择的位置的)初始距离值,li是射线i的长度,T是射线的总数,以及S是li<d的射线的集合。
所述基于半球形的响应以类似于球形响应的方式来计算。然而,当计算所述半球形响应时,如果所述补充射线具有小于所述初始距离值的距离值时,它们不被包括在总和中。但是,如果所述射线之一具有小于所述初始距离值的距离值时,两条射线都被包含在所述最终总和中。所述总和接着被射线总数的一半除,如下面在公式(3)中所示:
Σ i ∈ S ( d - l i ) T / 2 - - - ( 3 )
其中S是补充射线不具有小于所述初始值的值的射线的集合,d是初始距离值,li是射线i的长度,以及T是射线的总数。
应理解的是所述基于球形和半球形的响应可以可交换地和独立于彼此被使用并且它们可以被用于补充步骤225中的处理或者它们可以以组合的形式或者单独地被用于代替前述步骤225的处理。
图5说明根据本发明的示范性实施例处理的结肠的3D医学图像。如图5中所示,一组图像510说明已经经历了参照步骤225所述的第一处理的结肠的若干部分。图像(a)说明根据在图像(a)的中心的面向下的隆起所识别的候选息肉。一组图像520说明已经利用基于半球形的响应被处理的如图像510中所示的结肠的相同部分。图像(b)说明与图像(a)中所示的相同的候选息肉。一组图像530在高中心和半球值被移除后图像510和520的最小值。
更具体地,通过取图像(a)和(b)的最小响应来计算图像530。作为结果,为所得到的息肉候选的图像(c)比图像(a)和(b)的相同候选息肉更加亮并且更清晰地被限定,从而为用户和/或传统CAD检测/过滤系统提供更容易的息肉检测。
图6说明根据本发明的另一个示范性的实施例被处理的结肠的3D医学图像。如图6中所示,一组图像610说明已利用累加梯度跟踪技术被处理的结肠的若干部分。通过从遵循所计算的最陡梯度的距离变换图像的边缘投射线来完成利用所述累加梯度跟踪技术的处理。因为每一条线都遵循所述最陡梯度,它增加值“1”到响应图像,并且因为多条线被投射,所以它们的路径在所述图像之中的点上累加。在这种方法中,息肉位置趋于具有作为响应的突出的线结构。因而,可以通过观察具有如图6的图像(a)中所示的亮的类似于线的结构的隆起区域来检测候选息肉。
图7说明根据本发明的又一个示范性实施例被处理的结肠的3D医学图像。如图7中所示,一组图像710说明已利用连续灰度级差技术被处理的结肠的若干部分。
类似于基于球形的响应,所述连续灰度级差技术通过从距离变换图像中的所选择的位置向外投射一组射线而开始。沿着每条射线中的选择点,取距离值减去在那个点上每条射线的长度的绝对值。这些差的总和用所采样的点的总数来除,并且这些值中的每一个的总和用射线的总数来除。最终值对于理想的球形来说接近零,而对于非球形物体来说大于零。接着从正的常数中减去该值以转换所述值,以便球形对象具有更大的值。
在所述连续灰度级技术中,如公式(4)中所示来计算每条射线:
Σ i = 0 F × d | d i - l i | T - - - ( 4 )
其中d是在原点的距离标志,F是在0和1之间的分数值,di是在沿着所述射线的特定点处的距离值,li是在点i处射线的长度,以及T是从i=0到i=F*d所取的点的总数。
在已经使用公式(4)计算了每条射线之后,使用公式(5)计算所述最终值:
Σ i = 0 K r k K - - - ( 5 )
其中rk表示通过公式(4)为每条射线k计算的值。通过利用所述灰度级差技术而形成的结果图像使息肉候选能够通过观察所得到的一组图像710中的亮的球形部分而被检测到。
应理解的是基于半球形的响应也能够利用上述连续灰度级技术来计算并且可以取基于球形和半球形的响应中的最小值以生成用于确定息肉候选的图像。
根据本发明,可以通过获取被分割的医学图像的距离变换以及处理它的梯度特征来检测例如结肠中的候选息肉的位置。另外,也可以使用此处所述的处理方法通过观察在距离变换图像中的位置(例如已检测到候选息肉的位置)上的距离标志和/或值能够被用于估计息肉的尺寸来估计候选息肉的尺寸和/或形状。另外,所述距离标志的统计度量可以被用于估计所检测区域中的息肉的尺寸。因此,传统的CAD系统可以通过使用本发明来增强,以提高准确性并且减少与对例如医学图像中的结肠息肉的医学状况的解释相关的花费和分析时间。
应理解的是,因为附图中所描述的构成系统的部件和方法步骤中的一些可以以软件来实现,所以所述系统部件(或者处理步骤)之间的实际的连接可以取决于本发明被编程的方式而不同。给出在此提供的本发明的教导,本领域的技术人员将能够设想本发明的这些和相似的实施方案和配置。
同样应当理解的是上面的描述仅仅是说明性实施例的代表。为了便于读者理解,上面的描述聚焦于可能的实施例的典型例子、即本发明的原理的说明性例子。所述描述并未尝试穷举所有可能的变化。针对本发明的特定部分的替代实施例可能并没有被提供,或者更多未描述的替代方案可用于某一部分,这并不应被认为是对那些替代实施例的放弃。其他应用和实施例可以被直接地实施而不脱离本发明的精神和范围。因此并不旨在将本发明限制于特定地被描述的实施例,因为可以产生包括上述实施方案的非创造性替换在内的、上述实施方案的许多排列组合,但是本发明应根据随后的权利要求而被定义。可以被理解的是那些未描述的实施例中的许多落在随后的权利要求的字面范围内,而其他的是等价的。

Claims (31)

1、一种用于检测医学图像中的隆起的方法,包括:
分割医学图像;
计算所述医学图像的距离映射;
计算距离映射医学图像的梯度;并且
处理所述梯度以检测所述医学图像中的隆起。
2、如权利要求1的方法,进一步包括:
获得所述医学图像。
3、如权利要求2的方法,其中所述医学图像是通过计算机断层摄影(CT)、螺旋CT、x光、正电子发射X射线层析摄影、荧光检查法、超声和磁共振(MR)成像技术之一而获得的。
4、如权利要求2的方法,其中所述医学图像具有解剖部分。
5、如权利要求1的方法,其中所述处理步骤进一步包括:
从所述距离映射医学图像中的位置投射多条射线;
基于所述多条射线中的每一条的特征以及所述距离映射医学图像的梯度计算所述多条射线中的每一条的值;
累加并且换算所述多条射线中的每一条的值;并且
利用所述多条射线的累加和换算值检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述隆起。
6、如权利要求1的方法,所述处理步骤进一步包括:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
计算所述多条射线中的每一条的长度和所述多条射线中的每一条的终点处的距离值之值的绝对值,其中所述多条射线中的每一条的长度是离所述位置的初始距离值的若干分之几;
用所述多条射线的总数除所述绝对值的总和;并且
利用所述除法的结果检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类型息肉的形状之一是所述隆起。
7、如权利要求1的方法,其中所述处理步骤进一步包括:
从所述距离映射图像中的包括初始距离值的位置投射多条射线;
确定所述多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;
计算基于球形的响应,其中所述基于球形的响应通过下式来计算:
Σ i ∈ S ( d - l i ) T
其中d是初始距离值,li是射线i的长度,T是所述多条射线的总数,并且S是li<d的多条射线的集合;并且
利用所述基于球形的响应检测所述隆起。
8、如权利要求1的方法,其中所述处理步骤进一步包括:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
确定所述多条射线中的具有补充射线的每一条的距离值,所述补充射线具有小于所述初始距离值的距离值;
计算基于半球形的响应,其中所述基于半球形的响应通过下式来计算:
Σ i ∈ S ( d - l i ) T / 2
其中d是初始距离值,li是射线i的长度,T是所述多条射线的总数,并且S是补充射线不具有小于所述初始距离值的值的多条射线的集合;并且
利用所述基于半球形的响应检测所述隆起。
9、如权利要求1的方法,其中所述处理步骤进一步包括:
从所述距离映射医学图像的边缘投射多条射线,其中所述多条射线遵循最陡的梯度;并且
累加所投射的多条射线的路径,其中所累加的路径形成用于检测所述隆起的响应图像。
10、如权利要求1的方法,其中所述处理步骤进一步包括:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
确定所述多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;
计算基于球形的响应,其中所述基于球形的响应通过下式来计算:
Σ i = 0 F × d | d i - l i | T
其中d是初始距离值,F是在0和1之间的分数值,di是在沿着所述多条射线之一的点处的距离值,li是在点i处所述多条射线之一的长度,以及T是从i=0到i=F*d所取的点的总数;
计算所述距离映射医学图像的灰度级差,其中所述灰度级差通过下式来计算:
Σ i = 0 K r k K
其中rk表示每条射线k的基于球形的响应;并且
使用所述灰度级差检测所述隆起。
11、如权利要求1的方法,其中所述隆起是结节、病变、息肉、癌症前期生长和癌生长之一。
12、如权利要求1的方法,进一步包括:
存储一个或者多个所检测到的隆起的列表;并且
从所述列表中过滤一个或者多个假阳性,其中所述假阳性之一不是结节、病变、息肉、癌症前期生长和癌生长之一。
13、一种用于检测医学图像中的隆起的系统,包括:
用于存储程序的存储装置;
与所述存储装置通信的处理器;所述处理器运行所述程序以:
分割医学图像;
计算所述医学图像的距离映射;
计算距离映射医学图像的梯度;并且
处理所述梯度以检测所述医学图像中的隆起。
14、如权利要求13的系统,其中所述处理器进一步运行程序代码以:
获得所述医学图像,其中所述医学图像具有解剖部分。
15、如权利要求14的系统,其中所述医学图像是通过计算机断层摄影(CT)、螺旋CT、x光、正电子发射X射线层析摄影、荧光检查法、超声和磁共振(MR)成像技术之一而获得的。
16、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行程序代码以:
从所述距离映射医学图像中的位置投射多条射线;
基于所述多条射线中的每一条的特征以及所述距离映射医学图像的梯度计算所述多条射线中的每一条的值;
累加并且换算所述多条射线中的每一条的值;并且
利用所述多条射线的累加和换算值检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述隆起。
17、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行程序代码以:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
计算所述多条射线中的每一条的长度和所述多条射线中的每一条的终点处的距离值之差的绝对值,其中所述多条射线中的每一条的长度是离所述位置的初始距离值的若干分之几;
用所述多条射线的总数除所述绝对值的总和;并且
利用所述除法的结果检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述隆起。
18、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行程序代码以:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
确定所述多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;
计算所述多条射线的基于球形的响应;
计算所述多条射线的基于半球形的响应;并且
利用基于球形的响应和基于半球形的响应检测所述隆起。
19、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行程序代码以:
从所述距离映射医学图像的边缘投射多条射线,其中所述多条射线遵循最陡的梯度;并且
累加所述多条射线的路径,其中所累加的路径形成用于检测所述隆起的响应图像。
20、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行述程序代码以:
从所述距离映射医学图像中的包括初始距离值的位置投射多条射线;
确定所述多条射线中的每一条的距离值,该距离值为离所述位置的距离的若干分之几;
计算所述多条射线的基于球形的响应;
计算所述距离映射医学图像的灰度级差;并且
利用基于球形的响应和所述灰度级差检测所述隆起。
21、如权利要求13的系统,其中所述隆起是结节、病变、息肉、癌症前期生长和癌生长之一。
22、如权利要求13的系统,其中当处理所述梯度时所述处理器进一步运行程序代码以:
存储一个或者多个所检测到的隆起的列表;并且
从所述列表中过滤一个或者多个假阳性,其中所述假阳性中的一个或者多个不是结节、病变、息肉、癌症前期生长和癌生长之一。
23、一种计算机程序产品,包括计算机可用介质,该计算机可用介质具有记录在其上的用于检测医学图像中的隆起的计算机程序逻辑,所述计算机程序逻辑包括:
用于分割医学图像的程序代码;
用于计算所述医学图像的距离映射的程序代码;
用于计算距离映射医学图像的梯度的程序代码;以及
用于处理所述梯度以检测所述医学图像中的隆起的程序代码。
24、如权利要求23的系统,进一步包括:
用于获得所述医学图像的程序代码。
25、如权利要求24的系统,其中所述图像是通过计算机断层摄影(CT)、螺旋CT、x光、正电子发射X射线层析摄影、荧光检查法、超声和磁共振(MR)成像技术之一获得的。
26、如权利要求23的系统,进一步包括:
用于存储一个或者多个所检测到的隆起的列表的程序代码;以及
用于从所述列表中过滤一个或者多个假阳性的程序代码,其中所述假阳性中的一个或者多个不是结节、病变、息肉、癌症前期生长和癌生长之一。
27、如权利要求23的系统,其中所述隆起是结节、病变、息肉、癌症前期生长和癌生长之一。
28、一种用于检测医学图像中的隆起的系统,包括:
用于获得医学图像的装置;
用于分割所获得的医学图像的装置;
用于计算所述医学图像的距离映射的装置;
用于计算距离映射医学图像的梯度的装置;以及
用于处理所述梯度以检测所述医学图像中的隆起的装置。
29、如权利要求28的系统,进一步包括:
用于存储一个或者多个所检测到的隆起的列表的装置;以及
用于从所述列表中过滤一个或者多个假阳性的装置,其中所述假阳性中的一个或者多个不是结节、病变、息肉、癌症前期生长和癌生长之一。
30、一种用于检测结肠的图像中的息肉的方法,包括:
获得结肠的图像;
将结肠的表面与附近的结构分割开;
计算所分割的表面的距离映射;
计算距离映射图像的梯度;并且
处理所述梯度以检测所述结肠中的息肉,其中所述梯度通过以下方式来处理:
从所述距离映射图像中的位置投射多条射线;
基于所述多条射线中的每一条的特征和所述距离映射图像的梯度计算所述多条射线中的每一条的值;
累加和换算所述多条射线中的每一条的值;并且
利用所述多条射线的累加和换算值检测类似球形的形状和类似息肉的形状之一,其中所述类似球形的形状和类似息肉的形状之一是所述息肉。
31、如权利要求30的方法,其中所述图像是通过计算机断层摄影(CT)、螺旋CT、x光、正电子发射X射线层析摄影、荧光检查法、超声和磁共振(MR)成像技术之一获得的。
CN2004800198657A 2003-07-11 2004-05-20 用于检测医学图像中的隆起的系统和方法 Expired - Fee Related CN1823337B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US48679903P 2003-07-11 2003-07-11
US60/486,799 2003-07-11
US10/849,576 2004-05-19
US10/849,576 US7369638B2 (en) 2003-07-11 2004-05-19 System and method for detecting a protrusion in a medical image
PCT/US2004/016108 WO2005015483A1 (en) 2003-07-11 2004-05-20 System and method for detecting a protrusion in a medical image

Publications (2)

Publication Number Publication Date
CN1823337A true CN1823337A (zh) 2006-08-23
CN1823337B CN1823337B (zh) 2012-03-07

Family

ID=33567966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800198657A Expired - Fee Related CN1823337B (zh) 2003-07-11 2004-05-20 用于检测医学图像中的隆起的系统和方法

Country Status (6)

Country Link
US (1) US7369638B2 (zh)
EP (1) EP1644866A1 (zh)
CN (1) CN1823337B (zh)
AU (1) AU2004264196B2 (zh)
CA (1) CA2531871C (zh)
WO (1) WO2005015483A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686289B1 (ko) * 2004-04-01 2007-02-23 주식회사 메디슨 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
AT502127B1 (de) * 2005-07-04 2008-10-15 Advanced Comp Vision Gmbh Acv Verfahren zur segmentierung von datenstrukturen
DE102005036998B4 (de) * 2005-08-05 2014-11-20 Siemens Aktiengesellschaft Vorrichtung zur automatischen Detektion von Auffälligkeiten in medizinischen Bilddaten
JP2007260144A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
CN101802868B (zh) * 2007-09-17 2013-07-31 皇家飞利浦电子股份有限公司 用于测量图像中的对象的测径器
US8126244B2 (en) * 2007-09-21 2012-02-28 Siemens Medical Solutions Usa, Inc. User interface for polyp annotation, segmentation, and measurement in 3D computed tomography colonography
EP2638525B1 (en) * 2010-11-12 2017-03-01 Koninklijke Philips N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
WO2012113069A1 (en) 2011-02-24 2012-08-30 Dog Microsystems Inc. Method and apparatus for isolating a potential anomaly in imaging data and its application to medical imagery

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5452367A (en) * 1993-11-29 1995-09-19 Arch Development Corporation Automated method and system for the segmentation of medical images
US6470092B1 (en) * 2000-11-21 2002-10-22 Arch Development Corporation Process, system and computer readable medium for pulmonary nodule detection using multiple-templates matching
US20020164061A1 (en) 2001-05-04 2002-11-07 Paik David S. Method for detecting shapes in medical images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111340756B (zh) * 2020-02-13 2023-11-28 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质

Also Published As

Publication number Publication date
EP1644866A1 (en) 2006-04-12
CA2531871A1 (en) 2005-02-17
AU2004264196B2 (en) 2009-05-28
US20050008205A1 (en) 2005-01-13
CN1823337B (zh) 2012-03-07
CA2531871C (en) 2012-09-18
AU2004264196A1 (en) 2005-02-17
US7369638B2 (en) 2008-05-06
WO2005015483A1 (en) 2005-02-17

Similar Documents

Publication Publication Date Title
Gu et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs
US11593978B2 (en) System and method for forming a super-resolution biomarker map image
Van Rikxoort et al. Automatic lung segmentation from thoracic computed tomography scans using a hybrid approach with error detection
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5814504B2 (ja) 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
Li et al. DenseX-net: an end-to-end model for lymphoma segmentation in whole-body PET/CT images
Aggarwal et al. Role of segmentation in medical imaging: A comparative study
CN101036165A (zh) 用于树模型显像以检测肺栓塞的系统和方法
US20050107695A1 (en) System and method for polyp visualization
CN111563523A (zh) 利用机器训练的异常检测的copd分类
US7412084B2 (en) Method of analysis of local patterns of curvature distributions
JP6415878B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
US7391893B2 (en) System and method for the detection of shapes in images
CN1823337B (zh) 用于检测医学图像中的隆起的系统和方法
Dong et al. A novel end‐to‐end deep learning solution for coronary artery segmentation from CCTA
Gomathi et al. Automated CAD for lung nodule detection using CT scans
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
TW202238617A (zh) 具有放射學特徵和語義成像描述特徵的哺乳動物結節判定方法、系統和電腦儲存媒體
Chen et al. Segmentation of liver tumors with abdominal computed tomography using fully convolutional networks
Masud et al. Variation Segmentation Layer in Deep Learning Network for SPECT Images Lesion Segmentation
Gomathi et al. Automated CAD for detection of lung nodule using CT scans
CN1842297A (zh) 用于息肉显影的系统和方法
Sensakovic Computerized segmentation and measurement of pleural disease
Linh et al. IBK–A new tool for medical image processing
WO2005002432A2 (en) System and method for polyp visualization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SIEMENS MEDICAL SYSTEMS, INC.

Free format text: FORMER OWNER: SIEMENS MEDICAL SOLUTIONS

Effective date: 20061110

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20061110

Address after: American Pennsylvania

Applicant after: American Siemens Medical Solutions Inc.

Address before: new jersey

Applicant before: Siemens Corporate Research, Inc.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120307

Termination date: 20190520