CN105025803A - 从多个三维视图对大对象的分割 - Google Patents

从多个三维视图对大对象的分割 Download PDF

Info

Publication number
CN105025803A
CN105025803A CN201480011113.XA CN201480011113A CN105025803A CN 105025803 A CN105025803 A CN 105025803A CN 201480011113 A CN201480011113 A CN 201480011113A CN 105025803 A CN105025803 A CN 105025803A
Authority
CN
China
Prior art keywords
image
registration
ultrasound
dimensional
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480011113.XA
Other languages
English (en)
Other versions
CN105025803B (zh
Inventor
C·迪富尔
R·M·M·普雷沃
B·J-D·B·M·莫里
R·J·阿尔东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105025803A publication Critical patent/CN105025803A/zh
Application granted granted Critical
Publication of CN105025803B publication Critical patent/CN105025803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Abstract

本发明涉及一种用于检查体积(32)中的对象(33)的超声成像系统(10)。所述超声成像系统包括超声图像采集探头(14),所述超声图像采集探头用于采集三维超声图像并提供三维超声图像数据,所述超声图像采集探头包括跟踪设备(25、27),所述跟踪设备用于跟踪所述超声图像采集探头(14)的位置并提供所述三维超声图像的视角位置(128、130)。由此,使得能够通过提供多幅三维超声图像及其各自的视角位置(128、130)并且在所述多幅三维超声图像中同时进行对所述对象(33)的分割(80)并将所述视角位置(128、130)考虑在内来实现改进的初始化和改进的共配准和共分割。

Description

从多个三维视图对大对象的分割
技术领域
本发明涉及三维超声成像。具体地,本发明涉及对被扫描体积中的对象的图像处理和分割。
背景技术
在三维超声成像或体积成像中,能够根据探头以不同方式执行对三维图像的采集。例如,能够使用诸如飞利浦的X6-1的xMatrix探头来执行真实3D采集。使用诸如飞利浦的V6-2的机械探头,从对多个二维切片的采集中获得3D体积,多个二维切片的校准被机械驱动。使用二维探头,通过进行在感兴趣体积中切片的许多二维扫描而得到三维体积。因此,采集到彼此相邻的多幅二维图像。另外,通过适当的图像处理,能够从多幅二维图像构建出感兴趣体积的三维图像。在以上列举的所有情况中,三维信息以恰当的形式被显示在用于超声系统的用户的显示器上。
另外,所谓的实况三维成像或4D成像通常用于临床应用中。在实况三维成像中,能够采集到关于体积的实时视图,使得用户能够查看解剖部位的移动部分,例如搏动的心脏或其他。在实况三维成像的临床应用中,有时需要对心脏的相对小区域(诸如单个瓣膜或间隔缺损)进行成像,并且有时需要对心脏的大区域(诸如整个心室)进行成像。
二维图像分割是放射科医师的常见任务。通常根据多个堆叠的二维分割执行对三维对象的图像分割。三维中的图像分割是较不常见的。提取的表面能够用于量化器官或肿瘤的体积或用作执行基于特征的图像配准的标志。然而,手动分割3D图像中的器官通常是繁琐的。尽管量化和可视化工具相对可用于2D图像,但是3D体积分析通常通过临床实践中难以实现的繁琐流程手工完成。因此,这样的方法是非常不方便的。因此,需要自动进行且精确的分割,但是其难以获得,尤其在受到许多噪声和各种伪影损坏的超声图像中。
文献US 2008/0139938示出了一种用于采集、处理并呈现超声图像中的感兴趣区域内的腔组织界面的边界的系统,所述超声图像基于从感兴趣区域(ROI)内的结构返回的超声回波的信号的强度。对占有感兴趣区域的腔形状的边界的分割利用占有腔组织界面的像素组的价值函数分析。经分割的形状进一步被图像处理以确定包含感兴趣区域内的腔的器官或结构的区或体积。
另外,超声是大量使用的模态,尤其在微创介入期间,例如在肝脏中,因为它对患者无害。相较于例如计算机断层摄影(CT)或磁共振(MR)模态,超声图像不提供相同的医学信息。所有这些模态在提供全面的体内视图中彼此补充。然而,超声能够使肋骨之间的组织可视化,因为肋骨投射阴影掩蔽信息。而且,相较于计算机断层摄影或磁共振断层摄影,超声图像具有有限的视场。这变成将人类身体内的对象的计算机断层摄影或磁共振断层摄影数据与超声图像数据进行对齐的话题。CT或MR通常在对超声的使用之前被采集并且包含关于例如肿瘤形状和位置的精确信息。在对超声成像的使用期间,期望一直保持经由CT和/或MR采集的诸如肿瘤形状和位置的标注数据与超声数据对齐。
另外,即使在不使用其他模态的情况下,也可以从不同视角采集超声图像。因此,将多幅超声图像彼此进行配准是进一步的话题。
需要改进的自动分割和配准工具或至少计算机辅助的分割和配准工具。
发明内容
本发明的目的是提供一种用于检查体积中的对象的超声成像系统,所述超声成像系统更加便于校准并且能够显示彼此配准的经分割的超声图像或任何备选参考,例如,经由不同模态获得的图像。
在本发明的第一方面中,提出了一种用于检查体积中的对象的超声成像系统,所述超声成像系统包括:超声图像采集探头,其用于采集三维超声图像并提供或输出三维超声图像数据,所述超声图像采集探头包括跟踪设备,所述跟踪设备用于跟踪所述超声图像采集探头的位置并提供所述三维超声图像的视角位置;以及图像处理器,其被配置为接收所述三维超声图像数据并且被配置为提供显示数据,其中,所述图像处理器被配置为接收多幅三维超声图像及其各自的视角位置,并且被配置为在所述多幅三维超声图像中同时进行对所述对象的分割。
在本发明的另一方面中,提出了一种用于提供体积中的对象的超声图像的方法,所述方法包括以下步骤:提供尤其是采集包括多幅三维超声图像和每幅三维超声图像的视角位置的所述体积的超声图像数据;处理所述超声图像数据以在第一超声图像和至少一幅另外的超声图像中同时对所述对象进行分割和配准,从而提供经分割和经配准的超声图像数据;并且基于所述经分割和经配准的超声图像数据来显示超声图像。
在本发明的另一方面中,提出了一种包括程序代码模块的计算机程序,当在计算机上执行所述计算机程序时,所述程序代码模块用于令所述计算机执行用于提供体积中的对象的超声图像的所述方法的步骤,所述方法包括以下步骤:提供尤其是采集包括多幅三维超声图像和每幅超声图像的视角位置的所述体积的超声图像数据;处理所述超声图像数据以在第一超声图像和至少一幅另外的超声图像中同时对所述对象进行分割和配准,从而提供经分割和经配准的超声图像数据;并且基于所述经分割和经配准的超声图像数据来显示超声图像。
本发明的基本构思是使用跟踪设备,尤其是电磁跟踪设备以便于所述超声图像的配准和共分割。经由与每幅超声图像相关联的并且利用所述跟踪设备跟踪的视角位置,能够粗略地初始化配准搜索空间。经由共分割和配准发现的另外的确切结果可以用于准确地校准所述跟踪设备。
由此,还便于保持所述超声图像与相同体积的先前采集的三维图像(例如与所述超声数据对齐的计算机断层摄影(CT)图像或磁共振(MR)图像)配准。为了实现这一点,跟踪设备被附接到所述超声图像采集探头,用作用于超声视图的一种类型的全球定位系统(GPS)。一旦所述跟踪设备被校准,尤其针对诸如CT体积的参考被校准,随后的超声体积采集就与所述CT体积对齐。
一般能够通过不同方式进行对所述跟踪设备,尤其是电磁跟踪设备的校准,例如,能够使用被定位在患者的胸部上的基准(fiducials)。另外,可以使用在超声视图中对CT或MR视图中的显著特征(标志)进行定位的手动配准。当然,可以使用基于图像处理的技术来对齐图像,所述基于图像处理的技术自动识别存在于CT和超声视图两者中的标志(例如,肝脏血管)或形状表面。然而,除了这一点,本发明提出进行另外的校准过程。
这是因为在没有进行造影剂注射的情况下诸如肝脏血管的标志不能够一直在CT数据中被可视化。因此,标志技术被给出关于CT数据的一些约束。使用被放置在例如患者的胸部上的基准的配准出于各种原因不能够一直被实施。例如,这种配准和校准要求基准在这些CT扫描期间和在另外的超声采集期间呆在原地。然而,这对CT图像采集(或MR图像采集)与超声成像系统的采集之间的时间施加约束。另外,一些对象或器官可能太大以至于不能使用超声图像采集探头来完整地捕获。那么,对各自的器官的子集进行匹配可能不提供对整个表面的准确配准。而且,超声体积可以因回波描记术固有的阴影效应而严重受损。另外,还可以从例如CT数据非常准确地提取对诸如肝脏的器官的分割。然而,该结果可以不必在超声采集时将患者的各自的形状与体积相匹配。患者可以已经改变了他或她的姿势和/或患者可以呈现与在CT采集期间不同的呼吸相位。然而,利用根据本发明的超声图像采集设备,用于分割和准确配准本身的解决方案能够被提供为对超声伪影稳定且非常准确。另外,所提出的发明应对不同的患者姿势和呼吸相位。最后,诸如肝脏的大的器官还可以方便地被处置。
因此,基本上,本发明提出了一种被附接到超声采集探头的位置跟踪系统,例如,电磁(EM)跟踪设备。来自所述跟踪设备的数据被处理并当处理由所述超声图像采集探头提供的图像数据时由图像处理器考虑在内。因此,对具有也由所述跟踪设备记录的不同视角位置的多幅超声图像的采集能够由所述超声图像采集系统来处理。能够经由基于模型的配准和共分割过程来进行对所述对象的分割和对所述多幅超声图像的配准。
在从属权利要求中限定了本发明的优选实施例。应当理解,要求保护的方法具有与要求保护的设备和与在从属权利要求中限定的相同和/或相似的优选实施例。
在所述超声成像系统的实施例中,所述图像处理器被配置为通过使能量项最小化来进行分割,使得变形的初始几何形状尽可能好地与所述对象的边界相匹配。
已经发现,使用在分割过程期间变换的先前指定的初始几何形状的基于模型的方法提供在所有超声图像中同时找到并分割所述对象的鲁棒收敛方法。如下面将更详细解释的,所述分割包括对初始模型,例如粗略表示目标对象的形状的初始模型进行变形。在另一实施例中,所述能量项包括表示第一三维超声图像的第一项和表示另一三维超声图像的至少另一项,其中,经变形的初始几何形状在所述第一项和所述至少另一项中相同,并且其中,数据保真项或所述第一项和所述至少另一项中的至少一个每个包括将所述三维超声图像与至少一幅三维超声图像进行配准的配准变换。
第一超声图像和至少另一超声图像可以被配准到共同参考。例如,所述共同参考可以是其中一幅超声图像,例如第一超声图像或可能是经由不同模态(例如经由CT或MR)采集的三维图像。当然,所述共同参考还可以是共同坐标系内的任何位置。重要的是,最后获知相对于彼此的所有位置。由此,当将所述对象从三维超声图像数据中分割出来时,同时能够找到所述配准变换。不需要在所述分割之前将三维超声图像数据与至少另一三维超声图像数据准确地预先配准。而是,在所述分割同时执行对至少两个图像数据集的配准。因此,将它们对齐的几何变换可用作侧面结果。这使得能够对多个三维超声图像数据进行配准并同时提供超声成像系统的经配准的图像。
在另一实施例中,通过对所述初始几何形状应用全局变换和非刚性局部变换来进行对所述初始几何形状的变形,尤其其中,所述全局变换对所述初始几何形状进行平移、旋转和缩放,并且其中,所述非刚性局部变换对所述初始几何形状应用位移场。
尤其地,所述位移场可以增强平滑度。另外,能量项还可以包括对所述非刚性局部变换进行约束的第三项。能量项的该构建提供对粗略对应于要被分割的对象的初始几何形状进行变形在变换期间可以不变形太多的优点。这通过将所述初始几何形状的变形分为全局变换和分开的局部变换来实现,所述全局变换对所述初始几何形状进行平移和旋转和缩放,所述分开的局部变换对所述初始几何形状进行变形。由此,所述方法还能够应用惩罚所述局部变换的第三项,使得所述对象的形状不偏离所述初始几何形状太多。由此,通过所述过程来促进接近所述初始几何形状的分割。
在另一实施例中,所述图像处理器被配置为基于对经由诸如计算机断层摄影的不同模态采集的三维图像数据中的所述对象的分割来确定所述初始几何形状。
由此,尤其是在所述对象是大的情况下可以使用诸如CT的不同模态来准确地找到并分割所述对象,并且使用该经分割的形状作为在超声分割和配准期间的初始几何形状。
在另一实施例中,所述图像处理器被配置为接收所述初始几何形状作为用户的定义。
因此,不规定用户设置基本几何前初始几何形状,例如在要分割的为肝脏的情况下为椭球或球。当然,也可以使用其他基本几何形式,例如圆柱或平均形状(例如,肝脏的平均形状)。
在另一实施例中,所述图像处理器被配置为确定每幅三维超声图像到共同参考的所述配准变换,所述每幅三维超声图像例如经由不同模态采集的三维图像数据或多幅三维超声图像之一。
由此,例如在对所述超声图像采集系统的控制下的介入期间,经配准的图像能够例如利用关于经由诸如CT或MR的不同模态采集的所述对象的并排视图而被呈现给用户。
在另一实施例中,所述图像处理器还被配置为基于对所述配准搜索空间的初始化来进行所述分割,其中,对所述配准搜索空间的所述初始化通过使能量项最小化使得所述初始几何形状尽可能好地与所述三维超声图像内的对象边界相匹配而在所述三维超声图像中的每幅中粗略地定位所述初始几何形状来进行。
通过该初始化,能够显著减少针对所述配准的搜索空间。不仅所述对象的所述初始几何形状的粗略估计而且对采集超声图像的视角位置能够被递送为粗略估计。仅在这些初始位置周围搜索对所述能量项的优化。
在另一实施例中,通过仅仅优化三维平移变换并将当采集各自的三维图像时所述超声图像采集探头的视角位置考虑在内来使所述能量项最小化,并且其中,对由所述跟踪设备跟踪的所述图像采集探头的三维取向的校准被考虑在内。
由此,可能首先进行预先校准的工作流程以提供初始定位信息。例如,其包括经由所述电磁(EM)跟踪设备对两个跟踪位置的采集和记录,其被粗略地定位在患者的胸骨上并给出关于患者的头尾轴的线索。之后,能够基于该预先校准的工作流程的知识来进行对所述配准搜索空间的自动初始化。
由此,方便地加速所述初始化。因为由于可以将利用跟踪设备采集的视角位置考虑在内而仅搜索平移变换,所以非常快速地采集所述初始化。另外,当处置仅仅部分采集的对象时,可以以非常鲁棒的方式使所述共分割和配准初始化。
在另一实施例中,所述超声成像系统还被配置为通过使用经由所述超声图像采集探头采集的另外的多幅三维超声图像和已经进行的初始化提供对所述分割和配准变换的所需精细化。
在精细化期间,获取对所述对象的至少一个超声体积的采集。之后,再次基于所述基于模型的配准和共分割过程来进行对所述超声图像的分割和定位。然而,使用先前进行的初始化。
在另一实施例中,所述超声成像系统包括跟踪设备,所述跟踪设备为电磁跟踪设备。
由此,可以使用没有侧面要求并且使用对集成在诸如探头的小设备中特别有用的非常小尺寸的传感器的电磁导航和跟踪技术。
在所述方法的另一实施例中,所述方法包括在提供超声图像数据作为输入的步骤之前,提供尤其是采集使用不同模态采集的所述体积的所述对象的三维图像的另外的步骤。
如上面已经解释的,使用不同模态采集的所述对象的所述三维图像可以用于在使用不同模态采集的图像中完全分割出所述对象,尤其在非常大的对象的情况下,以采集所述初始几何形状,并且用于使所述超声图像中的分割过程初始化。
在另一实施例中,所述方法包括通过将所述图像采集探头移动到已知轴上的至少两个不同位置处或将所述探头图像采集取向在预定义关系中,即平行或垂直于已知轴(例如患者的头尾轴)来对用于采集所述视角位置的跟踪设备进行校准的第一步骤。
在具体实施例中,本发明可以与电磁跟踪设备一起使用并且可以在微创介入期间使用。因此,配备定位传感器的回声描记系统或超声系统获益于该具体发明。本发明可以用于所述对象的形状实际上从针对不同模态采集的图像中的先前进行的分割获知的系统中。然而,本发明还解决了对给出对象的形状的粗略估计的目标对象的共配准和分割,所述形状例如仅仅是球或平均形状。而且本发明还适用于仅仅被配备跟踪设备并且然而没有可用CT或MR的超声系统。对于这种应用,本发明用于在具有不同视角位置的多幅超声图像内分割出所述对象。
在另一实施例中,所述图像处理器还被配置在于所述配准变换是仿射的。
一般地,应用在所述能量项的第一项和第二项之一或换言之所述能量的数据相似项中的所述配准变换能够是刚性变换或非刚性变换。所述配准变换可以是任何类型的全局线性变换。尤其地,其能够是仿射变换。仿射变换是保持直线和位于直线上的点之间的距离的比率的变换。仿射变换等价于由平移跟随的线性变换。尤其地,所述仿射变换可以是具有多达十二个参数的线性变换。
然而,必须强调,所提议的系统和方法还能够被应用于对患者的任何其他器官或患者内的对象的检查。对于患者的脾脏、肠、胰腺、肝脏或心脏,也可以发现其他合适的基本几何形状。另外,主动脉可以是可以经由所提议的系统和方法检查的对象。对于主动脉,细长的圆柱可以是基本几何形状。
在另一实施例中,所述超声成像系统还包括:换能器阵列,其被配置为提供超声接收信号;射束形成器,其被配置为控制换能器阵列来扫描体积,并且还被配置为接收超声接收信号并提供图像信号;控制器,其用于控制所述射束形成器;以及信号处理器,其被配置为接收所述图像信号并提供三维图像数据和对比度增强的三维图像数据。
由此,提供了一种能够采集多幅三维图像并将其提供给所述图像处理器的全面功能超声成像系统。对比度增强的三维图像数据可以之后用作不同模态的数据以支持分割和配准。
附图说明
本发明的这些方面和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并从下文描述的(一个或多个)实施例得以阐述。在以下附图中:
图1示出了超声图像系统的总体概图;
图2示出了超声系统的基本元件的框图;
图3示出了用于解释采集的体积的示意图;
图4示出了用于图示共分割和配准过程的框图;
图5a至图5c示出了解释在分割期间对初始几何形状进行的变换的范例;
图6示出了图示整个图像采集过程的实施例的另一框图;
图7示出了在图像采集期间对患者上的有关轴和位置的新的示意性图示;
图8示出了方法的实施例的框图;以及
图9a至图9d示出了用于解释进行的图像采集的图像范例。
具体实施方式
图1示出了根据实施例的超声系统10的示意性图示,尤其是医学超声三维成像系统。超声成像系统10被应用于检查解剖部位的体积,尤其是患者12的解剖部位。超声系统10包括具有至少一个换能器阵列的超声图像采集探头14,所述至少一个换能器阵列具有用于发射和/或接收超声波的许多换能器元件。在一个范例中,换能器元件每个能够以具体脉冲持续时间的至少一个发射脉冲(尤其是多个后续发射脉冲)的形式发射超声波。例如,换能器元件能够被布置在能够绕轴机械地移动或转动的一维行中,例如用于提供二维图像。另外,换能器元件可以被布置在二维阵列中,尤其用于提供多平面图像或三维图像。
一般地,可以以三种不同方式来获得许多二维图像,每幅沿着具体声学线或扫描线,尤其是扫描接收线。第一,用户可以经由手动扫描来获得许多图像。在这种情况下,超声图像采集探头可以包括能够保持跟踪扫描线或扫描平面的位置和取向的位置感测设备。然而,这在当前是没有预见到的。第二,可以在超声图像采集探头内自动地机械地扫描换能器。这可以是在使用一维换能器阵列的情况。第三,并且优选地,换能器的相控二维阵列被定位在超声图像采集探头内并且电子地扫描超声射束。超声图像采集探头可以由系统的用户手持,例如医疗人员或医生。超声图像采集探头14被应用到患者12的身体,使得患者12中的解剖部位的图像被提供。
另外,超声系统10具有控制单元16,控制单元16控制经由超声系统10提供三维图像。如下面将进一步详细解释的,控制单元16不仅控制经由超声图像采集探头14的换能器阵列对数据的采集,而且控制信号和图像处理,所述信号和图像处理从由超声图像采集探头14的换能器阵列接收的超声射束的回波中形成三维图像。
超声系统10还包括用于向用户显示三维图像的显示器18。另外,输入设备20被提供为可以包括键或键盘22和另外的输入设备,例如轨迹球24。输入设备20可以被连接到显示器18或直接连接到控制单元16。
另外,超声系统10包括跟踪设备,例如电磁跟踪设备。跟踪设备的零件位于探头14内或可以经由夹子与探头相关联。另外的零件25、25’,例如诸如磁阻传感器的传感器可以被放置在超声系统的周围。优选地,另外的零件25、25’的空间坐标是已知的。
图2示出了超声系统10的示意性框图。如上面已经陈述的,超声系统10包括超声图像采集探头(PR)14、控制单元(CU)16、显示器(DI)18和输入设备(ID)20。如上面进一步陈述的,探头(PR)14包括换能器阵列26,例如相控二维换能器阵列或自动扫描的一维换能器阵列。另外,探头包括跟踪设备的零件27,例如,生成经由传感器25、25’感测到的电磁场的线圈。一般地,控制单元(CU)16可以包括中央处理单元,所述中央处理单元可以包括模拟电路和/或数字电路、处理器、微处理器等来协调整个图像采集和提供。另外,控制单元16包括本文中所称的中央处理单元28。然而,必须理解,中央处理单元28不需要为超声系统10内的单独的实体或单元。其能够为控制单元16的部分,并且一般为实施的硬件或软件。仅出于说明性目的进行当前区分。作为控制单元16的部分的中央处理单元(CPU)28可以控制射束形成器,并且由此控制体积32的哪些图像被获取,以及这些图像如何被获取。射束形成器(BF)30生成驱动换能器阵列(TR)26、确定零件重复频率的电压,其可以扫描、聚焦并切趾发射的射束和(一个或多个)接受或接收射束,并且还可以放大滤波器并使由换能器阵列26返回的回波电压流数字化。另外,控制单元16的中央处理单元28可以确定一般扫描策略。这样的一般策略可以包括期望的体积采集速率、体积的横向范围、体积的高度范围、最大和最小线密度、如上面已经解释的扫描线时间和线密度。射束形成器30还从换能器阵列26接收超声信号并将它们转发为图像信号。
另外,超声系统10包括接收图像信号的信号处理器(SP)。信号处理器34一般被提供用于模数转换、诸如带通滤波的数字滤波以及对接收到的超声回波或图像信号的检测和压缩,例如动态范围减少。信号处理器转发图像数据。
另外,超声系统10包括图像处理器(IP)36,所述图像处理器(IP)36将从信号处理器34接收到的图像数据转换成最终在显示器18上显示的显示数据。尤其地,图像处理器36接收图像数据、对图像数据进行预处理并且可以将图像数据存储在图像存储器中。这些图像数据之后进一步被后处理,以经由显示器18将图像最方便地提供给用户。在当前情况下,尤其地,图像处理器36可以从每个切片中的许多二维图像中形成三维图像。
用户接口利用附图标记38一般地被描绘,并且包括显示器18和输入设备20。其还可以包括另外的输入设备,例如鼠标或可以甚至被提供在超声图像采集探头14本身上的另外的按钮。
可以应用本发明的三维超声系统的具体范例是由申请人尤其是与申请人的X6-1或X7-2t TEE换能器或使用申请人的xMATRIX技术的另一换能器一起售出的CX32 CompactXtreme超声系统。一般地,如在飞利浦iE33系统上发现的矩阵型换能器系统或如例如在飞利浦iU22和HD15系统上发现的机械3D/4D换能器技术可以应用本发明。
图3示出了相对于超声图像采集探头14的体积32的范例。在该范例中描绘的示范性体积32是扇形类型的,由于超声图像采集探头14的换能器阵列被布置为相控二维电子扫描阵列。因此,体积32的大小可以由高度角42和横向角44来表示。体积32的深度46可以由每条线的以秒为单位的所谓的线时间来表示。其是扫描具体扫描线花费的扫描时间。
体积32可以被划分成许多切片48、50或二维图像。出于说明性目的仅描绘两个切片48、50。实际上,在体积32上分布具有不同高度角40的许多切片48、50。当然,切片48、50还可以被取向在高度方向上并且在横向方向上被分布在体积32上。在图像采集期间,超声图像采集探头14的二维换能器阵列由射束形成器以沿着切片48、50中的每个内的许多这些扫描线顺序地扫描体积32的方式操作。在多线接收处理中,单个发射射束可以辐照许多接收扫描线,例如四个接收扫描线,沿着所述接收扫描线并行采集信号。如果是这样的话,之后在体积32上顺序地对这样的接收线的集合进行电子扫描。
在本申请中,目标是从至少两幅不同的图像中精确地分割出相同的对象,例如肝脏。所述分割包括对初始模型(例如,粗略地表示目标对象的形状的初始模型)进行变形。作为范例,在目标对象为肝脏的情况下,初始形状可以为球或肝脏平均形状。该形状由在全空间中限定的隐函数(即函数φ)来表示,函数φ在形状内部为正并且在外部为负。形状则是这样的函数的零水平集。全隐函数将由空间变换ψ进行变形。尤其地,零水平集将改变,并且因此将是对应的对象。该变换被分解成两种不同的变换:
ψ=Log
g是能够对初始形状进行平移、旋转或重新缩放的全局变换。
其将基本上校正所述模型的初始姿势。
L是将实际上对所述对象进行变形使得其与要在所述图像中分割的所述对象更精确地匹配的局部变换。
所述方法的目标则是使用图像I信息来找到最好的L和g,这通过使以下能量最小化来完成:
∫H(φoLog(x))r(x)+λ∫||L(x)-x||2
在还称为数据保真的第一项中,H是Heaviside函数(如果x>0则H(x)=1,并且如果x<0则H(x)=0),这意味着积分实际上仅仅在变形的对象内部。r(x)是基于图像的函数,其在体素有可能在感兴趣对象的外部(相应为内部)时在每个点上返回负(相应为正)值。对于模糊区域,r(x)被设置为零。第二项是所谓的正则化。第二项是L与恒等函数之间的范数。由于对象形状应当不偏离形状先验太多,因此惩罚变形的幅度。要强调的是,该第二项不取决于对象的位置和取向,这是变形的分解的目的。同时使用在L和g两者上的梯度下降来执行对这样的能量的最小化。
在仅有两幅图像的仅有范例中,并且如果两幅图像已经被完美配准,则先前描述的方程能够容易地通过添加另一数据保真项来扩展:
∫H(φoLog(x))r1(x)+∫H(φoLog(x))r2(x)+λ∫||L(x)-x||2
然而,经配准的采集可以仅在同时采集的或在另一个之后不久采集的两幅US图像时进行。US图像不太可能在随后采集的情况下被配准。因此,这考虑另一变换。一般地,该变换可以是非刚性的并且是任何类型的变换。然而,如果能够做出寻找相同对象的假设,则(g12标示的)该变换能够是刚性的,即,其允许对位置和取向的全局改变,但仅仅在相同大小的情况下。变换g12还能够被设置为任何仿射变换,例如以在不损失计算效率的情况下考虑体积变化。所述能够则变成:
∫H(φoLog(x))r1(x)+∫H(φoLog(x))r2(x)og12(x)+λ∫||L(x)-x||2
基本上,其校正来自变换g12的第二项的图像信息。在多幅图像的情况下,将必须添加每个包括其自身的变换的每幅图像的另外的项。
任选的第三项被构造为对局部变形的约束。其在局部变形导致对象的形状偏离初始几何形状太多时惩罚。因此,当我们搜索最小值时,在第一项和第二项得到相同结果的情况下,少于其他解的变换初始几何形状的解将被认为是最好的。参数“λ”可以被设置以确定该约束的相关性。
通过同时在L,g和g12上的梯度下降来执行优化。最后,作为函数φoLog的零水平集的分割更精确,因为它使用两幅图像的信息。另外,实现对允许将图像彼此配准的变换g12的估计。
图4示出了要进行的分割的实施例。在该实施例中,还有三维超声图像数据与另外的三维超声图像数据的配准。
通过利用两种变换对初始几何形状进行变形来获得实际分割,两种变换为考虑旋转、平移和缩放的全局变换和实际上修改初始几何形状的局部变换。通过使区域竞争能量最小化使得变形的形状与图像数据中的目标对象的边界相匹配来找到两种变换。在该实施例中,基于两幅图像的项被用在能量项中使得将多幅US图像考虑在内。在多于两幅超声图像的情况下,可以添加基于更多图像的能量项,针对每幅图像一个。因为两个(或更多个)图像数据集不必被配准,基于两幅图像的项之一必须通过变换来校正。如果例如要被扫描的是肝脏并且患者屏住呼吸,则能够做出这样的假设:在采集普通超声图像数据和另外的超声图像数据期间肝脏不变形使得刚性变换能够被应用到仅仅平移和旋转。之后,US图像之间关于全局变换、局部变换和刚性变换的能量能够被优化。
首先,通过找到或设置初始几何形状64来使所述分割初始化。这还可以手动进行。对配准进行初始化可以通过还在普通三维超声图像数据中搜索初始几何形状64仅仅通过对初始几何形状进行平移和旋转来进行。由此,能够提供普通三维超声图像数据与另外的三维超声图像数据之间的初始几何变换。该几何变换可以通过对具有先前估计的初始形状的普通三维超声图像中穷举搜索(关于平移和旋转)来估计,先前估计的初始形状例如椭球、球或圆柱。另外,可以经由如下面进一步详细解释的跟踪设备来找到初始化。
之后,在已经提供了框64和76的初始化并且已经提供了三维超声图像数据62和另外的三维超声图像数据60的情况下,能够进行实际分割。所述分割操作如下。
将根据先前描述的框架来对先前设置的初始几何形状进行变形以更精确地分割对象或肝脏。在具体应用中,基于图像的项可以被设置为r(x)=±ΔI(x),其中,Δ运算符标示拉普拉斯(Laplacian)运算符。在数学上,使对象内部的图像的拉普拉斯最小化意味着对象的表面的法向向量应当与图像梯度相匹配;也就是说,分割方法将查找亮到暗的边缘(或者暗到亮,取决于乘法符号)。
在图4中,对超声图像数据70的全局变换和对另外的超声图像数据68的全局变换被示出为被进行为将所有图像的图像数据变换到一个参考系中。在框74中对普通三维超声图像数据进行变换,并且在框72中对另外的超声图像数据进行变换。然而,当然,其可以是这样的情况,三维超声图像数据或另外的超声图像数据的坐标系可以被用作参考系使得仅普通三维超声图像数据和另外的超声图像数据之一需要实际上被变换。另外,所有超声图像数据还可以被变换到先前经由诸如磁共振断层摄影或其他的另一模态采集的参考系。同时,进行如上面解释的局部变换78。这得到如上面解释的初始几何形状64的变形模型66。通过应用初始几何形状的该变形模型,在框80中能够从普通三维超声图像数据和另外的三维超声图像数据中分割出对象。作为侧面结果,由于普通三维超声图像数据和另外的三维超声图像数据必须在相同参考系中被全局变换和局部变换,因此将普通三维超声图像数据和三维超声图像数据进行配准的变换被找到作为框76。
同样地,出于说明性目的,图5a示出了图像82中的范例函数φ84。
在图5b中,示出了提供在如上面解释的初始化过程中从基本几何形状84找到的初始几何形状64。搜索变换ψ,得到从普通三维超声图像数据和另外的三维超声图像数据中分割出对象的变形模型86。
在图5c中,再次详细示出了如何在局部变形78与全局变形68、70之间拆分从初始几何形状64到变形模型86的变换。如上面解释的,提供了将初始几何形状局部地变形成变形的形状92的局部变换函数90。之后,提供全局变换函数88来对变形的形状92进行平移、旋转和缩放。
图6示出了图示了如何将图4中示出的共分割和配准过程嵌入到根据本发明的改进的初始化和校准中的流程图。图4中示出的过程在图6中也被呈现为利用附图标记112指代的单个框。初始几何形状64以及第一采集的超声图像60和另一采集的超声图像62被输入到共分割和配准过程112中,在目标对象33为肝脏的情况下,初始几何形状例如为肝脏的平均形状。然而,为了使共分割和配准过程初始化,进行采集协议。首先,在框102中,如下面将参考图7更详细描述的获得校准数据。在那里,超声探头被移动到在特定位置中的患者的身体上的预定位置。由此,对跟踪设备25、27进行初始化。当然,能够提供其他初始化方式,例如,能够足以仅仅采集单个中线横向采集对校准跟踪设备。另外,能够使用采集协议,例如,根据人类身体上的已知视角(例如中矢面、中腋冠面等)来引导各种采集。
之后,在框104中进行校准。经由利用跟踪设备提供的探头来采集多幅超声图像。至少从两个不同的视角进行至少两次采集。优选地,在相同的呼吸相位进行采集。对于每次图像采集,经由跟踪设备记录视角。之后,进行超声图像到共同参考的第一粗略配准。这考虑了初始几何形状、指示患者的头尾轴或患者的身体中的任何其他限定视角的校准以及图像和对应的视角坐标。由此,能够通过使用跟踪设备的数据来将所有超声视图与仅平移变换矩阵进行粗略配准。现在,对象的几何形状和针对视角位置的粗略估计能够被输入在如上面解释的共分割和配准过程中。如已经进行的粗略配准,针对最优解的配准搜索空间能够被显著减少,从而得到更快且更准确的结果。
如与图4一起解释的过程之后输出经分割的对象108的准确形状以及得到每幅超声图像的精确视角位置的准确的变换矩阵和配准。
图7示出了患者12的身体的示意性图示。给出了在可能的校准过程120中的粗略概图。利用附图标记122来指代头尾轴。利用附图标记124来指代前后轴。利用附图标记126来指代左右轴。在校准102期间,用户将探头移动到患者的胸骨上的第一位置128并且之后移动到患者的胸骨上的第二位置130。在此期间不需要进行图像采集,然而,进行对跟踪设备,尤其是电磁跟踪设备25、27的第一初始化。备选地,能够已经进行图像采集并且随后使用图像。在此之后,对象33的图像采集能够如常进行并且经由超声图像采集探头14在普通采集位置132处扫描对象。
现在将参考图8来描述方法的实施例,图8示出了方法140的流程图。将结合图9a到图9d来解释所述方法,图9a到9d示出了在所述方法的不同步骤期间采集的图像。
所述方法开始于步骤142。之后,在步骤144中,可以经由不同模态来扫描患者。在本范例中,将假设,目的在于检查患者的肝脏。因此,在步骤144中,经由计算机断层摄影系统来扫描患者的肝脏。从CT数据中分割出肝脏。从CT图像中分割出的肝脏的形状被指定为可以形成稍后在超声图像的共分割和配准过程上使用的初始几何形状。然而,步骤144仅仅是任选的。还可以选择基本几何形状作为初始几何形状,例如球或圆柱。
在CT检查之后的特定时间,例如一周或几周,其可以是例如在微创介入期间经由超声成像系统检查患者的情况。使用的超声系统是根据本公开的超声系统,并且配备具有跟踪设备,尤其地,超声图像采集探头配备具有电磁跟踪设备。患者躺在电磁跟踪设备的电磁场内。
现在,在步骤146中,进行对电磁跟踪设备的第一校准或初始化。在此期间,不需要进行图像采集。如结合图7解释的,利用超声图像采集探头来触摸两个定义的不同位置128和130。由于位置是很好地定义的,因此在电磁跟踪设备中使患者的头尾轴初始化。该初始化还被提供给共分割和配准过程。
之后,进行针对共分割和配准过程的初始化过程148。在该过程中,在步骤150中,采集多幅超声图像。对于每个位置,经由电磁跟踪设备来记录视角坐标。患者可以自由地呼吸,但是优选在相同呼吸相位进行采集。例如,可以从不同视角来进行两次超声采集,如图9a中所图示的。此处,示出了第一超声采集160和第二超声采集162。还示出了出于取向原因的视图指示物164。
之后,在步骤152中,如参考图4详细解释的发起共分割和配准过程。在该过程中,经由CT扫描采集的肝脏形状可以由所述过程考虑为初始几何形状64。另外,位置128和130被提供为对患者的头尾轴的指示并且输入经由电磁跟踪设备记录的所有采集的超声图像及其对应的视角坐标。所述过程的输出提供针对每个视角对电磁跟踪设备(即,超声图像采集探头)及其电磁跟踪器的准确定位,另外,因此提供相对于共同参考的每个探头位置,例如CT扫描,以及最终提供在所有超声采集中的准确肝脏分割。
算法的输出可以之后被用于显示与诸如肝脏的经分割的对象准确配准的图像。另外,由于探头的准确位置是已知的,算法的输出也可以被用于将电磁跟踪设备与共同参考准确地进行校准。
图9b示出了基于电磁跟踪设备到共分割和配准过程中的输入估计的探头位置。视图指示物164图示了超声图像采集探头14相对于经由CT扫描采集的经分割的肝脏的视角。如图9c中描绘的,经由超声采集所采集的图像可以之后与CT视图进行配准并且对应地显示为如图9c中示出的。图9c示出了与CT扫描配准的对齐的超声图像170、172。
图9d则示出了如何使用共分割和配准的过程的输出的另一可能。图像174示出了经分割的肝脏被突出显示的超声扫描。图像176示出了也具有突出显示的经分割的肝脏的CT扫描。可以搜索的肝脏内的病变经由箭头178被指示并且能够被定位在超声扫描中。
使用的另一范例可以是追求的超声扫描或微创介入。对于每次新的超声采集,已经分割的肝脏形状可以被叠加在超声图像上。另外,特别是由于电磁跟踪设备现在被恰当地校准和初始化,因此在使用期间由电磁跟踪设备递送和记录的数据能够被用于非常准确地显示经配准的超声图像。另外,总是能够并行提供对应的CT视图。
在介入期间,在例如由于电磁跟踪设备的漂移将发生在CT与超声视图之间或不同超声视图之间的视觉误匹配的情况下,共分割和配准过程可以被发起为对校准和对齐的“精细化”。同样地,从不同视角采集多幅超声图像。共分割和配准过程可以使用该新捕获的图像数据被再次发起。然而,由于系统仅被漂移,所以所述系统可以被认为是已经被初始化。因此,不需要如步骤146中并且与图7一起解释的预先校准工作流程。
已经在校准的领域中并且关于在微创介入期间对电磁跟踪器的所需精细化描述了本发明的具体实施例。因此,配备具有定位传感器(例如电磁跟踪设备的跟踪器)的超声图像系统从该发明获益。对于上面描述的具体实施例,CT中的肝脏的形状是准确的。然而,本发明还解决了对仅给出对对象的形状的粗略估计的目标对象的共分割和配准,所述形状例如为平均形状。因此,本发明也适用于仅配备具有跟踪设备并且没有CT扫描可用的超声系统。对于这种应用,本发明则可以用于在多幅超声视图内分割出对象。另外,可以进行共分割和配准,并且共分割和配准可以由MR数据并且利用多幅超声视图来支持。因此,多模态工作站也可以获益于本发明。
尽管已经在附图和前面的描述中详细说明和描述了本发明,但是这样的说明和描述应被认为是说明性或示范性的而非限制性的;本发明不限于所公开的实施例。通过研究附图、说明书和权利要求书,本领域的技术人员在实践所主张的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中,词语“包括”不排除其他元件或步骤,并且,词语“一”或“一个”并不排除多个。单个处理器或其他单元可以实现权利要求书中记载的若干项的功能。在互不相同的从属权利要求中记载了特定措施并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上,但是计算机程序也可以以其他的形式分布,例如经由因特网或其他有线或无线的远程通信系统。
权利要求中的任何附图标记不得被解释为对范围的限制。

Claims (15)

1.一种用于检查体积(32)中的对象(33)的超声成像系统(10),所述超声成像系统包括:
超声图像采集探头(14),其用于采集三维超声图像并提供三维超声图像数据,所述超声图像采集探头包括跟踪设备(25、27),所述跟踪设备用于跟踪所述超声图像采集探头(14)的位置并提供所述三维超声图像的视角位置(128、130);以及
图像处理器(36),其被配置为接收所述三维超声图像数据,并且被配置为提供显示数据,其中,所述图像处理器被配置为接收多幅三维超声图像及其各自的视角位置(128、130),并且被配置为在所述多幅三维超声图像中同时进行对所述对象(33)的分割(80)。
2.根据权利要求1所述的超声成像系统,其中,所述图像处理器(36)被配置为通过使能量项最小化使得经变形的初始几何形状(64)尽可能好地与所述对象的边界相匹配来进行所述分割(80)。
3.根据权利要求2所述的超声成像系统,其中,所述能量项包括表示第一三维超声图像(62)的第一项和表示另一三维超声图像(60)的至少另一项,其中,所述经变形的初始几何形状(64)在所述第一项和所述至少另一项中相同,并且其中,所述第一项和所述至少另一项中的至少一个的每个包括将所述三维超声图像(62)与至少一幅三维超声图像进行配准的配准变换(76),或者其中,数据保真项的每个包括将所述三维超声图像(62)与所述至少一幅三维超声图像进行配准的配准变换(76)。
4.根据权利要求3所述的超声成像系统,其中,对所述初始几何形状(64)的变形是通过对所述初始几何形状(64)应用全局变换(88)和非刚性局部变换(90)来进行的,并且其中,所述非刚性局部变换(90)对所述初始几何形状(64)应用位移场。
5.根据权利要求2所述的超声成像系统,其中,所述图像处理器被配置为基于对经由诸如计算机断层摄影的不同模态采集的三维图像数据中的所述对象(33)的分割来确定所述初始几何形状(64)。
6.根据权利要求2所述的超声成像系统,其中,所述图像处理器(36)被配置为接收所述初始几何形状(64)作为用户的定义。
7.根据权利要求3所述的超声成像系统,其中,所述图像处理器被配置为确定针对每幅三维超声图像到共同参考的所述配准变换(76),所述每幅三维超声图像例如是所述多幅三维超声图像中的一幅或经由不同模态采集的三维图像数据。
8.根据权利要求1所述的超声成像系统,其中,所述图像处理器还被配置为基于对配准搜索空间的初始化来进行所述分割,其中,对所述配准搜索空间的所述初始化是通过使能量项最小化使得初始几何形状(64)尽可能好地与所述三维超声图像内的对象的边界相匹配而在所述三维超声图像中的每幅中粗略地定位所述初始几何形状(64)来进行的。
9.根据权利要求8所述的超声成像系统,其中,所述能量项是通过仅仅优化三维平移变换同时在采集各自的三维图像时考虑所述超声图像采集探头(14)的视角位置(128、130)而被最小化的,并且其中,对由所述跟踪设备跟踪的所述图像采集探头的三维取向的校准被考虑在内。
10.根据权利要求8所述的超声成像系统,其中,所述超声成像系统还被配置为通过使用经由所述超声图像采集探头(14)采集的另外的多幅三维超声图像以及已经进行的初始化来提供对所述分割(80)和配准变换(76)的所需精细化。
11.根据权利要求1所述的超声成像系统,其中,所述跟踪设备(25、27)是电磁跟踪设备。
12.一种用于提供体积(32)中的对象(33)的超声图像的方法(140),所述方法包括以下步骤:
提供(150)包括多幅三维超声图像和每幅三维超声图像的视角位置(128、130)的所述体积(32)的超声图像数据(62);
处理(152)所述超声图像数据(62)以在第一超声图像和至少一幅另外的超声图像中同时对所述对象进行分割和配准,从而提供经分割和经配准的超声图像数据;并且
基于所述经分割和经配准的超声图像数据来显示(156)超声图像。
13.根据权利要求12所述的方法,其中,所述方法包括在提供(150)超声图像数据的步骤之前输入(144)使用不同模态采集的所述对象的三维图像的另外的步骤。
14.根据权利要求13所述的方法,其中,所述方法包括另外的步骤,即,通过将图像采集探头移动到已知轴上的至少两个不同位置处或将所述探头取向为与已知轴的预定义关系,即平行或垂直于所述已知轴,所述已知轴例如是患者的头尾轴,来对用于采集所述视角位置(128、130)的跟踪设备进行校准(146)。
15.一种包括程序代码单元的计算机程序,所述程序代码单元用于当所述计算机程序在计算机上执行时令计算机执行根据权利要求12所述的方法的步骤。
CN201480011113.XA 2013-02-28 2014-02-27 从多个三维视图对大对象的分割 Active CN105025803B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13305228.2 2013-02-28
EP13305228 2013-02-28
PCT/IB2014/059286 WO2014132209A1 (en) 2013-02-28 2014-02-27 Segmentation of large objects from multiple three-dimensional views

Publications (2)

Publication Number Publication Date
CN105025803A true CN105025803A (zh) 2015-11-04
CN105025803B CN105025803B (zh) 2018-02-23

Family

ID=47843216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011113.XA Active CN105025803B (zh) 2013-02-28 2014-02-27 从多个三维视图对大对象的分割

Country Status (7)

Country Link
US (1) US10631829B2 (zh)
EP (1) EP2961322B1 (zh)
JP (1) JP6537981B2 (zh)
CN (1) CN105025803B (zh)
BR (1) BR112015020425B1 (zh)
RU (1) RU2663649C2 (zh)
WO (1) WO2014132209A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918925A (zh) * 2016-10-11 2018-04-17 韦伯斯特生物官能(以色列)有限公司 磁跟踪系统与成像装置的配准
CN108335336A (zh) * 2017-01-20 2018-07-27 深圳市恩普电子技术有限公司 超声成像方法和装置
CN109069103A (zh) * 2016-04-19 2018-12-21 皇家飞利浦有限公司 超声成像探头定位
CN109073751A (zh) * 2016-04-19 2018-12-21 皇家飞利浦有限公司 内部和外部超声探头的声学配准
CN109310399A (zh) * 2016-06-06 2019-02-05 皇家飞利浦有限公司 医学超声图像处理设备
CN109906470A (zh) * 2016-08-26 2019-06-18 医科达有限公司 使用神经网络方法的图像分割
CN110428506A (zh) * 2019-08-09 2019-11-08 成都景中教育软件有限公司 一种基于参数的动态几何三维图形切割实现方法
CN110432986A (zh) * 2018-05-02 2019-11-12 柯惠有限合伙公司 用于从ct数据构建虚拟径向超声图像并使用虚拟超声图像执行外科导航程序的系统和方法
CN110741411A (zh) * 2017-05-11 2020-01-31 皇家飞利浦有限公司 用于超声流程中的运动补偿的工作流程、系统和方法
CN110892447A (zh) * 2017-07-18 2020-03-17 皇家飞利浦有限公司 用于对象的动态多维图像的方法和系统
CN111566699A (zh) * 2017-12-08 2020-08-21 皇家飞利浦有限公司 静态流程前规划数据到动态流程内分割数据的配准
CN111587449A (zh) * 2017-12-04 2020-08-25 皇家飞利浦有限公司 图像数据处理方法、设备和系统
CN111655156A (zh) * 2017-12-19 2020-09-11 皇家飞利浦有限公司 组合基于图像的和惯性探头跟踪
CN111727459A (zh) * 2018-02-14 2020-09-29 皇家飞利浦有限公司 拼接多幅图像的成像系统和方法
CN112384146A (zh) * 2018-07-06 2021-02-19 皇家飞利浦有限公司 从若干超声图像识别最佳图像
CN112672696A (zh) * 2018-09-14 2021-04-16 皇家飞利浦有限公司 用于跟踪超声图像中的工具的系统和方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169609A1 (en) * 2014-02-19 2017-06-15 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
CN106456128B (zh) * 2014-06-12 2020-10-23 皇家飞利浦有限公司 医学图像处理设备和方法
JP6670257B2 (ja) * 2014-06-18 2020-03-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波撮像装置
JP2017526440A (ja) * 2014-09-08 2017-09-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用イメージング装置
CN104408398B (zh) 2014-10-21 2019-02-22 无锡海斯凯尔医学技术有限公司 一种肝脏边界的识别方法及系统
US10977787B2 (en) 2014-12-09 2021-04-13 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
JP5949977B1 (ja) * 2015-02-19 2016-07-13 日本電気株式会社 情報処理装置、情報処理方法、メインプロセッサコア、プログラム、情報処理方法、サブプロセッサコア
JP6405058B2 (ja) * 2015-03-31 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療イメージング装置
US10675006B2 (en) * 2015-05-15 2020-06-09 Siemens Medical Solutions Usa, Inc. Registration for multi-modality medical imaging fusion with narrow field of view
US11547388B2 (en) 2016-05-23 2023-01-10 Koninklijke Philips N.V. Correcting probe induced deformation in an ultrasound fusing imaging system
JP6873647B2 (ja) * 2016-09-30 2021-05-19 キヤノンメディカルシステムズ株式会社 超音波診断装置および超音波診断支援プログラム
GB201617444D0 (en) 2016-10-14 2016-11-30 Fujitsu Ltd Processing digital image to remove unwanted portion
JP6745998B2 (ja) * 2016-12-16 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 手術を誘導する画像を提供するシステム
EP3381512A1 (en) 2017-03-30 2018-10-03 Koninklijke Philips N.V. Determining at least one final two-dimensional image for visualizing an object of interest in a three-dimensional ultrasound volume
US10980509B2 (en) * 2017-05-11 2021-04-20 Siemens Medical Solutions Usa, Inc. Deformable registration of preoperative volumes and intraoperative ultrasound images from a tracked transducer
CN110772280B (zh) * 2018-07-31 2023-05-23 佳能医疗系统株式会社 超声波诊断装置和方法以及图像处理装置和方法
EP4135587A1 (en) * 2020-04-16 2023-02-22 Koninklijke Philips N.V. Bi-plane and three-dimensional ultrasound image acquisition for generating roadmap images, and associated systems and devices
CN114190972B (zh) * 2020-09-18 2024-03-22 苏州佳世达电通有限公司 超声波影像物件的体积计算方法及应用其的超声波系统
US20220409167A1 (en) * 2021-06-24 2022-12-29 Biosense Webster (Israel) Ltd. Visualization of 4d ultrasound maps
WO2023245505A1 (en) * 2022-06-22 2023-12-28 Syngular Technology Limited A system and a method for 3d image processing, and a method for rendering a 3d image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050137477A1 (en) * 2003-12-22 2005-06-23 Volume Interactions Pte. Ltd. Dynamic display of three dimensional ultrasound ("ultrasonar")
US20090018445A1 (en) * 2007-06-20 2009-01-15 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
CN101681504A (zh) * 2006-11-27 2010-03-24 皇家飞利浦电子股份有限公司 用于将实时超声图像与预先获取的医学图像进行融合的系统和方法
CN102077248A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 用于在受试者内定位感兴趣对象的设备和方法
CN102238921A (zh) * 2008-12-03 2011-11-09 皇家飞利浦电子股份有限公司 用于整合介入规划和导航的反馈系统
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
DE69532829T2 (de) 1994-10-07 2005-01-27 St. Louis University Vorrichtung zur benutzung mit einem chirurgischen navigationssystem
JP2004518473A (ja) * 2001-01-30 2004-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 変形する3d物体の画像シーケンスを該物体の壁の動きの指示を伴って表示する画像処理方法
US6733458B1 (en) * 2001-09-25 2004-05-11 Acuson Corporation Diagnostic medical ultrasound systems and methods using image based freehand needle guidance
US20080139938A1 (en) 2002-06-07 2008-06-12 Fuxing Yang System and method to identify and measure organ wall boundaries
US20100056916A1 (en) * 2006-11-21 2010-03-04 Koninklijke Philips Electronics N.V. System, device, method, computer-readable medium, and use for in vivo imaging of tissue in an anatomical structure
US8520932B2 (en) * 2007-05-28 2013-08-27 The University Of Western Ontario 3D tissue model formation from non-parallel 2D images
US8057394B2 (en) * 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
JP5179812B2 (ja) * 2007-09-07 2013-04-10 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP2011504115A (ja) * 2007-10-18 2011-02-03 ザ ユニバーシティ オブ ノース カロライナ アット チャペル ヒル 1つの画像データからの解剖学的構造を含む対象物のモデルの領域を、診断的又は治療的介入に用いられる画像にマッピングするための方法、そのシステム及びコンピューター読み取り可能な媒体
JP5438029B2 (ja) * 2008-01-31 2014-03-12 コーニンクレッカ フィリップス エヌ ヴェ 短軸遅延強調心臓mriの自動三次元セグメント化
US8798965B2 (en) 2009-02-06 2014-08-05 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US8358823B2 (en) * 2011-03-30 2013-01-22 Mitsubishi Electric Research Laboratories, Inc. Method for tracking tumors in bi-plane images
RU2011119290A (ru) * 2011-05-16 2012-11-27 Андрей Александрович Рязанцев Способ применения метода трехмерной реконструкции ультразвукового изображения в выявлении причины билиарной обструкции
US9934579B2 (en) * 2012-08-30 2018-04-03 Koninklijke Philips N.V. Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images
US9147258B2 (en) * 2013-02-19 2015-09-29 General Electric Company Methods and systems for segmentation in echocardiography
JP6670257B2 (ja) * 2014-06-18 2020-03-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波撮像装置
WO2016015994A1 (en) * 2014-07-29 2016-02-04 Koninklijke Philips N.V. Ultrasound imaging apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050137477A1 (en) * 2003-12-22 2005-06-23 Volume Interactions Pte. Ltd. Dynamic display of three dimensional ultrasound ("ultrasonar")
CN101681504A (zh) * 2006-11-27 2010-03-24 皇家飞利浦电子股份有限公司 用于将实时超声图像与预先获取的医学图像进行融合的系统和方法
US20090018445A1 (en) * 2007-06-20 2009-01-15 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
CN102077248A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 用于在受试者内定位感兴趣对象的设备和方法
CN102238921A (zh) * 2008-12-03 2011-11-09 皇家飞利浦电子股份有限公司 用于整合介入规划和导航的反馈系统
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.YEZZI ET AL.: "A variational framework for integrating segmentation and registration through active contours", 《MEDICAL IMAGE ANALYSIS》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109073751B (zh) * 2016-04-19 2023-10-13 皇家飞利浦有限公司 用于声学配准的探头、系统和方法
CN109069103A (zh) * 2016-04-19 2018-12-21 皇家飞利浦有限公司 超声成像探头定位
CN109073751A (zh) * 2016-04-19 2018-12-21 皇家飞利浦有限公司 内部和外部超声探头的声学配准
CN109310399A (zh) * 2016-06-06 2019-02-05 皇家飞利浦有限公司 医学超声图像处理设备
CN109310399B (zh) * 2016-06-06 2022-12-06 皇家飞利浦有限公司 医学超声图像处理设备
CN109906470A (zh) * 2016-08-26 2019-06-18 医科达有限公司 使用神经网络方法的图像分割
CN107918925A (zh) * 2016-10-11 2018-04-17 韦伯斯特生物官能(以色列)有限公司 磁跟踪系统与成像装置的配准
CN108335336B (zh) * 2017-01-20 2024-04-02 深圳市恩普电子技术有限公司 超声成像方法和装置
CN108335336A (zh) * 2017-01-20 2018-07-27 深圳市恩普电子技术有限公司 超声成像方法和装置
CN110741411A (zh) * 2017-05-11 2020-01-31 皇家飞利浦有限公司 用于超声流程中的运动补偿的工作流程、系统和方法
CN110741411B (zh) * 2017-05-11 2024-02-23 皇家飞利浦有限公司 用于超声流程中的运动补偿的工作流程、系统和方法
CN110892447A (zh) * 2017-07-18 2020-03-17 皇家飞利浦有限公司 用于对象的动态多维图像的方法和系统
CN110892447B (zh) * 2017-07-18 2023-12-08 皇家飞利浦有限公司 用于对象的动态多维图像的方法和系统
CN111587449A (zh) * 2017-12-04 2020-08-25 皇家飞利浦有限公司 图像数据处理方法、设备和系统
CN111566699A (zh) * 2017-12-08 2020-08-21 皇家飞利浦有限公司 静态流程前规划数据到动态流程内分割数据的配准
CN111655156A (zh) * 2017-12-19 2020-09-11 皇家飞利浦有限公司 组合基于图像的和惯性探头跟踪
CN111727459B (zh) * 2018-02-14 2022-12-06 皇家飞利浦有限公司 拼接多幅图像的成像系统和方法
CN111727459A (zh) * 2018-02-14 2020-09-29 皇家飞利浦有限公司 拼接多幅图像的成像系统和方法
CN110432986B (zh) * 2018-05-02 2022-09-09 柯惠有限合伙公司 用于从ct数据构建虚拟径向超声图像的系统和方法
CN110432986A (zh) * 2018-05-02 2019-11-12 柯惠有限合伙公司 用于从ct数据构建虚拟径向超声图像并使用虚拟超声图像执行外科导航程序的系统和方法
CN112384146A (zh) * 2018-07-06 2021-02-19 皇家飞利浦有限公司 从若干超声图像识别最佳图像
CN112672696A (zh) * 2018-09-14 2021-04-16 皇家飞利浦有限公司 用于跟踪超声图像中的工具的系统和方法
CN110428506B (zh) * 2019-08-09 2023-04-25 成都景中教育软件有限公司 一种基于参数的动态几何三维图形切割实现方法
CN110428506A (zh) * 2019-08-09 2019-11-08 成都景中教育软件有限公司 一种基于参数的动态几何三维图形切割实现方法

Also Published As

Publication number Publication date
US10631829B2 (en) 2020-04-28
BR112015020425B1 (pt) 2022-06-21
RU2015141083A (ru) 2017-03-31
EP2961322A1 (en) 2016-01-06
JP6537981B2 (ja) 2019-07-03
RU2663649C2 (ru) 2018-08-07
WO2014132209A1 (en) 2014-09-04
BR112015020425A2 (pt) 2017-07-18
CN105025803B (zh) 2018-02-23
EP2961322B1 (en) 2022-09-28
US20160007970A1 (en) 2016-01-14
JP2016508406A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
CN105025803A (zh) 从多个三维视图对大对象的分割
US10561403B2 (en) Sensor coordinate calibration in an ultrasound system
US10242450B2 (en) Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
EP2680778B1 (en) System and method for automated initialization and registration of navigation system
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
US10278663B2 (en) Sensor coordinate calibration in an ultrasound system
US7376254B2 (en) Method for surface-contouring of a three-dimensional image
CN115426954A (zh) 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备
EP1772825A1 (en) Method for registering images of a sequence of images, particularly ultrasound diagnostic images
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
zu Berge et al. Ultrasound Decompression for Large Field-of-View Reconstructions.
Lang Improvement of Speckle-Tracked Freehand 3-D Ultrasound Through the Use of Sensor Fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant