CN104637024B - 医用图像处理装置以及医用图像处理方法 - Google Patents

医用图像处理装置以及医用图像处理方法 Download PDF

Info

Publication number
CN104637024B
CN104637024B CN201410646012.1A CN201410646012A CN104637024B CN 104637024 B CN104637024 B CN 104637024B CN 201410646012 A CN201410646012 A CN 201410646012A CN 104637024 B CN104637024 B CN 104637024B
Authority
CN
China
Prior art keywords
collection
illustrative plates
mentioned
medical image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410646012.1A
Other languages
English (en)
Other versions
CN104637024A (zh
Inventor
B·莫赫
I·普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Publication of CN104637024A publication Critical patent/CN104637024A/zh
Application granted granted Critical
Publication of CN104637024B publication Critical patent/CN104637024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20128Atlas-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种医用图像处理装置以及医用图像处理方法。关于使用多个图谱的基于图谱的分段处理缩短处理时间,同时得到高精度的分段结果。图谱存储部(45)存储与对象部位的解剖学图谱相关的多个图谱。图谱选择部(75)根据上述多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从上述多个图谱中,选择为了对处理对象图像进行分段化而使用的多个选择图谱。

Description

医用图像处理装置以及医用图像处理方法
本申请主张2013年11月14日申请的美国专利申请号14/079,908的优先权,并在本申请中引用上述美国专利申请的全部内容。
技术领域
本发明的实施方式涉及医用图像处理装置以及医用图像处理方法。
背景技术
最近的医用摄像方法根据通过医用图像诊断装置收集到的数据生成多个二维、三维以及四维图像并进行分析。这样的图像能够使用CT、MRI、PET、超声波摄像等各种医用摄像方法或者医疗器械(modality)来生成。
为了组合对以各种位置或者角度摄影得到的测量数据,且为了使用简单表面着色(simple surface shading)或者直接体绘制等方法根据组合的数据对图像进行绘制,使用软件生成三维的医用图像。在四维摄像系统中,动态地绘制在不同的时间得到的时间序列的三维图像,例如,生成三维超声波动画等三维运动图像。
在大多数的情况下,将医用图像划分为一个或者多个部分区域(段,segment)是有益的,各段例如与特定的组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者其他的生物学构造等对应。区域分割(分段:segmentation)是通过使用手动或者各种自动化技术来进行的。
已知制作人体的解剖学构造、或者人体的解剖学构造的特定部分的图谱(atlas)的方法,能够将其用于患者的图像处理或者分析。通常,从图像中识别出的特定的解剖学特征在位置对准(配准:registration)步骤中与图谱对照。能够将刚性或者非刚性配准适用于图像,以使得图像中的特定的位置与在解剖学上和图谱中的该位置对应的位置进行位置对准。通过使用这样的图谱以及配准步骤,例如,能够在由各种被检体得到的图像间进行直接的比较。
图谱例如具备表示将由像素或者体素构成的图像向解剖学的、或者其他的物质(例如,特定的组织类型、骨骼、血液等)的各种解剖学区域或者类型进行分段化的分段信息。作为例子,分段信息以位掩码的形式表示,但还已知其他形式的分段信息。各像素或者体素例如能够在图谱的坐标系内的特定的位置具备图像强度值或者其他的图像参数值。图像和分段例如作为一个或者多个数据库中的不同的项目(entry)进行链接,但还能够各自地存储。图像与分段信息的组合无论是各自地存储还是一起存储,都被称为图谱数据集。
作为用于实施自动化的分段的技术,存在基于图谱的分段。在该技术中,通常,使用附有标签的、换而言之使用被分段化的数据集作为图谱数据集,为了求出恰当的分段,即标签附加,能够将图像相对于该数据集进行比较。这样的技术需要对图谱数据集和收集到的图像进行配准。
在基于图谱的分段中,当使用多个图谱时,应该能够得到改善后的结果。图1是表示以往例子所涉及的基于图谱的分段的典型的流程的图。如图1所示,多个图谱相互进行位置对准,根据该多个图谱合成为单一的平均化的图谱(以下,称为平均图谱)。为了相对于平均图谱对处理对象图像进行分段化,将处理对象图像相对于平均图谱进行位置对准并比较。图2是表示以往例子所涉及的基于其他的图谱的分段的典型的流程的图。如图2所示,处理对象图像相对于多个图谱的各个图谱进行位置对准并进行比较。由此,生成处理对象图像的多个分段。各分段是使用不同的图谱来生成的。接着,为了生成最终的被分段化的图像,例如,通过统计合成处理等来合成多个分段。
在图像相对于各图谱分别进行位置对准并组合其结果的后者的情况下,当使用多个图谱时,大多数情况下最终的结果得到改善,能够包含多个解剖学的变化。但是,此时,计算的负荷增大,另外,存在处理时间变长的担忧。
现有技术文献
专利文献
专利文献1:日本特开2008-043736号公报
专利文献2:日本特表2012-522557号公报
专利文献3:日本特开2013-015945号公报
专利文献4:日本特开2004-222864号公报
专利文献5:日本特开2012-252559号公报
发明内容
实施方式的目的在于,提供一种能够关于使用多个图谱的基于图谱的分段处理缩短处理时间,并且得到高精度的分段结果的医用图像处理装置以及医用图像处理方法。
本实施方式所涉及的医用图像处理装置具备:存储部,存储与对象部位的解剖学图谱相关的多个图谱;图谱选择部,根据上述多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从上述多个图谱中,选择用于对处理对象图像进行分段化的多个选择图谱。
关于使用多个图谱的基于图谱的分段处理缩短处理时间并且得到高精度的分段结果。
附图说明
图1是表示使用多个图谱的基于图谱的分段处理的流程的图。
图2是表示使用多个图谱的基于图谱的其他的分段处理的流程的图。
图3是表示本实施方式所涉及的医用图像处理装置的结构的图。
图4是表示使用本实施方式所涉及的多个图谱的基于图谱的分段处理的流程的图。
符号说明
5…医用图像处理装置、10…扫描仪、15…主显示部、20…控制面板、25…输入部、30…图像处理部、35…数据接收部、40…区域分割部、45…图谱存储部、75…图谱选择部。
具体实施方式
以下,参照附图,说明本实施方式所涉及的医用图像处理装置以及医用图像处理方法。
本实施方式所涉及的医用图像处理装置具备:存储部,存储与对象部位的解剖学图谱相关的多个图谱;图谱选择部,根据该多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从该多个图谱中选择为了对处理对象图像进行分段化而使用的多个选择图谱。
图谱选择部在该多个图谱的各个图谱与该处理对象图像之间进行第1配准。另外,图谱选择部在该多个选择图谱与该处理对象图像之间进行第2配准。
第1配准的计算量比第2配准少。第1配准例如是线性配准。第2配准例如是非线性配准。
图谱选择部在该多个图谱的各个图谱与该处理对象图像之间进行第1配准,根据第1配准后的该多个图谱的各个图谱中的该解剖学标识点的位置,从该多个图谱中选择多个选择图谱。
图谱选择部针对第1配准后的该多个图谱计算该解剖学标识点的位置间的距离,根据该距离从该多个图谱中选择该多个选择图谱。
图谱选择部针对第1配准后的该多个图谱中的各对的图谱计算该解剖学标识点的位置间的距离,根据针对该各对的该距离,从该多个图谱中选择该多个选择图谱。
图谱选择部通过识别具有该距离最类似的距离度量(metric)的图谱,来选择该多个选择图谱。
图谱选择部针对第1配准后的该多个图谱计算该解剖学标识点的位置间的距离的平均,根据该平均,从该多个图谱中选择该多个选择图谱。
根据上述医用图像处理装置,图谱选择部对该多个图谱的各个图谱,在处理对象图像的坐标系中计算该距离。
该解剖学标识点的位置是处理对象图像的坐标系中的该解剖学标识点的位置。
图谱选择部使用聚类(clustering)法从该多个图谱中选择该多个选择图谱。聚类法是层次聚类或者谱聚类。另外,聚类法识别相对所提供的距离最大的簇(cluster),或者识别包含所提供的或者事先设定的个数的图谱的最初的簇。或者,聚类法是反复聚类法,该反复聚类法在各反复中包括对具有最类似的距离的2个以上的图谱进行分组的步骤。
另外,本实施方式所涉及的医用图像处理装置还具备区域分割部,上述区域分割部根据该多个选择图谱对该处理对象图像进行分段化。
另外,本实施方式所涉及的医用图像处理方法包含:读出表示与对象部位相关的标准的解剖学图谱的多个图谱,根据多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从上述多个图谱中选择为了对处理对象图像进行分段化而使用的多个选择图谱。
本实施方式所涉及的医用图像处理装置能够采用各种方式。例如,医用图像处理装置也可以嵌入到生成医用图像的医用图像诊断装置,例如,也可以是经由网络而与医用图像诊断装置连接的其他的处理装置。进而,本实施方式所涉及的医用图像处理装置能够与使用超声波、MRI、X射线摄影、计算机断层摄影法(CT扫描仪)、正电子放射断层摄影法(PET扫描仪)以及包含相同的方法的一系列的医疗器械来生成的医用图像一起进行动作。从而,本实施方式并不限定于特定的结构或者摄像技术,能够广泛地适用于一系列的医用图像处理系统结构以及医疗器械。以下,假设本实施方式所涉及的医用图像诊断装置是与医用图像诊断装置(扫描仪)连接的处理装置。
图3是表示本实施方式所涉及的医用图像处理装置5的结构的图。如图3所示,医用图像处理装置5与CT扫描仪10连接。作为CT扫描仪10,例如,能够使用能够对患者或者其他的被检体进行三维CT测量的任意的合适的类型的CT扫描仪。另外,在图3中,假设医用图像处理装置5与CT扫描仪10连接,但本实施方式并不限定于此,也可以与任意的其他的合适的类型的扫描仪连接,例如,与X射线摄影、MRI、PET、或者超声波扫描仪连接。
医用图像处理装置5具有用于显示医用图像的主显示部15和具有触摸感应控制画面的控制面板20。医用图像处理装置5具有轨迹球、键盘、操纵杆、鼠标、以及相同的装置等、在本技术领域已知的一个或者多个输入部25。
医用图像处理装置5具有用于对使用CT扫描仪10生成的、应该分段化的处理对象图像进行图像处理的图像处理部30。图像处理部30包含一个或者多个组件(component),后者与一个或者多个组件进行通信,或者安装有一个或者多个组件,所述组件包含硬盘驱动器、RAM、ROM、数据总线、包含各种设备驱动器的操作系统、以及包含显卡的硬件设备等。为了使图清晰,这样的组件在图3中没有示出。
如图3所示,图像处理部30具备用于接收应该分段化的处理对象图像的数据接收部35。例如,数据接收部35接收通过CT扫描仪10收集到的CT图像作为处理对象图像。处理对象图像可以是二维的切片图像,也可以是三维的体图像。处理对象图像可以从CT扫描仪10实时地接收,或者也可以在事后接收。处理对象图像可以是表示图像的任意的数据,也可以是为了生成图像而能够进行处理的任意的数据。
图像处理部30构成为使用多图谱分段过程对处理对象图像进行区域分割(分段:segmentation)。多图谱分段处理是利用多个图谱对处理对象图像实施区域分割处理(分段处理)的图像处理。在此,所谓图谱是指表示任意的对象部位的标准的解剖学图谱的图像数据。具体而言,所谓解剖学图谱是指与对象部位相关的、示意性地描绘出按照形态以及功能分割出的多个解剖学区域的解剖学图像数据。关于同一部位事先收集到的多个图谱的数据被存储于存储部45。另外,作为对象部位,假设包含脑、心脏、胸部、头部、上半身、下半身、全身等人体的所有的部位。存储部45是存储多个图谱的数据或处理对象图像的数据的存储装置。作为存储部45,使用HDD(hard disk drive)或SSD(solid state drive)等存储装置即可。图像处理部30安装用于选择在区域分割处理中使用的图谱集的图谱选择部75和用于对处理对象图像所包含的被检体区域进行区域分割(分段处理)的区域分割部40。
图谱选择部75根据该多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从该多个图谱中,选择为了对处理对象图像进行分段化而使用的多个图谱(以下,将选择的图谱称为选择图谱)。选择图谱用于由区域分割部40进行的分段处理。具体而言,图谱选择部75在该多个图谱的各个图谱与该处理对象图像之间进行第1配准。另外,图谱选择部75在该多个选择图谱与该处理对象图像之间进行第2配准。第1配准的计算量比第2配准少。第1配准是线性配准。第2配准是非线性配准。
更具体而言,图谱选择部75在该多个图谱的各个图谱与该处理对象图像之间进行第1配准,根据第1配准后的该多个图谱的各个图谱中的各该解剖学标识点的位置,从该多个图谱中选择多个选择图谱。图谱选择部75针对第1配准后的该多个图谱计算该解剖学标识点的位置间的距离,根据该距离,从该多个图谱中选择该多个选择图谱。更详细而言,图谱选择部75针对第1配准后的该多个图谱中的各对的图谱计算该解剖学标识点的位置间的距离,根据针对该各对的该距离,从该多个图谱中选择该多个选择图谱。另外,图谱选择部75通过识别具有该距离最类似的距离度量的图谱,来选择该多个选择图谱。
或者,图谱选择部75也可以针对第1配准后的该多个图谱计算该解剖学标识点的位置间的距离的平均,根据该平均从该多个图谱中选择该多个选择图谱。图谱选择部75对该多个图谱的各个图谱,在处理对象图像的坐标系中计算该距离。
该解剖学标识点的位置是处理对象图像的坐标系中的该解剖学标识点的位置。
区域分割部40利用通过图谱选择部75选择的多个选择图谱,对处理对象图像实施分段处理。作为分段处理的结果,生成基于处理对象图像的被区域分割后的图像,即,生成段图像。具体而言,区域分割部40识别与所提供的基准对应的处理对象图像的部分区域(段)。例如,区域分割部40识别特定的组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者表示其他的解剖学构造的图像的部分区域。这样,区域分割部40例如关于被识别出的组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者其他的生物学构造,将处理对象图像自动地分割成与各种基准对应的多个段。当区域分割部40识别出段时,例如通过对该段附加注释、重新着色、强调、描绘轮廓、改变对比度或者亮度等,从而强调该段。将这样的段处理后的图像称为段图像。段图像接着例如显示于主显示部15,以使得能够容易地识别该段图像所包含的各段。区域分割部40能够将段图像或者表示分段的数据作为向其他的图像过程、诊断或者其他的过程的输入来提供。
如图3所示,假设本实施方式所涉及的医用图像处理装置5具有图像处理部30。然而,本实施方式所涉及的医用图像处理装置5并不限定于此。例如,图像处理部30例如也可以是个人计算机或工作站等独立的计算机装置。另外,数据接收部35例如也可以具备用于访问计算机可读介质的网络接口或设备。
当扫描仪10经由网络而与医用图像处理装置5连接时,处理对象图像以及任意的相关联的数据经由网络被提供到图像处理部30。图像以及相关数据也可以不需要直接被提供到图像处理部30,而存储于扫描仪10所包含的、或者与扫描仪10连接的本地的数据存储装置、网络化的数据存储装置。另外,图像以及相关数据也可以存储于服务器所具备的、与服务器连接的、或者服务器能够访问的数据存储装置。另外,图像以及相关数据也可以存储于通过因特网或ISP等访问的远程的数据存储装置、或者图像处理部30所具备的、或者与图像处理部30连接的本地的数据存储装置。该数据存储装置能够具备硬盘驱动器或者硬盘驱动器的存储体、固体存储装置或者半导体驱动器、磁带驱动器等磁性存储装置等、任意的合适的数据存储机构。或者,图像数据以及任意的相关数据也可以通过已知的方法,使用计算机可读介质来移送。
各数据存储装置能够与相关联的患者数据一起存储涵盖某一个期间由很多各种各样的扫描仪得到的很多各种各样的数据集。数据存储装置能够作为存储大量的患者数据的服务器,另外,例如,也可以形成医用图像管理系统(PACS)的一部分。
当取得了处理对象图像时,区域分割部40对该处理对象图像进行分析,且划定属于相同的组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者其他的生物学构造的区域等、与所提供的基准对应的图像区域。区域分割部40能够接着根据处理对象图像来生成附加了注释的、或者修正后的段图像,针对所生成的段图像,为了单独地强调或者显示与各基准相关的图像区域(例如,为了强调各种组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者其他的生物学构造等)而进行分段化。区域分割部40对实时地或者在之前收集到并存储的图像自动地或者半自动地进行分段化。
具体而言,图像处理部30实施使用多个图谱的基于图谱的分段技术,即,实施基于多图谱的分段。特别地,图像处理部30生成对应的多个配准,接着,为了统计性地组合多个配准,将处理对象图像相对于多个图谱的各个图谱进行位置对准。该方法与包含使图像相对于单一的图谱进行位置对准的步骤的技术相比,提供良好的结果被熟知。当增加所使用的图谱的数量时,或者当多个解剖学变化被反映在图谱中时,分段过程的结果得到进一步改善。但是,在这样的情况下,存在执行分段所需的时间常常增长的担忧。
本实施方式所涉及的图像处理部30从多个图谱中选择子集。例如,能够使用相互信息量等类似性的度量,选择所使用的图谱的子集。作为其他的例子,还能够使用由相关联的患者数据(年龄、性别等)导出的启发法(heuristics)。然而,根据本实施方式,提供选择最优的图谱的步骤。
图4是表示基于图像处理部30的多图谱分段处理的典型的流程的图。如步骤105所示,数据接收部35接收处理对象图像。如步骤110所示,N个图谱被存储于图谱存储部45。N个图谱是由图谱选择部75读出的。
在此,提供N个(其中,N>1,优选远大于1)图谱。图谱包含表示特定的组织类型、脏器或者其下位的构成要素、脉管、骨骼或者骨骼的一部分、或者其他的生物学构造等的图像部分。另外,作为用于识别解剖学标识点的关联数据,例如,对于图谱由专家手动地附加标记,附加注释。另外,对于图谱,也可以将与提供该相关数据的身体或者身体的一部分相关的医用图像关联起来。另外,解剖学标识点除了点之外,假设还包含由多个点构成的图像区域。解剖学标识点用于区别各种病变或者解剖学的变化之间。这样,图谱作为参照数据集发挥作用。图像处理部30能够利用的图谱包含与一个或者多个各种病变相关的一个或者多个图谱。
如图4的步骤115所示,图谱选择部75使用第1配准法,将多个图谱的各个图谱位置对准到处理对象图像。在图4的实施方式中,作为第1配准法,具备实施例如与后述的第2配准法进行比较具有更低的计算负荷的配准法等被限制的配准。例如,为了减低计算负荷,第1配准法也可以使用几个前提或简化过程,或者以低的分辨率执行。
对处理对象图像使用图谱的线性配准作为第1配准法是合适的。但是,作为线性配准,例如能够使用刚性配准或其他的仿射类型的配准等、本领域技术人员认为明显的其他的合适的、计算上效率良好的技术。
线性配准是为了使处理对象图像所包含的数据点与图谱所包含的数据点进行位置对准而用于对处理对象图像进行旋转、平行移动、放大、缩小的配准。本实施方式所涉及的仿射配准是为了使处理对象图像所包含的数据点与图谱进行位置对准而进行旋转、平行移动、放大/缩小、剪断变形的配准。即,线性配准是仿射配准的特定类型。
图谱选择部75接着按照各配准,对各图谱数据的解剖学标识点的位置进行变换,且如图4的步骤120所示,对N个所提供的图谱中的图谱的各对计算距离度量。例如,图谱选择部75从N个图谱中取得解剖学标识点(步骤125),使用线性配准法,计算来自处理对象图像的坐标系中的各图谱的解剖学标识点的位置,使用由N个图谱中的各种图谱的对导出的解剖学标识点的位置间的距离(例如,平均的每个对的欧几里得距离),生成N×N的距离矩阵M。
图谱选择部75确定与处理对象图像最好地一致的图谱。因此,图谱选择部75根据解剖学标识点间的平均距离值或者相互距离,对多个图谱进行分组。即,属于各组的多个图谱的平均距离值或者相互距离相互类似。分组是例如通过使用层次聚类等聚类来进行的(步骤130)。在聚类法中,用簇这样的用语来表现组。图谱选择部75将多个组中的最优的组所包含的多个图谱的集合称为子集。
在合适的层次聚类技术的一个例子中,图谱选择部75将各图谱分配到一个簇。图谱选择部75接着反复地继续,但在各反复中,汇集具有最接近的项目,即,具有最近的距离度量(例如,解剖学标识点的对间的平均距离)的图谱。这样,在各反复中用于集合在一起的项目是按照对应的解剖学标识点的对间的距离的平均的类似性来选择的。继续进行反复聚类法,直到具有最低的相互距离的簇至少具有事先设定的或者阈值的最小数量的图谱为止。将事先设定的或者阈值的最小数量以计算时间与分段处理的质量平衡的方式进行选择。
在上述中示出使用特定的层次聚类法的例子,但为了求出图谱的子集,能够使用各种技术。例如,关于用于层次聚类的最终的簇选择,能够设为相对于所提供的距离的最大的簇,或者还能够设为得到所提供的数量的图谱的最初的簇。另外,代替层次聚类法,还能够使用谱聚类技术、或者其他的聚类技术。
当求出了图谱的子集时,通过区域分割部40执行第2配准(步骤135)。通过第2配准,将最优簇所包含的多个图谱,即子集与处理对象图像进行位置对准。作为第2配准法,使用相对第1配准法完全的、或者更高的分辨率或者精度的配准法。例如,作为第2配准法,使用非线性配准,更详细而言使用非刚性配准。通过非线性配准,生成高密度变形场(densedeformation field)。接着,为了生成最终的段图像,关于进一步配准的结果,通过统计分段处理在统计上进行组合(步骤140)。
非刚性配准能够具备自由形式的配准,为了使数据集与其他的数据集进行位置对准,一个数据集中的数据点的坐标接受灵活的、自由形式的变换。自由形式的变换能够定义为对三维数据集中的各体素规定各自的位移的密集向量(dense vector)场。自由形式的变换例如还能够使用B样条(spline)函数或者薄板样条函数等、使用其他的域(field)或者函数进行定义。
实施方式的图谱选择法的一个优点是不依赖于为了求出图谱的子集而在新的数据集中附加标记的、或者检测到的标识点。
以下,关于用于识别超过100的脑区域的脑回映射,说明上述的分段装置以及方法的具体的应用例。随着年龄的增加,在脑内产生大幅度的变化,图谱通常基于单一的患者。从而,关于脑的解剖学构造,有存在与不同的年龄的患者、或者具有不同的病变的患者对应的宽范围的图谱的可能性,图谱选择特别地重要。
在该特定的例子中,能够利用28个图谱(即,N=28)。此时,当对28个所有的图谱单纯地实施完全的配准时,为了对28个图谱的全部进行位置对准,每1个图谱需要约20秒,即,合计需要大致10分钟。
在该特定的例子中,图像处理部30使用刚性配准形的第1配准法,对28个图谱的全部,实施处理对象图像的配准。
图谱选择部75使用刚性配准法,根据处理对象图像的坐标系中的图谱的各对,求出对应的标识点间的平均距离。此时的结果是关于具备零项目的对角线对称的28×28矩阵M。
由距离矩阵M表示的数据作为相对于在上述中叙述的层次聚类法的唯一的输入来使用,此时,具有图像数据的参照帧中的解剖学标识点之间的最近的距离平均的图谱在各反复中进行分组的、即用于加到簇的图谱是根据平均距离值的类似性来选择的。继续进行聚类,直到具有最低的相互距离的簇至少具有图谱的所定的阈值数为止。已知在脑回分段的情况下,7个图谱的阈值数提供执行时间相对分段质量的良好的平衡。但是,应该理解,在其他的用途的情况下,阈值数有可能改变。
在求出达到图谱所需的阈值数的最初的簇之后,非刚性配准形的第2配准法接着在所选择的子集中的7个图谱(即,被识别的簇中的图谱)之间进行。非刚性配准的结果接着在统计上进行组合,求出最终的分段。多个配准结果的统计上的组合在多图谱分段的领域中被熟知。多数表决以及期望值最大化算法(例如,参照Ashburner,J.,&Friston,K.(1997),“Multimodal image coregistration and partitioning-a unified framework”NeuroImage,6(3),209~17页,doi:10.1006/nimg.1997.0290)是已知道特别合适的两种统计学组合技术。或者,也可以使用STAPLE算法(Warfield,S.K.,Zou,K.H.,&Wells,W.M.(2004),“Simultaneous Truth and Performance Level Estimation(STAPLE):AnAlgorithm for the Validation of Image Segmentation”,23(7),903~921页)。
在求出分段之后,为了生成段图像,针对应该分段化的原始的处理对象图像,进行注释附加或者强调。
根据本实施方式,利用只使用从多个图谱中选择的图谱的子集的完全的配准,但图谱的子集是使用距离度量来求得的。具体而言,为了计算用于求出所使用的图谱的子集的距离度量,使用解剖学的标识点。这样,能够选择相关联的解剖学构造。另外,忽视无关的解剖学构造。进而,与类似性的尺度或者启发法等其他的可选择的方法相比较,能够选择改善后的图谱。
通过使用聚类技术,能够降低或者避免在平均化等其他的技术中可能时时发生的由于样本结构而造成的偏置(biasing),同时能够识别最合适的图谱。
在本实施方式中,通过计算机程序来实施所提供的功能,该计算机程序具有能够执行的计算机可读命令以实施实施方式的方法,但计算机程序的功能也可以通过硬件(例如,通过CPU、或者通过一个或者多个ASIC(通过特定用途IC))、或者组合了硬件与软件的部件来实施。
在本实施方式中叙述了特定的单元,但一个或者多个这些单元的功能可以由单一的单元、处理资源、或者其他的组件来提供,或者组合两个以上的单元或者其他的组件来提供由单一的单元提供的功能。相对于单一单元的参照例如不管这样的组件是否相互远离,都包含提供该单元的功能的、例如单元等多个组件,另外,相对于多个单元的参照例如包含提供这些单元的功能的、例如单元等单一的组件。
关于服务器或网络化的存储装置或者其他的设备叙述了几个特征,另外,关于医用图像处理装置叙述了几个特征,但关于服务器、网络化的存储装置、或者其他的网络化的功能叙述的一个或者多个特征能够由图像处理部30提供,相反也如此。
进而,在本实施方式中,服务器或者医用图像处理装置不需要是单一的装置,也可以具备分散阵列等、多个相关联的单元。
进而,作为被限制的、或者降低的处理开销(overhead)的配准法的例子,在上述中叙述了刚性变换或者刚性配准法,但还可以使用具有低处理负担的其他的配准或者变换法。
进而,为了选择相对于子集的图谱,在上述的例子中使用了层次聚类,但也可以代替其而使用谱聚类或者其他的聚类法等其他的技术。
在上述中说明了为了识别图谱的子集而使用包含图谱的阈值数的最初的簇的实施方式,但也可以使用相对于所提供的距离的最大的簇等、其他的基准。
根据本实施方式,能够提供在多图谱分段中选择图谱的方法。选择方法包含:对新的图谱数据集与各图谱数据集之间的被限定的参数空间进行配准;使用解剖学标识点,为了将新的图谱与所有的可能的对的图谱之间进行配准而计算距离度量;使用距离以及聚类法,识别准确的配准所使用的图谱。
距离度量使用被限制的配准的结果,通过将解剖学标识点向新的数据集的坐标进行变换,从而相对于图谱的第i个和第j个的对进行计算。度量具有对应的解剖学标识点间的离间距离的平均。当簇被识别为相对于所提供的距离的最大的簇时、或者是包含所提供的数量的图谱的最初的簇时,使用层次聚类。也可以使用谱聚类。最初的配准最好是刚性变换。准确的配准最好是非刚性变换,生成高密度变形场。
这样,根据本实施方式,能够实现关于使用多个图谱的基于图谱的分段处理缩短处理时间,同时能够得到高精度的分段结果的医用图像处理装置以及医用图像处理方法。
虽然说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定本发明的范围。这些实施方式能够以其他的各种方式进行实施,在不脱离发明的要旨的范围内,能够进行各种的省略、置换、变更。这些实施方式或其变形与包含于发明的范围或要旨中一样,包含于权利要求书记载的发明及其均等的范围中。

Claims (15)

1.一种医用图像处理装置,具备:
数据接收部,接收应分段化的处理对象图像;
存储部,存储与对象部位的解剖学图谱相关的多个图谱;以及
图谱选择部,根据上述多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从上述多个图谱中选择为了对上述处理对象图像进行分段化而使用的多个选择图谱,
上述图谱具有像素或者体素以及用于识别上述解剖学标识点的关联数据,
上述图谱选择部在上述多个图谱的各个图谱的上述像素或者体素与所接收的上述处理对象图像的像素或者体素之间执行第1配准,根据上述第1配准,对由上述多个图谱的各个图谱的上述关联数据表示的解剖学标识点的位置进行变换,针对上述第1配准后的上述多个图谱计算经变换的上述解剖学标识点的位置间的距离,使用聚类法根据上述距离将上述多个图谱分组为多个组,确定该多个组中的最优的组,从上述最优的组所包含的上述多个图谱中选择上述多个选择图谱。
2.根据权利要求1所述的医用图像处理装置,其特征在于,
上述图谱选择部在上述多个选择图谱与上述处理对象图像之间进行第2配准。
3.根据权利要求2所述的医用图像处理装置,其特征在于,
上述第1配准的计算量比上述第2配准的计算量少。
4.根据权利要求1所述的医用图像处理装置,其特征在于,
上述第1配准是线性配准。
5.根据权利要求2所述的医用图像处理装置,其特征在于,
上述第2配准是非线性配准。
6.根据权利要求1所述的医用图像处理装置,其特征在于,
上述图谱选择部针对上述第1配准后的上述多个图谱中的各对的图谱计算上述解剖学标识点的位置间的距离,根据关于上述各对的上述距离,从上述多个图谱中选择上述多个选择图谱。
7.根据权利要求1所述的医用图像处理装置,其特征在于,
上述图谱选择部通过识别具有上述距离最类似的距离度量的图谱来选择上述多个选择图谱。
8.根据权利要求1所述的医用图像处理装置,其特征在于,
上述图谱选择部针对上述第1配准后的上述多个图谱计算上述解剖学标识点的位置间的距离的平均,根据上述平均,从上述多个图谱中选择上述多个选择图谱。
9.根据权利要求1所述的医用图像处理装置,其特征在于,
上述图谱选择部对上述多个图谱的各个图谱,在上述处理对象图像的坐标系中计算上述距离。
10.根据权利要求1所述的医用图像处理装置,其特征在于,
上述解剖学标识点的位置是上述处理对象图像的坐标系中的上述解剖学标识点的位置。
11.根据权利要求1所述的医用图像处理装置,其特征在于,
上述聚类法是层次聚类或者谱聚类。
12.根据权利要求1所述的医用图像处理装置,其特征在于,
上述聚类法识别相对所提供的距离最大的簇、或者识别包含所提供的或者事先设定的个数的图谱的最初的簇。
13.根据权利要求1所述的医用图像处理装置,其特征在于,
上述聚类法是反复聚类法,该反复聚类法在各反复中具备对具有最类似的距离的2个以上的图谱进行分组的步骤。
14.根据权利要求1所述的医用图像处理装置,其特征在于,
还具备区域分割部,该区域分割部根据上述多个选择图谱,对上述处理对象图像进行分段化。
15.一种医用图像处理方法,包含:
接收应分段化的处理对象图像;
读出表示与对象部位相关的标准的解剖学图谱的多个图谱;以及
根据上述多个图谱的各个图谱所包含的一个或者多个解剖学标识点的位置,从上述多个图谱中选择为了对上述处理对象图像进行分段化而使用的多个选择图谱,
上述图谱具有像素或者体素以及用于识别上述解剖学标识点的关联数据,
在上述多个图谱的各个图谱的上述像素或者体素与所接收的上述处理对象图像的像素或者体素之间执行第1配准,根据上述第1配准,对由上述多个图谱的各个图谱的上述关联数据表示的解剖学标识点的位置进行变换,针对上述第1配准后的上述多个图谱计算经变换的上述解剖学标识点的位置间的距离,使用聚类法根据上述距离将上述多个图谱分组为多个组,确定该多个组中的最优的组,从上述最优的组所包含的上述多个图谱中选择上述多个选择图谱。
CN201410646012.1A 2013-11-14 2014-11-14 医用图像处理装置以及医用图像处理方法 Active CN104637024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/079,908 2013-11-14
US14/079,908 US9818200B2 (en) 2013-11-14 2013-11-14 Apparatus and method for multi-atlas based segmentation of medical image data

Publications (2)

Publication Number Publication Date
CN104637024A CN104637024A (zh) 2015-05-20
CN104637024B true CN104637024B (zh) 2018-09-25

Family

ID=53043852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410646012.1A Active CN104637024B (zh) 2013-11-14 2014-11-14 医用图像处理装置以及医用图像处理方法

Country Status (3)

Country Link
US (1) US9818200B2 (zh)
JP (1) JP6598452B2 (zh)
CN (1) CN104637024B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2881916B1 (en) * 2013-12-06 2018-01-31 Siemens Healthcare GmbH Query-specific generation and retrieval of medical volume images
US10083510B2 (en) * 2014-02-27 2018-09-25 Koninklijke Philips N.V. Unsupervised training for an atlas-based registration
US10504252B2 (en) * 2014-12-15 2019-12-10 Canon Medical Systems Corporation Method of, and apparatus for, registration and segmentation of medical imaging data
US10509090B2 (en) * 2015-02-06 2019-12-17 Koninklijke Philips N.V. Automatic grouping of magnetic resonance images
CN105212936A (zh) * 2015-09-09 2016-01-06 首都医科大学宣武医院 一种脑模板的生成方法
JP2019103531A (ja) * 2016-04-15 2019-06-27 三菱電機株式会社 医用画像処理装置
CN106023194B (zh) * 2016-05-18 2019-04-09 西安交通大学 基于静息态功能连接的杏仁核谱聚类分割方法
CN106204562B (zh) * 2016-07-04 2019-05-07 西安交通大学 一种基于fMRI与DTI融合的穹隆白质分割的方法
US11653897B2 (en) 2016-07-07 2023-05-23 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
JP6956483B2 (ja) * 2016-11-16 2021-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
CN106204581B (zh) * 2016-07-08 2019-10-18 西安交通大学 基于pca与k均值聚类的动态脑功能连接模式分解方法
EP3382416A1 (en) * 2017-03-30 2018-10-03 Koninklijke Philips N.V. Selection of magnetic resonance fingerprinting dictionaries for anatomical regions
EP3420903B1 (de) * 2017-06-29 2019-10-23 Siemens Healthcare GmbH Visualisieren zumindest einer kenngrösse
EP3704669A4 (en) 2017-11-02 2020-12-30 Shanghai United Imaging Healthcare Co., Ltd. SYSTEMS AND METHODS FOR GENERATING SEMANTIC INFORMATION FOR A SCAN IMAGE
CN109273073A (zh) * 2018-08-28 2019-01-25 上海联影医疗科技有限公司 医学图像的存储方法及装置、计算机可读存储介质
EP3759685B1 (en) * 2018-03-02 2024-05-01 General Electric Company System and method for an accelerated clinical workflow
US10937172B2 (en) 2018-07-10 2021-03-02 International Business Machines Corporation Template based anatomical segmentation of medical images
CN109685840B (zh) * 2018-12-28 2021-07-16 上海联影智能医疗科技有限公司 图像集配准方法、装置、计算机设备和存储介质
JP7231709B2 (ja) 2019-03-28 2023-03-01 オリンパス株式会社 情報処理システム、内視鏡システム、情報処理方法及び学習済みモデルの製造方法
JP6738003B1 (ja) * 2019-10-30 2020-08-12 日本テクトシステムズ株式会社 Mri画像に基づく解剖学的部位の抽出装置,方法,プログラム
WO2023081490A1 (en) * 2021-11-08 2023-05-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Virtual alignment of pathology image series
CN114972764B (zh) * 2022-08-01 2022-11-18 浙江省肿瘤医院 一种基于特征聚类的多图谱分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160357B2 (en) * 2010-07-30 2012-04-17 Kabushiki Kaisha Toshiba Image segmentation
CN103202705A (zh) * 2012-01-12 2013-07-17 株式会社东芝 医用图像处理装置及医用图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222864A (ja) 2003-01-21 2004-08-12 Mitsubishi Research Institute Inc 診断支援システム、診断支援方法及び診断支援プログラム
US20100260396A1 (en) * 2005-12-30 2010-10-14 Achiezer Brandt integrated segmentation and classification approach applied to medical applications analysis
JP5072449B2 (ja) 2006-07-18 2012-11-14 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP5759446B2 (ja) 2009-04-02 2015-08-05 コーニンクレッカ フィリップス エヌ ヴェ 解剖学的特徴を輪郭抽出するシステム、作動方法及びコンピュータ可読媒体
GB0917154D0 (en) * 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
US8837791B2 (en) * 2010-12-22 2014-09-16 Kabushiki Kaisha Toshiba Feature location method and system
JP2012252559A (ja) 2011-06-03 2012-12-20 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
JP5721225B2 (ja) 2011-07-01 2015-05-20 富士通株式会社 形状データ生成方法、プログラム及び装置
US9524552B2 (en) * 2011-08-03 2016-12-20 The Regents Of The University Of California 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
WO2013023073A1 (en) * 2011-08-09 2013-02-14 Boston Scientific Neuromodulation Corporation System and method for weighted atlas generation
US20130044927A1 (en) * 2011-08-15 2013-02-21 Ian Poole Image processing method and system
WO2013102215A1 (en) * 2011-12-30 2013-07-04 The Johns Hopkins University Bioimaging grid
US9053541B2 (en) * 2012-07-09 2015-06-09 Kabushiki Kaisha Toshiba Image registration
US9741131B2 (en) * 2013-07-17 2017-08-22 Siemens Medical Solutions Usa, Inc. Anatomy aware articulated registration for image segmentation
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160357B2 (en) * 2010-07-30 2012-04-17 Kabushiki Kaisha Toshiba Image segmentation
CN103202705A (zh) * 2012-01-12 2013-07-17 株式会社东芝 医用图像处理装置及医用图像处理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Groupwise Registration Based on Hierarchical Image Clustering and Atlas Synthesis》;Qian Wang等;《Human Brain Mapping》;20100831;第31卷(第8期);第1128-1140页 *
《Multi-atlas based segmentation of brain images :Atlas selection and its effect on accuracy》;P.Aljabar等;《NeuroImage》;20090701;第46卷(第3期);第728页右栏倒数第1-3段,第729页左栏第1-4段,第729页右栏第1段,图2 *
《Multiatlas-based segmentation with preregistration atlas selection》;Thomas R. Langerak等;《Medical Physics》;20130805;第40卷(第9期);第1页第2段,第3页右栏3.B.,第4页左栏第1段 *
《基于图谱的医学图像分割综述》;黎丽华等;《广东省生物医学工程学会成立32周年纪念大会暨2012广州(国际)生物医学工程学术大会论文集》;20121025;第24-29页 *

Also Published As

Publication number Publication date
JP6598452B2 (ja) 2019-10-30
CN104637024A (zh) 2015-05-20
US20150131882A1 (en) 2015-05-14
JP2015093192A (ja) 2015-05-18
US9818200B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
CN104637024B (zh) 医用图像处理装置以及医用图像处理方法
JP5718760B2 (ja) 医用画像処理方法、記録媒体、及び医用画像処理装置
EP3355273B1 (en) Coarse orientation detection in image data
US8837789B2 (en) Systems, methods, apparatuses, and computer program products for computer aided lung nodule detection in chest tomosynthesis images
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
CN105719324A (zh) 图像处理装置以及图像处理方法
JP5706389B2 (ja) 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP4640845B2 (ja) 画像処理装置およびそのプログラム
JP2009502230A (ja) 医用画像における傷病部位の検知
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
AU2012350363A1 (en) Method and apparatus for the assessment of medical images
JP5626202B2 (ja) 正中線決定装置およびプログラム
US20180064409A1 (en) Simultaneously displaying medical images
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
Lenga et al. Deep learning based rib centerline extraction and labeling
CN105551042B (zh) 一种扫描床标记点位置的确定方法和装置
KR20200116278A (ko) 치과 영상으로부터 피검체의 성별 및 연령을 판정하는 방법 및 이를 이용한 장치
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
CN110738639B (zh) 医学图像检测结果的展示方法、装置、设备及存储介质
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2017189384A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6869086B2 (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム
Sreelekshmi et al. A Review on Multimodal Medical Image Fusion
WO2023020609A1 (en) Systems and methods for medical imaging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160727

Address after: Japan Tochigi

Applicant after: Toshiba Medical System Co., Ltd.

Address before: Tokyo, Japan, Japan

Applicant before: Toshiba Corp

Applicant before: Toshiba Medical System Co., Ltd.

GR01 Patent grant
GR01 Patent grant