CN110709943A - 使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法 - Google Patents

使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法 Download PDF

Info

Publication number
CN110709943A
CN110709943A CN201880037288.6A CN201880037288A CN110709943A CN 110709943 A CN110709943 A CN 110709943A CN 201880037288 A CN201880037288 A CN 201880037288A CN 110709943 A CN110709943 A CN 110709943A
Authority
CN
China
Prior art keywords
image
artificial
objects
rib
man
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880037288.6A
Other languages
English (en)
Other versions
CN110709943B (zh
Inventor
皮特·卡斯克
杰夫·麦甘克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruifudi Health Science Co
Revvity Cellular Technologies GmbH
Original Assignee
PerkinElmer Cellular Technologies Germany GmbH
PerkinElmer Health Sciences Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PerkinElmer Cellular Technologies Germany GmbH, PerkinElmer Health Sciences Inc filed Critical PerkinElmer Cellular Technologies Germany GmbH
Publication of CN110709943A publication Critical patent/CN110709943A/zh
Application granted granted Critical
Publication of CN110709943B publication Critical patent/CN110709943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本文提出了基于人造界标的自动生成来配准一个或多个受试者的一个或多个图像的系统和方法。人造界标是图像中与成像区域的特定物理位置相关联的点。人造界标是沿着图像中(例如,以图形方式)表示的受试者骨架的骨骼以自动且稳健的方式生成的。自动生成的人造界标用于校正单个图像中的失真或校正一系列图像(例如,在不同时间点记录的)中的多个图像中的失真和/或共同配准。因此,本文所述的人造界标生成方法有助于分析用于例如监测疾病如肺部疾病的进展的图像。

Description

使用沿骨骼的人造界标进行三维图像的自动失真校正和/或 共同配准的系统和方法
交叉引用部分
本申请要求保护2017年6月16日提交的标题为“使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法”的美国临时申请序列号62/520,926的优先权,该申请通过引用整体并入本文。
技术领域
本发明总体涉及图像分析的方法和系统。更具体地,在某些实施例中,本发明涉及对例如用计算机断层(CT)扫描仪捕获的一个或多个受试者图像(例如,一个或多个包含受试者中轴骨骼的一部分的图像)的自动失真校正和/或配准/共同配准。
背景技术
小型哺乳动物的体内成像是由许多不同领域例如肿瘤学、传染病学和药物发现的研究人员进行的。存在各种各样的涉及哺乳动物体内成像的技术-例如生物发光、荧光、断层扫描和多模式成像技术。
体内成像通常涉及使用标志物如荧光探针、放射性核素等对活体动物体内的结构和/或生物现象进行非侵入性时空可视化。例如,荧光分子断层扫描(FMT)涉及哺乳动物的体内成像,以定量分析所施用的和/或内源探针。体内微型计算机断层扫描(microCT)成像是一种基于x射线的技术,该技术以高分辨率扫描组织、器官和非有机结构并产生组织、器官和非有机结构的图像。MicroCT发展迅速,需要低剂量扫描和快速成像的方案以促进多模式应用并启用纵向实验模型。多模式成像涉及融合以不同方式获得的图像,例如,通过组合FMT、正电子发射断层扫描(PET)、磁共振成像(MRI)、CT、microCT和/或单光子发射计算机断层扫描(SPECT)成像数据。
图像如microCT图像的分析通常涉及自动图像处理(例如,通过各种图像分析软件来进行),以便例如鉴定图像内的目标区域(例如,与特定骨骼、组织类型、器官相对应的区域)。也可以使用其他图像处理以便于鉴定受试者的单个图像内的异常特征(例如组织形态、肿块如肿瘤),和/或通过比较在不同时间记录的受试者的多个图像来鉴定变化。在某些情况下,不同受试者的图像的比较对于鉴定异常特征也很有用,并且可以通过使用图像处理来促进。
促进比较在不同时间点记录的多个图像的图像分析方法与监测受试者(例如,小型哺乳动物,如小鼠、大鼠、豚鼠或兔子)的疾病进展尤其相关。例如,可以通过分析一段时间内收集到的多个图像来推断组织形态的变化,包括肿瘤生长、水肿和纤维化。以这种方式监测疾病进展与诊断受试者状态,评估治疗有效性以及调查不同疾病的一般方面有关。因此,通过图像分析来监测疾病可以提供与诊断病状,应用适当的疗法以及开发新的治疗程序有关的新见解。
对于进行性疾病,如肺部疾病,尤其如此。肺部疾病会影响肺部,包括哮喘等疾病,流感和肺炎等感染以及肺癌。监测肺部疾病的进展包括随着时间的推移记录肺部特征的变化(例如,肿瘤生长、水肿、纤维化,肺部相对于受试者胸腔的向下扩张)。使用诸如计算机断层扫描(例如,microCT)的成像技术在不同时间记录包含受试者肺部的受试者区域的图像。比较在不同时间点获得的此类图像,可以观察到受试者肺部随时间的变化。
然而,比较在不同时间获得的不同图像非常具有挑战性。具体而言,一个图像与下一个图像间受试者的姿势和位置的变化会在不同时间点记录的图像之间产生变化。例如,根据受试者在记录给定图像期间的姿势和位置,受试者不同图像内的组织(例如,肺组织、结缔组织、骨骼)的图形表示可以在图像之间有不同的失真、定位和/或旋转。例如,图1示出了小鼠的中轴骨骼的一系列图形表示。这些是3D掩模的投影,其中每个像素的强度是沿第三维度的掩模体素的平均强度。当调整其位置并在不同时间记录图像时,每个投影与小鼠区域的不同三维表示相对应。如在图1中显而易见,由于图像之间受试者的姿势和位置的变化,所成像的骨架的失真和位置在图像之间不同。必须去除此类变化,以便对一段时间内记录的一系列多个图像进行有意义的分析和比较。
因此,需要一种系统和方法,用于提供对受试者的多个图像或不同受试者的图像之间的配准,包括对失真和取向变化的校正。解决这种需求的系统和方法将有利于分析在不同时间点记录的受试者的多个图像,以及比较不同受试者的图像。此类分析与许多应用有关,例如,监测疾病进展(例如与肺部疾病的相关性)。
发明内容
本文提出了基于人造界标的自动生成来配准一个或多个受试者的一个或多个图像的系统和方法。人造界标是图像中与成像区域的特定物理位置相关联的点。人造界标是沿着图像中(例如,以图形方式)表示的受试者骨架的骨骼以自动稳健的方式生成的。自动生成的人造界标用于校正单个图像中的失真或校正一系列图像(例如,在不同时间点记录的)中的多个图像中的失真和/或共同配准。因此,本文所述的人造界标生成方法有助于分析用于例如监测疾病如肺部疾病的进展的图像。
例如,源自人工生成的骨界标的变换可用于校正代表软组织(例如,肺、心脏等)的图像区域的失真和/或共同配准所述图像区域。如本文所用,“图像配准”是指一个或多个图像的失真校正和/或多个图像的共同配准。配准的软组织的图形表示可以是在进行骨骼配准的相同图像中,或者软组织可以是在与用于骨骼配准的图像同时(例如,通过多模态成像系统)获得的不同图像中,或者在其他情况下,受试者处于与相应的骨骼配准图像中相同的姿势。
使用沿着受试者骨骼的界标进行配准(例如失真校正和/或共同配准)有利于监测进行性疾病,因为随着时间的推移,受试者骨骼的构造基本上保持恒定,而软组织(例如肺、心脏等)的形态可能会因疾病而改变。
在某些实施例中,应用本文描述的用于配准(例如,失真校正和/或共同配准)的系统和方法来促进分析表示包括受试者肺部的受试者区域的图像。此类图像包括受试者的中轴骨骼例如肋骨、脊柱和胸骨的图形表示。在某些实施例中,沿着图像内表示的多个肋骨中的每一个自动生成人造界标。在某些实施例中,另外沿着图像内表示的胸骨自动生成人造界标。
在某些实施例中,沿单个图像中表示的肋骨和/或胸骨的人造界标用于校正图像中存在的失真,失真是由于(例如反映)在记录图像的同时受试者所处的特定姿势引起的。具体而言,图像内的人造界标可用于确定变换[例如,线性变换(例如,刚性变换(例如,平移,例如旋转)、仿射变换,例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合],当应用于图像时,所述变换会产生受试者区域的对称表示。此类对称的标准化图像可以容易地以直接方式进行分析、解释和/或与其他图像(例如先前记录的图像,例如类似地进行失真校正的先前记录的图像)进行比较,而不必考虑受试者姿势的变化。
在某些实施例中,人造界标用于共同配准受试者的区域的(例如在不同时间点记录的)一系列图像中的多个图像。具体而言,在某些实施例中,由于它们与成像区域的特定物理位置的关联,可以使用不同图像的人造界标来确定共同配准图像(例如,将多个图像彼此对准)的变换。在某些实施例中,选择一组图像的基线图像,与其他图像对准(例如,对于n个图像,每n-1个图像可变换以使其与n个图像中选定的基线图像共同配准))。在某些实施例中,与一组图像中的每个图像对准的基线图像并非选自该组图像,而是例如预定义的标准基线图像。
在某些实施例中,人造界标用于校正受试者的区域的一系列图像中的多个图像的失真并对其进行共同配准。具体而言,对于一系列图像中的每个图像,使用图像的人造界标来确定下述变换,该变换(i)校正图像中的失真(例如,由于受试者的姿势变化而导致的失真),以及(ii)将图像与该系列的其他图像对准。因此,对于每个图像,应用确定的变换会产生对称图像,该对称图像与该系列图像中的其他图像共同配准。
具体而言,在某些实施例中,图像配准(例如,校正一个或多个图像中的失真和/或共同配准多个图像)是通过为一个或多个图像中的每个图像确定一种变换来实现的,该变换当应用于图像时大幅优化了图像内的人造界标集合与靶界标集合的对准。
根据靶界标的位置,将图像中的人造界标与靶界标对准的确定变换可以校正图像中的失真(例如,产生图像的对称形式)和/或将图像与一个或多个不同的图像对准。
例如,在某些实施例中,对称的靶界标用于图像配准。为了配准给定的图像,使用图像中的人造界标和对称的靶界标集合来确定变换。可以将确定的变换应用于图像,以生成图像的对称形式,从而校正失真。在某些实施例中,将单一靶界标集合用于多个图像的配准,从而提供图像的共同配准。可以针对单个受试者(例如,在不同时间点收集的)或多个受试者的多个图像进行这种配准。如果用于多个图像的配准的单一靶界标集合是对称的,则可以实现失真校正和共同配准。
在某些实施例中,用于配准特定图像的靶界标源自特定图像内的人造界标。例如,校正单个图像中的失真包括由图像中的人造界标确定对称的靶界标集合,并且确定优化图像内的人造界标集合与靶界标集合的对准的变换。将确定的变换应用于图像,从而产生对称图像。
在某些实施例中,用于配准第二图像的靶界标是从第一图像的人造界标获得的。例如,为了将第二图像与第一图像共同配准,可以将第一图像的人造界标用作靶界标用于配准第二图像。因此,确定将第二图像中的人造界标与靶界标(其为第一图像的人造界标)对准的变换,并将该变换应用于第二图像,将第二图像与第一图像共同配准。
在某些实施例中,从第一图像确定靶界标,以便如上所述提供对第一图像的失真校正(例如对称化)。靶界标集合可以用于第一图像的失真校正和配准,以及用于一个或多个其他图像的失真校正和配准。
在某些实施例中,本文描述的方法用于单个受试者的多个图像的失真校正和/或共同配准。在某些实施例中,本文描述的方法用于不同受试者的图像的失真校正和/或共同配准。
本文描述的人造界标生成方法的优点是其对伪影的鲁棒性,例如由图像中特定骨骼的表示的自动鉴定(例如,通过分割)中的错误,以及图像质量的变化而产生的伪影。具体而言,在某些实施例中,从通过自动应用于图像的形态和逻辑图像处理操作(例如距离间隔掩模的生成,例如逻辑“与”运算)沿着骨骼生成的人造对象确定人造界标(例如,将每个人造对象确定为相应人造对象的质心)。因此,与诸如特定骨骼、关节等天然存在的对象不同,人造对象对应于通过一系列特定的形态和逻辑成像处理操作在图像中计算机生成的真实骨骼的一部分。
令人惊讶的结果是,与天然对象的鉴定相比,本文所述的人造对象的生成更具鲁棒性并且容忍图像质量的变化。通过自动分割来鉴定图像内的特定骨骼、关节等易于在某些图像(例如低质量图像)中出现分割错误。分割错误的校正可以在用户的帮助下以交互方式完成,但是这非常繁琐,特别是如果在时间序列中的多个图像中的每个图像上存在数十个分割错误时。
在某些实施例中,经由本文描述的方法和系统生成人造对象消除了对广泛图像分割的需要。例如,可以通过本文所述的方法在图像内沿着肋骨生成人造对象,而不必单独鉴定单个肋骨,鉴定单个肋骨更具挑战性并且容易出错。因此,人造对象(以及依次由人造对象生成的人造界标)以完全自动化的方式生成,而无需用户交互。生成人造对象以及由其生成用于图像配准的人造界标的过程,对图像伪影,特定骨骼的自动鉴定错误均具有鲁棒性,并且与要求准确鉴定天然对象的方法相比,可用于质量较低的图像。
此外,与天然对象(例如特定的关节和完整的骨骼)不同,可以自由选择人造对象的数量和密度,并且因此可以自由选择源自人造对象的界标。控制图像中人造对象的数量和密度的能力有利于确定图像配准的变换。
在某些实施例中,为了确保图像的准确配准,本文描述的系统和方法包括用于确保正确鉴定所生成的人造界标(和/或人造对象)(例如,正确鉴定给定人造界标(或人造对象)和特定物理位置之间的对应关系(例如,通过分配索引值))的步骤。例如,在某些情况下,对人造界标(和/或人造对象)的准确鉴定确保在生成的种子人造对象中没有不必要的伪影,并且类似地,确保在由种子人造对象生成的后续人造对象中也没有不必要的伪影。另外,对人造界标和/或人造对象的正确鉴定确保在确定对称的靶界标集合用于失真校正时,正确鉴定成对的相对肋骨伴侣界标。最后,人造界标和/或人造对象的正确鉴定确保人造界标与伴侣靶界标正确匹配,以确定图像配准变换。
因此,在某些实施例中,在生成过程期间(例如,通过分配各种索引值)鉴定人造界标(和/或人造对象),并且当将人造界标用于图像配准时,可以在后续步骤中检查鉴定的正确性。例如,当确定成对的相对肋骨人造界标用于生成靶界标时,以及将图像中的人造界标与靶界标进行匹配以进行图像配准时,可以检查鉴定的正确性。在某些实施例中,如果发现鉴定错误,则从图像中的人造对象(和/或人造界标)集合中去除错误鉴定的人造界标(和/或人造对象),不用于图像配准。
在某些实施例中,通过离群值滤波步骤进一步提高了由人造对象生成人造界标的准确性和鲁棒性,应用该离群值滤波步骤去除不符合特定标准的人造对象(和/或从此类人造对象确定的人造界标)。例如,可以基于体积来滤波人造对象,以便去除由于例如图像中的噪声和小的伪影而产生的非常小的人造对象。在某些实施例中,用于离群值滤波的标准是基于关于所成像的受试者的区域的物理直觉,例如受试者的胸腔基本上对称的事实。此类离群值滤波方法允许在生成过程中以最小限度的用户交互(例如,没有任何用户交互)来准确地生成人造界标。
因此,通过提供一种基于人造界标的自动生成来进行一个或多个受试者的3-D图像的配准(例如,失真校正和/或共同配准)的方法,本文所述的系统和方法有助于通过比较受试者的断层图像来分析受试者的疾病进展。本文所述的方法与以受试者中轴骨架的骨骼为特征的图像有关,所述骨骼包括胸腔、脊柱和胸骨。通过提供用于失真校正和图像共同配准的鲁棒性自动化方法,本文所述的系统和方法提高了监测疾病进展,特别是与肺部疾病有关的疾病进展的能力。
一方面,本发明涉及用于配准受试者的一个或多个3-D图像的方法,该方法包括:(a)由计算设备的处理器接收受试者的3-D图像(例如,断层图像,例如通过CT、显微CT、SPECT、x射线、MR、超声和/或这些中的任何一种获得的图像),其中3-D图像包括肋骨和脊柱的图形表示;(b)由处理器在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割);(例如,通过用户交互),(i)脊柱和(ii)胸腔骨,包括肋骨[{例如,通过确定骨掩模,然后将鉴定出的骨组织分成对应于鉴定出的脊柱的第一部分和对应于鉴定出的肋骨的第二部分}{例如,通过确定骨掩模,然后将鉴定出的骨组织分离成对应于鉴定出的脊柱的第一部分和对应于鉴定出的胸腔骨(例如,一起包括肋骨与胸骨)的第二部分),任选地随后将鉴定出的胸腔骨分成鉴定出的胸骨和对应于其余骨骼(即肋骨)一部分}];(c)由处理器自动生成多个种子肋骨人造对象,每个种子肋骨人造对象在图形表示中处于距脊柱的第一距离间隔内(例如,(i)对于种子肋骨人造对象的每个点,从该点到所鉴定的脊柱表面的最短距离在第一距离间隔内;例如(ii)对于种子肋骨人造对象的每个点,从该点到所鉴定的脊柱中线的最短距离在第一距离间隔内)并且与图形表示中肋骨的区域相对应(例如,其中为每个种子肋骨人造对象分配左右索引和肋骨数量索引);(d)对于每个自动生成的种子肋骨人造对象,由处理器自动生成多个相关的后续肋骨人造对象,从而在图像中创建人造对象集合(例如,包括种子和后续肋骨人造对象的集合);(e)由处理器使用图像内的人造对象集合(例如,使用人造界标集合,每个界标都是基于其在图像内的相应人造对象确定的,例如其中该人造界标集合中的每个人造界标是按该人造对象集合中的每个人造对象的质心进行计算的)自动执行受试者的一个或多个图像的配准。
在某些实施例中,鉴定脊柱和肋骨包括确定一个或多个骨掩模的集合以鉴定图形表示中的特定骨骼。例如,确定骨掩模的集合可以分多个步骤进行-例如,第一步是鉴定图形表示中的所有骨骼,第二步是鉴定脊柱,第三步是鉴定(未分化的)包含肋骨的胸腔骨。在某些实施例中,所鉴定的胸腔骨包括肋骨以及胸骨。在某些实施例中,执行第四步,将所鉴定的胸腔骨分离成(i)所鉴定的胸骨和(ii)与所鉴定的肋骨相对应的其余骨骼。在某些实施例中,没有必要单独鉴定胸骨和肋骨,并且所鉴定的胸腔骨对应于肋骨与胸骨的未分化集合。在某些实施例中,单独鉴定胸骨和肋骨,并且对鉴定出的肋骨和/或与鉴定出的肋骨对应的掩模进行正如对鉴定出的胸腔骨和/或与鉴定出的胸腔骨对应的掩模所进行的本文所述的操作。在某些实施例中,没有必要单独鉴定单根肋骨(尽管这在其他实施例中可以进行),鉴定出未分化的肋骨集合。
在某些实施例中,自动生成多个种子肋骨人造对象的步骤包括:确定包括三个维度上的每个点处的强度值(例如数值)的脊柱距离图,脊柱距离图的每个强度值对应于从3-D空间中的给定点到图形表示中所鉴定的脊柱的距离(例如(i)从给定点到所鉴定的脊柱的点的最短距离;例如(ii)从给定点到所鉴定的脊柱的中线的最短距离);由处理器根据脊柱距离图生成脊柱距离间隔掩模,所述脊柱距离间隔掩模对应于距鉴定出的脊柱处于第一距离间隔内的图像区域(例如,所述距离间隔掩模是二进制掩模,其中为与鉴定出的脊柱的距离在第一距离间隔(例如,第一距离间隔)范围内的点分配第一值(例如,数值1,例如布尔真),为其他点分配第二值(例如,数值0,例如布尔假));并由处理器在脊柱距离间隔掩模与对应于所鉴定的胸腔骨的掩模(例如,所鉴定的肋骨;例如,胸腔骨掩模,例如肋骨掩模)之间应用“与”运算(例如,逐点“与”运算),从而鉴定出距已鉴定的胸腔骨与所鉴定的脊柱处于第一距离范围内的多个区域。
在某些实施例中,步骤(c)包括,对于多个种子肋骨人造对象中的每一个,将种子肋骨人造对象关联(i)左右索引(例如,基于从种子肋骨人造对象的一个或多个点确定的x坐标)和(ii)肋骨数量索引(例如,基于从种子肋骨人造对象的一个或多个点确定的z坐标)。
在某些实施例中,将种子肋骨人造对象与左右索引相关联包括作为预备步骤应用初步旋转和平移变换;随后确定左右索引(例如,基于从种子肋骨人造对象的一个或多个点确定的x坐标)。在某些实施例中,使用图形表示中所鉴定的脊柱的主轴和/或所鉴定的胸骨的主轴来确定初步旋转和平移变换。
在某些实施例中,对于每个自动生成的种子人造对象,所述多个相关联的后续肋骨人造对象包括肋骨人造对象的等距链。
在某些实施例中,3-D图像包括肋骨、脊柱和胸骨的图形表示,并且每个肋骨人造对象在图形表示中与鉴定的胸骨至少相距预定的第一阈值距离(例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的胸骨的最短距离至少是第一阈值距离,例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的胸骨的中线的最短距离至少是第一阈值距离)。
在某些实施例中,所述方法包括由处理器自动鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二肋骨之间的距离低于预定的第二阈值距离的区域(例如,通过将一个或多个形态学运算(例如,包括形态学闭合运算)和一个或多个逻辑运算应用于与所鉴定的胸腔骨相对应的掩模来自动鉴定图像的一个或多个危险区域),其中所述方法包括确保生成的每个肋骨人造对象距图像内的任何已鉴定的危险区域都足够远(例如,与鉴定的最近危险区域至少相距预定的第三阈值距离,例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的危险区域的最短距离至少为第三阈值距离)。
在某些实施例中,由处理器自动生成与相应种子肋骨人造对象相关联的多个后续肋骨人造对象包括:通过从相应种子肋骨人造对象开始,沿着肋骨生成肋骨人造对象链,并以逐步的方式,生成新的后续肋骨人造对象,每个新生成的肋骨人造对象沿着肋骨继续向外(例如,与先前生成的肋骨人造对象相距预定距离)远离所鉴定的脊柱。
在某些实施例中,3-D图像包括多个肋骨、脊柱和胸骨的图形表示,并且生成与相应种子肋骨人造对象相关联的人造肋骨链包括,对于肋骨人造对象链中至少一个新生成的肋骨人造对象:确定新生成的肋骨人造对象是否在距图形表示中所鉴定的胸骨的预定第一阈值距离范围内;并响应于确定新生成的肋骨人造对象在距所鉴定的胸骨的预定第一阈值距离范围内,终止生成与相应种子肋骨人造对象相关联的后续人造对象。
在某些实施例中,该方法包括由处理器鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二肋骨之间的距离低于预定的第二阈值距离的区域,并且其中生成与相应种子肋骨人造对象相关联的肋骨人造对象链包括,对于肋骨人造对象链中的至少一个新生成的肋骨人造对象:确定新生成的肋骨人造对象是否在距图像中所鉴定的危险区域的预定第三阈值距离范围内;并响应于确定新生成的肋骨人造对象在距图像中所鉴定的危险区域的预定第三阈值距离范围内,终止生成与相应种子肋骨人造对象相关联的后续肋骨人造对象。
在某些实施例中,自动鉴定一个或多个危险区域包括对与所鉴定的胸腔骨相对应的掩模进行一种或多种形态学闭合运算。
在某些实施例中,3-D图像包括受试者胸骨的至少一部分的图形表示,该部分包括胸骨的下(例如尾侧)端,并且其中该方法包括由处理器通过以下方式沿着胸骨自动生成一系列人造对象:(f)由处理器在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割),例如,通过用户交互]胸骨[{例如,通过确定骨掩模,然后将鉴定出的骨骼分成脊柱、胸骨和其余骨骼(即,肋骨)}{例如,通过确定骨掩模,然后将鉴定出的骨组织分离成对应于鉴定出的脊柱的第一部分和对应于鉴定出的胸腔骨(例如,一起包括肋骨与胸骨)的第二部分,随后将鉴定出的胸腔骨分成鉴定出的胸骨和对应于其余骨骼(即肋骨)部分}]和胸骨下端(例如,通过确定对应于所鉴定的胸骨的胸骨掩模的最小z坐标);(g)由处理器自动生成种子胸骨人造对象,该种子胸骨人造对象对应于所鉴定的胸骨区域,该区域处于距胸骨下端的第二距离间隔范围之内(例如(i)对于种子胸骨人造对象的每个点,从该点到所鉴定的胸骨下端表面的最短距离在第二距离间隔范围内;例如,(ii)对于种子胸骨人造对象的每个点,从该点到与所鉴定的胸骨下端相对应的点的距离(例如欧几里得距离,例如,沿特定坐标(例如z坐标)的距离)在第二距离间隔范围内);(h)从种子胸骨人造对象开始,由处理器沿着所鉴定的胸骨自动生成多个相关联的胸骨人造对象,所述多个胸骨人造对象包括在图像内的人造对象集合内(例如,由此创建了还包括生成的胸骨人造对象的人造对象集合)。
在某些实施例中,由处理器自动生成种子胸骨人造对象包括:确定包括三个维度上的每个点处的强度值(例如数值)的胸骨下端距离图,脊柱距离图的每个强度值对应于从3-D空间中的给定点到图形表示中所鉴定的胸骨下端的距离[例如(i)从给定点到所鉴定的胸骨下端的表面的最短距离;例如(ii)从给定点到对应于所鉴定的胸骨下端的点的距离(例如欧几里得距离,例如沿特定坐标(例如z-坐标)的距离]);由处理器根据胸骨下端距离图生成胸骨下端距离间隔掩模,所述胸骨下端距离间隔掩模对应于距胸骨下端处于第二距离间隔范围内的图像区域(例如,所述胸骨下端距离间隔掩模是二进制掩模,其中与胸骨下端的距离在预定距离间隔(例如,第二距离间隔)范围内的点分配第一值(例如,数值1,例如布尔真),为其他点分配第二值(例如,数值0,例如布尔假));并由处理器在胸骨下端距离间隔掩模与对应于所鉴定的胸骨的掩模之间应用“与”运算(例如,逐点“与”运算),从而鉴定出所鉴定的胸骨距胸骨下端处于第二距离范围内的区域。
在某些实施例中,多个人造胸骨包括沿着胸骨的人造胸骨对象等距链。
在某些实施例中,自动生成多个胸骨人造对象包括:通过从种子胸骨人造对象开始,生成胸骨人造对象链,并以逐步的方式,生成新的后续胸骨人造对象,每个新生成的胸骨人造对象向上行进(例如,与先前生成的胸骨人造对象相距预定距离),远离所鉴定的胸骨下端。
在某些实施例中,图形表示中的胸骨部分包括胸骨上端,所述方法包括由处理器在图形表示中鉴定胸骨上端,并且生成与胸骨人造对象链包括,对于至少一个新生成的胸骨人造对象:确定新生成的胸骨人造对象是否达到或处于距所鉴定的胸骨上端的预定阈值距离范围内;并响应于确定新生成的胸骨人造对象达到或处于距所鉴定的胸骨上端的预定阈值距离范围内,终止生成后续胸骨人造对象。
在某些实施例中,确认图像内的人造对象集合中的每个自动生成的人造对象(例如,每个肋骨人造对象和/或每个胸骨人造对象)至少具有预定的阈值体积。
在某些实施例中,自动生成多个种子肋骨人造对象包括:由处理器生成对应于图形表示中肋骨距图形表示中的脊柱处于一定距离间隔范围内的多个区域的预期种子肋骨人造对象集合;由处理器将体积滤波器应用于该预期种子肋骨人造对象的集合,其中该体积滤波器的应用从该集合中消除了由处理器确定代表低于预定阈值体积的那些人造对象;在应用该体积滤波器之后,由处理器从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,图形表示中的肋骨包括多[例如,对应于受试者给定侧上的多个肋骨(例如,已知数量的肋骨)]对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),多个肋骨人造对象的一部分中的每个肋骨人造对象都属于多对肋骨人造对象之一,每一对均包括与一对相对的肋骨中的第一肋骨(例如右肋骨)相关联的第一肋骨人造对象(例如,基于肋骨人造对象的相关左右索引)和与该对相对的肋骨中的第二肋骨(例如左肋骨)相关联的第二肋骨人造对象(例如,基于肋骨人造对象的相关左右索引),并且对于每对肋骨人造对象而言,(i)该对的第一对象所表示的体积与该对的第二对象所表示的体积之间的差异低于预定阈值体积差,和/或(ii)该对的第一对象的高度[例如,z方向上对象的厚度;例如沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]与该对的第二对象的高度之间的差异低于预定阈值高度差。
在某些实施例中,图形表示中的肋骨包括一对或多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),并自动生成多个种子肋骨人造对象包括:由处理器生成对应于图形表示中肋骨距脊柱处于第一距离间隔内的多个区域的预期种子肋骨人造对象集合;由处理器自动鉴定一对或多对预期种子肋骨人造对象,每一对包括该对肋骨中的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象(例如,基于每个种子肋骨人造对象的z坐标;例如基于每个种子肋骨人造对象的相关肋骨编号索引;例如基于每个种子肋骨人造对象的相关左右索引);由处理器将成对比较滤波器应用于该预期种子肋骨人造对象集合,其中应用成对比较滤波器从该集合中消除了成对的人造对象,因为(i)由该对的第一对象所表示的体积与该对的第二对象所表示的体积的差异高于预定阈值体积差,和/或(ii)该对的第一对象的高度[例如,在z方向上的对象厚度;例如,沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]与该对的第二对象的高度[例如,在z方向上的对象厚度;例如,沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]之间的差异高于预定阈值高度差;并且在应用该成对比较滤波器之后,由处理器从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,该方法包括验证连续的种子肋骨人造对象(例如成对的种子肋骨人造对象,具有连续肋骨编号索引的一对中的第一和第二种子肋骨人造对象;例如成对的种子肋骨人造对象,就相关z坐标而言对应于最近邻居的一对中的第一和第二种子肋骨人造对象)之间的距离(例如,欧几里得距离;例如沿着特定坐标(例如,z坐标)的距离)一致(例如,对与对之间基本上相同,例如在给定的公差范围内)。
在某些实施例中,该方法包括:由处理器接收受试者的第一图像和受试者的第二图像;由处理器鉴定人造图像的多个交叉图像对,人造图像的每个交叉图像对包括:第一图像的第一人造对象集合的第一人造对象和第二图像的第二人造对象集合的相应第二人造对象;对于人造对象的每个交叉图像对,由处理器确定第一人造对象的体积与第二人造对象的体积之间的差异;并由处理器从每个相应图像的相应人造对象集合中消除交叉图像对的人造对象,因为确定的体积差高于预定阈值差。
在某些实施例中,该方法包括:由处理器基于图像内的人造对象集合,确定图像配准变换[例如,线性变换(例如,刚性变换(例如,平移;例如,旋转);例如仿射变换;例如一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合];并由处理器将图像配准变换应用于3-D图像的区域,从而配准3-D图像(例如,校正图像中的失真和/或将3-D图像与受试者的一个或多个不同的3-D图像共同配准)。
在某些实施例中,图像配准变换引起3-D图像的对称化,从而校正图像中的失真。
在某些实施例中,接收到的图像对应于第一图像,并且图像配准变换将受试者的第一图像与第二图像对准,从而共同配准第一图像与第二图像。
在某些实施例中,确定图像配准变换包括:由处理器从图像内的人造对象集合中确定图像内的人造界标集合,每个人造界标对应于由相应的人造对象确定的点;并且由处理器使用图像内的人造界标集合和靶界标集合确定图像配准变换(例如,线性变换(例如,刚性变换(例如,平移,例如旋转);例如,仿射变换,例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合],其中确定图像配准变换在应用于图像内与人造界标相对应的点时,大幅优化了该组人造界标与该靶界标集合的对准。
在某些实施例中,该靶界标集合是对称的[例如,该靶界标集合包括与受试者的一个或多个右肋相关联的多个右侧靶界标,并且对于每个右侧靶界标,匹配的左侧靶界标与匹配的左肋相关联,其中对于每个右侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,右侧靶界标的位置映射到匹配的左侧靶界标的位置,并且对于每个左侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,左侧靶界标的位置映射到匹配的右侧靶界标的位置;例如,该靶界标集合包括多个胸骨靶界标,其中每个胸骨靶界标的位置在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下基本上不变]。
在某些实施例中,该方法包括由处理器使用图像内的人造界标集合来确定该靶界标集合。
在某些实施例中,该靶界标集合是预定的靶界标集合(例如,从与所接收的图像不同的受试者的一个或多个3-D图像确定的;例如,从包括不同受试者的一个或多个3-D图像的多个3-D图像确定的)。
在某些实施例中,所接收的3-D图像包括对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,并且该方法还包括由处理器将图像配准变换应用于所述图像的对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,从而配准软组织区域(例如,校正软组织区域中的失真和/或共同配准软组织区域与受试者的一个或多个不同的3-D图像)。
在某些实施例中,接收到的包括多个肋骨和脊柱的图形表示的受试者的3-D图像对应于经由第一模态(例如,显微CT)记录的第一图像,并且该方法包括:由处理器经由第二模态(例如,不同于第一模态;例如,PET;例如,光学成像模态(例如,FMT))记录的第二图像;由处理器基于图像内的该人造对象集合确定第一图像配准变换;并且由处理器基于第一图像配准变换确定第二图像配准变换;并且由处理器将第二图像配准变换应用于第二图像的区域。
在某些实施例中,第二图像与第一图像基本上同时记录,受试者处于基本上相似的姿势和/或位置(例如,受试者在记录第一和第二图像期间处于固定的姿势和/或位置;例如,第一和第二图像是使用多模态成像系统记录的)。
在某些实施例中,第二图像配准变换与第一图像配准变换相同。
在某些实施例中,经由已知函数关系(例如,基于第一和第二成像模态之间的已知空间关系)将第一图像的多个点的坐标与第二图像的多个点的坐标关联起来。
另一方面,本发明涉及用于配准受试者的一个或多个3-D图像的方法,该方法包括:(a)由计算设备的处理器接收受试者的3-D图像(例如,断层图像,例如通过CT、显微CT、SPECT、x射线、MR、超声和/或这些中的任何一种获得的图像),其中3-D图像包括一个或多个目标骨骼(例如,受试者的中轴骨骼;例如,多个肋骨和/或脊柱;例如,胸骨)的图形表示;(b)由处理器在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割);例如,通过用户交互]一个或多个目标骨骼(例如,多个肋骨;例如,胸骨)和参考对象(例如,脊柱;例如,胸骨下端);(c)由处理器自动生成一个或多个种子人造对象,每个种子人造对象处于距参考对象的第一距离间隔内(例如,(i)对于种子人造对象的每个点,从该点到参考对象表面的最短距离在第一距离间隔内;例如(ii)对于种子人造对象的每个点,从该点到参考对象中线的最短距离在第一距离间隔内)并且与图形表示中的目标肋骨区域相对应;(d)对于每个自动生成的种子人造对象,由处理器自动生成多个相关的后续人造对象,从而在图像中创建人造对象集合(例如,包括种子和后续肋骨人造对象的集合);(e)由处理器使用图像内的人造对象集合(例如,使用人造界标集合,每个界标都是基于其在图像内的相应人造对象确定的,例如其中该人造界标集合中的每个人造界标是按该人造对象集合中的每个人造对象的质心进行计算的)自动执行受试者的一个或多个图像的配准。
在某些实施例中,自动生成一个或多个种子人造对象的步骤包括:确定包括三个维度上的每个点处的强度值(例如数值)的距离图,距离图的每个强度值对应于从3-D空间中的给定点到参考对象的距离(例如(i)从给定点到所鉴定的参考对象的表面的最短距离;例如(ii)从给定点到所鉴定的参考对象的中线的最短距离);由处理器根据距离图生成距离间隔掩模(例如,所述距离间隔掩模是二进制掩模,其中与参考对象的距离在一定距离间隔(例如,第一距离间隔)范围内的点分配第一值(例如,数值1,例如布尔真),为其他点分配第二值(例如,数值0,例如布尔假));并由处理器在距离间隔掩模与对应于所鉴定的一个或多个目标骨骼的掩模之间应用“与”运算(例如,逐点“与”运算),从而鉴定出所鉴定的目标骨骼距参考对象处于第一距离间隔内的多个区域。
在某些实施例中,对于每个自动生成的种子人造对象,所述多个相关联的后续人造对象包括人造对象的等距链。
在某些实施例中,每个人造对象与图形表示内所鉴定的其他骨骼(例如,胸骨)距预定阈值距离(例如,距表面的距离;例如,距中线的距离)。
在某些实施例中,所述方法包括由处理器鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二目标骨骼之间的距离低于预定阈值距离的区域(例如,通过将一个或多个形态学运算(例如,包括形态学闭合运算)和一个或多个逻辑运算应用于与所鉴定的目标骨骼相对应的掩模来自动鉴定图像的一个或多个危险区域),并且其中所述方法包括确保自动生成的每个人造对象距图像内的任何已鉴定的危险区域都足够远(例如,与鉴定的最近危险区域至少相距预定的第三阈值距离,例如,对于每个人造对象的每个点,从该点到所鉴定的危险区域的最短距离至少为第三阈值距离)。
在某些实施例中,由处理器自动生成与相应种子人造对象相关联的所述多个后续人造对象包括:通过以所述种子人造对象开始沿着目标骨骼并且以分段方式生成人造对象链,生成新的后续人造对象,每个新生成的人造对象沿着所述目标骨骼继续向外(例如,与先前生成的肋骨人造对象相距预定距离),远离所述已鉴定的参考对象。
在某些实施例中,生成与相应种子人造对象相关联的人造对象链包括,对于人造对象链中至少一个新生成的人造对象:确定新生成的人造对象是否在距图形表示中所鉴定的其他骨骼(例如,胸骨)的预定阈值距离范围内;并响应于确定新生成的人造对象在距图像中所鉴定的其他骨骼(例如,胸骨)的预定阈值距离范围内,终止生成与相应种子人造对象相关联的后续人造对象。
在某些实施例中,该方法包括由处理器鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二目标骨骼之间的距离低于预定阈值距离的区域,并且生成与相应种子人造对象相关联的人造对象链包括,对于人造对象链中的至少一个新生成的人造对象:确定新生成的人造对象是否在距图像中所鉴定的危险区域的预定阈值距离范围内;并响应于确定新生成的人造对象在距图像中所鉴定的危险区域的预定阈值距离范围内,终止生成与相应种子人造对象相关联的后续人造对象。
在某些实施例中,确认图像内的人造对象集合中的每个人造对象(例如,每个肋骨人造对象和/或每个胸骨人造对象)至少具有预定的阈值体积。
在某些实施例中,自动生成一个或多个种子人造对象包括:由处理器生成对应于图形表示中一个或多个目标骨骼距参考对象处于第一距离间隔内的多个区域的预期种子人造对象集合;由处理器将体积滤波器应用于该预期种子人造对象的集合,其中该体积滤波器的应用从该集合中消除了由处理器确定代表低于预定阈值体积的那些人造对象;在应用该体积滤波器之后,由处理器从预期种子人造对象集合中选择种子人造对象。
在某些实施例中,该方法包括:由处理器接收受试者的第一图像和受试者的第二图像;由处理器鉴定人造图像的多个交叉图像对,人造图像的每个交叉图像对包括:第一图像的第一人造对象集合的第一人造对象和第二图像的第二人造对象集合的相应第二人造对象;对于人造对象的每个交叉图像对,由处理器确定第一人造对象的体积与第二人造对象的体积之间的差异;并由处理器从每个相应图像的相应人造对象集合中消除交叉图像对的人造对象,因为确定的体积差高于预定阈值差。
在某些实施例中,该方法包括:由处理器基于图像内的人造对象集合,确定图像配准变换[例如,线性变换(例如,刚性变换(例如,平移,例如旋转)、仿射变换,例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合];并由处理器将图像配准变换应用于3-D图像的区域,从而配准3-D图像(例如,校正图像中的失真和/或将3-D图像与受试者的一个或多个不同的3-D图像共同配准)。
在某些实施例中,图像配准变换引起3-D图像的对称化,从而校正图像中的失真。
在某些实施例中,接收到的图像对应于第一图像,并且图像配准变换将受试者的第一图像与第二图像对准,从而共同配准第一图像与第二图像。
在某些实施例中,确定图像配准变换包括:由处理器从图像内的人造对象集合中确定图像内的人造界标集合,每个界标对应于由相应的人造对象确定的点;并且由处理器使用图像内的人造界标集合和靶界标集合确定图像配准变换(例如,线性变换(例如,刚性变换(例如,平移,例如旋转);仿射变换,例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合],其中确定图像配准变换在应用于图像内与人造界标相对应的点时,大幅优化了该人造界标集合与该靶界标集合的对准。
在某些实施例中,该靶界标集合是对称的[例如,该靶界标集合包括与受试者右侧的一个或多个目标骨骼相关联的多个右侧靶界标,并且对于每个右侧靶界标,匹配的左侧靶界标与受试者左侧匹配的目标骨骼相关联,其中对于每个右侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,右侧靶界标的位置映射到匹配的左侧靶界标的位置,并且对于每个左侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)]下,左侧靶界标的位置映射到匹配的右侧靶界标的位置。
在某些实施例中,该方法包括由处理器使用图像内的人造界标集合来确定该靶界标集合。
在某些实施例中,该靶界标集合是预定的靶界标集合(例如,从与所接收的图像不同的受试者的一个或多个3-D图像确定的;例如,从包括不同受试者的一个或多个3-D图像的多个3-D图像确定的)。
在某些实施例中,所接收的3-D图像包括对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,并且该方法还包括由处理器将图像配准变换应用于所述图像的对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,从而配准软组织区域(例如,校正软组织区域中的失真和/或共同配准软组织区域与受试者的一个或多个不同的3-D图像)。
在某些实施例中,接收到的受试者的3-D图像对应于经由第一模态(例如,显微CT)记录的第一图像,并且该方法包括:由处理器经由第二模态(例如,不同于第一模态;例如,PET;例如,光学成像模态(例如,FMT))记录的第二图像;由处理器基于图像内的该人造对象集合确定第一图像配准变换;并且由处理器基于第一图像配准变换确定第二图像配准变换;并且由处理器将第二图像配准变换应用于第二图像的区域。
在某些实施例中,第二图像与第一图像基本上同时记录,受试者处于基本上相似的姿势和/或位置(例如,受试者在记录第一和第二图像期间处于固定的姿势和/或位置;例如,第一和第二图像是使用多模态成像系统记录的)。
在某些实施例中,第二图像配准变换与第一图像配准变换相同。
在某些实施例中,经由已知函数关系(例如,基于第一和第二成像模态之间的已知空间关系)将第一图像的多个点的坐标与第二图像的多个点的坐标关联起来。
在某些实施例中,3-D图像包括多个肋骨和脊柱的图形表示,所鉴定的一个或多个目标骨骼包括多个肋骨,并且所鉴定的参考对象是受试者的脊柱。
在某些实施例中,所述多个肋骨包括一对或多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),多个肋骨人造对象的一部分中的每个肋骨人造对象都属于多对肋骨人造对象之一,每一对均包括与一对相对的肋骨中的第一肋骨(例如右肋骨)相关联的第一肋骨人造对象和与该对相对的肋骨中的第二肋骨(例如左肋骨)相关联的第二肋骨人造对象,并且对于每对肋骨人造对象而言,(i)该对的第一对象所表示的体积与该对的第二对象所表示的体积之间的差异低于预定阈值体积差,和/或(ii)该对的第一对象的高度[例如,z方向上对象的厚度;例如沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]与该对的第二对象的高度[例如,z方向上对象的厚度;例如沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]之间的差异低于预定阈值高度差。
在某些实施例中,图形表示中的多个肋骨包括一对或多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),并自动生成多个种子肋骨人造对象包括:由处理器鉴定对应于所鉴定的肋骨距脊柱处于一定距离间隔范围内的多个区域的预期种子肋骨人造对象集合;由处理器自动鉴定一对或多对预期种子肋骨人造对象,每一对包括该对肋骨中的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象;由处理器将成对比较滤波器应用于该预期种子肋骨人造对象集合,其中应用成对比较滤波器从该集合中消除了成对的人造对象,因为(i)由该对的第一对象所表示的体积与该对的第二对象所表示的体积的差异高于预定阈值体积差,和/或(ii)该对的第一对象的高度[例如,在z方向上的对象厚度;例如,沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]与该对的第二对象的高度[例如,在z方向上的对象厚度;例如,沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]之间的差异高于预定阈值高度差;并且在应用该成对比较滤波器之后,由处理器从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,3-D图像包括所述受试者胸骨和胸骨下端的图形表示。
在某些实施例中,在图形表示中所述一个或多个目标骨骼包括胸骨并且所述参考对象包括胸骨下端。
另一方面,本发明涉及用于配准受试者的一个或多个3-D图像的系统,该系统包括:处理器;和有指令存储在其上的存储器,其中所述指令在由处理器执行时,使处理器:(a)接收受试者的3-D图像(例如,断层图像,例如通过CT、显微CT、SPECT、x射线、MR、超声和/或这些中的任何一种获得的图像),其中3-D图像包括肋骨和脊柱的图形表示;(b)在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割);(例如,通过用户交互),(i)脊柱和(ii)胸腔骨,包括肋骨[例如,通过确定骨掩模,然后将鉴定出的骨组织分成对应于鉴定出的脊柱的第一部分和对应于鉴定出的肋骨的第二部分[{例如,通过确定骨掩模,然后将鉴定出的骨组织分成对应于鉴定出的脊柱的第一部分和对应于鉴定出的肋骨的第二部分(例如和任选地,对应于鉴定出的胸骨的第三部分)}{例如,通过确定骨掩模,然后将鉴定出的骨组织分离成对应于鉴定出的脊柱的第一部分和对应于鉴定出的胸腔骨(例如,一起包括肋骨与胸骨)的第二部分),任选地随后将鉴定出的胸腔骨分成鉴定出的胸骨和对应于其余骨骼(即肋骨)的一部分}];(c)自动生成多个种子肋骨人造对象,每个种子肋骨人造对象在图形表示中处于距脊柱的第一距离间隔内(例如,(i)对于种子肋骨人造对象的每个点,从该点到所鉴定的脊柱表面的最短距离在第一距离间隔内;例如(ii)对于种子肋骨人造对象的每个点,从该点到所鉴定的脊柱中线的最短距离在第一距离间隔内)并且与图形表示中肋骨的区域相对应(例如,其中为每个种子肋骨人造对象分配左右索引和肋骨数量索引);(d)对于每个自动生成的种子肋骨人造对象,自动生成多个相关的后续肋骨人造对象,从而在图像中创建人造对象集合(例如,包括种子和后续肋骨人造对象的集合);(e)使用图像内的人造对象集合(例如,使用人造界标集合,每个界标都是基于其在图像内的相应人造对象确定的,例如其中该人造界标集合中的每个人造界标是按该人造对象集合中的每个人造对象的质心进行计算的)自动执行受试者的一个或多个图像的配准。
在某些实施例中,鉴定脊柱和肋骨包括确定一个或多个骨掩模的集合以鉴定图形表示中的特定骨骼。例如,确定骨掩模的集合可以分多个步骤进行-例如,第一步是鉴定图形表示中的所有骨骼,第二步是鉴定脊柱,第三步是鉴定(未分化的)包含肋骨的胸腔骨。在某些实施例中,所鉴定的胸腔骨包括肋骨以及胸骨。在某些实施例中,执行第四步,将所鉴定的胸腔骨分离成(i)所鉴定的胸骨和(ii)与所鉴定的肋骨相对应的其余骨骼。在某些实施例中,没有必要单独鉴定胸骨和肋骨,并且所鉴定的胸腔骨对应于肋骨与胸骨的未分化集合。在某些实施例中,单独鉴定胸骨和肋骨,并且对鉴定出的肋骨和/或与鉴定出的肋骨对应的掩模进行正如对鉴定出的胸腔骨和/或与鉴定出的胸腔骨对应的掩模所进行的本文所述的操作。在某些实施例中,没有必要单独鉴定单根肋骨(尽管这在其他实施例中可以进行),鉴定出未分化的肋骨集合。
在某些实施例中,所述指令使处理器通过以下方式自动生成多个种子肋骨人造对象:确定包括三个维度上的每个点处的强度值(例如数值,非负数值)的脊柱距离图,脊柱距离图的每个强度值对应于从3-D空间中的给定点到图形表示中所鉴定的脊柱的距离(例如(i)从给定点到所鉴定的脊柱的最短距离;例如(ii)从给定点到所鉴定的脊柱的中心线的最短距离);根据脊柱距离图生成脊柱距离间隔掩模,所述脊柱距离间隔掩模对应于距鉴定出的脊柱处于第一距离间隔内的图像区域[例如,所述距离间隔掩模是二进制掩模,其中为与鉴定出的脊柱的距离在第一距离间隔(例如,第一距离间隔)范围内的点分配第一值(例如,数值1;例如布尔真),为其他点分配第二值(例如,数值0;例如布尔假));并且在脊柱距离间隔掩模与对应于所鉴定的胸腔骨(例如,所鉴定的肋骨)的掩模之间应用“与”运算(例如,逐点“与”运算),从而鉴定出距已鉴定的胸腔骨与所鉴定的脊柱处于第一距离范围内的多个区域。
在某些实施例中,在步骤(c),所述指令使处理器,对于多个种子肋骨人造对象中的每一个,将种子肋骨人造对象关联(i)左右索引(例如,基于从种子肋骨人造对象的一个或多个点确定的x坐标)和(ii)肋骨数量索引(例如,基于从种子肋骨人造对象的一个或多个点确定的z坐标)。
在某些实施例中,将种子肋骨人造对象与左右索引相关联包括作为预备步骤应用初步旋转和平移变换;随后确定左右索引(例如,基于从种子肋骨人造对象的一个或多个点确定的x坐标)。在某些实施例中,使用图形表示中所鉴定的脊柱的主轴和/或所鉴定的胸骨的主轴来确定初步旋转和平移变换。
在某些实施例中,对于每个自动生成的种子人造对象,所述多个相关联的后续肋骨人造对象包括肋骨人造对象的等距链。
在某些实施例中,3-D图像包括肋骨、脊柱和胸骨的图形表示,并且每个肋骨人造对象在图形表示中与鉴定的胸骨至少相距预定的第一阈值距离(例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的胸骨的最短距离至少是第一阈值距离,例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的胸骨的中心线的最短距离至少是第一阈值距离)。
在某些实施例中,所述指令使处理器:自动鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二肋骨之间的距离低于预定的第二阈值距离的区域[例如,通过将一个或多个形态学运算(例如,包括形态学闭合运算)和一个或多个逻辑运算应用于与所鉴定的胸腔骨相对应的掩模来自动鉴定图像的一个或多个危险区域];并且生成每个肋骨人造对象使其距图像内的任何已鉴定的危险区域都足够远(例如,与鉴定的最近危险区域至少相距预定的第三阈值距离;例如,对于每个肋骨人造对象的每个点,从该点到所鉴定的危险区域的最短距离至少为第三阈值距离)。
在某些实施例中,所述指令使处理器通过以下方式自动生成与相应种子肋骨人造对象相关联的多个后续肋骨人造对象:通过从相应种子肋骨人造对象开始,沿着肋骨生成肋骨人造对象链,并以逐步的方式,生成新的后续肋骨人造对象,每个新生成的肋骨人造对象沿着肋骨继续向外(例如,与先前生成的肋骨人造对象相距预定距离)远离所鉴定的脊柱。
在某些实施例中,3-D图像包括肋骨、脊柱和胸骨的图形表示,并且所述指令使处理器通过以下方式生成与相应种子肋骨人造对象相关联的人造肋骨对象链:对于肋骨人造对象链中至少一个新生成的肋骨人造对象:确定新生成的肋骨人造对象是否在距图形表示中所鉴定的胸骨的预定第一阈值距离范围内;并响应于确定新生成的肋骨人造对象在距所鉴定的胸骨的预定第一阈值距离范围内,终止生成与相应种子肋骨人造对象相关联的后续人造对象。
在某些实施例中,所述指令使处理器:鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二肋骨之间的距离低于预定的第二阈值距离的区域;并且通过以下方式生成与相应种子肋骨人造对象相关联的肋骨人造对象链,对于肋骨人造对象链中的至少一个新生成的肋骨人造对象:确定新生成的肋骨人造对象是否在距图像中所鉴定的危险区域的预定第三阈值距离范围内;并响应于确定新生成的肋骨人造对象在距图像中所鉴定的危险区域的预定第三阈值距离范围内,终止生成与相应种子肋骨人造对象相关联的后续肋骨人造对象。
在某些实施例中,所述指令使处理器通过将一种或多种形态学闭运算应用于与所鉴定的胸腔骨相对应的掩模来自动鉴定所述一个或多个危险区域。
在某些实施例中,3-D图像包括受试者胸骨的至少一部分的图形表示,该部分包括胸骨的下(例如尾侧)端,并且其中所述指令使处理器通过以下方式沿着胸骨自动生成一系列人造对象:(f)在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割),例如,通过用户交互]胸骨[{例如,通过确定骨掩模,然后将鉴定出的骨组织分成脊柱、胸骨和其余骨骼(即,肋骨)}{例如,通过确定骨掩模,然后将鉴定出的骨组织分离成对应于鉴定出的脊柱的第一部分和对应于鉴定出的胸腔骨(例如,一起包括肋骨与胸骨)的第二部分),随后将鉴定出的胸腔骨分成鉴定出的胸骨和对应于其余骨骼(即肋骨)部分}]和胸骨下端(例如,通过确定对应于所鉴定的胸骨的胸骨掩模的最小z坐标);(g)自动生成种子胸骨人造对象,该种子胸骨人造对象对应于所鉴定的胸骨区域,该区域处于距胸骨下端的第二距离间隔范围之内[例如(i)对于种子胸骨人造对象的每个点,从该点到所鉴定的胸骨下端表面的最短距离在第二距离间隔范围内;例如,(ii)对于种子胸骨人造对象的每个点,从该点到与所鉴定的胸骨下端相对应的点的距离(例如欧几里得距离;例如,沿特定坐标(例如z坐标)的距离)在第二距离间隔范围内);并且(h)从种子胸骨人造对象开始,沿着所鉴定的胸骨自动生成多个相关联的胸骨人造对象,所述多个胸骨人造对象包括在图像内的人造对象集合内(例如,由此创建了还包括生成的胸骨人造对象的人造对象集合)。
在某些实施例中,所述指令使处理器通过以下方式自动生成种子胸骨人造对象:确定包括三个维度上的每个点处的强度值(例如数值)的胸骨下端距离图,脊柱距离图的每个强度值对应于从3-D空间中的给定点到图形表示中所鉴定的胸骨下端的距离[例如,(i)从给定点到所鉴定的胸骨下端的表面的最短距离;例如,(ii)从给定点到对应于所鉴定的胸骨下端的点的距离(例如欧几里得距离,例如沿特定坐标(例如z-坐标)的距离));根据胸骨下端距离图生成胸骨下端距离间隔掩模,所述胸骨下端距离间隔掩模对应于距胸骨下端处于第二距离间隔范围内的图像区域[例如,所述胸骨下端距离间隔掩模是二进制掩模,其中与胸骨下端的距离在预定距离间隔(例如,第二距离间隔)范围内的点分配第一值(例如,数值1;例如布尔真),为其他点分配第二值(例如,数值0;例如布尔假)];并且在胸骨下端距离间隔掩模与对应于所鉴定的胸骨的掩模之间应用“与”运算(例如,逐点“与”运算),从而鉴定出所鉴定的胸骨距胸骨下端处于第二距离范围内的区域。
在某些实施例中,多个人造胸骨包括沿着胸骨的人造胸骨对象等距链。
在某些实施例中,所述指令使处理器通过以下方式自动生成多个胸骨人造对象:通过从种子胸骨人造对象开始,生成胸骨人造对象链,并以逐步的方式,生成新的后续胸骨人造对象,每个新生成的胸骨人造对象向上行进(例如,与先前生成的胸骨人造对象相距预定距离),远离所鉴定的胸骨下端。
在某些实施例中,图形表示中的胸骨部分包括胸骨上端,并且所述指令使处理器:在图形表示中由处理器鉴定胸骨上端;并且通过以下方式生成胸骨人造对象链:对于至少一个新生成的胸骨人造对象:确定新生成的胸骨人造对象是否达到或处于距所鉴定的胸骨上端的预定阈值距离范围内;并且响应于确定新生成的胸骨人造对象达到或处于距所鉴定的胸骨上端的预定阈值距离范围内,终止生成后续胸骨人造对象。
在某些实施例中,确认图像内的人造对象集合中的每个自动生成的人造对象(例如,每个肋骨人造对象和/或每个胸骨人造对象)至少具有预定的阈值体积。
在某些实施例中,所述指令使处理器通过以下方式自动生成多个种子肋骨人造对象:生成对应于图形表示中肋骨距图形表示中的脊柱处于一定距离间隔范围内的多个区域的预期种子肋骨人造对象集合;将体积滤波器应用于该预期种子肋骨人造对象的集合,其中该体积滤波器的应用从该集合中消除了由处理器确定代表低于预定阈值体积的那些人造对象;并且在应用该体积滤波器之后,从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,图形表示中的肋骨包括多[例如,对应于受试者给定侧上的多个肋骨(例如,已知数量的肋骨)]对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),多个肋骨人造对象的一部分中的每个肋骨人造对象都属于多对肋骨人造对象之一,每一对均包括与一对相对的肋骨中的第一肋骨(例如右肋骨)相关联的第一肋骨人造对象(例如,基于肋骨人造对象的相关左右索引)和与该对相对的肋骨中的第二肋骨(例如左肋骨)相关联的第二肋骨人造对象(例如,基于肋骨人造对象的相关左右索引),并且对于每对肋骨人造对象而言,(i)该对的第一对象所表示的体积与该对的第二对象所表示的体积之间的差异低于预定阈值体积差,和/或(ii)该对的第一对象的高度[例如,z方向上对象的厚度;例如沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]与该对的第二对象的高度[例如,z方向上对象的厚度;例如沿着脊柱的对象的距离(例如,确定为该对象的平均z坐标)]之间的差异低于预定阈值高度差。
在某些实施例中,图形表示中的肋骨包括多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),并且所述指令使处理器通过以下方式自动生成多个种子肋骨人造对象:生成对应于图形表示中肋骨距脊柱处于第一距离间隔内的多个区域的预期种子肋骨人造对象集合;自动鉴定一对或多对预期种子肋骨人造对象,每一对包括该对肋骨中的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象(例如,基于每个种子肋骨人造对象的z坐标;例如基于每个种子肋骨人造对象的相关肋骨编号索引;例如基于每个种子肋骨人造对象的相关左右索引);将成对比较滤波器应用于该预期种子肋骨人造对象集合,其中应用成对比较滤波器从该集合中消除了成对的人造对象,因为(i)由该对的第一对象所表示的体积与该对的第二对象所表示的体积的差异高于预定阈值体积差,和/或(ii)该对的第一对象的高度与该对的第二对象的高度之间的差异高于预定阈值高度差;并且在应用该成对比较滤波器之后,从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,所述指令使处理器验证连续的种子肋骨人造对象[例如成对的种子肋骨人造对象,具有连续肋骨编号索引的一对中的第一和第二种子肋骨人造对象;例如成对的种子肋骨人造对象,就相关z坐标而言对应于最近邻居的一对中的第一和第二种子肋骨人造对象)之间的距离(例如,欧几里得距离;例如沿着特定坐标(例如,z坐标)的距离]一致(例如,对与对之间基本上相同,例如在给定的公差范围内)。
在某些实施例中,所述指令使处理器:接收受试者的第一图像和受试者的第二图像;鉴定人造图像的多个交叉图像对,人造图像的每个交叉图像对包括:第一图像的第一人造对象集合的第一人造对象和第二图像的第二人造对象集合的相应第二人造对象;对于人造对象的每个交叉图像对,确定第一人造对象的体积与第二人造对象的体积之间的差异;并且从每个相应图像的相应人造对象集合中消除交叉图像对的人造对象,因为确定的体积差高于预定阈值差。
在某些实施例中,所述指令使处理器:基于图像内的人造对象集合,确定图像配准变换[例如,线性变换(例如,刚性变换(例如,平移;例如旋转);例如,仿射变换;例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段的正则化或平滑外推;例如,例如薄板样条变换;例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合];并将图像配准变换应用于3-D图像的区域,从而配准3-D图像(例如,校正图像中的失真和/或将3-D图像与受试者的一个或多个不同的3-D图像共同配准)。
在某些实施例中,图像配准变换引起3-D图像的对称化,从而校正图像中的失真。
在某些实施例中,接收到的图像对应于第一图像,并且图像配准变换将受试者的第一图像与第二图像对准,从而共同配准第一图像与第二图像。
在某些实施例中,指令通过以下方式使处理器确定图像配准变换:从图像内的人造对象集合确定图像内的人造界标集合,每个人造界标对应于从相应的人造界确定的点;和确定图像配准变换(例如,线性变换(例如,刚性变换(例如,平移,例如旋转),仿射变换,例如,一个或多个刚性变换和/或仿射变换的任意组合));例如非线性变换(例如失真字段的正则化或平滑外推,例如薄板样条,例如包括外推运算和/或平滑运算的变换);[例如一个或多个线性变换和一个或多个非线性变换的组合]使用图像内的人造界标集合和靶界标集合,其中,将图像配准变换确定为当应用于与人造界标相对应的点时在图像中,充分优化人造界标集与靶界标集的对齐。
在某些实施例中,该靶界标集合是对称的,[例如,该靶界标集合包括与受试者的一个或多个右肋相关联的多个右侧靶界标,并且对于每个右侧靶界标,匹配的左侧靶界标与匹配的左肋相关联,其中对于每个右侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,右侧靶界标的位置映射到匹配的左侧靶界标的位置,并且对于每个左侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,左侧靶界标的位置映射到匹配的右侧靶界标的位置;例如,该靶界标集合包括多个胸骨靶界标,其中每个胸骨靶界标的位置在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下基本上不变]。
在某些实施例中,所述指令使处理器使用图像内的人造界标集合来确定该靶界标集合。
在某些实施例中,该靶界标集合是预定的靶界标集合(例如,从与所接收的图像不同的受试者的一个或多个3-D图像确定的;例如,从包括不同受试者的一个或多个3-D图像的多个3-D图像确定的)。
在某些实施例中,所接收的3-D图像包括对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,并且所述指令使处理器将图像配准变换应用于所述图像的对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,从而配准软组织区域(例如,校正软组织区域中的失真和/或共同配准软组织区域与受试者的一个或多个不同的3-D图像)。
在某些实施例中,接收到的包括肋骨和脊柱的图形表示的受试者的3-D图像对应于经由第一模态(例如,显微CT)记录的第一图像,并且所述指令使处理器:接收经由第二模态(例如,不同于第一模态;例如,PET;例如,光学成像模态(例如,FMT))记录的第二图像;基于图像内的该人造对象集合确定第一图像配准变换;并且基于第一图像配准变换确定第二图像配准变换;并且将第二图像配准变换应用于第二图像的区域。
在某些实施例中,第二图像与第一图像基本上同时记录,受试者处于基本上相似的姿势和/或位置(例如,受试者在记录第一和第二图像期间处于固定的姿势和/或位置;例如,第一和第二图像是使用多模态成像系统记录的)。
在某些实施例中,第二图像配准变换与第一图像配准变换相同。
在某些实施例中,经由已知函数关系(例如,基于第一和第二成像模态之间的已知空间关系)将第一图像的多个点的坐标与第二图像的多个点的坐标关联起来。
另一方面,本发明涉及用于配准受试者的一个或多个3-D图像的系统,该系统包括:处理器;和有指令存储在其上的存储器,其中所述指令在由处理器执行时,使处理器:(a)接收受试者的3-D图像(例如,断层图像;例如通过CT、显微CT、SPECT、x射线、MR、超声和/或这些中的任何一种获得的图像),其中3-D图像包括一个或多个目标骨骼(例如,受试者的中轴骨骼;例如,肋骨和/或脊柱;例如,胸骨)的图形表示;(b)在图形表示中鉴定[例如,图形化分离,例如自动地(例如,通过分割);例如,通过用户交互]一个或多个目标骨骼(例如,胸腔骨(例如,肋骨和胸骨);例如,肋骨;例如,胸骨)和参考对象(例如,脊柱;例如,胸骨下端);(c)自动生成一个或多个种子人造对象,每个种子人造对象处于距参考对象的第一距离间隔内(例如,(i)对于种子人造对象的每个点,从该点到参考对象表面的最短距离在第一距离间隔内;例如(ii)对于种子人造对象的每个点,从该点到参考对象中线的最短距离在第一距离间隔内)并且与图形表示中的目标肋骨区域相对应;(d)对于每个自动生成的种子人造对象,自动生成多个相关的后续人造对象,从而在图像中创建人造对象集合(例如,包括种子和后续肋骨人造对象的集合);(e)使用图像内的人造对象集合[例如,使用人造界标集合,每个界标都是基于其在图像内的相应人造对象确定的,(例如,其中该人造界标集合中的每个人造界标是按该人造对象集合中的每个人造对象的质心进行计算的)]自动执行受试者的一个或多个图像的配准。
在某些实施例中,所述指令使处理器通过以下方式自动生成一个或多个种子人造对象:确定包括三个维度上的每个点处的强度值(例如数值;例如非负数值)的距离图,距离图的每个强度值对应于从3-D空间中的给定点到参考对象的距离(例如(i)从给定点到所鉴定的参考对象的表面的最短距离;例如(ii)从给定点到所鉴定的参考对象的中线的最短距离);根据距离图生成距离间隔掩模[例如,所述距离间隔掩模是二进制掩模,其中与参考对象的距离在一定距离间隔(例如,第一距离间隔)范围内的点分配第一值(例如,数值1,例如布尔真),为其他点分配第二值(例如,数值0,例如布尔假)];并在距离间隔掩模与对应于所鉴定的一个或多个目标骨骼的掩模之间应用“与”运算(例如,逐点“与”运算),从而鉴定出所鉴定的目标骨骼距参考对象处于第一距离间隔内的多个区域。
在某些实施例中,对于每个自动生成的种子人造对象,所述多个相关联的后续人造对象包括人造对象的等距链。
在某些实施例中,每个人造对象与图形表示内所鉴定的其他骨骼(例如,胸骨)距预定阈值距离(例如,距表面的距离;例如,距中线的距离)。
在某些实施例中,所述指令使处理器:鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二目标骨骼之间的距离低于预定阈值距离的区域(例如,通过将一个或多个形态学运算(例如,包括形态学闭合运算)和一个或多个逻辑运算应用于与所鉴定的目标骨骼相对应的掩模来自动鉴定图像的一个或多个危险区域);并且自动生成每个人造对象使其距图像内的任何已鉴定的危险区域都足够远(例如,与鉴定的最近危险区域至少相距预定的第三阈值距离;例如,对于每个人造对象的每个点,从该点到所鉴定的危险区域的最短距离至少为第三阈值距离)。
在某些实施例中,所述指令使处理器通过以下方式自动生成与相应种子人造对象相关联的所述多个后续人造对象:以所述种子人造对象开始沿着目标骨骼并且以分段方式生成人造对象链,生成新的后续人造对象,每个新生成的人造对象沿着所述目标骨骼继续向外(例如,与先前生成的肋骨人造对象相距预定距离),远离所述已鉴定的参考对象。
在某些实施例中,所述指令使处理器通过以下方式生成与相应种子人造对象相关联的人造对象链:对于人造对象链中至少一个新生成的人造对象:确定新生成的人造对象是否在距图形表示中所鉴定的其他骨骼(例如,胸骨)的预定阈值距离范围内;并响应于确定新生成的人造对象在距图像中所鉴定的其他骨骼(例如,胸骨)的预定阈值距离范围内,终止生成与相应种子人造对象相关联的后续人造对象。
在某些实施例中,所述指令使处理器:鉴定图像的一个或多个危险区域,该区域对应于图形表示中第一和第二目标骨骼之间的距离低于预定阈值距离的区域,并且通过以下方式生成与相应种子人造对象相关联的人造对象链,对于人造对象链中的至少一个新生成的人造对象:确定新生成的人造对象是否在距图像中所鉴定的危险区域的预定阈值距离范围内;并响应于确定新生成的人造对象在距图像中所鉴定的危险区域的预定阈值距离范围内,终止生成与相应种子人造对象相关联的后续人造对象。
在某些实施例中,确认图像内的人造对象集合中的每个人造对象(例如,每个肋骨人造对象和/或每个胸骨人造对象)至少具有预定的阈值体积。
在某些实施例中,所述指令使处理器通过以下方式自动生成一个或多个种子人造对象:生成对应于图形表示中一个或多个目标骨骼距参考对象处于第一距离间隔内的多个区域的预期种子人造对象集合;将体积滤波器应用于该预期种子人造对象的集合,其中该体积滤波器的应用从该集合中消除了确定代表低于预定阈值体积的那些人造对象;在应用该体积滤波器之后,从预期种子人造对象集合中选择种子人造对象。
在某些实施例中,所述指令使处理器:接收受试者的第一图像和受试者的第二图像;鉴定人造图像的多个交叉图像对,人造图像的每个交叉图像对包括:第一图像的第一人造对象集合的第一人造对象和第二图像的第二人造对象集合的相应第二人造对象;对于人造对象的每个交叉图像对,确定第一人造对象的体积与第二人造对象的体积之间的差异;并且从每个相应图像的相应人造对象集合中消除交叉图像对的人造对象,因为确定的体积差高于预定阈值差。
在某些实施例中,所述指令使处理器:基于图像内的人造对象集合,确定图像配准变换[例如,线性变换(例如,刚性变换(例如,平移;例如旋转);例如,仿射变换;例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段的正则化或平滑外推;例如,例如薄板样条;例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合];并将图像配准变换应用于3-D图像的区域,从而配准3-D图像(例如,校正图像中的失真和/或将3-D图像与受试者的一个或多个不同的3-D图像共同配准)。
在某些实施例中,图像配准变换引起3-D图像的对称化,从而校正图像中的失真。
在某些实施例中,接收到的图像对应于第一图像,并且图像配准变换将受试者的第一图像与第二图像对准,从而共同配准第一图像与第二图像。
在某些实施例中,所述指令使处理器通过以下方式确定图像配准变换:从图像内的人造对象集合中确定图像内的人造界标集合,每个界标对应于由相应的人造对象确定的点;并且使用图像内的人造界标集合和靶界标集合确定图像配准变换(例如,线性变换(例如,刚性变换(例如,平移,例如旋转);例如,仿射变换,例如,一个或多个刚性变换和/或仿射变换的任何组合);例如非线性变换(例如失真字段(例如薄板样条)的正则化或平滑外推,例如包括外推运算和/或平滑运算的变换);例如,一个或多个线性变换和一个或多个非线性变换的组合],其中确定图像配准变换在应用于图像内与人造界标相对应的点时,大幅优化了该人造界标集合与该靶界标集合的对准。
在某些实施例中,该靶界标集合是对称的[例如,该靶界标集合包括与受试者右侧的一个或多个目标骨骼相关联的多个右侧靶界标,并且对于每个右侧靶界标,匹配的左侧靶界标与受试者左侧匹配的目标骨骼相关联,其中对于每个右侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)下,右侧靶界标的位置映射到匹配的左侧靶界标的位置,并且对于每个左侧靶界标,在应用于图像的镜像操作(例如,关于y-z平面的镜像化)]下,左侧靶界标的位置映射到匹配的右侧靶界标的位置。
在某些实施例中,所述指令使处理器使用图像内的人造界标集合来确定该靶界标集合。
在某些实施例中,该靶界标集合是预定的靶界标集合(例如,从与所接收的图像不同的受试者的一个或多个3-D图像确定的;例如,从包括不同受试者的一个或多个3-D图像的多个3-D图像确定的)。
在某些实施例中,所接收的3-D图像包括对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,并且所述指令使处理器将图像配准变换应用于所述图像的对应于软组织(例如,肺部、心脏等)的图形表示的一个或多个区域,从而配准软组织区域(例如,校正软组织区域中的失真和/或共同配准软组织区域与受试者的一个或多个不同的3-D图像)。
在某些实施例中,接收到的受试者的3-D图像对应于经由第一模态(例如,显微CT)记录的第一图像,并且其中所述指令使处理器:接收经由第二模态(例如,不同于第一模态;例如,PET;例如,光学成像模态(例如,FMT))记录的第二图像;基于图像内的该人造对象集合确定第一图像配准变换;并且基于第一图像配准变换确定第二图像配准变换;并且将第二图像配准变换应用于第二图像的区域。
在某些实施例中,第二图像与第一图像基本上同时记录,受试者处于基本上相似的姿势和/或位置(例如,受试者在记录第一和第二图像期间处于固定的姿势和/或位置;例如,第一和第二图像是使用多模态成像系统记录的)。
在某些实施例中,第二图像配准变换与第一图像配准变换相同。
在某些实施例中,经由已知函数关系(例如,基于第一和第二成像模态之间的已知空间关系)将第一图像的多个点的坐标与第二图像的多个点的坐标关联起来。
在某些实施例中,3-D图像包括肋骨和脊柱的图形表示,所鉴定的一个或多个目标骨骼包括肋骨,并且所鉴定的参考对象是受试者的脊柱。
在某些实施例中,肋骨的图形表示包括多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),多个肋骨人造对象的一部分中的每个肋骨人造对象都属于多对肋骨人造对象之一,每一对均包括与一对相对的肋骨中的第一肋骨(例如右肋骨)相关联的第一肋骨人造对象和与该对相对的肋骨中的第二肋骨(例如左肋骨)相关联的第二肋骨人造对象,并且对于每对肋骨人造对象而言,(i)该对的第一对象所表示的体积与该对的第二对象所表示的体积之间的差异低于预定阈值体积差,和/或(ii)该对的第一对象的高度与该对的第二对象的高度之间的差异低于预定阈值高度差。
在某些实施例中,图形表示中的肋骨包括一对或多对相对的肋骨(例如,每对相对的肋骨包括右肋骨和相应的左肋骨),并且其中所述指令使处理器通过以下方式自动生成多个种子肋骨人造对象:鉴定对应于肋骨距脊柱处于一定距离间隔范围内的多个区域的预期种子肋骨人造对象集合;自动鉴定一对或多对预期种子肋骨人造对象,每一对包括该对肋骨中的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象;将成对比较滤波器应用于该预期种子肋骨人造对象集合,其中应用成对比较滤波器从该集合中消除了成对的人造对象,因为(i)由该对的第一对象所表示的体积与该对的第二对象所表示的体积的差异高于预定阈值体积差,和/或(ii)该对的第一对象的高度与该对的第二对象的高度之间的差异高于预定阈值高度差;并且在应用该成对比较滤波器之后,从预期种子肋骨人造对象集合中选择每个种子肋骨人造对象。
在某些实施例中,3-D图像包括所述受试者胸骨和胸骨下端的图形表示。
在某些实施例中,在图形表示中所述一个或多个目标骨骼包括胸骨并且所述参考对象包括胸骨下端。
附图说明
通过参考结合附图所做的以下描述,本发明的前述和其它目的、方面、特征和优点将变得更加明显并且得到更好的理解,附图中:
图1是根据说明性实施例,包括小鼠胸腔骨的图形表示的一系列图像,每个图像示出了在不同时间点记录的小鼠的不同3-D图像内鉴定出的胸腔骨的图形表示的投影;
图2是根据说明性实施例,包括小鼠的胸腔骨的图形表示的两个图像的集合,其示出了失真校正的结果;
图3是根据说明性实施例,在不同时间记录的一系列图像,其中已对所记录的图像应用了失真校正和共同配准;
图4是根据说明性实施例的图像的集合,其示出了与旋转相对应的线性变换的应用结果和与失真字段校正相对应的非线性变换的应用结果;
图5是根据说明性实施例,示出沿着图像中表示的胸骨、左肋骨和右肋骨自动生成的一系列人造界标的图像的集合;
图6是根据说明性实施例的强度图,其示出了根据图像坐标变化,所确定的表示失真字段的x分量的失真校正函数;
图7是根据说明性实施例,示出了表示在多个人造界标的位置处失真字段的x分量的失真校正函数的测量值和外推值的图表;
图8是根据说明性实施例,示出沿着左肋骨和右肋骨生成的人造对象的图像;
图9是根据说明性实施例,使用沿着受试者肋骨的人造界标来校正单个图像中的失真或进行多个图像的失真校正和/或共同配准的过程的方框图;
图10是根据说明性实施例,使用沿着受试者骨骼的人造界标来校正单个图像中的失真或进行多个图像的失真校正和/或共同配准的过程的方框图;
图11是根据示例性实施例,示出图像中自动检测到的危险区域的图像,其中相邻的肋骨彼此靠近;
图12是根据说明性实施例,示出了在应用体积滤波器之前和之后沿着图像内的多个肋骨生成的人造对象的两个图像的集合;
图13是根据说明性实施例,在本文所述的方法和系统中使用的示例网络环境的方框图;和
图14是在本发明的说明性实施例中使用的示例计算设备和示例移动计算设备的方框图;
图15是根据说明性实施例,在不同时间记录的一系列图像,其中尚未对所记录的图像应用配准(例如,尚未应用失真校正,尚未应用共同配准);
图16是根据说明性实施例,在不同时间记录的一系列图像,其中已经将与平移操作相对应的变换应用于每个图像;
图17是根据说明性实施例,在不同时间记录的一系列图像,其中已经对每个图像应用线性变换;
图18是根据说明性实施例,在不同时间记录的一系列图像,其中已经将包括线性运算然后是非线性运算在内的变换应用于每个图像;
图19是根据说明性实施例,示出在图像的非线性配准之后受试者的骨骼和肺充气区域的图形表示的一系列图像。
当结合附图时,从下面阐述的详细描述中,本发明的特征和优点将变得更加显而易见,其中全篇相同的参考字符标识相应的元件。在附图中,相同的参考数字通常表示相同,功能相似和/或结构相似的元件。
定义
大约:如本文所用,术语“大约”或“约”当应用于一个或多个目标值时,是指与规定的参考值类似的值。在某些实施例中,除非另有说明或从上下文中可以明显看出并且除非该数字将会超过可能值的100%的情况下,术语“大约”或“约”是指落入规定参考值任一方向(大于或小于)的25%、20%、19%、18%、17%、16%、15%、14%、13%、12%、11%、10%、9%、8%、7%、6%、5%、4%、3%、2%、1%或更小范围内。
图像:如本文所用,“图像”-例如,哺乳动物的3-D图像-包括任何视觉表示,诸如照片、视频帧、流式视频以及照片、视频帧或流式视频的任何电子、数字或数学模拟。在某些实施例中,本文描述的任何装置都包括用于显示图像或处理器产生的任何其他结果的显示器。在某些实施例中,本文描述的任何方法都包括显示图像或经由该方法产生的任何其他结果的步骤。
3-D,三维:如本文所使用,关于“图像”的“3-D”或“三维”是指传达关于三维的信息。3-D图像可以呈现为三维的数据集和/或可以显示为二维表示的集合或显示为三维表示。在某些实施例中,将3-D图像表示为体素(例如,体积像素)数据。如本文所用,短语“图像的点”是指图像的体素。
各种医学成像设备和其它3-D成像设备(例如,计算机断层扫描仪(CT扫描仪)、显微CT扫描仪等)输出包括体素的3-D图像或以其他方式将其输出转换为包含用于分析的体素的3-D图像。在某些实施例中,体素对应于3-D图像(例如3-D阵列)中的唯一坐标。在某些实施例中,每个体素以填充或未填充状态(例如,二进制ON或OFF)存在。
图像区域:如本文中所用,在“图像区域”中使用的术语“区域”是指图像内点的集合。可以将图像区域鉴定为距图像的参考对象在特定距离间隔范围内的区域。在某些实施例中,参考对象是图像内特定的单个点,并且所鉴定的区域是点的集合,其中,对于该区域的每个点,从给定点到参考点的距离在特定距离间隔范围内。在某些实施例中,参考对象是一维(1-D)线条,并且所鉴定的区域是点的集合,其中对于该区域的每个点,从给定点到1-D参考线条的点的最短距离在特定距离间隔范围内。在某些实施例中,参考对象是二维(2-D)表面,并且所鉴定的区域是点的集合,其中对于该区域的每个点,从给定点到2-D表面的点的最短距离在特定距离间隔范围内。在某些实施例中,参考对象是图像的三维区域,并且所鉴定的区域是点的集合,其中,对于该区域的每个点,从给定点到参考对象表面的最短距离在特定距离间隔范围内。在某些实施例中,参考对象是图像的三维区域,并且所鉴定的区域是点的集合,其中,对于该区域的每个点,从给定点到参考对象中线的最短距离在特定距离间隔范围内。
掩模:如本文所用,“掩模”是鉴定2-D或3-D区域的图形图案,并用于控制对图像或其他图形图案的部分的消除或保留。在某些实施例中,将掩模表示为二进制2-D或3-D图像,其中,为2-D图像的每个像素或3-D图像的每个体素分配一组二进制值的两个值之一(例如,可以为每个像素或体素分配1或0,例如可以为每个像素或体素分配布尔“真”或“假”值)。
配准:如本文所用,正如在一个或多个图像的配准或配准一个或多个图像中,术语“配准”是指对一个或多个图像进行变换以便产生一个或多个具有标准化视图的相应图像。在某些实施例中,图像的配准包括校正图像中的失真以便产生图像的对称形式。在某些实施例中,图像的配准包括将该图像与一个或多个其他图像共同配准。
提供:如本文所用,正如在“提供数据”中,术语“提供”是指在不同软件应用程序、模块、系统和/或数据库之间传递数据的过程。在某些实施例中,提供数据包括通过在软件应用程序之间,或在相同软件应用程序的不同模块之间传输数据的过程来执行指令。在某些实施例中,软件应用程序可以文件的形式向另一应用程序提供数据。在某些实施例中,应用程序可以向同一处理器上的另一应用程序提供数据。在某些实施例中,可以使用标准协议向不同资源上的应用程序提供数据。在某些实施例中,软件应用程序中的模块可以通过将自变量传递给另一个模块来向该模块提供数据。
具体实施方式
可以预想,所要求保护的本发明的系统、体系结构、设备、方法和过程涵盖使用来自本身所述的实施例的信息所开发的变化和改变。如本说明书所预期的,可以进行本文描述的系统、体系结构、设备、方法和过程的改变和/或修改。
在整个说明书中,在将物品、设备、系统和体系结构描述为具有、包括或包含特定组件,或在将过程和方法描述为具有、包括或包含特定的步骤时,可以预期的是,附加存在本发明的物品、设备、系统和体系结构,其基本上由所列举的组件组成,或由所列举的组件组成,并且存在根据本发明的过程和方法,其基本上由所列举的处理步骤组成,或由所列举的处理步骤组成。
应当理解,只要本发明保持可操作,步骤的顺序或进行某些动作的顺序就无关紧要。而且,可以同时进行两个或更多个步骤或动作。
本文对任何出版物,例如,在背景技术部分中的提及,不是承认该出版物就本文提出的任何权利要求而言是现有技术。背景技术部分是为了清楚起见而提出的,并不意味着就任何权利要求而言作为对现有技术的描述。
文档正如所指出的那样,通过引用并入本文。在特定术语的含义存在任何矛盾的情况下,以上面“定义”部分中提供的含义为准。
提供标题是为了方便读者-标题的存在和/或排列并非旨在限制本文所述主题的范围。
本文描述了用于经由沿着3D图像内所描绘的骨骼自动生成人造界标来对3D图像进行失真校正和/或共同配准的系统和方法。
在某些实施例中,本文描述的方法有助于比较在不同时间点记录的受试者区域的3-D图像。比较多个3-D图像(其中每个图像是在不同时间点记录的),与监测疾病诸如肺部疾病的进展有关。在某些实施例中,监测疾病进展包括基于3-D图像中记录的数据,测量随时间变化的肿瘤生长、纤维化、水肿及其组合。在某些实施例中,肺组织和周围结缔组织的形态变化作为对肺部疾病进展的生理反应而发生,并因此随时间对其进行监测。例如,除了肿瘤体积的变化外,研究人员或临床医生可能希望监测受试者的肺部相对于受试者肋骨的向下扩张–肺部形态的这种改变可以指示对受试者肺部区域的体积减小和/或功能降低的补偿。
通过比较在不同时间点记录的不同图像来以这种方式分析3D图像具有挑战性,因为对于每个图像而言,受试者(例如小鼠,例如人类受试者)常常处于不同的姿势和位置。因此,除了指示例如受试者的组织形态(例如,肺组织)变化的有意义的变异之外,在不同时间点记录的图像还包括相对于彼此的变异,其对应于每个图像记录期间由受试者的姿势和位置差异引起的失真和位置差异。
图1示出了一系列的四个投影102、104、106、108,其示出了小鼠中轴骨骼的图形表示。每个投影都是鉴定3D图像中的中轴骨骼的3D掩模的投影。在每个投影中,每个像素的强度是沿第三维度的掩模体素的平均强度。每个投影对应于小鼠区域的不同3D图像,每个图像是在不同的时间点记录的。所显示的投影所对应的四个图像中的每个图像是在前一个图像后大约一周记录的(例如,投影102对应于第一图像;投影104对应于在第一图像后大约一周记录的第二3-D图像;投影106对应于在第二图像后大约一周记录的第三图像;投影108对应于在第三图像后大约一周记录的第四图像)。每个投影图中显示的小鼠骨骼的形状和取向的差异说明了在记录每个图像期间小鼠所处的姿势和/或位置相当随意。
转到图2,在某些实施例中,对受试者的一个或多个图像应用失真校正,从而校正在记录给定图像时受试者的姿势的差异。图2示出了掩模的两个投影的集合200,其在包括小鼠胸腔(例如,多个肋骨)以及脊柱的小鼠区域的3D图像中鉴定中轴骨骼。左侧投影210示出失真校正之前小鼠的胸腔骨,而右侧投影250示出失真校正之后相同3-D图像的小鼠胸腔骨。投影210中所示的小鼠的骨骼部分具有不对称的形状,该形状反映了记录3D图像时小鼠的特定姿势。失真校正操作在应用于3-D图像时,对图像进行变换,使得小鼠的骨骼具有对称形状,从而得到投影250所对应的经校正的3-D图像。具体而言,失真校正图像(与投影250相对应)的每个坐标通过以下描述的变换(例如,失真字段校正)与原始图像(与投影210相对应)的对应坐标相关联。因此,给定图像的失真校正包括确定适当的变换,该变换在应用于图像时会产生对称形式。
转到图3,在某些实施例中,对一系列图像(例如,每个图像已在不同的时间点记录)应用共同配准。共同配准将多个图像对准,以使相同物理位置由每个图像中的一组坐标表示。也就是说,例如,对应于受试者肺部中的特定物理位置的给定点P由每个图像中的一组坐标(x0,y0,z0)表示,而不是例如由第一图像中的第一组坐标(x1,y1,z1)和第二图像中的第二组坐标(x2,y2,z2)表示。
在全篇使用坐标值,例如x-、y-和z-坐标,但是应当理解,本文所使用的特定坐标(例如,“x,y,z”)本身没有特殊意义;但是,为了方便起见用于指图像中的特定方向和特定位置,并且不对用于本文所述的系统和方法中的用于测量图像中的距离的坐标系或方法提出任何特定要求。例如,没有必要使用笛卡尔坐标系,可以使用诸如球面或圆柱体系统的其他坐标系来描述图像中特定点的位置。
在某些实施例中,基于用于记录给定3-D图像的图像采集设备的轴来定义坐标轴。在某些实施例中,基于其相对于受试者身体的特定方向的对准来选择x-、y-和z-坐标轴。
例如,在某些实施例中,选择x-坐标作为与基本上跨越受试者身体,从受试者的左侧到受试者的右侧的方向,或反之亦然(例如,相反方向)密切对准的坐标轴。因此,在某些实施例中,x方向对应于与基本上跨越受试者身体,从受试者的左侧到受试者的右侧行进的方向,或反之亦然(例如,在相反方向上)。
例如,在某些实施例中,选择y-坐标作为与基本上从受试者的正面(例如胸腔)到受试者的背面(例如脊骨)的方向,或反之亦然(例如,相反方向)密切对准的坐标轴。因此,在某些实施例中,y方向对应于从受试者的正面(例如胸腔)到背面(例如脊骨)行进的方向,或反之亦然(例如,在相反方向上)。
例如,在某些实施例中,选择z-坐标作为与基本上从受试者的头部到尾部的方向,或反之亦然(例如,相反方向)密切对准的坐标轴。因此,在某些实施例中,z方向对应于基本上从受试者的头部到尾部行进的方向,或反之亦然(例如,在相反方向上)。
在某些实施例中,进行初步变换(例如,使用图形表示中所鉴定的脊柱的主轴和/或所鉴定的胸骨的主轴确定的初步旋转和平移变换)步骤以便将坐标轴与沿着受试者的特定方向,例如上述那些方向对准。在某些实施例中,使用本文所述的人造界标确定的变换将坐标轴与沿着受试者的特定方向,例如上述那些方向对准。
图3示出了在不同时间点收集的一系列3-D图像的横截面300,其中已经向不同时间点记录的不同3-D图像应用了失真校正和共同配准。连同xy平面上的横截面304b、306b、308b和310b一起示出了xz平面上的四个横截面(例如,xz平面上的切片)304a、306a、308a和310a。还示出了zy平面上的横截面302以供参考。横截面304a和304b分别对应于在第一时间点t1记录的图像的xz平面和xy平面。横截面306a和306b分别对应于在第二时间点t2记录的图像的xz平面和xy平面。横截面308a和308b分别对应于在第三时间点t3记录的图像的xz和xy平面。截面310a和310b分别对应于在第四时间点t4记录的图像的xz平面和xy平面。如图3所示,图像的失真校正和共同配准有助于随时间推移疾病进展(例如肿瘤生长、纤维化、水肿)的可视化。
A.通过人造界标配准图像
转到图4,在某些实施例中,通过将包括一个或多个线性和/或非线性运算的变换应用于一系列图像中的一个或多个图像来实现共同配准以及失真校正。在某些实施例中,变换对应于包括平移和旋转的线性变换。线性变换保持正如图像中所测量的对象的形状,但可针对图像相对于彼此的任意位置和旋转进行校正。在某些实施例中,其他线性变换可以包括刚性变换(例如,平移,例如旋转)、仿射变换及其任何组合。
在某些实施例中,变换对应于非线性变换,诸如失真字段、薄板样条或任何变换的正则化或平滑外推,包括外推运算和/或平滑运算。在某些实施例中,非线性变换包括失真字段校正。在某些实施例中,非线性变换校正失真(例如,由于在图像之间造成的差异)。在某些实施例中,非线性变换还提供对一系列图像的精细共同配准。
在某些实施例中,线性变换也可以用于失真校正。在某些实施例中,图像的配准包括作为预备步骤,确定和应用线性变换,这助于确定非线性变换。
图4是一组投影400,其示出了在小鼠3-D图像中鉴定的小鼠的胸腔骨的表示。该组投影400说明了根据说明性实施例,包括旋转的第一线性变换的应用,以及对应于失真字段的第二非线性变换的应用。在图4中,第一投影402示出了从最初记录的3-D图像中鉴定出的小鼠的胸腔骨。第二投影404示出了将包括旋转的线性变换应用于3-D图像的结果。因此,如第二投影404所示的受试者的胸腔相对于第一投影402旋转。最后,在第三投影406中示出了应用非线性变换进行失真校正的结果。
因此,在某些实施例中,为了配准图像以校正图像内的失真和/或将该图像与另一图像共同配准,确定对应于线性和/或非线性运算的一个或多个变换并将其应用于该图像。本文所述的系统和方法提供了根据图像内骨骼的图形表示对人造界标的确定。
在本文所述的实施例中,使用图像内人造生成的界标来实现图像的配准(例如,包括失真校正和/或共同配准)。通常,界标(也称为标记、标签或控制点)对应于图像内的特定点,这些特定点被鉴定为与成像的受试者的特定物理位置相对应。为了确定用于单个图像的失真校正以及多个图像的失真校正和/或共同配准的适当变换,可以利用界标和特定物理位置之间的对应关系。
本文所述的基于人造界标的配准方法与先前的方法不同,先前的方法通过进行使两个图像之间的交互信息最大化的互相关来实现共同配准(参见,例如,Maes等人,“Multimodality image registration by maximization of mutual information,”IEEETransactions on Medical Imaging 1997,16(2):187-198)。这种基于互相关的方法不使用任何类型的界标,并且如果图像内容的更改不存在或少量,则效果最佳。
与“天然”界标不同,“天然”界标与天然发生的已知可区分的对象(例如特定的单个肋骨、特定的关节、椎骨等)相对应,从人造对象确定人造界标(例如,可以将给定的人造界标确定为相应人造对象的质心)。人造对象对应于通过应用于图像内骨骼的图形表示的一系列形态和逻辑运算在计算机中生成的真实骨骼的一部分。值得注意的是,虽然图像内天然对象的鉴定对用于鉴定特定单个骨骼的图像处理方法(例如分割)中的错误灵敏,但是人造对象的生成对于图像分割错误和图像质量的变化具有鲁棒性。而且,由于人造对象是通过一系列的形态学和逻辑运算生成的,因此此类对象的密度可以自由变化,这对于确定图像配准变换是有利的。因此,从人造对象确定的人造界标有助于图像配准。
在某些实施例中,使用人造界标确定用于通过两阶段程序进行图像配准的变换。
在某些实施例中,第一阶段包括获得(例如,确定或接收)将与图像中的人造界标一起使用的靶界标集合,以便确定图像配准变换。每个靶界标与图像的匹配的人造界标相关联,并且包括表示匹配的人造界标的预期位置的一组靶坐标。该靶界标集合满足某些标准,使得人造界标与靶坐标的对准产生人造界标的预期行为。例如,如下所述,设置的靶界标可以是对称的(例如,在镜像操作下基本上不变),使得在人造界标与靶界标对准之后,人造界标本身是对称的。
在某些实施例中,在第二阶段,使用给定图像中的靶界标和人造界标来确定图像配准变换。具体而言,图像配准变换是在应用于给定图像中的人造界标的坐标时,将人造界标与靶界标对准的变换。在某些实施例中,为了确定图像配准变换,不必为图像内的每个人造界标获得靶界标,可以使用图像的人造界标的子集和匹配的靶界标来确定图像配准变换。
一旦确定,就可以将图像配准变换应用于图像的其他点(例如,不仅是与人造界标相对应的点),从而配准图像。根据用于确定图像配准变换的靶界标,图像配准变换可以校正给定图像中的失真(例如对称化),和/或将给定图像与一个或多个其他图像共同配准。
例如,使用对称的靶界标集合确定的图像配准变换在应用于给定图像的点时将会产生给定图像的对称形式,从而校正图像中的失真。
在某些实施例中,使用单个靶界标集合配准多个图像。将多个图像与相同靶界标集合配准将共同配准这些图像。如果靶界标的集合是对称的,则使用靶界标配准每个图像校正了每个图像中的失真(例如,从而产生每个图像的对称形式)并共同配准图像。
A.i获得靶界标
靶界标可以通过多种方法获得。例如,在某些实施例中,获得(例如,由处理器从存储器访问或检索到)预先存在的靶界标集合,并将其用于一个或多个图像的配准。
在某些实施例中,使用给定图像内的人造界标来获得靶界标集合。例如,可以使用给定图像内的人造界标来确定可用于校正一个或多个图像中的失真的对称靶界标集合。为了确定对称靶界标集合,对给定图像内的人造界标集合应用镜像操作(例如,围绕预定的特定平面(例如,yz平面)),并且比较镜像操作之前和之后人造界标的位置(例如,将原始人造界标的位置与镜像人造界标的位置进行比较)。将原始人造界标的位置与镜像人造界标的位置进行比较,用于为至少一部分人造界标中的每个人造界标确定靶坐标(例如靶界标)集合,使得靶界标集合(包括为每个人造界标确定的靶界标)对称。
例如,图5示出了小鼠胸腔区域的图像的一系列2-D投影500,其鉴定了沿着受试者(例如小鼠)的胸骨(如图502所示)、左肋(如图504所示)和右肋(如图506所示)生成的不同人造界标。在某些实施例中,将沿着左肋骨和右肋骨的人造界标的位置与沿着左肋骨和右肋骨的界标的镜像位置进行比较。在经失真校正(例如对称化)的图像中的预期行为是,对于每个肋骨上的每个人造界标而言,人造界标的位置与匹配的相对肋骨上匹配的相对肋骨伴侣界标的镜像位置大约相同。
具体而言,在图5所示的实施例中,沿着受试者的每个肋骨生成人造界标链。因此,每个肋骨人造界标对应于特定物理位置,该特定物理位置是在特定编号的肋骨(例如,第一、第二、第三肋骨等)上,在受试者的特定侧(例如右侧或左侧)上,沿着特定肋骨处于特定距离(例如,沿着肋骨向外行进,远离受试者的脊柱)。因此,可以通过在其上生成的特定肋骨的编号和侧面以及沿特定肋骨的距离的指示(例如,与该距离相对应的值;例如鉴定其在沿肋骨的链中的位置的索引值)来鉴定给定肋骨人造界标。对于给定的肋骨人造界标,与其匹配的相对肋骨伴侣是确定为沿着相同编号的肋骨具有大致相同距离但在受试者的相对侧上的人造界标。可以在生成人造界标时将其他信息(例如索引值)关联(例如分配)给人造界标,并用于促进将人造界标与相对的肋骨伴侣进行匹配的过程。
通过将肋骨人造界标与相对的肋骨伴侣界标匹配,鉴定出多对相对的肋骨人造界标,每一对均包括肋骨人造界标及其相对的肋骨伴侣界标。所鉴定的成对的相对肋骨人造界标可用于确定对称靶界标的坐标。例如,在某些实施例中,对于每个人造界标而言,将其靶界标的坐标确定为人造界标的坐标及其相对的肋骨伴侣界标的镜像坐标的算术平均值。具体而言,对于具有坐标(x1,y1,z1)的给定人造界标和具有镜像坐标(x2,y2,z2)的匹配的相对肋骨伴侣界标,确定坐标的算术平均值为((x1+x2)/2,(y1+y2)/2,(z1+z2)/2)。对于每个人造界标,以这种方式确定靶界标的坐标会生成可用于失真校正的对称靶界标的集合。在某些实施例中,在如上所述的算术平均值计算之前,将旋转和平移变换用作预备步骤。在某些实施例中,使用所鉴定的脊柱的主轴和/或所鉴定的胸骨的主轴来确定初步旋转和平移变换。在某些实施例中,不必为图像中的每个肋骨人造界标生成靶界标。具体而言,在某些实施例中,对于给定的人造界标而言,可能无法鉴定匹配的相对肋骨伴侣界标。在某些实施例中,当对于给定人造界标而言,没有鉴定出匹配的相对肋骨伴侣界标时,将该给定人造界标从人造界标集合中丢弃,不用于配准。
在某些实施例中,还为沿着胸骨的每个(或至少一部分)人造界标确定了靶界标。具体而言,期望在图像镜像化时胸骨界标保持恒定。因此,对于每个胸骨人造界标而言,按照界标坐标及其镜像坐标的算术平均值计算对应的靶界标。如上文关于肋骨人造界标所述,确定并应用初步平移和旋转操作的某些实施例中,还将初步变换应用于胸骨人造界标(例如,不仅应用于肋骨上的人造界标)。
A.ii确定图像配准变换
一旦获得靶界标集合用于一个或多个图像的配准,就使用(i)靶界标集合和(ii)一个或多个图像中的每个图像的界标(例如人造界标)为一个或多个图像中的每个图像确定图像配准变换。对于给定图像,确定图像配准变换以大幅优化图像的人造界标集合与靶界标集合的对准。
在某些实施例中,为了确定将给定图像的界标(例如,人造界标)集合与靶界标集合对准的变换,任务是鉴定应与给定界标对准的特定靶界标。如将在下文中描述的那样,可以基于与人造界标和靶界标相关联(例如分配)的索引值和/或人造界标和靶界标的坐标的比较来实现将人造界标与其适当的靶界标匹配。
一旦将界标(例如人造界标)与靶界标匹配,就确定了优化界标与靶界标的对准的变换。
例如,在某些实施例中,通过对于图像中的每个人造界标确定测得的位错来确定变换。将针对给定人造界标的测得的位错确定为表示给定界标的原始位置的坐标与相应靶界标的坐标之间的差。因此,以这种方式确定的变换采用三个分量(x,y和z分量)的失真字段的形式,每个分量都是图像坐标(x,y和z)的平滑函数。在某些实施例中,通过外推和平滑运算,由人造界标与其伴侣靶界标之间测得的位错来确定失真字段。图6示出了根据图像坐标变化的失真字段的示例x分量。
在某些实施例中,由于使用了平滑运算,在一个或多个特定人造界标的位置处的失真字段的值不同于为每个特定界标确定的测得位错。图7是对于图像的每个人造界标示出了x坐标中测得的位错以及在界标位置处确定的失真字段的x分量的图表。在某些实施例中,使用外推和测得的位错之间的差估计共同配准的精度(下限)。
在某些实施例中,一旦确定,就可以将图像配准变换应用于图像区域中的点(例如,不仅是与人造界标相对应的点),从而产生已校正失真和/或与其他图像共同配准的变换图像(例如,对称图像)。因此,虽然通过骨骼界标确定了变换,但是它在包含软组织表示的图像区域上提供了失真校正和/或共同配准,从而提供了对例如受试者肺部和其他软组织的无失真、对称图像的创建。以这种方式校正失真和/或共同配准图像提供了可以容易地进行分析,解释和/或以直接方式与其它图像(例如先前所记录的图像,例如先前所记录的类似地校正失真的图像,例如共同配准的图像)进行比较,而无需考虑受试者的姿势和/或位置变化的对称、标准化图像。
在某些实施例中,在经由第一成像模态(例如,显微CT)记录的第一图像中,通过人造骨骼界标确定的变换用于在使用不同模态(例如,光学成像模态(例如,FMT),例如PET)记录的第二图像中进行失真校正。在某些实施例中,经由多模式成像系统(例如,结合显微CT和PET成像系统的多模式成像系统,例如结合显微CT和FMT成像的多模式成像系统)基本上同时记录第一和第二图像,受试者处于基本上相同的姿势和位置。在某些实施例中,将由第一图像中的人造骨骼界标确定的变换应用于第二图像。在某些实施例中,在第一图像和第二图像之间存在已知的空间关系(例如,由于用于记录第一和第二图像的检测器和/或源的已知不同配置引起的),并且根据通过第一图像中的人造界标确定的变换来确定修改的第二变换。然后将第二变换应用于第二图像以便配准第二图像(例如,校正第二图像中的失真和/或将第二图像与经由第二成像模态记录的另一图像共同配准)。
B.人造界标的自动生成
B.i沿肋骨和胸骨的人造界标
在某些实施例中,本文所述的系统和方法提供了用于失真校正和/或共同配准的人造界标以上述方式的自动生成。经由本文所述的方法生成的人造界标对于自动分割中的错误具有鲁棒性,以用于鉴定图像内的特定骨骼,并且可以经由离群值滤波方法来完善。
在某些实施例中,基于图像内生成的人造对象集合来确定给定图像内的人造界标集合。在某些实施例中,受试者的图像包括受试者的多个肋骨,并且沿着多个肋骨的每个肋骨生成人造对象。
图9是示出用于在受试者区域的3D图像中沿着肋骨生成人造界标以对多个图像进行失真校正和/或共同配准的示例过程900的方框图。在某些实施例中,过程900以接收受试者区域的3-D图像(910)开始,其中所接收的3-D图像包括多个肋骨(例如,受试者胸腔的每个肋骨,例如受试者肋骨的一部分)以及受试者脊柱的至少一部分的图形表示。在接收到3-D图像之后,在下一步骤920中,鉴定图像内的肋骨和脊柱(920)。可以以全自动方式(例如,通过分割)来鉴定骨骼,或者在某些实施例中,骨骼的鉴定可以包括用户交互。例如,在某些实施例中,经由局部阈值法自动鉴定图像内的骨骼,此后自动鉴定胸腔(参见,例如Ollikainen和Kask,“Method and system for automated detection of tissueinterior to mammalian ribcage from an in vivo image,”美国专利号9,192,348),然后鉴定脊柱。在某些实施例中,3-D图像还包括也被鉴定的胸骨。
在3-D图像中鉴定出受试者的肋骨和脊柱之后,在过程900中的另一个步骤930中,生成了多个种子肋骨人造对象,每个种子肋骨人造对象处于距图形表示中脊柱的第一距离间隔内并且对应于图形表示中的肋骨区域。
在某些实施例中,通过确定包括三个维度上多个点中的每个点处的强度值(例如数值)的脊柱距离图来生成种子肋骨人造对象,所述脊柱距离图的每个强度值对应于从3-D空间中的给定点到图像中检测到的脊柱的最近点的距离。根据脊柱距离图生成脊柱距离间隔掩模以鉴定图像内到脊柱的距离处于第一距离间隔内的点(例如距离间隔掩模是二进制掩模,其中,为与脊柱的距离处于第一距离间隔内的点分配第一值(例如,数字1,例如布尔真),而为其他点分配第二值(例如数字0,例如布尔假))。在生成脊柱距离间隔掩模之后,在脊柱距离间隔掩模和与所鉴定的肋骨相对应的掩模之间应用逻辑“与”运算,从而鉴定出所鉴定的第一肋骨中与脊柱相距第一距离间隔的多个区域。
图8是根据示例性实施例,示出沿左右肋骨以上述方式生成的人造对象的图像。该图像示出了沿着受试者的左肋骨生成的十三个种子肋骨人造对象(840a、840b、840c、840d、840e、840f、840g、840h、840i、840j、840k、840l、840m;总称为840)和沿着受试者的右肋骨生成的种子肋骨人造对象(820a、820b、820c、820d、820e、820f、820g、820h、820i、820j、820k、820l、820m;总称为820)。
在某些实施例中,为了生成种子肋骨人造对象,不需要单独地鉴定单个肋骨。相反,在某些实施例中,确定对应于胸腔附近的多个骨骼的骨骼掩模,从中鉴定并分离出脊柱和任选胸骨(例如,导致确定了骨骼掩模和脊柱掩模)。所鉴定的其余骨骼主要对应于肋骨,但是无需区分每个单个肋骨。令人惊讶的是,生成种子肋骨对象比分离和鉴定单个肋骨容易。
在某些实施例中,在生成种子肋骨人造对象(930)之后,过程900继续沿着图像中的肋骨生成后续肋骨人造对象(940)。具体而言,对于每个自动生成的种子肋骨人造对象,生成多个相关的后续肋骨人造对象。在某些实施例中,每个种子肋骨人造对象和多个后续肋骨人造对象沿着每个肋骨形成肋骨人造对象链(例如,包括种子肋骨人造对象以及后续生成的肋骨人造对象的肋骨人造对象链)。
在某些实施例中对于给定种子肋骨人造对象,以逐步方式生成肋骨人造对象链。具体而言,从种子肋骨人造对象开始,在远离所鉴定的脊柱行进的方向上,在远离种子肋骨人造对象的预定距离(例如,沿着与所鉴定的肋骨相对应的掩模的欧几里德距离,例如测地线距离)生成第一后续肋骨人造对象。然后在远离所鉴定的脊柱行进的方向上,在远离第一后续肋骨人造对象的预定距离(例如,沿着与所鉴定的肋骨相对应的掩模的欧几里德距离,例如测地线距离)生成第一后续肋骨人造对象。以这种方式,逐步生成新的肋骨人造对象,每个新生成的肋骨人造对象远离所鉴定的脊柱向外行进。可以使用类似于用于生成种子肋骨人造对象的形态和逻辑运算(例如,确定距离图,阈值运算,膨胀运算,逻辑运算(例如与、非)及其组合)由每个种子肋骨人造对象生成后续肋骨人造对象。
在某些实施例中,与给定种子肋骨人造对象相关联的每个肋骨人造对象间隔(例如,沿着给定的肋骨)的距离全部相同,使得形成与给定种子肋骨人造对象相关联的人造对象等距链(例如沿着给定的肋骨)。
在某些实施例中,以这种方式生成新的后续肋骨人造对象的过程继续进行,直到确定新生成的肋骨人造对象与图像中鉴定出的胸骨在预定阈值距离范围内。
在某些实施例中,采用过程900的附加步骤以确保,当生成与给定种子肋骨人造对象相关联的后续肋骨人造对象时,不会意外地沿不同的肋骨(例如对应于种子肋骨人造对象并且在附近肋骨上的肋骨)生成肋骨人造对象。例如,如果在图像的某些区域中一个或多个不同的肋骨彼此非常靠近,则可能会发生这种情况。为了解决这个问题,在某些实施例中,过程900包括以下步骤:利用图像自动鉴定一个或多个危险区域,所述危险区域对应于图形表示中第一和第二肋骨之间的距离小于预定阈值距离的区域。在某些实施例中,可以例如通过使用应用于鉴定图形表示中的多个肋骨的骨骼掩模的形态学闭合运算来鉴定此类危险区域而无需单独鉴定单个肋骨(例如,区分不同的肋骨)。在图11中示出了示例图像1100,其示出了几个鉴定出的危险区域1110a、1110b、1110c和1110d。
每次沿肋骨生成一个新的与给定种子肋骨人造对象相关联的后续肋骨人造对象,该过程确定新生成的人造对象是否是与一个或多个先前鉴定的危险区域处于预定阈值距离范围内。如果该过程确定新生成的肋骨人造对象与先前鉴定的危险区域处于预定阈值距离范围内,则终止生成与给定种子肋骨人造对象相关联的后续肋骨人造对象。
在某些实施例中,除了沿着图像中的肋骨生成人造对象之外,还沿着图像中的图形表示内鉴定出的受试者的胸骨自动生成人造对象。
具体而言,在某些实施例中,图形表示包括受试者胸骨的至少一部分,该部分包括胸骨的下(例如尾侧)端部。为了生成胸骨人造对象,在图形表示中鉴定出胸骨。还可以在图形表示中鉴定出胸骨的下端。接着,自动生成种子胸骨人造对象,该种子胸骨人造对象对应于与所鉴定的胸骨下端处于第二距离间隔范围内的所鉴定的胸骨的区域。
在某些实施例中,以与用于生成肋骨种子人造对象的方法相似的方式,通过一组形态学和逻辑运算来生成种子胸骨人造对象。具体而言,在某些实施例中,将图形表示中胸骨的下端鉴定为与图形表示中所鉴定的胸骨的最小z坐标相对应的点。然后,通过形态学和逻辑运算(例如确定胸骨距离间隔掩模,然后进行“与”运算)来生成胸骨种子人造对象,该形态学和逻辑运算鉴定出所鉴定的胸骨的区域,该区域与对应于所鉴定的胸骨下端的点处于预定最大距离范围内(例如,对于种子胸骨人造对象的每个点,从该点到对应于所鉴定的胸骨下端的点的距离(例如,欧几里得距离,例如沿着特定坐标(例如z坐标)的距离)处于第二距离间隔范围内)。
在某些实施例中,从种子胸骨人造对象开始生成与种子胸骨人造对象相关联的后续胸骨人造对象链,并以逐步的方式,生成新的后续胸骨人造对象,每个新生成的胸骨人造对象向上行进(例如,与先前生成的胸骨人造对象相距预定距离),远离胸骨下端。
在某些实施例中,生成后续胸骨人造对象,直到新生成的胸骨人造对象跨过图像边界或到达所鉴定的胸骨的另一端,此时终止生成后续胸骨人造对象。在某些实施例中,指定了预定数量的胸骨人造对象,并且一旦生成了预定数量的胸骨人造对象,则终止生成后续胸骨人造对象。
因此,在某些实施例中,可以自动方式生成图像内的人造对象集合。在某些实施例中,给定图像内的人造对象集合包括沿着图像内肋骨的图形表示生成的多个人造对象。在某些实施例中,该集合还包括沿着图像内鉴定出的胸骨生成的多个人造对象。在某些实施例中,为了以上述方式提供多个图像的失真校正和/或共同配准,由集合中的每个人造对象确定人造界标。在某些实施例中,将每个人造界标确定为相应人造对象的质心。
在某些实施例中,一旦为给定图像确定了人造对象集合,就获得靶界标(945),并且该人造对象集合可以用于图像的失真配准(例如,失真校正和/或共同配准),如先前所述(950)。
在某些实施例中,附加信息与人造对象和/或由此确定的人造界标相关联。例如,给定种子肋骨人造对象可以与一系列指示其是对应于左侧还是右侧肋骨的索引(例如,左右索引),以及与其对应的给定肋骨的编号(例如肋骨编号索引)相关联(例如分配)。
例如,在某些实施例中,基于从种子肋骨人造对象确定的x坐标,将左右索引与种子肋骨人造对象相关联。x坐标可以是种子肋骨人造对象的点的平均x坐标。在某些实施例中,在出于将左右索引值与人造对象相关联的目的从种子肋骨人造对象确定x坐标之前,应用旋转和平移变换作为预备步骤。在某些实施例中,应用初步旋转和平移变换以确保所有左肋骨都位于图像的左侧,而所有右肋骨都位于图像的右侧。在某些实施例中,使用图形表示中所鉴定的脊柱的主轴和/或图形表示中所鉴定的胸骨的主轴来确定初步旋转和平移变换。
后续肋骨人造对象也可以与索引相关联,包括左右索引、种子索引和顺序索引。与种子肋骨人造对象一样,与给定的后续肋骨人造对象相关联的左右索引标识给定的后续肋骨人造对象是对应于左侧肋骨还是右侧肋骨。与给定的后续肋骨人造对象相关联的种子索引表示从中生成后续肋骨人造对象的种子肋骨人造对象。在某些实施例中,其中如上所述以逐步方式从种子肋骨人造对象生成后续肋骨人造对象作为有序链,序列索引指示生成后续肋骨人造对象的顺序。
为种子肋骨人造对象和后续肋骨人造对象编索引可以在生成过程中应用。在某些实施例中,在如下所述的一个或多个离群值滤波步骤之后更新人造对象的索引,以便反映与离群值相对应的人造对象的去除。
在某些实施例中,以相似的方式将从人造对象确定的人造界标与索引相关联。从相应的人造对象确定的给定人造界标可以关联(例如,分配)与从其确定人造对象的那些索引相同的索引。在某些实施例中,从人造对象确定的人造界标与表征从中确定人造界标的人造对象的附加信息相关联。例如,从相应人造对象确定的给定人造界标与对应于所确定的人造对象的体积的值相关联,从该人造对象确定了人造界标。
在某些实施例中,如上所述,与人造界标相关联的索引和附加信息用于促进界标的匹配,例如,以鉴定相对的肋骨伴侣或靶界标。
具体而言,在某些实施例中,肋骨人造界标与相对的肋骨伴侣界标匹配以产生对称的靶界标集合。可以通过首先将种子肋骨人造界标与相应的相对肋骨伴侣种子界标匹配来实现人造界标与其相应的相对肋骨伴侣界标的匹配。可以使用分配给种子肋骨人造界标的索引值(例如左右索引和肋骨编号索引)将给定的种子界标与相对肋骨上的伴侣种子界标匹配。例如,为了使第一种子人造界标与相对的肋骨伴侣匹配,鉴定具有不同的左右索引但具有相同肋骨编号索引的种子肋骨人造界标。
在某些实施例中,一旦种子肋骨人造界标与相对侧肋骨上相应的相对肋骨伴侣界标相匹配,则后续肋骨人造对象基于它们与从中生成后续肋骨人造对象的特定种子肋骨人造对象的关联(例如,基于相关联的种子索引,例如基于相关联的种子索引和相关联的左右索引),以及它们生成顺序中的次序(例如,基于相关联的顺序指数)而与相应的相对肋骨伴侣界标相匹配。
在另一个实例中,为了确定将给定图像的人造界标集合与靶界标集合对准的图像配准变换,将给定图像的每个人造界标与伴侣靶界标匹配。
具体而言,在某些实施例中,使用第一图像的人造界标来确定靶界标集合,并将其用于配准不同的第二图像。为了配准第二图像,第二图像中的至少一部分人造界标中的每一个都与其靶界标匹配。在某些实施例中,像人造界标一样,靶界标与索引值相关联,该索引值可用于促进人造界标与其伴侣靶界标之间的匹配。可以为给定靶界标分配由其确定该靶界标的人造界标的索引值。例如,当由第一图像的特定人造界标确定每个靶界标时,为其分配由其生成靶界标的特定人造界标的索引值。类似地,在某些实施例中,由特定人造界标确定的靶界标还可与附加信息相关联,该附加信息与由其确定靶界标的特定人造界标相关联。此类附加信息可以包括由其确定特定人造界标的人造对象的体积。因此,可以单独或呈组合使用:(i)索引值,(ii)附加信息,以及(iii)第二图像的人造界标和靶界标的坐标,将第二图像的人造界标与伴侣靶界标匹配。
在某些实施例中,通过首先将种子肋骨人造界标与由第一图像的种子肋骨人造界标确定的靶界标相匹配,将第二图像的人造界标与靶界标相匹配。可以使用(i)第二图像中的人造界标和靶界标的z-坐标和/或(ii)第二图像中的人造界标的索引(例如左右索引,例如,肋骨编号索引)和靶界标的索引,将第二图像中的种子肋骨人造界标与靶界标相匹配。在将种子人造界标与其靶界标相匹配之后,将后续肋骨人造界标基于它们与从中生成后续肋骨人造对象的特定种子肋骨人造界标的关联(例如,基于相关联的种子索引,例如基于相关联的种子索引和相关联的左右索引),以及它们生成顺序中的次序(例如,基于相关联的顺序指数)而与相应的靶界标相匹配。
B.ii肋骨和胸骨人造对象的离群值滤波
在某些实施例中,人造对象(例如肋骨人造对象,例如胸骨人造对象)的生成包括与滤波步骤相对应的附加处理步骤,以确保自动生成的人造对象满足不同的标准集合。
例如,在某些实施例中,应用体积滤波器以消除与确定表示低于预定阈值体积的体积的区域相对应的一个或多个人造对象。可以应用该方法以消除在人造对象生成期间的伪影,例如,如图12所示。
图12的第一图像1210显示了多个肋骨和脊柱的图形表示,以及通过例如参考图9描述的过程900生成的预期种子肋骨人造对象集合。从图像中可以明显看出,在某些实施例中,生成了一系列具有相似体积的人造对象,以及几个体积明显较小的人造对象。这些小体积的人造对象对应于伪影(例如,由于图像中的噪声而产生,例如由于分割错误而产生,例如由于存在物理的非骨骼对象(例如沙粒)而产生)。
因此,为了消除此类伪影,并确保生成适当的籽肋骨人造对象,在生成预期种子肋骨人造对象集合之后,将体积滤波器应用于该预期种子肋骨人造对象集合。体积滤波器的应用从集合中消除了那些确定表示低于预定阈值体积的体积的人造对象。在应用体积滤波器之后,从预期种子肋骨人造对象集合中选择种子肋骨人造对象。图12的第二图像1250显示了将体积滤波器应用于第一图像1210中所示的预期种子肋骨人造对象集合的结果。第二图像1250中的人造对象集合不再包括与来自第一图像1210的伪影相对应的人造对象。
在某些实施例中,应用体积滤波器以消除在生成其他人造对象(例如,任何人造对象,而不仅仅是种子肋骨人造对象)期间产生的伪影。
在某些实施例中,将附加滤波标准应用于沿肋骨生成的人造对象。
例如,在某些实施例中,已知成像受试者具有的肋骨数量。因此,在某些实施例中,确定已经生成的种子肋骨人造对象的数量,并与成像受试者具有的已知(预期)肋骨数量进行比较。例如,小鼠的每一侧都有13根肋骨-13根左肋骨和13根右肋骨-因此,共有26根肋骨。因此,对于小鼠的图像而言,预期将生成13个左侧种子肋骨人造对象和13个右侧种子肋骨人造对象。因此,通过将生成的种子肋骨人造对象的数量与受试者具有的已知的(预期的)肋骨数量进行比较,可以鉴定并消除与伪影相对应的错误生成的人造对象。
在某些实施例中,基于物理胸腔的对称性建立滤除伪影的标准,并将其应用于该肋骨人造对象集合。具体而言,在某些实施例中,为了应用利用物理胸腔的对称性的滤波方法,将肋骨人造对象分为左肋骨和右肋骨人造对象,并且分组为成对的相应左肋骨和右肋骨人造对象。可以通过与上述用于将人造界标与相对的肋骨伴侣界标匹配的过程类似的匹配过程来确定成对的人造对象,以进行失真校正。具体而言,可以使用与人造对象相关联的索引(例如左右索引,例如肋骨编号索引,例如顺序索引)来确定相对肋骨上成对的相应人造对象。在某些实施例中,与人造对象相关联的坐标(例如,每个人造对象的点的平均x-坐标;例如,每个人造对象的点的平均z-坐标)以及诸如人造对象的体积的附加信息用于促进确定相对肋骨上的成对人造对象。
因此每对肋骨人造对象都包含与一对相对的肋骨中的第一肋骨(例如右肋骨)相关联的第一肋骨人造对象和与该对相对的肋骨中的第二肋骨(例如左肋骨)相关联的第二肋骨人造对象。对于每对肋骨人造对象,给定对的第一和第二肋骨人造对象应表示相似的体积并具有相似的高度。人造对象的高度可以确定为人造对象在z方向上的厚度,或者确定为沿着脊柱的距离(例如,确定为人造对象的点的z-坐标的平均值(均值))。因此,在某些实施例中,应用了成对比较滤波器,确保对于每对肋骨人造对象,(i)所述一对中的第一对象所表示的体积与所述一对中的第二对象所表示的体积之间的差异小于预定阈值体积差,和/或(ii)所述一对中的第一对象的高度与所述一对中的第二对象的高度之间的差异小于预定阈值高度差。
在某些实施例中,使用成对比较滤波器以消除在种子肋骨人造对象生成过程中的伪影。例如,在生成预期种子肋骨人造对象集合之后(例如,通过以上参照图9描述的过程900),自动鉴定一对或多对预期的种子肋骨人造对象。每一对包括所述一对肋骨的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象(例如,第一种子肋骨人造对象沿着右肋骨而第二个种子肋骨人造对象沿着相应的左肋)。
然后将成对比较滤波器应用于所述预期种子肋骨人造对象的集合,其中所述成对比较滤波器的应用从所述集合中消除了成对的人造对象,对其而言,(i)所述一对中的第一对象所表示的体积与所述一对中的第二对象所表示的体积之间的差异大于预定阈值体积差,和/或(ii)所述一对中的第一对象的高度与所述一对中的第二对象的高度之间的差异大于预定阈值高度差。在应用成对比较滤波器之后,从预期种子肋骨人造对象集合中选择种子肋骨人造对象。
在某些实施例中,应用成对比较滤波器以消除在沿着肋骨的其他人造对象(例如,后续肋骨人造对象,而不仅仅是种子肋骨人造对象)生成期间产生的伪影。
在某些实施例中,应用另一个滤波步骤,包括验证连续的种子肋骨人造对象之间的距离是否一致(沿着每个肋骨/胸骨)。例如,如果正确生成了种子肋骨人造对象,则给定种子肋骨人造对象与下一种子肋骨人造对象之间之间(例如正下方和/或上方,在胸腔的同一侧)的距离(例如在z-方向上)大致恒定(例如变化缓慢)。例如,如果在实际肋骨外部的区域中生成了种子肋骨人造对象,则可以鉴定出相邻种子肋骨人造对象之间高于预定阈值的距离变化,并将其用于离群值滤波。
在某些实施例中,应用了基于多个图像之间的人造对象的比较的滤波方法。具体而言,在某些实施例中,将第一图像中的第一人造对象集合的人造对象与第二图像中的第二人造对象集合的人造对象进行比较。
在某些实施例中,基于多个图像之间人造对象的比较的滤波包括鉴定人造图像的多个交叉图像对,其中每个交叉图像对包括第一图像的第一人造对象集合的第一人造对象和第二图像的第二人造对象集合的相应第二人造对象。
在某些实施例中,使用与上文关于匹配第二图像中的人造界标与由不同的第一图像中的人造界标确定的靶界标相匹配所描述的方式相似的索引(例如,左右索引,例如肋骨编号索引,例如种子索引,例如顺序索引),自动地鉴定人造对象的交叉图像对。在某些实施例中,肋骨人造对象的交叉图像对的鉴定包括:首先对于第一图像的给定种子肋骨人造对象,鉴定第二图像的相应种子肋骨人造对象。在某些实施例中,使用与种子肋骨人造对象相关联的索引(例如,左右索引,例如肋骨编号索引)。在某些实施例中,可以通过匹配z坐标(例如,搜索z坐标中最接近的匹配)来确定相应的种子肋骨人造对象。在某些实施例中,在与z坐标匹配之前确定并校正了第一图像和第二图像之间坐标的未知偏移。可以通过相关技术确定坐标偏移。例如,可以使用(i)鉴定第一图像的人造对象的位置的第一点集合与(ii)鉴定第二图像的人造对象的第二点集合之间的互相关来确定第一和第二图像之间z坐标的偏移。然后,当与z坐标匹配时,可以使用确定的偏移来校正偏移。
一旦鉴定了种子肋骨人造对象的给定交叉图像对,就匹配与种子肋骨人造对象的交叉图像对中的每个种子肋骨人造对象相关联的后续肋骨人造对象(例如,使用生成后续肋骨人造对象的顺序,例如使用与每个相关的后续肋骨人造对象相关联的顺序索引)。
在某些实施例中,比较给定交叉图像对中相应的第一和第二人造对象以确定它们是否表示类似的体积。推测第一和第二人造对象表示明显不同的体积的交叉图像对与伪影相对应,因此将其消除。例如,在某些实施例中,对于人造对象的每个交叉图像对而言,确定了第一人造对象的体积和第二人造对象的体积之间的差。对于每个交叉图像对而言,将确定的体积差与阈值差(例如预定阈值差)进行比较,并从每个相应图像的相应人造对象集合中消除确定的体积差高于阈值差的交叉图像对的人造对象。
在某些实施例中,对于给定交图像对的第一和第二人造对象中的每一个而言,确定并比较关于人造对象相对于相邻人造对象的位置的信息(例如,值)。例如,对于交叉图像对的第一人造对象而言,可以确定值例如(i)与最近的相邻人造对象的距离,(ii)与第一人造对象处于预定阈值距离范围内的人造对象的平均数量等。可以为第二人造对象确定相同的值,并且将其与为第一人造对象确定的相应值进行比较。如果值(例如与某一其它人造对象的距离)之间的差高于设定的阈值,则消除交叉图像对的人造对象。
在某些实施例中,上述任一滤波方法(例如,体积滤波器、成对比较滤波器、连续对象分离滤波器、交叉图像对比较)以组合按各种顺序应用。例如,为了生成图8的图像800中所示的种子肋骨人造对象,可以应用体积滤波器、成对比较滤波器和连续物体分离滤波器。在某些实施例中,上述任一滤波方法(例如,体积滤波器、成对比较滤波器、连续对象分离滤波器、交叉图像对比较)彼此组合以及与其他滤波方法组合按各种顺序应用。
在某些实施例中,本文描述为对鉴定的体积执行的任何操作与对与该体积相关联的界标(例如,坐标)执行的操作相同。因此,还可以对与人造对象相关联的人造界标执行诸如对人造对象执行的上述离群值滤波操作的操作。
从计算速度的角度来看,对人造界标执行特定操作(例如离群值滤波)可能是有利的。具体而言,虽然在三维上用掩模表示对象,但界标对应于由坐标表示的点。在某些实施例中,每个界标与由其确定界标的人造对象相关联。在某些实施例中,附加信息与给定界标相关联。与给定界标相关联的附加信息包括下述信息,诸如从中得到信息的对象的体积,索引诸如左右索引、肋骨编号索引、顺序索引等。因此,与人造对象不同,每个人造界标与可用于对界标执行上述相同的离群值滤波步骤的信息相关联。
在某些实施例中,将每个人造界标表示为表格中的一行。该表格的列对应于每个界标的属性,例如x-坐标、y-坐标、z-坐标以及附加信息,例如由其确定界标的人造对象的体积,以及与界标相关联的各种索引。因此,与应用于图像的任何操作相比,对界标的操作(每个操作由表格中的一行表示)非常快,因为图像中的体素数量可能比界标表格中的条目数量大几个数量级。
B.iii沿任意骨骼的人造界标
在某些实施例中,沿着各种不同的骨骼(例如,不仅是受试者的肋骨和/或胸骨)生成人造对象,以进行失真校正和/或共同配准。
图10示出了示例过程1000中的一系列步骤,该示例过程用于沿着受试者区域的3-D图像中表示的一个或多个目标骨骼生成人造对象。在某些实施例中,过程1000从接收受试者区域的3-D图像(1010)开始,其中所述3-D图像包括一个或多个目标骨骼的图形表示。图像中的目标骨骼可以包括受试者的中轴骨的骨骼,例如肋骨、胸骨、脊柱,以及来自受试者骨骼的其他部分的其他类型的骨骼。
在接收到3-D图像之后,在下一步骤1020中,鉴定图像内(例如自动(例如,通过分割,例如,通过局部阈值法),例如通过用户交互)一个或多个目标骨骼。另外,还鉴定图像内的参考对象(1020)。参考对象可以是图像的单个点、1-D线条、2-D表面或图像的3-D区域。例如,在某些实施例中,在图像内鉴定特定骨骼或骨骼的一部分的中线并用作参考对象。在某些实施例中,图像内鉴定出的骨骼的2-D表面用作参考对象。
图像内鉴定出的参考对象用作沿每个目标骨骼生成种子人造对象的基础。具体而言,在某些实施例中,在步骤1030,过程1000自动生成一个或多个种子人造对象,其对应于所鉴定的位于距参考对象的特定距离间隔范围内的目标骨骼的区域。
在某些实施例中,通过首先确定包括三个维度上多个点中的每个点处的强度值(例如数值)的距离图来生成种子人造对象。每个点的每个强度值对应于从给定点到参考对象的距离。然后将距离图用于生成标识3-D空间中与参考对象处于特定距离间隔范围内的那些点的距离间隔掩模(例如距离间隔掩模是二进制掩模,其中为与参考对象的距离处于预定距离间隔范围内的点分配第一值(例如,数字1,例如布尔真),而为其他点分配第二值(例如数字0,例如布尔假))。
然后,可以使用距离间隔掩模来鉴定一个或多个目标骨骼与参考对象处于特定距离范围内的区域。在某些实施例中,距离间隔掩模与鉴定一个或多个目标骨骼的掩模组合使用。在距离间隔掩模和对应于所鉴定的一个或多个目标骨骼的掩模之间应用逻辑“与”运算(例如以逐点方式),从而自动鉴定目标骨骼中与参考对象处于一定距离间隔范围内的区域。
在某些实施例中,在生成种子人造对象(1030)之后,过程1000继续生成与每个种子人造对象相关联的后续人造对象(1040)。具体而言,从与目标骨骼的区域相对应的给定种子人造对象开始,沿着目标骨骼自动生成多个相关的后续肋骨人造对象。在某些实施例中,沿着目标骨骼生成的人造对象(例如种子人造对象和后续人造对象)沿着目标骨骼形成了人造对象链。
在某些实施例中对于给定种子人造对象,以逐步方式生成相关的后续人造对象。例如,从种子人造对象开始,沿着目标骨骼,在远离所鉴定的参考对象行进的方向上,与种子人造对象远离预定距离生成第一后续人造对象。然后沿着目标骨骼,在远离所鉴定的参考对象行进的方向上,与第一后续人造对象远离预定距离生成第二后续人造对象。以这种方式,逐步生成新的人造对象,每个新生成的人造对象远离所鉴定的参考对象沿着目标骨骼向外行进。
在某些实施例中,沿着给定的目标骨骼将每个人造对象间隔开的距离全部相同,使得沿着目标骨骼形成人造对象等距链。
在某些实施例中,使用一组形态学和逻辑运算沿着每个目标骨骼生成后续人造对象。
在某些实施例中,过程1000包括以下步骤:确保由对应于目标骨骼的区域的特定种子人造对象生成的后续人造对象是沿着该目标骨骼精确地生成的,而不是沿着图像中鉴定的其他骨骼生成的(例如,自动处理不会导致后续人造对象跳到其他骨骼上)。因此,可以继续进行生成新的后续人造对象的过程,直到确定新生成的人造对象与该图像内鉴定的其他骨骼(例如,不对应于所述一个或多个鉴定出的目标骨骼中的一个)在预定阈值距离范围内。当确定新生成的人造对象在其他骨骼的阈值距离范围内时,终止沿着特定目标骨骼生成人造对象。
在某些实施例中,采用过程1000的附加步骤以确保,当生成与给定种子人造对象相关联的后续人造对象时,不会意外地沿多个不同的目标骨骼(例如在其上生成了种子人造对象的目标骨骼,然后在附近的目标骨骼上生成了种子人造对象)生成人造对象。例如,如果在图像的某些区域中一个或多个不同的目标骨骼彼此非常靠近,则可能会发生这种情况。为了解决这个问题,在某些实施例中,过程1000包括以下步骤:利用图像自动鉴定一个或多个危险区域,所述危险区域对应于第一和第二目标骨骼之间的距离小于预定阈值距离的区域。
每次生成一个新的与给定种子人造对象相关联的后续肋骨人造对象,该过程确定新生成的人造对象是否是与一个或多个先前鉴定的危险区域处于预定阈值距离范围内。如果该过程确定新生成的人造对象与先前鉴定的危险区域处于预定阈值距离范围内,则终止生成与给定种子人造对象相关联的后续人造对象。
因此,在某些实施例中,可以自动方式生成图像内的人造对象集合。在某些实施例中,给定图像内的人造对象集合包括沿着图像内鉴定的每个目标骨骼生成的多个人造对象。
在某些实施例中,为了以上述方式提供多个图像的失真校正和/或共同配准,由集合中的每个人造对象确定人造界标。在某些实施例中,将每个人造界标确定为相应人造对象的质心。
在某些实施例中,一旦为给定图像确定了人造对象集合,就获得靶界标(1045),并且该人造对象集合可以用于图像的失真配准(例如,失真校正和/或共同配准),如先前所述(1050)。
B.iv沿着任意目标骨骼生成的人造对象的离群值滤波
在某些实施例中,类似于用于沿受试者的肋骨和/或胸骨生成人造对象的方法,沿着各个目标骨骼生成人造对象包括与滤波步骤相对应的附加处理步骤,以确保自动生成的人造对象满足不同的标准集合。
例如,可以通用方式应用体积滤波器,每次生成一个或多个人造对象(种子人造对象以及后续人造对象),以便消除与确定表示低于预定阈值体积的体积的区域相对应的一个或多个人造对象。由于图像分割的错误和/或噪声,通过应用体积滤波器鉴定和消除的过小的人造对象通常与伪影相对应。
在某些实施例中,一个或多个人造对象的生成包括生成预期人造对象集合的第一步骤。可以通过本文所述的任何方法(例如,通过所确定的掩模之间的逻辑“与”运算)来生成此类预期人造对象。在某些情况下,这个预期人造对象的集合包括极小的人造对象,这些极小的人造对象对应于由噪声和/或图像分割错误产生的伪影。为了消除此类伪影,应用体积滤波器以从集合中消除那些由处理器确定表示低于预定阈值体积的体积的人造对象。在应用体积滤波器之后,从集合中选择每个所需的人造对象(例如,每个种子人造对象,例如新生成的与给定种子人造对象相关联的后续人造对象)(从中体积滤波器消除了过小的人造对象)。
在某些实施例中,也可以应用其他利用物理直觉,诸如特定骨骼区域的对称性的滤波器。在某些实施例,应用另一滤波步骤,包括验证连续的人造对象之间的距离是否一致。
在某些实施例中,如上所述,应用了基于多个图像之间的人造对象的比较,基于比较交叉图像对的滤波方法。
在某些实施例中,滤波方法,包括但不限于上述方法(例如,体积滤波器、成对比较滤波器、连续对象分离滤波器、交叉图像对比较、基于特定骨骼区域的对称性的滤波方法)以组合按各种顺序应用。
C.实例
图15-18示出了使用本文所述的人造界标生成法进行图像配准的实例。
图15示出了在没有配准的情况下在不同时间点收集的小鼠的一系列3-D图像的横截面1500。显示了四个不同图像的横截面(平面),其中对于每个图像而言,小鼠(受试者)的位置和姿势都不同。连同xy平面上的横截面1504b、1506b、1508b和1510b一起示出了xz平面上的四个横截面(例如,xz平面上的切片)1504a、1506a、1508a和1510a。示出了zy平面上的横截面1502以供参考。横截面1504a和1504b分别对应于在第一时间点记录的第一图像的xz平面和xy平面的切片。横截面1506a和1506b分别穿过在第二时间点记录的第二图像的xz和xy平面。横截面1508a和1508b分别对应于在第三时间点记录的第三图像的xz和xy平面。截面1510a和1510b分别对应于在第四时间点记录的第四图像的xz平面和xy平面。图15中的图像对应于未应用任何失真校正或共同配准的原始图像。如图中的2-D横截面所示,图像中反映了小鼠在不同测量中的姿势和位置的差异。
图16示出了确定对应于平移操作的变换并将该变换应用于3-D图像的实例。为了确定变换,使用本文所述的方法为一系列图像中的每个图像生成人造界标。使用其中一个图像中的人造界标确定靶界标集合。确定靶界标在关于yz平面的镜像操作下是对称的。对于该系列中的每个图像,确定对应于平移操作的对应变换,以将相应图像中的人造界标集合与靶界标集合对准。
将确定的平移操作应用于每个相应的图像,并且在图16所示的横截面1600中示出结果。类似于图15,横截面1604a和1604b分别对应于与在第一时间点记录的第一测量值相对应的第一图像的xz和xy平面。横截面1606a和1606b分别对应于在第二时间点记录的第二图像的xz和xy平面。横截面1608a和1608b分别对应于在第三时间点记录的第三图像的xz和xy平面。1610a和1610b分别对应于与第四测量值相对应的第四图像的xz和xy平面。还示出了yz平面上的横截面1602。由于将确定的平移操作应用于该系列中的每个图像,每个图像的人造界标的平均坐标对于所有四个图像都相同。在需要校正以使受试者相对于图像采集仪器的轴旋转时,图17或图18的变换方法可能更好。
图17示出了一个实例,其中对于该系列四个图像中的每个图像而言,使用图像中的人造界标确定与线性变换相对应的变换,并将其应用于图像。为该系列中的每个图像生成了人造界标,并如前所述,使用该系列中的其中一个图像确定对称的靶界标。对于每个图像而言,使用相应图像中的人造界标和靶界标来确定相应的线性变换(例如,确定线性变换以大幅优化给定图像的人造界标集合与靶界标集合的对准)。
对于每个图像而言,将相应确定的线性变换应用于该图像的结果在图17中所示的一系列横截面1700中示出。类似于图15和图16,横截面1704a和1704b分别对应于在第一时间点记录的第一图像的xz平面和xy平面。横截面1706a和1706b分别对应于在第二时间点记录的第二图像的xz平面和xy平面。横截面1708a和1708b分别对应于在第三时间点记录的第三图像的xz和xy平面。横截面1710a和1710b分别对应于与第四测量值相对应的第四图像的xz和xy平面。还示出了yz平面上的横截面1702。
图18示出了一个实例,其中对于该系列四个图像中的每个图像而言,使用图像中的人造界标确定变换,包括线性变换,然后是非线性变换,并将其应用于图像。为该系列中的每个图像生成了人造界标,并如前所述,使用该系列中的其中一个图像确定对称的靶界标。对于每个图像而言,使用相应图像中的人造界标和靶界标来确定组合变换(对应线性变换,然后是非线性变换)(例如,确定变换以大幅优化给定图像的人造界标集合与靶界标集合的对准)。
对于每个图像而言,将相应确定的变换(线性变换,然后是非线性变换)应用于该图像的结果在图18所示的一系列横截面1800中示出。类似于图15-17,横截面1804a和1804b分别对应于在第一时间点记录的第一图像的xz平面和xy平面。横截面1806a和1806b分别对应于在第二时间点记录的第二图像的xz平面和xy平面。横截面1808a和1808b分别对应于在第三时间点记录的第三图像的xz和xy平面。截面1810a和1810b分别对应于在第四时间点记录的第四图像的xz平面和xy平面。还示出了yz平面上的横截面1802。
图19示出了已鉴定的胸腔骨(例如骨掩模)和已鉴定的充气肺部的一系列投影1910、1920、1930、1940,每个投影表示在不同时间记录的小鼠的不同3-D图像内鉴定出的胸腔骨和充气肺部。不同的3D图像已共同配准,因此可以容易地比较以观察受试者肺部的变化。
D.网络环境与计算系统
如图13所示,用于提供生成人造界标以进行图像失真校正和/或共同配准的人造界标的系统、方法和体系结构的网络环境1300的实施方式如本文所述。简而言之,现在参考图13,示出并且描述了示例性云计算环境1300的方框图。云计算环境1300可以包括一个或多个资源提供者1302a、1302b、1302c(统称为1302)。每个资源提供者1302可以包括计算资源。在一些实施方式中,计算资源可以包括用于处理数据的任何硬件和/或软件。例如,计算资源可以包括能够执行算法、计算机程序和/或计算机应用的硬件和/或软件。在一些实施方式中,示例性计算资源可以包括具有存储和检索能力的应用服务器和/或数据库。每个资源提供者1302可以连接到云计算环境1300中的任何其它资源提供者1302。在一些实施方式中,资源提供者1302可以通过计算机网络1308连接。每个资源提供者1302可以通过计算机网络1308连接到一个或多个计算设备1304a、1304b、1304c(统称为1304)。
云计算环境1300可以包括资源管理器1306。资源管理器1306可以通过计算机网络1308连接到资源提供者1302和计算设备1304。在一些实施方式中,资源管理器1306可以有助于一个或多个资源提供者1302向一个或多个计算设备1304提供计算资源。资源管理器1306可以从特定计算设备1304接收对计算资源的请求。资源管理器1306可以识别能够提供计算设备1304所请求的计算资源的一个或多个资源提供者1302。资源管理器1306可以选择资源提供者1302来提供计算资源。资源管理器1306可以促有助于资源提供者1302与特定计算设备1304之间的连接。在一些实施方式中,资源管理器1306可以在特定资源提供者1302与特定计算设备1304之间建立连接。在一些实施方式中,资源管理器1306可以将特定计算设备1304重定向到具有所请求的计算资源的特定资源提供者1302。
图14示出了可用于实现本公开中描述的技术的计算设备1400和移动计算设备1450的示例。计算设备1400旨在表示各种形式的数字计算机,诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它合适的计算机。移动计算设备1450旨在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅仅是示例,而不是意味着限制。
计算设备1400包括处理器1402、存储器1404、存储设备1406、连接到存储器1404和多个高速扩展端口1410的高速接口1408、以及连接到低速扩展端口1414和存储设备1406的低速接口1412。处理器1402、存储器1404、存储设备1406、高速接口1408、高速扩展端口1410和低速接口1412中的每一个都使用各种总线互连,并且可以安装在公共主板上或者以其它适当的方式安装。处理器1402可以处理用于在计算设备1400内执行的指令,包括存储在存储器1404或存储设备1406中的指令,以在外部输入/输出设备(诸如耦合到高速接口1408的显示器1416)上显示GUI的图形信息。在其它实施方式中,可以适当地使用多个处理器和/或多个总线,以及多个存储器和多种类型的存储器。此外,可以连接多个计算设备,每个设备提供部分必要的操作(例如,作为服务器组、一组刀片服务器或多处理器系统)。因此,如本文使用的术语,其中多个功能被描述为由“处理器”执行,这包括其中多个功能由任何数量的计算设备(一个或多个)中的任何意数量的处理器(一个或多个)执行的实例。此外,在功能被描述为由“处理器”执行的情况下,这包括其中该功能由任何数量的计算设备(一个或多个)(例如,在分布式计算系统中)中的任何数量的处理器(一个或多个)执行的实例。
存储器1404在计算设备1400内存储信息。在一些实施方式中,存储器1404是一个或多个易失性存储器单元。在一些实施方式中,存储器1404是非易失性存储器单元。存储器1404也可以是另一种形式的计算机可读介质,诸如磁盘或光盘。
存储设备1406能够为计算设备1400提供大容量存储。在一些实施方式中,存储设备1406可以是或包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似的固态存储设备,或者设备阵列,包括存储区域网络中的设备或其它配置。指令可以存储在信息载体中。当由一个或多个处理设备(例如,处理器1402)执行时,这些指令执行一个或多个方法,诸如上述方法。指令也可以由一个或多个存储设备存储,诸如计算机或机器可读介质(例如,存储器1404、存储设备1406或处理器1402上的存储器)。
高速接口1408管理计算设备1400的带宽密集型操作,而低速接口1412管理较低带宽密集型操作。此类职能分配只是示例。在一些实施方式中,高速接口1408耦合到存储器1404、显示器1416(例如,通过图形处理器或加速器),以及可以接受各种扩展卡(未示出)的高速扩展端口1410。在实施方式中,低速接口1412耦合到存储设备1406和低速扩展端口1414。可以包括各种通信端口(例如,USB、
Figure BDA0002303803160000631
以太网、无线以太网)的低速扩展端口1414可以例如通过网络适配器耦合到一个或多个输入/输出设备,诸如键盘、定点设备、扫描仪或网络设备,例如交换机或路由器。
如图中所示,计算设备1400可以以多种不同的形式实现。例如,它可以实现为标准服务器1420,或者在一组此类服务器中多次实现。另外,其可以在诸如膝上型计算机1422的个人计算机中实现。其也可以被实现为机架式服务器系统1424的一部分。可选地,来自计算设备1400的组件可以与移动设备(未示出)中的其它组件相结合,诸如移动计算设备1450。每个此类设备可以包含计算设备1400和移动计算设备1450中的一个或多个,并且整个系统可以由彼此通信的多个计算设备组成。
移动计算设备1450包括处理器1452、存储器1464、诸如显示器1454的输入/输出设备、通信接口1466和收发器1468以及其它组件。移动计算设备1450还可以被提供有存储设备,诸如微驱动器或其它设备,以提供附加的存储。处理器1452、存储器1464、显示器1454、通信接口1466和收发器1468中的每一个都使用各种总线互连,并且几个组件可以安装在公共主板上或者以其它适当的方式安装。
处理器1452可以执行移动计算设备1450内的指令,包括存储在存储器1464中的指令。处理器1452可以被实现为芯片的芯片组,其包括独立的和多个模拟和数字处理器。处理器1452可以提供例如移动计算设备1450的其它组件的协调,诸如用户界面的控制、移动计算设备1450运行的应用以及移动计算设备1450的无线通信。
处理器1452可以通过连接到显示器1454的控制接口1458和显示接口1456与用户通信。显示器1454可以是例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器,或其它合适的显示技术。显示接口1456可以包括用于驱动显示器1454向用户呈现图形和其它信息的适当电路。控制接口1458可以从用户接收命令,并且转换它们以提交给处理器1452。另外,外部接口1462可以提供与处理器1452的通信,从而使得移动计算设备1450能够与其它设备进行近区通信。外部接口1462可以例如在一些实施方式中提供有线通信,或者在其它实施方式中提供无线通信,并且也可以使用多个接口。
存储器1464在移动计算设备1450中存储信息。存储器1464可以被实现为一个或多个计算机可读介质(medium)或介质(media)、一个或多个易失性存储单元或一个或多个非易失性存储器单元。还可以提供扩展存储器1474,并且通过扩展接口1472连接到移动计算设备1450,该扩展接口可以包括例如SIMM(单列直插式存储器模块)卡接口。扩展存储器1474可以为移动计算设备1450提供额外的存储空间,或者也可以为移动计算设备1450存储应用或其它信息。具体地,扩展存储器1474可以包括执行或补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器1474可以被提供为移动计算设备1450的安全模块,并且可以用允许安全使用移动计算设备1450的指令编程。另外,可以通过SIMM卡提供安全应用程序,以及附加信息,诸如以不可破解的方式在SIMM卡上放置识别信息。
如下所述,存储器可以包括例如闪存和/或NVRAM存储器(非易失性随机存取存储器)。在一些实施方式中,指令存储在信息载体中。当由一个或多个处理设备(例如,处理器1452)执行时,这些指令执行一个或多个方法,诸如上述方法。指令也可以由一个或多个存储设备存储,诸如一个或多个计算机或机器可读介质(例如,存储器1464、扩展存储器1474或处理器1452上的存储器)。在一些实施方式中,指令可以例如通过收发器1468或外部接口1462以传播信号的形式被接收。
移动计算设备1450可以通过通信接口1466无线通信,该通信接口在必要时可以包括数字信号处理电路。通信接口1466可以提供各种模式或协议下的通信,诸如GSM语音呼叫(全球移动通信系统)、SMS(短消息服务)、EMS(增强消息服务)或MMS消息(多媒体消息服务)、CDMA(码分多址)、TDMA(时分多址)、PDC(个人数字蜂窝)、WCDMA(宽带码分多址)、CDMA2000或GPRS(通用分组无线服务)等。例如,此类通信可以使用射频通过收发器1468进行。另外,可能会发生短距离通信,诸如使用
Figure BDA0002303803160000651
Wi-FiTM或其它此类收发器(未示出)。另外,GPS(全球定位系统)接收器模块1470可以向移动计算设备1450提供附加的导航和位置相关无线数据,这些数据可以被移动计算设备1450上运行的应用适当地使用。
移动计算设备1450还可以使用音频编解码器1460进行可听通信,该音频编解码器可以从用户接收口头信息并且将其转换成可用的数字信息。音频编解码器1460同样可以诸如通过移动计算设备1450的手机中的扬声器为用户生成可听声音。此类声音可以包括来自语音电话呼叫的声音,可以包括记录的声音(例如,语音消息、音乐文件等),并且还可以包括由在移动计算设备1450上运行的应用生成的声音。
如图中所示,移动计算设备1450可以以多种不同的形式实现。例如,其可以被实现为蜂窝电话1480。其也可以被实现为智能电话1482、个人数字助理或其它类似移动设备的一部分。
本文描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些不同的实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程系统包括至少一个可编程处理器,该可编程处理器可以是专用的或通用的,耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令,以及向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且可以用高级过程和/或面向受试者的编程语言和/或汇编/机器语言来实现。如本文所使用的,术语机器可读介质和计算机可读介质指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑设备(PLD)),包括接收机器指令作为机器可读信号的机器可读介质。术语机器可读信号是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,这里描述的系统和技术可以在计算机上实现,该计算机具有用于向用户显示信息的显示设备(例如CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以向计算机提供输入的键盘和定点设备(例如鼠标或轨迹球)。也可以使用其它类型的设备来提供与用户的交互,例如,提供给用户的反馈可以是任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且可以以任何形式接收来自用户的输入,包括声音、语音或触觉输入。
这里描述的系统和技术可以在计算系统中实现,所述计算系统包括后端组件(例如,作为数据服务器),或者包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有图形用户界面或网络浏览器的客户端计算机,用户可以通过其与这里描述的系统和技术的实施方式进行交互),或者此类后端、中间件或前端组件的任何组合。所述系统的组件可以通过数字数据通信的任何形式或介质(例如,通信网络)互连。通信网络的示例包括局域网(LAN)、广域网(WAN)和因特网。
计算系统可以包括客户机和服务器。客户机和服务器通常彼此远离,并且通常通过通信网络进行交互。客户机和服务器的关系是通过在各自的计算机上运行的计算机程序产生的,并且彼此之间为客户机-服务器的关系。
本文描述的不同实施方式的元件可以被组合以形成上面没有具体阐述的其它实施方式。元件可以被排除在本文描述的过程、计算机程序、数据库等之外,而不会对它们的操作产生不利影响。另外,图中描绘的逻辑流程不需要所示的特定次序或顺序来实现期望的结果。各种单独的元件可以组合成一个或多个单独的元件来执行本文描述的功能。鉴于本文描述的系统和方法的结构、功能和装置,在一些实施方式中。
在整个描述中,当装置和系统被描述为具有、包含或包括特定组件时,或者当过程和方法被描述为具有、包含或包括特定步骤时,可以设想,另外,还有本发明的装置和系统基本上由所述组件组成或由所述组件组成,并且有根据本发明的基本上由所述处理步骤组成或由所述处理步骤组成的过程和方法。
应当理解,只要本发明保持可操作性,步骤的顺序或执行特定动作的顺序是不重要的。而且,可以同时进行两个或更多个步骤或动作。
虽然已经参考特定优选实施例具体示出和描述了装置、系统和方法,但是本领域技术人员应该理解,在不脱离由所附权利要求限定的本发明的精神和范围的情况下,可以在形式和细节上进行各种改变。

Claims (27)

1.一种用于配准受试者的一个或多个3-D图像的系统,所述系统包括:
处理器;和
其上存储有指令的存储器,其中所述指令在由所述处理器执行时使所述处理器:
(a)接收所述受试者的3-D图像,其中所述3-D图像包括一个或多个目标骨骼的图形表示;
(b)在所述图形表示中鉴定一个或多个目标骨骼和参考对象;
(c)自动生成一个或多个种子人造对象,每个种子人造对象位于距所述参考对象的第一距离间隔内,并对应于所述图形表示中目标骨骼的区域;
(d)为每个自动生成的种子人造对象,自动生成多个相关联的后续人造对象,从而在所述图像中产生人造对象集合;
(e)使用所述图像中的所述人造对象集合对所述受试者的一个或多个图像自动进行配准。
2.根据权利要求1所述的系统,其中所述指令使所述处理器通过以下方式自动生成所述一个或多个种子人造对象:
确定包括三个维度上多个点中的每个点处的强度值的距离图,所述距离图的每个强度值对应于从3-D空间中的给定点到所述参考对象的距离;
由所述距离图生成距离间隔掩模;并且
在所述距离间隔掩模和对应于所述鉴定的一个或多个目标骨骼的掩模之间应用“与”运算,从而鉴定所述鉴定的目标骨骼中位于距所述参考对象的所述第一距离间隔内的多个区域。
3.根据权利要求1所述的系统,其中对于每个自动生成的种子人造对象,所述多个相关联的后续人造对象包括人造对象的等距链。
4.根据权利要求1所述的系统,其中每个人造对象是在所述图形表示中距鉴定的另一骨骼的预定阈值距离。
5.根据权利要求1所述的系统,其中所述指令使所述处理器:
鉴定所述图像中的一个或多个危险区域,所述危险区域对应于所述图形表示中第一和第二目标骨骼之间的距离小于预定阈值距离的区域;并且
自动生成每个人造对象,使其与所述图像中已鉴定的任何危险区域相距足够远。
6.根据权利要求1所述的系统,其中所述指令使所述处理器通过以下方式自动生成与相应种子人造对象相关联的所述多个后续人造对象:通过以所述种子人造对象开始沿着目标骨骼并且以分段方式生成人造对象链,生成新的后续人造对象,每个新生成的人造对象沿着所述目标骨骼继续向外、远离已鉴定的参考对象。
7.根据权利要求6所述的系统,其中所述指令使所述处理器通过以下方式生成与所述相应种子人造对象相关联的所述人造对象链:对于所述人造对象链中的至少一个新生成的人造对象,
确定所述新生成的人造对象是否处于距所述图形表示中已鉴定的另一骨骼的预定阈值距离范围内;并且
响应于确定所述新生成的人造对象处于距所述图像的所述已鉴定的另一骨骼的预定阈值距离范围内,终止生成与所述相应种子人造对象相关联的后续人造对象。
8.根据权利要求1所述的系统,其中确认所述图像中的所述人造对象集合中的每个人造对象都至少具有预定阈值体积。
9.根据权利要求1所述的系统,其中所述指令使所述处理器:
基于所述图像内的所述人造对象集合,确定图像配准变换;并且
对所述3-D图像的区域应用所述图像配准变换,从而配准所述3-D图像。
10.根据权利要求9所述的系统,其中所述图像配准变换引起所述3-D图像对称化,从而校正了所述图像中的失真。
11.根据权利要求9所述的系统,其中所述接收的图像对应于第一图像,并且所述图像配准变换将所述第一图像与所述受试者的第二图像对准,从而共同配准所述第一图像与所述第二图像。
12.根据权利要求9所述的系统,其中所述指令使所述处理器通过以下方式确定所述图像配准变换:
由所述图像内的所述人造对象集合确定所述图像内的人造界标集合,每个界标对应于由相应人造对象确定的点;并且
使用所述图像内的所述人造界标集合和靶界标集合来确定所述图像配准变换,其中确定所述图像配准变换在应用于对应所述图像内的所述人造界标的点时,大幅优化了所述人造界标集合与所述靶界标集合的对准。
13.根据权利要求12所述的系统,其中所述靶界标集合是对称的。
14.根据权利要求12所述的系统,其中所述指令使所述处理器使用所述图像内的所述人造界标集合来确定所述靶界标集合。
15.根据权利要求12所述的系统,其中所述靶界标集合是预定的靶界标集合。
16.根据权利要求9所述的系统,其中所述接收的3-D图像包括对应于软组织的图形表示的一个或多个区域,并且所述指令使所述处理器将所述图像配准变换应用于所述图像的对应于软组织的图形表示的一个或多个区域,从而配准所述软组织区域。
17.根据权利要求9所述的系统,其中所述接收的受试者的3-D图像对应于通过第一模态记录的第一图像,并且,其中所述指令使所述处理器:
接收通过第二模态记录的第二图像;
基于所述图像内的所述人造对象集合,确定第一图像配准变换;
基于所述第一图像配准变换,确定第二图像配准变换;并且
将所述第二图像配准变换应用于所述第二图像的区域。
18.根据权利要求17所述的系统,其中所述第二图像与所述第一图像基本上同时记录,所述受试者处于基本上相似的姿势和/或位置。
19.根据权利要求17所述的系统,其中所述第二图像配准变换与所述第一图像配准变换相同。
20.根据权利要求17所述的系统,其中通过已知的函数关系将所述第一图像的多个点的坐标与所述第二图像的多个点的坐标联系起来。
21.根据权利要求1所述的系统,其中:
所述3-D图像包括肋骨和脊柱的图形表示,
所述已鉴定的一个或多个目标骨骼包括肋骨,以及
所述已鉴定的参考对象是受试者的脊柱。
22.根据权利要求21所述的系统,其中:
所述肋骨的图形表示包括多对相对的肋骨,
所述多个肋骨人造对象的一部分的每个肋骨人造对象都属于多对肋骨人造对象之一,每一对包括与一对相对的肋骨中的第一肋骨相关联的第一肋骨人造对象和与所述一对相对的肋骨中的第二肋骨相关联的第二肋骨人造对象,以及
对于每对肋骨人造对象,(i)所述一对中的第一对象所表示的体积与所述一对中的第二对象所表示的体积之间的差异小于预定阈值体积差,和/或(ii)所述一对中的第一对象的高度与所述一对中的第二对象的高度之间的差异小于预定阈值高度差。
23.根据权利要求1所述的系统,其中在所述图形表示中的肋骨包括一对或多对相对的肋骨,并且其中所述指令使所述处理器通过以下方式自动生成所述多个种子肋骨人造对象:
鉴定对应于肋骨的多个区域的预期种子肋骨人造对象的集合,所述多个区域处于距脊柱一定距离间隔内;
自动鉴定一对或多对预期种子肋骨人造对象,每一对包括所述一对肋骨的第一肋骨的第一种子肋骨人造对象和相对的肋骨的相应第二种子肋骨人造对象;
将成对比较滤波器应用于所述预期种子肋骨人造对象的集合,其中所述成对比较滤波器的应用从所述集合中消除了成对的人造对象,对其而言,(i)所述一对中的第一对象所表示的体积与所述一对中的第二对象所表示的体积之间的差异大于预定阈值体积差,和/或(ii)所述一对中的第一对象的高度与所述一对中的第二对象的高度之间的差异大于预定阈值高度差;并且
在应用所述成对比较滤波器之后,从所述预期种子肋骨人造对象的集合中选择每个种子肋骨人造对象。
24.根据权利要求1所述的系统,其中所述3-D图像包括所述受试者的胸骨和所述胸骨的下端的图形表示。
25.根据权利要求24所述的系统,其中在图形表示中所述一个或多个目标骨骼包括胸骨并且所述参考对象包括所述胸骨的下端。
26.一种用于配准受试者的一个或多个3-D图像的系统,所述系统包括:
处理器;和
其上存储有指令的存储器,其中所述指令在由所述处理器执行时使所述处理器:
(a)接收所述受试者的3-D图像,其中所述3-D图像包括一个或多个目标骨骼的图形表示;
(b)在所述图形表示中鉴定一个或多个目标骨骼和参考对象;
(c)自动生成一个或多个种子人造对象,每个种子人造对象位于距参考对象的第一距离间隔内,并对应于所述图形表示中目标骨骼的区域;
(d)为每个自动生成的种子人造对象,自动生成多个相关联的后续人造对象,从而在所述图像中产生人造对象集合;
(e)使用所述图像中的所述人造对象集合对所述受试者的一个或多个图像自动进行配准;
(f)基于所述图像内的所述人造对象集合,通过以下方式确定图像配准变换:
由所述图像内的所述人造对象集合确定所述图像内的人造界标集合,每个界标对应于由相应人造对象确定的点;并且
使用所述图像内的所述人造界标集合和对称的靶界标集合来确定所述图像配准变换,其中确定所述图像配准变换在应用于对应所述图像内的所述人造界标的点时,大幅优化了所述人造界标集合与所述对称的靶界标集合的对准;以及
(g)对所述3-D图像的区域应用所述图像配准变换,从而配准所述3-D图像。
27.一种用于配准受试者的一个或多个3-D图像的系统,所述系统包括:
处理器;和
其上存储有指令的存储器,其中所述指令在由所述处理器执行时使所述处理器:
(a)接收所述受试者的3-D图像,其中所述3-D图像包括一个或多个目标骨骼的图形表示;
(b)在所述图形表示中鉴定一个或多个目标骨骼和参考对象;
(c)自动生成一个或多个种子人造对象,每个种子人造对象位于距参考对象的第一距离间隔内,并对应于所述图形表示中目标骨骼的区域;
(d)为每个自动生成的种子人造对象,自动生成多个相关联的后续人造对象,从而在所述图像中产生人造对象集合;
(e)使用所述图像中的所述人造对象集合对所述受试者的一个或多个图像自动进行配准;
(f)基于所述图像内的所述人造对象集合,确定图像配准变换;
(g)对所述3-D图像的区域应用所述图像配准变换,从而配准对应于通过第一模态记录的第一图像的所述3-D图像;
(h)接收通过第二模态记录的第二图像;
(i)基于所述图像内的所述人造对象集合,确定第一图像配准变换;
(j)基于所述第一图像配准变换,确定第二图像配准变换;并且
(k)将所述第二图像配准变换应用于所述第二图像的区域,
其中所述第二图像与所述第一图像基本上同时记录,所述受试者处于基本上相似的姿势和/或位置。
CN201880037288.6A 2017-06-16 2018-06-15 使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法 Active CN110709943B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762520926P 2017-06-16 2017-06-16
US62/520,926 2017-06-16
PCT/US2018/037708 WO2018232210A1 (en) 2017-06-16 2018-06-15 Systems and methods for automated distortion correction and/or co-registration of three-dimensional images using artificial landmarks along bones

Publications (2)

Publication Number Publication Date
CN110709943A true CN110709943A (zh) 2020-01-17
CN110709943B CN110709943B (zh) 2023-11-28

Family

ID=62842263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037288.6A Active CN110709943B (zh) 2017-06-16 2018-06-15 使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法

Country Status (6)

Country Link
US (1) US11182913B2 (zh)
EP (1) EP3639272A1 (zh)
JP (1) JP6915102B2 (zh)
KR (1) KR102394321B1 (zh)
CN (1) CN110709943B (zh)
WO (1) WO2018232210A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111312373A (zh) * 2020-01-19 2020-06-19 浙江树人学院(浙江树人大学) 一种pet/ct图像融合自动标注方法
CN113160248A (zh) * 2021-04-22 2021-07-23 浙江明峰智能医疗科技有限公司 一种图像处理方法、装置、设备及可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102363721B1 (ko) * 2020-03-05 2022-02-16 (주)헬스허브 불완전한 의료영상에 대한 신체부위의 추정을 통한 신체 사이즈 측정 장치 및 그 방법
JP2024517820A (ja) 2021-05-07 2024-04-23 バイエル・アクチエンゲゼルシヤフト 動的造影磁気共鳴断層撮影を使用した肝臓における病変の特性決定
WO2024035957A1 (en) * 2022-08-12 2024-02-15 Neurosimplicity, Llc Method and system for automatic determination of registration accuracy
EP4336204A1 (de) 2022-09-07 2024-03-13 Bayer AG Beschleunigen von mrt-untersuchungen der leber
EP4375919A1 (de) 2022-11-25 2024-05-29 Bayer AG Erzeugen von kontrastverstärkten synthetischen radiologischen aufnahmen

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081712A1 (en) * 2005-10-06 2007-04-12 Xiaolei Huang System and method for whole body landmark detection, segmentation and change quantification in digital images
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法,用于执行配准图像的方法的算法,用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
US20100027861A1 (en) * 2005-08-30 2010-02-04 University Of Maryland Segmentation of regions in measurements of a body based on a deformable model
CN101772784A (zh) * 2007-08-03 2010-07-07 皇家飞利浦电子股份有限公司 解剖结构约束的图像配准
JP2010221015A (ja) * 2009-02-27 2010-10-07 Terumo Corp 3次元人体モデル生成装置、3次元人体モデル生成方法及び3次元人体モデル生成プログラム
US20100329571A1 (en) * 2009-06-24 2010-12-30 General Electric Company Shape based registration
US20110085716A1 (en) * 2009-10-08 2011-04-14 Chefd Hotel Christophe System and method for verifying registration accuracy in digital medical images
JP2011206148A (ja) * 2010-03-29 2011-10-20 Terumo Corp 三次元人体モデル生成装置、三次元人体モデル生成方法及び三次元人体モデル生成プログラム
CN102369529A (zh) * 2009-04-02 2012-03-07 皇家飞利浦电子股份有限公司 用于图像引导治疗规划的自动解剖结构描绘
US20130070069A1 (en) * 2011-09-16 2013-03-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Coregistering images of a region of interest during several conditions using a landmark subsurface feature
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
US20150023575A1 (en) * 2013-07-17 2015-01-22 Siemens Medical Solutions Usa, Inc. Anatomy Aware Articulated Registration for Image Segmentation
JP2015036015A (ja) * 2013-08-12 2015-02-23 株式会社島津製作所 放射線断層撮影装置
CA2967003A1 (en) * 2014-11-07 2016-05-12 Joel KULLBERG Whole body image registration method and method for analyzing images thereof
US20160302747A1 (en) * 2014-01-06 2016-10-20 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US20170091919A1 (en) * 2015-09-29 2017-03-30 Fujifilm Corporation Image registration device, method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9192348B2 (en) 2014-01-23 2015-11-24 Perkinelmer Cellular Technologies Germany Gmbh Method and system for automated detection of tissue interior to a mammalian ribcage from an in vivo image
US10813614B2 (en) * 2017-05-24 2020-10-27 Perkinelmer Health Sciences, Inc. Systems and methods for automated analysis of heterotopic ossification in 3D images

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027861A1 (en) * 2005-08-30 2010-02-04 University Of Maryland Segmentation of regions in measurements of a body based on a deformable model
US20070081712A1 (en) * 2005-10-06 2007-04-12 Xiaolei Huang System and method for whole body landmark detection, segmentation and change quantification in digital images
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法,用于执行配准图像的方法的算法,用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
US20100135544A1 (en) * 2005-10-25 2010-06-03 Bracco Imaging S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CN101772784A (zh) * 2007-08-03 2010-07-07 皇家飞利浦电子股份有限公司 解剖结构约束的图像配准
JP2010221015A (ja) * 2009-02-27 2010-10-07 Terumo Corp 3次元人体モデル生成装置、3次元人体モデル生成方法及び3次元人体モデル生成プログラム
CN102369529A (zh) * 2009-04-02 2012-03-07 皇家飞利浦电子股份有限公司 用于图像引导治疗规划的自动解剖结构描绘
US20100329571A1 (en) * 2009-06-24 2010-12-30 General Electric Company Shape based registration
US20110085716A1 (en) * 2009-10-08 2011-04-14 Chefd Hotel Christophe System and method for verifying registration accuracy in digital medical images
JP2011206148A (ja) * 2010-03-29 2011-10-20 Terumo Corp 三次元人体モデル生成装置、三次元人体モデル生成方法及び三次元人体モデル生成プログラム
US20130070069A1 (en) * 2011-09-16 2013-03-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Coregistering images of a region of interest during several conditions using a landmark subsurface feature
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
US20150023575A1 (en) * 2013-07-17 2015-01-22 Siemens Medical Solutions Usa, Inc. Anatomy Aware Articulated Registration for Image Segmentation
JP2015036015A (ja) * 2013-08-12 2015-02-23 株式会社島津製作所 放射線断層撮影装置
US20160302747A1 (en) * 2014-01-06 2016-10-20 Body Vision Medical Ltd. Surgical devices and methods of use thereof
CA2967003A1 (en) * 2014-11-07 2016-05-12 Joel KULLBERG Whole body image registration method and method for analyzing images thereof
US20170091919A1 (en) * 2015-09-29 2017-03-30 Fujifilm Corporation Image registration device, method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHDI NASRI ET AL.: "RKEM: Redundant Keypoint Elimination Method in Image Registrarion", IET IMAGE PROCESSING, vol. 11, no. 5, pages 273 - 284, XP006061590, DOI: 10.1049/iet-ipr.2016.0440 *
王澎等: "同机CT图像伪影对骨断层显像衰减校正结果的影响", 中国医学影像技术, no. 01, pages 158 - 160 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111312373A (zh) * 2020-01-19 2020-06-19 浙江树人学院(浙江树人大学) 一种pet/ct图像融合自动标注方法
CN111312373B (zh) * 2020-01-19 2023-08-18 浙江树人学院(浙江树人大学) 一种pet/ct图像融合自动标注方法
CN113160248A (zh) * 2021-04-22 2021-07-23 浙江明峰智能医疗科技有限公司 一种图像处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US20200098117A1 (en) 2020-03-26
WO2018232210A1 (en) 2018-12-20
CN110709943B (zh) 2023-11-28
US11182913B2 (en) 2021-11-23
JP6915102B2 (ja) 2021-08-04
KR20200019198A (ko) 2020-02-21
KR102394321B1 (ko) 2022-05-06
EP3639272A1 (en) 2020-04-22
JP2020523107A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
CN110709943B (zh) 使用沿骨骼的人造界标进行三维图像的自动失真校正和/或共同配准的系统和方法
US8331637B2 (en) System and method of automatic prioritization and analysis of medical images
US8634628B2 (en) Medical image processing apparatus, method and program
US8160323B2 (en) Learning a coarse-to-fine matching pursuit for fast point search in images or volumetric data using multi-class classification
US20140294271A1 (en) Image Similarity-Based Finite Element Model Registration
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
US20120020573A1 (en) Image analysis systems using non-linear data processing techniques and methods using same
WO2007044508A2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
JP2014073355A (ja) 領域抽出装置、領域抽出方法および領域抽出プログラム
Pycinski et al. Time-of-flight camera, optical tracker and computed tomography in pairwise data registration
Buerger et al. Combining deep learning and model-based segmentation for labeled spine CT segmentation
Hering et al. Whole-body soft-tissue lesion tracking and segmentation in longitudinal CT imaging studies
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
Liu et al. Automatic segmentation of the human brain ventricles from MR images by knowledge-based region growing and trimming
US11501442B2 (en) Comparison of a region of interest along a time series of images
Jamil et al. Image registration of medical images
Alam et al. Quantitative evaluation of intrinsic registration methods for medical images
Xu et al. Abdomen and spinal cord segmentation with augmented active shape models
Fiedler et al. A comparative study of automatic localization algorithms for spherical markers within 3D MRI data
Zhang et al. A hybrid segmentation method for partitioning the liver based on 4D DCE-MR images
EP3227859B1 (en) Atlas-based position determination of a brain sulcus
Marreiros et al. Superficial vessel reconstruction with a multiview camera system
Alvén et al. Überatlas: Robust speed-up of feature-based registration and multi-atlas segmentation
Pszczolkowski et al. A robust similarity measure for nonrigid image registration with outliers
Tatano et al. Mesh-to-raster region-of-interest-based nonrigid registration of multimodal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Hamburg, Germany

Applicant after: PERKINELMER CELLULAR TECHNOLOGIES GERMANY GmbH

Applicant after: PERKINELMER HEALTH SCIENCES, Inc.

Address before: Tallinn

Applicant before: PERKINELMER CELLULAR TECHNOLOGIES GERMANY GmbH

Applicant before: PERKINELMER HEALTH SCIENCES, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Hamburg, Germany

Patentee after: PERKINELMER CELLULAR TECHNOLOGIES GERMANY GmbH

Country or region after: Germany

Patentee after: Ruifudi Health Science Co.

Country or region after: U.S.A.

Address before: Hamburg, Germany

Patentee before: PERKINELMER CELLULAR TECHNOLOGIES GERMANY GmbH

Country or region before: Germany

Patentee before: PERKINELMER HEALTH SCIENCES, Inc.

Country or region before: U.S.A.