CN108778416B - 使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质 - Google Patents

使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质 Download PDF

Info

Publication number
CN108778416B
CN108778416B CN201680072849.7A CN201680072849A CN108778416B CN 108778416 B CN108778416 B CN 108778416B CN 201680072849 A CN201680072849 A CN 201680072849A CN 108778416 B CN108778416 B CN 108778416B
Authority
CN
China
Prior art keywords
image
images
pseudo
training
tissue parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680072849.7A
Other languages
English (en)
Other versions
CN108778416A (zh
Inventor
韩晓
Original Assignee
医科达有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 医科达有限公司 filed Critical 医科达有限公司
Publication of CN108778416A publication Critical patent/CN108778416A/zh
Application granted granted Critical
Publication of CN108778416B publication Critical patent/CN108778416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/4812—MR combined with X-ray or computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Radiation-Therapy Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于使用多通道MR图像来生成伪CT预测模型的系统和方法。示例性系统可以包括被配置成检索训练数据的处理器，所述训练数据包括针对多个训练受试体中的每个训练受试体的多个MR图像和至少一个CT图像。针对每个训练受试体，处理器可以基于所述多个MR图像来确定至少一个组织参数图并且基于所述至少一个CT图像来获得CT值。处理器还可以基于所述多个训练受试体的组织参数图和CT值来生成伪CT预测模型。

Description

使用组织参数估计根据MR数据的伪CT生成的系统、方法和 介质
相关申请的交叉引用
本申请涉及于2015年10月13日提交的并且题为“Pseudo-CT Generation from MRData Using Tissue Parameter Estimation”的代理人案卷号12475.0050-00000，其全部内容通过引用并入本文。
技术领域
本公开内容大体上涉及辐射疗法或放射治疗。更具体地，本公开内容涉及用于根据MR数据生成伪CT图像以用于在开发在放射治疗期间使用的辐射疗法治疗计划中使用的系统和方法。
背景技术
放射治疗被用于治疗哺乳动物(例如，人和动物)组织中的癌症和其他疾病。一种这样的放射治疗技术是伽马刀，通过伽马刀，患者受到大量低强度伽马射线的辐照，其中伽马射线以高强度和高精度会聚在目标(例如，肿瘤)处。在另一实施方式中，使用线性加速器提供放射治疗，由此肿瘤受到高能粒子(例如，电子、质子、离子等)的辐照。必须精确地控制辐射束的定位和剂量，以确保肿瘤接收处方的辐射，并且射束的定位应当使对周围健康组织——通常被称为危及器官(OAR)——的损伤最小化。辐射被称为“处方的”，是因为医师为肿瘤和周围器官开了类似于药物处方的预定量的辐射。
常规地，对于每个患者，可以使用基于临床和剂量测定的目标和约束 (例如，对肿瘤和关键器官的辐射的最大剂量、最小剂量和平均剂量)的优化技术来创建辐射疗法治疗计划(“治疗计划”)。治疗计划过程可以包括使用患者的三维图像来识别目标区域(例如，肿瘤)并且识别肿瘤附近的关键器官。创建治疗计划会是一个耗时的过程，其中，计划者在考虑到各项治疗目标或约束的各自重要性(例如，加权)的情况下尽力遵守所述各项治疗目标或约束(例如，剂量体积直方图(DVH)目标)，以便产生临床上可接受的治疗计划。该任务可能是因各种危及器官(OAR)而变得复杂的耗时的反复试错的过程，这是因为随着OAR的数目的增加(例如，对于头颈部治疗最高达13个OAR)，这个过程的复杂性也增加。远离肿瘤的OAR可以容易地免受辐射，而接近目标肿瘤或着与目标肿瘤重叠的 OAR可能难以幸免。
计算机断层扫描(CT)成像常规上用作用于辐射疗法的治疗计划的图像数据的主要来源。CT图像提供患者几何结构的精确表示，并且可以将CT值直接转换成电子密度(例如，亨氏单位)以用于辐射剂量计算。然而，使用CT导致患者暴露于额外的辐射剂量。除了CT图像之外，磁共振成像(MRI)扫描由于其与CT图像相比的优越的软组织对比度而可以被用于辐射疗法。MRI不含电离辐射，并且可以被用于捕获人体的机能信息，例如组织代谢和组织机能。
因此，MRI可以被用于关于更精确的结构轮廓对CT进行补充。然而， MRI强度值不与电子密度直接相关，并且不能直接用于剂量计算；因此，期望将MR图像转换成对应的导出图像——通常是CT图像(通常被称为“伪CT图像”)。类似于真实CT图像的伪CT图像具有数据点集，该数据点集指示可直接转换成用于辐射剂量计算的电子密度的CT值。因此，从MR图像导出的伪CT图像可以被用于促进辐射疗法治疗计划中的患者剂量计算。因此，期望使用MR图像数据精确地生成伪CT图像，以便使患者免受由CT成像引起的额外辐射曝露。所需的是，伪CT图像能够代替“真实的”CT图像。
典型地，为了创建伪CT图像，采用了图谱图像(atlas image)。图谱图像是作为参考被用于促进如何转换新图像以生成导出图像的预先存在的图像。例如，在伪CT图像生成的背景下，可以使用图谱MR图像和图谱CT图像作为参考以用于根据新的MR图像来生成导出CT图像。可以预先生成作为新MR图像的受试体的同一患者的同一感兴趣区域的图谱图像，其中，这些图谱图像已经被分析以识别感兴趣的结构。例如，在许多治疗或诊断情况下，患者将需要在治疗或诊断过程的不同时间处经历成像。然而，情况不一定总是如此，例如，图谱图像不需要是同一个人的图像。
图谱MR图像和图谱CT图像优选地经由配准技术彼此对准(即，使得图谱MR图像和图谱CT图像被彼此“配准”，或者处于“配准”状态)。利用这样的配准，图谱MR图像中的针对受试体的特定位置的给定点可以映射到图谱CT图像中的针对相同特定位置的给定点(并且反之亦然)。但是，该配准中可能存在一定量的错误。因此，图谱MR与图谱CT之间的配准可能并不完美。
为了代替真实CT图像，伪CT图像应该尽可能接近患者的真实CT 图像，以用于在辐射疗法治疗计划中的剂量计算的目的、或者用于生成数字重建的射线照片(DRR)以用于图像引导。然而，CT图像强度值(CT 值)与MR强度值之间不存在简单的数学关系。因为MR强度值未被标准化并且可以取决于不同的MR扫描仪设置或不同的MR成像序列参数而显著变化，所以出现困难。因此，现有技术——例如，基于MR图像的组织分割来分配CT值或者基于点比较和加权组合来分配CT值——仅提供非常粗略的分配，导致缺乏真实CT图像的解剖细节的现有的伪CT图像。
因此，需要生成具有提高的质量的能够代替真实CT图像的伪CT图像，以用于治疗计划中的剂量计算、生成数字重建的射线照片(DRR)以用于图像引导等的目的。
发明内容
一方面，本公开内容涉及一种用于生成伪CT预测模型的系统。该系统可以包括被配置成存储包括多个训练受试体的MR数据和CT数据的训练数据的数据库。每个训练受试体可以具有至少一个MR图像和至少一个 CT图像。该系统还可以包括通信耦接至数据库的用于访问存储在数据库中的信息的处理器。该系统还可以包括通信耦接至处理器的存储器。存储器可以存储指令，所述指令在由处理器执行时将处理器配置成执行各种操作。操作可以包括访问数据库以检索包括针对所述多个训练受试体中的每个受试体的至少一个MR图像和至少一个CT图像的训练数据。针对每个训练受试体，操作可以包括：从所述至少一个MR图像的每个图像点提取多个特征；针对每个图像点基于所提取的特征来创建特征向量；并且从所述至少一个CT图像的每个图像点提取CT值。操作还可以包括：基于所述多个训练受试体的特征向量和CT值来生成伪CT预测模型。
另一方面，本公开内容涉及一种用于生成伪CT图像的系统。该系统可以包括处理器和通信耦接至处理器的存储器。存储器可以存储指令，所述指令在由处理器执行时将处理器配置成执行各种操作。操作可以包括：接收患者的MR图像并且从MR图像的每个图像点提取多个特征。操作还可以包括：针对每个图像点基于所提取的特征来创建特征向量。操作还可以包括：针对每个图像点使用预测模型基于针对该图像点创建的特征向量来确定CT值。此外，操作可以包括：基于针对所有图像点确定的CT值来生成伪CT图像。
又一方面，本公开内容涉及一种用于生成患者的伪CT预测图像的系统。该系统可以包括处理器和通信耦接至处理器的存储器。存储器可以存储指令，所述指令在由处理器执行时将处理器配置成执行各种操作。操作可以包括：接收患者的MR图像并且从MR图像提取多个特征。操作还可以包括：使用预测模型基于所提取的特征来生成中间图像。操作还可以包括：从中间图像提取一个或更多个特征。此外，操作可以包括：基于从 MR图像提取的多个特征和从中间图像提取的一个或更多个特征来生成患者的伪CT图像。
又一方面，本公开内容涉及一种用于生成伪CT预测模型的系统。该系统可以包括被配置成存储包括多个训练受试体的多通道MR数据和CT 数据的训练数据的数据库。每个训练受试体可以具有多个MR图像和至少一个CT图像。该系统还可以包括通信耦接至数据库的用于访问存储在数据库中的信息的处理器。该系统还可以包括通信耦接至处理器的存储器。存储器可以存储指令，所述指令在由处理器执行时将处理器配置成执行各种操作。操作可以包括：访问数据库以检索包括针对多个训练受试体中的每个受试体的多个MR图像和至少一个CT图像的训练数据。针对每个训练受试体，操作可以包括：基于多个MR图像来确定至少一个组织参数图并且基于所述至少一个CT图像来获得CT值。操作还可以包括：基于所述多个训练受试体的组织参数图和CT值来生成伪CT预测模型。
又一方面，本公开内容涉及一种用于生成伪CT图像的系统。该系统可以包括处理器和通信耦接至处理器的存储器。存储器可以存储指令，所述指令在由处理器执行时将处理器配置成执行各种操作。操作可以包括：接收患者的多个多通道MR图像并且将所述多个多通道MR图像转换成至少一个组织参数图。操作还可以包括：通过将预测模型应用于所述至少一个组织参数图来生成CT值。操作还可以包括：基于通过预测模型生成的 CT值来生成伪CT图像。
又一方面，本公开内容涉及一种用于生成伪CT预测模型的计算机实现的方法。该方法可以包括：检索包括针对多个训练受试体中的每个受试体的多个多通道MR图像和至少一个CT图像的训练数据。针对每个训练受试体，该方法可以包括：基于所述多个多通道MR图像来确定至少一个组织参数图并且基于所述至少一个CT图像来获得CT值。该方法还可以包括：基于所述多个训练受试体的组织参数图和CT值来生成伪CT预测模型。
要理解的是，前面的一般性描述和以下的详细描述两者均仅是示例性和说明性的，并且不限制如所要求保护的所公开的实施方式。在审阅如以下描述、附图和所附权利要求书中描述的教示后，本公开内容的这些和其他特征和优点对于本领域的普通技术人员将是明显的。
附图说明
包括在本说明书中并且构成本说明书的一部分的附图示出了所公开的实施方式，并且与描述和权利要求书一起用于说明所公开的实施方式。这样的实施方式是说明性的并且不意在是本设备、系统或方法的穷举性或排他性的实施方式。在不一定按比例绘制的附图中，不同视图中类似的标记可以描述相似的部件。具有字母后缀或不同字母后缀的类似标记可以表示相似部件的不同实例。
图1是用于构建伪CT预测模型的示例性过程的图。
图2是用于从MR图像的每个体素提取特征的示例性过程的图。
图3是用于使用图1的预测模块来生成患者的伪CT图像的示例性过程的图。
图4A示出了示例性放射治疗系统。
图4B示出了示例性放射治疗装置——伽玛刀。
图4C示出了作为线性加速器的示例性放射治疗装置。
图5示出了用于构建伪CT预测模型并且生成伪CT图像的示例性系统。
图6是用于训练和构建伪CT预测模型的示例性过程的流程图。
图7是用于使用伪CT预测模型来生成伪CT图像的示例性过程的流程图。
图8是用于训练和构建多级伪CT预测模型的示例性过程的图。
图9是用于使用多级伪CT预测模型来生成伪CT图像的示例性过程的图。
图10是用于使用根据多通道MR扫描估计到的组织参数来训练伪CT 预测模型的示例性过程的图。
图11是使用多通道MR数据来构建伪CT预测模型的示例性方法的流程图。
图12是用于使用多通道MR图像来生成患者的伪CT图像的示例方法的流程图。
具体实施方式
现在将详细参考其示例在附图中示出的所公开的实施方式。只要方便，贯穿附图相同的附图标记将用于指代相同或类似的部分。
在一个实施方式中，为了根据MR图像来创建伪CT图像(还被称为合成CT图像或导出CT图像)，提供了包括训练模块和预测模块的基于学习的方法。训练模块构造预测模型(还被称为回归模型)，预测模型可以被用于基于从选定位置的一个或更多个MR图像提取的特征来预测任何给定体素的CT值。在训练期间，从多个现有患者收集MR扫描和CT扫描以形成训练数据。训练数据包括来自现有患者的成对的预对准的CT图像和MR图像。对于图像中的每一对，相应的MR值和CT值是已知的并且针对每个像素或体素(还被称为包括2D情景和3D情景两者的图像点) 进行配准。
可以使用训练数据来训练预测模型。在训练阶段，回归方法(例如，统计学习、回归分析或机器学习技术)可以用在收集的训练数据上以训练模型。在对预测模型进行训练之后，可以由预测模块使用该模型来预测患者图像的每个图像点的CT值。因此，训练后的模型可以用于根据任何未来扫描的MR数据并且针对相同或不同的患者来创建伪CT图像。
图1示出了与所公开的实施方式一致的用于构建伪CT预测模型150 的示例性过程的流程图。如所示出的，一个实施方式是包括训练模块和预测模块的基于学习的方法。在实施方式中，训练模块创建回归模型(例如，伪CT模型150)，该回归模型可以由预测模块使用以基于一个或更多个新的MR扫描来预测伪CT值。
在一个实施方式中，可以从现有患者或受试体(统称为“训练受试体”) 收集训练数据110。训练受试体可以具有先前获取的并且可以被用于构建伪CT预测模型150的MR扫描和对应的CT扫描两者。训练数据110可以包括对于具有至少一个MR扫描和至少一个CT扫描的多个训练受试体的数据(例如，训练受试体数据110a-110N)。与由较小数据集构成的模型相比，用于提供训练数据的训练受试体的数目越多(例如，数据集越大)，通常将使得能够生成更好的伪CT预测模型。训练受试体数据110a-110N包括成对的预对准的MR图像和CT图像。MR图像和CT图像可以分开获取；因此如果图像彼此重叠，则它们通常不匹配。因此，如本领域中已知的，使用图像配准对MR图像和CT图像进行预对准。根据一些实施方式，与训练受试体相关联的MR扫描与伪CT图像被期望的新患者的MR 扫描可以由相同的MR扫描仪来生成。在其他实施方式中，与训练受试体相关联的MR扫描可以由不同的MR扫描仪来生成。另外，与单个训练受试体相关联的多个MR扫描可以包括具有不同对比度性质(例如，T1加权、T2加权等)的MR扫描，以提供更精确的伪CT生成结果。
图像特征提取模块111可以用于从与训练数据110相关联的MR图像提取图像特征。图像特征可以指MR体素的数值性质(例如，强度值、特征的坐标位置等)或分类性质(例如，组织类型、结构标签等)。例如，“强度特征”可以指MR体素的强度值。然而，任何单个MR特征可能不足以充分表示用于生成伪CT图像的目的的MR体素。例如，单独采用的 MR体素的强度值提供了对于CT估计的不明确表示。单个强度值是不明确的，因为除了别的之外，具有相同强度水平的两个MR体素可以属于具有不同CT值的不同组织(例如，骨头和空气)。如本文中所使用的，术语“组织”指的是分类并且不仅仅表示特定类型的组织；例如，空气不是组织。因此，提取MR扫描的每个MR体素的多种特征类型以便提供对 MR体素的更具区别性的描述。
利用多个MR图像或多通道MR图像，可以提取一组丰富的基于图像的特征，这提供了更多的信息并且可以导致更精确的伪CT预测。图像特征提取模块111可以被用于分别从每个图像或每个通道提取特征(例如， MR特征向量120)。
所得到的MR特征向量120可以包括多个收集到的图像特征向量集，每个图像特征向量集与训练受试体的MR扫描相关联(例如，图像向量集 120a-120N)。每个图像特征向量集120a-120N可以包括多个特征向量。例如，给定特征向量集(例如，120a)的每列可以表示包括作为向量元素的多个特征的特征向量。特征向量的多个特征表示与例如训练受试体的MR 扫描/图像的图像点(例如，体素)相关联的不同类型的图像特征。特征向量中的特征元素的数目(例如，列中的元素的数目)还被称为特征向量的维度。在一些实施方式中，特征向量还可以按行或其他合适的形式排列。下面参照图2更详细地论述了根据所公开的实施方式的特征提取。
图2示出了与所公开的实施方式一致的特征提取过程。可以针对患者 (例如，MR受试体a 210)的MR扫描的每个MR体素来提取多个图像特征。如图2所示，所提取的图像特征可以包括局部图案特征212、界标 (landmark)特征214、背景(context)特征216以及各种其他类型的特征218。这些特征中的每个可以由一个或更多个特征元素来表示，一个或更多个特征元素在图2中被示出为共同形成特征向量列的小块。特征可以与图像像素(在2D中)、图像体素(在3D中)或图像点集合(例如，在 2D或3D中的图像块)相关联。例如，图2示出了与体素i、体素i+1、…、体素M相关联的特征向量(例如，列)。多个特征向量——例如，与MR 图像的多个体素(例如，体素i至M)相关联的特征向量的集合——可以形成对应于训练受试体a的特征向量集120a。
潜在的图像特征的非限制性列表包括：
·强度特征：多个尺度上的MR图像强度值——原始强度值或在一些预处理之后的强度值，例如MR强度偏差校正和/或MR强度标准化/归一化；
·基于界标的特征：针对给定体素相对于一个或更多个界标点(例如，大脑的前连合-后连合(AC-PC)点、每个眼球的中心等)计算的相对位置、距离或其他几何特征；
·背景特征：在给定点的某些邻近位置处计算的任何其他图像特征；
·位置特征：每个体素的归一化坐标。可以例如通过使用线性或非线性图像配准将每个图像与公共参考系进行对准来完成归一化；
·块特征：在一些实施方式中，块(patch)可以指图像的在特征被计算的图像体素的周围的子区域或子集。例如，块在大小上可以包括5×5 ×5个体素，并且125个体素位置处的图像强度值可以与块中心的点的125 个特征元素相关联；
·可以根据一个或更多个块导出高级特征：这些类型的特征可以包括本领域已知的各种特征描述符，例如SIFT(尺度不变特征变换)、SURF (加速鲁棒特征)、GLOH(梯度位置和方向直方图)、LBP(局部二进制图案)或HOG(方向梯度直方图)等。可以针对包含考虑中的体素的每个2D图像切片来计算这样的特征，并且此外，在实施方式中这样的特征可以被扩展到3D图像；
·纹理特征：例如，局部图像灰度共生矩阵的能量、熵、对比度、同质性(homogeneity)和相关性，以及通过利用Gabor滤波器对图像进行滤波而计算的那些特征等；
·联合特征：例如，当多个MR图像(例如，T1加权、T2加权等) 与给定训练受试体相关联时。在这种情况下，可以从每个MR扫描中独立地提取诸如强度、块、纹理等的特征以供稍后组合。另外，可以在每个体素位置处计算表征多个MR扫描之间的相关性的特征，例如多个MR通道的局部联合直方图和/或局部互相关或协方差；
·利用至少一个线性或非线性滤波器(例如，局部相位、梯度、曲率、边缘检测器或角检测器等)根据图像的卷积导出的特征；
·通过图像变换(例如，傅里叶变换、希尔伯特变换、拉东变换、距离变换、离散余弦变换、小波变换等)导出的特征；
·区域协方差特征：在局部子区域内的以上点状特征中的任何特征的协方差；以及
·基于分类的特征，将在下面更全面地论述。
如图2所示，与MR图像体素相关联的特征的集合可以在单个向量(例如，与体素i、体素i+1、…、体素M相关联的向量)中表示。
返回到图1，当提取图像特征时，MR特征向量120可以具有多个维度(例如，特征向量中的每个特征元素可以被认为是一个维度，如图2所示)。然而，当从MR图像中提取的特征的数目增加时，创建预测模型的任务可能变得更加难以完成。这是因为每个患者图像通常包含数百万个体素，并且每个体素可以与大量特征相关联。因此，如果使用从来自所有多个现有患者的所有图像的所有体素中提取的特征来构建预测模型，则用于处理这样巨量数据的计算成本可能非常昂贵。因此，维度的实际数目取决于相对于计算成本的可用的计算机的处理能力。此外，处理所提取的特征所产生的预测模型的性能可能不与特征维度的数目成比例。在一些情况下，随着特征维度的数目增加，预测模型的性能可能会下降，因为一个特征的效果可能会被另一个特征取消或削弱——如果两个特征都包括在处理中的话。在使用预测模型基于新的MR数据确定伪CT图像时，大量的特征还可能导致不可接受的计算成本。因此，在实施方式中，降维模块 132可以用于生成降维特征向量140，而不会显著损失通过MR特征提供的区别性信息。降维模块132可以被用于在减少维度的原始数目时从原始特征向量捕获大部分相关信息。例如，MR特征向量120的一些维度可能包括与生成伪CT图像无关的可以被去除的噪声或其他信息。其他维度可以包括冗余信息，这些冗余信息可以被组合或精简，以用于通过特征提供的区别性信息的更紧凑的表示。例如，如果原始数据符合高斯分布，则可以通过使用原始数据的均值和标准偏差表示原始数据来降低原始数据的整体维度。这样的降维方法导致原始数据被转换。在一些实施方式中，维度降低的水平的范围可以从使用原始特征向量(即，没有维度降低)到任何预定的维度水平(例如，减少的特征向量集)。因此，在实施方式中，降维模块132可以是可选的，并且原始特征向量可以被用于产生伪CT模型150。
如果利用降维模块132，则由模型132使用的降维技术可以包括至少两种类型的技术：(1)无监督降维和(2)监督降维。通常，如以下所描述的，监督降维优于无监督降维。
无监督降维可以去除无意义的噪声和数据冗余，并且仅需要MR特征向量120作为输入。常见的无监督降维技术包括例如主成分分析(PCA) 及其非线性版本、核主成分分析(KPCA)。
监督降维可以利用感兴趣的其他数据来进一步滤除与生成伪CT图像无关的维度。例如，CT值130可以用于降维。CT值130(例如，原始CT 值或CT数值)可以从训练数据110的CT扫描数据获得。监督降维可以将MR特征向量120和CT值130两者作为输入。可能的监督降维技术包括例如：典型成分分析(CCA)、度量学习(ML)方法、监督主成分分析 (SPCA)、局部敏感哈希(LSH)、局部敏感判别分析(LSDA)等。对于需要感兴趣的数据与离散的类别标签相关联的降维技术，可以将图像分割应用于训练数据110中的CT扫描或MR扫描，从而导致可以用作类别标签的分割类别。
降维模块132可以使用CT值130来确定训练数据110中的哪些信号与潜在的CT值相关。使用原始CT值，可以在保持相关信号的同时抑制无关信号。一般而言，每个训练受试体的至少一个CT图像应该是可用的。在一些实施方式中，多个CT图像可以是可用的。可以对较大数目的CT 扫描进行平均以减少图像噪声，从而提高降维模块132的有效性。降维模块132的输出是降维特征向量140。
一旦训练数据被收集和处理(例如，经历图像特征提取、降维技术等)，则可以使用统计学习技术或机器学习技术来构建伪CT预测模型150。在一个实施方式中，可以使用回归分析来构建伪CT预测模型150。回归分析是用于估计变量之间的关系的统计过程。存在用于执行回归分析的许多已知的方法，例如：线性回归或普通最小二乘回归等是“参数化”的，因为回归函数是根据有限数目的未知模型参数定义的，这些模型参数可以根据训练数据来估计。对于伪CT图像生成，可以将回归模型(例如，式1) 定义为例如：
H≈f(X，β)， (式1)
其中，“H”表示CT值，“X”表示输入变量的向量(例如，MR特征向量120或降维特征向量140中的任一个)，并且“β”表示要针对回归模型确定或训练的未知参数的向量。在实施方式中，CT值可以是CT扫描的亨氏值。
包括MR扫描和CT扫描的训练数据110提供具有对应的X值(例如，从训练受试体的MR扫描提取的特征向量)的一组已知的H值(例如，与同一训练受试体的CT扫描相关联的CT值)。使用这些数据，可以使用数据拟合技术例如最小二乘法、最大似然法等来计算模型参数β。一旦估计了β，则模型然后可以针对一组新的X值(例如，从新的MR扫描提取的特征向量)来计算H(例如，伪CT值)。
在另一实施方式中，机器学习和监督学习可以被用于构建伪CT预测模型150。监督学习是机器学习的分支，机器学习在给定训练数据集的情况下推断预测模型。训练数据的每个样本是由输入数据(例如，测量结果或特征的向量)和期望的输出值(还被称为监督信号)组成的对。监督学习算法分析训练数据并且产生预测函数，在输出变量是数值的或连续的时预测函数是回归函数。与所公开的实施方式一致，可以应用许多不同的算法，包括但不限于：kNN(k最近邻)回归、支持向量机、神经网络、决策树、随机森林和梯度提升机。
图3示出了与所公开的实施方式一致的可以使用伪CT模型150的预测模块的示例性过程的流程图。一旦伪CT模型150被创建并且被训练，则预测模块301可以在应用阶段使用模型150以根据同一患者或新患者的新MR扫描来生成伪CT图像。如图3所示，除了在应用阶段使用先前生成和训练的伪CT预测模型150之外，生成伪CT图像350的过程类似于上面针对图1所描述的过程。在该过程中，新的MR扫描310被输入到预测模块301中。在实施方式中，预测模块301可以包括图像特征提取模块 311和伪CT预测模型150。在该实施方式中，MR扫描301没有对应的 CT扫描。可以从MR扫描301提取特征来以与上面关于MR特征向量120 的生成所论述的方式类似的方式来生成患者MR特征向量320。可以包括降维模块321以降低患者MR特征向量320的维度。可替选地，如虚线 331所指示的，伪CT预测模型150可以使用患者MR特征向量320，而无需任何维度降低。
以这种方式，由于最初没有提供与新的MR扫描相对应的CT扫描，因此预测模块301使用在训练阶段期间建立的伪CT预测模型150来预测在患者MR图像310的每个位置处的伪CT值。因为伪CT预测模型150 可以例如在每个图像位置处“逐点”操作，所以伪CT值表示基于MR扫描310中的特定位置处的特定体素的特征向量导出的值。预测模型301因此可以生成伪CT值340。伪CT值340表示伪CT图像350的多个强度值。为了生成伪CT图像350，通常将伪CT值340放置于体素网格(grid)上它们的适当位置中。在实施方式中，由于图像是体素的网格，因此预测模型301可以预测体素网格的一些值(例如，伪CT值340)(例如，不是每个图像体素被预测)；并且然后可以使用插值来生成伪CT图像350以描绘患者的解剖细节的精确视觉表示。
可以使用所有可用患者的训练数据110来对伪CT预测模型150进行一次训练，并且然后伪CT预测模型150可以被用于所有未来的新患者。可替选地，相同的伪CT预测模型150可能不能用于每个患者。可以针对特定患者来定制伪CT预测模型150。例如，可以选择训练数据以包括与新患者最相似或相关的数据，并且可以针对新患者来构建模型。
图4A示出了根据本公开内容的一些实施方式的示例性放射治疗系统 400。放射治疗系统400可以包括训练模块412、预测模块414、训练数据库422、测试数据库424、放射治疗装置430以及图像获取装置440。放射治疗系统400还可以连接至治疗计划系统(TPS)442和可以提供患者信息的肿瘤学信息系统(OIS)444。此外，放射治疗系统400可以包括显示装置和用户接口(未示出)。
图4B示出了根据本公开内容的一些实施方式的一种类型的放射治疗装置430(例如，由瑞典斯德哥尔摩的Elekta，AB制造的Leksell伽玛刀) 的示例。如图4B所示，在放射治疗治疗期间，患者452可以佩戴坐标框架454以保持患者的经历手术或放射治疗的身体部位(例如，头部)稳定。坐标框架454和患者定位系统456可以建立可以在对患者进行成像时或者在辐射手术期间使用的空间坐标系。放射治疗装置430可以包括保护壳体 464以封闭多个辐射源462。辐射源462可以生成通过射束通道466的多个辐射束(例如，小束)。多个辐射束可以被配置成从不同方向聚焦在等中心点(isocenter)458上。虽然每个独立辐射束可以具有相对较低的强度，但是当来自不同辐射束的多个剂量在等中心点458处积聚时，等中心点458可以接收相对高水平的辐射。在某些实施方式中，等中心点458可以与进行手术或治疗的目标如肿瘤相对应。在实施方式中，放射治疗装置 430(例如，由瑞典斯德哥尔摩的Elekta，AB制造的Leksell伽玛刀)可以利用具有指定堆积(bulk)密度的MR图像或与MR图像融合的CT图像，并且可以使用与所公开的实施方式一致地生成的伪CT图像。
图4C示出了根据本公开内容的一些实施方式的放射治疗装置430(例如，线性加速器470)的另一示例。使用线性加速器470，可以将患者472 定位在患者台473上以接收通过治疗计划确定的辐射剂量。线性加速器 470可以包括生成辐射束476的辐射头475。整个辐射头475可以能够围绕水平轴477旋转。此外，在患者台473的下方，可以设置平板闪烁体检测器474，该平板闪烁体检测器474可以围绕等中心点471与辐射头475 同步旋转。轴477与由辐射头475产生的射束476的中心的交点通常被称为等中心点。患者台473可以是机动化的，使得患者472可以被定位成肿瘤部位在等中心点471处或在其附近。辐射头475可以围绕机架(gantry) 478旋转，以根据治疗计划向患者472提供多个变化剂量的辐射。在替选实施方式中，线性加速器470可以是MR线性加速器(“MR-LINAC”)。在实施方式中，线性加速器10和MR-LINAC两者均可以利用MR图像、 CT图像，并且可以使用与所公开的实施方式一致地生成的伪CT图像。
图5是与所公开的实施方式一致的用于构建伪CT预测模型并且生成伪CT图像的示例性系统500。根据一些实施方式，系统500可以是能够与所公开的实施方式一致地识别、分析、保持、生成和/或提供大量数据的一个或更多个高性能计算装置。系统500可以是独立的，或者它可以是子系统的一部分，子系统又可以是更大的系统的一部分。例如，系统500可以表示被远程定位并且通过网络例如因特网或者专用网络例如LAN或 WAN进行通信的分布式高性能服务器。在一些实施方式中，系统500可以包括与一个或更多个远程定位的高性能计算装置通信的嵌入式系统、 MR扫描仪和/或触摸屏显示装置。
在一个实施方式中，系统500可以包括一个或更多个处理器514、一个或更多个存储器510以及一个或更多个通信接口515。处理器514可以是处理装置，包括一个或更多个通用处理装置，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更特别地，处理器514可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或者实现指令集的组合的处理器。处理器514还可以是一个或更多个专用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器 (DSP)、片上系统(SoC)等。如本领域技术人员将理解的，在一些实施方式中，处理器514可以是专用处理器，而不是通用处理器。处理器514 可以包括一个或更多个已知处理装置，例如来自由IntelTM制造的 PentiumTM系列或XeonTM系列的微处理器、由AMDTM制造的TurionTM系列的微处理器或者由Sun Microsystems制造的各种处理器中的任何处理器。处理器514还可以包括由NvidiaTM制造的图形处理单元。所公开的实施方式不限于以其他方式被配置成满足与所公开的实施方式一致地识别、分析、保持、生成和/或提供大量成像数据或任何其他类型的数据的计算需求的任何类型的处理器。
存储器510可以包括被配置成存储由处理器514使用以执行与所公开的实施方式有关的功能的计算机可执行指令的一个或更多个存储装置。例如，存储器510可以存储用于治疗计划软件511、操作系统软件512和训练/预测软件513的计算机可执行软件指令。处理器514可以通信耦接至存储器/存储装置510，并且处理器514可以被配置成执行存储在其上的计算机可执行指令以执行与所公开的实施方式一致的一个或更多个操作。例如，处理器514可以执行训练/预测软件513以实现训练模块412和预测模块414的功能。此外，处理器装置514可以执行可以与训练/预测软件 513接口的治疗计划软件511(例如，例如由Elekta制造的
Figure GDA0002358176400000141
软件)。
所公开的实施方式不限于被配置成执行专门任务的单独程序或计算机。例如，存储器510可以包括执行系统500的功能的单个程序或者多个程序(例如，治疗计划软件511和/或训练/预测软件513)。另外，处理器 514可以执行远离系统500定位的一个或更多个程序，例如存储在数据库 520中的程序，这样的远程程序可以包括肿瘤学信息系统软件或治疗计划软件。存储器510还可以以系统可以用来执行与所公开的实施方式一致的操作的任何格式来存储图像数据或任何其他类型的数据/信息。
通信接口515可以是被配置成允许由系统500接收和/或传送数据的一个或更多个装置。通信接口515可以包括允许系统500与其他机器和装置——例如，系统500的远程定位部件、数据库520或医院数据库530——通信的一个或更多个数字和/或模拟通信装置。例如，处理器514可以通过通信接口515通信地连接至数据库520或医院数据库530。例如，通信接口515可以是计算机网络例如因特网或者专用网络例如LAN或 WAN。可替选地，通信接口515可以是允许处理器514向数据库520或 530发送数据或者从数据库520或530接收数据的卫星通信链路或者任何形式的数字或模拟通信链路。
数据库520和医院数据库530可以包括存储信息并且通过系统500来访问和管理的一个或更多个存储器装置。作为示例，数据库520、医院数据库530或两者均可以包括关系数据库，例如OracleTM数据库、SybaseTM数据库或其他关系数据库，并且可以包括非关系数据库，例如Hadoop序列文件、HBase、Cassandra或其他非关系数据库。数据库或其他文件可以包括例如来自与训练受试体相关联的MR扫描或CT扫描的原始数据、MR 特征向量120、CT值130、降维特征向量140、伪CT预测模型150、伪 CT值340、伪CT图像350、DICOM数据等。然而，所公开的实施方式的系统和方法不限于单独的数据库。在一个方面，系统500可以包括数据库520或医院数据库530。可替选地，数据库520和/或医院数据库530可以远离系统500定位。数据库520和医院数据库530可以包括计算部件(例如，数据库管理系统、数据库服务器等)，所述计算部件被配置成接收和处理对存储在数据库520或医院数据库530的存储器装置中的数据的请求并且提供来自数据库520或医院数据库530的数据。
系统500可以通过网络(未示出)与系统500的其他装置和部件进行通信。网络可以是任何类型的网络(包括基础设施)，所述任何类型的网络提供通信、交换信息或者促进信息交换，并且使得能够通过网络(未示出)在系统500的其他装置和/或部件之间发送信息和接收信息。在其他实施方式中，系统500的一个或更多个部件可以通过专用通信链路例如系统500与数据库520和医院数据库530之间的链路(例如，硬连线链路、无线链路或卫星链路或其他通信链路)直接通信。
为了方便描述，已经在本文中定义了系统500的功能构建块的配置和边界。可以定义替代边界，只要其指定的功能和关系被适当地执行即可。基于本文中包含的教导，替选方案(包括在本文中描述的方案的等同物、扩展、变化、偏离等)对于相关领域的技术人员将是明显的。这样的替选方案落入所公开的实施方式的范围和精神内。
图6是与所公开的实施方式一致的用于训练和构建伪CT预测模型的示例性过程600的流程图。过程600包括多个步骤，其中一些步骤可以是可选的。在步骤610处，系统500可以从例如数据库520和/或医院数据库530访问与多个训练受试体相关联的训练数据110。训练数据110可以包括针对每个训练受试体的至少一个MR扫描和至少一个CT扫描(例如，如图1所示，训练受试体数据110a至110N)。在一些实施方式中，训练数据110可以包括针对同一患者的至少一个MR扫描和多个CT扫描。
根据一些实施方式，系统500可以确定训练数据110中的一些或全部在用于训练和构建伪CT预测模型150之前是否需要进行预处理。在步骤 620处，处理器514确定训练数据中的针对一个或更多个训练受试体的 MR扫描和对应的CT扫描是否对准(例如，对于每个MR体素，来自对应的CT体素的CT值是已知的)。如果MR图像和CT图像未对准，则过程600沿分支621(例如，“否”)到步骤624处以将该扫描对准。系统600 可以根据需要根据本领域技术人员已知的方法将MR扫描和对应的CT扫描对准。可替选地，如果MR图像和CT图像对准，则过程600沿分支622 (例如，“是”)继续至步骤630。
可选地，在步骤630处，处理器514验证训练数据110是否包括针对同一训练受试体的多个CT扫描。如果存在多个CT扫描，则处理器514 确定多个CT扫描之间的对应CT体素的平均CT值，以降低同一患者的图像噪声。否则，过程600直接从步骤620进行至步骤640。
在步骤640处，作为预处理的一部分，处理器514基于例如在治疗计划软件511或训练/预测软件513中反映的系统设置来确定是否要减少或消除MR扫描中的图像伪影(artifact)。如果期望减少图像伪影，则过程 600沿分支642(“是”)到步骤644。在步骤644处，处理器514可以应用作为预处理的一部分的图像伪影减少技术。通过对MR扫描进行预处理，处理器514可以去除或减少图像伪影，例如强度不均匀性(还被称为 MR图像偏移场)和图像噪声。另外，预处理可以针对不同的MR扫描仪类型(例如，由GE、西门子等制造的；或者各种磁场强度例如0.5特斯拉、1.5特斯拉等)对MR图像强度值进行归一化/标准化。预处理技术还可以用于去除或减少新患者MR扫描310(如图3所示)的图像伪影。如果不进行图像伪影减少，则过程600继续至步骤650以提取特征。在一些实施方式中，可以省略预处理中的(例如，如由图6中的虚线所包围的) 一个或更多个步骤。
在步骤650处，可以从训练数据110中提取特征。在一些实施方式中，系统500可以从训练数据110中的每个MR扫描的每个体素中提取特征。例如，可以使用MR图像本身来提取特征，并且可以使用MR图像的每个体素或从MR图像中选择的体素来提取特征。可替选地，处理器514可以将MR图像分割成不同的组织类型，并且基于组织类型来分割每个MR扫描的图像体素。这在某些情况下可能是有利的，因为例如除了其他提取的特征以外，组织类型可以被用作附加特征。
在步骤660处，系统500可以基于针对MR扫描的每个体素所提取的图像特征来创建MR特征向量。因此，处理器514可以产生包含针对MR 扫描的每个体素的多个特征的向量。处理器514可以针对MR扫描的多个体素来产生多个MR特征向量120。
在步骤670处，系统500可以从训练数据中的每个CT扫描的每个体素中提取CT值。
在步骤680处，系统500可以确定是否降低与MR特征向量120相关联的维度的数目。
例如，系统500的处理器514可以确定与MR特征向量120相关联的维度的数目将导致高的计算成本或者在由伪CT预测模型150处理时可能导致性能问题。在另一示例中，系统500可以确定MR特征向量120包括超过被认为影响伪CT预测模型150的准确度的阈值的噪声或重复数据。在另一实施方式中，系统500可以基于影响性能和/或输出质量的因素来确定是否进行降维。因此，如果处理器514确定需要降维，则过程600沿分支682(例如，“是”)到步骤686，在步骤686中，处理器514可以降低与MR特征向量120相关联的维度。可替选地，在一些实施方式中，系统500可以接收(例如，来自用户的)输入以不对MR特征向量120执行任何降维。
如果不需要降维，则过程600可以直接沿分支684进行至步骤690。在步骤690处，系统500可以利用统计学习技术或机器学习技术基于MR 特征向量(例如120)和所提取的CT值来生成伪CT预测模型150。在一些实施方式中，可以利用降维特征向量140。
根据一些实施方式，训练数据110的子集可以被用作训练和构建伪 CT预测模型150的基础。因此，系统500可以确定(例如，基于用户输入和/或治疗计划软件511和/或训练/预测软件513中所反映的系统设置) 训练数据110的子集以训练和构建伪CT预测模型150。在另一实施方式中，训练数据110的子集可以基于特定图像区域来分类。例如，训练数据 110的子集可以：1)关于特定解剖区域，2)关于各种组织分类，或3) 关于训练受试体特征。
例如，对于给定患者MR扫描，一个或更多个特征可以为潜在的解剖结构提供优异的说明；并且因此可以从训练数据110中仅提取优异的特征的子集以用于训练伪CT预测模型150。使用优异的特征，可以提高伪CT 预测模型150针对给定患者MR扫描估计对应的伪CT值340的预测能力。特征的子集可以用于生成和训练一个或更多个伪CT模型。
在实施方式中，当针对特定解剖区域构建伪CT预测模型时，训练数据110的子集(例如，仅与感兴趣的身体区域相关联的训练数据110)可以用于训练和构建伪CT预测模型150。代替一个伪CT预测模型，处理器514可以针对身体的特定解剖区域(例如，头部、上身，下身等)生成多个伪CT预测模型。因此，处理器514可以针对感兴趣的预定解剖位置利用MR特征向量120(或降维特征向量140)和CT值130来生成对于 MR扫描中描绘的感兴趣的特定解剖位置的伪CT预测模型150。
例如，系统500可以确定患者MR扫描310包括患者的前列腺的MR 图像。因此，与所公开的实施方式一致，系统500可以识别已经基于利用前列腺的一个或更多个MR扫描和CT扫描作为训练数据的训练数据110 构建和训练的伪CT预测模型。在实施方式中，多于一个伪CT预测模型可以是可用的，其中每个模型可以描绘例如前列腺的各种解剖方面。因此，可以生成多个伪CT预测模型，其中每个伪CT预测模型针对特定解剖区域(例如，针对前列腺的伪CT预测模型、针对右肺的伪CT预测模型、针对左肺的伪CT预测模型、针对大脑的伪CT预测模型等)。
在另一实施方式中，可以基于基于分类的特征例如组织分类来生成伪 CT预测模型150。例如，系统500可以使用图像特征提取模块111根据组织类别(例如，骨头、脂肪、肌肉、水、空气，以及结构类别例如心脏组织、肺组织、肝组织、脑组织等)对训练数据110中的每个MR扫描的图像体素进行分割。可以基于分割后的图像体素来生成对于每个MR扫描的多个分割图。图像特征可以从分割图中提取。对于每个体素，可以将分割图提取的图像特征与MR扫描提取的图像特征进行组合。可以针对每个训练受试体基于组合后的图像特征来确定MR特征向量。可以生成基于组合的MR特征向量和所提取的CT值的伪CT预测模型。如上所述，术语“组织”被用作分类，而不仅仅表示特定类型的组织(例如，空气不是组织)。
在又一实施方式中，用于生成伪CT图像的过程可以基于使用根据训练受试者的特征选择的训练数据。例如，系统500可以识别训练受试体的子集中的一个或更多个共同特征。例如，系统500可以识别与每个训练受试体相关联的年龄、性别、重量级别等，并且选择具有一个或更多个共同特征的训练受试体。在其他示例中，系统500可以基于训练数据110中的 MR扫描和CT扫描来识别训练受试体的一个或更多个特征。此外，系统 500可以识别患者(例如，新患者)的与训练受试体的子集相同的一个或更多个特征。例如，系统500可以识别患者的一个或更多个特征，并且将患者的特征与针对训练受试体识别到的特征进行比较，以识别共同特征。然后，系统500可以选择具有一个或更多个共同特征的训练受试体作为训练数据以训练和构建伪CT预测模型150。
图像特征可以从与训练受试体的特征相关联的MR扫描中提取，并且 CT数值可以从与训练受试体的特征相关联的CT扫描中提取。例如，系统500可以从训练数据110中的MR扫描中提取图像特征，并且可以从训练数据110中的CT扫描中提取CT值130，所述训练数据与和新患者具有共同特征的训练受试体的子集相关联。然后，可以针对该子集中的每个训练受试体基于所提取的图像特征确定MR特征向量。可以基于这些MR 特征向量和所提取的CT值来生成伪CT预测模型。
伪CT预测模型150可以使用所有的训练数据110进行训练，并且然后用于新患者的新MR扫描。伪CT预测模型150还可以用于所有将来的新患者。在一些实施方式中，同一伪CT预测模型150可能不能用于每个患者。伪CT预测模型150可以针对特定患者定制生成。例如，可以基于与新患者相似或相关的训练受试体来选择训练数据，并且可以针对新患者专门地构建模型。
医务人员可以发现评估患者的感兴趣的区域的MR特征和CT特征二者以确定最佳治疗或诊断是有益的。此外，可以使用伪CT模型来从MR 图像导出CT图像以促进放射疗法治疗计划中的患者剂量计算。对于根据 MR图像准确地生成伪CT图像以使患者免受由CT成像引起的额外的辐射暴露，这是期望的。为了代替真实的CT图像，伪CT图像应尽可能接近患者的真实CT图像，以在放射疗法治疗计划中进行剂量计算或者生成数字重建放射影像(DRR)以用于图像指导。然而，CT图像强度值(CT 值)与MR强度值之间不存在简单的数学关系。由于MR强度值未标准化并且可能根据不同的MR扫描仪设置或不同的MR成像序列参数而显著变化，所以出现困难。
图7是与所公开的实施方式一致的用于在模型已经被训练之后使用伪CT预测模型(如由图1和图6所描述的)生成伪CT值和伪CT图像 (如图3所述)的示例性过程700的流程图。在步骤710处，系统500可以接收与患者(例如，新患者)相关联的至少一个MR扫描(例如，MR 扫描310)。至少一个MR扫描可能没有对应的CT扫描。MR扫描被用于生成伪CT图像。
在步骤720处，处理器514可以确定MR图像的体素是否应该被分割。对MR扫描进行分割是可选的。处理器514可以从治疗计划软件511(图 5中示出)或者从用户接口(未示出)接收指示MR扫描是否应被分割的指令。如果是，则过程700沿分支722(例如，“是”)前进以对MR扫描进行分割。在步骤730处，根据例如组织分类来分割MR扫描的图像体素。可以根据本领域技术人员已知的分割技术来执行分割。例如，处理器514 可以使用k均值聚类分割方法、模糊C均值分割方法等来创建一个或更多个分割图。
处理器514还可以使用更先进的分割方法。例如，处理器514可以采用基于学习的方法或基于特征的方法来执行分割，其可以包括使用例如算法(例如，局部图案特征、界标特征、背景特征等)来构建分类预测模型以基于图像体素的特征来预测每个图像体素的组织标签。
在步骤732处，处理器514可以针对每个MR扫描基于分割后的图像体素生成多个分割图以创建分类预测模型。例如，二进制骨分割图可以是在标记为骨的体素处值等于“1”且在所有其他体素处值为“0”的图像。处理器514可以使用分割图从原始MR图像中提取附加特征。与所公开的实施方式一致，可以采用上面公开的基于学习的方法来训练和构建预测模型以用于生成一个或更多个分割图。可替选地，如果不需要分割MR扫描，则过程700沿分支724(例如，“否”)前进。
在步骤740处，处理器514可以从患者的MR扫描中提取图像特征。如果执行了上面所述的分割MR扫描的可选路径，则可以沿路径722提供所提取的图像特征。在步骤734处，处理器514可以将通过使用来自MR 扫描的分割图所提取的附加特征与直接从MR图像提取的特征进行组合，以针对每个数据点(例如体素)形成组合的特征集。
无论是否分割MR扫描，在图像特征已被提取之后，过程700(例如，沿路径744或路径736)进行至步骤750。在步骤750处，处理器514可以针对每个训练受试体根据所提取的图像特征来确定特征向量120。
在步骤760处，处理器514可以将MR特征向量120输入至伪CT预测模型150。在步骤770处，处理器514可以将伪CT预测模型150应用于输入的MR特征向量120以确定患者MR图像310的每个体素的CT数值(例如，伪CT值340)。
在步骤780处，基于伪CT值340，处理器514可以生成患者的伪CT 图像350。由此得到的伪CT图像350可以用于治疗计划中的剂量计算、生成DRR以用于图像指导等的目的。
图8示出了与所公开的实施方式一致的用于扩充训练数据以构建伪 CT预测模型的示例性方法的图。图8所示的方法还可以被称为级联训练技术或多阶段训练技术，其中，初始训练的预测模型用于产生中间预测结果，该中间预测结果又被用作训练数据的一部分以进一步改善预测模型。级联训练技术可以包括多个训练阶段。在每个阶段中，使用与通过在前一阶段中生成的预测模型产生的预测结果相结合的初始数据(例如，训练数据110)来训练预测模型。
在一个实施方式中，如上面关于图1所描述的，可以使用初始的训练数据集来初始地构建和训练伪CT预测模型150。作为初始训练过程的一部分，图像特征从多个图像扫描中提取，并且根据所提取的图像特征确定特征向量。另外，对应的CT值可以根据CT扫描确定。例如，针对每个训练受试体，至少一个CT图像应是可用的。在实施方式中，多个CT图像可以是可用的。如果多个CT图像可用，则可以对CT图像进行平均以减少图像噪声。伪CT模型可以在级联训练过程中的任何阶段进行训练。
在另一实施方式中，分类预测模型可以作为初始模型或任何中间模型来训练。如上所述，分类预测模型可以用于预测一个或更多个分割图，从所述一个或更多个分割图中可以提取基于分类的特征并且基于分类的特征可以在下一训练阶段被使用。
在示例性级联训练过程中，可以在多个阶段中以任意组合的方式来使用伪CT预测模型和分类预测模型，只要在上一阶段中训练和构建了伪CT 预测模型即可。
如图8所示，初始构建的预测模型被示出为模型#1。通过在训练阶段 #1期间处理原始训练数据例如每个MR扫描、每个CT扫描或者每对MR 扫描和CT扫描(例如，110a、110b)来生成模型#1。如上所述，模型#1 可以是伪CT预测模型或分类预测模型。然后，模型1可以在下一阶段的训练过程中被使用。例如，可以使用模型#1来生成多个预测结果(例如，预测结果1，阶段1；预测结果2，阶段1，…，预测结果N，阶段1)。例如，当模型#1是伪CT预测模型时，可以将训练受试体a的MR扫描用作至模型#1的输入(例如，好像训练受试体a是新患者，并且训练受试体a 的MR扫描是新的MR扫描)以生成伪CT预测结果1120a：预测结果1，阶段1。在另一示例中，当模型#1是分类预测模型时，模型#1的预测结果可以是分割图。可以类似地生成其他预测结果1120b…1120N。然后，可以将这些预测结果扩充至初始训练数据以形成扩充的训练数据1120。例如，通过将成对的MR扫描和CT扫描(例如，110a、110b、…、110N) 与根据模型#1生成的它们对应的预测结果(例如，1120a、1120b、…、1120N) 相关联，可以创建扩充的训练数据1120。扩充的训练数据1120可以由训练模块(例如，训练模块412)在下一训练阶段中使用以生成另一模型(例如，模型#2)。
以这种方式，可以在每个阶段生成新的、改善的、训练的模型(例如，模型#2、模型#3、…、模型#M)。可以通过将扩充的训练数据(例如，扩充的训练数据1120、1130等)应用于训练模块来改善在前一阶段中建立的模型。例如，可以使用包括通过模型#1生成的预测结果的扩充的训练数据1120来生成模型#2。为了生成模型#2，可以在训练阶段#2中将扩充的训练数据1120输入至训练模块(例如，训练模块412)。在一些实施方式中，通过模型#1生成的预测结果可以是针对每个训练受试体的图像(例如，伪CT图像)或图(例如分割图)。然后，可以使用例如图像特征提取模块111从预测结果(例如，图像或图)中提取图像特征。可以从预测结果中提取的图像特征可以包括在先前段落中论述的任何特征，例如强度特征、背景特征、块特征、局部图案特征、界标特征等。从预测结果中提取的特征可以与从原始MR图像中提取的特征进行组合以形成针对每个图像点的新的扩展的特征向量。扩展的特征向量可以用于下一训练阶段以训练例如模型#2。随着每个随后的预测模型(例如，模型#2)被使用其在先预测模型(例如，模型#1)的预测结果来构建和训练，从预测结果中揭露的新信息可以被添加至训练过程中，并且随后的预测模型的性能可以得到改进。使用扩充的训练数据(例如，扩充的训练数据1120、1130等)来训练每个随后的模型(例如，模型#1、模型#2、…等)的该过程继续，直到最终的预测模型模型#M被训练和构建。如果级联训练过程的目标是构建伪CT预测模型，则最终的模型模型#M是伪CT预测模型，而中间阶段的所有其他模型可以是任何模型。所使用的阶段的数目可以取决于对模型 #M的验证以准确预测CT值。例如，当通过最新的模型生成的伪CT预测值与原始CT值之间的差小于预定阈值时，该迭代过程可以停止。在另一示例中，当相继的伪CT预测模型的预测结果之间的差小于预定阈值时，迭代过程可以停止。
如上所述，级联训练技术适用于训练和构建伪CT预测模型和/或组织分类模型。当训练和构建组织分类模型时，每个中间预测模型(例如模型 #1、模型#2、…、模型#M-1)可以是组织分类模型，组织分类模型能够例如提供反映组织标签的分割图，而不是产生伪CT值。使用上面论述的多阶段训练过程，可以使用包括在先模型的预测结果的扩充数据来构建和训练每个组织分类模型，以在每个阶段不断地改善模型。另外，组织分类和伪CT预测可以在多阶段过程中混合。例如，在前K阶段中，训练的模型可以是组织分类模型，并且预测结果可以是组织分类结果。一旦组织分类模型被训练，则组织分类结果可以在K+1阶段中使用以预测伪CT值，其中，组织分类结果可以被用于提取与从MR扫描提取的其他特征结合的一组特征。可以执行单个额外阶段(例如，如果M＝K+1)或者可以执行附加的阶段直至达到M阶段(例如，如果M>K+1)。在该过程结束时，最终的预测模型模型#M被训练和构建以生成伪CT值。
图9示出了与所公开的实施方式一致的用于应用多级模型来预测伪 CT值的示例性过程的图。
如图9所示，处理器(例如，图5所示的处理器514)可以从图像获取装置440或者从数据库520、530(图5所示)获取一个或更多个患者的MR扫描310。
一旦获取了患者的MR扫描，则可以针对MR扫描的每个MR体素提取多个图像特征。如上面关于图2所论述的，所提取的图像特征可以包括局部图案特征212、界标特征214、背景特征216以及各种其他类型的特征218。特征可以与图像点、图像体素或图像样本相关联。如图9所示，图像特征提取模块311可以用于从MR扫描中提取图像特征。图像特征可以指MR体素的数值性质(例如，强度值、特征的坐标位置等)或分类性质(例如，组织类型、结构标签等)。如上所述，针对每个图像点提取的图像特征可以形成特征向量。例如针对MR扫描310的所有图像点的特征向量集(例如，320)可以被输入至模型#1(图8中在训练阶段1中生成的模型)。换句话说，处理器514可以将在图8的多阶段训练过程中在训练阶段1中生成的模型#1应用于从MR扫描310提取的特征向量集。模型#1可以输出预测结果#1 940(例如，伪CT值、分割图等，取决于模型 #1的类型)。随后，预测结果#1 940和MR扫描310可以被组合并且经历另一次图像特征提取311。因为预测结果#1 940提供了更多信息，所以可以由第二次提取产生更多的图像特征，或者由第二次提取产生的图像特征与由第一次提取产生的图形特征相比可以具有更好的质量。由第二次提取产生的图像特征可以形成MR特征向量集，所述MR特征向量集可以被输入至在图8的训练阶段2中生成的模型#2中以生成预测结果#2 950，所述预测结果#2 950可以与MR扫描310进行组合。图像特征提取模块311可以再次从所组合的预测结果#2 950和MR扫描310中提取MR特征向量集。重复该过程，直到应用最终的预测模型模型#M来生成伪CT值340。根据一些实施方式，应该以与训练过程中生成的模型的顺序相同的顺序来应用预测模型模型#1至模型#M。伪CT值340可以用于生成描绘患者的解剖几何形状的准确视觉表示的伪CT图像350。
在一些实施方式中，预测模型模型#1、模型#2、…、模型#M-1中的任一个可以是组织分类模型。例如，模型#1可以是分类模型。将模型 #1应用于从MR扫描310中提取的特征向量可以生成分类图，例如组织分类图。组织分类图与MR扫描310一起可以用作图像特征提取模块311 的输入以生成具有更多信息或改进的质量的特征向量，模型#2可以应用于该特征向量。可以重复类似的步骤以进一步改善特征向量。可以从多阶段训练过程(图8)提供一系列分类模型。例如，模型#1可以是分类模型A，模型#2可以是分类模型B等。分类模型A和分类模型B可以与相同组织类别但不同的改善相关联，或者可以与不同的组织类别相关联。如上所述，与所公开的实施方式一致，最终的预测模型#M是产生伪CT 值340的伪CT预测模型。
在一些实施方式中，可以使用包括多通道MR扫描和相应CT值的训练数据110(图1所示)来构建和训练预测模型。与单通道MR扫描相比，多通道MR扫描提供更多的信息。利用多通道MR图像可获得的增加的信息使得能够更准确且更稳健地预测CT值以生成伪CT图像。例如，多通道MR图像使得能够实现从MR强度值到固有组织参数值的转换。
MRI是允许通过操纵磁场和射频(RF)场来研究人体的各种性质(例如，结构性质和机能性质二者)的高度通用的成像技术。对于标准结构(或解剖)成像，所测量的MR信号(例如，MR图像强度)可以是几个固有组织参数的函数：质子密度(P)、纵向弛豫时间(T1)以及横向弛豫时间 (T2，或者考虑到磁场不均匀性效应时为
Figure GDA0002358176400000251
)。例如，对于FLASH和SPGR 成像协议(例如，还被称为成像序列)二者，根据式2，MR信号强度S可以表示为固有组织参数的函数(P、T1以及
Figure GDA0002358176400000252
)：
Figure GDA0002358176400000253
其中，TR、TE以及α是用户可以任意修改的MR获取参数。不同的参数可以用于产生不同的图像对比度。
为了根据MR图像预测CT数值，预测模型可以主要依赖于固有组织参数(P、T1以及
Figure GDA0002358176400000254
)，而不是取决于序列参数(TR、TE以及α)的MR 信号强度S，因为后者不表示——至少不直接表示——患者的解剖性质。
使用多通道MR图像使得能够对这些固有组织参数进行估计，因为多通道MR图像可以提供多个图像，其中每个图像具有序列参数(TR、TE以及α)的不同设置。因此，多通道MR图像使得能够通过求解其中S和序列参数(TR、TE以及α)的多个值已知的式2来对固有组织参数(P、T1以及
Figure GDA0002358176400000255
)进行估计。例如，为了估计所有三个未知参数(P、T1以及
Figure GDA0002358176400000256
)，需要三个MR图像(例如，三个通道)。使用额外的通道将通过降低图像噪声来提高参数估计的鲁棒性。
在一些实施方案中，用于实现所公开的方法的工作流包括两个阶段：训练(例如，模型构建)阶段和应用(例如，伪CT生成)阶段。在一些实施方式中，在训练数据被收集之后，仅需要计算一次训练阶段。在预测模型经过训练之后，在应用阶段，可以将训练后的模型应用于新的多通道 MR扫描以仅使用多通道MR扫描为新患者创建伪CT图像。在下面的描述中，图10和图11针对训练阶段，而图12针对预测阶段。
图10示出了用于使用根据多通道MR扫描估计的组织参数训练伪CT 预测模型的示例性过程的图。类似于图1所示的过程，可以收集来自既具有CT扫描又具有多通道MR扫描的多个训练受试体的训练数据。例如，如图10所示，可以针对受试者a收集多通道MR图像数据1010a和CT 图像数据1014a。多通道MR数据1010a可以包括使用不同的序列参数集获得的多个MR图像。类似地，可以针对受试体b获取多通道MR图像数据1010b和CT图像数据1014b。多通道MR图像数据和CT图像数据可以从图像获取装置(例如，440)或从图像数据库(例如，520、530)来获取。数据获取/收集过程持续进行直至第n组数据(例如，1010n和1014n) 已经包括在训练数据中。在一个实施方式中，除了图10中的MR图像数据是多通道MR数据而图1中的MR数据可以是单通道MR数据或多通道 MR数据之外，图10中所示的训练数据与图1中的训练数据110类似。
在一些实施方式中，CT扫描(例如，1014a)和多通道MR扫描(例如，1010a)是对准的。如果没有，则可以应用自动或半自动图像配准或对准程序来将它们对准。如上所述，对准的一对CT图像和MR图像意味着对于每个体素(例如，指示图像的空间位置)，对应的CT图像值和MR 图像值是已知的或者对应关系是已知的。另外，MR图像也可以经历一些程序以用于校正几何失真。
本申请公开了使用训练数据构建和训练预测模型的基于学习的方法。在实施方式中，预测模型可以是回归模型或回归函数，因为预测模型的输出可以是连续变量(例如，CT值)。
可以使用许多统计或机器学习的方法来构建和/或训练预测模型，该预测模型可以基于从MR图像导出的特征来预测CT图像强度(还被称为 CT值或CT数值)。例如，监督学习是机器学习的分支，其可以用于基于训练数据集来确定预测模型。训练数据的每个样本都是包括输入数据(例如，测量结果或特征的向量)和期望的输出值(例如，监督信号)的对。当输出变量是数值的或连续的时——这在生成伪CT图像的应用中通常是真实的，监督学习算法可以分析训练数据并且产生预测函数(例如，回归函数)。各种算法可以被应用于确定预测模型，包括但不限于：支持向量机、神经网络、决策树以及随机森林。
一旦使用训练数据进行了训练，则预测模型可以被用于针对同一患者或不同患者的多通道MR扫描的任意新的集合来生成伪CT图像。
本申请的实施方式可以将MR强度值(例如，S)转换成固有组织参数(例如，P、T1、T2或
Figure GDA0002358176400000261
)，并且可以基于固有组织参数来构建预测模型。如上所述，与CT成像相比，使用MR成像的能力提供了更大的灵活性和更少的辐射暴露，但是MR强度值不能直接用于剂量计算，因为它们是依赖于序列的。使用固有组织参数而不是使用原始MR强度值训练预测模型可以提供不依赖于序列的预测模型。不依赖于序列会是有利的，因为成像序列或序列参数可易于修改，并且在不同诊所之间通常显著变化。通过将预测模型设计成不依赖于序列，可以将从不同MR扫描仪、不同MR 成像序列或者不同诊所获取的数据一起使用——如果MR序列可以被用于估计固有组织参数的话。另外，新患者的MR成像序列不需要与由训练数据使用的MR成像序列相同。因此，用户可以自由地为将来的患者设计新的MR成像序列，而不需要获取新的训练数据来训练预测模型。
为了基于组织参数来构建预测模型，需要针对每个患者将MR图像强度转换成组织参数值。这可以通过在患者的MR图像的每个图像点(例如，体素)处求解MR成像等式(例如，式2)来实现。可以产生组织参数图像(还被称为组织参数图)的集合。该集合可以包括用于每个组织参数的一个组织参数图。例如，集合可以包括P的图、T1的图以及T2或
Figure GDA0002358176400000271
的图。组织参数值是反映患者身体的下层组织或器官的性质的固有值。此外，因为对于每个训练受试体，CT图像与MR图像是对准的，所以CT图像还与根据MR图像生成的组织参数图是对准的。
如图10所示，可以基于多通道MR图像数据生成针对每个训练受试体的组织参数图。例如，受试体a的组织参数图1012a可以包括所有三个组织参数图的集合。在一些实施方式中，如果难以根据多通道MR图像来估计所有组织参数，则也可以仅使用组织参数的子集来构建模型。一旦获得每个训练受试体的组织参数图(例如，1012b，…，1012n)，则组织参数图可以与对应的CT图像一起被用于使用训练模块1045(例如，使用统计或机器学习技术)来构建和训练伪CT预测模型1050。在一些实施方式中，对于每个图像点(例如，体素)，组织参数集可以被视为包括在如图 1中所描述的特征向量中的特征。例如，如果使用所有三个组织参数，则可以构建特征向量[P，T1，
Figure GDA0002358176400000272
]。该组织参数特征向量可以单独使用，或者与结合图2所讨论的用于构建和训练预测模型的其他特征组合使用。上面讨论的构建和训练预测模型150的公开技术也适用于构建和训练预测模型1050的过程。
图11是使用多通道MR数据构建伪CT预测模型的示例性方法1100 的流程图。方法1100可以由系统500实现。在步骤1110处，处理器514 可以接收包括多通道MR数据(例如，1010a、1010b等)和CT数据(例如1014a、1014b等)的训练数据。多通道MR数据可以包括对应一个或更多个患者的多通道MR图像。在一些实施方式中，多通道MR数据可以包括对应每个患者的至少两个多通道MR图像。可以使用不同的成像序列参数来获得同一患者的多通道MR图像。CT数据可以包括对应一个或更多个患者的CT图像。在一些实施方式中，CT数据可以包括对应每个患者的至少一个CT图像。如果多个CT图像可用，则可以对它们进行平均以降低图像噪声。对于给定患者，可以将CT图像和多通道MR图像对准。在一些实施方式中，如果CT图像和多通道MR图像未对准，则可以使用图像配准技术来将它们对准。
在步骤1120处，处理器514可以基于来自多通道MR数据的MR强度来确定至少一个组织参数图(例如，1012a、1012b等)。例如，P、T1或
Figure GDA0002358176400000281
中的至少一个组织参数图可以使用患者的多个MR图像的MR强度值通过求解式2来估计。因为式2是非线性等式，所以可以使用拟合技术基于多组MR强度((S)和序列参数(TR、TE以及α)来估计组织参数值，其中，所述多组MR强度((S)和序列参数(TR、TE以及α)基于多通道 MR数据而是已知的。如上所述，优选所有三个组织参数图，但是也可以使用组织参数图的子集。
在一些实施方案中，可以通过估计各个图像点来生成组织参数图。例如，可以在每个图像点处估计包括若干种组织参数(例如，P、T1、T2或者
Figure GDA0002358176400000282
)的组织参数值集。然后，对应的组织参数图可以被形成为特定种类的所有组织参数值的集合。
在步骤1130处，处理器514可以获得与在步骤1120处生成的组织参数图相对应的CT值。在一些实施方式中，CT值可以是与组织参数图相同患者的CT图像的CT强度值。如上所述，因为CT图像与MR图像是对准的，所以CT图像也与根据MR图像转换的组织参数图是对准的。
在步骤1140处，处理器514可以基于CT值和组织参数图生成伪CT 预测模型(例如，1050)。在一些实施方式中，可以将CT值和组织参数图输入至训练模块(例如，1045)以训练伪CT模型1050。训练模块1045 可以使用回归方法例如统计学习或机器学习技术来训练预测模型。训练后的预测模型1050可以是可以被用于基于一个或更多个组织参数值(例如，P、T1、T2、
Figure GDA0002358176400000283
)预测CT数值的数学或统计模型。如上所述，虽然优选使用所有组织参数，但是也可以仅使用组织参数的子集来构建模型。
图12是用于使用多通道MR图像生成患者的伪CT图像的示例方法 1200的流程图。方法1200可以由系统500实现，并且可以用于使用通过方法1100构建的预测模型(例如，1050)生成新患者的伪CT图像。
在步骤1210处，处理器514可以从例如图像获取装置440或数据库 520、530接收患者(例如，新患者)的多通道MR图像。所接收的多通道MR图像可能没有对应的CT图像。在步骤1220处，处理器514可以将多通道MR图像转换成至少一个组织参数图。例如，处理器514可以通过使用拟合技术等求解式2来将多通道MR图像转换成组织参数图。可以通过转换过程1220生成一个或更多个组织参数图，例如P、T1、T2和/或
Figure GDA0002358176400000291
的图。如上所述，虽然优选具有所有组织参数图，但是在一些实施方式中也可以使用图的子集。
在步骤1230处，处理器514可以将预测模型(例如，1050)应用于组织参数图。例如，可以将转换后的组织参数图用作预测模型的输入。在一些实施方式中，预测模型可以按逐点的方式进行操作，其中，预测模型基于在患者图像(例如，伪CT图像)的每个位置处计算的组织参数值来预测该位置处的CT数值。也可以使用更复杂的预测模型。例如，模型可以考虑每个点附近的组织参数值，这可以提高相对于数据噪声的鲁棒性。模型还可以基于组织参数值和其他信息例如图像点位置或者可以从组织参数图——例如纹理、梯度等——导出的其他特征的组合来进行预测。
在步骤1240处，可以通过集合从步骤1230得到的伪CT值来生成患者的伪CT图像。
为了训练预测模型，并且使用该模型来预测伪CT值，可以使用参数化方法例如线性回归或普通最小二乘回归。在这些参数化方法中，回归函数是根据有限数目的未知模型参数定义的，这些未知模型参数可以根据输入数据进行估计。例如，回归模型可以被定义为：
H≈f(X，β)
其中，H表示要预测的CT值，X表示输入变量的向量，例如组织参数值(P、 T1以及
Figure GDA0002358176400000292
(或T2))，并且β表示回归模型的未知模型参数的向量。一个示例性模型是如下定义的线性回归模型：
Figure GDA0002358176400000293
在训练阶段，训练数据可以提供大量的观察值，例如，一组已知的H 值(例如，在步骤1130处通过CT扫描来提供)与对应的P、T1以及
Figure GDA0002358176400000294
值 (例如，在步骤1120处通过转换MR扫描来提供)。使用这些观察数据，随后可以计算或训练(例如，使用最小二乘拟合)模型参数β。一旦在训练之后获得β，则该模型可以随后被用于针对一组新的P、T1以及
Figure GDA0002358176400000301
值来计算H(例如，在预测阶段使用方法1200)。
在一些实施方案中，代替或除了使用组织参数作为预测模型的输入数据，也可以收集其他信息。例如，可以计算或收集的额外的特征包括但不限于：
·图像点的坐标，或者关于外部参考空间或关于一个或几个内部界标点归一化的坐标；
·在采样点位置处计算的组织参数图的曲率；
·在采样点位置处计算的组织参数图的纹理测度；以及
·局部组织参数值的块，例如，样本点的5×5×5邻域内的组织参数值。
基于本说明书的书面描述和方法的计算机程序在软件开发人员的技能范围内。可以使用各种软件编程技术来创建各种程序或程序模块。例如，程序段或程序模块可以以或者借助于Java、Python、C、C++、汇编语言或任何已知的编程语言来设计。这样的软件部分或模块中的一个或更多个可以集成到计算机系统和/或计算机可读介质中。
此外，虽然本文已经描述了说明性的实施方式，但是该范围包括具有基于本公开内容的等同元素、修改、省略、组合(例如，跨各种实施方式的各方面的组合)、适应性调整、替代内容的任何及所有实施方式。权利要求中的元素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的审查期间描述的示例，这些示例将被解释为是非排他性的。因此，旨在将说明书和示例仅视为示例，而真正的范围和精神由所附权利要求书及其等同内容的全部范围来指示。

Claims (15)

1.一种用于生成伪CT预测模型的系统，包括：
数据库(422)，其被配置成存储包括多个训练受试体的多通道磁共振(MR)数据和计算机断层摄影(CT)数据的训练数据，针对每个训练受试体，所述训练数据包括一组多个MR图像和至少一个CT图像，至少两组多个MR图像具有不同的序列参数；
处理器(514)，其通信耦接至所述数据库(422)，用于访问存储在所述数据库(422)中的信息；
存储器(510)，其通信耦接至所述处理器(514)，所述存储器(510)存储指令，所述指令在由所述处理器(514)执行时将所述处理器(514)配置成执行操作，所述操作包括：
访问所述数据库(422)以检索包括针对所述多个训练受试体中的每个训练受试体的所述一组多个MR图像和所述至少一个CT图像的所述训练数据；
针对每个训练受试体：
基于所述多个MR图像来确定至少一个组织参数图；以及
基于所述至少一个CT图像来获得CT值；以及
基于所述多个训练受试体的所述组织参数图和所述CT值来生成所述伪CT预测模型(150)。
2.根据权利要求1所述的系统，其中，所述至少一个组织参数图选自由以下构成的组：
质子密度图；
纵向弛豫时间图；以及
横向弛豫时间图。
3.根据权利要求1所述的系统，其中，基于所述多个MR图像来确定至少一个组织参数图包括：
获得与所述多个MR图像中的每个MR图像相关联的序列参数；以及
基于所述多个MR图像的在其与所述组织参数图的图像点相对应的各个图像位置处的序列参数和MR图像强度值来针对所述至少一个组织参数图的每个图像点估计组织参数值。
4.根据权利要求1所述的系统，其中，所述多个MR图像包括至少三个多通道MR图像。
5.根据权利要求1所述的系统，其中，所述训练数据包括针对所述多个训练受试体中的至少一个训练受试体的多个CT图像，并且所述操作包括：
对所述多个CT图像的相应图像点的CT值进行平均。
6.根据权利要求1所述的系统，其中，所述操作包括：
针对所述多个训练受试体中的每个训练受试体，将所述多个MR图像和所述至少一个CT图像进行对准。
7.根据权利要求1所述的系统，其中，所述操作包括：
从每个训练受试体的所述多个MR图像或所述至少一个组织参数图提取一个或更多个特征；以及
基于所述多个训练受试体的所述组织参数图、所提取的特征和所述CT值来生成所述伪CT预测模型(150)。
8.根据权利要求7所述的系统，其中，从所述多个MR图像或所述至少一个组织参数图提取的所述一个或更多个特征包括以下中的至少一个：
图像点的坐标；
相对于所述MR图像外部的参考点的归一化坐标；
相对于所述MR图像内的一个或更多个界标点的归一化坐标；
所述至少一个组织参数图中的一个或更多个曲率；
所述至少一个组织参数图的一个或更多个纹理测度；或者
所述至少一个组织参数图中的一个或更多个图像块。
9.一种用于生成伪CT图像的计算机实现的方法，包括：
接收患者的多个多通道磁共振(MR)图像，所述多个多通道MR图像具有第一组序列参数；
将所述多个多通道MR图像转换成至少一个组织参数图；
通过将预测模型(150)应用于所述至少一个组织参数图来生成CT值，所述预测模型是用包括第二组多个多通道MR图像的训练数据训练的，所述第二组多个多通道MR图像具有不同于所述第一组序列参数的第二组序列参数；以及
基于通过所述预测模型(150)生成的所述CT值来生成所述伪CT图像。
10.根据权利要求9所述的方法，其中，所述至少一个组织参数图选自由以下构成的组：
质子密度图；
纵向弛豫时间图；以及
横向弛豫时间图。
11.根据权利要求9所述的方法，其中，将所述多个多通道MR图像转换成所述至少一个组织参数图包括：
获得与所述多个MR图像中的每个MR图像相关联的序列参数；以及基于所述多个MR图像的在其与所述组织参数图的图像点相对应的各个图像位置处的序列参数和MR图像强度值来针对所述至少一个组织参数图的每个图像点估计组织参数值。
12.根据权利要求9所述的方法，其中，所述多个多通道MR图像包括至少三个多通道MR图像。
13.根据权利要求9所述的方法，其中，所述方法包括：
从图像获取装置(440)接收所述多个多通道MR图像。
14.根据权利要求9所述的方法，其中，所述方法包括：
从MR图像数据库(520，530)接收所述多个多通道MR图像。
15.一种承载机器可读指令的机器可读介质，所述指令在由机器的一个或更多个处理器执行时，使所述机器执行根据权利要求9至14中任一项所述的方法，或者使所述机器被配置为根据权利要求1至8中任一项所述的系统。
CN201680072849.7A 2015-10-13 2016-10-12 使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质 Active CN108778416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/881,939 2015-10-13
US14/881,939 US10102451B2 (en) 2015-10-13 2015-10-13 Pseudo-CT generation from MR data using tissue parameter estimation
PCT/US2016/056635 WO2017066317A1 (en) 2015-10-13 2016-10-12 Pseudo-ct generation from mr data using tissue parameter estimation

Publications (2)

Publication Number Publication Date
CN108778416A CN108778416A (zh) 2018-11-09
CN108778416B true CN108778416B (zh) 2020-06-19

Family

ID=57178551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072849.7A Active CN108778416B (zh) 2015-10-13 2016-10-12 使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质

Country Status (7)

Country Link
US (2) US10102451B2 (zh)
EP (1) EP3362146B1 (zh)
JP (2) JP7030050B2 (zh)
CN (1) CN108778416B (zh)
AU (1) AU2016339009B2 (zh)
RU (1) RU2018117507A (zh)
WO (1) WO2017066317A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102451B2 (en) * 2015-10-13 2018-10-16 Elekta, Inc. Pseudo-CT generation from MR data using tissue parameter estimation
JP6748207B2 (ja) * 2015-12-18 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 患者特有の局所的に変化するマージンを決定する方法
WO2018085788A1 (en) * 2016-11-04 2018-05-11 The University Of North Carolina At Chapel Hill Office Of Commercialization And Economic Development Methods, systems, and computer readable media for smart image protocoling
EP3441003B1 (en) 2017-08-08 2020-07-22 Siemens Healthcare GmbH Method for performing digital subtraction angiography, hybrid imaging device, computer program and electronically readable storage medium
TWI637187B (zh) * 2017-09-19 2018-10-01 臺北榮民總醫院 磁共振影像的分析方法及評估放射治療風險的方法
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
JP6810675B2 (ja) * 2017-11-16 2021-01-06 東京エレクトロンデバイス株式会社 情報処理装置及びプログラム
US10878529B2 (en) * 2017-12-22 2020-12-29 Canon Medical Systems Corporation Registration method and apparatus
US11410086B2 (en) * 2018-02-22 2022-08-09 General Electric Company System and method for class specific deep learning
EP3543911A1 (en) * 2018-03-22 2019-09-25 Koninklijke Philips N.V. Anomaly detection using magnetic resonance fingerprinting
US10453224B1 (en) * 2018-03-27 2019-10-22 Ziwei Lin Pseudo-CT generation with multi-variable regression of multiple MRI scans
US10657410B2 (en) * 2018-04-13 2020-05-19 Siemens Healthcare Gmbh Method and system for abnormal tissue detection using z-scores in a joint histogram
EP3617733A1 (en) * 2018-08-30 2020-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and apparatus for processing magnetic resonance data using machine learning
US10594027B1 (en) * 2018-08-31 2020-03-17 Hughes Networks Systems, Llc Machine learning models for detecting the causes of conditions of a satellite communication system
WO2020082207A1 (en) 2018-10-22 2020-04-30 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for attenuation correction
CN109697741B (zh) * 2018-12-28 2023-06-16 上海联影智能医疗科技有限公司 一种pet图像重建方法、装置、设备及介质
CN109785405A (zh) * 2019-01-29 2019-05-21 子威·林 利用多组磁共振图像的多变量回归生成准ct图像的方法
JP7467145B2 (ja) 2019-02-08 2024-04-15 キヤノンメディカルシステムズ株式会社 放射線治療計画装置
JP7195961B2 (ja) * 2019-02-08 2022-12-26 キヤノンメディカルシステムズ株式会社 医用処理装置、ｘ線ｃｔシステム及び処理プログラム
US11969283B2 (en) 2019-04-26 2024-04-30 Spectronic Ab Generating synthetic electron density images from magnetic resonance images
CN110270015B (zh) * 2019-05-08 2021-03-09 中国科学技术大学 一种基于多序列MRI的sCT生成方法
US11282218B2 (en) * 2019-11-25 2022-03-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for providing medical guidance using a patient depth image
US11348243B2 (en) 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US11562482B2 (en) 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models
US11554496B2 (en) * 2020-04-03 2023-01-17 Fanuc Corporation Feature detection by deep learning and vector field estimation
JP6989860B2 (ja) * 2020-05-02 2022-01-12 Ａｒｉｔｈｍｅｒ株式会社 画像検査装置、画像検査方法及びプログラム
CN111626972B (zh) * 2020-06-02 2023-06-02 上海鹰瞳医疗科技有限公司 Ct图像重构方法、模型训练方法及设备
JP7487096B2 (ja) 2020-12-24 2024-05-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御システム及び制御方法
KR20220128505A (ko) * 2021-03-11 2022-09-21 한국과학기술연구원 인공지능 기반 mri-ct 영상 변환 방법 및 이를 이용한 초음파 치료 장치
CN113255756B (zh) * 2021-05-20 2024-05-24 联仁健康医疗大数据科技股份有限公司 图像融合方法、装置、电子设备及存储介质
CN114882996B (zh) * 2022-03-17 2023-04-07 深圳大学 基于多任务学习的肝细胞癌ck19及mvi预测方法
US20230377721A1 (en) * 2022-05-19 2023-11-23 Elekta Ltd. Jointly trained machine learning models for automatic contouring in radiotherapy applications

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
US8218848B2 (en) * 2008-07-23 2012-07-10 Siemens Aktiengesellschaft System and method for the generation of attenuation correction maps from MR images
US8774482B2 (en) * 2010-05-20 2014-07-08 Siemens Aktiengesellschaft Generating pseudo-CT image volumes from ultra-short echo time MR
JP2015516194A (ja) 2012-03-29 2015-06-11 コーニンクレッカ フィリップス エヌ ヴェ 個々のピクセルもしくはボクセルに組織固有のｐｅｔ減衰値を割り当てるｍｒｉ方法
US9135695B2 (en) * 2012-04-04 2015-09-15 Siemens Aktiengesellschaft Method for creating attenuation correction maps for PET image reconstruction
US9392958B2 (en) * 2012-05-30 2016-07-19 Siemens Aktiengesellschaft Method of attenuation correction of positron emission tomography data and combined positron emission tomography and magnetic resonance tomography system
FR2994481B1 (fr) * 2012-08-07 2014-08-29 Snecma Procede de caracterisation d'un objet en materiau composite
US9256965B2 (en) * 2013-01-30 2016-02-09 Impac Medical Systems, Inc. Method and apparatus for generating a derived image using images of different types
CN105263407B (zh) 2013-04-02 2018-09-14 皇家飞利浦有限公司 使用磁共振成像的对骨组织的探测
WO2015081079A1 (en) 2013-11-26 2015-06-04 Henry Ford Innovation Institute Software for using magnetic resonance images to generate a synthetic computed tomography image
CN113842566A (zh) 2013-12-31 2021-12-28 威斯康星州医药大学股份有限公司 基于多模态成像的自适应重计划
US10223794B2 (en) 2014-03-28 2019-03-05 Koninklijke Philips N.V. Method and device for generating one or more computer tomography images based on magnetic resonance images with the help of tissue class separation
CN106462948B (zh) 2014-04-01 2019-06-25 皇家飞利浦有限公司 一种估计伪亨氏单位值的方法
US10102451B2 (en) * 2015-10-13 2018-10-16 Elekta, Inc. Pseudo-CT generation from MR data using tissue parameter estimation
US10307108B2 (en) * 2015-10-13 2019-06-04 Elekta, Inc. Pseudo-CT generation from MR data using a feature regression model

Also Published As

Publication number Publication date
RU2018117507A3 (zh) 2020-02-27
EP3362146A1 (en) 2018-08-22
US20190042885A1 (en) 2019-02-07
JP7030050B2 (ja) 2022-03-04
WO2017066317A1 (en) 2017-04-20
JP2018535732A (ja) 2018-12-06
AU2016339009A1 (en) 2018-04-26
AU2016339009B2 (en) 2020-02-06
US20170103287A1 (en) 2017-04-13
JP2021049424A (ja) 2021-04-01
US10102451B2 (en) 2018-10-16
RU2018117507A (ru) 2019-11-14
US10664723B2 (en) 2020-05-26
EP3362146B1 (en) 2020-03-25
CN108778416A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
US11944463B2 (en) Pseudo-CT generation from MR data using a feature regression model
CN108778416B (zh) 使用组织参数估计根据mr数据的伪ct生成的系统、方法和介质
US11386557B2 (en) Systems and methods for segmentation of intra-patient medical images
US11954761B2 (en) Neural network for generating synthetic medical images
US10149987B2 (en) Method and system for generating synthetic electron density information for dose calculations based on MRI
CN108815721B (zh) 一种照射剂量确定方法及系统
Nasief et al. Predicting necessity of daily online adaptive replanning based on wavelet image features for MRI guided adaptive radiation therapy
US20240185477A1 (en) Neural network for generating synthetic medical images
Meharban et al. A comprehensive review on MRI to CT and MRI to PET image synthesis using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant