CN114945406A - 使用机器学习的重建受运动影响的处置剂量的局部形变图 - Google Patents

使用机器学习的重建受运动影响的处置剂量的局部形变图 Download PDF

Info

Publication number
CN114945406A
CN114945406A CN202080093427.4A CN202080093427A CN114945406A CN 114945406 A CN114945406 A CN 114945406A CN 202080093427 A CN202080093427 A CN 202080093427A CN 114945406 A CN114945406 A CN 114945406A
Authority
CN
China
Prior art keywords
treatment
specific model
machine learning
target
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093427.4A
Other languages
English (en)
Inventor
C·R·小毛雷尔
艾里克·斯楚纳尔
R·霍洛韦
J·谢
C·B·弗雷德里克
K·罗佐夫斯基
R·E·布罗德赫斯特
M·福斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accuray Inc
Original Assignee
Accuray Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accuray Inc filed Critical Accuray Inc
Publication of CN114945406A publication Critical patent/CN114945406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1031—Treatment planning systems using a specific method of dose optimization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1037—Treatment planning systems taking into account the movement of the target, e.g. 4D-image based planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1077—Beam delivery systems
    • A61N5/1081—Rotating beam systems with a specific mechanical construction, e.g. gantries
    • A61N5/1082—Rotating beam systems with a specific mechanical construction, e.g. gantries having multiple beam rotation axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1051—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an active marker
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1077—Beam delivery systems
    • A61N5/1083—Robot arm beam systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Radiation-Therapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包括：将靶对象的处置规划图像输入到机器学习系统中。该方法还包括：通过机器学习系统，确定处置规划图像的第一靶对象特定模型。该方法还包括：通过处理装置，将第一靶对象特定模型应用于处置规划图像，以生成与靶对象的多个位置中的第一位置相对应的经变换处置规划图像。该方法还包括：将经变换处置规划图像与参考图像进行比较。该方法还包括：基于该比较，修改第一靶对象特定模型的一个或多于一个参数，以生成与多个位置中的第二位置相对应的第二靶对象特定模型。该方法还包括：基于第二靶对象特定模型来控制处置装置以向靶对象递送处置。

Description

使用机器学习的重建受运动影响的处置剂量的局部形变图
相关申请的交叉引用
本申请根据美国法典第35条第119(e)款而要求于2020年11月13日提交的美国专利申请17/098,215的权益，该美国专利申请要求于2019年11月25日提交的美国临时申请62/940,037的权益，这两个申请的公开内容通过引用而被全部包含于此。
技术领域
本发明涉及用于重建受运动影响的处置剂量的局部形变图，并且特别涉及用于使用机器学习来生成和利用用于重建受运动影响的处置的局部形变图的系统和方法。
背景技术
在放射处置中，经由来自患者体外的源的放射处置束而递送的放射剂量被递送至体内的靶区域，以破坏肿瘤细胞。必须注意以在使由处置剂量递送至预期处置区域的放射量最大化的同时、使被递送至非处置区域的放射量最小化。
附图说明
根据以下给出的详细描述以及本发明的各种实现的附图，将更全面地理解本发明。
图1A示出根据本文描述的实施例的螺旋放射递送系统。
图1B示出根据本文描述的实施例的可以使用的机器人放射处置系统。
图1C示出根据本文描述的实施例的基于C形臂机架的放射处置系统。
图2A描绘根据本发明实施例的自编码器和2D/3D配准的方法的流程图。
图2B描绘根据本发明实施例的学习规划图像的低维度变形的自编码器网络的方法的流程图。
图3A描绘根据本发明实施例的一般机器学习方法的流程图。
图3B描绘根据本发明实施例的使用直接方法来学习模型的流程图。
图3C描绘根据本发明实施例的使用拔靴法(bootstrapping method)来学习模型的流程图。
图4A描绘根据本发明实施例的使用分离的直接方法来学习模型的流程图。
图4B描绘根据本发明实施例的使用对象特定的生成对抗方法来学习模型的流程图。
图4C描绘根据本发明实施例的使用具有同时模型细化的类似GAN的方法来学习模型的流程图。
图4D描绘根据本发明实施例的变形模型学习改造的方法的流程图。
图5描绘根据本发明实施例的用于使用机器学习来生成用于重建受运动影响的处置剂量的局部形变图的方法的流程图。
图6示出根据本文描述的实施例的可用于生成用于重建受运动影响的处置剂量的局部形变图的不同系统的示例。
具体实施方式
本发明的实施例涉及图像引导处置的领域，并且特别涉及用于使用机器学习技术的用于重建受运动影响的处置的局部形变图的系统。在各种实施例中，本文提供的系统和方法描述从单个图像生成和使用患者内变换模型以用于放射治疗应用、并且通过生成图像变形来减少外观变化对配准的影响。
在一个实施例中，放射处置治疗的组成部分可以是估计在处置时间的规划图像的空间和患者的空间之间的变换。理想地，该变换可以在处置时间从一些有限的、低延迟的哨兵(sentinel)信息(诸如2D投影图像或光学标记位置等)获得，使得变换可以在时间上准确。这种变换对于许多形式(具体是靶跟踪、剂量累积和预测规划方面)的在线适应可能是有价值的。事实上，如果具有良好的患者特定变换模型，则可以解决自适应放疗的图像分析部分。
在一个实施例中，可以在处置时间从2D投影确定的可信变换可以通过少量参数来描述(例如，在其他情况下可能存在将暗示相同投影的许多可能变换)，并且这些参数所跨越的空间可以由可信变换组成(例如，将不太可能的变换从搜索空间中排除)。例如，如果变换模型描述呼吸，则所有合理的参数选择都应产生可信呼吸。在受呼吸影响的部位，可以在呼吸相关计算机断层扫描(RCCT)的阶段之间使用主成分分析(PCA)构建这样的模型。类似地，也可以证明通过构建而具有少量自由度的刚性和其他线性变换的配准。
在一个实施例中，对于呼吸运动模型，可以在规划时间从RCCT确定用于模型构建的信息。对于诸如骨盆等的在分次间(inter-fractional)时间尺度上观察变换的其他部位，可能不是这种情况。此外，呼吸模型也可能受到这些分次间变换的影响，并且这种呼吸运动模型和RCCT的准确度通常可能低于标准。理想地，这样的模型将是基于在类似图像中观察到的变换从单个规划图像可构建的，并且可推广到患者可能经历的可能变换。
在一个实施例中，可以如下构建简单的运动模型：将所有图像配准在一起以形成以某种方式位于中心的“均值”图像以及从均值图像到各个阶段图像的变换集，并且直接对通过分组配准所产生的位移向量场进行PCA。这样得到了均值位移向量μ和N个特征向量v，使得前几个特征向量的线性组合很好地近似训练集中的所有变换。
将参数视为前1至3个特征向量的线性组合(产生位移向量场的总和)上的乘数，这可以产生具有1至3个参数的合理且可信的患者特定呼吸模型。这些特征向量可以被称为变化模态。在一个实施例中，类似的处理可能不用于男性骨盆，因为与可以从合理数量的患者图像中学习到的相比，变换更复杂。可以针对男性骨盆构建患者特定变换模型，但上述过程在一些情况下可能不成功。为了解决该问题并降低该方法的工程复杂性，期望将来自多个患者的变换信息组合成单个部位特定的变换模型，然后可以将其应用于新患者。
在一个实施例中，为了构建多患者变换模型，可以将来自数个患者的PCA模型配准到公共图谱(atlas)空间，在这里进行组合，然后重新配准到新患者。在一个实施例中，当变化模态跨患者变换的空间被变换到公共空间时，这些变化模态经历未知的变化。
尽管能够或也许能够用线性降维来描述患者特定的变换模型，但先前方法的失败表明运输问题的解决方案是非线性的。
本发明提出了对该配准问题的解决方案，其中，考虑到单个患者规划图像，可以产生变换模型，该变换模型生成有可能在处置过程中观察到的该规划图像的可信非刚性变换，使得可以从少量2D投影确定该变换模型的参数(以及由此确定该变换)。
本文描述的方法试图通过提供示例数据并使用被称为自编码器(其适合于降维和充分生成这两者)的神经网络拓扑来避免解决上述问题。也就是说，自编码器可以适合于找到数据的低维度表示(降低)和从该低维度表示重建该数据(生成)这两者。该生成并不总是可用于非线性维度重建方法，这使自编码器非常适合于该问题。
在一个实施例中，术语“靶”、“靶区域”、“靶对象”等可以是指处置区域(例如，肿瘤)附近(一些定义的接近度内)的一个或多于一个基准点(fiducial)。在另一实施例中，靶可以是骨结构。在又一实施例中，靶可以是指患者的软组织。如本文所述，靶可以是能够被识别并跟踪的任何定义结构或区域(包括整个患者本身)。
图1A示出根据本发明实施例的螺旋放射递送系统800。螺旋放射递送系统800可以包括安装到环形机架820的直线加速器(LINAC)850。LINAC 850可用于通过指引电子束朝向x射线发射靶来生成放射束(即，处置束)。处置束可以向靶区域(即，肿瘤)递送放射。处置系统还包括与LINAC 850的远端耦接的多叶准直器860。如本文所述，MLC 860可以是eMLC。MLC包括用于容纳多个叶的壳体，其中这多个叶可移动以调整MLC的孔径来使得能够进行处置束的成形。环形机架820具有圆环(toroidal)形状，其中患者830延伸穿过环/圆环的孔，并且LINAC 850安装在环的圆周上且围绕穿过中心的轴转动，以利用从患者周围的一个或多于一个角度所递送的束辐照靶区域。在处置期间，患者830可以同时在处置床840上移动通过机架的孔。
螺旋放射递送系统800包括成像系统，该成像系统包括作为成像源的LINAC 850以及x射线检测器870。LINAC 850可用于通过将一系列x射线束指引到患者830的感兴趣区域(ROI)处来生成ROI的兆伏级(mega-voltage)x射线图像(MVCT)、并生成处置前图像，其中该一系列x射线束入射到与LINAC 850相对的x射线检测器870上以对患者830进行成像从而进行摆位(setup)。在一个实施例中，螺旋放射递送系统800还可以包括二次成像系统，该二次成像系统由kV级成像源810组成，该kV级成像源810相对于LINAC 850正交(例如，相隔了90度)地安装在环形机架820上，并且可以被对准以将成像x射线束投影在靶区域处并在穿过患者130之后照射检测器的成像平面。
图1B示出根据本文描述的替代实施例的可以使用的放射处置系统1200。如图所示，图1B示出放射处置系统1200的配置。在所示的实施例中，放射处置系统1200包括用作放射处置源的直线加速器(LINAC)1201、以及与LINAC 1201的远端耦接以对处置束进行成形的MLC 1205(例如，eMLC)。在一个实施例中，LINAC 1201安装在具有多个(例如，5个或多于5个)自由度以对LINAC 1201进行定位的机械臂1202的一端，从而在患者周围的操作体积中利用从多个角度、在多个平面中所递送的束辐照病理解剖结构(例如，靶)。处置可以涉及具有单个等中心点、多个等中心点或具有非等中心趋向(approach)的束路径。
在处置期间，可以通过移动机械臂1202来将LINAC 1201定位在多个不同节点(LINAC 1201停止并且可以递送放射的预定义位置)处。在节点处，LINAC 1201可以将一个或多于一个放射处置束递送至靶，其中放射束形状由MLC 1205中的叶位置来确定。节点可以围绕患者被布置成近似球形的分布。节点的具体数量以及在各节点处施加的处置束的数量可以根据要处置的病理解剖结构的位置和类型而变化。
在另一实施例中，在正递送放射期间，机械臂1202及其一端处的LINAC 1201可以在节点之间进行连续运动。通过在LINAC 1201的连续运动期间在MLC 1205中的叶的快速运动来确定放射束形状和2D强度图。
放射处置系统1200包括成像系统1210，该成像系统1210具有与x射线源1203A和1203B(即，成像源)以及固定的x射线检测器1204A和1204B相连接的处理装置1230。可替代地，x射线源1203A、1203B和/或x射线检测器1204A、1204B可以是移动的，在这种情况下，它们可被重新定位成维持与靶的对准、或者可替代地从不同取向对靶进行成像或获取多个x射线图像并重建三维(3D)锥形束CT。在一个实施例中，如本领域技术人员将理解的，x射线源不是点源，而是x射线源阵列。在一个实施例中，LINAC 1201用作成像源，其中LINAC电力水平降低至成像用的可接受水平。
成像系统1210可以进行诸如锥形束计算机断层扫描(CT)或螺旋兆伏级计算机断层扫描(MVCT)等的CT，并且成像系统1210所生成的图像可以是二维(2D)或三维(3D)的。两个x射线源1203A和1203B可以安装在手术室的天花板上的固定位置处，并且可以被对准以将来自两个不同角度位置(例如，间隔了90度)的x射线成像束投影成在机器等中心点(这里称为处置中心，其提供用于在处置期间将患者定位在处置床1206上的参考点)处相交，并且在穿过患者之后照射相应检测器1204A和1204B的成像平面。在一个实施例中，成像系统1210提供对靶和周围感兴趣体积(VOI)的立体成像。
在其他实施例中，成像系统1210可以包括多于或少于两个x射线源、以及多于或少于两个检测器，并且这些检测器中的任意检测器可以是可移动的，而不是固定的。在另外的其他实施例中，x射线源和检测器的位置可以互换。如本领域技术人员所公知的，检测器1204A和1204B可以由用于将x射线转换为可见光的闪烁材料(例如，非晶硅)、以及用于将光转换为数字图像的CMOS(互补金属氧化物硅)或CCD(电荷耦合器件)成像单元的阵列制成，其中在用于将数字图像的坐标系变换为参考图像的坐标系的图像配准处理期间，可以将数字图像与参考图像进行比较。参考图像例如可以是数字重建放射影像(DRR)，其中该数字重建放射照片(DRR)是基于模拟x射线图像形成处理、从3D CT图像生成的虚拟x射线图像，该x射线图像形成处理是通过将射线投射通过该CT图像来进行的。
在一个实施例中，IGRT递送系统1200还包括二次成像系统1239。成像系统1239是锥形束计算机断层扫描(CBCT)成像系统，例如，medPhoton ImagingRing系统。可替代地，可以使用其他类型的体积成像系统。二次成像系统1239包括附接至臂和轨道系统(未示出)的可转动机架1240(例如，环)，其中臂和轨道系统使可转动机架1240沿着一个或多于一个轴(例如，沿着从处置床1206的头部延伸至脚部的轴)移动。成像源1245和检测器1250安装到可转动机架1240。
可转动机架1240可以围绕从处置床的头部延伸至脚部的轴转动360度。因此，成像源1245和检测器1250可以以多个不同角度定位。在一个实施例中，成像源1245是x射线源，并且检测器1250是x射线检测器。在一个实施例中，二次成像系统1239包括可单独转动的两个环。成像源1245可以安装到第一环，并且检测器1250可以安装到第二环。在一个实施例中，可转动机架1240在放射处置递送期间置于处置床的脚部，以避免与机械臂1202的碰撞。
如图1B所示，图像引导放射处置系统1200还可以与处置递送工作站150相关联。处置递送工作站可以远离放射处置系统1200而位于与放射处置系统1200和患者所在的处置室不同的房间中。如这里所述，处置递送工作站150可以包括处理装置(其可以是处理装置1230或其他处理装置)和存储器，其中处理装置和存储器根据基于一个或多于一个图像配准的靶运动检测来修改到患者1225的处置递送。
图1C示出C形臂放射递送系统1400。在一个实施例中，在C形臂系统1400中，LINAC的束能量可以在处置期间进行调整，并且可以使得LINAC能够用于x射线成像和放射处置这两者。在另一实施例中，系统1400可以包括用以生成x射线图像的板载kV级成像系统、以及用以生成较高能量的治疗放射束的单独LINAC。系统1400包括机架1410、LINAC 1420、与LINAC 1420的远端耦接以对束进行成形的MLC 1470(例如，eMLC)、以及射野成像检测器1450。机架1410可以转动到与所选投影相对应的角度，并且用于获取处置床1440上的患者1430的VOI的x射线图像。
在包括射野成像系统的实施例中，LINAC 1420可以生成穿过患者1430的靶并且入射在射野成像检测器1450上的x射线束，从而创建靶的x射线图像。在生成了靶的x射线图像之后，可以增加LINAC 1420的束能量，因此LINAC 1420可以生成用以处置患者1430的靶区域的放射束。在另一实施例中，kV级成像系统可以生成穿过患者1430的靶的x射线束，从而创建靶的x射线图像。在一些实施例中，射野成像系统可以获取在处置的递送期间的射野图像。射野成像检测器1450可以测量在束穿过患者1430之后的出射辐照注量(exitradiation fluence)。这可以使得能够在射野图像内定位内部或外部基准点或解剖结构(例如，肿瘤或骨)。
可替代地，本文描述的kV级成像源或射野成像器和操作方法可以与另外的其他类型的基于机架的系统一起使用。在一些基于机架的系统中，机架使kV级成像源和LINAC围绕穿过等中心点的轴转动。基于机架的系统包括大致具有圆环形状的环形机架，其中患者的身体延伸穿过环/圆环的孔，并且kV级成像源和LINAC安装在环的圆周上且围绕穿过等中心点的轴转动。
基于机架的系统还可以包括C形臂机架，其中kV级成像源和LINAC以悬臂状的方式安装在穿过等中心点的轴上并围绕该轴转动。在另一实施例中，kV级成像源和LINAC可用于基于机械臂的系统，其中该系统包括kV级成像源和LINAC如上所述所安装至的机械臂。本发明的方面还可用于诸如以下项等的其他这类系统：基于机架的LINAC系统、与放射治疗和放射外科手术相关联的静态成像系统、使用一体化图像引导的质子治疗系统、介入性放射学以及术中x射线成像系统等。
关于以上和本文描述的系统，在一个实施例中，(例如，任何合适类型的)放射处置递送系统可以包括用于存储靶对象的处置规划图像的存储器和可操作地耦接到该存储器的处理装置。在本文描述的各种实施例中，处理装置可以进行各种操作。例如，处理装置可以：将靶对象的处置规划图像输入到机器学习系统中；通过机器学习系统确定处置规划图像的第一靶对象特定模型；将第一靶对象特定模型应用于处置规划图像，以生成与靶对象的多个位置中的第一位置相对应的经变换处置规划图像；将经变换处置规划图像与参考图像进行比较；基于该比较，修改第一靶对象特定模型的一个或多于一个参数，以生成与多个位置中的第二位置相对应的第二靶对象特定模型；以及基于第二靶对象特定模型来控制处置装置以向靶对象递送处置。
在一个实施例中，处置规划图像是3D解剖图像和4D解剖图像其中之一，并且其中经变换处置规划图像和参考图像是2D图像。在一个实施例中，机器学习系统经训练，以根据靶对象的3D、4D或其他派生图像来构建第一靶对象特定模型。在一个实施例中，机器学习系统经训练，以根据靶对象和另一对象之间的至少一个可形变配准来构建第一靶对象特定模型。在一个实施例中，机器学习系统经训练，以根据第一时间的靶对象和第二时间的靶对象之间的至少一个可形变配准来构建第一靶对象特定模型。在一个实施例中，机器学习系统经训练，以根据靶对象和合成图谱对象之间的至少一个可形变配准来构建第一靶对象特定模型。在一个实施例中，机器学习系统使用训练对象的群体和与多个训练对象中的各训练对象相关联的多个图像作为训练数据。在一个实施例中，机器学习系统使用所计算出的对象特定模型作为训练数据。
在一个实施例中，对象特定模型包括靶对象的中心图谱以及基变换的集合和外观变化，这些靶对象的中心图谱以及基变换的集合和外观变化被线性地组合以产生对可以找到靶对象的一个或多于一个构象(conformation)的估计。在一个实施例中，对象特定模型包括模型合成函数，该模型合成函数包括基函数的线性组合以及神经网络中的至少一个。在一个实施例中，根据对真实数据和合成数据中的至少一个的集合进行降维来开发对象特定模型。在一个实施例中，机器学习系统使用生成对抗网络，该生成对抗网络产生对象特定模型作为其输出。在一个实施例中，机器学习系统使用自编码器网络，根据该自编码器网络，可以使用解码器组件作为第一对象特定模型。在一个实施例中，机器学习系统使用来自从对象产生对象特定模型的系统的迁移学习，以产生另一对象的对象特定模型。在一个实施例中，处理装置还用于接收辅助解剖信号或伪解剖信号，其中辅助信号是基于三角化发光二极管(LED)标记的集合而以光学方式获得的。
如本文所述，放射处置系统可以可选地包括耦接到放射源的机架，其中机架被配置为使放射源围绕靶对象转动。在一个实施例中，机架包括C形臂机架。在另一实施例中，机架包括环形机架。放射处置系统可以可选地包括耦接到放射源的机械臂。在一个实施例中，机械臂被配置为将放射源定位在沿着圆形或椭圆形轨迹的多个位置处。在一个实施例中，机械臂将放射源定位在靶对象周围的多个位置处。(例如，来自放射源的)放射束可以包括千伏(kV)级处置束。MLC可以包括双态(binary)MLC。本文进一步设想了设备和功能的任何其他合适的组合。
图2A描绘根据本发明实施例的自编码器和2D/3D配准的方法200A的流程图。通常，本文描述的各个方法(包括方法200A)可以由处理逻辑进行，该处理逻辑可以包括硬件(例如，处理装置、电路、专用逻辑、可编程逻辑、微代码、装置的硬件等)、软件(例如，在处理装置上运行或执行的指令)或其组合。在一些实施例中，这些方法可以由图1A的放射处置系统800的处理逻辑进行。
在一个实施例中，自编码器是用于接收输入并产生少量参数作为输出的神经网络。为了训练该网络，可以将该编码器与用于接收这些少量参数并试图再现输入数据的解码器进行配对。在本发明的一个实施例中，在训练之后，可以丢弃该编码器，并且可以单独使用解码器来进行配准。然后可以通过将经变换规划图像的DRR与所测量的2D投影进行比较来进行3D/2D优化。这在图2A中示出。
如本文所述，编码器/解码器对可以找到数据的低维度表示。原则上，这应会减少过度拟合，因为完全表示训练数据的任何低维度表示都必须固有地由有意义的参数组成。这再加上适当量的训练数据和网络的仔细构建可以确保模型推广。
在一个实施例中，对图谱变换的规划可以是辅助数据，该辅助数据试图减少训练数据的变化并将网络改造成在公共空间中学习模型。也就是说，网络应针对对日常变换的规划进行一些操作，将其变换到公共空间，进行一些其他操作，并产生低维度编码。解码是该处理的逆处理。作为输入数据的该变换的一个益处在于该变换可以从单个规划图像获得。
在一个实施例中，图2A示出解码器对3D/2D配准的应用。它接收对来自一定数量的患者的对日常图像的规划集合作为训练输入，并试图学习再现这些变换。这是良好的第一步骤(或者可能是初始化)，并且可以产生良好的变换。在其他实施例中，可以进一步推广该概念。例如，在一个非限制性实施例中，代替使用网络来学习所提供的变换集合，网络可以自身进行配准。也就是说，考虑到作为规划图像的输入和从规划图像到图谱空间的变换，可以在无需调用外部配准方法的情况下调整网络的参数，使得网络的输出是该变换。这可以限制由初始配准施加的任何偏差，并使学习处理自身成为配准。
在一个实施例中，除变换之外，网络还可以产生经变形图像。也就是说，除变换之外，低维度编码还可以表示图像的外观变化，诸如在直肠中气体的存在等。这种变形方法可能需要附加数据。在一个实施例中，与上述方法类似的自编码器方法可以以能够解决由这些外观变化引起的2D/3D配准问题的完全无监督、无训练数据的方式产生经变形图像和变换，因为自编码器训练处理实际上是配准。在图2B中示出这两种方法的方法200B的例示。
图3A描绘根据本发明实施例的一般机器学习方法300A的流程图。在一个实施例中，该方法300A的一个目标涉及将对象配准到某个处置时间图像(在该非限制性示例中为平面x射线图像)以求解某个时间的对象和另一时间的对象之间的变换。由于不足以确定一般配准问题，因此应减少可能解的空间以求解出正确解。在图3A所示的示例中，根据可能的这样变化的低维度表示，使对象的一些图像变形(即，改变图像的强度值)。然后，根据低维度几何变换模型对该图像进行几何变换。然后，使用该图像以通过模拟x射线成像的处理来生成DRR。然后，可以将DRR与实际测量到的放射影像进行比较。然后可以优化模型的参数，使得经变换和变形的图像的DRR尽可能(例如，在定义的阈值内)与实际x射线匹配。在这方面的许多变型是可能的。以下说明获得这些模型的数个可能方式和该方法的变型。
图3B描绘根据本发明实施例的使用直接方法300B来学习模型的流程图。在一个实施例中，直接方法300B的参数α可以是部位特定模型的系数和元参数以及针对各患者图像对的输入参数。输入数据可以是对象内(intra-subject)图像对。该方法使图像匹配项相对于参数而最小化。然后，由阿尔法(α)参数化的部位特定模型描述了有可能在整个对象群体上观察到的对象内变换的集合。
在一个实施例中，方法300B可以成功总结人体形变。实际上，其通过足够的训练数据被证明是成功的。尽管该方法可以成功，但在所有(人类)对象的所有单个部位形变的集合中可能存在太多固有变化，而导致我们无法用合理量的训练数据构建这种模型。
此外，这种形变的固有维度对于3D-2D应用可能太大。也就是说，在一个实施例中，典型的对象内仅呼吸模型应具有2至3个参数，而呼吸和整个胸腔模型可能具有数千个参数。然而，这仍优于通常用于一般配准问题的数百万个参数。图3A所示的应用表明，模型仅对单个对象的可能形变进行参数化，以使得仅可使用可能形变。如果不进行这种限制，则所求解出的任何变换都是正确变换是极不可能的。
在一个实施例中，该方法的缺乏经验的实现可以预期各自具有数个图像的数百个对象，这导致了总共数万个图像对。针对各对象，变换→匹配→优化的典型图像配准循环可能被执行数百次。如此，以下提出了拔靴法，其中从更有限的数据集建立初始部位特定模型，然后对该初始部位特定模型进行细化。
图3C描绘根据本发明实施例的使用拔靴法300C来学习模型的流程图。在一个实施例中，本发明的一个目的是提供可能变换的集合的低维度表示。最终，任务的模型建立部分可以涉及一些图像相似性度量相对于能够产生对象的可能变换的系统的一些高维参数化的最小化，该可能变换可以用于使图像形变以供图像相似性度量的评估。可能存在用于在ML框架之外(在图像对或图像组之间)求解变换的许多不同且有效的方法。然后可以使用这些独立计算出的变换来确定对ML任务的形变部分的参数的初始估计。在一个实施例中，这可以通过利用自编码器学习可行变换来进行，其中网络的输入和输出是可行变换。然后可以使用自编码器的解码器部分的权重来初始化任何其他网络的权重，然后对该任何其他网络的权重进行细化。在一个实施例中，这可以减少收敛时间并减少失败的模型建立。
在一个实施例中，与针对300B描述的直接方法类似，以这种方式训练的网络可以是有效的形变模型，但其产生的变换可能局限于由训练形变跨越的空间，这些训练形变可能不是使假设图像相似性度量相对于数据集而最小化的最佳可能形变。这可能由于图像相似性误差信息没有被包括在拔靴优化中而发生。通过避免丢弃例如总结处理中的误差信息来细化形变模型，这可以提供更好的模型。至少，该拔靴形变模型在任何进一步学习期间将不会变得更差(假定进一步学习针对训练变换的构建中所使用的相同图像相似性度量而优化，这可能是目标也可能不是目标)。
图4A描绘根据本发明实施例的使用分离的直接方法400A来学习模型的流程图。先前描述的直接方法300B建立了涵盖患者内变化和患者间变化这两者的形变模型。在学习期间，对象间模型的参数β在各患者内保持恒定。这些β描述了被应用于运动图像以将该运动图像从个体对象的坐标变换为所有对象的公共坐标的变换。这里，参数α描述了也被应用于运动图像的在公共坐标的第二变换。这之后可以应用对象间变换的逆变换。然后，经三次变换的图像在固定图像的空间中，并且可以计算和优化图像匹配。类似地，可以将前向对象内变换应用于固定图像和在公共空间中计算出的图像匹配。“两次变换”要求导致该方法的最大缺点，这将在下面进一步说明。
在一个实施例中，对于特定对象的处置，在处置期间利用处置时间图像数据优化参数α的同时，参数β可以通过对象间模型与规划CT的配准来确定，然后可以保持恒定。
为了阐明对象间模型的配准，各对象可以具有用于描述从该对象的构象到公共空间的变换的参数β和用于描述该对象的构象之间的变换的参数阿尔法的集合。为了使用传统配准循环将对象图像配准到对象间模型，可以利用“图谱”图像，该“图谱”图像可以是训练集上的平均图像。在其他可能的方法中，可以如下构建这样的图谱：构建合成均值图像作为训练集中的所有图像的基于体素的均值；对参数βi和αijμ进行一个阶段的训练、配准，其中μ表示属于患者i的图像j与均值图像(数据集中的各图像与合成均值图像)的配准的参数；使用现在更加对准的所有图像重新计算均值图像；并且继续直到收敛为止。
在一个实施例中，然后可以使用均值图像作为图谱，并且可以通过对参数α和β进行配准来使来自对象的图像形变以与图谱图像匹配。在一个实施例中，本文描述的方法300D可以被称为成对/成组方法，其中对象内形变模型是针对成对数据(相同对象的不同图像对)构建的，并且对象间模型是针对所有对象整体构建的。类似地，第一直接方法300B可以被描述为成对/成对方法。
通过类比，可以构建成组/成组方法，其中每个对象存在单个均值图像。在这种情况下，可以在学习期间利用均值图像，其中这种图像在成对/成对方法中是隐式的。
尽管该直接方法可能是有效的，但其可能存在两个缺点。第一个缺点是，尽管分离的直接方法是对直接方法的改进，但对象间的变化不需要通过在处置时间采用的模型来解释。该模型仍必须解释来自所有对象的对象内变化(这不是对象特定的)。其次，对象内模型存在于公共空间中，并且由对象间变换组成的对象内变换的集合中的任何变换均不太可能是特定对象的形变的最佳表示(如果各对象不仅具有他或她自己的对象内模型，而且还被构造在特定于各对象的坐标中，则可能更好)。根据任何合适的图像配准实践，设想了这里描述的方法的许多进一步变型。
图4B描绘根据本发明实施例的使用对象特定的生成对抗(GAN)方法400B来学习模型的流程图。在一个实施例中，可能存在GAN和与GAN类似的方法的各种各样的变型，这些变型的目标是生成对象特定形变模型。示例性总结如下。
实施例从用于训练的对象特定形变模型的集合开始。这样的模型应接受随机参数，并且考虑到一些对象图像来产生对象的有效变换。这样的模型可以是解码器或者像基向量的线性组合一样简单，其中呼吸运动可以被示出为使用PCA模型可很好地描述，该PCA模型基于具有少至三个主成分的呼吸相关CT的阶段的成组配准。支持该方法400B的一点是各个对象特定模型可以非常简单，而大部分的复杂性在鉴别器中。
首先，在预训练期间，可以针对各个训练对象(训练模型)构建对象特定形变模型。然后可以通过以下操作来训练鉴别器：将所有训练图像和训练模型配对，向经训练的模型馈送随机参数向量，并且优化鉴别器，直到鉴别器不能在由各种训练模型生成的图像和真实图像之间进行区分为止。变型可以包括在预训练期间优化训练模型的参数。这可以包括利用在直接方法中所使用的相同类型的学习的变型来同时优化训练模型和部位特定鉴别器的参数。这在方法3B中示出。在方法3B中，所示的这两个解码器是相同的。出于演示的目的，在图4C的方法400C中这两个解码器被示出在不同的位置。
其他变型可以包括能够访问未形变图像和形变图像这两者的鉴别器、以及所涉及的各种变换中的可能的任何变换(例如，规划图像向群体图谱的变换或对象特定模型的输出)或其一些表示。
其次，在对象特定训练期间，引入了仅具有规划图像的新对象。可以优化该对象的对象特定形变模型的参数，直到该对象特定形变模型生成的图像不再能够与其他图像区分开(和/或高于某个预定义阈值)为止，此时该方法完成。这也可以被认为是在这里可以得到应用的该领域中的一种类型的迁移学习和创新。
在另一实施例中，可以构建知晓如何构建形变模型(例如，线性形变基的集合)的系统。在一个实施例中，该模型可以接受图像并产生描述该图像的运动的一些预定数量的基。对于这种情况，在训练期间使用的输出数据可以是针对来自对象的训练图像的相应输入图像所构建的PCA模型。这可以使得能够将模型参数无监督地分离成语义相关的模态(例如，呼吸阶段)。在其他实施例中，还可以强制模型以半监督方式进行学习。
在本文的一些方法中，对在处置之前可用的(例如，靶对象的)对象图像进行变换，然后将其与在处置时间拍摄到的图像进行比较。通常，该图像可以是对象的x射线衰减的测量结果。靶对象在规划时间的衰减分布可以以微分同胚和非微分同胚这两个方式不同于该对象在处置时间的衰减。在前者中，平滑形变可以在这两个衰减分布之间进行映射。这可以解释如姿势变化以及对象组成变化(例如，体重减轻、水肿、膀胱体积变化)等的情况。
在一个实施例中，这些类型的变化可以通过先前描述的方法来解释。在后者中，平滑形变可能无法在这两者之间进行映射。这些类型的变化包括肠道和体腔内容物(其可以包括不同位置处的不同密度的内容物，诸如气体等)、手术疤痕、植入(诸如夹子或导管等)的变化和非微分同胚肿瘤形状变化。在一个实施例中，在典型的配准框架中可能无法解释这些类型的非微分同胚变化，这是因为：1)所估计的变换的类型是微分同胚的；以及2)通常不存在可以确定具有这种变化的两个图像的对准质量的良好图像匹配项。特别地，这些可能显著降低配准的准确度并且可能特别成问题，尤其是在某些区域(诸如肠道内容物可能在处置之间急剧改变、并且与感兴趣结构相邻(并且在感兴趣结构内部)的骨盆等)中。此外，该工作的应用涉及剂量的连续、高时间分辨率计算。
在一个实施例中，用于准确地计算剂量的目标是类似衰减的量的高保真表示。本文中描述的先前方法可以估计几何变换。变换解释了在感兴趣群体中观察到的大多数变异。仅使用图像匹配项来估计这些变换可能遭受先前段落中描述的问题，这会导致在待解释的群体中存在增加的、不真实的和不现实的变化。例如，变换可能尝试匹配直肠中的两个气体泡，这会在直肠内容物的变换完全不重要时导致大的形变。在一个实施例中，仅可以观察到某些变化。例如，气泡可能在直肠中发现，但可能(通常)不会在皮下脂肪层中发现。
图4D描绘根据本发明实施例的变形模型学习改造的方法400D的流程图。在一个实施例中，方法400D使用可以改造成先前描述的方法的自编码器框架来描述以上提到的变化。在一个实施例中，每当运动图像/规划时间图像可用时，可以使用模型来使图像变形。在一个实施例中，可以在公共图谱空间中构建变形模型。也就是说，对象向图谱的变换可以将对象图像放入公共空间中，其中在该公共空间中在所有训练图像之间都存在对应关系。变换模型可以在引入变形模型之前被优化，并且当模型被细化时，目标函数可以包括强制使变换模型解释尽可能多的变异的项。有利地，这可以确保应由变换模型解释的变化不会被变形模型不正确地解释。例如，两个左股骨不对准可以通过一个股骨消失且完全不同的股骨重新出现、或者该股骨的刚性变换来解释。
图4D示出接受图像并输出不同图像的自编码器。然后将该图像与对象图像和图谱图像组合，然后变换到靶空间。该方案的许多变型是可能的，关键在于模型应适用于图3A所示的方法300A。可能的实施例可以忽略对象图像并生成经变形图像作为图谱图像的修改版本。在另一实施例中，变形模型可以产生在被适当变换之后与对象图像相加的图像。
除了模态内的上述变化之外，可以使用变形方法来考虑模态间变化。例如，由120kVp的x射线束测量到的衰减可以不同于由150kVp的投影x射线测量到的衰减，并且可以不同于6MeV的治疗束。该方法可以用于校正配准期间的这种变化，并且校正从kV成像到MeV处置/成像束的变化，其中如果可得到处置能量处的更好衰减图，则剂量计算可以更准确。此外，这可以扩展到真正的模态间情况，例如，CT到MR到x射线。这是可能的，因为变形模型是在对应关系可用于所有对象的图谱坐标系中构建的。
在一个实施例中，本文描述的模型主要旨在3D/2D配准期间使用，但是在3D/2D上下文中进行学习。在3D/2D问题中，成像系统可以以成像几何依赖的方式对某些变化比对其他变化更敏感。例如，利用从对象由前到后拍摄到的x射线图像，测量与在上下方向和左右方向上的变换有关的更多信息。在一次成像几何中，该x射线成像系统围绕对象的上下轴转动，其中各图像具有始终与该上下轴正交的不敏感轴。
由于不足以确定3D/2D问题，因此这里描述的解决方案依赖于以下事实：某些变换是有可能的，并且隐含地存在一起发生的某些变换模态。例如，隔膜的向下运动有可能与同吸气相关联的其他变化相关。如此，如果观察到隔膜向下移动，则可以推断出其他变换。在一个实施例中，可以利用要如何测量这些模态的知识来构建这些模态，使得可以以可以最佳地测量这些模态的方式构建这些模态。
这可以通过在训练模型时优化如下的函数来实现，该函数除了优化其他项之外，还包括强制使模态在成像几何下可见的项。可以如下构建这样的项：当计算3D/2D图像匹配时，还应使用期望的成像几何来计算DRR或DRR集合。在处置时间，提出了2D图像匹配项，例如，DRR和所测量的x射线之间的差值平方总和。用于产生相对于变换的给定变化在2D图像匹配项中产生较大变化的模态的参数产生了在所提出的成像几何下更可见的模态。这由图像匹配项的梯度来描述，并且该值的大小是梯度幅值。如果需要，可以猜测所测量的图像。该方面的另一变型使用患者特定形变模型的海森矩阵的一些度量来进行类似的计算。
图5描绘根据本发明实施例的使用机器学习来生成用于重建受运动影响的处置剂量的局部形变图的方法500的流程图。通常，本文描述的各个方法(包括方法500)可以由处理逻辑进行，该处理逻辑可以包括硬件(例如，处理装置、电路、专用逻辑、可编程逻辑、微代码、装置的硬件等)、软件(例如，在处理装置上运行或执行的指令)或其组合。在一些实施例中，这些方法可以由图1A的放射处置系统800的处理逻辑进行。
方法500从框501处的处理逻辑开始，该处理逻辑(例如，使用本文描述或设想的机器学习模型中的任何机器学习模型)将靶对象的处置规划图像输入到机器学习系统中。在一个实施例中，处置规划图像是3D解剖图像和4D解剖图像其中之一。在另一实施例中，经变换处置规划图像和参考图像是2D图像。
在框503处，处理逻辑通过机器学习系统确定处置规划图像的第一靶对象特定模型。在一个实施例中，机器学习系统经训练，以根据靶对象的3D、4D或其他派生图像来构建第一靶对象特定模型。在另一实施例中，机器学习系统经训练，以根据靶对象和另一对象之间的至少一个可形变配准来构建第一靶对象特定模型。在又一实施例中，机器学习系统经训练，以根据第一时间的靶对象和第二时间的靶对象之间的至少一个可形变配准来构建第一靶对象特定模型。在又一实施例中，机器学习系统经训练，以根据靶对象和合成图谱对象之间的至少一个可形变配准来构建第一靶对象特定模型。
在一个实施例中，机器学习系统使用训练对象的群体和与多个训练对象中的各训练对象相关联的多个图像作为训练数据。在另一实施例中，机器学习系统使用所计算出的对象特定模型作为训练数据。在一个实施例中，对象特定模型包括靶对象的中心图谱以及基变换的集合和外观变化，这些靶对象的中心图谱以及基变换的集合和外观变化被线性地组合以产生对可以找到靶对象的一个或多于一个构象的估计。
在另一实施例中，对象特定模型包括模型合成函数，该模型合成函数包括基函数的线性组合以及神经网络中的至少一个。在又一实施例中，可以根据对真实数据和合成数据中的至少一个的集合进行降维来开发对象特定模型。
在框505处，处理逻辑(例如，通过处理装置)将第一靶对象特定模型应用于处置规划图像，以生成与靶对象的多个位置中的第一位置相对应的经变换处置规划图像。在框507处，处理逻辑将经变换处置规划图像与参考图像进行比较。
在块509处，基于该比较，处理逻辑修改第一靶对象特定模型的一个或多于一个参数，以生成与多个位置中的第二位置相对应的第二靶对象特定模型。在框511处，处理逻辑基于第二靶对象特定模型来控制处置装置以向靶对象递送处置。可选地，在框513处，处理逻辑可以接收辅助解剖信号或伪解剖信号。在一个实施例中，辅助信号是基于三角化发光二极管(LED)标记的集合而以光学方式获得的。
在一个实施例中，机器学习系统使用生成对抗网络，该生成对抗网络产生对象特定模型作为其输出。在另一实施例中，机器学习系统使用自编码器网络，根据该自编码器网络，可以使用解码器组件作为第一对象特定模型。在又一实施例中，机器学习系统使用来自从对象产生对象特定模型的系统的迁移学习，以产生另一对象的对象特定模型。
图6示出不同系统600的示例，其中在不同系统600内，可以执行用于使系统进行本文论述的方法中的任一个或多于一个的指令集。在替代实现中，机器可以连接(例如，联网)至LAN、内联网、外联网和/或因特网中的其他机器。各个系统可以以客户端-服务器网络环境中的服务器或客户机的能力，作为对等(或分布式)网络环境中的对等机、或者作为云计算基础架构或环境中的服务器或客户机来进行操作。
系统是能够执行用于指定该机器所要采取的动作的(序列或以其他方式的)指令集的机器。此外，尽管示出单个机器，但术语“机器”也应被视为包括单独或联合执行一个(或多于一个)指令集以进行本文论述的方法中的任一个或多于一个的任何机器集合。
如以下所述和图6所示，系统600可以包括诊断成像系统605、处置规划系统610和处置递送系统615。诊断成像系统605可以是能够产生患者的医学诊断图像的任何系统，这些医学诊断图像可用于后续医学诊断、处置规划、处置模拟和/或处置递送。例如，诊断成像系统605可以是计算机断层扫描(CT)系统、磁共振成像(MRI)系统、正电子发射断层扫描(PET)系统、或这种系统的组合等。为了便于论述，诊断成像系统605可以在下文中不时地与x射线成像模态相关地进行论述。在其他实施例中，还可以使用诸如以上论述的成像模态等的其他成像模态。
在一个实施例中，诊断成像系统605包括用于生成成像束(例如，x射线)的成像源620、以及用于检测和接收由成像源620生成的束或由来自成像源的束(例如，在MRI或PET扫描中)模拟的二次束或发射的成像检测器630。
在一个实施例中，成像源620和成像检测器630可以耦接至数字处理系统625以控制成像操作并处理图像数据。在一个实施例中，诊断成像系统605可以从处置递送系统615和/或处置规划系统610接收成像命令。
诊断成像系统605包括用于在数字处理系统625、成像源620和成像检测器630之间传送数据和命令的总线或其他部件680。数字处理系统625可以包括一个或多于一个通用处理器(例如，微处理器)、诸如数字信号处理器(DSP)等的专用处理器、或者诸如控制器或现场可编程门阵列(FPGA)等的其他类型的处理装置。数字处理系统625还可以包括诸如存储器、存储装置和网络适配器等的其他组件(未示出)。数字处理系统625例如可被配置为生成标准格式(诸如医学数字成像和通信(DICOM)格式等)的数字诊断图像。
在其他实施例中，数字处理系统625可以生成其他标准或非标准数字图像格式。数字处理系统625可以通过数据链路683将诊断图像文件(例如，前述的DICOM格式化的文件)发送至处置递送系统615，其中数据链路683例如可以是直接链路、局域网(LAN)链路或诸如因特网等的广域网(WAN)链路。另外，可以诸如在远程诊断或处置规划配置中等跨连接系统之间的通信介质拉取或推送在系统之间所传送的信息。在远程诊断或处置规划中，用户可以利用本发明的实施例来诊断或处置患者，尽管在系统用户和患者之间存在物理分离。
在一个实施例中，处置递送系统615包括用以按照处置规划来向靶体积给予规定放射剂量的治疗和/或外科手术放射源660。处置递送系统615还可以包括用以进行计算机断层扫描(CT)(诸如锥形束CT等)的成像系统665，并且成像系统665所生成的图像可以是二维(2D)或三维(3D)的。
处置递送系统615还可以包括用以控制放射源660、接收并处理来自诊断成像系统605和/或处置规划系统610的数据、以及控制诸如处置床675等的患者支撑装置的数字处理系统670。数字处理系统670可以连接至照相机反馈系统或者是照相机反馈系统的一部分。数字处理系统670可被配置为进行本文描述的操作中的任何操作。数字处理系统670可以包括表示一个或多于一个通用处理器(例如，微处理器)、诸如数字信号处理器(DSP)等的专用处理器、或者诸如控制器或现场可编程门阵列(FPGA)等的其他类型的装置。数字处理系统670的处理装置可被配置为执行用以进行本文描述的操作的指令。
在一个实施例中，数字处理系统670包括系统存储器，该系统存储器可以包括耦接到处理装置的用于存储处理装置所要执行的信息和指令的随机存取存储器(RAM)或其他动态存储装置。系统存储器还可以用于在处理装置执行指令期间存储临时变量或其他中间信息。系统存储器还可以包括用于存储处理装置的静态信息和指令的只读存储器(ROM)和/或其他静态存储装置。
数字处理系统670还可以包括表示用于存储信息和指令的一个或多于一个存储装置(例如，磁盘驱动器或光盘驱动器)的存储装置。存储装置可以用于存储用于进行本文论述的处置递送步骤的指令。数字处理系统670可以通过总线692或其他类型的控制和通信接口而耦接到放射源660和处置床675。
在一个实施例中，处置递送系统615包括经由总线692与数字处理系统670连接的输入装置678和显示器677。显示器677可以示出用于识别靶移动速率(例如，正在处置的靶体积的移动速率)的趋势数据。显示器还可以示出患者的当前放射暴露和患者的投影放射暴露。输入装置678可以使临床医师能够在处置期间调整处置递送规划的参数。
处置规划系统610包括用以生成和修改处置规划和/或模拟规划的处理装置640。处理装置640可以表示一个或多于一个通用处理器(例如，微处理器)、诸如数字信号处理器(DSP)等的专用处理器、或者诸如控制器或现场可编程门阵列(FPGA)等的其他类型的装置。处理装置640可被配置为执行用于进行本文论述的模拟生成操作和/或处置规划操作的指令。
处置规划系统610还可以包括系统存储器635，该系统存储器635可以包括通过总线686耦接到处理装置640的用于存储处理装置640所要执行的信息和指令的随机存取存储器(RAM)或其他动态存储装置。系统存储器635还可以用于在处理装置640执行指令期间存储临时变量或其他中间信息。系统存储器635还可以包括耦接到总线686的用于存储处理装置640的静态信息和指令的只读存储器(ROM)和/或其他静态存储装置。
处置规划系统610还可以包括表示耦接到总线686的用于存储信息和指令的一个或多于一个存储装置(例如，磁盘驱动器或光盘驱动器)的存储装置645。存储装置645可以用于存储用于进行本文论述的处置规划步骤的指令。
处理装置640还可以耦接到诸如阴极射线管(CRT)或液晶显示器(LCD)等的用于向用户显示信息(例如，VOI的2D或3D表示)的显示装置650。诸如键盘等的输入装置655可以耦接到处理装置640，以将信息和/或命令选择通信至该处理装置640。还可以使用一个或多于一个其他用户输入装置(例如，鼠标、追踪球或光标方向键)来通信方向信息、选择处理装置640的命令以及控制显示器650上的光标移动。
处置规划系统610可以与诸如处置递送系统615等的处置递送系统共享其数据库(例如，存储装置645中所存储的数据)，使得该数据库可能无需在处置递送之前从处置规划系统导出。处置规划系统610可以经由数据链路690链接到处置递送系统615，在一个实施例中，数据链路690可以是直接链路、LAN链路或WAN链路。
应当注意，当数据链路683、686和690被实现为LAN或WAN连接时，诊断成像系统605、处置规划系统610和处置递送系统615中的任一个可以处于分散位置，使得这些系统可以在物理上彼此远离。可替代地，诊断成像系统605、处置规划系统610和处置递送系统615中的任一个可以彼此集成在一个或多于一个系统中。
从前面的描述中明显的是，本发明的各方面可以至少部分地以软件实现。也就是说，这些技术可以响应于例如处理装置625、640或670(参见图6)执行存储器中所包含的指令的序列而在计算机系统或其他数据处理系统中执行。在各种实现中，硬件电路可以与软件指令结合使用以实现本发明。因此，这些技术不限于硬件电路和软件的任何特定组合或数据处理系统所执行的指令的任何特定源。另外，在整个说明书中，各种功能和操作可被描述为由软件代码执行或推进以简化描述。然而，本领域技术人员将认识到这种表达的含义是这些功能是由处理装置625、640或670执行代码而得到的。
可以使用机器可读介质来存储软件和数据，其中这些软件和数据在由通用或专用数据处理系统执行时使该系统进行本发明的各种方法。该可执行软件和数据可以存储在各种地方，包括例如系统存储器以及能够存储软件程序和数据至少之一的存储装置或任何其他装置。因此，机器可读介质包括以机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一个或多于一个处理器的集合的任何装置等)可访问的形式提供(即，存储)信息的任何机构。例如，机器可读介质包括可记录/不可记录介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器装置等。机器可读介质可以是非暂时性计算机可读存储介质。
除非从前面的讨论中另有明显说明，否则应当理解，诸如“接收”、“定位”、“进行”、“发射”或“使得”等的术语可以是指计算机系统或类似电子计算装置的动作和处理，其中该计算机系统或类似电子计算装置操纵被表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据，并将该数据变换为被类似地表示为计算机系统存储器或寄存器或者其他这类信息存储或显示装置内的物理量的其他数据。可以使用计算机软件来实现本文描述的方法的实现。如果用符合公认标准的编程语言编写，则可以编译被设计为实现这些方法的指令的序列，以在各种硬件平台上执行并且与各种操作系统相接合。另外，不参考任何特定编程语言来描述本发明的实现。应当理解，可以使用各种编程语言来实现本发明的实现。
应当注意，本文描述的方法和设备不局限于仅用于医学诊断成像和处置。在替代实现中，本文的方法和设备可用于医疗技术领域之外的应用，诸如工业成像和材料的无损测试等。在这样的应用中，例如，“处置”一般可以是指由处置规划系统控制的操作(诸如束(例如，放射束、声束等)的应用等)的实现，并且“靶”可以是指非解剖对象或区域。
在前面的说明书中，已经参考其具体示例性实现描述了本发明。然而，将是明显的是，可以在不脱离所附权利要求书中所阐述的本发明的更广泛的精神和范围的情况下，对其进行各种修改和改变。因此，说明书和附图应被视为说明性意义而非限制性意义。

Claims (51)

1.一种方法，包括：
将靶对象的处置规划图像输入到机器学习系统中；
通过所述机器学习系统，确定所述处置规划图像的第一靶对象特定模型；
通过处理装置，将所述第一靶对象特定模型应用于所述处置规划图像，以生成与所述靶对象的多个位置中的第一位置相对应的经变换处置规划图像；
将所述经变换处置规划图像与参考图像进行比较；
基于所述比较，修改所述第一靶对象特定模型的一个或多于一个参数，以生成与所述多个位置中的第二位置相对应的第二靶对象特定模型；以及
基于所述第二靶对象特定模型来控制处置装置以向所述靶对象递送处置。
2.根据权利要求1所述的方法，其中，所述处置规划图像是3D解剖图像和4D解剖图像其中之一，以及其中，所述经变换处置规划图像和所述参考图像是2D图像。
3.根据权利要求1所述的方法，其中，所述机器学习系统经训练，以根据所述靶对象的3D、4D或其他派生图像来构建所述第一靶对象特定模型。
4.根据权利要求1所述的方法，其中，所述机器学习系统经训练，以根据所述靶对象和其他对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
5.根据权利要求1所述的方法，其中，所述机器学习系统经训练，以根据第一时间的所述靶对象和第二时间的所述靶对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
6.根据权利要求1所述的方法，其中，所述机器学习系统经训练，以根据所述靶对象和合成图谱对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
7.根据权利要求1所述的方法，其中，所述机器学习系统使用训练对象的群体和与多个训练对象中的各训练对象相关联的多个图像作为训练数据。
8.根据权利要求1所述的方法，其中，所述机器学习系统使用所计算出的对象特定模型作为训练数据。
9.根据权利要求1所述的方法，其中，所述对象特定模型包括所述靶对象的中心图谱以及基变换的集合和外观变化，所述靶对象的中心图谱以及基变换的集合和外观变化被线性地组合以产生对能够找到所述靶对象的一个或多于一个构象的估计。
10.根据权利要求1所述的方法，其中，所述对象特定模型包括模型合成函数，所述模型合成函数包括基函数的线性组合和神经网络中的至少一个。
11.根据权利要求1所述的方法，其中，根据对真实数据和合成数据中的至少一个的集合的降维来开发所述对象特定模型。
12.根据权利要求1所述的方法，其中，所述机器学习系统使用生成对抗网络，所述生成对抗网络产生对象特定模型作为所述生成对抗网络的输出。
13.根据权利要求1所述的方法，其中，所述机器学习系统使用自编码器网络，其中根据所述自编码器网络，能够使用解码器组件作为第一对象特定模型。
14.根据权利要求1所述的方法，其中，所述机器学习系统使用来自从对象产生对象特定模型的系统的迁移学习，以产生其他对象的对象特定模型。
15.根据权利要求1所述的方法，还包括：接收辅助解剖信号或伪解剖信号。
16.一种处置系统，包括：
存储器，用于存储靶对象的处置规划图像；以及
处理装置，其操作地耦接到所述存储器，所述处理装置用于：
将所述靶对象的所述处置规划图像输入到机器学习系统中；
通过所述机器学习系统，确定所述处置规划图像的第一靶对象特定模型；
将所述第一靶对象特定模型应用于所述处置规划图像，以生成与所述靶对象的多个位置中的第一位置相对应的经变换处置规划图像；
将所述经变换处置规划图像与参考图像进行比较；
基于所述比较，修改所述第一靶对象特定模型的一个或多于一个参数，以生成与所述多个位置中的第二位置相对应的第二靶对象特定模型；以及
基于所述第二靶对象特定模型来控制处置装置以向所述靶对象递送处置。
17.根据权利要求16所述的处置系统，其中，所述处置规划图像是3D解剖图像和4D解剖图像其中之一，以及其中，所述经变换处置规划图像和所述参考图像是2D图像。
18.根据权利要求16所述的处置系统，其中，所述机器学习系统经训练，以根据所述靶对象的3D、4D或其他派生图像来构建所述第一靶对象特定模型。
19.根据权利要求16所述的处置系统，其中，所述机器学习系统经训练，以根据所述靶对象和其他对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
20.根据权利要求16所述的处置系统，其中，所述机器学习系统经训练，以根据第一时间的所述靶对象和第二时间的所述靶对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
21.根据权利要求16所述的处置系统，其中，所述机器学习系统经训练，以根据所述靶对象和合成图谱对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
22.根据权利要求16所述的处置系统，其中，所述机器学习系统使用训练对象的群体和与多个训练对象中的各训练对象相关联的多个图像作为训练数据。
23.根据权利要求16所述的处置系统，其中，所述机器学习系统使用所计算出的对象特定模型作为训练数据。
24.根据权利要求16所述的处置系统，其中，所述对象特定模型包括所述靶对象的中心图谱以及基变换的集合和外观变化，所述靶对象的中心图谱以及基变换的集合和外观变化被线性地组合以产生对能够找到所述靶对象的一个或多于一个构象的估计。
25.根据权利要求16所述的处置系统，其中，所述对象特定模型包括模型合成函数，所述模型合成函数包括基函数的线性组合和神经网络中的至少一个。
26.根据权利要求16所述的处置系统，其中，根据对真实数据和合成数据中的至少一个的集合的降维来开发所述对象特定模型。
27.根据权利要求16所述的处置系统，其中，所述机器学习系统使用生成对抗网络，所述生成对抗网络产生对象特定模型作为所述生成对抗网络的输出。
28.根据权利要求16所述的处置系统，其中，所述机器学习系统使用自编码器网络，其中根据所述自编码器网络，能够使用解码器组件作为第一对象特定模型。
29.根据权利要求16所述的处置系统，其中，所述机器学习系统使用来自从对象产生对象特定模型的系统的迁移学习，以产生其他对象的对象特定模型。
30.根据权利要求16所述的处置系统，所述处理装置还用于接收辅助解剖信号或伪解剖信号，其中辅助信号是基于三角化发光二极管标记即三角化LED标记的集合而以光学方式获得的。
31.根据权利要求16所述的处置系统，还包括：
机架，其耦接到放射源，其中所述机架被配置为使所述放射源围绕所述靶对象转动。
32.根据权利要求31所述的处置系统，其中，所述机架包括C形臂机架。
33.根据权利要求31所述的处置系统，其中，所述机架包括环形机架。
34.根据权利要求16所述的处置系统，还包括：
机械臂，其耦接到放射源，其中所述机械臂被配置为将所述放射源定位在多个位置处。
35.根据权利要求34所述的处置系统，其中，所述机械臂将所述放射源定位在所述靶对象周围的多个位置处。
36.根据权利要求16所述的处置系统，其中，放射束包括千伏级处置束即kV级处置束。
37.根据权利要求16所述的处置系统，还包括双态多叶准直器即双态MLC。
38.一种非暂时性计算机可读存储介质，其包括指令，所述指令在由处理装置执行时，使所述处理装置进行以下操作：
将靶对象的处置规划图像输入到机器学习系统中；
通过所述机器学习系统，确定所述处置规划图像的第一靶对象特定模型；
通过所述处理装置，将所述第一靶对象特定模型应用于所述处置规划图像，以生成与所述靶对象的多个位置中的第一位置相对应的经变换处置规划图像；
将所述经变换处置规划图像与参考图像进行比较；
基于所述比较，修改所述第一靶对象特定模型的一个或多于一个参数，以生成与所述多个位置中的第二位置相对应的第二靶对象特定模型；以及
基于所述第二靶对象特定模型来控制处置装置以向所述靶对象递送处置。
39.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述处置规划图像是3D解剖图像和4D解剖图像其中之一，以及其中，所述经变换处置规划图像和所述参考图像是2D图像。
40.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统经训练，以根据所述靶对象的3D、4D或其他派生图像来构建所述第一靶对象特定模型。
41.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统经训练，以根据所述靶对象和其他对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
42.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统经训练，以根据第一时间的所述靶对象和第二时间的所述靶对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
43.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统经训练，以根据所述靶对象和合成图谱对象之间的至少一个可形变配准来构建所述第一靶对象特定模型。
44.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统使用训练对象的群体和与多个训练对象中的各训练对象相关联的多个图像作为训练数据。
45.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统使用所计算出的对象特定模型作为训练数据。
46.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述对象特定模型包括所述靶对象的中心图谱以及基变换的集合和外观变化，所述靶对象的中心图谱以及基变换的集合和外观变化被线性地组合以产生对能够找到所述靶对象的一个或多于一个构象的估计。
47.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述对象特定模型包括模型合成函数，所述模型合成函数包括基函数的线性组合和神经网络中的至少一个。
48.根据权利要求38所述的非暂时性计算机可读存储介质，其中，根据对真实数据和合成数据中的至少一个的集合的降维来开发所述对象特定模型。
49.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统使用生成对抗网络，所述生成对抗网络产生对象特定模型作为所述生成对抗网络的输出。
50.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统使用自编码器网络，其中根据所述自编码器网络，能够使用解码器组件作为第一对象特定模型。
51.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述机器学习系统使用来自从对象产生对象特定模型的系统的迁移学习，以产生其他对象的对象特定模型。
CN202080093427.4A 2019-11-25 2020-11-18 使用机器学习的重建受运动影响的处置剂量的局部形变图 Pending CN114945406A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962940037P 2019-11-25 2019-11-25
US62/940,037 2019-11-25
US17/098,215 2020-11-13
US17/098,215 US11922656B2 (en) 2019-11-25 2020-11-13 Partial deformation maps for reconstructing motion-affected treatment dose using machine learning
PCT/US2020/061112 WO2021108189A1 (en) 2019-11-25 2020-11-18 Partial deformation maps for reconstructing motion-affected treatment dose using machine learning

Publications (1)

Publication Number Publication Date
CN114945406A true CN114945406A (zh) 2022-08-26

Family

ID=75971556

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080093427.4A Pending CN114945406A (zh) 2019-11-25 2020-11-18 使用机器学习的重建受运动影响的处置剂量的局部形变图
CN202080093419.XA Pending CN115003379A (zh) 2019-11-25 2020-11-18 用于重建受运动影响的处置剂量的局部形变图

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080093419.XA Pending CN115003379A (zh) 2019-11-25 2020-11-18 用于重建受运动影响的处置剂量的局部形变图

Country Status (5)

Country Link
US (3) US11922656B2 (zh)
EP (2) EP4065219A1 (zh)
JP (2) JP2023502533A (zh)
CN (2) CN114945406A (zh)
WO (2) WO2021108189A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020150505A1 (en) * 2019-01-16 2020-07-23 Reflexion Medical, Inc. Methods for setup corrections in radiation therapy
TWI696190B (zh) * 2019-03-15 2020-06-11 國立陽明大學 一種透過體積轉換演算法以計算最佳化機頭弧形角度的方法
CN113784665A (zh) * 2019-05-03 2021-12-10 皇家飞利浦有限公司 心脏图像的共配准
US11922656B2 (en) * 2019-11-25 2024-03-05 Accuray Incorporated Partial deformation maps for reconstructing motion-affected treatment dose using machine learning
US11446522B2 (en) 2020-04-24 2022-09-20 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scintillation camera-based motion tracking in radiotherapy
JP7315935B1 (ja) * 2022-02-16 2023-07-27 国立大学法人大阪大学 予測支援システム、予測支援方法及び予測支援プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248312B2 (en) * 2007-10-26 2016-02-02 Accuray Incorporated Automatic correlation modeling of an internal target
EP3509696A1 (en) * 2016-09-06 2019-07-17 Elekta, Inc. Neural network for generating synthetic medical images
JP6688536B2 (ja) 2016-09-07 2020-04-28 エレクタ、インク.Elekta, Inc. 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法
JP7178009B2 (ja) * 2017-12-20 2022-11-25 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法、およびプログラム
JP7140320B2 (ja) * 2017-12-20 2022-09-21 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法、およびプログラム
JP2019107393A (ja) 2017-12-20 2019-07-04 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法、およびプログラム
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
US11557390B2 (en) * 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
KR102131742B1 (ko) 2019-01-04 2020-07-08 사회복지법인 삼성생명공익재단 가상현실을 이용하여 환자의 호흡동조 방사선 치료를 최적화하는 방법 및 시스템
CN110415785A (zh) * 2019-08-29 2019-11-05 北京连心医疗科技有限公司 人工智能引导放疗计划的方法及系统
US11922656B2 (en) * 2019-11-25 2024-03-05 Accuray Incorporated Partial deformation maps for reconstructing motion-affected treatment dose using machine learning

Also Published As

Publication number Publication date
JP2023502533A (ja) 2023-01-24
US11922656B2 (en) 2024-03-05
US20210154494A1 (en) 2021-05-27
US20230102478A1 (en) 2023-03-30
WO2021108190A1 (en) 2021-06-03
US11596807B2 (en) 2023-03-07
EP4065220A1 (en) 2022-10-05
JP2023502532A (ja) 2023-01-24
US20210154496A1 (en) 2021-05-27
CN115003379A (zh) 2022-09-02
WO2021108189A1 (en) 2021-06-03
EP4065219A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US11331518B2 (en) Online angle selection in rotational imaging and tracking systems
US11547870B2 (en) Radiation treatment planning using four-dimensional imaging data
US11922656B2 (en) Partial deformation maps for reconstructing motion-affected treatment dose using machine learning
US11691029B2 (en) Offline angle selection in rotational imaging and tracking systems
US8831706B2 (en) Fiducial-less tracking of a volume of interest
CN110381839A (zh) 处置计划图像、分次内3D图像和分次内2D x射线图像的图像配准
CN115361998A (zh) 放射疗法治疗计划的对抗性预测
US20230044983A1 (en) Sequential monoscopic tracking
US11712586B2 (en) Compensating for target rotation with a collimation system
Wijesinghe Intelligent image-driven motion modelling for adaptive radiotherapy
Dick Fiducial-Less Real-Time Tracking of the Radiation Therapy of Liver Tumors Using Artificial Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination