CN112825619A - 使用数字重建放射影像训练机器学习算法 - Google Patents

使用数字重建放射影像训练机器学习算法 Download PDF

Info

Publication number
CN112825619A
CN112825619A CN201980061756.8A CN201980061756A CN112825619A CN 112825619 A CN112825619 A CN 112825619A CN 201980061756 A CN201980061756 A CN 201980061756A CN 112825619 A CN112825619 A CN 112825619A
Authority
CN
China
Prior art keywords
data
image
anatomical structure
dimensional
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061756.8A
Other languages
English (en)
Inventor
金·勒
扬尼克·莫伊雷尔
托马斯·德雷克塞尔
托马斯·菲尔卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brainlab AG
Original Assignee
Brainlab AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brainlab AG filed Critical Brainlab AG
Publication of CN112825619A publication Critical patent/CN112825619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于训练基于似然的计算模型的以确定二维X射线图像中带注释的解剖结构的图像表示的位置计算机实施的方法，该方法包含将医学DRR与注释一起输入到机器学习算法，以训练算法，即生成机器学习模型的适应性可学习参数。可从与DRR相关联的元数据中导出注释，或可将其包含在与DRR相匹配的图谱数据中，以在图谱数据中所包含的注释与DRR之间建立关系。这样生成的机器学习算法可再用于分析临床或合成DRR，以便适当地向那些DRR添加注释和/或识别那些DRR中解剖结构的位置。

Description

使用数字重建放射影像训练机器学习算法
技术领域
本发明涉及一种训练基于似然的计算模型以确定二维X射线图像中的带注释的解剖结构的图像表示的位置的计算机实施的方法、一种相应的计算机程序、一种用于确定二维医学图像中表示的解剖结构与该解剖结构的注释之间的关系的计算机实施的方法、一种存储该程序的程序存储介质、一种用于执行该程序的计算机，以及包括电子数据存储设备和上述计算机的医疗系统。
背景技术
先前已经利用了使用合成模型来训练机器学习算法。例如，Microsoft Kinect接受3D模型训练，该3D模型提供每个姿势的标签。
该文献中并未提及使用数字重建放射影像(DRR)来训练算法，然后将其与其他数据集一起使用。仅训练临床数据的难点在于收集数据可能耗费大量时间，数据的质量可能很低，并且必须进行分类和标记来进行机器学习。使用DRR，能够自动执行标记过程。
本发明的目的在于提供一种改进的训练和使用人工智能(AI)算法的方法，用于将注释应用于医学图像数据，或用于检测医学图像数据中预定解剖结构的图像位置。
本发明能够用于图像引导程序，例如，与用于放射疗法(诸如
Figure BDA0002984532440000011
和
Figure BDA0002984532440000012
)、手术导航(诸如
Figure BDA0002984532440000013
或
Figure BDA0002984532440000014
)或基于云的手术计划(诸如
Figure BDA0002984532440000015
)的系统有关的Brainlab AG的所有产品。
下面公开本发明的各方面、示例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本发明组合本发明的不同示例性特征。
发明内容
在下文中，给出了本发明具体特征的简要描述，不应将其理解为将本发明仅限于本部分中描述的特征或特征的组合。
本公开的方法包含将医学DRR连同注释一起输入到机器学习算法，以训练该算法，即，生成机器学习模型的适应性可学习参数。注释可以从与DRR相关联的元数据中导出，或者可以被包含在与DRR匹配的图谱数据中，以在图谱数据中所包括的注释与DRR之间建立关系。这样生成的机器学习算法可以再用于分析临床或合成DRR，以便适当地向那些DRR添加注释和/或识别那些DRR中解剖结构的位置。
在本部分中，例如通过参照本发明的可行实施例给出对本发明的一般特征的描述。
一般而言，第一方面，本发明达成上述目的的解决方案为一种训练基于似然的计算模型以确定二维X射线图像中的带注释的解剖结构的图像表示的位置的计算机实施的医学方法。根据第一方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。
在根据第一方面的方法的(例如第一)示例性步骤中，获取图像训练数据，该图像训练数据描述合成二维X射线图像(例如，数字重建放射影像-DRR)，又称为训练图像，包含解剖结构的图像表示。该步骤对应于输入用于训练基于似然的计算模型的一组训练DRR。术语“解剖结构”包含异常组织，例如病理组织，例如肿瘤或骨裂/骨折或骨骼错位或医学植入物(如螺钉或人造椎间盘或假肢)。
在根据第一方面的方法的(例如第二)示例性步骤中，获取注释数据，该注释数据描述解剖结构的注释。注释是例如以下信息中的至少一项：描述定义解剖结构的图像表示的解剖结构透视角度的信息(例如描述图像表示是从解剖结构左侧还是从解剖结构右侧生成的信息)、描述图像表示的子集或分段(例如，界定该子集的边界框)或描述定义解剖结构的属性的分类的信息(例如，解剖结构的病理程度或它的身份，例如其解剖名称(designation)和/或命名(name))。例如，从图像训练数据中包含的元数据中确定注释数据。在一个示例中，获取图谱数据，该图谱数据描述解剖结构的基于图像的模型，然后例如基于图像训练数据和图谱数据来确定注释数据。例如，这可以通过将训练图像与基于图像的模型进行匹配来完成，例如通过对两个数据集执行图像融合算法以查找到相应的图像结构来完成。基于图像的模型例如包括数据对象，例如解剖界标的表示，其几何形状能够与训练图像的图像成分相匹配，以在基于图像的模型中查找到与训练图像中可见的某些结构相对应的结构。可以关于基于图像的模型中的相应结构来定义注释，并且可以基于匹配将注释传送到训练图像。
在根据第一方面的方法的(例如第三)示例性步骤中，确定模型参数数据，该模型参数数据描述用于在二维X射线中的解剖结构与注释之间建立基于似然的关系(例如基于似然的关联)的基于似然的计算模型的模型参数(例如可学习参数，诸如偏差、批量归一化或权重)。例如，计算模型包括人工智能(AI)算法(例如机器学习(ML)算法)或由其组成；在一个示例中，卷积神经网络是计算模型的一部分。例如，通过将图像训练数据和注释数据输入到建立基于似然的关系的函数中(然后基于该输入执行该函数)来确定模型参数数据。例如，函数在二维X射线图像中的解剖结构的位置与用于显示二维X射线图像中的注释的位置之间建立基于似然的关系。因此，能够训练诸如机器学习算法的计算模型，以与训练图像相关联地(例如在图像中)建立界标的位置与用于对其进行标记的位置之间的关系。
在根据第一方面的方法的示例中，获取医学图像数据，该医学图像数据描述包含解剖结构的图像表示的三维医学图像，其中确定训练图像数据是通过确定与三维医学图像中的解剖结构的图像表示相关联的图像值阈值(例如强度阈值)，定义相应的强度映射函数，并基于强度映射函数从三维医学图像中的至少一个(例如恰好一个、真正子集或全部)的解剖结构的图像表示来生成每个二维合成X射线图像中的解剖结构的图像表示。
在根据第一方面的方法的示例中，获取图谱数据，该图谱数据描述解剖结构的基于图像的模型以及用于生成二维医学图像的至少一个投影参数。然后，基于至少一个投影参数生成二维医学图像。特别地，从图谱数据中获取投影参数(诸如生成训练图像(DRR)的透视角度)。
在第二方面，本发明针对一种确定二维医学图像中表示的解剖结构与该解剖结构的注释之间的关系的计算机实施的方法。根据第二方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。
在根据第二方面的方法的(例如第一)示例性步骤中，获取患者图像数据，该患者图像数据描述(合成的或临床的、即真实的)二维X射线图像，该二维X射线图像包含患者的解剖结构的图像表示。例如，已经通过从解剖结构的三维图像中合成二维X射线图像生成患者图像数据，或者已经通过应用基于X射线的成像模式(例如透视成像模式或层析成像模式，诸如所计算的X射线层析成像或解剖结构的磁共振成像)生成患者图像数据(并且，在后一种情况下，分别通过所计算的X射线层析或磁共振层析来生成二维X射线图像)。
在根据第二方面的方法的(例如第二)示例性步骤中，确定结构注释预测数据，该结构注释预测数据根据由计算模型确定的某种似然，来描述二维X射线图像(该图像由患者注释数据和解剖结构的注释来描述)中解剖结构的图像表示的位置，其中通过将患者图像数据输入到函数来确定结构注释数据，该函数在二维X射线图像中的解剖结构的图像表示与该解剖结构的注释之间建立基于似然的关系，该函数是已经通过执行根据第一方面的方法训练过的计算模型的一部分(然后在此输入的基础上执行函数)。
在根据第二方面的方法的示例中，函数在由患者图像数据描述的二维X射线图像中的解剖结构的位置与用于显示由患者图像数据描述的二维X射线图像中的注释的位置之间建立基于似然的关系，并且结构注释数据描述在由患者图像数据描述的二维X射线图像中的解剖结构的图像表示的位置与用于显示由患者图像数据描述的二维X射线图像中的注释的位置之间的基于似然的关系(例如基于似然的关联)。
第三方面，本发明针对一种计算机程序，该计算机程序在至少一台计算机(例如，一台计算机)的至少一个处理器(例如，一个处理器)上运行时或加载到至少一台计算机(例如，一台计算机)的至少一个存储器(例如，一个存储器)上时促使该至少一台计算机执行根据第一方面或第二方面的上述方法。替选地或附加地，本发明可以涉及携带表示程序、例如上述程序的信息的(例如以技术手段生成的物理性、例如电)信号波，例如数字信号波，诸如电磁载波，所述程序例如包括适于执行根据第一方面的方法的任意或全部步骤的代码机构。在一实例中，信号波是携带上述计算机程序的数据载波信号。存储在盘上的计算机程序是数据文件，当读取并传输文件时，该文件变成例如(例如以技术手段生成的物理性、例如电)信号形式的数据流。该信号可实施为信号波，例如本文描述的电磁载波。例如，信号(例如信号波)构建为经由计算机网络、例如LAN、WLAN、WAN、移动网络(例如因特网)来传输。例如，信号(例如信号波)构建为通过光学或声学数据传输来传输。因此，根据第三方面的本发明可以替选地或附加地涉及代表上述程序的数据流。
第四方面，本发明针对一种存储有根据第三方面的程序的计算机可读程序存储介质。所述程序存储介质例如为非暂时性的。
在第五方面中，本发明针对一种程序存储介质，其上存储有定义模型参数和已经通过执行根据第一方面的方法训练过的基于似然的计算模型的体系架构的数据。
在第六方面，本发明针对一种数据载波信号，该数据载波信号承载定义模型参数和已经通过执行根据第一方面的方法训练过的基于似然的计算模型的体系架构的数据，和/或数据流，该数据流承载定义模型参数和基于似然的计算模型(已经通过执行根据第一方面的方法训练该计算模型)的体系架构的数据。
在第七方面，本发明针对至少一台计算机(例如一台计算机)，其包括至少一个处理器(例如一个处理器)和至少一个存储器(例如一个存储器)，其中根据第三方面的程序在处理器上运行或加载到存储器中，或其中至少一台计算机包括根据第四方面的计算机可读程序存储介质。
在第八方面，本发明针对一种用于确定二维医学图像中表示的解剖结构与该解剖结构的注释之间的关系的系统，包括：
a)根据前述权利要求的至少一台计算机；
b)存储患者图像数据的至少一个电子数据存储设备；
c)根据前述权利要求的程序存储介质；以及
其中至少一台计算机可操作地耦合到：
-至少一个电子数据存储设备，用于从至少一个电子数据存储设备中获取所述患者图像数据，并用于在至少一个电子数据存储设备中存储至少结构注释预测数据；以及
-程序存储介质，用于从程序存储介质中获取定义模型参数和基于似然的计算模型的体系架构的数据。
替代地或附加地，根据第五方面的本发明针对一种例如非暂时性计算机可读程序存储介质，该介质存储用于促使根据第四方面的计算机执行根据第一方面或第二方面的方法的数据处理步骤的程序。
例如，本发明不涉及或尤其不包括或包含侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，需要对身体采取专业医疗措施，而即使采取了必要的专业护理和措施，身体仍可能承受重大健康风险。
例如，本发明不包括将电离辐射施加到患者身体上，以例如生成患者图像数据的步骤。而是在执行根据第二方面的发明方法之前已经生成患者图像数据。仅凭此原因，通过实施本发明就不需要手术或治疗活动，尤其是不需要手术或治疗步骤。更具体地，本发明不涉及或尤其不包括或包含任何外科手术或治疗活动。相反，本发明可能涉及适用于处理医学图像数据。
本发明还涉及使用根据第八方面的系统或根据第七方面的计算机，用于训练基于似然的计算模型以通过分别执行根据第一方面或第二方面的方法，确定二维X射线图像中的带注释的解剖结构的图像表示，或确定二维医学图像中表示的解剖结构与用于该解剖结构的注释之间的关系。
定义
本部分中提供了本公开中使用的特定术语的定义，它们也构成本公开的一部分。
根据本发明的方法例如是一种计算机实施的方法。例如，根据本发明的方法的全部步骤或仅一些步骤(即，少于步骤总数)可以由计算机(例如，至少一个计算机)执行。由计算机实施的方法的实施例是计算机用来执行数据处理方法的用途。由计算机实施的方法的实施例是涉及计算机操作的方法，使得计算机被操作为执行该方法的一个、多个或全部步骤。
计算机例如包括至少一个处理器和例如至少一个存储器，以便(技术上)处理数据，例如电子地和/或光学地处理数据。处理器例如由半导体的物质或组合物制成，例如至少部分n型和/或p型掺杂半导体，例如II型、III型、IV型、V型、VI型半导体材料中的至少一种，例如(掺杂)砷化硅和/或砷化镓。所描述的计算步骤或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术方法的框架内(例如在程序的框架内)确定数据的步骤。计算机例如是任何类型的数据处理装置，例如电子数据处理装置。计算机可以是通常视为计算机的装置，例如台式个人电脑、笔记本电脑、上网本等，但也可以是任何可编程设备，例如移动电话或嵌入式处理器。计算机可以例如包括“子计算机”系统(网络)，其中每个子计算机代表其本身的计算机。术语“计算机”包括云计算机，例如云服务器。术语“计算机”包括服务器资源。术语“云计算机”包括云计算机系统，其例如包括至少一个云计算机的系统，并例如包括多个可操作式互连的云计算机，诸如服务器群。这种云计算机优选地连接到诸如万维网(WWW)的广域网，并位于全部连接到万维网的计算机的所谓的云中。这种基础设施用于“云计算”，其描述了不要求终端用户知道提供特定服务的计算机的物理位置和/或配置的那些计算、软件、数据访问和存储服务。例如，术语“云”就此用来隐喻因特网(万维网)。例如，云提供作为服务(IaaS)的计算基础设施。云计算机可以用作用于执行本发明方法的操作系统和/或数据处理应用的虚拟主机。云计算机例如是由亚马逊网络服务(Amazon WebServicesTM)提供的弹性计算云(EC2)。计算机例如包括接口，以便接收或输出数据和/或执行模数转换。该数据例如是表示物理属性和/或从技术信号生成的数据。技术信号例如通过(技术)检测装置(例如用于检测标记装置的装置)和/或(技术)分析装置(例如用于执行(医学)成像方法的装置)来生成，其中技术信号是例如电信号或光信号。技术信号例如表示由计算机接收或输出的数据。计算机优选可操作式耦合到显示装置，该显示装置允许将由计算机输出的信息显示给例如用户。显示装置的一个实例是虚拟现实装置或增强现实装置(又称为虚拟现实眼镜或增强现实眼镜)，其可以用作用于导航的“护目镜”。这种增强现实眼镜的具体实例是谷歌眼镜(Google Glass，Google,Inc.旗下的商标品牌)。增强现实装置或虚拟现实装置既可用于通过用户交互将信息输入到计算机中，又可用于显示由计算机输出的信息。显示装置的另一实例是例如包括液晶显示器的标准计算机监视器，该液晶显示器可操作式连接到用于从用于生成信号的计算机接收显示控制数据的计算机，该信号用于在显示装置上显示图像信息内容。这种计算机监视器的具体实施例是数字灯箱。这种数字灯箱的实例是Brainlab AG的产品
Figure BDA0002984532440000071
监视器也可以是例如手持式的便携式装置，诸如智能电话或个人数字助理或数字媒体播放器。
本发明还涉及一种程序，该程序在计算机上运行时促使计算机执行本文所述的一个、多个或全部的方法步骤；以及/或涉及一种存储有该程序(特别是以非暂时性形式)的程序存储介质；以及/或涉及一种包括该程序存储介质的计算机；以及/或涉及一种携带表示该程序(例如是上述程序)的信息的(物理性、例如电性、例如技术性生成的)信号波，例如数字信号波，诸如电磁载波，该程序例如包括适于执行本文所述的任意或全部的方法步骤的代码机构。
在本发明的框架内，计算机程序单元可以通过硬件和/或软件(这包括固件、驻留软件、微代码等)来体现。在本发明的框架内，计算机程序单元可以采取计算机程序产品的形式，该计算机程序产品可以通过计算机可用、例如计算机可读的数据存储介质来实现，该数据存储介质包括计算机可用、例如计算机可读的程序指令，在所述数据存储介质中体现的“代码”或“计算机程序”用于在指令执行系统上或与指令执行系统结合使用。这种系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序单元和/或程序的机构的数据处理装置，例如包括执行计算机程序单元的数字处理器(中央处理单元或CPU)的数据处理装置，以及可选地包括用于存储用于执行计算机程序单元和/或通过执行计算机程序单元生成的数据的易失性存储器(例如随机存取存储器或RAM)的数据处理装置。在本发明的框架内，计算机可用、例如计算机可读的数据存储介质可以是任何数据存储介质，其可以包含、存储、通信、传播或传输那些指令执行系统、设备或装置上使用或与之结合使用的程序。计算机可用、例如计算机可读的数据存储介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置，或者是诸如因特网的传播介质。计算机可用或计算机可读的数据存储介质甚至可以是例如可打印所述程序的纸张或其他合适介质，因为程序可以通过电子方式捕获，例如通过光学扫描该纸张或其他合适介质，然后再编译、解码或以适当方式另行处理。数据存储介质优选为非易失性数据存储介质。本文所述的计算机程序产品和任何软件和/或硬件形成用于在示例实施例中执行本发明的功能的各种机构。计算机和/或数据处理装置可以例如包括指导信息装置，该指导信息装置包括用于输出指导信息的机构。指导信息可以例如在视觉上通过视觉指示机构(例如，监视器和/或灯)和/或在听觉上通过听觉指示机构(例如，扬声器和/或数字语音输出装置)和/或在触觉上通过触觉指示机构(例如，振动元件或并入仪器中的振动元件)输出给用户。出于本文件的目的，计算机是技术计算机，该技术计算机例如包括诸如有形组件、例如机械组件和/或电子组件的技术组件。本文件中提及的任何装置都是技术装置并例如是有形装置。
表述“获取数据”例如包含(在所述计算机实施的方法的框架内)由计算机实施的方法或程序确定数据的场景。确定数据例如包含测量物理量并将所测得的值变换成数据，例如数字数据，和/或借助于计算机并例如在根据本发明的方法的框架内计算(例如输出)该数据。如本文所述的“确定”步骤例如包括发出执行本文所述的确定的命令或由其组成。例如，该步骤包括发出促使计算机(例如远程计算机、例如远程服务器、例如云中)执行确定的命令或由其组成。替选地或附加地，本文所述的“确定”步骤例如包括以下步骤或由其组成：接收由本文所述的确定的结果数据，例如从远程计算机(例如从促使其执行确定的远程计算机)接收结果数据。“获取数据”的含义还例如包含以下场景：通过(例如输入)由计算机实施的方法或程序例如从另一程序、先前的方法步骤或数据存储介质接收或检索数据，例如用于通过由计算机实施的方法或程序进行进一步处理。待获取数据的生成可以但不必是根据本发明的方法的一部分。因此，表述“获取数据”还可以例如表示等待接收数据和/或接收数据。所接收的数据可以例如经由接口来输入。表述“获取数据”还可以表示由计算机实施的方法或程序执行一些步骤以便(主动地)从譬如数据存储介质(例如ROM、RAM、数据库、硬盘驱动器等)的数据源或经由接口(譬如从另一个计算机或网络)接收或检索数据。分别通过本公开的方法或装置获取的数据可从位于数据存储装置中的数据库获取，该数据存储装置可操作式连接到计算机以便进行数据库与计算机之间的数据传输，例如从数据库到计算机的数据传输。计算机获取数据以用作“确定数据”步骤的输入。所确定的数据可以再输出到相同的或另一个数据库以便存储以供后续使用。该数据库或用于实施本公开方法的数据库可以位于网络数据存储装置或网络服务器(例如，云数据存储装置或云服务器)或本地数据存储装置(例如可操作式连接到至少一个执行本公开方法的计算机的大容量存储装置)。数据可以通过在获取步骤之前执行附加步骤的方式来实现“就绪”状态。根据这个附加步骤，生成数据以供获取。例如，检测或捕获数据(例如，通过分析装置)。替选地或附加地，根据附加步骤，譬如经由接口，输入数据。例如可以输入所生成的数据(譬如，输入到计算机中)。根据附加步骤(其在获取步骤之前进行)，也可以通过执行将数据存储于数据存储介质(例如ROM、RAM、CD和/或硬盘驱动器)的附加步骤来提供数据，从而在根据本发明的方法或程序的框架内，使数据就绪。因此，“获取数据”的步骤还可以涉及命令装置获取和/或提供待获取的数据。特别地，获取步骤不涉及侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，要求采取专业医疗措施，即使执行时采取了所要求的专业护理和措施，身体也可能承受重大健康风险。特别地，获取数据的步骤，例如确定数据，不涉及外科手术步骤，特别是不涉及利用外科手术或疗法来治疗人体或动物躯体的步骤。为了区分本方法使用的不同数据，将数据表示为(即称为)“XY数据”等，并根据它们描述的信息来定义，然后优选地将其称为“XY信息”等。
优选地，获取描述(例如定义，更特别地表示和/或作为)身体解剖部位的大体三维形状的图谱数据。因此，图谱数据表示身体解剖部位的图谱。图谱通常由多个对象通用模型组成，其中这些对象通用模型一起形成复合结构。例如，图谱构成了患者身体(例如身体的一部分)的统计模型，该统计模型已经根据从多个人体收集的解剖信息来生成，例如根据包含了这些人体的图像的医学图像数据来生成。因此，原则上，图谱数据表示多个人体的这种医学图像数据的统计分析结果。这个结果可以作为图像输出–因此图谱数据包含或相当于医学图像数据。这种比较可以例如通过应用图像融合算法来执行，其中该图像融合算法在图谱数据与医学图像数据之间进行图像融合。比较结果可以是在图谱数据与医学图像数据之间的相似性度量。图谱数据包括图像信息(例如位置图像信息)，该图像信息可以与例如包含在医学图像数据中的图像信息(例如位置图像信息)相匹配(例如通过应用弹性或刚性图像融合算法)，以使得例如将图谱数据与医学图像数据进行比较，以便确定医学图像数据中对应于由图谱数据限定的解剖结构的解剖结构的位置。
多个人体(其解剖结构用作生成图谱数据的输入)有利地共享共同特征，诸如性别、年龄、种族、身体测量值(例如身高和/或体重)以及病理状态中的至少一个。解剖信息例如描述人体解剖结构，并例如提取自关于人体的医学图像信息中。例如，股骨的图谱可以包括股骨头、股骨颈、身体、股骨大转子、股骨小转子以及下肢，作为一起构成了完整结构的对象。例如，脑部的图谱可以包括端脑、小脑、间脑、脑桥、中脑以及延髓，作为一起构成复杂结构的对象。这种图谱的一个应用是在医学图像分割中，其中图谱与医学图像数据相匹配，并且将图像数据与所匹配的图谱进行比较，以便将图像数据的点(像素或体素)分配给所匹配的图谱的对象，从而将图像数据分割成对象。
例如，图谱数据包括身体解剖部位的信息。该信息例如是患者特定、非患者特定、适应症特定或非适应症特定中的至少一种。因此，图谱数据描述例如患者特定、非患者特定、适应症特定或非适应症特定图谱中的至少一种。例如，图谱数据包括指示身体解剖部位相对于给定基准(例如，另一身体解剖部位)的移动自由度的移动信息。例如，图谱是多模式图谱，其定义多个(即至少两个)成像模态的图谱信息，并包含不同成像模态下的图谱信息之间的映射(例如全部模态之间的映射)，使得这些图谱可用于将医学图像信息从其在第一成像模态下的图像描绘变换为其在不同于第一成像模态的第二成像模态下的图像描绘，或者将不同的成像模态相互比较(例如匹配或配准)。
治疗身体部位的运动例如是由下文中称为“生命活动”的运动引起。这方面还可参考EP2189943A1和EP2189940A1，其还被分别公布为US2010/0125195A1和US2010/0160836A1的，其中详细讨论了这些生命活动。为了确定治疗身体部位的位置，使用诸如X射线设备、CT设备或MRT设备之类的分析设备来生成身体的分析图像(诸如X射线图像或MRT图像)。例如，分析设备构成为执行医学成像方法。分析设备例如使用医学成像方法并且是例如用于(例如通过使用波和/或辐射和/或能量束，例如电磁波和/或辐射、超声波和/或粒子束)分析患者身体的设备。分析设备例如是通过分析身体来生成患者身体(以及例如患者身体的内部结构和/或解剖部位)的图像(例如，二维或三维图像)的设备。分析设备例如用于例如放射学中的医学诊断。然而，可能难以在分析图像中标识出治疗患体部位。例如，更容易标识与治疗身体部位的位置变化以及例如与治疗身体部位的移动相关的指示身体部位。跟踪指示身体部位从而使得可以基于指示身体部位的位置(例如，移动)的变化与治疗身体部位的位置(例如，移动)的变化之间的已知相关性来跟踪治疗身体部位的移动。作为跟踪指示身体部位的替代或补充，可使用标记检测设备跟踪标记设备(其可用作指示器且因此被称作“标记指示器”)。标记指示器的位置与例如因生命活动而改变其位置的指示器结构(诸如胸壁，例如真肋或假肋，或隔膜或肠壁等)的位置具有已知的(预定的)相关性(例如，相对于其固定的相对位置)。
在医学领域，使用成像方法(又称为成像模态和/或医学成像模态)来生成人体解剖结构(诸如软组织、骨骼、器官等)的图像数据(例如二维或三维图像数据)。术语“医学成像方法”应理解为意指(有利地基于设备的)成像方法(例如所谓的医学成像模态和/或放射成像方法)，譬如计算机断层扫描(CT)和锥形束计算机断层扫描(Cone Beam ComputedTomography，CBCT，诸如体积CBCT)、X射线断层扫描、磁共振断层扫描(MRT或MRI)、常规X射线、超声波扫描术和/或超声波核查以及正电子放射断层扫描。例如，医学成像方法由分析装置来执行。通过医学成像方法应用的医学成像模态的实例为：X射线照相、磁共振成像、医学超声检查或超声、内窥镜检查、弹性成像、触觉成像、热成像、医学照相和核医学功能成像技术，诸如维基百科记载的正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)。
由此生成的图像数据又称为“医学成像数据”。分析装置例如用于在基于设备的成像方法中生成图像数据。成像方法例如用于分析身体解剖结构的医学诊断，以生成由图像数据描述的图像。成像方法还例如用于检测人体中的病理变化。然而，解剖结构中的一些变化，例如结构(组织)中的病理变化，可能无法检测到，并例如在通过成像方法生成的图像中可能是不可见。肿瘤表示解剖结构中变化的实例。如果肿瘤生长，则可认为其表示扩张的解剖结构。这种扩张的解剖结构可能无法检测到，例如，只有扩张解剖结构的一部分才能被检测到。例如，当使用造影剂渗入肿瘤时，早期/晚期脑部肿瘤通常在MRI扫描中可见。MRI扫描表示成像方法的一种实例。在对这类脑肿瘤进行MRI扫描的情形下，认为MRI图像中的信号增强(因造影剂渗入肿瘤而导致)代表了固体肿瘤块。因此，肿瘤可检测到，并例如在通过成像方法生成的图像中可辨别出。除了称为“增强”肿瘤的这些肿瘤之外，认为大约10％的脑肿瘤在扫描中无法辨别，并例如对于观察通过成像方法生成的图像的用户不可见。
图像融合可为弹性图像融合或刚性图像融合。在刚性图像融合的情形下，2D图像的像素和/或3D图像的体素之间的相对位置固定，而在弹性图像融合的情形下，允许相对位置进行更改。
在本申请中，术语“图像变形”也用作术语“弹性图像融合”的替代，但具有相同的含义。
弹性融合变换(例如，弹性图像融合变换)例如设计为能够实现从一个数据集(例如第一数据集，例如第一图像)到另一个数据集(例如第二数据集，例如第二图像)的无缝过渡。例如，变换被设计成使得第一和第二数据集(图像)中的一个变形，例如以这样的方式使得对应的结构(例如，对应的图像元素)被设置在与第一和第二张图像中的另一个相同的位置处。从第一和第二图像之一变换的变形的(变换)图像例如尽可能与第一和第二图像中的另一个相似。优选地，应用(数值)优化算法以便找到得到最佳相似度的变换。优选地，通过相似性的度量(在下文中又称为“相似性度量”)来测量相似度。优化算法的参数例如是变形场的向量。这些矢量通过优化算法来确定，以这样的方式使得得到最佳的相似度。因此，最佳相似度程度表示用于优化算法的一种条件，例如一种约束。矢量的基础位于例如待被变换的第一和第二图像之一的体素位置处，并且矢量的尖端位于待变换的图像中的相应的体素位置处。优选地提供多个这些矢量，例如超过二十个或一百个或一千个或一万个等。优选地，存在对变换(变形)的(其他)约束，例如以便避免病理变形(例如，通过变换所有体素被移动到相同位置)。这些约束包括例如变换是规则的的约束，其例如表示从变形场(例如，矢量场)的矩阵计算得到的雅可比行列式大于零，并且还包括变换的(变形的)图像不是自相交的并且例如变换的(变形的)图像不包括缺陷和/或破裂的约束。约束包括例如如下约束：如果规则网格与图像同时并且以相应的方式被变换，则不允许网格在其任何位置处交错折叠。优化问题例如通过优化算法例如迭代地来解决，该优化算法例如是一阶优化算法，例如梯度下降算法。优化算法的其他示例包括诸如下降单纯形算法的不使用导数的优化算法，或使用诸如类牛顿算法的高阶导数的算法。优化算法优选地执行局部优化。如果存在多个局部最优，则可以使用诸如模拟退火算法或通用算法的全局算法。在线性优化问题的情形下，例如可以使用单纯形方法。
在优化算法的步骤中，将体素例如在一个方向上移动一个幅度，使得相似度增加。该幅度优选地小于预定限制，例如小于图像直径的十分之一或百分之一或千分之一，并且例如大约等于或小于相邻体素之间的距离。例如由于大量(迭代)步骤，可以实施大的变形。
所确定的弹性融合变换可以例如用于确定第一数据集和第二数据集(第一图像和第二图像)之间的相似度(或相似性度量，参见上文)。为此，确定弹性融合变换与恒等变换之间的偏差。偏差程度可以例如通过确定弹性融合变换的行列式与恒等变换之间的差异来计算。偏差越大，相似性越低，因此偏差程度可用于确定相似性的度量。
相似性的度量例如可以基于第一数据集和第二数据集之间的确定的相关性来确定。
附图说明
在下文中，参照附图对本发明予以描述，这些附图给予本发明的背景说明并表示本发明的具体实施例。但本发明的范围不限于在附图的上下文中公开的具体特征，图中：
图1阐明根据第一方面的方法的基本流程；
图2阐明根据第二方面的方法的基本流程；
图3示出根据第一方面的方法的示例；
图4示出使用图3的示例的原理；
图5是根据第五方面的系统的示意图；以及
图6示出卷积神经网络的单个神经元的结构。
具体实施方式
图1阐明根据第一方面的方法的基本步骤，其中步骤S101包含获取图像训练数据，步骤S102包含获取注释数据，并且随后的步骤S103包含确定模型参数数据。
图2描述根据第二方面的方法的基本步骤，其中步骤S104包含获取患者图像数据，并且步骤S105包含确定结构注释数据。
图3阐明根据第一方面的方法的示例。在步骤S21中，读取由医学数据集体现的患者图像数据，并在随后的步骤S22中查找到强度阈值，该强度阈值用于识别用于渲染骨组织的灰度表示的阈值(例如预定的豪恩斯菲尔德单位值)。基于该阈值，步骤S23继续定义强度映射函数，包含在步骤S24中读取的渲染参数。然后在步骤S25中使用密度/强度映射，以从医学数据集中生成二维DRR。然后在步骤S26中将DRR与注释(即至少一个注释)一起使用，以形成可用于在步骤S28中训练机器学习算法的训练数据项的基础。附加地，在步骤S27中可以可选地读取带注释的临床数据(诸如真实的透视检查)，并用作训练机器学习算法的基础。DRR的注释可以从与医学数据集相关联的元数据中读取，或者可以通过使用图谱数据生成。为此，步骤S29可以读取诸如相关解剖结构的名称的标识符，并将其用于基于图谱数据运行医学数据集的分段。附加地，图谱数据可以存储用于生成DRR的投影参数，该投影参数可以在步骤S211中提取并输入到步骤S25。在步骤S212中将分段的解剖结构从三维投影到二维，并且在步骤S213中使用二维投影来生成注释，该注释可以通过使用与该注释关联的二维坐标与在步骤S25中生成的DRR相关联。
图4阐明在步骤S30中如何读取代表患者图像数据的三维数据，并在步骤S31中用作生成合成数据的输入，然后可以将其与在步骤S33中读取的图谱数据和在步骤S32中读取的临床数据相结合，作为经过训练的AI模型的输入，然后在该输入上运行该经过训练的AI模型，以在步骤S35中生成信息输出(诸如边界框、代表某个解剖结构的图像成分的概率、或关键点、或界标定位)，或在步骤S36中确定例如预定解剖结构(诸如单个椎骨)的图像位置。
图5是根据第八方面的医疗系统1的示意图。该系统整体标有附图标记1，并包括计算机2，用于至少存储患者图像数据的电子数据存储设备(诸如硬盘)3。医疗系统1的部件具有上文关于本公开第八方面解释的功能和特性。
根据第一方面公开的方法的重点是训练机器学习算法，以检测患者图像数据(例如3D数据(例如CT或MRI)或2D数据(例如X射线图像或荧光检查))中的对象和/或特征。除使用真实患者数据外，还使用数字重建放射影像来优化训练，因为这样允许更好地微调输入数据。
使用DRR的益处是可生成大量图像，这些图像的图像质量及其内容可能受到影响。能够从CT数据集中生成DRR，这意味着该算法能够用于3D数据集和2D图像。通过调整骨骼阈值(其通过应用已知方法来自动检测)，能够调整输出图像的内容，使其例如仅显示骨骼结构，而不显示软组织。能够自由定义投影参数，允许从各种拍摄方向生成图像，该各种拍摄方向在临床环境中将难以实现(并且可能因伦理问题/辐射剂量/临床样本的可用性而根本无法实现)。
在下文中，参考图6来解释卷积神经网络，作为结合本公开的发明使用的机器学习算法的示例。
卷积网络(又称为卷积神经网络，或CNN)是用于处理具有已知网格状拓扑结构的数据的神经网络的示例。示例包含时间序列数据(其能够看作是以规则的时间间隔采样的一维栅格)和图像数据(其能够看作是像素的二维栅格)。名称“卷积神经网络”指示该网络采用卷积的数学运算。卷积是线性运算。卷积网络是简单的神经网络，在其至少一层中使用卷积代替一般的矩阵乘法。卷积函数有多种变体，其在实践中广泛用于神经网络。通常，在卷积神经网络中使用的运算与其他领域(例如工程学或纯数学)中使用的卷积定义不精确对应。
卷积神经网络的主要部件是人工神经元。图6是描绘的单神经元的示例。中间的节点代表神经元，该神经元接受所有输入(x1,…,xn)，并将它们乘以它们的特定权重(w1,…,wn)。输入的重要性取决于其权重的值。这些计算值的加法称为加权和，它将被插入到激活函数中。加权和z定义为：
Figure BDA0002984532440000161
偏置b是与输入无关的值，其修改阈值的边界。结果值由激活函数处理，该激活函数决定是否将输入传送到下一个神经元。
CNN通常以1阶或3阶张量作为其输入，例如，具有H行、W列和3个通道(R、G、B色彩通道)的图像。但是，CNN能够以类似的方式处理更高阶的张量输入。然后，输入继续经历一系列处理。一个处理步骤通常称为一层，其可为卷积层、池化层、归一化层、完全连接层、损失层等。在以下各节中描述这些层的详细信息。
Figure BDA0002984532440000162
上面的等式5阐明CNN在正向传递中逐层运行的方式。输入为x1，通常是图像(1阶或3阶张量)。将第一层处理中涉及的参数统称为张量w1。第一层的输出是x2，其也充当第二层处理的输入。继续进行此处理，直到完成CNN中所有层的处理为止，其输出xL。但添加一层用于向后错误传播的附加层，这是一种在CNN中学习良好参数值的方法。假设当前的问题是C类的图像分类问题。常用的策略是将xL作为C维向量输出，其第i个条目对预测进行编码(x1的后验概率来自于第i类)。为了使xL成为概率质量函数，能够将第(L-1)层中的处理设置为xL-1的softmax变换(比较距离测度与数据变换节点)。在其他应用中，输出xL可以具有其他形式和解释。最后一层是损失层。假设t是输入x1的对应目标值(基本真值)，则能够使用成本或损失函数来测量CNN预测xL与目标t之间的差异。应当指出，某些层可能没有任何参数，即，对于某些i，wi可能为空。
在CNN的示例中，ReLu用作卷积层的激活函数，而softmax激活函数提供信息以给出分类输出。下述部分将说明最重要的层的目的。
将输入图像输入到包括卷积与ReLu的层的特征学习部分，随后是包括池化的层，其随后是卷积与ReLu的层以及池化的层的进一步成对重复。将特征学习部分的输出输入到分类部分，其包括用于平坦化、完全连接和最大柔化的层。
在卷积层中，通常使用多个卷积内核。假设使用D个内核，并且每个内核的空间跨度为H×W，则将所有内核表示为f。f是
Figure BDA0002984532440000171
中的4阶张量。类似地，使用索引变量0≤i＜H，0≤j＜W，0≤dl＜Dl和0≤d＜D来确定内核中的特定元素。还应指出，内核集f与等式5(参见架构部分)中的符号wL引用相同的对象。稍稍更改表示法，以简化推导过程。同样清楚的是，即使使用了迷你批处理策略，内核也保持不变。
只要卷积核大于1×1，输出的空间幅度就小于输入的空间幅度。有时需要输入和输出图像具有相同的高度和宽度，并且能够使用简单的填充技巧。如果输入是Hl×Wl×Dl，并且内核尺寸是H×W×Dl×D，卷积结果具有尺寸(Hl-H+1)×(Wl-W+1)×D。
对于每个输入通道，如果在第一行上方填充(即插入)
Figure BDA0002984532440000172
行，在最后一行下方填充(即插入)
Figure BDA0002984532440000173
行，并填充
Figure BDA0002984532440000174
列到第一列的左侧，填充
Figure BDA0002984532440000175
列到最后一列的右侧，卷积输出的尺寸将为Hl×Wl×D，即具有与输入相同的空间幅度。b·c是下限函数。填充的行和列的元素通常设置为0，但其他值也是可能的。
步幅是卷积中的另一个重要概念。内核在每个可能的空间幅度处与输入进行卷积，其对应于步幅s＝1。但是，如果s＞1，内核的每次运动跳过s-1个像素位置(即，在水平和垂直方向上每s个像素执行一次卷积)。
在本部分中，考虑步幅为1且不使用填充的简单情况。因此，在
Figure BDA0002984532440000181
中有y(或xl+1)，其中Hl+1＝Hl-H+1，Wl+1＝Wl-W+1，并且Dl+1＝D。在精确数学中，卷积过程能够表示为等式：
Figure BDA0002984532440000182
对所有0≤d≤D＝Dl+1，以及满足0≤il+1<Hl-H+1＝Hl+1、0≤jl+1<Wl–W+1＝Wl+1的任何空间位置(il+1,kl+1)重复等式15。在此等式中，
Figure BDA0002984532440000183
指的是由三元组(il+1+i,jl+1+j,dl)索引的xl元素。通常将偏置项bd加到
Figure BDA0002984532440000184
中。为了表述更加清楚，省略该术语。
池化函数用附近输出的汇总统计数据替换某一位置的网络输出。例如，最大池化操作报告表格的矩形邻域内的最大输出。其他流行的池化函数包含矩形邻域的平均值、矩形邻域的L2范数，或基于到中心像素距离的加权平均值。在所有情况下，池化有助于使表示与输入的小平移相比近似不变。平移的不变性意味着如果对输入进行少量平移，池化输出的值也不会更改。
由于池化汇总整个邻域的响应，因此可以通过报告汇总统计数据来汇总间隔k个像素而不是一个像素的区域，来使用与检测器单元相比更少的池化单元。这提高了网络的计算效率，因为下一层要处理的输入大约少k倍。
假设已经学习CNN模型w1,…,wL-1的所有参数，则可使用该模型进行预测。预测仅涉及正向运行CNN模型，即，沿等式5(参见架构部分)中的箭头方向运行。以图像分类问题为例。从输入x1开始，使其通过第一层(带有参数w1的框)的处理，并获得x2。依次将x2传递到第二层，依此类推。最后，接收到xl∈C，其估计x1的后验概率属于C类。能够将CNN预测输出为：
Figure BDA0002984532440000185
此时的问题是：如何学习模型参数？
正如许多其他学习系统中，优化CNN模型的参数以最小化损失z，即，希望CNN模型的预测与基本事实标签相匹配。假设给出一个训练示例x1来训练此类参数。训练过程涉及在两个方向上运行CNN网络。首先在正向传递中运行网络以获得xL，以使用当前的CNN参数达成预测。代替输出预测，需要将预测与对应于x1的目标t进行比较，即，继续运行正向传递直到最后一个损失层。最终，获得损失z。损失z则是一个监督信号，指导应如何修正(更新)模型的参数。
存在几种用于优化损失函数的算法，并且CNN不限于特定的算法。示例算法称为随机梯度下降(SGD)。这意味着通过使用从训练示例的(通常)小子集估算的梯度来更新参数。
Figure BDA0002984532440000191
在等式3中，←符号隐式指示(i层的)参数wi从时间t更新为t+1。如果显式使用时间索引t，则该等式将写为：
Figure BDA0002984532440000192
在等式4中，偏导数
Figure BDA0002984532440000193
衡量z相对于wi的不同维度变化的增长率。这种偏导数向量在数学优化中称为梯度。因此，在wi的当前值附近的小局部区域中，沿由梯度确定的方向移动wi将增加目标值z。为了最小化损失函数，应沿梯度的相反方向更新wi。此更新规则称为梯度下降。
但是，如果在负梯度方向上移动得太远，则损失函数可能会增加。因此，在每次更新中，仅通过负梯度(由η(学习率)控制)的一小部分更改参数。通常将η＞0设置为较小的数字(例如η＝0.001)。如果学习率不太高，则基于x1的一次更新将使此特定训练示例的损失变小。但是，很有可能会使其他一些训练示例的损失变大。因此，需要使用所有训练示例来更新参数。当所有训练示例都已用于更新参数时，称为已经处理一个学习周期。通常一个学习周期将减少训练集的平均损失，直到学习系统拟合训练数据为止。因此，能够重复梯度下降更新学习周期，并在某个点终止，以获得CNN参数(例如，当验证集的平均损失增加时，能够终止)。
最后一层的偏导数易于计算。xL在参数wL的控制下直接连接到z，因此很容易计算
Figure BDA0002984532440000194
仅当wL不为空时才需要执行此步骤。同样，也很容易计算
Figure BDA0002984532440000195
例如，如果使用平方的L2损失，则
Figure BDA0002984532440000196
为空，并且
Figure BDA0002984532440000197
实际上，对于每一层，计算两组梯度：相对于层参数wi的z的偏导数，以及该层的输入xi。如等式3所示，术语
Figure BDA0002984532440000201
能够用于更新当前(第i层)的参数。术语
Figure BDA0002984532440000202
能够用于向后更新参数，例如，更新到第(i-1)层。直观的解释是：xi是第(i-1)层的输出，而
Figure BDA0002984532440000203
是应如何更改xi以减少损失函数的方法。因此，可以视为逐层将
Figure BDA0002984532440000204
视为从z向后传播到当前层的“错误”监管信息的一部分。因此，能够继续反向传播过程，并使用
Figure BDA0002984532440000205
将错误反向传播到第(i-1)层。这种逐层向后更新的程序能够大幅简化学习CNN。
以第i层为例。当更新第i层时，必须已经完成第(i+1)层的反向传播过程。即，已经计算出项
Figure BDA0002984532440000206
和
Figure BDA0002984532440000207
两者都存储在存储器中并可备使用。此时的任务是计算
Figure BDA0002984532440000208
和
Figure BDA0002984532440000209
使用链式规则，得出：
Figure BDA00029845324400002010
Figure BDA00029845324400002011
由于已经计算出
Figure BDA00029845324400002012
并将其存储在存储器中，因此只需要矩阵整形操作(vec)和额外的转置操作即可获得
Figure BDA00029845324400002013
这是两个等式右侧(RHS)中的第一项。只要能够计算
Figure BDA00029845324400002014
和
Figure BDA00029845324400002015
就能够轻松地获得期望值(两个等式的左侧)。
Figure BDA00029845324400002016
和
Figure BDA00029845324400002017
要比直接计算
Figure BDA00029845324400002018
和
Figure BDA00029845324400002019
容易得多，因为xi通过带有参数wi的函数与xi+1直接相关。
在神经网络的上下文中，激活充当神经元输入和输出之间的转移函数。它们定义在哪种条件下激活节点，即，将输入值映射到输出，该输出在隐藏层中又用作后续神经元的输入之一。存在大量具有不同特性的不同激活函数。
损失函数量化算法对给定数据的建模效果。为了从数据中学习并改变网络的权重，必须使损失函数最小化(参见2.6)。通常，能够在回归损失和分类损失之间进行区分。在分类中，尝试预测从一组有限的分类值(分类标签)中预测输出，另一方面，在预测连续值时处理回归。
在以下数学公式中，以下参数定义为：
n为训练示例数；
i是数据集中的第i个训练示例；
yi是第i个训练示例的基本事实标签；
Figure BDA0002984532440000211
是第i个训练示例的预测。
分类问题最常见的设置是交叉熵损失。它随着预测概率与实际标签的偏离增加。实际预测概率的对数乘以基本事实类别。其重要方面是，交叉熵损失会严重惩罚有把握但有误的预测。数学公式能够描述为：
Figure BDA0002984532440000212
回归损失的典型示例是均方误差或L2损失。顾名思义，均方误差是指预测值与实际观察值之间的平方差的平均值。其只涉及平均误差幅度，而与它们的方向无关。然而，由于平方，与偏差较小的预测相比，预测远离实际值会遭受严重的缺陷。另外，MSE具有良好的数学特性，使其更轻松地计算梯度。其公式如下：
Figure BDA0002984532440000213
有关卷积神经网络功能的信息请参阅下列文献：
I.Goodfellow、Y.Bengio和A.Courville所著的《Deep learning,chapterconvolutional networks》，2016年，请见http://www.deeplearningbook.org；
J.Wu所著的《Introduction to convolutional neural networks》，请见https://pdfs.semanticscholar.org/450c/a19932fcef1ca6d0442cbf52fec38fb9d1e5.p df；
《Common loss functions in machine learning》，请见https:// towardsdatascience.com/common-loss-functions-in-machine-learning- 46af0ffc4d23，最近访问时间：2019-08-22；
Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton所著的《Imagenetclassification with deep convolutional neural networks》，请见http:// papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional- neural-networks.pdf；
S.Ren、K.He,R、Girshick和J.Sun所著的《Faster r-cnn:Towards real-timeobject detection with region proposal networks》，请见https://arxiv.org/pdf/ 1506.01497.pdf；
S.-E.Wei、V.Ramakrishna、T.Kanade和Y.Sheikh所著的《Convolutional posemachines》，请见https://arxiv.org/pdf/1602.00134.pdf；
Jonathan Long、Evan Shelhamer和Trevor Darrell《Fully convolutionalnetworks for semantic segmentation》，请见https://www.cv-foundation.org/ openaccess/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_ CVPR_paper.pdf。

Claims (14)

1.一种训练基于似然的计算模型以确定二维X射线图像中带注释的解剖结构的图像表示的位置的计算机实施的方法，所述方法包括以下步骤：
a)获取图像训练数据(S101)，所述图像训练数据描述包含所述解剖结构的图像表示的合成二维X射线图像；
b)获取注释数据(S102)，所述注释数据描述所述解剖结构的注释；以及
c)确定模型参数数据(S103)，所述模型参数数据描述基于似然的计算模型的模型参数，所述基于似然的计算模型用于建立所述二维X射线图像中的所述解剖结构与所述注释之间的基于似然的关系，其中，通过将所述图像训练数据和所述注释数据输入到建立所述基于似然的关系的函数中，确定所述模型参数数据。
2.根据前一项权利要求所述的方法，包括以下步骤：
获取图谱数据，所述图谱数据描述所述解剖结构的基于图像的模型；
其中，基于所述图像训练数据和所述图谱数据来确定所述注释数据。
3.根据权利要求1所述的方法，其中，由包含在所述图像训练数据中的元数据确定所述注释数据。
4.根据前述权利要求中任一项所述的方法，其中，所述函数在所述二维X射线图像中的所述解剖结构的位置与用于在所述二维X射线图像中显示所述注释的位置之间建立基于似然的关系。
5.根据前述权利要求中任一项所述的方法，包括以下步骤：
获取描述三维医学图像的医学图像数据，所述三维医学图像包含所述解剖结构的图像表示，
其中，确定所述训练图像数据是通过确定与所述三维医学图像中的所述解剖结构的所述图像表示相关联的图像值阈值，定义相应的强度映射函数，并基于所述强度映射函数从所述三维医学图像中的一个的所述解剖结构的图像表示中生成每个所述二维合成X射线图像中的所述解剖结构的所述图像表示。
6.根据前一项权利要求所述的方法，包括以下步骤：
获取图谱数据，所述图谱数据描述所述解剖结构的基于图像的模型和用于生成所述二维医学图像的至少一个投影参数，
其中，基于所述至少一个投影参数来生成所述二维医学图像。
7.根据前述权利要求中任一项所述的方法，其中，所述计算模型包括机器学习算法或由机器学习算法组成。
8.根据前述权利要求中任一项所述的方法，其中，卷积神经网络是所述计算模型的一部分。
9.根据前述权利要求中任一项所述的方法，其中，所述模型参数定义所述计算模型的可学习参数，例如权重。
10.一种确定二维医学图像中表示的解剖结构与所述解剖结构的注释之间的关系的计算机实施的方法，所述方法包括以下步骤：
a)获取患者图像数据(S104)，所述患者图像数据描述包含括患者的解剖结构的图像表示的二维X射线图像；以及
b)确定结构注释预测数据(S105)，所述结构注释预测数据根据由所述计算模型确定的某一似然，描述由所述患者图像数据描述的所述二维X射线图像中的所述解剖结构的所述图像表示的位置以及所述解剖结构的注释，其中，确定所述结构注释数据是通过将所述患者图像数据输入到函数，所述函数在所述二维X射线图像中的所述解剖结构的所述图像表示与所述解剖结构的注释之间建立基于似然的关系，所述函数是已经通过执行根据前述权利要求中任一项所述的方法训练过的计算模型的一部分。
11.根据前述权利要求所述的方法，其中，已经通过从所述解剖结构的三维图像中合成所述二维X射线图像生成所述患者图像数据，或其中，已经通过应用所述解剖结构的透视成像模式生成所述患者图像数据。
12.根据前两项权利要求中任一项所述的方法，其中，所述函数在由所述患者图像数据描述的所述二维X射线图像中的所述解剖结构的位置与用于显示由所述患者图像数据描述的所述二维X射线图像中的所述注释的位置之间建立基于似然的关系，其中，所述结构注释数据描述在由所述患者图像数据描述的所述二维X射线图像中的所述解剖结构的所述图像表示的位置与用于显示由所述患者图像数据描述的所述二维X射线图像中的所述解剖结构的所述注释的位置之间的基于似然的关系。
13.一种程序，所述程序当在计算机(2)上运行时或加载到计算机(2)上时促使所述计算机(2)执行根据前述权利要求中任一项所述的方法的方法步骤，和/或一种程序存储介质，所述程序存储介质上存储有根据前述权利要求所述的程序，或者一种程序存储介质，所述程序存储介质上定义模型参数和已经通过执行根据权利要求1至10中任一项所述的方法训练过的基于似然的计算模型的体系架构的数据，和/或一种携带上述程序的数据载体信号，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至10中任一项所述的方法训练过的基于似然的计算模型的体系架构的数据的数据载体信号，和/或一种携带所述上述程序的数据流，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至10中任一项所述的方法训练过的基于似然的计算模型的体系架构的数据的数据流，和/或至少一台包括至少一个处理器和存储器的计算机(2)，其中上述程序在所述至少一个处理器上运行或加载到所述计算机(2)的存储器。
14.一种用于确定二维医学图像中表示的解剖结构与所述解剖结构的注释之间的关系的系统(1)，包括：
a)根据前述权利要求所述的至少一台计算机(2)；
b)存储患者图像数据的至少一个电子数据存储设备(3)；
c)根据前述权利要求所述的程序存储介质；以及
其中，所述至少一台计算机(2)可操作地耦合到
所述至少一个电子数据存储设备(3)，用于从所述至少一个电子数据存储设备中获取所述患者图像数据，并用于在所述至少一个电子数据存储设备中存储至少结构注释预测数据；以及
所述程序存储介质，用于从所述程序存储介质获取定义所述模型参数和所述基于似然的计算模型的体系架构的数据。
CN201980061756.8A 2019-09-20 2019-09-20 使用数字重建放射影像训练机器学习算法 Pending CN112825619A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/000277 WO2021052552A1 (en) 2019-09-20 2019-09-20 Training a machine learning algorithm using digitally reconstructed radiographs

Publications (1)

Publication Number Publication Date
CN112825619A true CN112825619A (zh) 2021-05-21

Family

ID=68138004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061756.8A Pending CN112825619A (zh) 2019-09-20 2019-09-20 使用数字重建放射影像训练机器学习算法

Country Status (4)

Country Link
US (1) US20210383565A1 (zh)
EP (2) EP3821440A1 (zh)
CN (1) CN112825619A (zh)
WO (1) WO2021052552A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240912A1 (zh) * 2022-06-14 2023-12-21 中国人民解放军总医院第一医学中心 用于股骨颈骨折手术导航的图像配准方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900017138A1 (it) * 2019-09-24 2021-03-24 Microtec Srl Metodi implementati tramite computer per addestrare o utilizzare una infrastruttura software basata su tecniche di machine learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
CN109843377A (zh) * 2016-09-07 2019-06-04 医科达有限公司 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011504115A (ja) * 2007-10-18 2011-02-03 ザ ユニバーシティ オブ ノース カロライナ アット チャペル ヒル １つの画像データからの解剖学的構造を含む対象物のモデルの領域を、診断的又は治療的介入に用いられる画像にマッピングするための方法、そのシステム及びコンピューター読み取り可能な媒体
EP2189943B1 (de) 2008-11-19 2014-09-24 Brainlab AG Bestimmung vital-bewegter Regionen eines Analysebildes
US9764162B1 (en) * 2013-10-28 2017-09-19 Elekta, Inc. Automated, data-driven treatment management system for adaptive radiotherapy workflows
US20190046813A1 (en) * 2016-02-02 2019-02-14 Suzhou Evidance Medical Technologies Inc. Systems and Methods for Radiation Treatment Planning
US10818019B2 (en) * 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration
GB201718078D0 (en) * 2017-11-01 2017-12-13 Siemens Healthcare Ltd 2D/3D model- and image-based registration with reinforcement learning for cardiac procedures
US10835761B2 (en) * 2018-10-25 2020-11-17 Elekta, Inc. Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC)
US11083913B2 (en) * 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US11562482B2 (en) * 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN109843377A (zh) * 2016-09-07 2019-06-04 医科达有限公司 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240912A1 (zh) * 2022-06-14 2023-12-21 中国人民解放军总医院第一医学中心 用于股骨颈骨折手术导航的图像配准方法及系统

Also Published As

Publication number Publication date
WO2021052552A1 (en) 2021-03-25
EP4390766A2 (en) 2024-06-26
US20210383565A1 (en) 2021-12-09
EP3821440A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US11257259B2 (en) Topogram prediction from surface data in medical imaging
JP2022025095A (ja) 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
US20230046321A1 (en) Medical image analysis using machine learning and an anatomical vector
Girum et al. Learning with context feedback loop for robust medical image segmentation
US10977390B2 (en) Anonymisation of medical patient images using an atlas
CN112825619A (zh) 使用数字重建放射影像训练机器学习算法
US20230087494A1 (en) Determining image similarity by analysing registrations
EP3794550B1 (en) Comparison of a region of interest along a time series of images
EP3864620B1 (en) Correcting segmentation of medical images using a statistical analysis of historic corrections
CN116848549A (zh) 经由降维投影的图像结构的检测
WO2023274512A1 (en) Method for training and using a deep learning algorithm to compare medical images based on dimensionality-reduced representations
Van Houtte Surface and image-based registration methods with statistical modeling for biomedical applications
Qu et al. Transformer‐based 2D/3D medical image registration for X‐ray to CT via anatomical features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination