CN114846524A

CN114846524A - 使用机器学习和解剖向量进行医学图像分析

Info

Publication number: CN114846524A
Application number: CN202080088515.5A
Authority: CN
Inventors: 斯特凡·维尔斯迈尔; 延斯·施马勒
Original assignee: Brainlab AG
Current assignee: Brainlab AG
Priority date: 2019-12-19
Filing date: 2020-12-16
Publication date: 2022-08-02
Also published as: US20230046321A1; WO2021121600A1; EP4213106A1; WO2021122747A1; CN113287149A; EP4078445A1; US11847819B2; US20220122255A1; EP3857446A1; US20240062517A1; EP3857446B1

Abstract

本发明公开了一种计算机实施的方法，该方法包括将具有已知观察方向和图谱的跟踪成像装置(诸如显微镜)配准到患者空间，以便可以在图谱空间与参考系之间建立变换以定义图像中患者解剖结构的位置。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中，诸如机器学习算法，例如卷积神经网络，以训练学习算法来自动分割使用跟踪成像装置生成的患者图像。然后，训练过的学习算法允许对患者图像进行有效的分割和/或标记，而不必每次都将患者图像配准到图谱，从而节省计算量工作。

Description

使用机器学习和解剖向量进行医学图像分析

技术领域

本发明涉及一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法、使用训练过的学习算法来分割和/或标记医学患者图像的方法、一种相应的计算机程序、一种存储此类程序的计算机可读存储介质、一种执行此类程序的计算机以及一种包括电子数据存储装置和上述计算机的系统。

背景技术

可以使用解剖图像来分割或标记医学患者图像。这需要将患者图像配准到图谱数据，这涉及大量的计算工作。

专利文献US 2017/0213339 A1公开了一种用于分割医学图像的方法和系统，该方法和系统使用学习算法作为用于将患者图像与图谱图像配准的解剖分类器。

专利文献US 2019/0320934 A1公开了包括自我评估机制的医学成像会话的自动序列预测。对患者或对象执行初始侦查序列。

验证初始侦察序列。执行简化的获取协议。验证简化的获取协议。执行附加序列。还可以使用基于深度学习的推理基于对先前扫描的分析来配置序列以选择接下来的适当设置和程序。

专利文献US 2017/0330325 A1公开了一种用于将患者身体解剖结构的图像的患者图像集与包括解剖图谱元素的一般解剖结构的图像的图谱图像集进行匹配的匹配变换。获得包含关于一般解剖结构的空间信息和元素表示信息的图谱空间信息。元素表示信息描述了获得包含关于将待确定的图谱图像中多个图谱元素的表示的信息的表示数据集，还描述了根据不同的各个参数集来确定各个图谱元素的各个表示数据集的确定规则。通过获取患者图像集和分别与患者图像集的图像相关联的参数集来获取患者数据。通过将与相同参数集相关联的图像相互匹配来确定匹配变换。

本发明的目的是提供用于更有效地分割和/或标记医学患者图像的方法。

下文公开了本发明各方面、示例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本发明组合本发明的不同示例性特征。

发明内容

下文给出了对本发明具体特征的简要描述，不应理解为使本发明仅限于本部分中描述的特征或特征组合。

本公开的方法包含将具有已知观察方向和图谱的跟踪成像装置(诸如显微镜)配准到患者空间，以便可以在图谱空间与参考系之间建立变换，用于定义患者解剖结构图像中的位置。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中，诸如机器学习算法，例如卷积神经网络，以训练学习算法，用于自动分割使用跟踪成像装置生成的患者图像。然后，训练过的学习算法允许对患者图像进行有效分割和/或标记，而不必每次都使用配准图谱来分割患者图像，从而节省计算工作量。

在本发明内容中，例如通过参照本发明的可行实施例给出对本发明一般特征的描述。

一般而言，为了达成上述目的，本发明第一方面提出一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法(例如，医学方法)。根据第一方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

根据第一方面的方法的(例如第一)示例性步骤中，获取患者训练图像数据，该患者训练图像数据描述多个患者的解剖结构的数字医学图像。例如，医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，成像装置例如是显微镜。例如已经从使用生成二维图像的成像装置(诸如数码显微镜、相机或配备有数码相机的内窥镜)或使用产生或配置为产生二维投影图像的X射线装置拍摄的图像或视频生成患者训练图像数据。然而，在其他示例中，可以通过将任何其他适用的成像模态(例如，磁共振断层扫描、X射线计算机断层扫描、放射摄影或超声成像)应用于解剖结构来生成患者训练图像数据。

根据第一方面的方法的(例如第二)示例性步骤中，获取图谱数据，该图谱数据描述包括解剖结构的身体解剖部位的解剖模型。解剖模型例如是由例如组织类别定义的三维合成解剖模型。例如，已经从例如针对多个患者的身体解剖部位的医学图像数据生成组织类别。

根据第一方面的方法的(例如第三)示例性步骤中，获取观察方向数据，该观察方向数据描述成像装置在用于生成医学图像的时间点朝向解剖结构的观察方向。例如已经通过用跟踪系统跟踪成像装置来确定观察方向，该跟踪系统的工作原理是基于标记跟踪(即光学检测回射标记，该回射标记以相对于其观察方向预定且已知的关系附接至成像装置)、视频跟踪或电磁跟踪。观察方向还可以基于成像装置的几何形状或由成像装置的几何形状来定义，并且可以基于光学器件来定义，例如成像装置的视场或焦轴，或例如焦点(focalpoint)，例如成像装置的焦斑(focal spot)的位置。观察方向例如包括垂直于成像平面的方向。观察方向例如包括相机位置和相机取向或者由相机位置和相机取向来定义。此外，观察方向数据例如包括定义成像装置的焦距、变焦或放大倍率的信息。附加地或替代地，它例如包括定义图像或视场的边或角的位置(例如相对于成像装置位置)的信息。对于使用X射线并包括大体平坦的X射线检测器的成像装置，观察方向数据可以例如包括检测器区域的法线或由检测器区域的法线定义，或者它可以例如包括定义检测器区域的中心或者例如由靠近X射线检测器或X射线源的准直器叶片定义的区域的中心的信息。在一示例中，通过利用相对于解剖结构具有预定(例如已知)几何形状和/或预定(例如已知)位置的X射线对不透X射线的标记进行成像，并且分别将至少一个所得X射线图像中标记的外观与预定(例如已知)几何形状或解剖结构的位置进行比较，生成观察方向。本公开中在视频图像的上下文中提及本发明的特征时，它们同样可以与任何其他类型的成像模态(诸如静止图像数字摄影、射线摄影、DRR或三维成像模态，诸如X射线计算机断层扫描、磁共振断层扫描或超声断层扫描)相组合。

根据第一方面的方法的(例如第四)示例性步骤中，基于观察方向数据和图谱数据确定解剖向量数据，其中，该解剖向量数据描述将观察方向变换为参考系所得的解剖向量，在该参考系中定义解剖模型中的位置。

这种从观察方向数据到解剖向量数据的变换例如通过以下步骤a)到c)来执行：

a)将跟踪成像装置的位置和取向的坐标(例如，在跟踪系统的坐标系中定义，例如相对于光学跟踪系统的立体跟踪相机)变换为与患者相同的坐标系(例如通过附接至患者身上的光学或其他跟踪标记)，该坐标系例如是患者的术中坐标系。

b)将计划图像数据(例如计算机断层扫描图像，例如来自患者的X射线或磁共振断层扫描)中的位置变换为患者的患者坐标系(例如使用术前图像数据中例如不透射线的人工标记或自然界标)。计划图像数据的坐标系例如由用于获取计划图像数据的成像装置(例如计算机断层扫描仪或磁共振成像扫描仪)的坐标系来定义。例如术前获取计划图像数据。

c)然后，使用计划图像数据到图谱的配准，将已经变换成患者坐标系的位置变换为解剖图谱的坐标系，该配准可以例如是刚性变换(例如仿射变换)或弹性变换(例如图像数据变形)。在配准之后，变形后的图像数据与图谱的至少一部分一致，或者变形后的图谱的至少一部分与图像数据一致。

上述变换步骤a)至c)的结果是，任何坐标系中给定的所有坐标(例如术前图像数据中的坐标、成像装置的观察方向的坐标、跟踪系统和由跟踪系统跟踪的所有跟踪装置的坐标以及患者坐标)都可以用图谱坐标系表示，该图谱坐标系不特定于个体患者。该变换过程又称为“配准”；跟踪成像装置由此被配准到图谱坐标系中。解剖向量数据例如包括在图谱坐标系中表示的成像装置的观察方向数据，例如变换为图谱坐标系中坐标的观察方向坐标。

在(例如第五)示例性步骤中，获取标签数据，该标签数据描述了表示解剖模型中解剖结构的位置或类型的标签。

根据第一方面的方法的(例如第六)示例性步骤中，基于患者训练图像数据和解剖向量数据以及标签数据确定解剖指标数据，其中，解剖指标数据描述了用于建立医学图像所描述的解剖结构的位置或类型与标签之间关系(例如相对位置或分配)的学习算法的模型参数(例如权重)，其中，通过将患者训练图像数据和标签数据输入到关系建立函数中来确定解剖指标数据。例如，学习算法包括机器学习算法或由机器学习算法组成。例如，学习算法包括卷积神经网络或由卷积神经网络组成。例如，模型参数定义学习算法的可学习参数，例如权重。例如，通过将已经基于图谱数据和解剖向量数据确定的图谱数据子集额外输入到关系建立函数中来确定解剖指标数据。子集例如是实子集，即，与图谱数据相比具有更少的元素，即更少的数据。

根据第一方面的方法的示例中，获取附加数据，该附加数据作为解剖向量的函数。然后，通过将附加数据额外输入到关系建立函数中来确定解剖指标数据。例如，附加数据包括解剖向量数据或由解剖向量数据组成。

第二方面，本发明针对一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法(例如，医学方法)。根据第二方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

根据第二方面的方法的(例如第一)示例性步骤中，获取个体患者图像数据，该个体患者图像数据描述个体患者的解剖结构的数字个体医学图像。例如，已经使用与用于生成患者训练图像数据的成像模态相同的成像模态生成个体医学图像。

根据第二方面的方法的(例如第二)示例性步骤中，确定标签关系数据，该标签关系数据描述标签与个体医学图像中解剖结构之间的关系(例如相对位置或分配)，其中，通过将个体患者图像数据输入到个体医学图像所描述的解剖结构与标签之间关系的建立函数中来确定标签关系数据，该函数只要包括仅将患者训练图像数据和标签数据作为训练数据输入到关系建立函数中，便是已经通过执行根据第一方面的方法训练的学习算法的一部分。

第三方面，本发明针对一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法(例如，医学方法)。根据第三方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

根据第三方面的方法的(例如第一)示例性步骤中，获取个体患者图像数据，该个体患者图像数据描述个体患者的解剖结构的数字个体医学图像。例如，已经使用与用于生成患者训练图像数据的成像模态相同的成像模态生成个体医学图像。个体医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，成像装置例如是显微镜。

根据第三方面的方法的(例如第二)示例性步骤中，获取图谱数据，该图谱数据描述包括解剖结构的身体解剖部位的解剖模型。上述关于根据第一方面的方法提供的解剖模型描述同样适用于根据第三方面的方法中使用的解剖模型。

根据第三方面的方法的(例如第三)示例性步骤中，获取个体观察方向数据，该个体观察方向数据描述成像装置在用于生成个体医学图像的时间点朝向解剖结构的观察方向。例如已经通过用跟踪系统跟踪成像装置来确定观察方向，该跟踪系统的工作原理是基于标记跟踪(即光学检测回射标记，该回射标记以相对于其观察方向预定且已知的关系附接至成像装置)、视频跟踪或电磁跟踪。

根据第三方面的方法的(例如第四)示例性步骤中，基于个体观察方向数据和图谱数据确定个体解剖向量数据，其中，解剖向量数据描述将观察方向变换为参考系所得的解剖向量，在该参考系中定义解剖模型中的位置。例如，用于生成个体患者图像数据的成像装置(例如显微镜)与个体解剖向量数据之间的相对位置为预定(例如已知)，并且例如通过上述方法获取。

根据第三方面的方法的(例如第五)示例性步骤中，获取附加数据，该附加数据是个体解剖向量的函数。例如，附加数据包括个体解剖向量数据或由个体解剖向量数据组成。

根据第三方面的方法的(例如第六)示例性步骤中，确定标签关系数据，该标签关系数据描述标签与个体医学图像所描述的解剖结构之间的关系(例如相对位置或分配)，其中，通过将个体患者图像数据和附加数据输入到个体医学图像中解剖结构的位置或类型与标签之间关系的建立函数中来确定标签关系数据，该函数只要包括仅将患者训练图像数据和标签数据以及附加数据作为训练数据输入到关系建立函数中，便是已经通过执行根据第一方面的方法训练的学习算法的一部分。用于生成所获取的附加数据的解剖向量的函数与用于生成输入到用于确定解剖指标数据的关系建立函数中的附加数据的解剖向量的函数相同。

根据第三方面的方法的示例中，附加数据包括个体解剖向量数据或由个体解剖向量数据组成，并且已经通过将附加数据额外输入到关系建立函数中来训练学习算法。

根据第三方面的方法的示例中，通过将图谱数据子集额外输入到个体医学图像所描述的解剖结构与标签之间关系的建立函数中来基于图谱数据额外确定标签关系数据，并且已经通过将基于图谱数据和解剖向量数据确定的图谱数据子集额外输入到关系建立函数中来训练学习算法。子集例如是实子集，即，与图谱数据相比具有更少的元素，即更少的数据。

根据第二方面和第三方面的方法中，学习算法例如包括机器学习算法(例如卷积神经网络)或由机器学习算法(例如卷积神经网络)组成。根据第二方面和第三方面的方法中，模型参数定义学习算法的可学习参数，例如权重。

根据第一方面、第二方面和第三方面的方法的一个示例中，学习算法可以是随机森林算法。参阅Antonio Criminisi、Jamie Shotton和Ender Konukoglu所著《DecisionForests:A Unified Framework for Classification,Regression,Density Estimation,Manifold Learning and Semi-Supervised Learning(决策森林：分类、回归、密度估算、流形学习和半监督学习的统一框架)》，2011年，请见https://www.microsoft.com/zh-us/research/wp-content/uploads/2016/02/CriminisiForests_FoundTrends_2011.pdf，随机森林的解释如下：

随机森林或是用于分类或回归的集成学习方法，通过在训练时构造大量决策树，并输出类的模式(分类)或个体树的平均预测(回归)。

随机森林的基本构建块是单决策树。决策树是一组以分层方式组织的问题，并且以图形方式表示为树。决策树通过询问有关其已知属性(所谓的“特征”)的连续问题来估计对象的未知属性(“标签”)。接下来要询问的问题取决于上一个问题的答案，并且这种关系以图形方式表示为对象遵循的穿过树的路径。然后，基于路径上的终端节点(所谓的“叶节点”)做出决策。每个问题对应于树的内部节点(所谓的“分割节点”)。

每个分割节点都具有与之相关的所谓的测试函数。将分割节点j处的测试函数用公式表示为具有二进制输出的函数：

其中0和1能够分别解释为“假”和“真”，

表示第j个分割节点处测试函数的参数。

v因此是由向量

表示的当前对象(“数据点”)，其中分量x_i表示数据点的某些属性(特征)，所有这些属性都形成特征空间

在最简单的形式中，测试函数是线性模型，其在特征空间中选择一个特征轴，并根据各自特征的值是低于可学习阈值还是高于可学习阈值来对每个数据点进行分类。对于其他更复杂的形式，非线性测试功能是可行的。

为了训练决策树，使用一组训练数据点，为此特征以及所需的标签皆为已知。训练的目的是在所有分割节点上自动学习合适的测试函数，其最适于从数据点的特征中确定标签。稍后，能够再通过经由基于其特征训练过的树发送数据点来针对带有未知标签的新数据点评估这种训练过的决策树。

为了理解训练过程，有益的是，将训练点的子集表示为与不同的树枝相关联。举例而言，S₁表示到达节点1的训练点的子集(节点从0开始以广度优先的顺序对根F进行编号)，而

表示去往节点1的左侧子级和右侧子级的子集。

训练负责通过优化在可用训练集上定义的所选目标函数来选择与每个分割节点(由j索引)相关联的测试函数h(v,θ_j)的类型和参数。

分割函数的优化以贪婪的方式进行。在每个节点j上，根据引入训练集S_j的子集，学习将S_j“最佳”分割为

和

的函数。这个问题用公式表示为该节点处的目标函数的最大化：

其中

如前所述，符号S_j,

表示分割前后的训练点集。目标函数在这里是抽象形式。其精确定义和“最佳”含义取决于即将到来的任务(例如，是否有监督，连续或离散输出)。例如，对于二进制分类，能够将术语“最佳”定义为分割训练子集S_j，以使所得的子节点尽可能纯，即，仅包含单个类的训练点。在这种情况下，目标函数例如能够定义为信息增益。

在训练期间，还需要优化树的结构(形状)。训练从根节点j＝0开始，在该节点找到最优分割参数，如前所述。因此，构建两个子节点，每个子节点接收训练集的不同不相交子集。然后，将此过程应用于所有新构建的节点，并且训练阶段继续。树的结构取决于如何以及何时决定停止生长树的各个分支。能够应用不同的停止标准。例如，通常在达到层次D的最大数字时使树停止。替代地，能够施加最大值

的最小值，换言之，当在叶节点内寻找训练点的属性彼此相似时停止。当节点包含的训练点太少时，树的生长也可能会停止。就泛化而言，已经证明避免生长整棵树具有积极作用。

在训练期间，将随机性注入到树中：当在第j个节点处进行训练时，不是在测试函数的整个参数空间上进行优化，而是仅使参数值的小随机子集

可用。因此，在随机性模型下，通过优化每个分割节点j来完成训练树：

由于这种随机设置，以后能够并行训练多个决策树，每个决策树都利用来自数据点的不同属性集。

在训练阶段的最后，获得：(i)与每个节点相关联的(贪婪的)最优弱学习器；(ii)学习过的树结构；以及(iii)每片叶子上的不同训练点集。

训练后，每个叶节点仍与(标记的)训练数据的子集关联。在测试过程中，先前不可见的点穿过树，直到其到达叶子。由于分割节点作用于特征，因此输入测试点可能最终位于与和其自身相似的训练点相关联的叶子中。因此，可以合理地假设相关标签也必须与该叶子中的训练点的标签相似。这证明了使用在该叶子中收集的标签统计数据以预测与输入测试点相关联的标签的合理性。

在最泛化意义上，能够使用后验分布来采集叶子统计数据：

p(c|v)和p(y|v),

其中c和y分别代表离散或连续标签。v是在树中测试的数据点，并且条件表示分布取决于由测试点到达的特定叶子节点的事实。能够使用不同的叶子预示变量。例如，在离散情况下，可以获得最大后验(MAP)估计为c*＝arg max_cp(c|v)。

基于上述决策树的构造原理，现在能够进入决策森林，又称为随机森林：

随机决策森林是一组随机训练的决策树。森林模型的关键方面在于其组成树彼此之间随机不同的事实。这导致个体树预测之间的去相关，进而导致改进的泛化性和鲁棒性。

在有T棵树的森林中，使用变量

来索引每个组成树。独立训练(并且可能并行训练)所有树。在测试期间，将每个测试点v同时推入所有树(从根开始)，直到其到达相应的叶子。树测试通常也能够并行进行，因此在现代并行CPU或GPU硬件上实现高计算效率。可以通过简单的平均运算来将所有树预测合并到单个森林预测中。例如，在分类中：

p_t(c|v)表示通过第t棵树获得的后验分布。替代地，也可将树输出一起相乘(尽管树在统计上并不独立)：

用分区函数Z确保概率归一化。

根据第一方面、第二方面和第三方面的方法的一个示例中，学习算法可以是卷积神经网络。在下文中，参照图1来解释卷积神经网络，作为结合本公开的发明使用的机器学习算法的示例。

卷积网络(又称为卷积神经网络或CNN)是用于处理具有已知网格状拓扑结构的数据的神经网络的示例。这些示例包含时间序列数据(其能够视为以规则的时间间隔采样的一维栅格)和图像数据(其能够视为像素的二维或三维栅格)。名称“卷积神经网络”指示该网络采用卷积的数学运算。卷积是线性运算。卷积网络是简单的神经网络，在其至少一层中使用卷积代替一般的矩阵乘法。卷积函数有多种变体，在实践中广泛用于神经网络。一般而言，在卷积神经网络中使用的运算与其他领域(例如工程学或纯数学)中使用的卷积定义并不精确对应。

卷积神经网络的主要部件是人工神经元。图1是描绘的单神经元的示例。中间的节点代表神经元，该神经元接受所有输入(x₁,…,x_n)，并将它们乘以它们的特定权重(w₁,…,w_n)。输入的重要性取决于其权重值。这些计算值的加法称为加权和，将被插入到激活函数中。加权和z定义为：

偏置b是与输入无关的值，其修改阈值的边界。结果值由激活函数处理，该激活函数决定是否将输入传送到下一个神经元。

CNN通常以1阶或3阶张量作为其输入，例如，具有H行、W列和3个通道(R、G、B色彩通道)的图像。然而，CNN能够以类似的方式处理更高阶的张量输入。然后，输入继续经历一系列处理。一个处理步骤通常称为一层，其可为卷积层、池化层、归一化层、完全连接层、损失层等。

在以下各节中描述这些层的详细信息。

上列等式5说明CNN在正向传递中逐层运行的方式。输入为x¹，通常是图像(1阶或3阶张量)。将第一层处理中涉及的参数统称为张量wⁱ。第一层的输出x²，其也充当第二层处理的输入。继续进行此处理，直到完成CNN中所有层的处理为止，其输出x^L。但添加一层用于向后错误传播的附加层，这是一种在CNN中学习良好参数值的方法。假设当前的问题是C类的图像分类问题。常用的策略是将x^L作为C维向量输出，其第i条目对预测进行编码(x¹的后验概率来自于第i类)。为了使x^L成为概率质量函数，可以将第(L-1)层中的处理设置为x^L-1的softmax变换(比较距离测度与数据变换节点)。在其他应用中，输出x^L可以具有其他形式和解释。最后一层是损失层。假设t是输入x¹的对应目标值(基本真值)，则能够使用成本或损失函数来测量CNN预测x^L与目标t之间的差异。应当指出，某些层可能没有任何参数，即，对于某些i，wi可能为空。

在CNN的示例中，ReLu用作卷积层的激活函数，而softmax激活函数提供信息以给出分类输出。下述部分将说明最重要的层的目的。

将输入图像输入到包括卷积与ReLu的层的特征学习部分，随后是包括池化的层，其随后是卷积与ReLu的层以及池化的层的进一步成对重复。将特征学习部分的输出输入到分类部分，其包括用于平坦化、完全连接和最大柔化的层。

在卷积层中，通常使用多个卷积内核。假设使用D个内核，并且每个内核的空间跨度为H×W，则将所有内核表示为f。f是

中的4阶张量。类似地，使用索引变量0≤i＜H、0≤j＜W、0≤dd和0≤d＜D来确定内核中的特定元素。还应指出，内核集f与上述符号w^L引用相同的对象。稍稍更改表示法，以简化推导过程。同样清楚的是，即使使用了迷你批处理策略，内核也保持不变。

只要卷积核大于1×1，输出的空间幅度就小于输入的空间幅度。有时需要输入和输出图像具有相同的高度和宽度，并且能够使用简单的填充技巧。

对于每个输入通道，如果在第一行上方填充(即插入)

行，在最后一行下方填充(即插入)

行，并填充

列到第一列的左侧，填充

列到最后一列的右侧，卷积输出的尺寸将为Hl×Wl×D，即具有与输入相同的空间幅度。

是下限函数。填充的行和列的元素通常设置为0，但其他值也是可能的。

步幅是卷积中的另一个重要概念。内核在每个可能的空间幅度处与输入进行卷积，其对应于步幅s＝1。然而，如果s＞1，内核的每次运动跳过s-1个像素位置(即，在水平和垂直方向上每s个像素执行一次卷积)。

在本部分中，考虑步幅为1且不使用填充的简单情况。因此，在

中有y(或x^l+1)，其中H^l+1＝H^l-H+1,W^l+1＝

W^l-W+1,D^l+1＝D。在精确数学中，卷积过程能够表示为等式：

对所有0≤d≤D＝D^l+1,，以及满足0≤i^l+1＜H^l–H+1＝H^l+1,0≤j^l+1＜W^l–W+1＝W^l+1的任何空间位置(i^l+1,j^l+1)重复等式15。在此等式中，

是指由三元组(i^l+1+i,j^l ⁺¹+j,d^l)索引的x^l元素。通常将偏置项d加到

中。为了表述更加清楚，对该术语不再赘述。

池化函数用附近输出的汇总统计数据替换某一位置的网络输出。例如，最大池化运算报告表格的矩形邻域内的最大输出。其他流行的池化函数包含矩形邻域的平均值、矩形邻域的L₂范数，或基于到中心像素距离的加权平均值。在所有情形下，池化有助于使表示与输入的小平移相比近似不变。平移的不变性意味着如果对输入进行少量平移，池化输出的值也不会更改。

由于池化汇总整个邻域的响应，因此可以通过报告汇总统计数据来汇总间隔k个像素而不是一个像素的区域，来使用与检测器单元相比更少的池化单元。这提高了网络的计算效率，因为下一层要处理的输入大约少k倍。

假设已经学习CNN模型w¹,...,w^L-1的所有参数，则可使用该模型进行预测。预测仅涉及正向运行CNN模型，即，沿等式1中的箭头方向运行。以图像分类问题为例。从输入x¹开始，使其通过第一层(带有参数w¹的框)的处理，并获得x²。依次，将x²传递到第二层，依此类推。最后，接收到

其估计x¹的后验概率属于C类。能够将CNN预测输出为：

此时的问题在于：如何学习模型参数？

正如许多其他学习系统中，优化CNN模型的参数以最小化损失z，即，希望CNN模型的预测与基本真值标签相匹配。假设给出一个训练示例x¹来训练此类参数。训练过程涉及在两个方向上运行CNN网络。首先在正向传递中运行网络以获得x^L，以使用当前的CNN参数来达成预测。代替输出预测，需要将预测与对应于x¹的目标t进行比较，即，继续运行正向传递直到最后一个损失层。最终，获得损失z。损失z则是一个监督信号，指导应如何修正(更新)模型的参数。

存在几种用于优化损失函数的算法，并且CNN不限于特定的算法。示例算法称为随机梯度下降(SGD)。这意味着通过使用来自训练示例的(通常)小子集估算的梯度来更新参数。

在等式4中，←符号隐式指示(i层的)参数wⁱ从时间t更新到t+1。如果显式使用时间索引t，则该等式将写为：

在等式4中，偏导数

衡量z相对于wⁱ的不同维度变化的增长率。这种偏导数向量在数学优化中称为梯度。因此，在wⁱ的当前值附近的小局部区域中，沿由梯度确定的方向移动wⁱ将增加目标值Z。为了最小化损失函数，应沿梯度的相反方向更新wⁱ。此更新规则称为梯度下降。

然而，如果在负梯度方向上移动得太远，则损失函数可能会增加。因此，在每次更新中，仅通过负梯度(由η(学习率)控制)的一小部分更改参数。通常将η＞0设置为较小的数字(例如η＝0.001)。如果学习率不太高，则基于x¹一次更新将使此特定训练示例的损失变小。然而，很有可能会使其他一些训练示例的损失变大。因此，需要使用所有训练示例来更新参数。当所有训练示例都已用于更新参数时，称为已经处理一个学习周期。通常一个学习周期将减少训练集的平均损失，直到学习系统拟合训练数据为止。因此，能够重复梯度下降更新学习周期，并在某个点终止，以获得CNN参数(例如，当验证集的平均损失增加时，能够终止)。

最后一层的偏导数易于计算。x^L在参数w^L的控制下直接连接到z，因此很容易计算

仅当w^L不为空时才需要执行此步骤。同样，也很容易计算

例如，如果使用平方L₂损失，则

为空，并且

实际上，对于每一层，计算两组梯度：相对于层参数wⁱ的z的偏导数，以及该层的输入xⁱ。如等式4所示，术语

可用于更新当前(第i层)的参数。术语

可用于向后更新参数，例如，更新到第(i-1)层。直观的解释是：xⁱ是第(i-1)层的输出，而

是应更改xⁱ以减少损失函数的方式。因此，可以视为逐层将

从z向后传播到当前层的“错误”监管信息的一部分。因此，能够继续反向传播过程，并使用

将错误反向传播到第(i-1)层。这种逐层向后更新的程序能够大幅简化学习CNN。

以第i层为例。当更新第i层时，必须已经完成第(i+1)层的反向传播过程。即，已经计算出项

和

两者都存储在存储器中并可备使用。此时的任务是计算

和

使用链式规则，得出：

由于已经计算出

并将其存储在存储器中，因此仅需矩阵整形操作(vec)和额外的转置操作即可获得

这是两个等式式右侧(RHS)中的第一项。只要能够计算出

和

便能轻松获得期望值(两个等式的左侧)。

和

要比直接计算

和

容易得多，因为xⁱ通过带有参数wⁱ的函数与xⁱ⁺¹直接相关。

在神经网络的上下文中，激活充当神经元输入和输出之间的转移函数。它们定义在哪种条件下激活节点，即，将输入值映射到输出，该输出在隐藏层中又用作后续神经元的输入之一。存在大量具有不同特性的不同激活函数。

损失函数量化算法对给定数据的建模效果。为了从数据中学习并改变网络的权重，必须使损失函数最小化。通常，能够在回归损失和分类损失之间进行区分。在分类中，尝试预测从一组有限的分类值(分类标签)中预测输出，另一方面，在预测连续值时处理回归。

在以下数学公式中，以下参数定义为：

·n为训练示例数；

·i是数据集中的第i个训练示例；

·y_i是第i个训练示例的基本真值标签；

·

是第i个训练示例的预测。

分类问题最常见的设置是交叉熵损失。它随着预测概率与实际标签的偏离增加。实际预测概率的对数乘以基本真值类别。其重要方面是，交叉熵损失会严重惩罚有把握但有误的预测。数学等式能够描述为：

回归损失的典型示例是均方误差或L₂损失。顾名思义，均方误差是指预测值与实际观察值之间的平方差的平均值。其只涉及平均误差幅度，而与它们的方向无关。然而，由于平方，与偏差较小的预测相比，预测远离实际值会遭受严重的缺陷。另外，MSE具有良好的数学特性，使其更轻松地计算梯度。其等式如下：

有关卷积神经网络功能的信息请参阅下列文献：

I.Goodfellow、Y.Bengio和A.Courville所著《Deep learning,chapterconvolutional networks》，2016年，请见http://www.deeplearningbook.org；

J.Wu所著《Introduction to convolutional neural networks》，请见https://pdfs.semanticscholar.org/450c/a19932fcef1ca6d0442cbf52fec38fb9d1e5.pdf；

《Common loss functions in machine learning》，请见https://towardsdatascience.com/common-loss-functions-in-machine-learning-46af0ffc4d23，最近访问时间：2019-08-22；

Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton所著《Imagenetclassification with deep convolutional neural networks》，请见http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf；

S.Ren、K.He、R.Girshick和J.Sun所著《Faster r-cnn:Towards real-timeobject detection with region proposal networks》，请见https://arxiv.org/pdf/1506.01497.pdf；

S.-E.Wei、V.Ramakrishna、T.Kanade和Y.Sheikh所著《Convolutional posemachines》，请见https://arxiv.org/pdf/1602.00134.pdf；

Jonathan Long、Evan Shelhamer和Trevor Darrell所著《Fullyconvolutionalnetworks for semantic segmentation》，请见https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf。

第四方面，本发明针对一种程序，当该程序在计算机上运行或加载到计算机上时，促使计算机执行根据第一方面至第三方面的方法的方法步骤，和/或一种存储有上述程序的(例如，非暂时性)程序存储介质，或一种存储有定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的架构的数据的程序存储介质，和/或一种携带上述程序的数据载体信号，和/或一种携带定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的架构的数据的数据载体信号，和/或一种携带上述程序的数据流，和/或一种携带定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的架构的数据的数据流，和/或至少一台包括至少一个处理器和存储器的计算机，其中，上述程序在至少一个处理器上运行或加载到计算机的存储器中。

替选地或附加地，本发明可以涉及携带代表程序、例如上述程序的信息的(例如以技术手段生成的物理性、例如电)信号波，例如数字信号波，诸如电磁载波，该程序例如包括适于执行根据第一方面的方法的任何或全部步骤的代码机构。在一个示例中，信号波是携带上述计算机程序的数据载体信号。存储在盘上的计算机程序是数据文件，当读取并传输该文件时，该文件变成例如(例如以技术手段生成的物理性、例如电)信号形式的数据流。该信号可实施为信号波，例如本文描述的电磁载波。例如，信号(例如信号波)构建为经由计算机网络、例如LAN、WLAN、WAN、移动网络(例如因特网)来传输。例如，信号(例如信号波)构建为通过光学或声学数据传输来传输。故替选地或附加地，本发明根据第二方面可以涉及代表上述程序(即，包括该程序)的数据流。

第五方面，本发明针对一种用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的系统，包括：

a)计算机，其中，程序在计算机上运行或加载到计算机的存储器中，促使计算机执行根据第二方面或第三方面的方法的方法步骤；

b)至少一个电子数据存储装置，该电子数据存储装置存储个体患者图像数据，并且只要上述程序在至少一个处理器上运行或加载到计算机的存储器上时，促使计算机执行根据第三方面的方法，该电子数据便存储装置存储附加数据、图谱数据、个体观察方向数据、个体解剖向量数据和附加数据；以及

c)根据第四方面的程序存储介质，

其中，至少一台计算机可操作地耦合到：

-至少一个电子数据存储装置，用于从至少一个电子数据存储装置中获取个体患者图像数据，并且只要上述程序在计算机的至少一个处理器上运行或加载到计算机的存储器上时，促使计算机执行根据第三方面的方法，便从至少一个电子数据存储装置中获取附加数据、图谱数据、个体观察方向数据、个体解剖向量数据和附加数据，并且用于在至少一个电子数据存储装置中存储至少标签关系数据；以及

-程序存储介质，用于从程序存储介质中获取定义模型参数和学习算法架构的数据。

例如，本发明不涉及或尤其不包括或不包含侵入性步骤，该侵入性步骤将代表对身体的实质性物理干扰，需要对身体采取专业医疗措施，而即使采取了所要求的专业护理或措施，身体仍可能承受重大健康风险。

定义

本部分提供了本公开中使用的特定术语的定义，它们也构成本公开的一部分。

根据本发明的方法例如是一种计算机实施的方法。例如，根据本发明的方法的全部步骤或仅一些步骤(即，少于步骤总数)可以由计算机(例如，至少一台计算机)执行。由计算机实施的方法的实施例是计算机用来执行数据处理方法的用途。由计算机实施的方法的实施例是涉及计算机操作的方法，使得计算机被操作为执行该方法的一个、多个或全部步骤。

计算机例如包括至少一个处理器和例如至少一个存储器，以便(技术上)处理数据，例如电子地和/或光学地处理数据。处理器例如由半导体的物质或组合物制成，例如至少部分n型和/或p型掺杂半导体，例如II型、III型、IV型、V型、VI型半导体材料中的至少一种，例如(掺杂)砷化硅和/或砷化镓。所描述的计算步骤或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术方法的框架内(例如在程序的框架内)确定数据的步骤。计算机例如是任何类型的数据处理装置，例如电子数据处理装置。计算机可以是通常视为计算机的装置，例如台式个人电脑、笔记本电脑、上网本等，但也可以是任何可编程设备，例如移动电话或嵌入式处理器。计算机可以例如包括“子计算机”系统(网络)，其中每个子计算机代表其本身的计算机。术语“计算机”包括云计算机，例如云服务器。术语“计算机”包括服务器资源。术语“云计算机”包括云计算机系统，其例如包括至少一个云计算机的系统，例如包括多个可操作性互连的云计算机，诸如服务器群。这种云计算机优选地连接到诸如万维网(WWW)的广域网，并位于全部连接到万维网的计算机的所谓的云中。这种基础设施用于“云计算”，其描述了不要求终端用户知道提供特定服务的计算机的物理位置和/或配置的那些计算、软件、数据访问和存储服务。例如，术语“云”就此用来隐喻因特网(万维网)。例如，云提供作为服务(IaaS)的计算基础设施。云计算机可以用作用于执行本发明方法的操作系统和/或数据处理应用的虚拟主机。云计算机例如是由亚马逊网络服务(Amazon WebServices^TM)提供的弹性计算云(EC2)。计算机例如包括接口，以便接收或输出数据和/或执行模数转换。该数据例如是表示物理属性和/或从技术信号生成的数据。技术信号例如通过(技术)检测装置(例如用于检测标记器的装置)和/或(技术)分析装置(例如用于执行(医学)成像方法的装置)来生成，其中技术信号是例如电信号或光信号。技术信号例如表示由计算机接收或输出的数据。计算机优选可操作性耦合到显示装置，该显示装置允许将由计算机输出的信息显示给例如用户。显示装置的一个示例是虚拟现实装置或增强现实装置(又称为虚拟现实眼镜或增强现实眼镜)，其可以用作用于导航的“护目镜”。这种增强现实眼镜的具体示例是谷歌眼镜(Google Glass，Google,Inc.旗下的商标品牌)。增强现实装置或虚拟现实装置既可用于通过用户交互将信息输入到计算机中，又可用于显示由计算机输出的信息。显示装置的另一示例是例如包括液晶显示器的标准计算机监视器，该液晶显示器可操作性连接到用于从用于生成信号的计算机接收显示控制数据的计算机，该信号用于在显示装置上显示图像信息内容。这种计算机监视器的具体实施例是数字灯箱。这种数字灯箱的示例是Brainlab AG的产品

监视器也可以是例如手持式的便携式装置，诸如智能电话或个人数字助理或数字媒体播放器。

本发明还涉及一种包括指令的计算机程序，当由计算机执行该程序时，这些指令促使计算机执行本文所述的一种或多种方法，例如一种或多种方法的步骤；和/或一种存储有上述程序的计算机可读存储介质(例如非暂时性计算机可读存储介质)；和/或一种包括上述程序存储介质的计算机；和/或一种携带表示程序(例如上述程序)的信息的(例如以技术手段生成的物理性、例如电)信号波，例如数字信号波，诸如电磁载波，该程序例如包括适于执行本文所述的任意或全部方法步骤的代码机构。在一个示例中，信号波是携带上述计算机程序的数据载体信号。本发明还涉及一种计算机，该计算机包括至少一个处理器和/或上述计算机可读存储介质以及例如存储器，其中，该程序由处理器执行。

在本发明的框架内，计算机程序单元可以体现为硬件和/或软件(这包括固件、驻留软件、微代码等)。在本发明的框架内，计算机程序单元可以采取计算机程序产品的形式，该计算机程序产品可以体现为计算机可用、例如计算机可读的数据存储介质，该数据存储介质包括计算机可用、例如计算机可读的程序指令，所述数据存储介质中体现的“代码”或“计算机程序”使用于指令执行系统上或与指令执行系统结合使用。这种系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序单元和/或程序的机构的数据处理装置，例如包括执行计算机程序单元的数字处理器(中央处理单元或CPU)的数据处理装置，以及可选地包括用于存储用于执行计算机程序单元和/或通过执行计算机程序单元生成的数据的易失性存储器(例如随机存取存储器或RAM)的数据处理装置。在本发明的框架内，计算机可用、例如计算机可读的数据存储介质可以是任何数据存储介质，其可以包含、存储、通信、传播或传输那些指令执行系统、设备或装置上使用或与之结合使用的程序。计算机可用、例如计算机可读的数据存储介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置，或者是诸如因特网的传播介质。计算机可用或计算机可读的数据存储介质甚至可以是例如可打印所述程序的纸张或其他合适介质，因为程序可以通过电子方式捕获，例如通过光学扫描该纸张或其他合适介质，然后再编译、解码或以适当方式另行处理。数据存储介质优选为非易失性数据存储介质。本文所述的计算机程序产品和任何软件和/或硬件形成用于在示例实施例中执行本发明的功能的各种机构。计算机和/或数据处理装置可以例如包括指导信息装置，该指导信息装置包括用于输出指导信息的机构。指导信息可以例如在视觉上通过视觉指示机构(例如，监视器和/或灯)和/或在听觉上通过听觉指示机构(例如，扬声器和/或数字语音输出装置)和/或在触觉上通过触觉指示机构(例如，振动元件或并入器械中的振动元件)输出给用户。出于本文件的目的，计算机是技术计算机，该技术计算机例如包括诸如有形组件、例如机械组件和/或电子组件的技术组件。本文件中提及的任何装置都是技术装置并例如是有形装置。

表述“获取数据”例如包含(在所述计算机实施的方法的框架内)由计算机实施的方法或程序确定数据的场景。确定数据例如包含测量物理量并将所测得的值变换成数据，例如数字数据，和/或借助于计算机并例如在根据本发明的方法的框架内计算(例如输出)该数据。如本文所述的“确定”步骤例如包括发出执行本文所述的确定的命令或由其组成。例如，该步骤包括发出促使计算机(例如远程计算机、例如远程服务器、例如云中)执行确定的命令或由其组成。替选地或附加地，本文所述的“确定”步骤例如包括以下步骤或由其组成：接收由本文所述的确定的结果数据，例如从远程计算机(例如从促使其执行确定的远程计算机)接收结果数据。“获取数据”的含义还例如包含以下场景：通过(例如输入)由计算机实施的方法或程序例如从另一程序、先前的方法步骤或数据存储介质接收或检索数据，例如用于通过由计算机实施的方法或程序进行进一步处理。待获取数据的生成可以但不必是根据本发明的方法的一部分。因此，表述“获取数据”还可以例如表示等待接收数据和/或接收数据。所接收的数据可以例如经由接口来输入。表述“获取数据”还可以表示由计算机实施的方法或程序执行一些步骤以便(主动地)从譬如数据存储介质(例如ROM、RAM、数据库、硬盘驱动器等)的数据源或经由接口(譬如从另一台计算机或网络)接收或检索数据。分别通过本公开的方法或装置获取的数据可从位于数据存储装置中的数据库获取，该数据存储装置可操作性连接到计算机以便进行数据库与计算机之间的数据传输，例如从数据库到计算机的数据传输。计算机获取数据以用作“确定数据”步骤的输入。所确定的数据可以再输出到相同的或另一个数据库以便存储以供后续使用。该数据库或用于实施本公开方法的数据库可以位于网络数据存储装置或网络服务器(例如，云数据存储装置或云服务器)或本地数据存储装置(例如可操作性连接到至少一个执行本公开方法的计算机的大容量存储装置)。数据可以通过在获取步骤之前执行附加步骤的方式来实现“就绪”状态。根据这个附加步骤，生成数据以供获取。例如，检测或捕获数据(例如，通过分析装置)。替选地或附加地，根据附加步骤，譬如经由接口，输入数据。例如可以输入所生成的数据(譬如，输入到计算机中)。根据附加步骤(其在获取步骤之前进行)，也可以通过执行将数据存储于数据存储介质(例如ROM、RAM、CD和/或硬盘驱动器)的附加步骤来提供数据，从而在根据本发明的方法或程序的框架内，使数据就绪。因此，“获取数据”的步骤还可以涉及命令装置获取和/或提供待获取的数据。特别地，获取步骤不涉及侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，要求采取专业医疗措施，即使执行时采取了所要求的专业护理和措施，身体也可能承受重大健康风险。特别地，获取数据的步骤，例如确定数据，不涉及外科手术步骤，特别是不涉及利用外科手术或疗法来治疗人体或动物躯体的步骤。为了区分本方法使用的不同数据，将数据表示为(即称为)“XY数据”等，并根据它们描述的信息来定义，然后优选地将其称为“XY信息”等。

标记的功能是由标记检测装置(例如，相机或超声接收器，或诸如CT或MRI装置等分析装置)以可以确定该标记的空间位置(即，其空间位置和/或对准)方式来检测。该检测装置例如是导航系统的一部分。标记可以是有源标记。有源标记可以例如发射可处于红外、可见和/或紫外光谱范围内的电磁辐射和/或波。然而，标记也可以是无源标记，即，例如可以反射处于红外、可见和/或紫外光谱范围内的电磁辐射或者可以阻挡X射线辐射。为此，标记可以设置有具有相应反射特性的表面，或者可以由金属制成以便阻挡X射线辐射。标记还可以反射和/或发射处于射频范围内或超声波波长的电磁辐射和/或波。标记优选地具有球形和/或球状体形状，因此可以称为标记球体；然而，标记也可以呈现有角的(例如立方体)形状。

标记器可以例如是基准星或指针或者单个标记或多个(单独)标记，这多个标记则优选地处于预定的空间关系。标记器包括一个、两个、三个或更多个标记，其中两个或更多个这样的标记处于预定的空间关系。这种预定空间关系例如对于导航系统为已知并且例如存储在导航系统的计算机中。

在另一实施例中，标记器包括例如在二维表面上的光学图案。光学图案可以包括多个几何形状，如圆形、矩形和/或三角形。可以在相机捕获的图像中识别光学图案，并且可以根据图像中图案的大小、图像中图案的取向和图像中图案的失真来确定标记器相对于相机的位置。这允许从单个二维图像来确定至多三个旋转维度和至多三个平移维度的相对位置。

可以例如通过医学导航系统来确定标记器的位置。如果标记器附接至对象(诸如骨或医疗器械)，则可以根据标记器的位置以及标记器与对象之间的相对位置来确定对象的位置。确定这个相对位置又称为配准标记器与对象。可以跟踪标记器或对象，这意味着随着时间的推移两次或更多次确定标记器或对象的位置。

优选地，获取描述(例如定义，更特别地表示和/或作为)身体解剖部位的大体三维形状的图谱数据。因此，图谱数据表示身体解剖部位的图谱。图谱通常由多个对象通用模型组成，其中这些对象通用模型一起形成复合结构。例如，图谱构成了患者身体(例如身体的一部分)的统计模型，该统计模型已经根据从多个人体收集的解剖信息来生成，例如根据包含了这些人体的图像的医学图像数据来生成。因此，原则上，图谱数据表示多个人体的这种医学图像数据的统计分析结果。这个结果可以作为图像输出–因此图谱数据包含或相当于医学图像数据。这种比较可以例如通过应用图像融合算法来执行，其中该图像融合算法在图谱数据与医学图像数据之间进行图像融合。比较结果可以是在图谱数据与医学图像数据之间的相似性度量。图谱数据包括图像信息(例如位置图像信息)，该图像信息可以与例如包含在医学图像数据中的图像信息(例如位置图像信息)相匹配(例如通过应用弹性或刚性图像融合算法)，以使得例如将图谱数据与医学图像数据进行比较，以便确定医学图像数据中对应于由图谱数据限定的解剖结构的解剖结构的位置。

多个人体(其解剖结构用作生成图谱数据的输入)有利地共享共同特征，诸如性别、年龄、种族、身体测量值(例如身高和/或体重)以及病理状态中的至少一个。解剖信息例如描述人体解剖结构，并例如提取自关于人体的医学图像信息中。例如，股骨的图谱可以包括股骨头、股骨颈、身体、股骨大转子、股骨小转子以及下肢，作为一起构成了完整结构的对象。例如，脑部的图谱可以包括端脑、小脑、间脑、脑桥、中脑以及延髓，作为一起构成复杂结构的对象。这种图谱的一个应用是在医学图像分割中，其中图谱与医学图像数据相匹配，并且将图像数据与所匹配的图谱进行比较，以便将图像数据的点(像素或体素)分配给所匹配的图谱的对象，从而将图像数据分割成对象。

例如，图谱数据包括身体解剖部位的信息。该信息例如是患者特定、非患者特定、适应症特定或非适应症特定中的至少一种。因此，图谱数据描述例如患者特定、非患者特定、适应症特定或非适应症特定图谱中的至少一种。例如，图谱数据包括指示身体解剖部位相对于给定基准(例如，另一身体解剖部位)的移动自由度的移动信息。例如，图谱是多模式图谱，其定义多个(即至少两个)成像模态的图谱信息，并包含不同成像模态下的图谱信息之间的映射(例如全部模态之间的映射)，使得这些图谱可用于将医学图像信息从其在第一成像模态下的图像描绘变换为其在不同于第一成像模态的第二成像模态下的图像描绘，或者将不同的成像模态相互比较(例如匹配或配准)。

在医学领域，使用成像方法(又称为成像模态和/或医学成像模态)来生成人体解剖结构(诸如软组织、骨骼、器官等)的图像数据(例如二维或三维图像数据)。术语“医学成像方法”应理解为意指(有利地基于设备的)成像方法(例如所谓的医学成像模态和/或放射成像方法)，譬如计算机断层扫描(CT)和锥形束计算机断层扫描(Cone Beam ComputedTomography，简称CBCT，诸如体积CBCT)、X射线断层扫描、磁共振断层扫描(MRT或MRI)、常规X射线、超声波扫描术和/或超声波核查以及正电子放射断层扫描。例如，医学成像方法由分析装置来执行。通过医学成像方法应用的医学成像模态的示例为：X射线、磁共振成像、医学超声波扫描或超声波、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影和例如正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)的核医学功能成像技术。由此生成的图像数据又称为“医学成像数据”。分析装置例如用于在基于设备的成像方法中生成图像数据。成像方法例如用于分析身体解剖结构的医学诊断，以生成由图像数据描述的图像。成像方法还例如用于检测人体中的病理变化。然而，解剖结构中的一些变化，例如结构(组织)中的病理变化，可能无法检测到，并例如在通过成像方法生成的图像中可能是不可见。肿瘤表示解剖结构中变化的示例。如果肿瘤生长，则可认为其表示扩张的解剖结构。这种扩张的解剖结构可能无法检测到，例如，只有扩张解剖结构的一部分才能被检测到。例如，当使用造影剂渗入肿瘤时，早期/晚期脑部肿瘤通常在MRI扫描中可见。MRI扫描表示成像方法的一种示例。在对这类脑肿瘤进行MRI扫描的情形下，认为MRI图像中的信号增强(因造影剂渗入肿瘤而导致)代表了固体肿瘤块。因此，肿瘤可检测到，并例如在通过成像方法生成的图像中可辨别出。除了称为“增强”肿瘤的这些肿瘤之外，认为大约10％的脑肿瘤在扫描中无法辨别，并例如对于观察通过成像方法生成的图像的用户不可见。

附图说明

在下文中，参照附图对本发明予以描述，这些附图给予本发明的背景说明并表示本发明的具体实施例。但本发明的范围不限于在附图的上下文中公开的具体特征，图中：

图1示出神经网络的神经元；

图2示出根据第一方面的方法的基本流程；

图3示出根据第二方面的方法的基本流程；

图4示出根据第三方面的方法的基本流程；

图5示出根据第一方面至第三方面的方法的应用；

图6是根据第五方面的系统的示意图；

图7a、图7b和图7c释明根据第一方面和第二方面的方法使用解剖向量来创建基本真值的三个实施例；

图8a和图8b释明根据第一方面和第二方面的方法使用解剖向量来创建分割掩模先验的实施例；

图9a和图9b释明根据第一方面和第二方面的方法使用解剖向量作为附加输入(作为原始数字)的实施例；

图10a和图10b释明根据第一方面和第二方面的方法使用解剖向量作为附加输入(作为原始数字)的实施例；

图11a和图11b释明根据第一方面和第二方面的方法使用解剖向量来约束图谱的实施例；

图12a和图12b释明根据第一方面和第二方面的方法使用解剖向量进行分类/分割/定位的实施例；

图13a和图13b释明根据第一方面和第二方面的方法使用解剖向量进行分类/分割/定位的实施例。

具体实施方式

图1示出作为神经网络(例如卷积神经网络)一部分的神经元的结构，其中为输入分配了某些权重，以供生成神经元输出的激活函数进行处理。

图2描述根据第一方面的方法的基本流程，该基本流程从步骤S21开始，获取患者训练图像数据，继续到步骤S22，该步骤包含获取图谱数据，然后在步骤S23，继续获取观察方向数据。在此基础上，步骤S24计算解剖向量数据，随后在步骤S25，获取标签数据。最后，在步骤S26，确定解剖指标数据。

图3示出根据第二方面的方法的基本步骤，其中步骤S31包含获取个体患者图像数据，步骤32确定标签关系数据。

图4示出根据第三方面的方法的基本步骤，其中步骤S41包含获取个体患者图像数据，步骤42获取图谱数据。随后的步骤43获取个体观察方向数据，随后在步骤S44确定个体解剖向量数据。在步骤S45中获取附加数据。然后，步骤S46确定标签关系数据。

图5概述了根据第一方面至第三方面的方法的应用。通用患者模型(图谱)1和跟踪成像装置6经由图谱1与患者空间4之间的配准5(使用例如3D断层扫描图像数据作为特定患者的计划数据和到图谱的弹性配准)以及经由患者空间4与跟踪成像装置6之间的配准1而配准到患者空间4。配准5和13可以组合成图谱1与跟踪成像装置6之间的配准14。跟踪成像装置6生成医学图像7，并且例如根据图谱1或手动地为这些图像生成8标签9。通过配准14确定解剖向量，该配准14是基于配准5和13以及跟踪成像装置6的已知观察方向。

在学习期间，将医学图像7输入15到学习算法12中。将使用图谱1确定的解剖向量输入2到学习算法12中。将标签9输入10到学习算法12中。可选地，将图谱1输入3到学习算法12中。由此，在学习期间，基于输入2、10、15以及可选地基于输入3来确定标签9与医学图像7所描绘的解剖结构之间的关系。

在测试或使用学习算法期间，将医学图像7输入15到学习算法12中。将使用图谱1所确定的解剖向量输入2到学习算法12中。可选地，将图谱1输入3到学习算法12中。由学习算法基于输入2和15以及可选地基于输入3来确定11标签9。

图6是根据第五方面的医疗系统61的示意图。该系统整体上标有附图标记61，并包括计算机62以及用于存储至少根据第五方面的系统所存储的数据的电子数据存储装置(诸如硬盘)63。医疗系统1的组件具有上面关于本公开第五方面解释的功能和特性。

图7a、图7b和图7c释明根据第一方面和第二方面的方法使用解剖向量来创建基本真值的实施例1至实施例3。

图7a示出实施例1使用根据第二方面的方法来分割或定位图像特征，并且使用来自与患者图像配准的图谱的解剖向量来创建基本真值分割。对于依据根据第一方面的方法的训练，将视频图像和基本真值分割输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练过的算法时，将视频图像输入到算法中。算法的输出则是图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准是弹性配准，并在对患者执行的医疗程序期间更新。

图7a还示出实施例2使用根据第二方面的方法对图像特征进行分类，并且使用来自与患者图像配准的图谱的解剖向量来创建基本真值类。对于依据根据第一方面的方法的训练，将视频图像和基本真值类输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练过的算法时，将视频图像输入到算法中。算法的输出是图像特征的类。训练以监督的方式进行。上面在图5的上下文中提及的配准是严格或更佳的配准，但通常取决于应分类的图像内容。

此外，图7a示出实施例3使用根据第二方面的方法来分割或定位图像特征，并且使用来自与患者图像配准的图谱的解剖向量来创建类。对于依据根据第一方面的方法的训练，将视频图像和类输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练过的算法时，将视频图像输入到算法中。算法的输出则是图像特征的分割或定位。训练以弱监督的方式进行。上面在图5的上下文中提及的配准是严格或更佳的配准，但通常权利要求应定位的图像内容。

图7b示出实施例1和2在算法训练期间使用解剖向量来创建体现为标签的基本真值。将基本真值与视频数据一起馈送到机器学习(ML)算法中，以使用ML算法来生成标签。

图7c示出实施例3在算法训练期间使用解剖向量来创建体现为标签的类。将类与视频数据一起馈送到机器学习(ML)算法中，以使用ML算法来生成标签。

图8a和图8b释明根据第一方面和第二方面的方法使用解剖向量来创建分割掩模先验的实施例4。

图8a示出实施例4使用根据第二方面的方法来分割或定位图像特征，并且使用解剖向量创建分割掩模先验。对于依据根据第一方面的方法的训练，将视频图像、分割掩模先验和基本真值分割输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练过的算法时，将视频图像和先验输入到算法中。算法的输出则是图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准是弹性配准，并在对患者执行的医疗程序期间更新。

图8b示出解剖向量用于创建分割掩模先验，将该分割掩模先验与体现为标签的基本真值和视频数据一起馈送到机器学习(ML)算法中，以使用ML算法来生成标签。

图9a和图9b释明根据第一方面和第二方面的方法使用解剖向量作为附加输入(作为原始数字)的实施例5。

图9a示出实施例5使用根据第二方面的方法对图像特征进行分类或分割或定位，并且解剖向量用作学习算法的附加输入(例如作为原始数字)。对于依据根据第一方面的方法的训练，将视频图像、对应的解剖向量和人工创建的标签输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练过的算法时，将视频图像和解剖向量输入到算法中。算法的输出则是图像特征的类或图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准取决于应用的类型。

图9b示出将解剖向量与体现为标签的基本真值和视频数据一起输入到机器学习(ML)算法中，以使用ML算法来生成标签。

图10a和图10b释明根据第一方面和第二方面的方法使用解剖向量作为附加输入(作为原始数字)的实施例6。

图10a示出实施例6使用根据第二方面的方法对图像特征进行分类或分割或定位，并且解剖向量用作学习算法的附加输入(例如作为原始数字)。对于依据根据第一方面的方法的训练，将视频图像、解剖向量、未变形图谱和人工创建的标签输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练的算法时，将视频图像和解剖向量以及未变形图谱输入到算法中。算法的输出则是图像特征的类或图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准取决于应用的类型。

图10b示出将解剖向量与体现为标签的基本真值、视频数据和未变形图谱一起输入到机器学习(ML)算法中，以使用ML算法来生成标签。

图11a和图11b释明根据第一方面和第二方面的方法使用解剖向量来约束图谱的实施例7。

图11a示出实施例7使用根据第二方面的方法对图像特征进行分类或分割或定位，并且解剖向量用于约束图谱。对于依据根据第一方面的方法的训练，将视频图像和约束过的未变形图谱与手动创建的标签一起输入到体现为机器学习算法的学习算法中。当使用根据第二方面的方法测试训练的算法时，将视频图像和约束过的未变形图谱输入到算法中。算法的输出则是图像特征的类或图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准是严格或更佳的配准。

图11b示出解剖向量用于生成约束图谱，将该约束图谱与体现为标签的基本真值和视频数据一起输入到机器学习(ML)算法中，以使用ML算法来生成标签。

图12a和图12b释明根据第一方面和第二方面的方法使用解剖向量进行分类/分割/定位的实施例8。

图12a示出实施例8使用根据第二方面的方法对图像特征进行分类或分割或定位，并且解剖向量用于针对第一阶段的身体部位分类器创建基本真值。对于依据根据第一方面的方法的训练，在第一阶段，将视频图像和基本真值输入到体现为机器学习算法的学习算法中。在第二阶段，将标签输入到另一不必为学习算法的算法中。当使用根据第二方面的方法测试训练过的算法时，在第一阶段将视频图像输入到算法中，在第二阶段将学习算法输出的标签输入到其他算法中。例如，标签在经过学习算法输出后会经历进一步的数据处理。其他算法可以例如是用于分割由标签标识的个体医学图像中可见的身体解剖部位的另一学习算法。算法的输出则是图像特征的类或图像特征的分割或定位。训练以监督的方式进行。上面在图5的上下文中提及的配准是严格或更佳的配准。

图12b示出解剖向量用于生成体现为身体部位标签的基本真值，将基本真值与视频数据一起输入到机器学习(ML)算法中，以使用ML算法来生成身体部位标签。在第二阶段，将身体部位标签输入到另一算法。

图13a和图13b释明根据第一方面和第二方面的方法使用解剖向量进行分类/分割/定位的实施例9。

图13a示出实施例9使用根据第二方面的方法对图像特征进行分类或分割或定位，并且解剖向量用于创建基本真值课程数据池。课程表示在不同训练步骤中逐步增加训练数据的复杂性。对于依据根据第一方面的方法的训练，将任何适用类型的数据输入到体现为机器学习算法的学习算法中。输入训练数据的顺序由课程控制。当使用根据第二方面的方法测试训练的算法时，将另一类型的数据输入到算法中。算法的输出则是图像特征的类或图像特征的分割。训练以监督的方式进行。上面在图5的上下文中提及的配准是严格或更佳的配准。

图13b示出将解剖向量与基本真值和视频数据一起输入到课程生成器中，将课程生成器的输出输入到机器学习(ML)算法以使用ML算法来生成标签。

Claims

1.一种训练用于确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的学习算法的计算机实施的方法，所述方法包括以下步骤：

a)获取患者训练图像数据(S21)，所述患者训练图像数据描述多个患者的解剖结构的数字医学图像；

b)获取图谱数据(S22)，所述图谱数据描述包含所述解剖结构的身体解剖部位的解剖模型；

c)获取观察方向数据(S23)，所述观察方向数据描述成像装置在用于生成所述医学图像的时间点朝向所述解剖结构的观察方向；

d)基于所述观察方向数据和所述图谱数据确定解剖向量数据(S24)，其中，所述解剖向量数据描述将所述观察方向变换为参考系所得的解剖向量，在所述参考系中定义所述解剖模型中的位置；

e)获取标签数据(S25)，所述标签数据描述表示所述解剖模型中解剖结构的位置或类型的标签；以及

f)基于所述患者训练图像数据、所述解剖向量数据和所述标签数据确定解剖指标数据(S26)，其中，所述解剖指标数据描述用于建立所述医学图像所描述的解剖结构的位置或类型与所述标签之间关系的学习算法的模型参数，其中，通过将所述患者训练图像数据和所述标签数据输入到关系建立函数中来确定所述解剖指标数据。

2.根据前述权利要求中任一项所述的方法，其中，所述医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，所述成像装置例如是显微镜、配备有数码相机的内窥镜或配置为产生二维投影图像的X射线装置。

3.根据前述权利要求中任一项所述的方法，其中，通过将已经基于所述图谱数据和所述解剖向量数据所确定的图谱数据子集、例如实子集额外输入到所述关系建立函数中来确定所述解剖指标数据。

4.根据前述权利要求中任一项所述的方法，包括以下步骤：

获取附加数据，所述附加数据作为所述解剖向量的函数；以及

通过将所述附加数据额外输入到所述关系建立函数中来确定所述解剖指标数据。

5.根据前述权利要求中任一项所述的方法，其中，所述附加数据包括所述解剖向量数据或由解剖向量数据组成。

6.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括机器学习算法或由机器学习算法组成。

7.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括卷积神经网络或由卷积神经网络组成。

8.根据前述权利要求中任一项所述的方法，其中，所述模型参数定义所述学习算法的可学习参数，例如权重。

9.一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法，所述方法包括以下步骤：

a)获取个体患者图像数据(S31)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；以及

b)确定标签关系数据(S32)，所述标签关系数据描述所述标签与所述个体医学图像中解剖结构之间的关系，其中，通过将所述个体患者图像数据输入到所述个体医学图像所描述的解剖结构与所述标签之间关系的建立函数中来确定所述标签关系数据，所述函数是已经通过执行根据权利要求1至2或从属于任一项权利要求1至2的权利要求6至8中任一项所述的方法训练的学习算法的一部分。

10.一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的计算机实施的方法，所述方法包括以下步骤：

a)获取个体患者图像数据(S41)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；

b)获取图谱数据(S42)，所述图谱数据描述包含所述解剖结构的身体解剖部位的解剖模型；以及

c)获取个体观察方向数据(S43)，所述个体观察方向数据描述成像装置在用于生成所述个体医学图像的时间点朝向所述解剖结构的观察方向；

d)基于所述个体观察方向数据和所述图谱数据确定个体解剖向量数据(S44)，其中，所述解剖向量数据描述将所述观察方向变换为参考系所得的解剖向量，在所述参考系中定义所述解剖模型中的位置；

e)获取附加数据(S45)，所述附加数据作为个体解剖向量的函数；以及

f)确定标签关系数据(S46)，所述标签关系数据描述标签与所述个体医学图像所描述的解剖结构之间的关系，其中，通过将所述个体患者图像数据和所述附加数据输入到所述个体医学图像中解剖结构的位置或类型与所述标签之间关系的建立函数中来确定所述标签关系数据，所述函数是已经通过执行根据权利要求4或从属于权利要求1的权利要求6至8中任一项所述的方法训练的学习算法的一部分，其中，用于生成所获取的附加数据的解剖向量的函数与用于生成输入到用于确定所述解剖指标数据的关系建立函数的附加数据的解剖向量的函数相同。

11.根据前一项权利要求所述的方法，其中，

所述附加数据包括所述个体解剖向量数据或由所述个体解剖向量数据组成，且

所述学习算法已经通过额外执行根据权利要求5或从属于权利要求5的权利要求6至8中任一项所述的方法来训练。

12.根据权利要求9或11所述的方法，其中，

通过将所述图谱数据的子集额外输入到所述个体医学图像所描述的解剖结构与所述标签之间关系的建立函数中来额外基于所述图谱数据确定所述标签关系数据，且

所述学习算法已经通过额外执行根据权利要求3或从属于权利要求3的权利要求6至8中任一项所述的方法来训练。

13.根据前述权利要求中任一项所述的方法，其中，所述个体医学图像是二维图像，诸如显微镜图像，例如用显微镜拍摄的视频的一部分，其中，所述成像装置例如是显微镜。

14.根据前五项权利要求中任一项所述的方法，其中，用于生成所述个体患者图像数据的成像装置、例如显微镜与所述个体解剖向量数据之间的相对位置为已预定、例如已获知并例如通过所述方法来获取。

15.根据前六项权利要求中任一项所述的方法，其中，所述学习算法包括机器学习算法或由机器学习算法组成。

16.根据前七项权利要求中任一项所述的方法，其中，所述学习算法包括卷积神经网络或由卷积神经网络组成，作为所述计算模型的一部分。

17.根据前八项权利要求中任一项所述的方法，其中，所述模型参数定义所述学习算法的可学习参数，例如权重。

18.一种程序，所述程序当在计算机(62)上运行时或加载到计算机(62)上时，促使所述计算机(62)执行根据前述权利要求中任一项所述的方法的方法步骤，和/或一种存储有所述程序的程序存储介质，或一种存储有定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的架构的数据的程序存储介质，和/或一种携带上述程序的数据载体信号，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的架构的数据的数据载体信号，和/或一种携带上述程序的数据流，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的架构的数据的数据流，和/或至少一台包括至少一个处理器和存储器的计算机(62)，其中，所述程序在所述至少一个处理器上运行或加载到所述计算机(62)的存储器中。

19.一种确定指示医学图像中解剖结构的位置或类型的标签与医学图像中解剖结构的位置或类型之间关系的系统(61)，包括：

a)计算机(62)，其中，程序当在计算机(62)上运行时或加载到计算机(62)的存储器上时，促使所述计算机(62)执行根据前述权利要求1至17中任一项所述的方法的方法步骤；

b)至少一个电子数据存储装置(63)，所述电子数据存储装置(63)存储个体患者图像数据，并且只要所述程序在所述计算机(62)的至少一个处理器上运行或加载到所述计算机(62)的存储器上时促使所述计算机执行根据权利要求10所述的方法，所述电子数据存储装置(63)便存储所述附加数据、所述图谱数据、所述个体观察方向数据、所述个体解剖向量数据和所述附加数据；以及

c)根据前一项权利要求所述的程序存储介质，

其中，所述至少一台计算机(62)可操作地耦合到：

-所述至少一个电子数据存储装置(63)，用于从所述至少一个电子数据存储装置(63)中获取所述个体患者图像数据，并且只要所述程序在所述计算机(62)的至少一个处理器上运行或加载到所述计算机(62)的存储器上时促使所述计算机执行根据权利要求10所述的方法，便从所述至少一个电子数据存储装置(63)中获取所述附加数据、所述图谱数据、所述个体观察方向数据、所述个体解剖向量数据和所述附加数据，并且用于在所述至少一个电子数据存储装置(63)中存储至少所述标签关系数据；以及

-所述程序存储介质，用于从所述程序存储介质中获取定义模型参数和学习算法架构的数据。