CN113287149A

CN113287149A - 使用机器学习和解剖向量的医学图像分析

Info

Publication number: CN113287149A
Application number: CN201980078509.9A
Authority: CN
Inventors: 斯特凡·维尔斯迈尔; 延斯·施马勒
Original assignee: Brainlab AG
Current assignee: Brainlab AG
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-08-20
Also published as: EP3857446B1; WO2021122747A1; US20230046321A1; EP3857446A1; US20220122255A1; US11847819B2; US20240062517A1; EP4213106A1; EP4078445A1; CN114846524A; WO2021121600A1

Abstract

本公开涉及一种计算机实施的方法，其包含将具有已知观察方向和图谱的跟踪成像设备(诸如显微镜)配准到患者空间，以便能够在图谱空间与用于定义患者的解剖结构的图像中的位置的参考系之间建立变换。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中以训练学习算法(诸如机器学习算法，例如卷积神经网络)，以便自动分割用跟踪成像设备生成的患者图像。然后，训练过的学习算法允许对患者图像进行有效的分割和/或标记，而不必每次都将患者图像配准到图谱，从而节省计算量。

Description

使用机器学习和解剖向量的医学图像分析

技术领域

本发明涉及一种训练学习算法以确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示医学图像中的解剖结构的位置或类型的标签之间的关系的计算机实施的方法，以及使用训练过的学习算法以分割和/或标记医学患者图像的方法、一种相应的计算机程序、一种存储此类程序的计算机可读存储介质、一种执行此类程序的计算机，以及一种包括电子数据存储设备和前述计算机的系统。

背景技术

能够使用解剖图像来分割或标记医学患者图像。这需要将患者图像配准到图谱数据，其涉及大量的计算工作量。

发明内容

本发明的目的是提供用于更有效地分割和/或标记医学患者图像的方法。

下面公开本发明的各方面、示例和示例性步骤及其实施例。只要技术上适宜且可行，便能根据本发明组合本发明的不同示例性特征。

在下文中，给出了本发明具体特征的简要描述，不应将其理解为将本发明仅限于本部分中描述的特征或特征的组合。

本公开的方法包含将诸如具有已知观察方向和图谱的显微镜的跟踪成像设备配准到患者空间，以便能够在图谱空间与用于定义患者的解剖结构的图像中的位置的参考系之间建立变换。标签与图像的某些组成部分相关联，并与医学图像和解剖向量以及例如图谱一起输入到学习算法中，以训练学习算法，用于用跟踪成像设备生成的患者图像的自动分割，该学习算法例如机器学习算法，例如卷积神经网络。然后，训练过的学习算法允许对患者图像进行有效的分割和/或标记，而不必每次都将患者图像配准到图谱，从而节省计算量。

在本发明内容中，例如通过参照本发明的可行实施例给出对本发明的一般特征的描述。

一般而言，第一方面，本发明达成上述目的的解决方案为一种训练学习算法以确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示医学图像中的解剖结构的位置或类型之间的关系的计算机实施的方法(例如，医学方法)。根据第一方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

在根据第一方面的方法的(例如第一)示例性步骤中，获取患者训练图像数据，该患者训练图像数据描述多个患者的解剖结构的数字医学图像。例如，医学图像是诸如显微图像的二维图像，例如用显微镜拍摄的视频的一部分，其中，成像设备例如是显微镜。例如已经由用生成二维图像的成像设备(诸如电子显微镜或相机或配备有数码相机的内窥镜)或者用产生二维投影图像或配置为产生二维投影图像的X射线设备拍摄的图像或视频生成患者训练图像数据。

在根据第一方面的方法的(例如第二)示例性步骤中，获取图谱数据，该图谱数据描述包含解剖结构的身体解剖部位的基于图像的模型。

在根据第一方面的方法的(例如第三)示例性步骤中，获取观察方向数据，该观察方向数据描述在使用成像设备生成医学图像的时间点，成像设备朝向解剖结构的观察方向。例如已经通过用跟踪系统跟踪成像设备确定观察方向，该跟踪系统根据基于标记跟踪(即光学地检测回射标记，该回射标记以预定且已知的与其观察方向相关的关系依附于成像设备)、视频跟踪或电磁跟踪的原理。观察方向能够进一步基于成像设备的几何形状或由成像设备的几何形状来定义，并在光学上，例如基于成像设备的视场或焦轴，或例如焦点(focal point)，例如成像设备的焦斑(focal spot)的位置。观察方向例如包括垂直于成像平面的方向。观察方向例如包括相机的位置和相机的取向或由其定义。此外，观察方向数据例如包括定义成像设备的焦距、变焦或放大倍率的信息。附加地或替代地，它例如包括定义图像或视场的边或角的位置的信息，例如关于成像设备位置的信息。对于使用X射线并包括大体平坦的X射线检测器的成像设备，观察方向数据能够例如包括检测器区域的法线或由检测器区域的法线定义，或者其能够例如包括定义检测器区域的中心，或例如由X射线检测器或X射线源附近的准直器叶片定义的区域的中心的信息。

在根据第一方面的方法的(例如第四)示例性步骤中，基于观察方向数据和图谱数据确定解剖向量数据，其中，解剖向量数据描述解剖向量，该解剖向量是将观察方向变换为参考系的结果，在该参考系中定义基于图像的模型中的位置。

从观察方向数据到解剖向量数据的这种变换例如通过以下步骤a)至c)来执行：

a)将跟踪成像设备的位置和取向的坐标(其例如在跟踪系统的坐标系中被定义，例如相对于光学跟踪系统的立体跟踪相机)变换为与患者相同的坐标系(例如通过依附于患者的光学或其他跟踪标记)，其例如患者的术中坐标系。

b)将计划图像数据中的位置(例如计算机断层扫描图像，例如来自患者的X射线或磁共振断层扫描)变换为患者的患者坐标系(例如使用术前图像数据中的例如不透射线的人工标记或自然界标)。计划图像数据的坐标系例如由用于获取计划图像数据的成像设备(例如计算机断层扫描仪或磁共振成像扫描仪)的坐标系定义。例如术前获得计划图像数据。

c)然后，将已经变换为患者坐标系的位置变换为解剖图谱的坐标系，使用计划图像数据到图谱的配准，该配准能够例如是刚性变换，例如仿射变换，或弹性变换，例如图像数据的变形。在配准之后，变形的图像数据与图谱的至少一部分一致，或者变形的图谱的至少一部分与图像数据一致。

上述变换步骤a)至c)的结果是，在任何坐标系中给出的所有坐标，例如术前图像数据中的坐标、成像设备的观察方向的坐标、跟踪系统和由跟踪系统跟踪的所有跟踪设备的坐标以及患者坐标都能够用图谱坐标系表示，其不针对个体患者。该变换过程也称为“配准”；跟踪的成像设备由此被配准到图谱坐标系中。解剖向量数据例如包括在图谱坐标系中表示的成像设备的观察方向数据，例如观察方向坐标变换为图谱坐标系的坐标。

在(例如第五)示例性步骤中，获取标签数据，其描述标签，该标签描述基于图像的模型中的解剖结构的位置或类型。

在根据第一方面的方法的(例如第六)示例性步骤中，基于患者训练图像数据和解剖向量数据以及标签数据确定解剖指标数据，其中，解剖指标数据描述用于建立由医学图像描述的解剖结构的位置或类型与标签之间的关系(例如相对位置或分配)的学习算法的模型参数(例如权重)，其中，通过将患者训练图像数据和标签数据输入到建立关系的函数中，来确定解剖指标数据。例如，学习算法包括机器学习算法或由机器学习算法组成。例如，学习算法包括卷积神经网络或由卷积神经网络组成。例如，模型参数定义学习算法的可学习参数，例如权重。例如，通过将已经基于图谱数据和解剖向量数据确定的图谱数据的子集额外输入到建立关系的函数中，来确定解剖指标数据。子集例如是实子集，即，与图谱数据相比具有更少的元素，即更少的数据。

在根据第一方面的方法的示例中，获取附加数据，该附加数据作为解剖向量的函数。然后，通过将附加数据额外输入到建立关系的函数中，来确定解剖指标数据。例如，附加数据包括解剖向量数据或由解剖向量数据组成。

在第二方面，本发明针对一种确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示医学图像中的解剖结构的位置或类型的标签之间的关系的计算机实施的方法(例如，医学方法)。根据第二方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

在根据第二方面的方法的(例如第一)示例性步骤中，获取个体患者图像数据，该数据描述个体患者的解剖结构的数字个体医学图像。例如，已经使用与用于生成患者训练图像数据的成像模式相同的成像模式生成个体医学图像。

在根据第二方面的方法的(例如第二)示例性步骤中，确定标签关系数据，该标签关系数据描述标签与个体医学图像中的解剖结构之间的关系(例如相对位置或分配)，其中，通过将个体患者图像数据输入到建立由个体医学图像描述的解剖结构与标签之间的关系的函数中来确定标签关系数据，该函数是已经通过执行根据第一方面的方法(只要其包含仅将患者训练图像数据和标签数据作为训练数据输入到建立关系的函数中)训练的学习算法的一部分。

在第三方面，本发明针对一种确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示医学图像中的解剖结构的位置或类型的标签之间的关系的计算机实施的方法(例如，医学方法)。根据第三方面的方法包括在至少一台计算机(例如，至少一台作为导航系统的一部分的计算机)的至少一个处理器上，执行由至少一个处理器执行的以下示例性步骤。

在根据第三方面的方法的(例如第一)示例性步骤中，获个体患者图像数据，该数据描述个体患者的解剖结构的数字个体医学图像。例如，已经使用与用于生成患者训练图像数据的成像模式相同的成像模式生成个体医学图像。个体医学图像是诸如显微图像的二维图像，例如用显微镜拍摄的视频的一部分，其中，成像设备例如是显微镜。

在根据第三方面的方法的(例如第二)示例性步骤中，获取图谱数据，该图谱数据描述包含解剖结构的身体解剖部位的基于图像的模型。

在根据第三方面的方法的(例如第三)示例性步骤中，获取个体观察方向数据，该数据描述在使用成像设备生成医学图像的时间点，成像设备朝向解剖结构的观察方向。例如已经通过用跟踪系统跟踪成像设备确定观察方向，该跟踪系统根据基于标记跟踪(即光学地检测回射标记，该回射标记以预定且已知的与其观察方向相关的关系依附于成像设备)、视频跟踪或电磁跟踪的原理。

在根据第三方面的方法的(例如第四)示例性步骤中，基于个体观察方向数据和图谱数据确定个体解剖向量数据，其中，解剖向量描述解剖向量，该解剖向量是将观察方向变换为参考系的结果，在该参考系中定义基于图像的模型的位置。例如，预定、例如已知以及例如通过该方法获取用于生成个体患者图像数据的例如显微镜的成像设备与个体解剖向量数据之间的相对位置。

在根据第三方面的方法的(例如第五)示例性步骤中，获取附加数据，该附加数据是个体解剖向量的函数。例如，附加数据包括个体解剖向量数据或由个体解剖向量数据组成。

在根据第三方面的方法的(例如第六)示例性步骤中，确定标签关系数据，该标签关系数据描述标签与由个体医学图像描述的解剖结构之间的关系(例如相对位置或分配)，其中，通过将个体患者图像数据和附加数据输入到建立个体医学图像中的解剖结构的位置或类型与标签之间的关系的函数中来确定标签关系数据，该函数已经通过执行根据第一方面的方法(只要其包含仅将患者训练图像数据和标签数据作为训练数据输入到建立关系的函数中)训练的学习算法的一部分。用于生成所获取的附加数据的解剖向量的函数与用于生成输入到建立用于确定解剖指标数据的函数中的附加数据的解剖向量的函数相同。

在根据第三方面的方法的示例中，附加数据包括个体解剖向量数据或由个体解剖向量数据组成，并且已经通过将附加数据额外输入到建立关系的函数中训练学习算法。

在根据第三方面的方法的示例中，通过将图谱数据的子集额外输入到建立由个体医学图像描述的解剖结构与标签之间的关系的函数中，来基于图谱数据额外确定标签关系数据，并且已经通过将基于图谱数据和解剖向量数据确定的图谱数据的子集额外输入到建立关系的函数中训练学习算法。子集例如是实子集，即与图谱数据相比具有更少的元素，即更少的数据。

在根据第二方面和第三方面的方法中，学习算法例如包括机器学习算法或由机器学习算法组成，例如卷积神经网络。在根据第二方面和第三方面的方法中，模型参数定义学习算法的可学习参数，例如权重。

在根据第一方面、第二方面和第三方面的方法的一个示例中，学习算法可以是随机森林算法。参阅Antonio Criminisi、Jamie Shotton和Ender Konukoglu所著的《Decision Forests:A Unified Framework for Classification,Regression,DensityEstimation,Manifold Learning and Semi-Supervised Learning(决策森林：分类、回归、密度估算、流形学习和半监督学习的统一框架)》，2011年，请见https:// www.microsoft.com/zh-us/research/wp-content/uploads/2016/02/CriminisiFore sts_FoundTrends_2011.pdf，随机森林的解释如下：随机森林或是用于分类或回归的集成学习方法，通过在训练时构造大量决策树，并输出类的模式(分类)或个体树的平均预测(回归)。

随机森林的基本构建块是单决策树。决策树是一组以分层方式组织的问题，并且以图形方式表示为树。决策树通过询问有关其已知属性(所谓的“特征”)的连续问题来估计对象的未知属性(“标签”)。接下来要询问的问题取决于上一个问题的答案，并且这种关系以图形方式表示为对象遵循的穿过树的路径。然后，基于路径上的终端节点(所谓的“叶节点”)做出决策。每个问题对应于树的内部节点(所谓的“分割节点”)。

每个分割节点都具有与之相关的所谓的测试函数。将分割节点j处的测试函数用公式表示为具有二进制输出的函数：

其中0和1能够分别解释为“假”和“真”，

表示第j个分割节点处测试函数的参数。

v因此是由向量

表示的当前对象(“数据点”)，其中分量x_i表示数据点的某些属性(特征)，所有这些属性都形成特征空间

在最简单的形式中，测试函数是线性模型，其在特征空间中选择一个特征轴，并根据各自特征的值是低于可学习阈值还是高于可学习阈值来对每个数据点进行分类。对于其他更复杂的形式，非线性测试功能是可行的。

为了训练决策树，使用一组训练数据点，为此特征以及所需的标签都是已知的。训练的目的是在所有分割节点上自动学习合适的测试函数，其最适于从数据点的特征中确定标签。稍后，能够再通过经由基于其特征训练过的树发送数据点来针对带有未知标签的新数据点评估这种训练过的决策树。

为了理解训练过程，有益的是，将训练点的子集表示为与不同的树枝相关联。举例而言，S₁表示到达节点1的训练点的子集(节点从0开始以广度优先的顺序对根F进行编号)，而

表示去往节点1的左侧子级和右侧子级的子集。

训练负责通过优化在可用训练集上定义的所选目标函数来选择与每个分割节点(由j索引)相关联的测试函数h(v,θ_j)的类型和参数。

分割函数的优化以贪婪的方式进行。在每个节点j上，根据引入训练集v的子集，学习将S_j“最佳”分割为

和

的函数。这个问题用公式表示为该节点处的目标函数的最大化：

其中

如前所述，符号

表示分割前后的训练点集。目标函数在这里是抽象形式。其精确定义和“最佳”的含义取决于即将到来的任务(例如，是否有监督，连续或离散输出)。例如，对于二进制分类，能够将术语“最佳”定义为分割训练子集S_j，以使所得的子节点尽可能纯，即，仅包含单个类的训练点。在这种情况下，目标函数例如能够定义为信息增益。

在训练期间，还需要优化树的结构(形状)。训练从根节点j＝0开始，在该节点找到最优分割参数，如前所述。因此，构建两个子节点，每个子节点接收训练集的不同不相交子集。然后，将此过程应用于所有新构建的节点，并且训练阶段继续。树的结构取决于如何以及何时决定停止生长树的各个分支。能够应用不同的停止标准。例如，通常在达到层次D的最大数字时停止树。替代地，能够施加最大值

的最小值，换言之，当在叶节点内寻找训练点的属性彼此相似时停止。当节点包含的训练点太少时，树的生长也可能会停止。在泛化方面，已经证明避免生长整棵树具有积极作用。

在训练期间，将随机性注入到树中：当在第j个节点处进行训练时，不是在测试函数的整个参数空间上进行优化，而是仅使参数值的小随机子集

可用。因此，在随机性模型下，通过优化每个分割节点j来完成训练树：

由于这种随机设置，以后能够并行训练多个决策树，每个决策树都利用来自数据点的不同属性集。

在训练阶段的最后，获得：(i)与每个节点相关联的(贪婪的)最优弱学习器；(ii)学习过的树结构；以及(iii)每片叶子上的不同训练点集。

训练后，每个叶节点仍与(标记的)训练数据的子集关联。在测试过程中，先前不可见的点穿过树，直到其到达叶子。由于分割节点作用于特征，因此输入测试点可能最终位于与和其自身相似的训练点相关联的叶子中。因此，可以合理地假设相关标签也必须与该叶子中的训练点的标签相似。这证明了使用在该叶子中收集的标签统计数据以预测与输入测试点相关联的标签的合理性。

在最泛化含意义上，能够使用后验分布来采集叶子统计数据：

p(c|v)和p(y|v)

其中c和y分别代表离散或连续标签。v是在树中测试的数据点，并且条件表示分布取决于由测试点到达的特定叶子节点的事实。能够使用不同的叶子预示变量。例如，在离散情况下，可以获得最大后验(MAP)估计为c*＝argmax_cp(c|v)。

基于上述决策树的构造原理，现在能够进入决策森林，也称为随机森林：

随机决策森林是一组随机训练的决策树。森林模型的关键方面在于其组成树彼此之间随机不同的事实。这导致个体树预测之间的去相关，转而，导致改进的泛化性和鲁棒性。

在有T棵树的森林中，使用变量

来索引每个组成树。独立训练(并且可能并行训练)所有树。在测试期间，将每个测试点v同时推入所有树(从根开始)，直到其到达相应的叶子。树测试通常也能够并行进行，因此在现代并行CPU或GPU硬件上实现高计算效率。可以通过简单的平均运算来将所有树预测合并到单个森林预测中。例如，在分类中：

其中p_t(c|v)表示通过第t棵树获得的后验分布。替代地，也可将树输出一起相乘(尽管树在统计上并非不是独立)：

用分区函数Z确保概率归一化。

在根据第一方面、第二方面和第三方面的方法的一个示例中，学习算法可以是卷积神经网络。在下文中，参考图1提供对卷积神经网络的解释，该卷积神经网络作为要与所公开的发明一起使用的机器学习算法的示例。

卷积网络(又称为卷积神经网络，或CNN)是用于处理具有已知网格状拓扑结构的数据的神经网络的示例。示例包含时间序列数据(其能够看作是以规则的时间间隔采样的一维栅格)和图像数据(其能够看作是像素的二维或三维栅格)。名称“卷积神经网络”指示该网络采用卷积的数学运算。卷积是线性运算。卷积网络是简单的神经网络，在其至少一层中使用卷积代替一般的矩阵乘法。卷积函数有多种变体，其在实践中广泛用于神经网络。通常，在卷积神经网络中使用的运算与其他领域(例如工程学或纯数学)中使用的卷积定义不精确对应。

卷积神经网络的主要部件是人工神经元。图1是描绘的单神经元的示例。中间的节点代表神经元，该神经元接受所有输入(x₁,…,x_n)，并将它们乘以它们的特定权重(w₁,…,w_n)。输入的重要性取决于其权重值。这些计算值的加法称为加权和，其将被插入到激活函数中。加权和z定义为：

偏置b是与输入无关的值，其修正阈值的边界。结果值由激活函数处理，该激活函数决定是否将输入传送到下一个神经元。

CNN通常以1阶或3阶张量作为其输入，例如，具有H行、W列和3个通道(R、G、B色彩通道)的图像。但是，CNN能够以类似的方式处理更高阶的张量输入。然后，输入继续经历一系列处理。一个处理步骤通常称为一层，其可为卷积层、池化层、归一化层、完全连接层、损失层等。在以下各节中描述这些层的详细信息。

上面的等式5阐明CNN在正向传递中逐层运行的方式。输入为x¹，通常是图像(1阶或3阶张量)。将第一层处理中涉及的参数统称为张量w¹。第一层的输出是x²，其也充当第二层处理的输入。继续进行此处理，直到完成CNN中所有层的处理为止，其输出x^L。但添加一层用于向后错误传播的附加层，这是一种在CNN中学习良好参数值的方法。假设当前的问题是C类的图像分类问题。常用的策略是将x^L作为C维向量输出，其第i个条目对预测进行编码(x¹的后验概率来自于第i类)。为了使x^L成为概率质量函数，能够将第(L-1)层中的处理设置为x^L-1的softmax变换(比较距离测度与数据变换节点)。在其他应用中，输出x^L可以具有其他形式和解释。最后一层是损失层。假设t是输入x¹的对应目标值(基本真值)，则能够使用成本或损失函数来测量CNN预测x^L与目标t之间的差异。应当指出，某些层可能没有任何参数，即，对于某些i，wⁱ可能为空。

在CNN的示例中，ReLu用作卷积层的激活函数，而softmax激活函数提供信息以给出分类输出。下述部分将说明最重要的层的目的。

将输入图像输入到包括卷积与ReLu的层的特征学习部分，随后是包括池化的层，其随后是卷积与ReLu的层以及池化的层的进一步成对重复。将特征学习部分的输出输入到分类部分，其包括用于平坦化、完全连接和最大柔化的层。

在卷积层中，通常使用多个卷积内核。假设使用D个内核，并且每个内核的空间跨度为H×W，则将所有内核表示为f。f是

中的4阶张量。类似地，使用索引变量0≤i＜H，0≤j＜W，0≤d^l＜D^l和0≤d＜D来确定内核中的特定元素。还应指出，内核集f与上面的符号w^L引用相同的对象。稍稍更改表示法，以简化推导过程。同样清楚的是，即使使用了迷你批处理策略，内核也保持不变。

只要卷积核大于1×1，输出的空间幅度就小于输入的空间幅度。有时需要输入和输出图像具有相同的高度和宽度，并且能够使用简单的填充技巧。

对于每个输入通道，如果在输入的第一行上方填充(即，插入)

行，在最后一行下方填充(即，插入)

行，并填充

列到第一列的左侧，填充

列到最后一列的右侧，卷积输出的尺寸将为H^l×W^l×D，即具有与输入相同的空间幅度。

是地板函数。填充的行和列的元素通常设置为0，但其他值也是可能的。

步幅是卷积中的另一个重要概念。内核在每个可能的空间幅度处与输入进行卷积，其对应于步幅s＝1。但是，如果s＞1，内核的每次运动跳过s-1个像素位置(即，在水平和垂直方向上每s个像素执行一次卷积)。

在本部分中，考虑步幅为1且不使用填充的简单情况。因此，在

中有y(或x^l+1)，其中H^l+1＝H^l-H+1，W^l+1＝W^l-W+1，并且D^l+1＝D。在精确数学中，卷积过程能够表示为等式：

对于所有0≤d≤D＝D^l+1，以及满足0≤i^l+1<H^l–H+1＝H^l+1、0≤j^l+1<W^l–W+1＝W^l+1的任何空间位置(i^l+1,j^l+1)重复等式(2)。在此等式中，

指的是由三元组(i^l+1+i,j^l ⁺¹+j,d^l)索引的x^l元素。通常将偏置项b_d加到

中。为了表述更加清楚，省略该术语。

池化函数用附近输出的汇总统计数据替换某一位置的网络输出。例如，最大池化运算报告表格的矩形邻域内的最大输出。其他流行的池化函数包含矩形邻域的平均值、矩形邻域的L₂范数，或基于到中心像素距离的加权平均值。在所有情况下，池化有助于使表示与输入的小平移相比近似不变。平移的不变性意味着如果对输入进行少量平移，池化输出的值也不会更改。

由于池化汇总整个邻域的响应，因此可以通过报告汇总统计数据来汇总间隔k个像素而不是一个像素的区域，来使用与检测器单元相比更少的池化单元。这提高了网络的计算效率，因为下一层要处理的输入大约少k倍。

假设已经学习CNN模型w¹,…,w^L-1的所有参数，则可使用该模型进行预测。预测仅涉及正向运行CNN模型，即，沿等式1中的箭头方向运行。以图像分类问题为例。从输入x¹开始，使其通过第一层(带有参数w¹的框)的处理，并得到x²。依次，将x²传递到第二层，依此类推。最后，接收

其估计x¹的后验概率属于C类。能够将CNN预测输出为：

此时的问题是：如何学习模型参数？

正如许多其他学习系统中，优化CNN模型的参数以最小化损失z，即，希望CNN模型的预测与基本事实标签相匹配。假设给出一个训练示例x¹来训练此类参数。训练过程涉及在两个方向上运行CNN网络。首先在正向传递中运行网络以获得x^L，以使用当前的CNN参数达成预测。代替输出预测，需要将预测与对应于x¹的目标t进行比较，即，继续运行正向传递直到最后一个损失层。最终，获得损失z。损失z则是监督信号，指导应如何修正(更新)模型的参数。

存在几种用于优化损失函数的算法，并且CNN不限于特定的算法。示例算法称为随机梯度下降(SGD)。这意味着通过使用来自训练示例的(通常)小子集估算的梯度来更新参数。

在等式4中，←符号隐式指示(i层的)参数wⁱ从时间t更新为t+1。如果显式使用时间索引t，则该等式将写为：

在等式4中，偏导数

衡量z相对于wⁱ的不同维度变化的增长率。这种偏导数向量在数学优化中称为梯度。因此，在wⁱ的当前值附近的小局部区域中，沿由梯度确定的方向移动wⁱ将增加目标值z。为了最小化损失函数，应沿梯度的相反方向更新wⁱ。此更新规则称为梯度下降。

但是，如果在负梯度方向上移动得太远，则损失函数可能会增加。因此，在每次更新中，仅通过负梯度(由η(学习率)控制)的一小部分更改参数。通常将η＞0设置为较小的数字(例如η＝0.001)。如果学习率不太高，则基于x¹的一次更新将使此特定训练示例的损失变小。但是，很有可能会使其他一些训练示例的损失变大。因此，需要使用所有训练示例来更新参数。当所有训练示例都已用于更新参数时，称为已经处理一个学习周期。通常一个学习周期将减少训练集的平均损失，直到学习系统拟合训练数据为止。因此，能够重复梯度下降更新学习周期，并在某个点终止，以获得CNN参数(例如，当验证集的平均损失增加时，能够终止)。

最后一层的偏导数易于计算。因为x^L在参数w^L的控制下直接连接到z，所以很容易计算

仅当w^L不为空时才需要执行此步骤。同样，也很容易计算

例如，如果使用平方的L₂损失，则

为空，并且

实际上，对于每一层，计算两组梯度：相对于层参数wⁱ的z的偏导数，以及该层的输入xⁱ。如等式4所示，术语

能够用于更新当前(第i层)的参数。术语

能够用于向后更新参数，例如，更新到第(i-1)层。直观的解释是：xⁱ是第(i-1)层的输出，而

是应如何更改xⁱ以减少损失函数的方法。因此，可以视为逐层将

视为从z向后传播到当前层的“错误”监管信息的一部分。因此，能够继续反向传播过程，并使用

将错误反向传播到第(i-1)层。这种逐层向后更新的程序能够大幅简化学习CNN。

以第i层为例。当更新第i层时，必须已经完成第(i+1)层的反向传播过程。即，已经计算出项

和

两者都存储在存储器中并可备使用。此时的任务是计算

和

使用链式规则，得出：

由于已经计算出

并将其存储在存储器中，因此只需要矩阵整形操作(vec)和额外的转置操作即可获得

其是两个等式右侧(RHS)中的第一项。只要能够计算

和

就能够轻松获得期望值(两个等式的左侧)。

和

要比直接计算

和

容易得多，因为xⁱ通过带有参数wⁱ的函数与xⁱ⁺¹直接相关。

在神经网络的上下文中，激活充当神经元输入和输出之间的转移函数。它们定义在哪种条件下激活节点，即将输入值映射到输出，该输出在隐藏层中又用作后续神经元的输入之一。存在大量具有不同特性的不同激活函数。

损失函数量化算法对给定数据的建模效果。为了从数据中学习并改变网络的权重，必须使损失函数最小化。通常，能够在回归损失和分类损失之间进行区分。在分类中，尝试预测从一组有限的分类值(分类标签)中预测输出，另一方面，在预测连续值时处理回归。

在以下数学公式中，以下参数定义为：

·n为训练示例数；

·i是数据集中的第i个训练示例；

·y_i是第i个训练示例的基本事实标签；

·

是第i个训练示例的预测。

分类问题最常见的设置是交叉熵损失。它随着预测概率与实际标签的偏离增加。实际预测概率的对数乘以基本事实类别。其重要方面是，交叉熵损失会严重惩罚有把握但有误的预测。数学公式能够描述为：

回归损失的典型示例是均方误差或L₂损失。顾名思义，均方误差是指预测值与实际观察值之间的平方差的平均值。其只涉及平均误差幅度，而与它们的方向无关。然而，由于平方，与偏差较小的预测相比，预测远离实际值会遭受严重的缺陷。另外，MSE具有良好的数学特性，使其更轻松地计算梯度。其公式如下：

有关卷积神经网络功能的信息请参阅下列文献：

I.Goodfellow、Y.Bengio和A.Courville所著的《Deep learning,chapterconvolutional networks》，2016年，请见http://www.deeplearningbook.org；

J.Wu所著的《Introduction to convolutional neural networks》，请见https://pdfs.semanticscholar.org/450c/a19932fcef1ca6d0442cbf52fec38fb9d1e5.p df；

《Common loss functions in machine learning》，请见https:// towardsdatascience.com/common-loss-functions-in-machine-learning- 46af0ffc4d23，最近访问时间：2019-08-22；

Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton所著的《Imagenetclassification with deep convolutional neural networks》，请见http:// papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional- neur al-networks.pdf；

S.Ren、K.He,R、Girshick和J.Sun所著的《Faster r-cnn:Towards real-timeobject detection with region proposal networks》，请见https://arxiv.org/pdf/ 1506.01497.pdf；

S.-E.Wei、V.Ramakrishna、T.Kanade和Y.Sheikh所著的《Convolutional posemachines》，请见https://arxiv.org/pdf/1602.00134.pdf；

Jonathan Long、Evan Shelhamer和Trevor Darrell《Fully convolutionalnetworks for semantic segmentation》，请见https://www.cv-foundation.org/ openaccess/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_ CVPR_paper.pdf。

在第四方面，本发明针对一种程序，当该程序在计算机上运行或加载到计算机上时，促使计算机执行根据第一至第三方面的方法的方法步骤，和/或一种存储有程序的(例如，非暂时性)程序存储介质，或一种存储有定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的体系架构的数据的程序存储介质，和/或一种携带上述程序的数据载体信号，和/或一种携带定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的体系架构的的数据的数据载体信号，和/或一种携带上述程序的数据流，和/或一种携带定义模型参数和已经通过执行根据第一方面的方法训练过的学习算法的体系架构的数据的数据流，和/或至少一台包括至少一个处理器和存储器的计算机，其中，上述程序在至少一个处理器上运行或加载到计算机的存储器中。

本发明可以替代地或附加地涉及携带代表程序、例如上述程序的信息的(例如以技术手段生成的物理性、例如电)信号波，例如数字信号波，诸如电磁载波，该程序例如包括适于执行根据第一方面的方法的任何或所有步骤的代码机构。在一个示例中，信号波是携带上述计算机程序的数据载体信号。存储在盘上的计算机程序是数据文件，当读取并传输该文件时，其变成例如(例如以技术手段生成的物理性、例如电)信号形式的数据流。该信号能够实施为信号波，例如本文描述的电磁载波。例如，将信号(例如信号波)构建为通过计算机网络(例如LAN、WLAN、WAN、移动网络(例如因特网))来传输。例如，将信号(例如信号波)构建为通过光学或声学数据传输来传输。因此，根据第二方面的本发明可以替代地或附加地涉及代表上述程序(即，包括该程序)的数据流。

在第五方面，本发明针对一种系统以确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示医学图像中的解剖结构的位置或类型的标签之间的关系的计算机实施的方法，包括：

a)一种计算机，其中，程序在计算机上运行或加载到计算机的存储器中，促使计算机执行根据第二或第三方面的方法的方法步骤；

b)至少一个电子数据存储设备，该电子数据存储设备存储个体患者图像数据，并且只要上述程序在所述至少一个处理器上运行或加载到计算机的存储器上时，促使计算机执行根据第三方面的方法，该电子数据存储设备存储附加数据、图谱数据、个体观察方向数据、个体解剖向量数据和附加数据；以及

c)根据第四方面的程序存储介质，

其中，至少一台计算机可操作地耦合到：

-至少一个电子数据存储设备，用于从至少一个电子数据存储设备中获取个体患者图像数据，并且只要上述程序在所述至少一个处理器上运行或加载到计算机的存储器上时，促使计算机执行根据第三方面的方法，从至少一个电子数据存储设备中获取附加数据、图谱数据、个体观察方向数据、个体解剖向量数据和附加数据，并且用于在至少一个电子数据存储设备中存储至少标签关系数据；以及

-程序存储介质，用于从程序存储介质中获取定义模型参数和学习算法的体系架构的数据。

例如，本发明不涉及或尤其不包括或包含侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，需要对身体采取专业医疗措施，而即使采取了必要的专业护理和措施，身体仍可能承受重大健康风险。

定义

本部分中提供了本公开中使用的特定术语的定义，它们也构成本公开的一部分。

根据本发明的方法例如是一种计算机实施的方法。例如，根据本发明的方法的全部步骤或仅一些步骤(即少于步骤总数)可以由计算机(例如，至少一个计算机)执行。由计算机实施的方法的实施例是计算机用来执行数据处理方法的用途。由计算机实施的方法的实施例是涉及计算机操作的方法，使得计算机被操作为执行该方法的一个、多个或全部步骤。

计算机例如包括至少一个处理器和例如至少一个存储器，以便(技术上)处理数据，例如电子地和/或光学地处理数据。处理器例如由半导体的物质或组合物制成，例如至少部分n型和/或p型掺杂半导体，例如II型、III型、IV型、V型、VI型半导体材料中的至少一种，例如(掺杂)砷化硅和/或砷化镓。所描述的计算步骤或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术方法的框架内(例如在程序的框架内)确定数据的步骤。计算机例如是任何类型的数据处理装置，例如电子数据处理装置。计算机可以是通常视为计算机的装置，例如台式个人电脑、笔记本电脑、上网本等，但也可以是任何可编程设备，例如移动电话或嵌入式处理器。计算机可以例如包括“子计算机”系统(网络)，其中每个子计算机代表其本身的计算机。术语“计算机”包括云计算机，例如云服务器。术语“计算机”包括服务器资源。术语“云计算机”包括云计算机系统，其例如包括至少一个云计算机的系统，并例如包括多个可操作式互连的云计算机，诸如服务器群。这种云计算机优选地连接到诸如万维网(WWW)的广域网，并位于全部连接到万维网的计算机的所谓的云中。这种基础设施用于“云计算”，其描述了不要求终端用户知道提供特定服务的计算机的物理位置和/或配置的那些计算、软件、数据访问和存储服务。例如，术语“云”就此用来隐喻因特网(万维网)。例如，云提供作为服务(IaaS)的计算基础设施。云计算机可以用作用于执行本发明方法的操作系统和/或数据处理应用的虚拟主机。云计算机例如是由亚马逊网络服务(Amazon WebServices^TM)提供的弹性计算云(EC2)。计算机例如包括接口，以便接收或输出数据和/或执行模数转换。该数据例如是表示物理属性和/或从技术信号生成的数据。技术信号例如通过(技术)检测装置(例如用于检测标记装置的装置)和/或(技术)分析装置(例如用于执行(医学)成像方法的装置)来生成，其中技术信号是例如电信号或光信号。技术信号例如表示由计算机接收或输出的数据。计算机优选可操作式耦合到显示装置，该显示装置允许将由计算机输出的信息显示给例如用户。显示装置的一个实例是虚拟现实装置或增强现实装置(又称为虚拟现实眼镜或增强现实眼镜)，其可以用作用于导航的“护目镜”。这种增强现实眼镜的具体实例是谷歌眼镜(Google Glass，Google,Inc.旗下的商标品牌)。增强现实装置或虚拟现实装置既可用于通过用户交互将信息输入到计算机中，又可用于显示由计算机输出的信息。显示装置的另一实例是例如包括液晶显示器的标准计算机监视器，该液晶显示器可操作式连接到用于从用于生成信号的计算机接收显示控制数据的计算机，该信号用于在显示装置上显示图像信息内容。这种计算机监视器的具体实施例是数字灯箱。这种数字灯箱的实例是Brainlab AG的产品

监视器也可以是例如手持式的便携式装置，诸如智能电话或个人数字助理或数字媒体播放器。

本发明还涉及一种计算机程序，其包括指令，当在计算机上执行该程序时，促使计算机执行一种或多种方法，例如本文所述的一种或多种方法，和/或涉及一一种存储有该程序的计算机可读存储介质(例如，非暂时性计算机可读存储介质)，和/或一种包括上述程序存储介质的计算机，和/或一种带表示该程序(例如是上述程序)的信息的(物理性、例如电性、例如技术性生成的)信号波，例如数字信号波，诸如电磁载波，该程序例如包括适于执行本文所述的任意或全部的方法步骤的代码机构。在一个示例中，信号波是承载上述计算机程序的数据载体信号。本发明还涉及一种计算机，该计算机包括至少一个处理器和/或上述计算机可读存储介质以及例如存储器，其中，该程序由处理器执行。

在本发明的框架内，计算机程序单元可以通过硬件和/或软件(这包括固件、驻留软件、微代码等)来体现。在本发明的框架内，计算机程序单元可以采取计算机程序产品的形式，该计算机程序产品可以通过计算机可用、例如计算机可读的数据存储介质来实现，该数据存储介质包括计算机可用、例如计算机可读的程序指令，在所述数据存储介质中体现的“代码”或“计算机程序”用于在指令执行系统上或与指令执行系统结合使用。这种系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序单元和/或程序的机构的数据处理装置，例如包括执行计算机程序单元的数字处理器(中央处理单元或CPU)的数据处理装置，以及可选地包括用于存储用于执行计算机程序单元和/或通过执行计算机程序单元生成的数据的易失性存储器(例如随机存取存储器或RAM)的数据处理装置。在本发明的框架内，计算机可用、例如计算机可读的数据存储介质可以是任何数据存储介质，其可以包含、存储、通信、传播或传输那些指令执行系统、设备或装置上使用或与之结合使用的程序。计算机可用、例如计算机可读的数据存储介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置，或者是诸如因特网的传播介质。计算机可用或计算机可读的数据存储介质甚至可以是例如可打印所述程序的纸张或其他合适介质，因为程序可以通过电子方式捕获，例如通过光学扫描该纸张或其他合适介质，然后再编译、解码或以适当方式另行处理。数据存储介质优选为非易失性数据存储介质。本文所述的计算机程序产品和任何软件和/或硬件形成用于在示例实施例中执行本发明的功能的各种机构。计算机和/或数据处理装置可以例如包括指导信息装置，该指导信息装置包括用于输出指导信息的机构。指导信息可以例如在视觉上通过视觉指示机构(例如，监视器和/或灯)和/或在听觉上通过听觉指示机构(例如，扬声器和/或数字语音输出装置)和/或在触觉上通过触觉指示机构(例如，振动元件或并入仪器中的振动元件)输出给用户。出于本文件的目的，计算机是技术计算机，该技术计算机例如包括诸如有形组件、例如机械组件和/或电子组件的技术组件。本文件中提及的任何装置都是技术装置并例如是有形装置。

表述“获取数据”例如包含(在所述计算机实施的方法的框架内)由计算机实施的方法或程序确定数据的场景。确定数据例如包含测量物理量并将所测得的值变换成数据，例如数字数据，和/或借助于计算机并例如在根据本发明的方法的框架内计算(例如输出)该数据。如本文所述的“确定”步骤例如包括发出执行本文所述的确定的命令或由其组成。例如，该步骤包括发出促使计算机(例如远程计算机、例如远程服务器、例如云中)执行确定的命令或由其组成。替选地或附加地，本文所述的“确定”步骤例如包括以下步骤或由其组成：接收由本文所述的确定的结果数据，例如从远程计算机(例如从促使其执行确定的远程计算机)接收结果数据。“获取数据”的含义还例如包含以下场景：通过(例如输入)由计算机实施的方法或程序例如从另一程序、先前的方法步骤或数据存储介质接收或检索数据，例如用于通过由计算机实施的方法或程序进行进一步处理。待获取数据的生成可以但不必是根据本发明的方法的一部分。因此，表述“获取数据”还可以例如表示等待接收数据和/或接收数据。所接收的数据可以例如经由接口来输入。表述“获取数据”还可以表示由计算机实施的方法或程序执行一些步骤以便(主动地)从譬如数据存储介质(例如ROM、RAM、数据库、硬盘驱动器等)的数据源或经由接口(譬如从另一个计算机或网络)接收或检索数据。分别通过本公开的方法或装置获取的数据可从位于数据存储装置中的数据库获取，该数据存储装置可操作式连接到计算机以便进行数据库与计算机之间的数据传输，例如从数据库到计算机的数据传输。计算机获取数据以用作“确定数据”步骤的输入。所确定的数据可以再输出到相同的或另一个数据库以便存储以供后续使用。该数据库或用于实施本公开方法的数据库可以位于网络数据存储装置或网络服务器(例如，云数据存储装置或云服务器)或本地数据存储装置(例如可操作式连接到至少一个执行本公开方法的计算机的大容量存储装置)。数据可以通过在获取步骤之前执行附加步骤的方式来实现“就绪”状态。根据这个附加步骤，生成数据以供获取。例如，检测或捕获数据(例如，通过分析装置)。替选地或附加地，根据附加步骤，譬如经由接口，输入数据。例如可以输入所生成的数据(譬如，输入到计算机中)。根据附加步骤(其在获取步骤之前进行)，也可以通过执行将数据存储于数据存储介质(例如ROM、RAM、CD和/或硬盘驱动器)的附加步骤来提供数据，从而在根据本发明的方法或程序的框架内，使数据就绪。因此，“获取数据”的步骤还可以涉及命令装置获取和/或提供待获取的数据。特别地，获取步骤不涉及侵入性步骤，该侵入性步骤代表对身体的实质性物理干扰，要求采取专业医疗措施，即使执行时采取了所要求的专业护理和措施，身体也可能承受重大健康风险。特别地，获取数据的步骤，例如确定数据，不涉及外科手术步骤，特别是不涉及利用外科手术或疗法来治疗人体或动物躯体的步骤。为了区分本方法使用的不同数据，将数据表示为(即称为)“XY数据”等，并根据它们描述的信息来定义，然后优选地将其称为“XY信息”等。

标记器的功能是由标记器检测装置(例如，相机或超声接收器，或诸如CT或MRI装置的分析装置)以能够确定该标记器的空间位置(即其空间位置和/或对准)方式来检测。该检测装置例如是基于计算机的导航系统的一部分，并且可以是立体定向相机，该立体定向相机对预定波长范围内的电磁波敏感，该预定波长范围诸如是红外波长范围，或任何能被用于辐射标记器并能被标记器反射的其他波长范围。标记器可以是有源标记器。有源标记器可以例如发射电磁辐射和/或处于红外、可见和/或紫外光谱范围内的波。然而，标记器也可以是无源的，即例如可以反射处于红外、可见和/或紫外光谱范围内的电磁辐射，或者可以阻挡X射线辐射。为此，标记器可以设置有具有相应反射特性的表面，或者可以由金属制成以便阻挡X射线辐射。标记器还可以反射和/或发射电磁辐射和/或处于射频范围内或在超声波波长处的波。标记器优选具有球形和/或球状体形状，并且因此可以称为标记器球体；然而，标记器也可以呈现有角的(例如立方体的)形状。

标记器装置例如可以是参考星或指针或单一标记器，或多个(单独的)标记器，然后这多个标记器优选地处于预定的空间关系中。标记器装置包括一个、两个、三个或更多个标记器，其中两个或更多个这样的标记器处于预定的空间关系中。这种预定空间关系例如对于导航系统是已知的，并且例如存储在导航系统的计算机中。

在另一实施例中，标记器装置包括例如在二维表面上的光学图案。光学图案可以包括多个几何形状，像圆形、矩形和/或三角形。光学图案可以在由相机捕获的图像中被识别，并且可以根据图像中的图案大小、图像中的图案取向以及图像中的图案失真，来确定标记器装置相对于相机的位置。这允许根据单一的二维图像来确定在多达三个旋转维度和多达三个平移维度中的相对位置。

可以例如通过医学导航系统来确定标记器装置的位置。如果标记器装置附着到诸如骨或医疗器械的对象上，则可以根据标记器装置的位置以及标记器装置与物体之间的相对位置来确定对象的位置。确定这个相对位置也称为配准标记器装置和对象。标记器装置或对象可以被跟踪，这意味着标记器装置或对象的位置随着时间被确定两次或更多次。

优选地，获取描述(例如定义，更特别地表示和/或作为)身体解剖部位的大体三维形状的图谱数据。因此，图谱数据表示身体解剖部位的图谱。图谱通常由多个对象通用模型组成，其中这些对象通用模型一起形成复合结构。例如，图谱构成了患者身体(例如身体的一部分)的统计模型，该统计模型已经根据从多个人体收集的解剖信息来生成，例如根据包含了这些人体的图像的医学图像数据来生成。因此，原则上，图谱数据表示多个人体的这种医学图像数据的统计分析结果。这个结果可以作为图像输出——因此图谱数据包含或相当于医学图像数据。这种比较可以例如通过应用图像融合算法来执行，其中该图像融合算法在图谱数据与医学图像数据之间进行图像融合。比较结果可以是在图谱数据与医学图像数据之间的相似性度量。图谱数据包括图像信息(例如位置图像信息)，该图像信息可以与例如包含在医学图像数据中的图像信息(例如位置图像信息)相匹配(例如通过应用弹性或刚性图像融合算法)，以使得例如将图谱数据与医学图像数据进行比较，以便确定医学图像数据中对应于由图谱数据限定的解剖结构的解剖结构的位置。

多个人体(其解剖结构用作生成图谱数据的输入)有利地共享共同特征，诸如性别、年龄、种族、身体测量值(例如身高和/或体重)以及病理状态中的至少一个。解剖信息描述例如人体解剖结构，并且例如从关于人体的医学图像信息中提取。例如，股骨的图谱可以包括股骨头、股骨颈、身体、股骨大转子、股骨小转子以及下肢，来作为一起构成了完整结构的对象。例如，脑部的图谱可以包括端脑、小脑、间脑、脑桥、中脑以及延髓，来作为一起构成复杂结构的对象。这种图谱的一个应用是在医学图像分割中的，其中图谱与医学图像数据相匹配，并且将图像数据与所匹配的图谱进行比较，以便将图像数据的点(像素或体素)分配给所匹配的图谱的对象，从而将图像数据分割成对象。

例如，图谱数据包括身体解剖部位的信息。该信息例如是患者特定、非患者特定、适应症特定或非适应症特定中的至少一种。因此，图谱数据描述例如患者特定、非患者特定、适应症特定或非适应症特定图谱中的至少一种。例如，图谱数据包括指示身体解剖部位相对于给定基准(例如，另一身体解剖部位)的移动自由度的移动信息。例如，图谱是多模式图谱，其定义多个(即至少两个)成像模式的图谱信息，并包含不同成像模式下的图谱信息之间的映射(例如全部模态之间的映射)，使得这些图谱可用于将医学图像信息从其在第一成像模式下的图像描绘变换为其在不同于第一成像模式的第二成像模式下的图像描绘，或者将不同的成像模式相互比较(例如匹配或配准)。

在医学领域中，使用成像方法(也称为成像模式和/或医学成像模式)来生成人体解剖结构(例如软组织、骨骼、器官等)的图像数据(例如二维或三维图像数据)。术语“医学成像方法”应理解为意指(有利地基于设备的)成像方法(例如所谓的医学成像模式和/或放射成像方法)，例如计算机断层摄影(CT)和锥形束计算机断层摄影(cone beam computedtomography，CBCT，诸如体积CBCT)，x射线断层摄影、磁共振断层摄影(MRT或MRI)、常规x射线、超声波核查和/或超声波核查以及正电子发射断层断层摄影。例如，医学成像方法由分析装置执行。通过医学成像方法应用的医学成像模式的实例是：X射线放射照相术、磁共振成像、医学超声或超声、内窥镜检查、弹性成像、触觉成像、热成像、医学摄影和核医学功能成像技术如正电子发射断层摄影(positron emission tomography，PET)和单光子发射计算机断层摄影(Single-photon emission computed tomography，SPECT)。由此生成的图像数据又称为“医学成像数据”。分析装置例如用于在基于设备的成像方法中生成图像数据。成像方法例如用于分析身体解剖结构的医学诊断，以生成由图像数据描述的图像。成像方法还例如用于检测人体中的病理变化。然而，解剖结构中的一些变化，例如结构(组织)中的病理变化，可能无法检测到，并例如在通过成像方法生成的图像中可能是不可见。肿瘤表示解剖结构中变化的实例。如果肿瘤生长，则可认为其表示扩张的解剖结构。这种扩张的解剖结构可能无法检测到，例如，只有扩张解剖结构的一部分才能被检测到。例如，当使用造影剂渗入肿瘤时，早期/晚期脑部肿瘤通常在MRI扫描中可见。MRI扫描表示成像方法的一种实例。在对这类脑肿瘤进行MRI扫描的情形下，认为MRI图像中的信号增强(因造影剂渗入肿瘤而导致)代表了固体肿瘤块。因此，肿瘤可检测到，并例如在通过成像方法生成的图像中可辨别出。除了称为“增强”肿瘤的这些肿瘤之外，认为大约10％的脑肿瘤在扫描中无法辨别，并例如对于观察通过成像方法生成的图像的用户不可见。

附图说明

在下文中，参照附图对本发明予以描述，这些附图给予本发明的背景说明并表示本发明的具体实施例。但本发明的范围不限于在附图的上下文中公开的具体特征，其中：

图1示出神经网络的神经元；

图2示出根据第一方面的方法的基本流程；

图3示出根据第二方面的方法的基本流程；

图4示出根据第三方面的方法的基本流程；

图5示出根据第一至第三方面的方法的应用；以及

图6是根据第五方面的系统的示意图。

具体实施方式

图1阐明作为神经网络(例如卷积神经网络)一部分的神经元的结构，其中为输入分配了一定的权重，以通过生成神经元的输出的激活函数进行处理。

图2描述根据第一方面的方法的基本流程，该基本流程从步骤S21开始，获取患者训练图像数据，继续到步骤S22，该步骤包含获取图谱数据，然后在步骤S23中继续获取观察方向数据。在此基础上，步骤S24计算解剖向量数据，随后在步骤S25中获取标签数据。最后，在步骤S26中确定解剖指标数据。

图3示出根据第二方面的方法的基本步骤，其中步骤S31包含获取个体患者图像数据，并且步骤32确定标签关系数据。

图4示出根据第三方面的方法的基本步骤，其中步骤S41包含获取个体患者图像数据，并且步骤42获取图谱数据。随后的步骤43获取个体观察方向数据，随后在步骤S44中确定个体解剖向量数据。在步骤S45中获取附加数据。然后，步骤S46确定标签关系数据。

图5给出根据第一到第三方面的方法的应用的概述。经由图谱1与患者空间4之间的配准5(使用例如3D断层图像数据作为特定患者的计划数据并弹性配准到图谱)并经由患者空间4与跟踪成像设备6之间的配准1将通用患者模型(图谱)1和跟踪成像设备6配准到患者空间4。配准5和13能够组合为图谱1与跟踪成像设备6之间的配准14。跟踪成像设备6生成医学图像7，并为这些图像生成8标签9，例如根据图谱1或手动地生成。通过配准14确定解剖向量，该配准14是基于5和13以及跟踪成像设备6的已知观察方向。

在学习期间，将医学图像7输入15到学习算法12中。将使用图谱1确定的解剖向量输入2到学习算法12中。将标签9输入10到学习算法12中。可选地，将图谱1输入3到学习算法12中。由此，在学习期间，基于输入2、10、15以及可选地3，来确定标签9与由医学图像7所描绘的解剖结构之间的关系。

在测试或使用学习算法期间，将医学图像7输入15到学习算法12中。将使用图谱1确定的解剖向量输入2到学习算法12中。可选地，将图谱1输入3到学习算法12中。由学习算法基于输入2和15以及可选地基于3来确定11标签9。

图6是根据第五方面的医疗系统61的示意图。该系统整体上标有附图标记61，并且包括计算机62，用于存储至少由根据第五方面的系统存储的数据的电子数据存储设备(例如硬盘)63。医疗系统1的组件具有上文关于本公开的第五方面说明的功能和特性。

Claims

1.一种训练学习算法以确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示所述医学图像中的所述解剖结构的位置或类型的标签之间的关系的计算机实施的方法，所述方法包括以下步骤：

a)获取患者训练图像数据(S21)，所述患者训练图像数据描述多个患者的解剖结构的数字医学图像；

b)获取图谱数据(S22)，所述图谱数据描述包含所述解剖结构的身体解剖部位的基于图像的模型；

c)获取观察方向数据(S23)，所述观察方向数据描述在使用成像设备生成所述医学图像的时间点，所述成像设备朝向所述解剖结构的所述观察方向；

d)基于所述观察方向数据和所述图谱数据确定解剖向量数据(S24)，其中，所述解剖向量数据描述解剖向量，所述解剖向量是将所述观察方向变换为参考系的结果，在所述参考系中定义所述基于图像的模型的位置；

e)获取标签数据(S25)，所述标签数据描述标签，所述标签描述所述基于图像的模型中的所述解剖结构的位置或类型；以及

f)基于所述患者图像数据以及所述解剖向量数据和所述标签数据确定解剖指标数据(S26)，其中，所述解剖指标数据描述用于建立由所述医学图像描述的解剖结构的位置或类型与所述标签之间的所述关系的学习算法的模型参数，其中，通过将所述患者训练图像数据和所述标签数据输入到建立所述关系的函数中，来确定所述解剖指标数据。

2.根据前一项权利要求所述的方法，其中，所述医学图像是诸如显微图像的二维图像，例如是用显微镜拍摄的视频的一部分，其中，所述成像设备例如是显微镜，或用配备有数码相机的内窥镜，或配置为产生二维投影图像的X射线设备。

3.根据前述权利要求中任一项所述的方法，其中，通过将已经基于所述图谱数据和所述解剖向量数据确定的所述图谱数据的子集额外输入到建立所述关系的函数中，来确定所述解剖指标数据，所述子集例如是实子集。

4.根据前述权利要求中任一项所述的方法，包括以下步骤：

获取附加数据，所述附加数据作为所述解剖向量的函数；以及

通过将所述附加数据额外输入到建立所述关系的函数中，来确定所述解剖指标数据。

5.根据前述权利要求中任一项所述的方法，其中，所述附加数据包括所述解剖向量数据或由所述解剖向量数据组成。

6.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括机器学习算法或由所述机器学习算法组成。

7.根据前述权利要求中任一项所述的方法，其中，所述学习算法包括卷积神经网络或由所述卷积神经网络组成。

8.根据前述权利要求中任一项所述的方法，其中，所述模型参数定义所述学习算法的可学习参数，例如权重。

9.一种确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示所述医学图像中的所述解剖结构的位置或类型的标签之间的关系的计算机实施的方法，所述方法包括以下步骤：

a)获取个体患者图像数据(S31)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；以及

b)确定标签关系数据(S32)，所述标签关系数据描述所述标签与所述个体医学图像中的所述解剖结构之间的关系，其中，通过将所述个体患者图像数据输入到建立由所述个体医学图像描述的所述解剖结构与所述标签之间的关系的函数中，来确定所述标签关系数据，所述函数是已经通过执行根据权利要求1至2或从属于权利要求1至2中任一项的权利要求6至8中任一项所述的方法训练的学习算法的一部分。

10.一种确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示所述医学图像中的解剖结构的位置或类型的标签之间的关系的计算机实施的方法，所述方法包括以下步骤：

a)获取个体患者图像数据(S41)，所述个体患者图像数据描述个体患者的解剖结构的数字个体医学图像；

b)获取图谱数据(S42)，所述图谱数据描述包含所述解剖结构的身体解剖部位的基于图像的模型；

c)获取个体观察方向数据(S43)，所述个体观察数据描述在使用成像设备生成所述个体医学图像的时间点，所述成像设备朝向所述解剖结构的观察方向；

d)基于所述个体观察方向数据和所述图谱数据确定个体解剖向量数据(S44)，其中，所述解剖向量数据描述解剖向量，所述解剖向量是将所述观察方向变换为参考系的结果，在所述参考系中定义所述基于图像的模型的位置；

e)获取附加数据(S45)，所述附加数据作为个体解剖向量的函数；以及

f)确定标签关系数据(S46)，所述标签关系数据描述标签与由所述个体医学图像描述的解剖结构之间的关系，其中，通过将所述个体患者图像数据和所述附加数据输入到建立所述个体医学图像中的解剖结构的位置或类型与所述标签的关系的函数中，来确定所述标签关系数据，所述函数是已经通过执行根据权利要求4或从属于权利要求1的权利要求6至8中任一项所述的方法训练的学习算法的一部分，其中，用于生成所获取的附加数据的解剖向量的函数与用于生成输入到建立用于确定所述解剖指标数据的关系的函数的所述附加数据的解剖向量的函数相同。

11.根据前述权利要求所述的方法，其中，

所述附加数据包括所述个体解剖向量数据或由所述个体解剖向量数据组成，以及

所述学习算法已经通过额外执行根据权利要求5或从属于权利要求5的权利要求6至8中任一项所述的方法来训练。

12.根据权利要求9或11所述的方法，其中，

通过将所述图谱数据的子集额外输入到建立由所述个体医学图像描述的所述解剖结构与所述标签之间的关系的函数中，来基于所述图谱数据额外确定所述标签关系数据，以及

所述学习算法已经通过额外执行根据权利要求3或从属于权利要求3的权利要求6至8中任一项所述的方法来训练。

13.根据前述权利要求中任一项所述的方法，其中，所述个体医学图像是诸如显微图像的二维图像，例如用显微镜拍摄的视频的一部分，其中，所述成像设备例如是显微镜。

14.根据前述五个权利要求中任一项所述的方法，其中，预定、例如已知并且例如通过所述方法获取用于生成所述个体患者图像数据的所述成像设备、例如显微镜与所述个体解剖向量数据之间的相对位置。

15.根据前述六项权利要求中任一项所述的方法，其中，所述学习算法包括机器学习算法或由所述机器学习算法组成。

16.根据前述七项权利要求中任一项所述的方法，其中，所述学习算法包括卷积神经网络或由所述卷积神经网络组成，所述学习算法是所述计算模型的一部分。

17.根据前述八项权利要求中任一项所述的方法，其中，所述模型参数定义所述学习算法的可学习参数，例如权重。

18.一种程序，所述程序当在计算机(62)上运行时或加载到计算机(62)上时，促使所述计算机(62)执行根据前述权利要求中任一项所述的方法的方法步骤，和/或一种存储有所述程序的程序存储介质，或一种存储有定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的体系架构的数据的程序存储介质，和/或一种携带上述程序的数据载体信号，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的体系架构的数据的数据载体信号，和/或一种携带上述程序的数据流，和/或一种携带定义所述模型参数和已经通过执行根据权利要求1至8中任一项所述的方法训练过的学习算法的所述体系架构的数据的数据流，和/或至少一台包括至少一个处理器和存储器的计算机(62)，其中，所述上述程序在所述至少一个处理器上运行或加载到所述计算机(62)的存储器中。

19.一种确定一方面指示医学图像中的解剖结构的位置或类型与另一方面指示所述医学图像中的解剖结构的位置或类型的标签之间的关系的系统(61)，包括：

a)计算机(62)，其中，所述程序当在计算机(62)上运行时或加载到计算机(62)的存储器上时，促使所述计算机(62)执行根据前述权利要求9至17中任一项所述的方法的方法步骤；

b)至少一个电子数据存储设备(63)，所述电子数据存储设备(63)存储个体患者图像数据，并且只要所述程序在所述至少一个处理器上运行或加载到所述计算机(62)的存储器上时，促使所述计算机执行根据权利要求10所述的方法，所述电子数据存储设备(63)存储所述附加数据、所述图谱数据、所述个体观察方向数据、所述个体解剖向量数据和所述附加数据；以及

c)根据前述权利要求所述的程序存储介质，

其中，至少一台计算机(62)可操作地耦合到

-至少一个电子数据存储设备(63)，用于从所述至少一个电子数据存储设备(63)中获取所述个体患者图像数据，并且只要所述程序在所述至少一个处理器上运行或加载到所述计算机(62)的存储器上时，促使所述计算机执行根据权利要求10所述的方法，从所述至少一个电子数据存储设备(63)中获取所述附加数据、所述图谱数据、所述个体观察方向数据、所述个体解剖向量数据和所述附加数据，并且用于在所述至少一个电子数据存储设备(63)中存储至少所述标签关系数据；以及

-所述程序存储介质，用于从所述程序存储介质中获取定义所述模型参数和所述学习算法的所述体系架构的所述数据。