CN114341872A

CN114341872A - 促进分类模型的可解释性

Info

Publication number: CN114341872A
Application number: CN202080060327.1A
Authority: CN
Inventors: N·佩佐蒂; J·L·库斯特拉
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2019-08-29
Filing date: 2020-08-31
Publication date: 2022-04-12
Also published as: EP3786856A1; EP4022528A1; US20220285024A1; JP2022546681A; WO2021038096A1

Abstract

提供了一种用于生成应用于临床数据的分类模型的分类不确定性的可视化的系统和计算机实现的方法，其中，所述可视化在较低维空间中被提供，该较低维空间通过将非线性并且流形保持的降维技术应用于临床数据的特征向量而被获取。可视化技术依据不依赖于分类模型的内部参数而将分类模型认为是“黑盒”。

Description

促进分类模型的可解释性

技术领域

本发明涉及一种诸如临床决策支持系统的系统，其被配置为将分类模型应用于诸如患者数据的临床数据，并且涉及一种用于将分类模型应用于临床数据的计算机实现的方法。本发明还涉及包括用于使处理器系统执行该方法的指令的计算机可读介质。

背景技术

临床决策支持系统越来越多地用于临床实践中，例如当确定急诊室发病的优先次序时或当预测给定患者的治疗结果时。这样的临床决策支持系统的输入通常是诸如患者数据的临床数据。临床决策支持系统可以被配置为从临床数据推断临床相关信息。为此目的，临床决策支持系统可以将分类模型应用于临床数据，该分类模型可以提供临床数据的分类，并且由此可以实现临床决策过程的至少一部分。分类模型在许多情况下可以是经机器学习的(“经训练的”)分类模型，诸如经训练的神经网络、支持向量机(SVN)模型等。由于这样类型的临床决策支持系统不再由专家完全定义，因此它们也被称为“数据驱动的”。

在这样数据驱动的临床决策支持系统的设计中，关注的是向决策实体(例如医生)提供对分类模型所提供的临床决策支持信息的信任，例如通过向医生提供对该临床信息如何被计算的理解以建立对临床信息的足够信任。

在数据驱动的临床决策支持系统中的另一个挑战是可以例如通过重新训练分类模型来添加新数据，在这种情况下，医生可能希望不仅在技术度量方面而且在分类模型的决策过程如何受到新数据的影响方面理解这如何影响分类模型的性能。例如，虽然模型准确性可能保持稳定，但是利用新数据重新训练之后的新决策过程可能是误导性的。典型的示例可以是经典的“安斯库姆四重奏”，其中，所有数据集显示相同的统计信息，但是实际上，数据分布明显不同。

使决策过程透明的困难与分类模型通常类似于不透明黑盒有关，在不透明黑盒中，用户仅能够获取对模型的输入、输出和模型的技术特性(诸如准确性或召回或诸如接收器操作特性(ROC)的其他度量)的了解。然而，通常对模型的内部决策过程的了解未被提供。这通常是由于模型的复杂性和多维方面导致的，它们难以被人类解释。已经提出了不同的方法来克服这个问题，诸如提供特征关系的视觉图的贝叶斯网络，或者允许用户以人类可解释的方式解释数据的数据可视化方法。然而，这些技术通常专用于一种类型的分类模型，并且不能被泛化到不同类型的分类模型。这严重限制了这样的技术的适用性。

发明内容

可能希望能够以更模型不可知的方式促进分类模型的决策过程的可解释性。

根据本发明的第一方面，提供了一种被配置为将分类模型应用于临床数据的系统。

该系统包括：

数据接口，用于访问：

-临床数据，包括数据实例，该数据实例各自能表示为多维特征空间中的特征向量；

-分类模型，被配置为应用于特征向量，以提供相应数据实例的分类；

处理器子系统，被配置为：

-将非线性并且流形保持的降维技术应用于特征向量中的子集或所有特征向量，以获取较低维空间中的多个临床数据点；

-通过将插值技术应用于临床数据点的特征向量，在较低维空间中创建合成数据点以及确定合成数据点的特征向量，从而获取合成临床数据点中的每个合成临床数据点的插值特征向量(interpolated feature vector)；

-针对每个合成临床数据点：

将分类模型应用于相应的插值特征向量，以获取所述合成临床数据点的分类，以及

确定该分类的分类不确定性；以及

-生成用于向用户显示的较低维空间的可视化，其中该可视化包括与所述合成临床数据点在视觉上相关的分类不确定性的可视化。

根据本发明的另一方面，提供了一种用于将分类模型应用于临床数据的计算机实现的方法。

该方法包括：

访问：

-分类模型，被配置为应用于所述特征向量，以提供相应数据实例的分类；

将非线性并且流形保持的降维技术应用于特征向量中的子集或所有特征向量，以获取较低维空间中的多个临床数据点；

通过将插值技术应用于临床数据点的特征向量，在较低维空间中创建合成数据点以及确定所述合成数据点的特征向量，从而获取合成临床数据点中的每个合成临床数据点的插值特征向量；

针对每个合成临床数据点：

将分类模型应用于相应的插值特征向量，以获取合成临床数据点的分类，

确定该分类的分类不确定性；以及

-生成用于向用户显示的较低维空间的可视化，其中该可视化包括与合成临床数据点在视觉上相关的分类不确定性的可视化。

根据本发明的另一方面，提供了一种包括表示计算机程序的瞬态或非瞬态数据的计算机可读介质，该计算机程序包括用于使处理器系统执行该计算机实现的方法的指令。

上述措施涉及访问临床数据，该临床数据可以包括多个数据实例，该多个数据实例各自能表示为多维特征空间中的特征向量。例如，这样的临床数据可以是患者数据，并且每个数据实例可以涉及不同的患者。在该示例中，特定患者的临床数据可以形成多维特征空间中的特征向量。例如，如果特定的数据实例包含33个值，例如性别、体重、身高、血型等，则该数据实例可以可表示为33维特征空间中的数据点，其中，数据点的坐标表示特征的值，例如‘F’、‘60kg’、‘170cm’、‘O－负’。这样的作为特征向量的数据表示本身在数据分类中是已知的。

此外，可以访问分类模型，例如以分类模型的数据表示的形式(例如作为分类模型数据)。可以是诸如神经网络、SVN等的经机器学习的分类模型的分类模型可以被配置为应用于特征向量，以提供相应数据实例的分类。这样的分类通常可以是推断，例如预测(例如临床诊断的预测)，并且可以在临床决策支持的情境中构成可以支持用户决策的临床决策支持信息。

上述措施还涉及将非线性并且流形保持的降维技术应用于特征向量中的子集或所有特征向量，以获取较低维空间中的多个临床数据点。这样的非线性并且流形保持的降维技术本身是已知的，并且是基于流形假设的，该假设声明(高维)数据通常至少粗略地位于较低维流形上，这也是各种基于机器学习的技术中的底层假设。这样的非线性并且流形保持的降维技术的非限制性示例是t分布随机邻居嵌入(t-SNE)算法。作为应用该技术的结果，相应临床数据点在较低维空间中被获取。这里，‘较低维’指的是比原始多维特征空间的维数低的维数，并且在一些情况下低得多。在一些示例中，降维技术可以是非线性或流形保持的降维技术。合适的技术的其他示例包括但不限于UMAP、ISOMAP、HSNE和A-tSNE，它们各自本身在多维数据的降维领域中是已知的。

作为上述的结果，也可以被称为‘嵌入空间’的较低维空间现在可以包含各自具有相关联的较高维特征向量的临床数据点。可以通过将插值技术应用于临床数据点的特征向量来获取针对较低维空间中的其他数据点的特征向量。例如，这样的插值技术可以涉及将加权平均应用于‘其他’数据点的邻域中的临床数据点的特征向量，其中，权重与到较低维空间中的相应临床数据点的距离成反比。

作为结果，合成临床数据点可以在较低维空间中被获取，参照较低维空间中已经针对其以上述方式确定了插值特征向量的坐标。针对这些合成临床数据点中的每个合成临床数据点，可以通过将分类模型应用于相应的插值特征向量来获取分类，并且分类的分类不确定性可以被确定。这样的分类不确定性可以以各种已知的方式来确定，并且如在别处所述的，通常可以取决于分类模型的类型。

上述措施是基于这样的认识：非线性并且流形保持的降维技术允许以较低维的方式表示特征空间，其中，将临床数据中的变化保持到至少实质性大的程度。这样的较低维空间比较高维特征空间更容易被人类观察者解释。例如，如果临床数据的分类被绘制在这样的较低维空间中，例如，作为覆盖每个临床数据点的不同视觉表示，则用户可以比在原始较高维特征空间中更容易地看到由分类模型进行的分类中的决策边界。

然而，已经被用作降维技术的输入的临床数据可以产生在较低维空间上非均匀和/或稀疏分布的临床数据点。

获取关于分类模型的性能在较低维空间的其他区域中的视觉反馈可能也是感兴趣的，例如在不包含任何或足够数目的原始临床数据点的区域中，这是因为分类模型可以稍后被应用于对应的临床数据点位于较低维空间的这样的区域中的临床数据。这通过生成上述合成临床数据点来解决，合成临床数据点例如可以在较低维空间中的规则网格中被确定，并且通常在较低维空间中提供更多的数据点，并且从而增加较低维空间中的数据点的密度。这样的增加的密度可以极大地改进视觉反馈的可解释性，特别是如果原始临床数据点仅是稀疏分布的话。

然后，可以将较低维空间可视化为例如在2D或3D空间的情况下的2D或3D图像，并且与合成临床数据点的插值特征向量相关联的分类不确定性可以与合成数据点在视觉上相关地被可视化。例如，表示合成数据点的像素或体元可以被指派表示不确定性的饱和度或强度。在一些实施例中，可以可视化所有临床数据点(即，原始的和合成的)的分类不确定性。

有利地，可以向用户示出较低维空间上的分类不确定性，其可以指示不确定性特别高(或确定性特别低)的区域。这可以指示例如通过参数调谐或其他方式来调整分类模型的需要，或者在分类模型是经训练的分类模型的情况下指示对包括特定区域中的数据实例的更多训练数据的需要，或者一般性地指示用户谨慎对待该区域中的由分类模型进行的分类的需要。

有利地，上述措施提供了分类模型在较低维空间上的分类不确定性的可视化，同时通过不依赖于分类模型的内部参数而将分类模型视为“黑盒”。确切地说，基于分类模型的输入(特征向量)和输出(分类)以及导出的参数(分类不确定性)来提供可视化。有利地，上述措施可以以更模型不可知的方式促进分类模型的决策过程的可解释性。

可选地，处理器子系统还被配置为在较低维空间的可视化中生成由分类模型进行的分类的可视化。除了分类不确定性之外，分类自身也可以被可视化。例如，可以为2D或3D图像中的像素或体元指派表示分类不确定性的饱和度或强度以及表示分类的色调。这可以使得用户能够感知分类边界，该分类边界在别处也可以被称为‘决策边界’，并且特别地，能够感知复杂的分类边界，该复杂的分类边界可以指示分类模型对这样的区域的较差概括。

可选地，系统包括用户接口子系统，用户接口子系统包括用于显示所述可视化的显示输出和用于从用户可操作的用户输入设备接收用户输入数据的用户输入接口，并且处理器子系统被配置为：经由用户接口子系统使用户能够选择合成临床数据点，以及响应于所述选择，提供相应的插值特征向量的可视化。该用户接口功能可以使用户能够容易地看到所选的合成临床数据点的插值特征向量，例如作为每个特征向量分量的可视化，这进而可以使用户能够得出关于i)分类和/或分类确定性与ii)分类所基于的(多个)特征之间的关系的结论。

可选地，处理器子系统被配置为经由用户接口子系统使用户能够选择两个合成临床数据点，并且响应于所述选择，提供相应的插值特征向量之间的差异的可视化。该用户接口功能可以使用户能够容易地看到所选合成临床数据点之间的插值特征向量中的差异，这在分类边界附近可能特别有用，从而允许用户得出关于分类变化与特征向量差异之间的关系的结论。

可选地，分类模型在训练数据上被训练，并且针对其提供了可视化的临床数据是分类模型的训练数据。上述措施可以被应用于训练数据自身，这可以允许用户获取关于针对训练数据的分类和分类确定性的反馈。这可以例如指示对更多和/或不同类型的训练数据的需要。

可选地，训练数据的数据实例中的子集或所有数据实例包括相应的基本事实分类或者与相应的基本事实分类相关联，并且处理器子系统被配置为：在较低维空间的可视化中生成与临床数据点在视觉上相关的基本事实(ground truth)分类的可视化。通过可视化基本事实，可以使基本事实与由分类模型进行的分类之间的差异可见，这可指示错误分类或其他问题。

可选地，数据接口被配置为访问进一步的临床数据，并且处理器子系统被配置为：

-生成较低维空间中的表示进一步的临床数据的进一步的临床数据点；

-在较低维空间的可视化中可视化进一步的临床数据点。

这样的进一步的(多个)临床数据点可以表示训练后的新输入数据。通过在较低维空间中绘制这样的进一步的(多个)临床数据点，可以使进一步的(多个)临床数据点和原始临床数据点之间的空间关系可见。例如，如果两种类型的数据点都在较低维空间中形成分开的聚类，则在经训练的分类模型的情况下，这可以指示分类模型可能不足以被泛化以分类新的输入数据。此外，这样的可视化可以允许用户在视觉上将新的输入数据与分类模型的分类和分类确定性相关联。

可选地，处理器子系统被配置为确定分类和分类不确定性，以及对于较低维空间中的合成临床数据点的规则网格可视化分类不确定性。针对规则网格中的数据点，插值特征向量、以及进而与所述插值特征向量相关的分类和分类不确定性可以被确定。例如，如果较低维空间被可视化为2D图像，则可以针对2D图像的每个像素确定分类和分类不确定性。

可选地，非线性并且流形保持的降维技术是t-分布式随机邻居嵌入(t-SNE)算法。备选算法包括但不限于UMAP、ISOMAP、HSNE和A-tSNE。可选地，应用插值技术包括使用KD树算法来针对将在插值中被使用的临床数据点而搜索。KD树算法可以用于找到一组K最近邻(KNN)临床数据点用于插值。作为备选，任何其他算法可用于KNN计算。这样的算法的示例包括但不限于近似KD树和散列技术。

可选地，该系统是工作站或成像装置的一部分。

本领域技术人员将理解，本发明的上述实施例、实现和/或可选方面中的两个或更多个可以以被认为有用的任何方式组合。

与所述实体中的另一个实体的描述的修改和变型对应的系统、计算机实现的方法和/或任何计算机程序产品的修改和变型可以由本领域技术人员基于本说明书来执行。

附图说明

本发明的这些和其他方面将从以下描述中以示例的方式并且参考附图描述的实施例而变得清楚并且进一步阐明，在附图中，

图1示出了用于将分类模型应用于临床数据的系统，该系统被配置为生成分类模型的分类不确定性的可视化并显示所述可视化；

图2示出了应用于可表示为33维特征空间中的特征向量的数据实例的降维的结果，从而获取二维空间中的临床数据点；

图3A示出了分类模型在二维空间中的分类和分类不确定性的可视化，从而示出在二维空间中的多个复杂的决策边界；

图3B示出了图3A的可视化，并且示出了分类模型具有低置信度的和其具有高置信度的区域；

图4A示出了用户在二维空间的可视化中选择合成临床数据点；

图4B示出了可以响应于对合成临床数据点的选择而被提供的插值特征向量的可视化；

图4C示出了可以响应于对例如在决策边界的相对侧的两个合成临床数据点的选择而被提供的两个插值特征向量之间的差异的可视化；

图5示出了用于将分类模型应用于临床数据以及用于生成用于向用户显示的分类模型的分类不确定性的可视化的计算机实现的方法；

图6示出了包括数据的计算机可读介质。

应当注意，附图仅仅是示意性的而不是按比例绘制的。在附图中，与已经描述的元素对应的元素可以具有相同的附图标记。

附图标记列表

提供以下附图标记列表是为了便于解释附图，而不应被解释为限制权利要求。

20 数据存储装置

30 临床数据

40 模型数据

50 可视化数据

60 用户输入设备

62 用户输入数据

80 显示器

100 用于将分类模型应用于临床数据的系统

120 数据接口

122 外部数据通信

124 内部数据通信

140 处理器子系统

142 内部数据通信

160 用户接口子系统

170 用户输入接口

180 显示器输出

182 显示数据

200 较低维空间

210 t-SNE-1维

220 t-SNE-2维

230 具有基本事实分类的临床数据点

300 作为2D图像的合成临床数据点的分类和分类不确定性的可视化

310,312 分类中的复杂决策边界

320 基本事实的错误分类

330 具有低分类置信度的区域

340 具有高分类置信度的区域

350 对合成临床数据点的选择

360 对两个合成临床数据点的选择

400 插值特征向量的可视化

410 插值特征向量中的差异的可视化

420 特征值轴线

422 特征值差异轴线

430 特征分量轴线

500 将分类模型应用于临床数据的方法

510 访问临床数据

520 访问分类模型

530 应用降维技术

540 确定其他数据点的特征向量

550 确定分类和分类不确定性

560 生成分类不确定性的可视化

600 计算机可读介质

610 非瞬态数据

具体实施方式

图1示出了用于将分类模型应用于临床数据的系统100，其可以被配置为生成分类模型的分类不确定性的可视化并显示所述可视化。

系统100被示出为包括用于访问包括数据实例的临床数据30的数据接口120，数据实例各自可表示为多维特征空间中的特征向量。例如，临床数据30可以包括多个患者的数据记录，每个数据记录表示数据实例。例如，也如图1所示，数据接口120可以向外部数据存储装置20提供数据访问122，该外部数据存储装置可以包括所述临床数据30。数据存储装置20例如可以由图像存档和通信系统(PACS)或医院信息系统(HIS)的电子病历(EMR)数据库构成或作为其一部分，系统100可以连接到或包括在该医院信息系统中。作为备选，数据接口120可以提供对作为系统100的一部分的内部数据存储装置的数据访问。作为备选，可以经由网络访问临床数据30。通常，数据接口120可以采取各种形式，诸如到局域网或广域网(例如互联网)的网络接口、到内部或外部数据存储装置的存储接口等。数据存储装置20可以采取任何已知的形式，诸如硬盘驱动器或硬盘驱动器阵列或SSD或SSD阵列。

还示出数据存储装置20包括限定分类模型的模型数据40，该分类模型用于被应用于特征向量以提供对相应数据实例的分类。取决于实施例，数据存储装置20可以包括一个或两个类型的数据30、40。在一些实施例中，临床数据30和模型数据40可以各自从不同的数据存储装置被访问，例如经由数据接口120的不同子系统。每个子系统可以是如上所述用于数据接口120的类型。

还示出系统100包括处理器子系统140，其可以经由数据通信124与数据接口120进行内部通信。处理器子系统140可以被配置为：在系统100的操作期间，将非线性并且流形保持的降维技术应用于特征向量的子集或所有特征向量，以获取较低维空间中的多个临床数据点，通过将插值技术应用于临床数据点的特征向量来确定较低维空间中的其他数据点的特征向量，从而获取较低维空间中的各自具有插值特征向量的合成临床数据点，并且针对每个合成临床数据点，将分类模型应用于相应的插值特征向量，以获取针对合成临床数据点的分类，以及确定分类的分类不确定性。处理器子系统140还可以被配置为生成用于向用户显示的较低维空间的可视化，其中，可视化包括与合成临床数据点在视觉上相关的分类不确定性的可视化。这样的可视化可以例如以可视化数据50的形式被存储在数据存储装置20中。

注意，将参考图2-图4C进一步解释系统100的操作，包括其各种可选方面。

作为可选组件，系统100被示出为包括用户接口子系统160。处理器子系统140可以经由内部数据通信142与用户接口子系统160通信。用户接口子系统160可以被配置为在系统100的操作期间使用户能够例如使用图形用户接口与系统100交互。用户接口子系统160被示出为包括用户输入接口170，该用户输入接口170被配置为从用户可操作的用户输入设备60接收用户输入数据62。用户输入设备60可以采取各种形式，包括但不限于计算机鼠标、触摸屏、键盘、麦克风等。图1示出了作为计算机鼠标60的用户输入设备。通常，用户输入接口170可以是与用户输入设备60的类型相对应的类型，即，其可以是与之相对应的用户设备接口60的类型。用户接口子系统160被进一步示出为包括显示输出180，该显示输出180被配置为向显示器80提供显示数据182，以使系统100的输出可视化，诸如前述的较低维空间的可视化和其他类型的可视化。在图1的示例中，显示器是外部显示器80。作为备选，显示器可以是内部显示器。

通常，系统100可以被体现为单个设备或设备，或者被体现在单个设备或装置中，诸如工作站，例如基于膝上型电脑或台式电脑，或者服务器。设备或装置可以包括执行适当软件的一个或多个微处理器。例如，处理器子系统可以通过单个中央处理单元(CPU)体现，但是也可以通过这样的CPU和/或其他类型的处理单元的组合或系统体现。软件可以被下载和/或被存储在对应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。作为备选，系统的例如数据接口和处理器子系统的功能单元可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列(FPGA)。通常，系统的每个功能单元可以以电路的形式实现。注意，系统100还可以以例如涉及不同的设备或装置的分布式方式实现，诸如分布式服务器，例如以云计算的形式。

图2示出了应用于临床数据的降维的结果。在该示例中，临床数据包括单独的数据实例，例如表示相应患者或检查的数据，其各自可表示为33维特征空间中的特征向量。假设流形存在于足够表示临床数据的33维特征空间中。换句话说，假设存在特征冗余，并且临床数据中的变化在嵌入高维空间中的较低维结构上。这样的较低维结构上的数据可以使用非线性并且流形保持的降维技术(也简单地称为非线性投影技术)被表示在诸如2D空间的较低维空间中，例如使用所谓的t-SNE算法。

在图2中示出了将这样的t-SNE算法应用于临床数据的结果，其中，示出了具有标记为tSNE-1和tSNE-2的二个维度210、220的较低维空间200的可视化。另外，示出了临床数据点230，其在较低维空间中表示临床数据的较高维特征向量。降维可以使得在2D空间200中与彼此接近的临床数据点230具有相似的特征向量。将理解，存在t-SNE的许多备选方案，例如UMAP、ISOMAP、HSNE和A-tSNE，它们本身都是已知的。在t-SNE被用作降维算法的情况下，tSNE的所谓近似tSNE实现可以用于桌面应用或者TensorFlow.js tSNE用于web应用。

在图2-图4C的示例中，临床数据是已经用于训练分类模型的训练数据。这样的训练数据可以被标记，因为存在针对由分类模型进行的分类的基本事实。如图2-图4C所示，该标记可以例如通过将两个类别区分为较暗的正方形或较亮的圆形而被可视化。

图3A示出了分类模型在二维空间中的分类和分类不确定性的可视化300。这样的可视化300可以已经通过以下方式由图1的系统100生成：针对图2的二维空间中的合成临床数据点的密集且规则的网格，将分类模型应用于与相应合成临床数据点相关联的插值特征向量以获取分类，以及确定分类不确定性。在确定插值特征向量时，所谓的KD树算法可以被用来针对插值中要使用的最近数据点而搜索。插值本身可以是被应用于使用KD树算法找到的数据点集合(例如，KNN数据点)的任何合适的加权或非加权插值技术。

该可视化300可以被称为‘分类景观’，并且可以以输出驱动的方式生成，因为合成临床数据点的密集且规则的网格可以与包含可视化的输出图像的像素网格对应。作为备选，可以使用任何其他合适的规则网格，或不规则网格或任何其他合成临床数据点集合。

还如图3A-图4A的示例所示，可以通过为相应像素选择色调来可视化分类，同时可以通过为相应像素选择色彩饱和度来可视化分类不确定性。例如，高置信度(或高确定性或低不确定性)的区域可以以高色彩饱和度可视化，而低置信度(或低确定性或高不确定性)的区域可以以低色彩饱和度可视化。将理解，作为备选，如本身从数据可视化领域已知的，可以使用任何其他类型的可视化，包括但不限于使用图案代替色调/饱和度、使用热图、使用轮廓线等。

在图3A中可以看出，在分类中存在复杂的决策边界310、312，因为这些决策边界是非常高维的并且在较低维空间中可表示性很差，这在可视化中以各种方式是明显的，诸如决策边界彼此非常接近。这样的复杂决策边界可以指示分类模型的较差概括，并且因此可能需要临床医生仔细评判。根据可视化300，临床医生还可以检测可能的错误分类320，因为基本事实分类可能不匹配由分类模型进行的分类，后者在图3A中由底层色调表示。这样的错误分类可以是基本事实中的例如以离群值形式的错误分类，但也可以是由分类模型做出的错误分类。

图3B示出了图3A的可视化300，并且示出了分类模型具有低置信度的区域，其是以低色彩饱和度可视化的区域330，以及示出了分类模型具有高置信度的区域，其是以高色彩饱和度可视化的区域340。通常，分类不确定性也可称为指分类不确定性的补集的分类确定性、或者分类置信度等。可以以各种方式确定这样的分类确定性(不确定性)。例如，对于支持向量机，分类确定性可以被确定为距决策边界的距离，而对于随机森林分类器，分类确定性可以对应于与预测一致的树的百分比，而对于基于深度学习的方法，分类确定性可以从概率向量的熵导出。在数据分类中，确定这样的分类确定性(不确定性)或置信度本身是已知的。

通常，图3A和图3B的分类景观300可以示出分类模型的全局行为。如上所述，可以在景观之上看到被错误分类的点320，并且分类边界的形状可以被展示。同时，分类景观300可以以分类模型不可知的方式被生成，因为可以不需要分类模型的内部参数来生成分类景观300。在一些实施例中，新的临床数据也可以在分类景观中示出，例如，作为通过上述降维被获取的新的临床数据点。取决于分类景观300中的新的临床数据点的位置，临床医生可以确定分类模型的输出是否可以被信任。

通常，可以针对任何类型的分类模型生成分类景观，包括但不限于支持向量机、决策树、随机森林分类器或基于深度学习的分类模型。

图4A示出了用户在二维空间的可视化300中选择合成临床数据点，例如使用图1的系统100的用户接口子系统和与其连接的鼠标、触摸屏等。取决于是选择了单个合成临床数据点360还是选择；额两个这样的数据点350，可以生成不同的可视化。

图4B示出了可以响应于对单个合成临床数据点360的选择而被提供的插值特征向量的可视化400。这里，竖直轴线430可以列出各种特征向量分量，诸如例如性别、体重、身高、血型等，而水平轴线420可以示出特征向量值，诸如例如以‘F’、‘60kg’、‘170cm’、‘O－负’。在该示例中，特征向量被示出为包括33个特征，例如从0到32。这样的可视化400可以使用户能够得出关于一方面分类和/或分类确定性与另一方面分类所基于的(多个)特征之间的关系的结论。

图4C示出了可以响应于对两个合成临床数据点350的选择而被提供的两个插值特征向量之间的差异的可视化410，在该示例中，这两个合成临床数据点位于决策边界的相对侧。这里，竖直轴线430可以再次列出各种特征向量分量，而水平轴线422可以示出特征向量值差异。这样的可视化410可以允许用户得出关于分类变化与特征向量差异之间的关系的结论。

图5示出了用于将分类模型应用于临床数据的计算机实现的方法500。方法500可以对应于图1的系统100的操作。然而，这不是限制，因为方法500也可以使用另一系统、装置或设备来执行。

方法500被示出为包括：在标题为“访问临床数据”的步骤中，访问510临床数据，该临床数据包括各自可表示为多维特征空间中的特征向量的数据实例。方法500还被示出为包括：在标题为“访问分类模型”的步骤中，访问520分类模型，该分类模型被配置为被应用于特征向量以提供相应数据实例的分类。方法500还被示出为包括：在标题为“应用降维技术”的步骤中，将非线性并且流形保持的降维技术应用530于特征向量中的子集或所有特征向量，以获取较低维空间中的多个临床数据点。方法500还被示出为包括：在标题为“确定针对其他数据点的特征向量”的步骤中，通过将插值技术应用于临床数据点的特征向量来确定540针对较低维空间中的其他数据点的特征向量，从而获取较低维空间中的各自具有插值特征向量的合成临床数据点。方法500还被示出为包括：在标题为“确定分类和分类不确定性”的步骤中，针对每个合成临床数据点，将分类模型应用550于相应的插值特征向量以获取针对合成临床数据点的分类，以及确定550分类的分类不确定性。方法500还被示出为包括：在标题为“生成分类不确定性的可视化”的步骤中，生成560用于向用户显示的较低维空间的可视化，其中，该可视化包括与合成临床数据点在视觉上相关的分类不确定性的可视化。

将理解，通常，图5的计算机实现的方法500的操作可以以任何合适的顺序来执行，例如，连续地、同时地或它们的组合，在使用的情况下，受制于需要特定的顺序(例如按照输入/输出关系)。

该(多个)方法可以在计算机上被实现为计算机实现的方法、被实现为专用硬件、或者被实现为两者的组合。同样如图6所示，用于计算机的例如可执行代码的指令可以被存储在计算机可读介质600上，例如，以一系列机器可读物理标记610的形式和/或作为具有不同的电(例如，磁)或光性质或值的一系列元件。可执行代码可以以瞬态或非瞬态方式被存储。计算机可读介质的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。图6示出了光盘600。

无论是否被指示为非限制性的，示例、实施例或可选特征都不应被理解为限制所要求保护的本发明。

应注意的是，上述实施例说明而非限制本发明，并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计许多备选实施例。在权利要求中，置于括号中的任何附图标记不应解释为限制权利要求。动词“包括”及其动词变位的使用不排除存在权利要求中所陈述的元素或阶段之外的元素或阶段。元素之前的冠词“一”或“一个”不排除存在多个这样的元素。当在元素的列表或组之前时，诸如“……中的至少一项”的表达表示从列表或组中选择所有元素或元素的任何子集。例如，表达“A、B和C中的至少一项”应理解为仅包括A、仅包括B、仅包括C、包括A和B两者、包括A和C两者、包括B和C两者、或包括A、B和C的全部。本发明可以借助于包括多个不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干个部件的设备权利要求中，这些部件中的多个部件可以由同一项硬件来实现。在相互不同的从属权利要求中叙述某些措施并不指示不能有利地使用这些措施的组合。

Claims

1.一种被配置为将分类模型应用于临床数据的系统(100)，所述系统包括：

-数据接口(120)，用于访问：

-临床数据(30)，包括数据实例，所述数据实例各自能表示为多维特征空间中的特征向量；

-分类模型(40)，被配置为应用于所述特征向量，以提供相应数据实例的分类；

-处理器子系统(140)，被配置为：

-将非线性并且流形保持的降维技术应用于所述特征向量中的子集或所有特征向量，以获取较低维空间(200)中的多个临床数据点(230)；

-通过将插值技术应用于所述临床数据点的所述特征向量，在所述较低维空间中创建合成数据点以及确定针对所述合成数据点的特征向量，从而获取针对所述合成临床数据点中的每个合成临床数据点的插值特征向量(400)；

-针对每个合成临床数据点：

将所述分类模型应用于相应的所述插值特征向量，以获取针对所述合成临床数据点的分类，以及

确定所述分类的分类不确定性；以及

-生成用于向用户显示的所述较低维空间的可视化(300)，其中所述可视化包括与所述合成临床数据点在视觉上相关的所述分类不确定性的可视化。

2.根据权利要求1所述的系统(100)，其中所述处理器子系统(140)还被配置为：在所述较低维空间的所述可视化(300)中，生成由所述分类模型进行的所述分类的可视化。

3.根据权利要求1或2所述的系统(100)，其中所述较低维空间(300)是二维[2D]空间，并且其中所述处理器子系统(140)被配置为生成作为2D图像的所述可视化，在所述2D图像中，所述分类不确定性被指派给所述2D图像的相应像素的视觉性质。

4.根据权利要求3所述的系统(100)，其中所述视觉性质是相应像素的饱和度或强度。

5.根据权利要求4所述的系统(100)，还包括用户接口子系统(160)，所述用户接口子系统包括：

-显示输出(180)，用于显示所述可视化；以及

-用户输入接口(170)，用于从由用户可操作的用户输入设备(60)接收用户输入数据；

其中所述处理器子系统(140)被配置为经由所述用户接口子系统，使用户能够选择合成临床数据点(360)，并且响应于所述选择，提供相应的所述插值特征向量的可视化(400)。

6.根据权利要求5所述的系统(100)，其中所述处理器子系统(140)被配置为经由所述用户接口子系统(160)，使所述用户能够选择两个合成临床数据点(350)，并且响应于所述选择，提供相应的所述插值特征向量之间的差异的可视化(410)。

7.根据权利要求1至6中的任一项所述的系统(100)，其中所述分类模型在训练数据上被训练，并且其中针对其提供所述可视化的所述临床数据是所述分类模型的所述训练数据。

8.根据权利要求7所述的系统(100)，其中所述训练数据的数据实例中的子集或所有数据实例包括相应的基本事实分类，或者与所述相应的基本事实分类相关联，并且其中所述处理器子系统(140)被配置为：在所述较低维空间的所述可视化中，生成与所述临床数据点在视觉上相关的所述基本事实分类的可视化。

9.根据权利要求1至8中的任一项所述的系统(100)，其中所述数据接口(120)被配置为访问进一步的临床数据，并且其中所述处理器子系统被配置为：

-生成所述较低维空间中的表示所述进一步的临床数据的进一步的临床数据点；以及

-在所述较低维空间的所述可视化中可视化所述进一步的临床数据点。

10.根据权利要求1至9中的任一项所述的系统(100)，其中所述处理器子系统(140)被配置为：针对所述较低维空间中的合成临床数据点的规则网格，确定所述分类和所述分类不确定性，以及可视化所述分类不确定性。

11.根据权利要求1至10中的任一项所述的系统(100)，其中所述非线性并且流形保持的降维技术是t分布随机邻居嵌入(t-SNE)算法。

12.根据权利要求1至11中的任一项所述的系统(100)，其中应用所述插值技术包括：使用KD树算法来针对将在所述插值中被使用的临床数据点而搜索。

13.一种工作站或成像装置，包括根据权利要求1至12中的任一项所述的系统。

14.一种用于将分类模型应用于临床数据的计算机实现的方法(500)，包括：

-访问(510、520)以下项：

-临床数据，包括数据实例，所述数据实例各自能表示为多维特征空间中的特征向量；

-将非线性并且流形保持的降维技术应用(530)于所述特征向量中的子集或所有特征向量，以获取较低维空间中的多个临床数据点；

-通过将插值技术应用于所述临床数据点的所述特征向量，在所述较低维空间中创建合成数据点以及确定(540)针对所述合成数据点的特征向量，从而获取针对所述合成临床数据点中的每个合成临床数据点的插值特征向量；

-针对每个合成临床数据点：

将所述分类模型应用(550)于相应的所述插值特征向量，以获取针对所述合成临床数据点的分类，以及

确定所述分类的分类不确定性；以及

-生成(560)用于向用户显示的所述较低维空间的可视化，其中所述可视化包括与所述合成临床数据点在视觉上相关的所述分类不确定性的可视化。

15.一种包括表示计算机程序的瞬态或非瞬态数据(610)的计算机可读介质(600)，所述计算机程序包括用于使处理器系统执行根据权利要求14所述的方法的指令。