CN109791804B

CN109791804B - 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件

Info

Publication number: CN109791804B
Application number: CN201780059927.4A
Authority: CN
Inventors: C·I·博迪尔竺科; A·迦拉伊; L·巴里诺夫; W·霍尔博特; R·马莫内
Original assignee: Keios Pharmaceutical Co ltd
Current assignee: Keios Pharmaceutical Co ltd
Priority date: 2016-08-11
Filing date: 2017-08-11
Publication date: 2024-03-01
Anticipated expiration: 2037-08-11
Also published as: CA3033441A1; JP7021215B2; AU2017308120B2; JP2019526869A; AU2017308120A1; EP3497603A1; CN109791804A; EP3497603A4; WO2018031919A1

Abstract

一种利用机器学习来训练设备以生成置信水平指示(CLI)的方法和部件。该设备是已经初始地使用初始机器学习进行训练以推荐呈现给设备的图像特征的分类的CAD系统。概率分类用于结合由人类操作者给出的中间值，以更好地指示CAD系统的关于哪些类应该与某些图像特征相关联的推荐的置信水平。

Description

对CAD系统个性化以提供CAD系统推荐的置信水平指示的方法和部件

对相关申请的交叉引用

本专利申请是于2016年8月11日提交的标题为“Method and Means of CADSystem Personalization to Provide a Confidence Level Indicator for CAD SystemRecommendations”的美国专利申请序列号15/235,050的继续申请，该申请的全部内容通过引用被整体并入本文。

技术领域

本发明构思一般而言涉及医学成像和分析；更特别地，涉及在用于医学诊断的图像报告和数据系统(IRADS)的背景下增强临床决策能力的系统和方法。本发明构思提供了用于计算机辅助诊断(CAD)系统的置信水平指示(CLI)，该计算机辅助诊断系统被编程为最小化由于在解释系统规则时组或个体的偏见而导致的推荐临床动作的偏差。

背景技术

每年，在美国进行超过1,300,000次乳房活组织检查，并且在全世界范围内进行超过4,500,000次乳房活组织检查。在这些活组织检查中，80％有良性发现。乳房活组织检查是创伤性经历，使患者暴露于临床风险、不舒服并且成本高昂。

受过训练的医疗专业人员(诸如放射科医师)通常会尝试手动或通过使用计算机软件来识别和分类医学图像内的可疑区域。然后，放射科医师可以根据相关的分级系统手动表征每个可疑区域。例如，可以根据乳房成像报告和数据系统(BI-RADS)指南来表征乳房内可疑的感兴趣区域。BI-RADS是由放射科医师用于使用乳腺X线摄影、超声波或MRI诊断乳腺癌的一种广泛接受的风险评估和质量保证工具。分配给每个可疑区域的类别可以指示未来的动作方案。例如，如果将可疑区域归类为可能是恶性的，那么可以命令进行活组织检查。如果将可疑区域归类为正常，那么可以不采取进一步动作。但是，如果将可疑区域归类为可能是良性的，那么动作方案可能是在六个月内重复测试以查看任何变化。BI-RADS报告方法包括用于报告目的的标准词典和结构，其使得放射科医师能够对基于图像的发现进行简洁的审查，并以清晰且一致的方式将具有最终评估和特定动作方案的结果传达给转诊医师。结构化报告还有助于加快报告周转时间(TAT)、简化用于计费和法规遵从的文档，并易于数据提取处理，以便进行利用率审查、质量保证和研究。通过医疗审计和结果监测，该系统为同行评审和质量保证数据提供了重要机制，以提高患者护理质量。以标准化方式汇编的结果允许对人口统计和结果数据进行维护和收集分析。

BI-RADS自1993年开始用于乳房X线照相术以来取得的成功已促使为各种医学图像报告和数据系统引入许多类似的基于检查表的系统。类似报告和数据系统的部分列表包括分别用于前列腺癌、甲状腺癌、肝癌和肺癌的诊断的前列腺成像报告和数据系统(PI-RADS)、甲状腺成像报告和数据系统(TI-RADS)、肝脏成像报告和数据系统(LI-RADS)以及肺-RADS。

基本BI-RADS评估类别是：

1：阴性，

2：良性，

3：可能良性，

4：可疑，以及

5：高度暗示恶性肿瘤。

还存在类别0(BI-RADS 0)和类别6(BI-RADS 6)。BI-RADS 0指示不完整的分类，其保证或者努力确定用于比较的先前成像或用于传唤患者回来以进行额外的查看、更高质量的胶片或额外的成像模态。BI-RADS 6指示先前通过活组织检查证实的已证实的恶性肿瘤。

BI-RADS 4分类通常被划分为以下子类别：

4A：恶性肿瘤的低可疑性，

4B：恶性肿瘤的中度可疑性，以及

4C：恶性肿瘤的高度可疑性。

由BI-RADS系统提供的推荐患者管理是：如果感兴趣区域被分类为可疑或高度可疑，即，BI-RADS 4或BI-RADS 5，那么应该预订活组织检查。如果可疑区域被分类为正常或良性，即，BI-RADS 1或BI-RADS 2，那么可以不采取进一步动作。但是，如果可疑区域被分类为可能良性，即，BI-RADS 3，那么推荐是为期6个月的后续期，以查看任何变化。BI-RADS分数是与恶性肿瘤相关的统计，而不是恶性肿瘤的确定性测量。已经表明，类别3(恶性肿瘤的风险小于2％)或类别4(癌症的概率范围从3％至94％)病变被认为是不同程度的恶性乳腺病变。对于类别3中的增生性结节尤其如此，这些结节被认为是不确定的结节。这种病变没有明显的良性病变特性，但仍主观上被认为是类别3病变。类别4病变有1-2个非良性特性，但美国放射学院未提供任何详细指导。这导致观察者间在分类方面的一致性差，导致与BI-RADS系统的理想使用的差异。此外，类别4a通常包括90％至98％的良性病变，类别4b包括50％至90％的良性病变，并且4c包括5％至50％的良性病变并且BI-RADS 5具有0％至5％的良性病变，但全部都必须进行活组织检查。因此，对于具有类别BI-RADS 4或BI-RADS 5的患者进行的活组织检查中多达80％被发现是良性的。

计算机辅助诊断(CAD)系统具有改善放射科医师的诊断性能的潜力。但是，在实践中，放射科医师难以知道何时接受或拒绝由CAD系统做出的推荐。

正是考虑到这些以及其它观察，构想和开发了本发明构思的各个方面。

发明内容

本发明构思提供了一种计算机化系统，其被配置为利用结合由人类操作者给出的中间值的概率分类，以便更好地指示CAD推荐系统中的置信水平。

通过提供个性化诊断辅助系统的方法可以在本发明构思的一个方面实现上述内容。该方法可以包括利用机器学习来训练设备以提供用于计算机辅助诊断(CAD)系统推荐的置信水平指示(CLI)的步骤。这种训练可以包括访问多个训练图像特征的步骤。该多个训练图像特征中的每个图像特征可以与多个类中的已知类相关联。已知类可以对应于训练图像特征中的每个图像特征的已知正确的诊断决策。

这种训练还可以包括从至少一个操作者访问与多个训练图像特征中的每个图像特征对应的多个初始临床医生推荐的诊断决策的步骤。多个初始临床医生推荐的诊断决策中的每个诊断决策可以包括临床医生置信因子。

这种训练还可以包括访问与多个训练图像特征中的每个图像特征对应的多个CAD系统推荐的诊断决策的步骤。多个CAD系统推荐的诊断决策中的每个诊断决策可以包括分类器输出分数或分数的集合(ensemble)的组合。

这种训练还可以包括访问与多个训练图像特征的子集对应的多个初始临床医生推荐的诊断决策的子集的步骤。多个初始临床医生推荐的诊断决策的子集可以相对于与多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策不同。

这种训练还可以包括生成函数的步骤，该函数定义与多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策的CLI分数。

该方法还可以包括通过提供与一系列训练图像相关联的初始训练数据集来利用初始机器学习来初始地训练设备的步骤。初始训练数据集的至少一部分可以包括与多个类中的初始已知类相关联的图像特征。多个类可以与初始预先确定的可能的临床动作相关联。该方法还可以包括基于向设备提供初始训练数据集的结果来确定加权误差项的成本函数的步骤。该方法还可以包括针对与被预先确定为对诊断重要的已知临床意义示例相关联的某些图像特征值加权和/或惩罚成本函数的某些参数的步骤。

该方法还可以包括通过接口接收所选择的图像的步骤。所选择的图像可以包括图像特征。该方法还可以包括通过(i)从所选择的图像中提取至少一个图像特征值，和/或(ii)将至少一个图像特征值应用于使用加权成本函数训练的设备以从多个类中识别类来利用设备给出具体临床动作的步骤。在利用机器学习来训练设备以提供用于计算机辅助诊断(CAD)系统推荐的CLI之前，可以使用初始机器学习来训练设备。与多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策的CLI分数对于特定类型的图像特征可以是唯一的和/或对于至少一个操作者可以是唯一的。函数的一个或多个参数可以包括临床医生置信因子、分类器输出分数和/或对于多个训练图像特征的子集中的每个图像特征已知正确的诊断决策。生成定义CLI分数的函数的步骤可以包括提供其中CAD系统在其推荐中对其置信度加权更多的图像的局部区域。

该方法还可以包括在一段时间内周期性地重复(例如，每年)CLI的一个或多个阶段或训练步骤(例如，适应用户(例如放射科医师)的任何学习行为的初始训练阶段)的步骤。学习的行为可以是在一段时间内使用CDI/CAD系统的产物，例如，相对于放射科医师可能已在一段时间内获得的诊断图像分析改进的正确检测和/或诊断癌症和/或其它学习经历的能力。与多个训练图像特征的子集对应的多个初始临床医生推荐的诊断决策的子集还可以包括由特定操作者、多个特定操作者、机构、场所、工作流程位置的初始决策简档和/或最终决策简档，和/或由多个操作者做出的包括要与定义与多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策的CLI分数的函数一起使用的最终决策的聚合。换句话说，在看到CAD推荐者分数之后，在他们的分数之后记录个体或组的初始分数。这些分数可以用于帮助训练CLI或与其相关联的函数，以估计训练的CAD设备/系统对于与训练期间看到的每个类似的情况个体或组的决策正确的可能性。

多个类中的每个类可以与乳房成像报告和数据系统(BI-RAD)词典的不同类别相关联。多个训练图像特征图像中的每个特征图像可以包括像素值和/或与区域中的感兴趣区域相关联的像素值的子集。该函数可以基于或考虑由操作者给出的一个或多个中间值和/或CAD系统推荐以计算CLI分数。该函数可以利用概率分类，同时结合由人类操作者给出的中间值，以便更好地指示如由CLI分数定义的CAD系统推荐的置信水平。

通过提供训练诊断辅助系统的方法可以在本发明构思的另一方面实现上述内容。该方法可以包括利用机器学习来训练设备以提供用于计算机辅助诊断(CAD)系统推荐的置信水平指示(CLI)的步骤。训练可以包括访问与对应于训练图像特征的已知正确的诊断决策的已知类相关联的至少一个训练图像特征的步骤。训练还可以包括从至少一个操作者访问与训练图像特征对应的临床医生推荐的诊断决策的步骤。训练还可以包括访问与训练图像特征对应的包括分类器输出分数或分数的集合的组合的CAD系统推荐的诊断决策的步骤。CAD系统推荐的诊断决策可以与临床医生推荐的诊断决策不同。训练还可以包括生成定义CAD系统推荐的诊断决策的CLI分数的函数的步骤。函数的一个或多个参数可以包括临床医生置信因子、分类器输出分数和/或训练图像特征的已知正确的诊断决策。临床医生推荐的诊断决策可以定义由至少一个操作者给出的中间值。

通过提供诊断辅助训练系统或装置可以在本发明构思的另一方面实现上述内容。该装置可以包括至少一个计算设备。该计算设备可以可操作以经由机器学习进行训练以使用一个或多个加权项的成本函数基于一个或多个图像特征生成推荐类，其中成本函数的一个或多个参数对于与预先确定的已知临床意义示例相关联的某些图像特征被加权和/或被惩罚。可以将附加的机器学习应用于计算设备。这样的附加机器学习可以包括从操作者通过计算设备访问与多个训练图像特征中的每个图像特征对应的多个临床医生诊断决策。该多个初始临床医生诊断决策中的每个诊断决策可以包括临床医生置信因子。这种附加机器学习可以包括由计算设备访问与多个训练图像特征中的每个训练图像特征对应的多个CAD系统诊断决策。该多个CAD系统诊断决策中的每个诊断决策可以包括分类器输出分数或分数的集合的组合。多个临床医生诊断决策的子集可以对应于由计算设备访问的相对于多个训练图像特征的某些CAD系统诊断决策不同的多个训练图像特征的子集。这样的附加机器学习可以包括由计算设备执行的可以定义与多个训练图像特征的子集对应的某些CAD系统诊断决策中的每个诊断决策的CLI分数的函数。该函数可以被定义为：P(c/X；和Z；和W；和Q)，以在给定特征向量X的情况下计算在类c中的概率，并且操作者选择标签Z，并且CAD系统推荐由标签W定义，其中已知真值被定义为标签Q。CLI分数可以通过考虑由至少一个操作者使用概率分类给出的中间值来定义计算设备正确生成推荐类的概率。

附图说明

根据如附图中所示的那些发明构思的特定实施例的以下描述，本文阐述的本发明构思的前述和其它目的、特征和优点应该是显而易见的。附图仅描绘了本发明构思的典型实施例，因此，不应认为是对范围的限制。

图1是根据本发明构思的各方面的示例性处理流程。

图2是根据本发明构思的各方面的示例性处理流程。

图3是根据本发明构思的各方面的示例性处理流程。

图4是根据本发明构思的各方面的示例性处理流程。

图5是根据本发明构思的各方面的示例性处理流程。

图6是可以实现本文讨论的各种服务、系统和方法的示例性计算系统。

附图不将本发明构思限制于本文所公开和描述的具体实施例。附图不一定按比例绘制，而是将重点放在清楚地说明本发明构思的某些实施例的原理上。

具体实施方式

以下详细描述参考了图出本发明构思的各种实施例的附图。说明和描述旨在充分详细地描述本发明构思的方面和实施例，以使得本领域技术人员能够实践本发明构思。可以使用其它组件并且可以在不脱离本发明构思的范围的情况下进行改变。因此，以下详细描述不应该被视为具有限制意义。本发明构思的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。

I.术语

在本描述中，术语用于描述本发明构思的特征。例如，对术语“一个实施例”、“实施例”、“该实施例”的引用意味着所引用的一个或多个特征被包括在本发明构思的至少一个方面中。在本说明书中对术语“一个实施例”、“实施例”、“该实施例”的单独引用不一定指代同一实施例并且也不是相互排斥的，除非如此陈述和/或除非对于本领域技术人员从描述中将显而易见的。例如，在一个实施例中描述的特征、结构、处理、步骤、动作等也可以被包括在其它实施例中，但不一定被包括在内。因此，本发明构思可以包括本文描述的实施例的各种组合和/或集成。另外，如本文所述的本公开的所有方面对于其实践不是必要的。

术语“算法”是指被配置为执行一个或多个函数的逻辑、硬件、固件、软件和/或其组合，包括但不限于本文具体描述的本发明构思的那些函数或本领域技术人员根据描述显而易见的那些函数。这种逻辑可以包括具有数据处理和/或存储功能的电路系统。这种电路系统的示例可以包括但不限于微处理器、一个或多个处理器，例如，处理器核心、可编程门阵列、微控制器、专用集成电路、无线接收器、发射器和/或收发器电路系统、半导体存储器或组合逻辑。

术语“逻辑”是指以一个或多个软件模块形式的计算机代码和/或指令，诸如以可执行应用形式的可执行代码、应用编程接口(API)、子例程、函数、过程、小程序(applet)、服务小程序(servlet)、例程、源代码、目标代码、共享库/动态加载库、或一条或多条指令。这些软件模块可以被存储在任何类型的合适的非瞬态存储介质或瞬态存储介质中，例如电气、光学、声学或其它形式的传播信号，诸如载波、红外信号或数字信号。非瞬态存储介质的示例可以包括但不限于或局限于可编程电路；半导体存储器；非永久存储装置，诸如易失性存储器(例如，任何类型的随机存取存储器“RAM”)；永久存储装置，诸如非易失性存储器(例如，只读存储器“ROM”、电源备份的RAM、闪存、相变存储器等)、固态驱动器、硬盘驱动器、光盘驱动器或便携式存储器设备。作为固件，可执行代码被存储在永久存储装置中。

术语“用户”通常在本文中同义地使用，以表示本发明构思的系统和/或方法的用户。对于本文的目的，用户可以是临床医生、诊断医生、医生、技术人员、学生和/或管理员。

术语“识别”、“处理”和“选择”通常在本文中同义地使用，而不管时态如何，以表示由系统在一个或多个处理中经由至少一个处理器自动执行的计算机化处理。

首字母缩略词“CAD”表示计算机辅助诊断。

术语“客户端”表示连接到CAD病变应用的任何软件程序。

除非另外指出，否则术语“服务器”通常是指正在监听一个或多个客户端的CAD病变应用。

术语“后处理”表示应用于输入的超声图像的算法。

首字母缩略词“PACS”表示图片存档和通信系统。

首字母缩略词“GSPS”表示灰度软拷贝呈现状态。

首字母缩略词“DICOM”表示医学中的数字成像和通信。

首字母缩略词“UI”表示用户接口。

首字母缩略词“PHI”表示私人健康信息。

术语“计算机化”通常表示任何相应的操作由硬件结合软件和/或固件进行。

术语“集合方法”表示获得可从任何组成学习算法中获得的更好性能的多个学习算法。

术语“堆叠”表示训练学习算法以组合若干其它学习算法的预测。堆叠也可以被称为堆叠泛化(stacked generalization)。

术语“组合器”表示被训练为使用其它算法的所有预测作为附加输入进行最终预测的算法。

术语“多样性”表示集合方法/模型之间的变化。许多集合方法寻求促进它们组合的模型之间的多样性。更多的随机算法(诸如随机决策树)可以用于产生比非常审慎的算法(诸如熵减少决策树)更强的集合。但是，使用各种强大的学习算法(多样性)已被证明比使用试图使模型变得简化以便促进多样性的技术更有效。

最后，如本文使用的术语“或”和“和/或”应该被解释为包含性的或意味着任何一个或任何组合。因此，“A、B或C”或“A、B和/或C”表示“以下中的任何一个：A；B；C；A和B；A和C；B和C；A、B和C”。该定义的例外情况只有当元素、函数、步骤或行为的组合以某种方式固有地相互排斥时才会出现。

由于本发明构思易受许多不同形式的实施例的影响，因此旨在将本公开视为本发明构思的原理的示例而不旨在将本发明构思限制于所示出和描述的具体实施例。

II.对美国专利申请序列No.15/200,719的引用

本发明构思的各方面提供了一种系统和方法，其利用在计算设备上实现的如在相关的美国专利申请序列No.15/200,719中所描述的预先存在的计算机辅助诊断(CAD)推荐系统，该专利申请通过引用并入本文。美国专利申请序列No.15/200,719的CAD推荐系统被特别编程，以最小化推荐的临床动作之间的差异，以解决从个体或特定专家组取得的图像特征的问题；并且基于与已证实或基于证据的数据相关性优化临床动作。美国专利申请序列No.15/200,719的CAD推荐系统基于操作者的错误简档减少了诸如活组织检查之类的错误临床动作的数量。

先前CAD推荐系统的各方面利用机器学习来训练计算设备以建议关于图像特征的临床决策。与一系列训练图像相关联的训练数据集可以应用于计算设备。该系列训练图像可以包括显示人体的特定区域，诸如人类乳房的医学图像。特别地，训练图像可以包括具有恶性或良性病变的乳房的一部分的图像。取决于所显示的病变，每个图像可能包括不同的特性，诸如颜色、阴影等。训练数据集的至少一部分可以包括来自训练图像的与(医学词典的)多个类中的已知类相关联的图像特征。换句话说，图像特征已被证明与医学词典的某些类关联。例如，BI-RADS词典的类1可以与第一训练图像的图像特征相关联或被分配给第一训练图像的图像特征，并且BI-RADS词典的类2可以与第二训练图像的图像特征相关联或被分配给第二训练图像的图像特征。图像特征可以是向量或诸如医学图像的特定图像的其它值。换句话说，训练数据集的至少一部分可以向计算设备提供关于何时应该将图像特征分配给医学词典的一个或多个类的示例。

医学词典的每个类可以与预定的可能临床动作相关联或对应于预定的可能临床动作。换句话说，可以预先确定当图像特征落入特定类内时，应该推荐特定于该类的某个临床决策。临床动作可以包括，例如，应该基于图像特征采取的某些任务或过程。作为示例，临床动作可以包括对病变进行活组织检查以移除病变的组织样本并提交组织样本用于测试和分析。另一个临床动作可以包括在预定的时间段(诸如六个月)之后随访患者和病变。

可以基于应用于计算设备的训练集数据来确定加权项的成本函数。另外，可以针对与被预先确定为对诊断重要的已知临床意义示例相关联的某些图像特征值对成本函数的某些参数进行加权。例如，可以对某些参数进行加权以考虑放射科医师或其它临床医生准确地将图像特征诊断为属于多个类中的一个或多个类的困难。

在一个具体实施例中，所描述的机器学习可以用于训练计算设备以在可能的癌症诊断的具体背景下给出临床决策。可以将预先选择的一组数据模式的训练数据集(其识别一个或多个图像特征与已知的正确BI-RAD类别之间的关系)呈现给计算设备以进行分类。训练数据集可以识别例如在人眼看来表现出具有根据BI-RAD词典已被认为落在类4内的特定纹理、形状、成分、色调、颜色或其它视觉特性的(例如病变的)图像特征。图像特征还可以包括(像素、像素组，或者像素或像素组的函数)的特定值；例如，训练数据集为计算设备识别与每个图像相关联的一个或多个像素(或一个或多个像素的函数)的特定值(特征值)。由此，训练数据集进一步为计算设备识别与图像相关联、已根据个体放射科医生或一组放射科医生被视为或预先确定(基于例如临床证据)为落入一个或多个BI-RAD类内的特征值或一组特征值。此外，活组织检查证实的分类(关于病变是癌性还是良性)是已知的。

响应于训练图像，由计算设备产生的实际输出可以参考成本函数与已知的活组织检查证实的结果进行比较。在一个实施例中，理想地，最小化这样的成本函数，以最小化由计算设备输出的关于图像特征应该如何相对于放射科医师或放射科医师组被分类以及他们针对图像对BI-RAD词典的类的选择的错误。可以利用该比较的方面来调整计算设备和/或成本函数的某些参数，诸如添加到误差项的权重、偏差或惩罚函数。另外，可以针对与被预先确定为对诊断重要的已知临床意义示例相关联的某些图像特征值对成本函数的某些参数进行加权。例如，可以对某些参数进行加权或惩罚以考虑放射科医师或其它临床医生准确地将图像特征诊断为属于多个类中的一个或多个类的困难，这在临床医生面临关于是否推荐对病变进行活组织检查的决策的情况下可能尤其重要。可以重复上述处理，直到最小化在合适的第二预选数据模式或验证集合上平均的成本函数。在这样的实施例中，当向计算设备呈现后续测试数据时，可以认为训练计算设备以给出BI-RAD病变的临床动作完成，计算设备生成关于该测试数据的输出，并且该输出和已知的正确结果之间的比较产生在预先确定的可接受边际内的差值或值。经训练的计算设备可以被实现用于各种相关应用，诸如训练计算设备以在放射学、超声等的背景下生成决策。经训练的计算设备可以是CAD推荐系统的一个元素。

CAD推荐系统的各方面利用上述训练阶段的机器学习/训练来推荐尚未被诊断的新图像的分类；对应于图像特征的某些CAD推荐的临床决策的分类。CAD推荐系统的计算设备可以使用接口接收新的所选择的图像。计算设备可以扫描所选择的图像、从所选择的图像检索图像特征、从所选择的图像提取值，并将这些值与计算设备已被编程的识别为与病变或其它异常相关联(如在上述训练阶段学习)的预先确定的值进行匹配。在任一情况下，所选择的图像包括使计算设备可访问以进行分析的至少一个图像特征。

计算设备可以从所选择的图像中提取至少一个图像特征值。所选择的图像特征值可以与数值相关联，并且在一些实施例中，可以是像素值或像素值集合。以这种方式从所选择的图像特征中提取值将图像特征分解为计算设备可理解的数据，以及，可以与机器学习期间开发的一个或多个成本函数或其它函数一起使用的数据。

通过将至少一个特征值应用于已经使用加权成本函数训练的计算设备来利用CAD推荐系统的计算设备。然后，该计算设备输出从在机器学习过程期间定义的多个类中的类。CAD系统的基于加权或惩罚的训练阶段增强了当操作者更可能不正确时CAD系统将给出正确分数的概率。加权或惩罚函数用于通过将更多的权重置于通常由一个或多个用户做出的那些错误来增强来自操作者的CAD错误简档。替代地，最可能由(一个或多个)操作者做出的错误项被惩罚，以增强它们在结果得到的CAD系统的操作中被校正。例如，对于活组织检查证实的良性图像的给定图像，计算设备可以输出指示病变是良性的相当于2的BI-RAD类别的分数，但是，该相同的图像可能是最可能被操作者归类为BI-RADS 4、指示图像特征值与可疑的病变相关联并且应该被进一步诊断的图像。因此，如果放射科医师遵循CAD系统的推荐而不是他们的初始诊断，那么他们可以消除这种不必要的活组织检查。

III.CLI系统的一般体系架构

CAD推荐系统，诸如本文结合的美国专利申请No.15/200,719的CAD推荐系统，通常以与专业放射科医师类似的错误率执行。当CAD推荐系统输出用于图像分类的类时，该类对应于图像特征的CAD推荐的诊断决策，并且CAD推荐的临床决策与初始临床医生推荐的诊断决策一致，使得生成初始临床医生推荐的诊断决策的操作者(或其它用户)对他们对图像特征的诊断具有额外的信心。但是，当CAD推荐的诊断决策与初始临床医生推荐的诊断决策不一致时，操作者被迫做出在无辅助诊断(未考虑来自CAD系统的推荐的初始临床医生推荐的诊断决策)和CAD推荐的诊断决策之间进行选择的决策。

然后，操作者可以基于与操作者对CAD推荐的临床决策的置信度相比的对操作者的初始诊断决策的置信度做出最终决策。如果操作者对其自己的看法比CAD系统的能力更有信心，那么操作者将偏向于拒绝CAD系统的推荐。另一方面，如果操作者对CAD系统比对其自己的能力更有信心，他们将偏向接受CAD系统的推荐。这种由于感知的可靠性或缺乏可靠性而导致的偏向限制了在诊断工作流程的每个步骤内在决策制定过程中组合CAD和放射科医师/操作者的表现。

理想地，仅当放射科医师不正确并且CAD系统将能够校正放射科医师时，CAD系统将不同于诸如放射科医师的操作者的意见。此外，在理想情况下，当放射科医师正确时，CAD系统将始终同意。但是，放射科医师有时会是正确的，而CAD系统将是不正确的。如果放射科医师可以对由CAD系统给出的推荐进行一些附加的置信度度量，那么可以获得最佳决策制定过程。机器学习中使用的分类器的标准输出值只能被解释为在实践中很少遇到的非常有限的条件下的概率。

本发明构思可操作以解决该问题，并且当放射科医师的意见相对于CAD系统对特定图像/图像特征的推荐不同时，帮助放射科医师决定何时接受CAD推荐而不是放射科医师的初始意见。本发明构思通过在放射科医师在真实数据的数据库上采用CAD系统时收集训练数据来解决该问题。训练会话的目的是使放射科医师熟悉CAD系统的优点和缺点，以及收集关于CAD系统何时可以帮助校正放射科医师的初始决策的数据。训练数据用于训练预测模型，该预测模型通过CAD推荐系统提供特定CAD系统推荐的置信分数。预测模型给出表示在给定图像数据和放射科医师的先前表现的情况下CAD推荐正确的可能性的分数。放射科医师可以使用个性化置信分数来帮助决定何时最好遵从CAD系统。本发明构思允许放射科医师更有效地校准他们对CAD系统的信任。

可以训练CAD推荐系统来具有错误，该错误补充将使用该系统的一个或多个放射科医师所做出的错误。可以训练CAD系统，以便更严重地惩罚由放射科医师做出的错误，以向CAD系统提供补充放射科医师的错误的错误。本发明构思利用机器学习/训练来进一步增强或微调CAD推荐系统。本发明构思提供了一种方法和部件，由此操作者(例如放射科医师)被训练以学习理解他们何时应该比他们的初始意见更信任CAD系统。可以要求操作者基于观察一组适当的医学图像数据来诊断一组预先存储的病例。CAD系统将提供第二意见。放射科医师基于CAD推荐自由更改其原始意见或拒绝推荐。然后可以与类似病例的图像一起显示真实诊断，以帮助操作者通过示例学习哪些病例操作者可以通过使用CAD系统推荐受益以及哪些病例操作者需要来自CAD系统的较少帮助。该训练阶段可以用于形成置信水平指标(CLI)的统计或预测模型。

CLI的目的是：给定病例数据以及每个病例数据的倾向和潜在偏向，在CAD系统和操作者之间存在不一致的情况下确定哪个更可能是正确的。为此，CLI的参数通过考虑放射学数据、该数据的真实(活组织检查证实)诊断、CAD系统对该数据的解释、操作者对该数据的解释以及操作者在受CAD系统影响时对数据的解释的变化来确定。在本说明书中，数据的真实诊断可以参考所讨论的病例的活组织检查证实的诊断。

可以使用许多方法获得操作者对数据的解释，其中一些方法可以包括以下的一些组合：

1)直接标签-在这种场景中，操作者的任务是估计一组病变的恶性的可能性。这些标签在其各个病例的背景下用于向CLI通知操作者的倾向。这样，CLI就对该操作者进行个性化。

2)共识标签-与先前的场景类似，但是，考虑许多操作者。然后，CLI围绕通过其共识的某种度量确定的标签进行设计。在这种情况下，CLI将个性化交易为针对众多操作者的一般性(generality)。

3)操作者模型-它们不是直接使用操作者的标签来影响CLI，而是首先用于构建操作者决策制定的模型。然后，该模型可以用于生成大量模拟的操作者标签，并且无需使操作者手动标记许多病例。

4)多操作者模型-方法3的扩展，其中许多操作者的行为被建模，而不是单个。这可以通过对许多操作者的共识建模和/或考虑许多操作者模型的共识来实现。

5)微调的操作者模型-该方法介于方法3的个性化途径和方法4的一般化途径之间。为此，首先开发了一般的多操作者模型。这个模型可以被认为是基线，然后可以对其进行微调，以跟踪个体操作者的偏好直至被认为是最佳的任何程度。

6)原型操作者模型–该方法扩展了前两个中的任何一个。在这个版本中，预先训练若干模型，并且该若干模型代表不同的操作者原型。个体操作者的行为可以与最接近其行为的模型匹配。然后可以直接使用原型模型，或者针对用户进一步微调原型模型。

前面提到的因素可以用于以最佳方式解决CAD和操作者之间的不一致。该解决方案可以被视为CAD决策中相当于群体操作者中的操作者的置信度和度量。

可以参考图1的流程图100描述本发明构思的各方面。流程图100图示了CAD训练前。如方框102所示，可以从医学图像数据库访问多个训练图像。训练图像可以描绘具有可能指示疾病、损伤或痛苦的特性的人体区域。例如，训练图像可以包括需要被诊断以确定所示部分是否指示可能的癌性区域的乳房的一部分的图像。在方框104中，可以实现特征提取处理。在方框106中，可以从训练图像中提取多个图像特征。在方框110中，诸如放射科医师或其它临床医生的操作者可以进行个性化放射科医师模型训练。具体而言，对于从训练图像中提取的至少一部分图像特征中的每个图像特征，操作者可以推荐如方框114所示的诊断决策或CAD观察前诊断。如方框116所示，可以生成特定于操作者(或操作者组)的个性化放射科医师/操作者CAD前模型，其包括关于特定操作者何时做出错误诊断决策；即，与已知的已证实的诊断决策不同的决策(如方框112所示)的数据。方框116的个性化放射科医师/操作者CAD前模型可以帮助识别哪些类型的图像特征特定操作者倾向于做出错误决策，即，与已知的正确诊断决策不同的决策。重要的是，图1的流程图100图示了在操作者没有查看CAD数据的情况下导出的方框116的个性化放射科医师/操作者CAD前模型。换句话说，图1中的操作者经历了CAD前培训以开发方框116的个性化放射科医师/操作者CAD前模型。

图1还示出了可选的放射科医师CAD前观察诊断数据库(CAD前数据库)108。在用方框110的个性化放射科医师模型训练实际测量操作者的表现之前，可以利用CAD前数据库来训练操作者(例如放射科医师)。因此，CAD前数据库108可以帮助操作者更好地理解CAD系统的功能(在实际训练期间推荐诊断决策)。

图2图示了类似于图1的训练处理的流程图。该流程图指示CAD后观察训练，即，在观察CAD后分析操作者的诊断决策。类似于图1，在方框102中，可以从医学图像数据库访问多个训练图像。训练图像可以描绘具有可能指示疾病、损伤或痛苦的特性的人体区域。例如，训练图像可以包括需要被诊断以确定所示部分是否指示可能的癌性区域的乳房的一部分的图像。在方框104中，可以实现特征提取处理。在方框106中，可以从训练图像中提取多个图像特征。

图2还示出了可选的放射科医师CAD前观察诊断数据库(CAD前数据库)158。在用方框130的个性化放射科医师模型训练实际测量操作者的表现之前，可以利用CAD前数据库来训练操作者(例如放射科医师)。由此，CAD前数据库158可以帮助操作者更好地理解CAD系统的功能(在实际训练期间推荐诊断决策)。

在方框130中，诸如放射科医师或其它临床医生的操作者可以经历个性化放射科医师模型训练。具体而言，对于从训练图像中提取的至少一部分图像特征中的每个图像特征，操作者可以推荐如方框132所示的诊断决策或CAD观察后诊断。如方框152所示，可以生成特定于操作者(或操作者组)的个性化放射科医师/操作者CAD后模型，其包括关于特定操作者何时做出错误诊断决策；即，与已知的已证实的诊断决策不同的决策(如方框112所示)的数据；以及，何时操作者尽管可以访问相同图像特征的CAD决策但是操作者也做出决策。方框152的个性化放射科医师/操作者CAD后模型可以帮助识别哪些类型的图像特征特定操作者倾向于做出错误决策，即，与已知的正确诊断决策不同的决策。重要的是，图2的流程图150图示了在操作者有查看CAD数据的情况下导出的方框152的个性化放射科医师/操作者CAD后模型。换句话说，图2中的操作者经历了CAD后训练以开发方框152的个性化放射科医师/操作者CAD前模型。

图3图示了用于CLI模型训练的另一个流程图200；输出是个性化的操作者/放射科医师训练的CLI模型，如方框214所示。类似于图1和图2，在方框102中，可以从医学图像数据库访问多个训练图像。训练图像可以描绘具有可能指示疾病、损伤或痛苦的特性的人体区域。例如，训练图像可以包括需要被诊断以确定所示部分是否指示可能的癌性区域的乳房的一部分的图像。在方框104中，可以实现特征提取处理。在方框106中，可以从训练图像中提取多个图像特征。

如图所示，置信水平指示模型训练可以将方框112的已知正确的诊断决策标签、方框210的CAD系统分类器输出、方框202的训练放射科医师CAD前诊断、方框206的个性化放射科医师CAD前模型、方框204的经训练的放射科医师CAD后诊断以及方框208的个性化放射科医师CAD后模型作为输入。

图4是用于使用从图3导出的CLI模型对图像特征进行分类的流程图300。类似于图1和2，在方框302中，可以从医学图像数据库访问多个训练图像。训练图像可以描绘具有可能指示疾病、损伤或痛苦的特性的人体区域。例如，训练图像可以包括需要被诊断以确定所示部分是否指示可能的癌性区域的乳房的一部分的图像。在方框304中，可以实现特征提取处理。在方框306中，可以从训练图像中提取多个图像特征。

在方框312中，可以利用个性化置信水平指示模型，其将方框308的CAD分类器和方框310的可选放射科医师初始CAD前诊断作为输入。如进一步所示，CAD分类器308生成方框314的CAD分类器输出，并且个性化置信水平指示模型生成方框316的CLI模型输出。换句话说，使用个性化置信水平指示模型，可以为分类器输出生成置信水平指示，或者为诊断决策生成CAD系统推荐。316的置信水平指示或CLI模型输出指示当CAD系统推荐相对于临床医生诊断决策不同时314的CAD分类器输出正确的可能性程度。置信水平指示提供类似于相对于CAD输出的正确概率的置信水平，因此如果CAD系统指示图像特征与癌性病变相关联，那么CLI可以输出例如0.95，其指示关于与癌性病变相关联的图像特征的CAD诊断决策的置信水平是95％。

在一个实施例中，在训练设备以计算CAD系统推荐的CLI分数之前，监督机器学习的第一阶段可以包括训练设备以基于某些图像特征建议分类。具体而言，可以使用固定的一组多维特征向量Xi来训练设备(机器学习)以输出每个输入向量Xi的分数s(Xi)。然后，结果得到的训练设备可以用于操作设备未被训练的新数据，以泛化设备在训练期间学习的模式(有时称为学习)。

大多数监督学习/训练方法产生输出分数s(x)的分类器，其中s(Xi)是0和1之间的标量值，并且Xi是特征向量(即，多值阵列)，其可以用于对测试集中的示例从类c的最可能的成员到最不可能的成员进行排名。即，对于x和y的两个示例，如果S(x)<S(y)(由分类器为x给出的输出分数小于为向量y给出的分数，则P(c/x)<P(c/y)(具有特征向量x的图像在类C中的概率表示癌性小于具有特征向量Y的图像在类C中的概率)。但是，在许多应用中，根据类成员概率对示例进行排名可能是不够的。大多数模式识别/机器学习系统给出关于类成员的概率的相对分数。本发明构思可操作以使用在一组图像上收集到的训练数据以及用户模型和真相产生置信估计(CLI分数)。所使用的方法进行泛化以向训练数据中未使用的数据提供有用的置信分数。因此生成可以用于帮助操作者基于呈现的一个或多个图像特性选择最佳最终决策的置信分数或CLI分数。

换句话说，分类的基本问题是所有数据值在训练期间都被标记为如用于癌症的“1”或者用于非癌症的“0”。0到1之间的值不作为分类器的输出进行训练，因此在实际操作时如何将中间值分配给图像有很大的自由度。由此，只有相对排名与在C类中的概率相关。理想情况下，期望输出分数>0.8以指示由特定图像示例表示的图像80％是癌性的，但它只是意味着它比具有0.7的分数的图像更可能是癌症。

本发明构思利用具有由人类操作者给出的中间值的训练数据以及经训练的CAD系统来更好地指示经训练的CAD系统推荐的置信水平。因此，给定具有特征向量X的图像以及CAD推荐和预期或实际用户初始决策(通过使用可能由于他/她的错误简档而偏差的CAD系统隐含获得操作员的决策)，给出针对癌症的置信度(或正确的概率)的更一般的值，以给出CAD系统推荐的置信分数。

在一个实施例中，在数学上，用于生成CLI分数的函数可以被描述为：

P(c/X和Z和W和Q)，

其表示在给定特征向量X的情况下该类在类c中的概率，其中用户/操作者选择标签Z，并且CAD系统推荐标签W，而已知真相由标签Q表示。

标签可以是癌症或不是癌症，即，分别为1或0。通过分解与用户和/或CAD系统相关的信息增加估计的特异性导致估计的准确性增加，以及提高的或更高的置信分数，这是特定于用户和CAD系统的，从而便于机器学习和估计的处理。换句话说，用于计算CLI分数的函数可以考虑一个或多个特定操作者和一个或多个特定CAD推荐系统，使得CLI分数反映在一个或多个特定用户和/或一个或多个特定CAD系统的背景下所建议的CAD诊断决策的置信度。

操作者通常可以为在患者病例研究中收集的图像中的N个可能ROI的第i个感兴趣区域(ROI)分配0(癌症的最低概率)与1(癌症的最高概率)之间的分数。在操作期间，所分配的分数通常为0或1，但是对于训练目的，可以使用中间值。操作者的分数可以被表示为S1(i)，其中i＝1到N。操作者的分数是真实分数S(i)加上由El(i)表示的第i分数的误差值，其中i从1变为N，因此，对于i＝1到N，51(i)＝S(i)+El(i)。可以训练CAD系统以给出由S2(i)＝S(i)+E2(i)表示的类似输出分数，其中i＝1到N。训练CAD系统，使得其误差E2(i)在统计上与操作者的误差无关。因此，如果操作者分配的分数与CAD系统的输出分数的独立分数不统一(或不一致)(第一分配的分数高，并且第二分配的分数相对于0.5低)，那么检测到“拉锯(draw)状况”并且最佳决策不明确。对于本文的目的，CLI可以等同于第三独立分数生成设备(类似于另一个CAD系统)，其中S3(i)＝S(i)+E3(i)。可以设计CLI使得其误差E3(i)，其中i＝1到N在统计上与操作者的误差El(i)i＝1到N以及第一CAD系统误差E2(i)i＝1到N无关。因此，其输出可以用作独立意见，例如，以当操作者和第一CAD系统之间出现这种拉锯状况时通过使用简单的多数规则投票逻辑打破拉锯状况，即，如果3个分数中的2个为高，则选择高，或者如果三个分数中的2个为低，则选择低。可以对三个独立的分数使用诸如修剪部件之类的替代逻辑，以在操作者的没有辅助的表现之上获得增强的表现。第一CAD系统可以包括已经过训练以便以某种形式生成推荐但尚未使用如本文所讨论的CLI功能进行增强的CAD系统。

本发明构思的系统允许操作者在他们依赖于CAD系统/设备并且遵循CAD系统/设备的推荐而不是操作者自己的意见时(例如，当CAD系统/设备的推荐是正确的并且操作者是不正确的时)来纠正它们的错误。一个独特的方面是，如美国专利申请序列No.15/200,719所公开的，设备的初始训练是设备被专门训练为可变地权衡由个体和/或一组操作者做出的错误，例如，更重要的，以确保当操作者最有可能需要帮助来纠正操作者的无辅助下的推荐时，CAD系统推荐者给出正确的推荐。

本发明构思可操作以选择和利用各自不同的一个或多个分类器来优化它们的组合决策。美国专利申请序列No.15/200,719公开了一种获得个性化多样化分类器的新方法和部件，其提供可以与操作者的初始推荐相结合的推荐，以通过在操作者选择在(一个或多个)适当的时间接受(一个或多个)推荐时纠正他们的一个或多个错误来提高操作者的准确性。

本发明构思教导了一种新方法，其将来自美国专利申请No.15/200,719的经训练的CAD系统的推荐与操作者的初始推荐相结合，以便提高最终决策或推荐的准确性；以及当置信水平CAD分数中的高值(远大于0.5)时，操作者也学习选择CAD推荐，并且该重新评估可以纠正操作者的初始错误评估。此外，当操作者要更好从而不遵循CAD推荐并继续其初始评估时，CLI系统可以提供低置信水平(远低于0.5)。

图5是用于生成CLI模型的处理流程400，该CLI模型要与用于诊断决策的CAD系统推荐一起使用。在方框402中，可以由设备利用或以其它方式实现机器学习，以提供用于从主题设备或其它设备生成的CAD推荐诊断决策的置信水平指示(CLI)。在设备本身已经被初始地训练以生成关于由设备访问的图像特征的诊断决策的推荐的情况下，该设备可能已经使用如通过引用并入的相关的美国专利申请序列No.15/200,719中所阐述的初始机器学习进行了训练。因此，在一个实施例中，利用机器学习来训练设备以提供CLI可以是对已经被训练以推荐诊断决策的CAD系统的改进；并且，相同的设备/应用可以被修改以考虑用于生成CLI分数的功能(函数/算法)。

在方框404中，设备可以访问多个训练图像特征。每个训练图像特征可以与已知类相关联。换句话说，某些图像特征可能与已被证实为癌症的病变相关联。在其它情况下，某些图像特征已被证实是非癌性的。在任一情况下，基于证据、证实的测试结果等，所有训练图像特征都已被分配给一个或另一个临床类。这些类可以对应于如相关的美国专利申请序列No.15/200,719中描述的IRADS系统的类。

在方框406中，访问来自至少一个操作者的多个初始临床医生推荐的诊断决策。可以做出每个这些决策来诊断一个或多个训练图像特征(其真实或已知结果对于操作者是未知的)。可以使用各种方法获得操作者对训练图像数据的诊断决策或解释。例如，可以如本文所解释的那样利用直接标签共识标签、操作者模型、多操作者模型、微调的操作者模型和/或原型操作者模型(虽然本公开不限于这些模型并且预期附加的模型)。

在方框408中，可以访问多个训练图像特征中的每个图像特征的多个CAD系统推荐的诊断决策。在主题设备是初始被训练以做出CAD系统诊断决策的相同计算设备/CAD系统的情况下，设备可以简单地将初始训练期间使用的方法和函数与训练图像一起应用以针对多个训练图像特征中的每个图像特征计算这样的CAD系统推荐的诊断决策。

在方框410中，设备可以访问与多个训练图像特征的子集对应的多个初始临床医生推荐的诊断决策的子集。该子集是操作者不同意或以其它方式提供与CAD系统针对一个或多个特定训练图像特征的诊断决策不一致或不同的诊断决策。

在一些实施例中，可以在该步骤确定操作者/临床医生在考虑CAD系统推荐的诊断决策时是否改变他/她的诊断决策。例如，在一些情况下，操作者将为训练图像特征产生诊断决策，然后当被提供CAD系统推荐的针对相同训练图像特征的诊断决策时可能改变其产生的决策。可以为操作者聚合这样的数据，并且这样的数据可以用作计算CLI分数的函数的一部分。

在方框412中，可以生成函数，该函数定义与多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策的CLI分数。换句话说，可以生成一个或多个函数，其计算某些CAD推荐系统诊断决策的CLI分数，其中操作者不同意这种某些CAD推荐系统诊断决策。

图6是可以实现本文所讨论的各种方法的计算系统700的示例示意图。例如，计算系统700可以包括用于实现CLI应用70的计算设备，该CLI应用70用于为某些CAD系统推荐生成CLI分数。计算系统700包括总线701(即，互连)、至少一个处理器702或其它计算元件、至少一个通信端口703、主存储器704、可移动存储介质705、只读存储器706，以及大容量存储设备707。(一个或多个)处理器702可以是任何已知的处理器，诸如但不限于，或(一个或多个)Itanium处理器、/>或者(一个或多个)Athlon/>处理器、或/>处理器系列。通信端口703可以是用于与基于调制解调器的拨号连接一起使用的RS-232端口、10/100以太网端口、使用铜或光纤的千兆端口或USB端口中的任何一个。可以根据诸如局域网(LAN)、广域网(WAN)或计算机系统200连接到的任何网络之类的网络来选择(一个或多个)通信端口703。计算系统还可以包括传输和/或传送网络755、显示屏760、I/O端口740，以及诸如鼠标或键盘之类的输入设备745。

主存储器704可以是随机存取存储器(RAM)或本领域众所周知的任何其它(一个或多个)动态存储设备。只读存储器706可以是任何(一个或多个)静态存储设备，诸如用于存储静态信息的可编程只读存储器(PROM)芯片，静态信息诸如用于处理器702的指令。大容量存储设备707可以用于存储信息和指令。例如，可以使用诸如系列小型计算机串行接口(SCSI)驱动器的硬盘、光盘、诸如独立盘冗余阵列(RAID)的盘阵列、诸如RAID驱动器的/>系列，或任何其它大容量存储设备。

总线701将(一个或多个)处理器702与其它存储器、存储装置和通信模块通信地耦合。取决于所使用的存储设备，总线701可以是PCI/PCI-X、SCSI或基于通用串行总线(USB)的系统总线(或其它)。可移动存储介质705可以是任何类型的外部盘驱动器、拇指驱动器、光盘-只读存储器(CD-ROM)、光盘-可重写存储器(CD-RW)、数字视频盘-只读存储器(DVD-ROM)等。

本文的实施例可以被提供为计算机程序产品，其可以包括其上存储有指令的机器可读介质，该指令可以用于对计算机(或其它电子设备)进行编程以执行处理。机器可读介质可以包括但不限于光盘、CD-ROM、磁光盘、ROM、RAM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存或适用于存储电子指令的其它类型的介质/机器可读介质。此外，本文的实施例也可以作为计算机程序产品下载，其中程序可以经由通信链路(例如，调制解调器或网络连接)通过在载波或其它传播介质中实施的数据信号从远程计算机传送到请求计算机。

如图所示，主存储器704用CLI应用70进行编码，CLI应用70支持如本文所讨论的功能。CLI应用70(和/或如本文所述的其它资源)可以被实施为软件代码，诸如支持根据本文描述的不同实施例的处理功能的数据和/或逻辑指令(例如，存储在存储器中或在诸如盘的另一个计算机可读介质上的代码)。在一个实施例的操作期间，(一个或多个)处理器702通过使用总线701访问主存储器704，以便诸如通过在处理器702上执行并且基于存储在主存储器中或以其它方式有形地存储的CLI应用70的逻辑指令来启动、运行、执行、解释或以其它方式执行处理。

以上描述包括实施本公开的技术的示例系统、方法、技术、指令序列和/或计算机程序产品。但是，应该理解的是，可以在没有这些具体细节的情况下实践所描述的公开。在本公开中，所公开的方法可以被实现为设备可读的指令集或软件。此外，应该理解的是，所公开的方法中的步骤的特定顺序或层次是示例方法的实例。基于设计偏好，应该理解的是，方法中的步骤的具体顺序或层次可以被重新布置，同时保持在所公开的主题内。所附方法权利要求以样本顺序呈现各个步骤的元素，并且不一定意味着限于所呈现的具体顺序或层次。

所描述的公开可以被提供为计算机程序产品或软件，其可以包括其上存储有指令的机器可读介质，该指令可以用于对计算机系统(或其它电子设备)进行编程以执行根据本公开的处理。机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于光学存储介质(例如，CD-ROM)；磁光存储介质、只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存；或适用于存储电子指令的其它类型的介质。

本发明构思的附加方面、优点和用途将部分地在本说明书和附图中阐述，并且部分地将从本说明书和附图中显而易见，或者可以通过本发明构思的实践来学习。

本说明书和附图旨在是说明性的而不是限制性的。可以进行本发明构思的许多特征和子组合，并且这些特征和子组合在研究本说明书和附图时将是显而易见的。可以在不引用其它特征和子组合的情况下采用这些特征和子组合。

Claims

1.一种个性化诊断辅助系统的方法，包括：

访问多个训练图像特征，所述多个训练图像特征中的每个训练图像特征与多个类中的已知类(1)相关联，并且(2)对应于已知正确的诊断决策，

访问与所述多个训练图像特征对应的多个临床医生推荐的诊断决策，所述多个临床医生推荐的诊断决策中的每个诊断决策包括临床医生置信因子，

访问与所述多个训练图像特征对应的多个计算机辅助诊断CAD系统推荐的诊断决策，所述多个CAD系统推荐的诊断决策中的每个诊断决策包括由计算设备提供的输出，

识别与所述多个训练图像特征的子集对应的所述多个临床医生推荐的诊断决策的子集，所述多个临床医生推荐的诊断决策的子集相对于多个CAD系统推荐的诊断决策的某些CAD系统推荐的诊断决策不同并且对应于所述多个训练图像特征的子集，以及

训练置信水平指示模型，所述置信水平指示模型将所述多个训练图像特征、多个临床医生推荐的诊断决策、多个CAD系统推荐的诊断决策以及所述多个临床医生推荐的诊断决策的子集作为输入，

在训练之后，所述置信水平指示模型被配置为与所述多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策的每个CAD系统推荐的诊断决策生成提供置信水平指示CLI分数的函数。

2.如权利要求1所述的方法，还包括：

在生成提供与所述某些CAD系统推荐的诊断决策中的每个诊断决策的CLI分数的函数之前通过如下来训练计算设备：

向计算设备施加与一系列训练图像相关联的初始训练数据集，所述初始训练数据集的至少一部分包括与所述多个类的初始已知类相关联的图像特征，所述多个类与多个临床动作相关联，

基于施加到计算设备的所述初始训练数据集来确定加权误差项的成本函数，所述成本函数包括参数集，以及

针对与被预先确定为对诊断重要的已知临床意义示例相关联的某些图像特征来加权或惩罚成本函数的所述参数集的子集。

3.如权利要求2所述的方法，还包括：

通过接口接收所选择的图像，所选择的图像包括图像特征；以及

利用计算设备通过以下给出选自多个临床动作的具体临床动作：

从所选择的图像中提取至少一个图像特征，并

在训练计算设备之后，将所述至少一个图像特征应用于计算设备以识别来自所述多个类的并且与具体临床动作相关的类。

4.如权利要求1所述的方法，其中多个训练图像特征包括多个种类的图像特征，多个临床医生推荐的诊断决策由至少一个操作者做出，为与所述多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策提供的CLI分数(1)对于来自多个种类的图像特征的图像特征的种类是唯一的并且(2)对于所述至少一个操作者是唯一的。

5.如权利要求1所述的方法，其中为某些CAD系统推荐的诊断决策的每个诊断决策提供CLI分数的函数包括参数，所述参数包括临床医生置信因子、计算设备的输出、以及对于多个训练图像特征的子集中的每个训练图像特征已知正确的诊断决策。

6.如权利要求1所述的方法，还包括对于某些CAD系统推荐的诊断决策的每个诊断决策提供图像的局部区域，在该局部区域中计算设备在提供该CAD系统推荐的诊断决策的输出中在置信度加权更多。

7.如权利要求1所述的方法，还包括:

重复访问多个训练图像特征、访问多个临床医生推荐的诊断决策、访问多个CAD系统推荐的诊断决策、识别、以及在一段之间之后生成函数以适应临床医生的学习的行为作为在临床医生在一段时间内获得的一段时间内使用计算设备的产物。

8.如权利要求1所述的方法，

其中与所述多个训练图像特征的子集对应的所述多个临床医生推荐的诊断决策的子集包括指示操作者、多个操作者、机构、场所、工作流程位置的初始和最终决策简档的信息，或由多个操作者做出的要与提供与所述多个训练图像特征的子集对应的某些CAD系统推荐的诊断决策中的每个诊断决策的CL1分数的函数一起使用的最终决策的聚合。

9.如权利要求1所述的方法，其中所述多个类中的每个类与成像报告和数据系统的不同类别相关联。

10.如权利要求1所述的方法，其中所述多个训练图像特征中的每个训练特征图像包括与感兴趣区域中的病变相关联的像素值。

11.如权利要求1所述的方法，其中生成所述函数基于以下中的一个或者多个：由操作者给出的中间值或CAD系统推荐来计算CLI分数。

12.如权利要求1所述的方法，其中所述函数被定义为：

P(c/X；和Z；和W；和Q),其中P是位于多个类的类c中的概率，给定特征向量X代表训练图像特征，临床医生推荐的诊断决策由标签Z定义，CAD系统推荐的诊断决策由标签W定义，并且已知正确的诊断决策由标签Q定义。

13.如权利要求1所述的方法，其中所述函数利用概率分类，所述概率分类将所述多个临床医生推荐的诊断决策的子集作为中间值并入以为某些CAD系统推荐的诊断决策中的每个诊断决策指示由CLI分数定义的某些CAD系统推荐的诊断决策的置信水平。

14.如权利要求1所述的方法，其中，所述多个临床医生推荐的诊断决策包括：

在一组操作者不查看与所述多个训练图像特征相对应的CAD系统推荐的诊断决策集的情况下，由所述一组操作者做出的与所述多个训练图像特征集对应的前CAD诊断决策；和

在查看所述CAD系统推荐的诊断决策集之后，由所述一组操作者做出的与多个训练图像特征集相对应的后CAD诊断决策。

15.如权利要求1所述的方法，还包括：

接收CAD系统推荐的诊断决策；和

使用所述函数提供CAD系统推荐的诊断决策的CLI分数，该CLI分数代表CAD系统推荐的诊断决策为正确的诊断决策的可能性。

16.如权利要求1所述的方法，其中，临床医生推荐的诊断决策包括以下一项或多项：

从操作者获得的直接标签，用于估计一组病变的恶性可能性；

从一组操作者对一组病变的恶性共识的共识量度中获得的共识标签；

由操作者模型生成的标签，所述操作者模型是根据操作者做出的一组病变的一个或多个诊断决策建模的；

由多操作者模型生成的标签，所述多操作者模型是根据一组操作者的共识或一组操作者模型的共识建模的；

由微调的操作者模型生成的标签，所述微调的操作者模型是根据将多操作者模型针对操作者微调建模的；

由原型操作者模型生成的标签，所述原型操作者模型是从被预先训练并且代表不同操作者原型的模型中选择的。

17.如权利要求1所述的方法，其中，为某些CAD系统推荐的诊断决策中的每个诊断决策提供的CLI得分指示：

当CLI得分远大于0.5时，提供CL1分数的CAD系统推荐的诊断决策的置信水平是高的并且该CAD系统推荐的诊断决策能够纠正临床推荐的诊断决策。

18.如权利要求1所述的方法，其中，所述多个训练图像特征中的每个训练图像特征包括与医学图像相关联的向量。

19.一种装置，包括：

存储器；

处理器，可操作地耦合到所述存储器，并配置为：

访问多个训练图像特征，所述多个训练图像特征中的每个训练图像特征与多个类中的已知类(1)相关并且对应于(2)已知正确的诊断决策；

访问与多个训练图像特征相对应的多个临床医生推荐的诊断决策，多个临床医生推荐的诊断决策中的每个诊断决策都包括临床医生置信度；

访问与多个训练图像特征相对应的多个计算机辅助诊断CAD系统推荐的诊断决策，所述多个CAD系统推荐的诊断决策中的每个诊断决策都包括由计算设备提供的输出；

识别与多个训练图像特征的子集相对应的多个临床医生推荐的诊断决策的子集，所述子集相对于多个CAD系统推荐的诊断决策中的某些CAD系统推荐的诊断决策而有所不同，并且对应于所述多个训练图像特征中的子集；

训练置信水平指示模型，所述置信水平指示模型将所述多个训练图像特征、多个初始临床医生诊断决策、多个CAD系统诊断决策以及所述多个临床医生诊断决策的子集作为输入，和

在训练之后，所述置信水平指示模型被配置为与所述多个训练图像特征的子集对应的某些CAD系统诊断决策的每个CAD系统诊断决策生成提供置信水平指示CLI分数的函数。

20.如权利要求19所述的装置，其中，所述函数由以下定义：

P(c/X；和Z；和W；和Q)，其中P是位于多个类的类c中的概率，给定特征向量X代表训练图像特征，临床医生推荐的诊断决策由标签Z定义，CAD系统推荐的诊断决策由标签W定义，并且已知正确的诊断决策由标签Q定义。

21.如权利要求19所述的装置，其中处理器与计算设备相关，

所述计算设备被训练为使用加权误差项的成本函数基于图像特征生成推荐类，所述加权误差项的成本函数包括针对具有诊断重要性的预先确定的已知示例相关的某些图像特征来加权或惩罚；

所述CLI分数通过考虑由至少一个操作者使用概率分类给出的中间值来定义计算设备正确生成推荐类的概率。