CN115699199A - 使用放射学报告和医学图像的共同训练的半监督学习 - Google Patents

Abstract

一种训练机器学习(ML)图像分类器(14)以将图像(30)相应于标签集合进行分类的方法(100)，包括：通过将ML图像分类器应用于图像来从标签集合生成针对图像的基于图像的标签和针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器(16)应用于对应的放射学报告，从标签集合生成用于图像的基于报告的标签和针对基于报告的标签的基于报告的标签置信度值；基于该基于图像的标签、该基于报告的标签、该基于图像的标签置信度值和该基于报告的标签置信度值选择图像集的训练子集；为训练子集的每个图像分配伪标签，伪标签是图像的基于图像的标签或基于报告的标签之一；以及至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器。

Description

使用放射学报告和医学图像的共同训练的半监督学习

技术领域

以下一般涉及成像技术、图像标记技术、图像注释技术，放射学报告分析技术、基于图像的计算机辅助诊断(CADx)技术、人工智能(AI)技术、AI自学习技术和相关技术。

背景技术

机器学习(ML)算法在医学成像领域产生了影响。例如，ML算法可以被用于标识肿瘤或病变或其他病理相关的图像特征，从而提供用于生成治疗数据的基于图像的CADx系统；ML算法可以被用于检测图像伪影，以避免基于这种伪影的误诊，并用于放射科质量控制等。医学成像数据集的大小正在增长，因此潜在地提供了用于训练ML算法的基本数据库。然而，用于图像处理的ML算法的监督学习的主要挑战是缺少限制模型的可推广性的经注释的图像。利用大量容易获得的未标记的数据的方法可以提高模型的可推广性并减少标记工作。

为了利用大量未标记的图像，可以利用包括基于伪标签的半监督学习方法的自我训练方法。在自我训练中，在经标记的和未标记的数据集上训练模型。这种自我训练方法可以与大多数神经网络(NN)模型和其他ML算法的训练结合使用。在自我训练方法中，使用监督方法用并利用经标记的数据集来训练基线模型。然后，将初始经训练的模型应用于未标记的集合。针对图像，如果被分配到最可能类别的概率高于预定阈值，则将该图像添加到具有伪标签的经标记的集合中，该伪标签被分配作为具有最大预测概率的类别。在模型的下一轮(增量)训练中，该伪标签被用作真实标签。该过程重复固定次数的迭代，或直到对未标记的图像的预测不再可信为止。

然而，利用自我训练，模型不能校正其自身的错误，并且实际上自我训练可以放大错误。如果模型对未标记的数据的预测是可信的但错误的，则将错误的数据纳入到训练中，并且下一轮(增量)训练依赖于该错误并因此加强该错误，使得模型的错误被放大。

以下公开了克服这些和其他问题的某些改进。

发明内容

在一方面，一种非暂态计算机可读介质存储由至少一个电子处理器可执行的指令，以执行训练机器学习(ML)图像分类器来相应于标签集合对图像进行分类的方法，该方法使用未相应于标签集合被标记的图像集合和未相应于标签集合被标记的对应的放射学报告。该方法包括：通过将ML图像分类器应用于图像，从标签集合生成针对图像的基于图像的标签，以及生成针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器应用于对应的放射学报告，从标签集合生成针对图像的基于报告的标签，以及生成针对基于报告的标签的基于报告的标签的置信度值；基于该基于图像的标签、基于报告的标签、基于图像的标签置信度值和基于报告的标签置信度值来选择图像集合的训练子集；为训练子集中的每个图像分配伪标签，该伪标签是针对该图像的基于图像的标签或基于报告的标签中的一个；以及至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器。

在另一方面中，一种非暂态计算机可读介质存储由至少一个电子处理器可执行的指令，以执行训练ML报告分类器来相应于标签集合对图像进行分类的方法，该方法使用未相应于标签集合被标记的图像集合和未相应于标签集合被标记的对应的放射学报告。该方法包括：通过将ML图像分类器应用于图像，从标签集合生成针对图像的基于图像的标签，以及生成针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器应用于对应的放射学报告，从标签集合生成针对图像的基于报告的标签，以及生成针对基于报告的标签的基于报告的标签的置信度值；基于该基于图像的标签、基于报告的标签、基于图像的标签置信度值和基于报告的标签置信度值来选择图像集合的训练子集；为训练子集中的每个图像分配伪标签，该伪标签是针对该图像的基于图像的标签或基于报告的标签中的一个；以及至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器。

在另一方面，一种训练ML图像分类器以及经训练的ML报告分类器的方法，以使用未相应于标签集合被标记的图像集合和未相应于标签集合被标记的对应的放射学报告来对相应于标签集合的图像进行分类。该方法包括：通过将ML图像分类器应用于图像，从标签集合生成针对图像的基于图像的标签，以及生成针对基于图像的标签的基于图像的标签置信度值；通过将报告分类器应用于对应的放射学报告，从标签集合生成针对图像的基于报告的标签，以及生成针对基于报告的标签的基于报告的标签的置信度值；基于该基于图像的标签、基于报告的标签、基于图像的标签置信度值和基于报告的标签置信度值来选择图像集合的训练子集；基于该基于图像的标签、基于报告的标签、基于图像的标签置信度值和对应图像的基于报告的标签置信度值来选择放射学报告的报告训练子集；为训练子集中的每个图像分配伪标签，该伪标签是针对对应图像的基于图像的标签或基于报告的标签中的一个；至少使用所选择的训练子集和所分配的伪标签来训练ML图像分类器；以及至少基于所选择的报告训练子集和所分配的报告伪标签来训练报告分类器。

在另一方面，一种非暂态计算机可读介质存储由至少一个电子处理器可执行的指令，以执行训练第一视图机器学习(ML)图像分类器来相应于标签集合对第一视图的图像进行分类的方法，该方法使用未相应于标签集合被标记的第一视图图像集合，以及训练第二视图ML图像分类器，以使用第二视图图像集合来对相应于标签集合的第二视图的图像进行分类，该第二视图图像集合与未标记相应于标签集合相对应，并且与第一视图的图像相对应。该方法包括：(i)针对第一视图图像，通过将第一视图ML图像分类器应用于第一视图图像，从标签集合生成针对图像的第一视图基于图像的标签，以及生成针对基于图像的标签的第一视图基于图像的标签置信度值；(ii)针对第二视图图像，通过将第二视图ML图像分类器应用于第二视图图像，从标签集合生成针对图像的第二视图基于图像的标签，以及生成针对基于图像的标签的第二视图基于图像的标签置信度值；(iii)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第一视图图像集合的第一视图训练子集；(iv)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第二视图图像集合的第二视图训练子集；(v)为第一视图训练子集中的每个第一视图图像分配伪标签，该伪标签是第一视图基于图像的标签或对应的第二视图基于图像的标签中的一个；(vi)为第二视图训练子集的每个第二视图图像分配伪标签，该伪标签是第二视图基于图像的标签或对应的第一视图基于图像的标签中的一个；以及重复步骤(i)、(ii)、(iii)、(iv)、(v)和(vi)至少一次迭代。

一个优点在于通过充分利用被包括在对应的放射学报告中的附加信息以改进图像分类器的训练，来提供更鲁棒的经ML训练的图像分类器。

另一优点在于充分利用信息交换来共同训练图像分类器和放射学报告分类器。

另一优点在于提供用于在训练ML分类器中使用的放射学报告伪标签和图像伪标签。

另一优点在于利用超过预定阈值的放射学报告伪标签或补充图像伪标签中的一个来训练ML分类器。

给定的实施例可以不提供、提供一个、提供两个、提供更多或提供所有前述优点，和/或可以提供其他优点，这对于本领域普通技术人员在阅读和理解本公开后将变得显而易见。

附图说明

本公开可以采取各种组件和组件布置以及各种步骤和步骤布置的形式。附图仅用于说明优选实施例的目的，而不应被解释为限制本公开。

图1示意性地示出了根据本公开的用于训练图像分类器的说明性系统。

图2示出了图1的系统的示例性流程图操作。

具体实施方式

以下涉及在训练中使用有限数目的经标记的图像的情况下经改进的ML图像分类器。在这些情况下，已知的方法是采用自我训练。通过这种方法，初始(小的)训练图像集合被用于初始地训练图像分类器。然后，使用初始的经训练的图像分类器来对一些未标记的图像进行分类，从而针对这些图像产生“伪标签”。伪标签被处理为实际标记并被反馈以进一步训练图像分类器。这种方法的潜在问题是，如果伪标签是不正确的，则将其反馈以用于进一步训练仅仅加强了由图像分类器执行的错误标记。

本文中所公开的经改进的实施例在共同训练范例中利用对应的放射学报告。在该方法中，在经标记的训练图像上训练初始图像分类器，并且在经标记的放射学报告上训练初始报告分类器。这些分别被用于生成经伪标记的图像和经伪标记的报告。然而，在该共同训练范例中，用于进一步训练图像分类器的反馈依赖于(至少部分)由报告分类器生成的伪标签；反之亦然。

该方法充分利用了本文中所做出的认识，即，针对要在标记医学图像中使用的给定标签集合，放射学报告提供了高度差异化的信息的第二视图，该信息的第二视图可以在训练图像分类器中被充分利用。放射学报告由检查图像并创建放射学报告的熟练放射科医师生成。标签集合通常包括临床发现标签、图像伪影标签等。由这些标签表示的信息也可能被包括在对应的放射学报告中，因为放射学报告通常包括放射科医师的临床发现，并且还可能包括观察到的图像伪影的提及，尤其是如果它们影响临床发现的确定。此外，ML图像分类器所依赖的信息的性质在种类上不同于ML放射学报告分类器所依赖的信息。ML图像分类器通常是卷积神经网络(CNN)或其他ML组件，该其他ML组件直接接收图像并对图像进行操作，和/或对从图像中自动提取的图像特征(诸如图像补丁的特征)进行操作。相反，ML放射学报告分类器通常对放射学报告的文本内容进行操作。例如，ML放射学报告分类器可以将放射学报告的“bag-of-words”表示作为输入，和/或可以执行自动的自然语言处理(NLP)，诸如语法解析以用部分语音(例如，名词、动词、名词短语、动词短语、形容词等)来标记词、短语或其他文本。由于分别由图像分类器和放射学报告分类器处理的信息内容种类的这种基本差异，由图像分类器以低置信度分类的图像可能具有由放射学报告分类器以高置信度分类的对应的放射学报告；反之亦然。高置信度报告分类(伪)标签因此可以被分配给对应的图像以提供进一步的训练数据(反之亦然，其中图像分类具有更高的置信度)。

所公开的方法的另一优点是许多医院和其他医疗机构已经具有带有对应放射学报告的大的图像数据库。在通常的医疗实践中，每个成像检查由回顾图像并准备对应的放射学报告的放射科医师“读取”。放射科医师是在解释放射学图像方面具有专门的培训的医学专业人员(例如，医生)。因此，放射学报告的内容通常被认为是高度可靠的。放射学报告分类器也可以经常分配具有高置信度的标签。例如，如果标签集合包括临床发现标签，放射学报告经常使用标准化的语言来报告临床发现，使得放射学报告中的临床发现的自动检测相对直白和准确。

然而，可能存在由图像分类器将临床发现标签分配给图像可能比将临床发现标签分配给对应的放射学报告更可靠的情况。例如，如果准备报告的放射科医师在描述临床发现时使用非标准术语或短语，则可能出现这种情况。在这种情况下，可以充分利用由图像分类器分配的临床发现标签来改进放射学报告分类器的训练。

在本文中所公开的一些实施例中，用于图像模型的进一步训练的经伪标记的图像的选择是按如下选择的：其伪标签具有低置信度但其对应的报告具有相同的具有高置信度的伪标签的图像被反馈到图像分类器的进一步训练。这充分利用了报告伪标签的高置信度，这增强了低置信度图像伪标签的可靠性。以相似的方式，其伪标签具有低置信度但其对应的图像伪标签具有高置信度的报告被反馈，再次充分利用图像伪标签的高置信度，这增强了低置信度报告伪标签的可靠性。

在本文中所公开的其他实施例中，如果图像标签和对应的报告标签是矛盾的(即，不同的)，则可以使用相同的基于置信度的选择标准来再次完成反馈。然而，在这种情况下，低置信度图像标签可以被高置信度的、不同的报告标签代替(反之亦然)。

在本文中所公开的一些实施例中，报告模型可以是固定的，并且被用于在训练图像分类器时提供反馈经伪标记的图像的增强。相反地，图像模型可以是固定的，并且被用于在训练报告分类器时提供反馈经伪标记的报告的增强。

在本文中所公开的其他实施例中，如果存在要被训练的图像分类器的多个视图(例如，侧面视图和正面视图，诸如前后位(AP)视图、后前位(PA)视图等)，则可以存在三种共同训练模型：一个模型针对侧面视图图像；一个模型针对正面视图图像；以及一个模型针对报告。可以基于由三个模型生成的伪标签中的高置信度对低置信度来再次完成反馈。也可以采用不基于置信度的其他选择标准。例如，其侧面视图模型和报告模型具有相同伪标签的图像被反馈到正面视图图像分类器的进一步训练。这充分利用了侧面图像视图模型与报告模型之间的一致性。以相似的方式，具有正面视图图像模型的图像和具有相同伪标签的报告模型的图像被反馈到侧面视图图像分类器的进一步训练，并且其正面视图图像模型与其侧面视图模型具有相同伪标签的图像被反馈用于报告分类器的进一步训练。在其他实施例中，可以充分利用一个模型和其他两个模型之间的矛盾发现。例如，如果侧面视图标签和对应的报告标签是相同的，则只有在它们与正面视图标签矛盾时，才反馈它们以用于正面视图图像分类器的进一步训练。

在本文中所公开的另外的实施例中，针对具有多个视图的图像可以省略报告模型。在这些实施例中，可以使用选择标准来训练多视图图像模型。为此，公开了一种方法：训练第一视图ML图像分类器，使用未相应于标签集合被标记的图像集合和未相应于标签集合标记的对应的第一视图图像集合来对第一视图图像相应于标签集合进行分类；以及训练第二视图ML图像分类器，以使用对应的未相应于标签集合被标记并且对应于第一视图图像的第二视图图像集合来对第二视图图像相应于标签集合进行分类。该方法包括：(i)针对第一视图图像，通过将第一视图ML图像分类器应用于第一视图图像，从标签集合和针对基于图像的标签的第一视图基于图像的标签置信度值，生成针对图像的第一视图基于图像的标签；(ii)针对第二视图图像，通过将第二视图ML图像分类器应用于第二视图图像，从标签集合和针对基于图像的标签的第二视图基于图像的标签置信度值，生成针对图像的第二视图基于图像的标签；(iii)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第一视图图像集合的第一视图训练子集；(iv)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第二视图图像集合的第二视图训练子集；(v)为第一视图训练子集中的每个第一视图图像分配伪标签，该伪标签是第一视图基于图像的标签或对应的第二视图基于图像的标签中的一个；(vi)为第二视图训练子集中的每个第二视图图像分配伪标签，该伪标签是第二视图基于图像的标签或对应的第一视图基于图像的标签中的一个；以及重复步骤(i)、(ii)、(iii)、(iv)、(v)和(vi)至少一次迭代。

在本文中所公开的一些实施例中，选择标准可以采用除了置信水平之外的附加因素。例如，如果原始经标记的训练数据具有特定类别的几个样本，则该反馈可以优先地反馈被伪标记为该稀缺类别的图像(或报告)。

参考图1，示出了用于训练机器学习(ML)图像分类器14的说明性装置10。ML图像分类器14可以包括人工神经网络(ANN)，例如卷积神经网络(CNN)。ML图像分类器14在本文中有时也被称为图像模型。图像分类器14由图像分类器训练器15训练以处理图像并输出针对图像的标签(或者在多类别分类器中不同类别的多个标签)。输出的标签是标签集合38中的一个。附加地，提供了ML放射学报告模型或分类器16，其可以由对应的放射学报告分类器训练器17训练。备选地，如果放射学报告分类器16被提供为经预训练的，则可以省略放射学报告分类器训练器17。

附加地，信息交换模块12操作以选择由ML放射学报告模型或分类器16生成的伪标签，并将它们分配给对应的图像，以创建由图像分类器训练器15使用的附加的经标记的(或这里是经伪标记的)图像训练数据。可选地，信息交换模块12还可以操作以选择由ML图像模型或分类器14生成的伪标签，并将它们分配给对应的放射学报告，以创建由放射学报告分类器训练器17使用的附加的经标记的(或者这里是经伪标记的)放射学报告训练数据。

图1还示出了ML电子处理设备18，诸如服务器计算机，或更一般地，计算机(但也可以是任何其他适当的电子处理设备，诸如工作站计算机、平板计算机、蜂窝电话(“移动电话”)等)。由组件12、14、15、16、17实现的所公开的图像分类器生成过程100可以完全由本地电子处理器执行，或者图像分类器生成过程的部分可以由远程电子处理器执行。在后一情况中，电子处理设备18可以至少部分地被实现为多个服务器计算机(例如，经互连以形成服务器集群、云计算资源等)。

服务器计算机18可以包括通常的组件，诸如电子处理器20(例如，微处理器；此外，在一些实施例中，图像分类器生成过程的部分可以由远程服务器或云计算资源的微处理器来执行)。电子处理器20可操作地与一个或多个非暂态存储介质26连接，该非暂态存储介质26存储可由至少一个电子处理器20读取和执行的指令，以实现组件12、14、15、16、17和方法或过程100。作为非限制性说明性示例，非暂态存储介质26可以包括磁盘、RAID或其他磁存储介质中的一个或多个；固态驱动器、闪存驱动器、电可擦除只读存储器(EEROM)或其他电子存储器；光盘或其他光学存储器；它们的各种组合等等；并且可以是例如网络存储器、服务器计算机18的内部硬盘驱动器、其各种组合等。应当理解，本文中对一个或多个非暂态介质26的任何引用应被广泛地解释为包括相同或不同类型的单个介质或多个介质。同样，电子处理器20可以实现为单个电子处理器或两个或多个电子处理器。非暂态存储介质26存储可由至少一个电子处理器20执行的指令。指令可以包括与图像分类器12的生成有关的指令。

用于对机器学习(ML)图像分类器14和放射学报告分类器16进行共同训练的装置10还包括放射学实验室环境或与放射学实验室环境一起操作。该环境包括一个或多个成像设备，在图1中由单个说明性成像设备22示意性地表示。作为非限制性说明，成像设备22可以是磁共振成像(MRI)扫描器、透射计算机断层成像(CT)扫描器、正电子发射断层成像(PET)扫描器、超声成像设备、荧光透视成像设备等。在正常操作中，医院患者、医疗门诊患者或其他成像对象被载入成像设备22的检查区域内，并且根据由治疗患者的医生发出的检查命令或根据标准筛选检查工作流程等来获取图像30。通常，成像技术人员操作成像设备22。从成像会话生成的图像30被存储在数据库32中，诸如图片存档和通信系统(PACS)数据库。

在随后的某个时间，放射科医师操作放射学工作站24以从PACS32检索图像30并执行放射学读取。读取过程包括在放射学工作站24的显示器24a上显示图像，并且使用键盘24b、鼠标24c、跟踪板24c和/或放射学工作站24的其他(多个)用户输入设备，在由放射科医师输入的放射学报告中用文本描述放射科医师的临床发现或其他观察结果(例如，注意到的图像伪影)。尽管未示出，但放射学工作站通常包括多个显示器，例如，一个用于呈现图像30，另一个提供图形用户界面(GUI)，经由该GUI输入放射学报告。附加地，一些放射学工作站包括麦克风(未示出)以实现放射学报告的口头口述(结合在工作站24上运行的适当的语音转文本软件)。虽然放射学报告通常主要是文本(包括数字)，但是放射学报告可以可选地包括其他类型的内容，例如，所嵌入的缩略图、图表等。由读取成像检查的放射科医师生成的结果放射学报告34被存储在诸如放射学信息系统(RIS)数据库的数据库36中。在一些放射学实验室环境中，图像和报告数据库32、36被集成，例如，作为集成的RIS/PACS数据库。

应当注意，成像技术人员操作成像设备22以获取随后由放射科医师读取的医学图像的工作流程，然后放射科医师生成对应的放射学报告意味着大多数或所有图像将具有对应的放射学报告，并且同样地，每个放射学报告将具有一个或多个对应的图像。在成像检查期间可以并且经常存在多于一个获取到的图像。在这种情况下，放射科医师可以在读取期间将一个图像指定为参考图像，或者可以如此指定多个图像。(作为后者的示例，可以存在参考侧面视图图像和参考前后视图图像)。因此，放射学实验室环境的通常工作流程自然地创建了图像和对应的放射学报告的数据库。

参考图2并继续参考图1，如上所述配置至少一个电子处理器20，以执行用于对图像分类器14和放射学报告分类器16共同训练的方法或过程100。非暂态存储介质26存储可由至少一个电子处理器20读取和执行的指令，以执行所公开的操作，包括执行方法或过程100。在一些示例中，方法100可以至少部分地由云处理来执行。

执行一个或多个成像会话以开始方法100，其中由诸如成像设备22的图像获取设备对患者进行成像。从成像会话生成的图像30被存储在PACS数据库32中。此外，由放射科医师在成像会话之后生成的相关联的放射学报告34被存储在RIS数据库36中。标签集合38存储在服务器计算机18的非暂态计算机可读介质26中，并且可以被分配给图像30或报告34以生成经标记的训练数据来训练图像分类器12。标签集合38中的标签的一个示例可以包括{存在肺肿瘤，不存在肺肿瘤}。对图像或报告进行标记可以手动完成，然而这是冗长的过程，该过程只能由适当的领域专家完成(诸如，经训练的放射科医师的)。

因此最初通常仅手动标记图像30和报告34的小部分，以便创建被用于启动分类器共同训练过程的经标记的训练集101。包括相应于标签集合38被标记的经标记的图像的经标记的训练集101(其可以被存储在非暂态计算机可读介质26中)被用于训练图像模型14。这在图2中图示为由图1的图像分类器训练器15适当地执行的首次通过图像模型训练操作102。同样地，包括相应于标签集合38被标记的经标记的放射学报告的经标记的训练集101被用于训练放射学报告模型16。这在图2中图示为由图1的放射学报告分类器训练器17适当地执行的首次通过报告模型训练操作104。

作为非限制性说明，图像分类器14的训练操作102可以如以下完成。图像模型14可以输出图像30描绘由某个标签指定的特征(例如，如果标签是临床发现，则该概率值是图像描绘该临床发现的特有特征的概率)的在[0，1]的范围内的概率值。如果概率高于阈值T(其通常是通过训练来优化的参数)，则将该标签分配给图像30。相反，如果概率低于阈值T，则该标签不被分配给图像。在经标记的训练集101上执行训练，因此“地面真值(groudtruth)”标签是已知的，因为它是由人类放射科医师分配的(在首次通过中)。因此，该训练调整参数T和模型的其他参数(诸如在基于人工神经网络(ANN)的图像分类器的情况下的神经网络的激活参数和权重)，以最大化图像分类器14的输出与经标记的训练集101的地面真值标签的一致性。

报告模型16的训练操作104相似地操作，但是这里依赖于人类放射科医师分配的针对放射学报告34的标签作为地面真值。参数可以包括图像分类器中的阈值T，以及基于文本的模型参数，诸如词或短语权重(如果采用NLP解析器，则词或短语权重可以取决于词的词性)等。

由于经手动标记的训练集101的大小通常是小的，因此由首次通过训练操作102、104产生的分类具有有限的准确度。在经手动标记的训练集101的图像和/或报告中可能有很少或甚至没有某些标签的样本。因此，以迭代的方式采用共同训练来从图像30和放射学报告34构建附加的样本。为此，在操作106中，将初始经训练的图像分类器14应用于图像集合30的未标记的图像；同样地，在操作108中，将初始经训练的放射学报告分类器16应用于放射学报告集合34的未标记的放射学报告。由于这些标签不是手动分配的，而是由“训练中”的分类器14、16分配的，因此在操作106、108中产生的标签在本文中被称为伪标签。

由于经手动标记的训练集101通常仅包括图像30和报告34的小部分，因此随后对未手动标记的大部分图像和报告执行应用操作106、108。应用操作106除了对未标记的图像分配伪标签之外，还为伪标签分配基于图像的标签置信度值。如果图像分类器14采用输出标签概率的模型，则基于该概率与阈值有多接近来适当地计算置信度，接近阈值的概率将具有低置信度，而远高于阈值(或远低于阈值)的概率将具有高置信度。这仅仅是示例，可以使用其他方法。例如，由标识肿瘤临床发现的图像分类器生成的伪标签的置信度可以取决于图像分类器14标识为肿瘤的图像特征的大小，例如，较小的肿瘤具有较低的置信度。

以相似的方式，应用操作108除了向未标记的放射学报告34分配伪标签之外，还为伪标签分配基于报告的标签置信度值。如果报告分类器16采用输出标签概率的模型，则再次基于该概率与阈值的接近程度来适当地计算置信度。这也仅仅是示例，可以使用其他方法。例如，如果报告分类器16是基于放射学报告中的关键字的标识，则“强”关键字可以与高置信度相关联，而“弱”关键字可以与低置信度相关联。这里，例如“强”关键字可以是发现的逐字陈述，例如“肿瘤”，而例如“弱”关键字可以是“异常特征”。在采用NLP解析的情况下，相关联的形容词等也可用于限定置信度，例如，“观察到的肿瘤”可与高置信度相关联，而“可能的肿瘤”可与较低置信度相关联。

在由图1的信息交换模块12适当地执行的操作110中，处理在操作106、108中生成的伪标签，以便将伪标签112添加到图像集合30的未标记的图像，并且将伪标签114添加到报告集合34的未标记的报告。附加的经伪标记的图像被处理为实际的经标记的图像，并被反馈到操作102以进一步训练图像分类器14，如过程回流箭头116所示。同样地，附加的经伪标记的放射学报告被处理为实际的经标记的报告，并被反馈到操作104以进一步训练报告分类器16，如过程回流箭头118所示。所描述的过程可以迭代一次或多次，每次附加迭代将更多的经伪标记的数据添加到相应的经标记(现在部分经伪标记)的图像和报告训练数据集。

在一种方法中，其伪标签具有低置信度但其对应的报告具有高置信度的相同伪标签的图像30被添加到具有伪标签112的图像30，具有伪标签112的图像30被反馈到图像分类器14的进一步训练。同样地，其伪标签具有低置信度但其对应的图像30具有高置信度的相同伪标签的报告34被添加到具有伪标签114的报告34，具有伪标签114的报告34被反馈到报告分类器16的进一步训练。该方法充分利用一种类型(即，报告或图像)的高置信度伪标签来增强另一类型(即，图像或报告)的低置信度标签的可靠性。

附加地，如果图像标签和对应的报告标签是矛盾的(即，不同的)，则可以使用相同的基于置信度的选择标准来再次完成反馈。然而，在这种情况下，低置信度图像标签可以被高置信度不同的报告标签代替(反之亦然)。

在变型实施例中，报告模型16可以是固定的，从而省略训练操作104和经伪标记的报告114的生成。在这种情况下，仅训练图像分类器14，但仍然充分利用由(这里是固定的)报告模型16产生的伪标签。相反地，图像模型14可以是固定的，并且被用于在训练报告分类器16中在反馈经伪标记的报告时提供增强。

在图2的实施例中，存在被训练的单个图像分类器14。在变型实施例中，可以训练两个(或更多个)不同的图像分类器(例如，侧面视图图像分类器和正面视图图像分类器)。在这种情况下，有三个(或更多种)共同训练模型：一个模型针对侧面视图的图像；一个模型针对正面图像；以及一个模型针对报告。可以基于由三个模型生成的伪标签中的高置信度与低置信度来再次进行反馈。也可以采用不基于置信度的其他选择标准。例如，其侧面视图模型和报告模型具有相同伪标签的图像被反馈到正面视图图像分类器的进一步训练。这支持了侧面图像视图模型和报告模型之间的一致性。以相似的方式，正面视图图像模型和报告模型具有相同伪标签的图像被反馈到侧面视图图像分类器的进一步训练，并且正面视图图像模型和侧面视图模型具有相同伪标签的图像被反馈用于报告分类器的进一步训练。在其他实施例中，可以充分利用一个模型和其他两个模型之间的矛盾发现。例如，如果侧面视图标签和对应的报告标签是相同的，则只有在它们与正面视图标签矛盾时，才反馈它们以进一步训练正面视图图像分类器。

在本文中所公开的另外实施例中，针对具有多个视图的图像可以省略报告模型。在这些实施例中，选择标准可以被用于训练多视图图像模型。在这些实施例中，方法100包括：训练第一视图ML图像分类器14，以使用相应于标签集合未被标记的第一视图图像集合来对相应于标签集合的第一视图(例如，侧面视图)的图像30进行分类；以及训练第二视图ML图像分类器14，以使用对应的相应于标签集合未被标记的并且与第一视图图像相对应的第二视图图像集合来对相应于标签集合的第二视图(例如，正面视图)的图像进行分类。方法100包括：(i)针对第一视图图像30，通过将第一视图ML图像分类器应用于第一视图图像，从标签集合和针对基于图像的标签的第一视图基于图像的标签置信度值，生成针对图像的第一视图基于图像的标签；(ii)针对第二视图图像，通过将第二视图ML图像分类器应用于第二视图图像，从标签集合和针对基于图像的标签的第二视图基于图像的标签置信度值，生成针对图像的第二视图基于图像的标签；(iii)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第一视图图像集合的第一视图训练子集；(iv)基于该第一视图基于图像的标签、第二视图基于图像的标签、第一视图基于图像的标签置信度值和第二视图基于图像的标签置信度值，选择第二视图图像集合的第二视图训练子集；(v)为第一视图训练子集中的每个第一视图图像分配伪标签，该伪标签是第一视图基于图像的标签或对应的第二视图基于图像的标签中的一个；(vi)为第二视图训练子集中的每个第二视图图像分配伪标签，该伪标签是第二视图基于图像的标签或对应的第一视图基于图像的标签中的一个；以及重复步骤(i)、(ii)、(iii)、(iv)、(v)和(vi)至少一次迭代。

可选地，操作110所采用的选择标准可以在选择具有伪标签的附加图像和报告时采用除了置信水平之外的附加因素，该附加图像和报告将被反馈用于分类器训练的下一迭代。例如，如果原始经标记的训练数据具有特定类别的几个样本，则反馈可以优先地反馈具有该稀缺类别伪标签的图像(或报告)。

返回参考图1，在完成参考图2所描述的共同训练时，图像分类器14现在被训练用于在临床任务中使用。例如，如虚线箭头130所示意性示出的，在放射学工作站24处执行读取的放射科医师可以选择将图像分类器14应用于正被读取的图像30。作为更具体的示例，放射科医师可以将被训练以检测前列腺MRI图像中的前列腺肿瘤的图像分类器14应用于被读取的MRI成像检查的MRI图像。然后，经训练的图像分类器14产生治疗数据，在这种情况下包括前列腺肿瘤的标识，然后该前列腺肿瘤可以是患者的活组织检查过程、放射治疗或其他治疗的对象。

已经参考优选实施例描述了本公开。在阅读和理解了前面的详细描述之后，其他人可以想到修改和改变。示例性实施例旨在被解释为包括落入所附权利要求或其等同物的范围内的所有这样的修改和改变。

Claims (20)

1.一种非暂态计算机可读介质(26)，存储指令，所述指令由至少一个电子处理器(20)可执行以执行训练机器学习(ML)图像分类器(14)以使用图像集合和对应的放射学报告(34)来相应于标签集合对图像(30)进行分类的方法(100)，所述图像集合未相应于所述标签集合被标记，所述对应的放射学报告(34)未相应于所述标签集合被标记，所述方法包括：

通过将所述ML图像分类器应用于所述图像，从所述标签集合生成针对所述图像的基于图像的标签和针对所述基于图像的标签的基于图像的标签置信度值；

通过将报告分类器(16)应用于所述对应的放射学报告，从所述标签集合生成针对所述图像的基于报告的标签和针对所述基于报告的标签的基于报告的标签置信度值；

基于所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述图像集合的训练子集；

为所述训练子集中的每个图像分配伪标签，所述伪标签是针对所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；以及

至少使用所选择的所述训练子集和所分配的所述伪标签来训练所述ML图像分类器。

2.根据权利要求1所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的图像(30)的所述选择至少部分地基于所述图像的所述基于图像的标签置信度值低于所述图像的所述基于报告的标签置信度值。

3.根据权利要求2所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的所述图像(30)的所述选择还基于针对所述图像的所述基于图像的标签与针对所述图像的所述基于报告的标签是相同的。

4.根据权利要求2所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的所述图像(30)的所述选择还基于针对所述图像的所述基于图像的标签与针对所述图像的所述基于报告的标签是不同的，并且所述分配将所述基于报告的标签作为针对所述图像的所述伪标签进行分配。

5.根据权利要求1至4中任一项所述的非暂态计算机可读介质(26)，其中所述方法(100)还包括：

在所述生成、所述选择和所述训练操作之前，使用经标记的训练集合(101)来执行所述ML图像分类器(14)的初始训练，所述经标记的训练集合(101)包括相应于所述标签集合而被标记的经标记的图像；

其中所述训练使用所选择的所述训练子集和所分配的所述伪标签，并且还使用所述经标记的训练集合。

6.根据权利要求1至5中任一项所述的非暂态计算机可读介质(26)，其中所述方法(100)还包括：

基于对应的所述图像(30)的所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述放射学报告集合(34)的报告训练子集，并且为所述报告训练子集中的每个放射学报告分配报告伪标签，所述报告伪标签是针对对应的所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；以及

至少使用所选择的所述报告训练子集和所分配的所述报告伪标签来训练所述报告分类器(16)。

7.根据权利要求6所述的非暂态计算机可读介质(26)，其中针对在所述报告训练子集中包括的放射学报告(34)的所述选择至少部分地基于对应的所述图像(30)的所述基于图像的标签置信度值高于对应的所述图像的所述基于报告的标签置信度值。

8.根据权利要求1至7中任一项所述的非暂态计算机可读介质(26)，其中所述图像集合(30)包括两个不同视图的对应的图像，所述ML图像分类器(14)包括针对所述第一视图的第一ML图像分类器(14’)和针对所述第二视图的第二ML图像分类器(14”)，并且其中：

所述基于图像的标签的所述生成包括：

通过将所述第一ML图像分类器应用于所述第一视图的所述图像，从所述标签集合(38)生成针对所述图像(30)的第一视图的基于图像的标签和针对所述第一视图的基于图像的标签的第一视图的基于图像的标签置信度值，以及

通过将所述第二ML图像分类器应用于所述第二视图的所述图像，从所述标签集合生成针对所述图像的第二视图的基于图像的标签和针对所述第二视图的基于图像的标签的第二视图的基于图像的标签置信度值；并且

所述训练子集的所述选择基于所述第一视图的基于图像的标签、所述第二视图的基于图像的标签、所述基于报告的标签、所述第一视图的基于图像的标签置信度值、所述第二视图的基于图像的标签置信度值以及所述基于报告的标签置信度值，并且

所述分配包括为所述训练子集中的每个图像分配伪标签，所述伪标签是针对所述图像的所述第一视图的基于图像的标签、所述第二视图的基于图像的标签或者所述基于报告的标签中的一个。

9.根据权利要求1至8中任一项所述的非暂态计算机可读介质(26)，其中所述ML图像分类器(14)包括人工神经网络(ANN)。

10.一种非暂态计算机可读介质(26)，存储指令，所述指令由至少一个电子处理器(20)可执行以执行训练机器学习(ML)报告分类器(16)以使用图像集合和对应的放射学报告(34)来相应于标签集合对图像(30)进行分类的方法(100)，所述图像集合未相应于所述标签集合被标记，对应的所述放射学报告(34)未相应于所述标签集合被标记，所述方法包括：

通过将ML图像分类器(14)应用于所述图像，从所述标签集合生成针对所述图像的基于图像的标签和针对所述基于图像的标签的基于图像的标签置信度值；

通过将所述报告分类器应用于对应的所述放射学报告，从所述标签集合生成针对所述图像的基于报告的标签和针对所述基于报告的标签的基于报告的标签置信度值；

基于对应的所述图像的所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述放射学报告集合的报告训练子集；

为所述报告训练子集中的每个放射学报告分配报告伪标签，所述报告伪标签是针对对应的所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；以及

至少使用所选择的所述报告训练子集和所分配的所述报告伪标签来训练所述报告分类器。

11.根据权利要求10所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的报告(34)的所述选择至少部分地基于所述报告的所述基于图像的标签置信度值低于所述图像的所述基于报告的标签置信度值。

12.根据权利要求11所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的所述报告(34)的所述选择还基于针对所述报告的所述基于图像的标签与针对所述报告的所述基于报告的标签是相同的。

13.根据权利要求11所述的非暂态计算机可读介质(26)，其中针对在所述训练子集中包括的所述报告(34)的所述选择还基于针对所述报告的所述基于图像的标签与针对所述报告的所述基于报告的标签是不同的，并且所述分配将所述基于报告的标签作为针对所述报告的所述伪标签进行分配。

14.根据权利要求11至13中任一项所述的非暂态计算机可读介质(26)，其中所述方法(100)还包括：

在所述生成、所述选择和所述训练操作之前，使用经标记的训练集合(101)来执行所述ML报告分类器(16)的初始训练，所述经标记的训练集合(101)包括相应于所述标签集合而被标记的经标记的报告；

其中所述训练使用所选择的所述训练子集和所分配的所述伪标签，并且还使用所述经标记的训练集合。

15.根据权利要求11至14中任一项所述的非暂态计算机可读介质(26)，其中所述方法(100)还包括：

基于所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述图像集合的训练子集；

为所述训练子集中的每个图像(30)分配伪标签，所述伪标签是针对所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；以及

至少使用所选择的所述训练子集和所分配的所述伪标签来训练所述ML图像分类器(14)。

16.根据权利要求15所述的非暂态计算机可读介质(26)，其中针对在所述图像训练子集中包括的图像(30)的所述选择至少部分地基于对应的所述报告(34)的所述基于图像的标签置信度值高于对应的所述图像的所述基于报告的标签置信度值。

17.根据权利要求11至16中任一项所述的非暂态计算机可读介质(26)，其中所述ML报告分类器(16)包括人工神经网络(ANN)。

18.一种训练机器学习(ML)图像分类器(14)以及经训练的ML报告分类器(16)以使用图像集合和对应的放射学报告来相应于标签集合对图像进行分类的方法(100)，所述图像集合未相应于所述标签集合被标记，对应的所述放射学报告未相应于所述标签集合被标记，所述方法包括：

通过将所述ML图像分类器应用于所述图像，从所述标签集合生成针对所述图像的基于图像的标签和针对所述基于图像的标签的基于图像的标签置信度值；

通过将所述ML报告分类器应用于对应的所述放射学报告，从所述标签集合生成针对所述图像的基于报告的标签和针对所述基于报告的标签的基于报告的标签置信度值；

基于所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述图像集合的训练子集；

基于对应的所述图像的所述基于图像的标签、所述基于报告的标签、所述基于图像的标签置信度值和所述基于报告的标签置信度值，选择所述放射学报告集合的报告训练子集；

为所述训练子集中的每个图像分配伪标签，所述伪标签是针对所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；

为所述报告训练子集中的每个放射学报告分配报告伪标签，所述报告伪标签是针对对应的所述图像的所述基于图像的标签或者所述基于报告的标签中的一个；

至少使用所选择的所述训练子集和所分配的所述伪标签来训练所述ML图像分类器；以及

至少使用所选择的所述报告训练子集和所分配的所述报告伪标签来训练所述报告分类器。

19.根据权利要求18所述的方法(100)，其中针对在所述训练子集中包括的图像(30)的所述选择至少部分地基于所述图像的所述基于图像的标签置信度值低于所述图像的所述基于报告的标签置信度值。

20.根据权利要求18或19中任一项所述的方法(100)，其中针对在所述训练子集中包括的报告(34)的所述选择至少部分地基于所述报告的所述基于图像的标签置信度值低于所述图像的所述基于报告的标签置信度值。

Images