CN114223006A - 使用机器学习模型来诊断皮肤状况 - Google Patents

Abstract

一种诊断系统训练机器学习诊断模型集，机器学习诊断模型集被配置为接收患者的图像并生成关于患者是否有一个或多个健康状况的预测。在一个实施例中，机器学习模型集被训练以生成针对包含患者的两个或更多潜在健康状况的图像的预测。在一个实例中，两个或更多健康状况的症状被示出为患者身上的两个或更多重叠皮肤异常。通过使用本文描述的诊断模型集的架构，与现有系统相比，诊断系统可以针对包含两个或更多健康状况的重叠症状的图像生成更准确的预测。

Description

使用机器学习模型来诊断皮肤状况

相关申请的交叉引用

本申请要求于2019年7月1日提交的美国临时申请第62/869,553号的权益和优先权，该申请的全部内容通过引用并入本文。

背景技术

本公开总体上涉及对健康异常的诊断，并且更特别地涉及对图像中的重叠健康状况进行诊断。

计算机化诊断系统被配置为接收患者的图像并基于图像中症状的存在来生成关于患者是否具有一个或多个健康状况的预测。可以应用计算机化诊断系统来预测患者的不同解剖学部位中的健康状况。例如，可以应用皮肤诊断系统来预测患者皮肤的图像是否存在一种或多种皮肤异常，诸如皮疹、色素痣、湿疹、痤疮和唇疱疹。作为另一个示例，可以应用肿瘤诊断系统来预测患者解剖结构的图像是否包含肿瘤。

通常，患者可能有出现在同一图像中的多个健康状况。例如，图像可能包含银屑病斑块和痣，这两种皮肤异常位于同一条手臂上，在空间上彼此分开。作为另一个示例，图像可能包含彼此重叠的皮肤异常，诸如在其边界内具有色素痣的银屑病斑块。然而，在这些实例中，现有的计算机化诊断系统难以生成准确的诊断，因为，例如计算机化诊断系统已被训练为生成对单一健康状况的预测。此外，当健康状况重叠时，图像中的呈现和其他症状可以单独地是任一状况的结果或是两种状况组合的结果，并且计算机化诊断系统可能难以将图像中的症状准确地区分为相应的健康状况。

发明内容

诊断系统训练机器学习诊断模型集，机器学习诊断模型集被配置为接收患者的图像并生成关于患者是否具有一种或多个健康状况的预测。在一个实施例中，机器学习模型集被训练为生成对图像的预测，该图像包括患者的两个或更多潜在健康状况。在一个实例中，两个或更多健康状况的症状被示出为患者身上两个或更多重叠的皮肤异常。通过使用本文描述的诊断模型集的架构，与现有的系统相比，该诊断系统可以为包括两个或更多健康状况的重叠症状的图像生成更准确的预测。

在实施例中，诊断系统从客户端设备接收对输入图像中的皮肤异常进行诊断的请求。输入图像包括皮肤上两个或更多皮肤异常的重叠症状。诊断系统从数据库访问机器学习诊断模型集。每个机器学习模型都包括相应的已训练权重集，这些权重是通过训练过程确定的。诊断系统通过将诊断模型集应用到输入图像为输入图像中的两个或更多皮肤异常中的每一个生成相应的预测。预测指示两个或更多皮肤异常中的相应皮肤异常在输入图像中被示出的可能性。诊断系统从对输入图像的预测生成对皮肤异常的诊断，并将该诊断提供给客户端设备。

在一个实施例中，诊断系统训练机器学习的指示器模型集，这些模型被配置为接收患者或个体的图像并生成关于输入图像是否呈现两个或更多健康状况的指示。在一个实施例中，诊断系统接收对输入图像中的健康状况进行诊断的请求。诊断系统从数据库访问指示器模型或具有指示器功能性的诊断模型。通过将指示器模型应用到输入图像，诊断系统生成表示输入图像包括两个或更多健康状况的可能性的指示。诊断系统从针对输入图像所生成的指示来确定输入图像是否呈现两个或更多健康状况。诊断系统基于该确定生成请求的结果，并将结果提供给客户端设备的用户。

因为呈现多个健康状况的输入图像可能难以诊断，所以客户端设备的用户可以接收这种指示，以作为对图像的主动诊断的补充或备选。然后，用户可以确定将输入图像提供给医学专家以获得更准确的诊断。因此，对于计算机化诊断系统的用户有利的是，接收关于输入图像是否包括来自两个或更多健康状况的症状的信息，以使得不同的专家系统或医学专家可以做出更准确的诊断。

附图说明

图1是根据实施例的诊断系统的系统环境的高级框图。

图2图示了根据实施例的诊断模型的一般推理过程。

图3图示了根据实施例的具有集成架构的机器学习诊断模型集的示例推理过程。

图4图示了根据实施例的结合诊断模型集使用独立分量分析(ICA)的示例推理过程。

图5图示了根据实施例的具有循环神经网络(RNN)架构的诊断模型的示例推理过程。

图6图示了根据实施例的包括用于无定形和局部皮肤异常的区分器模型的诊断模型集的示例推理过程。

图7图示了根据实施例的具有非最大抑制的诊断模型的示例推理过程。

图8图示了根据实施例的不确定性模型的示例推理过程。

图9是根据实施例的诊断系统的架构的框图。

图10图示了根据实施例的用于图4中所示的诊断模型集的示例训练过程。

图11图示了根据实施例的诊断图像中的重叠皮肤异常的示例性数据流。

图12图示了根据实施例的在输入图像中生成两个或更多皮肤异常的指示的示例性数据流。

附图仅出于说明目的描绘了本发明的各种实施例。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文描述的本发明原理的情况下，可以采用本文中说明的结构和方法的备选实施例。

具体实施方式

概述

图1是根据实施例的诊断系统的系统环境的高级框图。图1所示的系统环境100包括一个或多个客户端设备110、网络120和诊断系统130。在备选配置中，系统环境100中可以包括不同的和/或附加的组件。

诊断系统130是用于向客户端设备110的用户提供各种类型的计算机化诊断的系统。诊断系统130可以接收患者的解剖学部位的图像并基于该图像生成关于患者是否具有一种或多个健康状况的预测。例如，诊断系统130可以接收患者皮肤的图像并且生成关于患者是否具有一个或多个皮肤异常的预测，诸如皮疹、色素痣、湿疹、痤疮和唇疱疹。作为另一个示例，诊断系统130可以接收患者大脑的放射学图像并生成关于患者是否患有脑肿瘤的预测。由诊断系统130生成的预测可以用作独立的诊断，或者可以被用于协助例如医院的医生解释患者的图像。

诊断系统130训练机器学习诊断模型集，这些模型被配置为接收患者的图像并生成对一个或多个健康状况的预测。诊断系统130接收的图像可以是在医院获得的医学图像，诸如放射图像、计算机断层扫描(CT)扫描、医学共振成像(MRI)扫描、X射线图像、超声波或超声检查图像、触觉图像、或热成像图像。在另一个实例中，图像可以是由客户端设备110的个人用户(例如，在家或在办公室)拍摄的图片。图像可以示出患者解剖学部位上的症状或其他呈现，诊断系统130可以使用它们来推理作为生成这些症状的原因的健康状况。

在一个实施例中，诊断系统130训练机器学习模型集以生成对图像的预测，该图像包括患者的两个或更多健康状况的症状。具体而言，患者可能会具有来自出现在同一图像中的多个健康状况的症状。例如，图像可以包含银屑病斑块和痣，这两种皮肤异常位于同一条手臂上，空间上彼此分开。作为另一个示例，图像可以包括彼此重叠的皮肤异常，诸如在其边界内有色素痣的银屑病斑块。然而，在这些实例中，现有的计算机化诊断系统可能难以生成准确的诊断，尤其是当症状重叠时，因为症状可以是患者潜在健康状况的未知组合的结果或个体的结果。此外，现有的诊断系统可以被配置为生成对单个状况的预测。因此，即使现有的诊断系统能够检测到图像中健康状况之一，检测到的状况也会排除图像中剩余的健康状况，从而导致漏诊，而漏诊会导致图像的受试者的重大健康问题。

在推理过程期间，诊断系统130接收对输入图像中的健康状况进行诊断的请求。输入图像包括来自患者的两个或更多健康状况的重叠症状。诊断系统130从数据库访问机器学习诊断模型集。每个机器学习模型都包括相应的已训练权重集，这些权重是通过训练过程确定的。诊断系统130通过将诊断模型集应用到输入图像为输入图像中的两个或更多健康状况中的每一个生成相应的预测。预测指示输入图像示出来自相应健康状况的症状的可能性。诊断系统130从该预测生成对输入图像的诊断并将该诊断提供回客户端设备110。

在本说明书的其余部分提及的一个特定实施例中，两个或更多健康状况是两个或更多的皮肤异常，这些皮肤异常具有在患者皮肤上呈现的重叠症状。例如，色素痣可能出现在有皮疹的皮肤区域。作为另一个示例，患有湿疹的皮肤区域可能与患有接触性皮炎的皮肤的一部分重叠。然而，应当了解，在其他实施例中，两个或更多健康状况可以是任何类型的健康相关状况，诸如可以在患者的相同解剖学部位中产生重叠或空间分离的症状的疾病或过敏。例如，两个或更多健康状况可以是不同类型的肿瘤、血液疾病等，它们可以单独或组合地在患者身上呈现症状。

图2图示了根据实施例的诊断模型的一般推理过程。诊断系统130接收被怀疑有皮肤异常的患者的输入图像210。具体地，输入图像210示出在患者的手臂上彼此重叠的第一皮肤异常212和第二皮肤异常214。诊断系统130从数据库访问机器学习诊断模型集。诊断系统130将诊断模型应用到输入图像210，以生成针对输入图像210的两个或更多预测v’₁，v’₂，...，v’_n。预测v’₁可以指示输入图像210包括来自相应皮肤异常i的症状的可能性。在图2中所示的示例中，预测v’₁可以指示输入图像210包括色素痣的高可能性，而预测v’₂可以指示输入图像210还包括皮疹的高可能性。针对其他皮肤异常的其余预测可能与显著低的可能性相关联。通过选择具有高于预定阈值的可能性的预测子集并向客户端设备110提供诊断，诊断系统130确定输入图像210包括色素痣和皮疹的诊断。

返回到图1的系统环境，诊断系统130通常使用图像和标签的训练语料库来训练用于诊断模型的相应权重集以减少损失函数。用于诊断模型的损失函数指示估计输出与训练语料库中的实际标签之间的差异，估计输出是通过将具有估计权重集的诊断模型应用到训练语料库中诊断模型被配置为接收的输入数据而生成的，训练语料库中的实际标签表示诊断模型被配置为预测的数据的类型。用于诊断模型的估计权重集被反复更新以减少损失函数，直到达到预定标准。结合图9更详细地描述了用于诊断模型集的训练过程。

如本文所述，图3至图7图示了诊断模型集的各种架构，诊断系统130可以使用这些诊断模型在推理过程期间生成对图像中呈现的两个或更多健康状况的预测。下面描述的每个架构都可以包括通过训练过程确定的已训练权重集，这将结合图9进行描述。通过使用本文描述的诊断模型集的架构，与现有系统相比，该诊断系统可以针对图像生成更准确的预测，该图像包括两个或更多重叠健康状况。

图3图示了根据实施例的用于具有集成架构的机器学习诊断模型集的示例推理过程。在一个实施例中，诊断模型集包括机器学习诊断模型的集成集。具体地，集成中的每个诊断模型被配置为接收输入图像并通过针对诊断模型应用已训练权重集来生成关于患者是否具有一个或多个健康状况的一个或多个预测。在图3中所示的示例中，诊断模型集成集包括“诊断模型1、“诊断模型2”和“诊断模型3”。

集成集中的诊断模型被配置为与集成集中的其他诊断模型生成对不同或相同的健康状况集的预测。在图3中所示的示例中，“诊断模型1”可以被配置为生成预测v’^M1 ₁和预测v’^M1 ₂，预测v’^M1 ₁指示输入图像包括色素痣的可能性，预测v’^M1 ₂指示输入图像包括皮疹的可能性。作为另一个示例，“诊断模型2”可以被配置为生成指示输入图像包括皮疹的可能性的单个预测v’^M2 ₁，并且“诊断模型3”可以被配置为生成预测v’^M3 ₁和预测v’^M3 ₂，预测v’^M3 ₁指示输入图像包括色素痣的可能性，预测v’^M3 ₂指示输入图像包括痤疮的可能性。

在推理过程期间，通过将诊断模型的集成集应用到输入图像并组合来自集成集对每个相应的健康状况的预测，诊断系统130生成对输入图像中的两个或更多健康状况中的每个健康状况的相应预测。在一个实例中，对相应健康状况的预测是通过计算由集成集生成的对健康状况的预测的平均值来生成的。在图3中所示的示例中，通过对来自“诊断模型1”和“诊断模型2”的预测v’^M1 ₂，、v’^M2 ₁求平均来生成指示患者患有皮疹的可能性的预测v’₁。然而，应当了解，在其他实施例中，可以以平均值之外的任何其他方式对来自整体中的诊断模型的预测进行组合。诊断系统130通过选择具有高于预定阈值的可能性的预测子集来确定诊断。

在一个实施例中，集成集中的诊断模型可以被配置为生成多个输出，每次将诊断模型应用到输入图像时这些输出不一定对应于相同的健康状况序列。在这种实施例中，诊断系统130可以通过预测和中间特征的相似性对来自集成集的预测进行分组，并且可以通过组合来自每个所标识的群组的预测来生成对输入图像中呈现的两个或更多健康状况的预测。在另一个实例中，诊断系统130可以使用例如注意力模型对来自相似位置的集成集的预测进行分组，并且可以通过组合对每个所标识的位置的预测来生成对输入图像中的两个或更多健康状况的预测。

图4图示了根据实施例的使用独立分量分析(ICA)结合诊断模型集的示例推理过程。在一个实施例中，该诊断模型集包括特征提取器模型、独立分量分析(ICA)模型、和特征分类器模型。特征提取器模型被配置为接收输入图像并通过应用第一已训练权重集来生成表征输入图像中的多个空间特征的图像张量。ICA模型被配置为接收图像张量并从图像张量提取多个分量。特征分类器模型被配置为接收分量并通过应用第二已训练权重集来生成预测，该预测指示针对分量的相应健康状况的可能性。

在推理过程期间，诊断系统130通过将特征提取器模型应用到输入图像来生成针对输入图像的图像张量416。将图像张量416中的每个空间位置视为观察位，诊断系统130执行ICA从图像张量416提取多个分量CF₁，CF₂，CF₃，...，CF_n。对于每个所提取的分量，诊断系统130计算该分量对图像张量416的贡献以生成针对该分量的相应张量。在一个实例中，通过计算多个分量中剩余分量的贡献并从图像张量416中减去剩余分量的贡献，生成针对该分量的相应张量。在图4中所示的示例中，针对分量CF₁的相应张量418是通过计算剩余分量CF₂，CF₃，...，CF_n的贡献并从图像张量416中减去这些贡献而生成的。尽管图4仅图示了分量CF₁的相应张量418，但是可以重复该过程以生成针对剩余分量CF₂，CF₃，...，CF_n中每一个的相应张量。

对于每个张量，诊断系统130通过将特征分类器模型应用到针对分量的张量来生成预测。在图4中所示的示例中，通过将特征分类器模型应用到针对分量的张量418来生成针对分量CF₁的预测v’₁。虽然图4仅图示了针对分量CF₁的预测v’₁，但可以重复该过程，通过将特征分类器模型应用到针对每个分量的张量，从其余分量CF₂，CF₃，...，CF_n中的每一个生成相应的预测。通过选择可能性高于阈值的子集，诊断系统130基于预测v’₁，v’₂，...，v’_n来确定诊断。

基于从图像张量提取的分量的数目，诊断可以各自对应于输入图像下的不同的健康状况，或者如果所提取分量的数目大于输入图像中所包括的健康状况的数目，则诊断的子集可以对应于相同的健康状况。在一个实例中，诊断系统130基于输入图像中健康状况的估计数目来提取预定数目的分量。在另一个实例中，诊断系统130用越来越多的分量来执行ICA，并且用每个新分量迭代地生成预测和诊断。诊断系统130在进一步增加分量的数目不会增加独特的诊断的数目时完成推理过程，并且针对ICA的准则函数存在收敛。在一个实例中，可能存在用于确定收敛的所添加分量的阈值数目。例如，在诊断集不变时添加三个分量可以被视为收敛。

在另一个实施例中，在训练过程期间预先提取多个分量。在推理过程期间，诊断系统130将图像张量分解为多个分量的混合，并且计算每个预定分量对图像张量的贡献以生成针对每个分量的相应张量。诊断系统130标识具有高于阈值的贡献的分量的子集。对于每个张量，诊断系统130通过将特征分类器模型应用到针对子集中的分量的张量来生成预测。在一些实施例中，可以使用特征分类器模型对每个预定分量进行预分类和存储。然后，通过使用与贡献分量相关联的所存储的分量来确定分类结果。

图5图示了根据实施例的具有循环神经网络(RNN)架构的诊断模型的示例推理过程。在一个实施例中，诊断模型集包括具有RNN架构的诊断模型，RNN架构包括一个或多个具有权重集的神经网络层。RNN架构被配置为接收图像序列，并且针对图像序列中呈现的两个或更多健康状况依次生成预测。输入图像的序列可以是相同输入图像的重复序列，或者可以是以不同视图、透视、过滤器之类捕获所讨论的患者的解剖学部位的图像序列。在图5中所示的示例中，图像序列510(1)，510(2)，...，510(n)是患者的手臂皮肤的相同图像。然而，在另一个示例中，图像序列可以包括从不同视点或以不同色标捕获的相同手臂的图像。

具体地，对于序列中的当前图像，RNN架构被配置为接收当前图像510(i)和前一次迭代的隐藏状态h_i-1，并通过应用第一已训练权重集为当前图像510(i)生成隐藏状态h_i。RNN架构还被配置为接收当前图像的隐藏状态h_i并通过应用第二已训练权重集生成对相应的健康状况的预测v_i。在每次迭代之后，RNN架构可以还被配置为，确定诊断模型是应该生成对输入图像中的其他健康状况的预测，还是应该完成推理过程。如果RNN架构确定继续生成预测，则RNN架构接收序列中的下一个图像510(i+l)并生成对另一个健康状况的预测v_i+1。重复这个过程，直到RNN架构确定要完成推理过程。在图5中所示的示例中，预测v’₁可以指示输入图像包括色素痣，而下一个预测v’₂可以指示输入图像包括皮疹。

在一个实施例中，RNN架构还被配置为，在每次迭代时除了当前图像510(i)和前一次迭代的隐藏状态h_i-1之外还接收记忆向量m_i，并且从当前图像510(i)生成对相应健康状况的预测vi。记忆向量m_i可以表示一个向量，该向量包括关于直到当前迭代i已经对哪些健康状况进行了分类的信息。例如，记忆向量m_i可以是直到当前迭代的先前预测或先前诊断的总数。在图5中所示的示例中，第二次迭代时的记忆向量m₂可以基于v₁指示到第二次迭代已经对色素痣做出了预测或诊断。通过进一步将RNN架构配置为接收记忆向量，诊断系统130可以构造诊断模型以生成对先前在推理过程每次迭代中还没有预测的健康状况的预测。

在推理过程期间，通过将RNN架构重复地应用到输入图像序列，诊断系统130为两个或更多健康状况中的每一个生成相应的预测。在一个实施例中，当RNN架构还被配置为接收记忆向量时，诊断系统130可以基于到当前迭代已经生成的预测来获得用于迭代的相应的记忆向量。通过将RNN架构重复地应用到图像序列和记忆向量，诊断系统130为两个或更多健康状况中的每一个生成相应的预测。

图6图示了根据实施例的包括针对无定形和局部皮肤异常的区分器模型的诊断模型集的示例推理过程。在一个实施例中，机器学习诊断模型集包括区分器模型、无定形异常模型和局部异常模型。区分器模型被配置为接收输入图像并通过应用第一已训练权重集来生成关于输入图像是否包括无定形皮肤异常或局部皮肤异常的指示。无定形异常模型被配置为接收输入图像并通过应用第二已训练权重集来生成关于输入图像是否包括一个或多个诸如皮疹、湿疹之类的无定形皮肤异常的预测。局部异常模型被配置为接收输入图像并通过应用第三已训练权重集来生成关于输入图像是否包括一个或多个诸如色素痣、痤疮之类的局部皮肤异常的预测。

具体而言，虽然诸如皮疹、湿疹、皮炎之类的无定形皮肤异常可以表现在皮肤上而没有决定性的形状或形式，但诸如色素痣之类的局部皮肤异常可以更清楚地被定义为皮肤上的局部斑点。因此，由于形状和形式的差异，诊断系统130可以通过训练两个单独的模型而获得更准确的预测，其中一个模型生成对无定形皮肤异常的预测，而另一个模型生成对局部皮肤异常的预测。

在推理过程期间，通过将区分器模型应用到输入图像，诊断系统130生成关于输入图像是否包括局部或无定形皮肤异常的指示。与生成可以用于诊断具体类型的皮肤异常(例如，色素痣、痤疮、皮疹)的预测不同，区分器模型的输出可以简单地指示输入图像是否包括任何可归类为无定形的皮肤异常和/或任何可归类为局部的皮肤异常。响应于确定输入图像包括无定形皮肤异常，通过将无定形异常模型应用到输入图像，诊断系统130生成对一个或多个无定形皮肤异常的具体预测。此外，响应于确定输入图像包括局部皮肤异常，通过将局部异常模型应用到输入图像，诊断系统130生成对一个或多个局部皮肤异常的具体预测。

图7图示了根据实施例的用于具有非最大抑制的诊断模型的示例推理过程。在一个实施例中，机器学习诊断模型被配置为接收输入图像并生成包括对健康状况列表的预测的向量。在图7中所示的示例中，由诊断模型生成的预测v’可以包括一个或多元素，每个元素对应于对相应健康状况的预测。例如，第一元素可以对应于输入图像包括湿疹的预测，第二元素可以对应于输入图像包括皮炎的预测，等等。

在推理过程期间，通过将诊断模型应用到输入图像，诊断系统130生成对两个或更多健康状况的相应预测。在一个实施例中，诊断系统130通过使用非极大值抑制来确定诊断。具体地，诊断系统130将向量v’表示的不同健康状况分成群组，并且对于每个群组，仅选择具有最高可能性的健康状况作为诊断的一部分。在一个实例中，根据它们的症状在患者身上视觉上呈现的相似程度对健康状况分组，因此，每个群组包含诊断模型可能被图像混淆的健康状况。在图7中所示的示例中，向量中针对第一到第四元素的健康状况被分配到“群组1”，而针对第n-3到第n元素的健康状况被分配到“群组m”。通过选择针对“群组1”中的第二元素和“群组m”中的第n-1元素的健康状况(因为每个元素具有每个群组中的最高可能性)并将剩余元素设置为零，诊断系统130确定诊断v’_nm。

返回到图1的系统图，诊断系统130还可以训练机器学习的指示器模型集，这些模型被配置为接收患者的图像并生成关于输入图像是否呈现两个或更多健康状况的指示。诊断系统130可以生成关于输入图像是否呈现两个或更多健康状况的指示并将结果提供给客户端设备110的用户，而不是主动诊断特定健康状况本身。具体而言，代替生成可以用于诊断具体类型的健康状况的预测，指示器模型的输出可以简单地确定输入图像是否示出来自两个或更多健康状况的症状(例如，重叠症状)。由于呈现多个健康状况的输入图像可能难以诊断，因此客户端设备110的用户可以接收这种指示，以作为主动诊断的补充或备选。然后，用户可以确定将输入图像提供给医学专家以获得更准确的诊断。

图8图示了根据实施例的针对指示器模型的示例推理过程。在一个实施例中，诊断模型训练机器学习的指示器模型，该模型被配置为接收输入图像并通过应用已训练权重集来生成关于输入图像是否呈现两个或更多健康状况的指示e’。在图8中所示的示例中，诊断系统130通过将指示器模型应用到输入图像来生成指示e’。诊断系统130可以简单地向客户端设备110的用户提供图像包括太多健康状况的信息以用于准确诊断。

在另一个实施例中，代替如结合图8所述的训练单独的指示器模型，诊断系统130还将指示器功能结合到诊断模型中。例如，诊断模型可以被配置为接收输入图像并生成对图像中包括的一种或多个健康状况的预测，并且生成输入图像是否呈现两个或更多健康状况的指示。例如，除了对健康状况的预测之外，结合图2到图7描述的诊断模型集可以还被配置为生成这种指示。作为另一个示例，诊断模型可以被配置为一次生成单个输出，并且可以响应于接收到示出两个或更多健康状况的输入图像而生成这种指示作为单个输出。

在一个实例中，诊断模型被配置为，通过响应于接收到输入图像将呈现两个或更多健康状况的输入图像分类为单独的类别并而生成针对该单独类别的可能性，来生成这种指示。在另一个实例中，诊断模型被配置为，当对健康状况的预测以相对相等的可能性或置信水平被输出时生成这种指示，以指示预测中的不明确。例如，如果对具有色素色素痣、皮疹、皮肤病的预测分别输出为0.32、0.29、0.35，则诊断系统130可以确定输入图像包括来自两个或更多健康状况的症状。

在一个实施例中，如果指示可能性高于阈值可能性，则诊断系统130可以确定输入图像呈现两个或更多状况，否则输入图像呈现单个健康状况。在一些实施例中，该指示可以标记两种可能性：关于输入图像是否呈现两个或更多健康状况的第一可能性，和关于输入图像是否呈现单一健康状况的第二可能性。如果第一可能性高于阈值，则诊断系统130可以确定输入图像呈现两个或更多状况，并且如果第二可能性高于阈值，则可以确定输入图像呈现单个健康状况。

因此，在一个实施例中，诊断系统130可以接收对输入图像中的健康状况进行诊断的请求。诊断系统130可以从数据库访问指示器模型或具有指示器功能性的诊断模型。通过将指示器模型应用到输入图像，诊断系统130可以生成表示输入图像包括两个或更多健康状况的可能性的指示。诊断系统130从针对输入图像生成的指示来确定输入图像是否呈现两个或更多健康状况。诊断系统130基于该确定来生成请求的结果，并且将结果提供给客户端设备110。该结果可以包括基于该确定的、用于输入图像中的个人的健康护理选项，并且这个建议的护理选项可以被提供给客户端设备110。

在一个实施例中，诊断系统130可以确定指示不明确，因为诊断模型130不能对输入图像是否呈现两个或更多健康状况做出决定性的确定。例如，这可能发生在第一可能性(例如，图像呈现两个或更多健康状况的可能性)和第二可能性(例如，图像呈现单一健康状况的可能性)都低于阈值(例如，80％)的情况下。在这种实施例中，诊断系统130可以向客户端设备输出无法做出诊断的结果，并且例如可以建议客户端设备110的用户获得医学专业知识。

在一些实施例中，响应于确定输入图像呈现两个或更多皮肤异常，诊断系统130可以向客户端设备110提供关于指示的信息，而不提供对输入图像中的两个或更多健康状况的预测。例如，诊断系统130可以审查并确认政府法规和政策(例如，食品和药物管理局(FDA)发布的法规或疾病控制中心(CDC)发布的指南等)，并且生成要求遵守这些法规的结果。因此，即使诊断系统130可以生成对两个或更多健康状况的预测，但如果法规例如对图像中呈现的两个或更多健康状况的计算机化诊断施加了限制，则诊断系统130也可以在向客户端设备110的输出中省略这些结果。在这种实施例中，诊断系统130可以简单地向用户提供输入图像包含两个或更多健康状况但由于政府法规不能进行诊断的信息。

在一些实施例中，响应于确定输入图像呈现单个健康状况，诊断系统130可以访问数据库并从中选择被配置为生成对单个健康状况的预测的诊断模型。通过将选择的诊断模型应用到输入图像，诊断系统130生成对输入图像的预测。诊断系统130基于预测生成对单皮肤异常的诊断并将诊断作为结果提供给客户端设备。

在一些实施例中，响应于确定输入图像呈现两个或更多健康状况，诊断系统130可以访问并选择被配置为从数据库生成对两个或更多健康状况中每一个的相应预测的诊断模型集。例如，诊断系统130可以访问结合图2到图7描述的模型，该模型被配置为生成对两种或多个健康状况的预测。通过将诊断模型集应用到输入图像，诊断系统130生成对输入图像中的两个或更多健康状况的预测。诊断系统130从预测生成对输入图像的诊断并将诊断作为结果提供给客户端设备110。

虽然结合图2至图8描述的机器学习模型被配置为接收以图像形式的输入数据，但这些机器学习模型也可以被配置为接收附加类型的输入数据。例如，附加类型的输入数据可以包括患者的传记数据，诸如患者的身高或体重、患者的病史、或对请求患者已知的现有医疗状况的信息的问题的患者回答等。例如，患者的病史可以指示患者容易出现某些可能影响模型预测结果的健康状况。

返回到图1的系统图，客户端设备110向诊断系统130提供患者的解剖学部位的图像，以使得诊断系统130可以在客户端设备110上生成和示出预测或其他指示。客户端设备110的用户可以是医院的医学专家，其希望利用计算机化诊断系统来辅助诊断患者的健康状况。作为另一个示例，客户端设备110的用户可以是在家中或办公室中希望基于个人身体上呈现的症状而获得潜在健康状况的诊断的个人。

在一个实施例中，客户端设备110包括允许客户端设备110的用户使用标准互联网协议与诊断系统130交互的浏览器。在另一个实施例中，客户端设备110包括(例如，由负责诊断系统130的组织)专门设计的专用应用，以实现客户端设备110和服务器之间的交互。在一个实施例中，客户端设备110包括允许客户端设备110的用户与诊断系统130交互以查看对输入图像中的健康状况的预测的用户界面。例如，用户界面可以被配置为将诊断系统130生成的预测叠加在图像被估计有相应健康状况的位置上。

客户端设备110可以是计算设备，诸如，具有诸如

或

之类的操作系统的智能电话、平板计算机、膝上型计算机、台式计算机、或包括或可以被配置为连接摄像头的任何其他类型的支持网络的设备。在另一个实施例中，客户端设备110是包括用于向用户生成增强现实(AR)环境的计算设备或智能电话摄像头的耳机，或者是包括用于向用户生成虚拟现实(VR)环境的计算设备的耳机。典型的客户端设备110包括(例如，经由WiFi和/或4G或5G或其他无线电信标准)连接到网络122所需的硬件和软件。

网络122提供客户端设备110和诊断系统130之间的通信基础设施。网络122通常是互联网，但可以是任何网络，包括但不限于局域网(LAN)、城域网局域网(MAN)、广域网(WAN)、移动有线或无线网络、专用网络或虚拟专用网络。

诊断系统的架构

图9是根据实施例的诊断系统130的架构的框图。图9所示的诊断系统130包括训练模块920、数据管理模块925、训练模块330、预测模块930和处理输出模块935。诊断系统130还包括训练数据存储库960和模型数据存储库965。在备选配置中，不同和/或附加的组件可以被包括在诊断系统130中。

数据管理模块920获得并管理在训练数据存储库960中存储的训练数据，训练数据可以用于训练结合图2到图8中的诊断系统130描述的模型集。训练数据存储库960包括从个体解剖学部位的图像或视频提取的信息以及对这些图像中呈现的健康状况的已知诊断。例如，训练数据存储库960可以包括从医学图像提取的信息，医学图像诸如放射学图像、计算机断层(CT)扫描、医学共振成像(MRI)扫描、X射线图像、超声波或超声检查图像、触觉图像或热成像图像，这些图像是数据管理模块920从医院、医学图像库、研究图像库等获得的。作为另一个示例，训练数据存储库960可以包括从个人拍摄的图像提取的信息，诸如在智能手机摄像头上获得的图像，这些图像由数据管理模块920从客户端设备110的用户获得。

训练模块925使用训练数据存储库960中的信息来训练模型集。具体地，对于给定的诊断模型M_i，训练数据S_i包括多个训练实例j1，2，...，|S_i|，每个都包括输入数据x_j∈S(例如，训练图像或视频)和标签y_j∈Si，它们是输入数据x_j∈S的已知表征(例如，诊断)。具体地，输入数据X_j 可以包括从捕获个体解剖学部位的训练图像提取的信息。在一个实施例中，当机器学习模型被配置为除了输入图像以外或代替输入图像还接收附加类型的数据时，输入数据x_j∈S也可以包括针对训练图像中的患者的附加类型的数据(例如，用于患者的人口统计信息)。在一个实例中，标签y_j∈Si可以由人类操作者获得，例如医生、医学专家、或可以验证输入数据的特性的其他个人。在另一个实例中，标签本身可以是由机器学习模型生成的预测，该预测随后由人类操作员验证。

训练模块925通过在前向传播步骤和反向传播步骤之间重复迭代来训练用于模型的权重集。在前向传播步骤期间，训练模块920通过将具有估计权重集的模型应用到跨训练数据的对应子集Si的输入数据x_j∈S来生成估计输出y’_j∈S。训练模块920确定损失函数，损失函数指示估计输出y’_j∈S与多个训练实例的标签y_j∈S之间的差异。在反向传播步骤期间，训练模块920通过反向传播从损失函数获得的误差项来重复地更新模型的权重集。重复这个过程，直到损失函数的变化满足预定标准为止。例如，如果每次迭代时损失函数的变化低于阈值，则可以触发标准。

在一个实施例中，损失函数可以由下式给出：

例如，当标签y_j是连续值时，其中θ_p是用于诊断模型的权重集。在另一个实施例中，例如当标签y_j是二进制值时，损失函数可由下式给出：

然而，应当了解，损失函数可以是任何其他函数，诸如L1-范数、L-无穷范数，其指示在每次训练交互期间生成的实际标签和估计输出之间的差异。

如下所述，训练模块925训练结合图2到图7描述的诊断模型集，这些模型可以用于确定对输入图像的主动诊断。在一个实施例中，一个或多个诊断模型被配置为生成预测y’＝v’作为输出向量，其中输出向量v′中的每个元素对应于对相应健康状况的预测。在这种实施例中，用于诊断模型的训练标签y_j＝v_j可以被编码为独热(one-hot)编码向量，其中如果训练图像被诊断有针对元素的相应健康状况，则向量中的每个元素是二进制非零值(例如，值1)，如果没有诊断，则为零。因此，对于呈现两个或更多健康状况的训练图像，每个相应的元素可以被设置为适当的值以使得向量中的两个或更多元素具有非零值。例如，被配置为预测皮疹和色素痣的诊断模型的训练数据可以包括标签“[0 1]”，其中第一元素指示在对应的训练图像中出现皮疹，第二元素指示在训练图像中没有色素痣。在另一个实施例中，诊断模型可以被配置为生成预测y’＝v’作为输出值，该输出值可以被指派给一个或多个类别，每个类别表示相应的健康状况。在这种实施例中，用于诊断模型的标签y_j＝v_j的值可以标记在训练图像中所诊断的相应的健康状况的类别。例如，示例诊断模型的训练数据可以包括指示在训练图像中存在皮疹的标签“1”，或指示在训练图像中存在色素痣的“2”。

训练模块920训练结合图3描述的诊断模型的集成集的权重集。具体地，集成集中的每个诊断模型可以被配置为生成对一个或多个健康状况的相应集的预测。集成集中的诊断模型可以在模型架构、模型被配置为预测的健康状况集等方面彼此不同。在一个实施例中，每个诊断模型都被配置为神经网络架构，神经网络架构包括一组节点层，每一层经由权重集连接到前一层。因此，这种集成集中的诊断模型在架构内的层数、节点和连接数方面可能彼此不同。

训练模块925使用训练数据集来训练集成集中的诊断模型的权重集，训练集包括作为输入数据x_j∈Si的训练图像和对应的标签y_j∈S＝v_j∈S，标签y_j∈S＝v_j∈S指示存在诊断模型配置为预测的具体健康状况。在前向传播步骤期间，训练模块925通过将诊断模型应用到训练图像来生成估计输出y’_j∈S＝v’_j∈S。在反向传播步骤期间，训练模块925用从损失函数获得的项来重复地更新用于诊断模型的权重集。

训练模块920训练结合图4描述的用于特征提取器模型和特征分类器模型的权重集。在一个实施例中，特征提取器模型和特征分类器模型通过训练包括第一部分和第二部分的神经网络架构来训练。用于神经网络架构的第一部分的权重集可以被存储为特征提取器模型的权重集，用于第二部分的权重集可以被存储为特征分类器模型的权重集。随后，使用从训练图像提取的多个分量来重新训练用于特征分类器模型的权重集。

图10图示了根据实施例的在图4中所示的诊断模型集的示例训练过程。训练模块925训练包括一组节点层的神经网络架构1036，每一层经由权重集连接到前一层。神经网络架构1036可以被配置为生成对一个或多个健康状况的相应集的预测。在一个实施例中，神经网络架构1036被配置为深度神经网络(DNN)、卷积神经网络(CNN)、或可以接收图像数据并生成输出的任何其他类型的神经网络架构。

训练模块925使用训练数据集来训练用于神经网络架构的权重集，训练数据集包括作为输入数据x_j∈S的训练图像和对应的标签y_j∈S＝v_j∈S，标签指示存在特征分类器模型被配置为预测的具体健康状况。在前向传播步骤期间，训练模块925通过将神经网络架构应用到训练图像来生成估计输出y’_j∈S＝v’_j∈S。在反向传播步骤期间，训练模块925使用从损失函数获得的项来重复地更新用于神经网络架构的权重集。

在完成神经网络架构的训练过程之后，训练模块925将神经网络架构的第一部分存储为特征提取器模型的权重集，并将神经网络架构的第二部分存储为特征分类器模型的权重集。在一个实施例中，第一部分和第二部分被选择以使得第二部分包括用于神经网络架构的第一部分的层之后的层的权重集。例如，第一部分可以包括用于神经网络架构的前三层的权重集，而第二部分可以包括用于神经网络架构的后五层的权重集。

训练模块925随后使用训练数据集来重新训练用于特征分类器模型的权重集，训练数据集包括作为输入数据x_j∈Si的从训练图像提取的多个分量CF_j∈S和对应的标签y_j∈S＝v_j∈S，该标签指示特征分类器模型被配置为预测的具体的健康状况在训练图像中的存在。在一个实例中，通过将已训练的特征提取器模型应用到训练图像以生成针对训练图像的图像张量并对图像张量执行ICA以生成多个分量来提取针对训练图像的多个分量。在前向传播步骤期间，训练模块925通过将特征分类器模型应用到多个分量CF_j∈S来生成估计输出y’_j∈S＝v’_j∈S。在反向传播步骤期间，训练模块925用从损失函数获得的项来重复地更新用于特征分类器模型的权重集。

训练模块925训练结合图5描述的用于RNN架构的权重集。训练模块925使用训练数据集来训练用于RNN架构的权重集，训练数据集包括作为输入数据x_j∈S的训练图像序列和对应的标签y_j∈S＝v_j∈S，标签指示RNN架构被配置为预测的具体健康状况的存在。在一个实施例中，当用于RNN架构的训练数据包括呈现两个或多个健康状况的训练图像序列时，标签v_j在序列的每次迭代时可以是独热编码向量，其在训练图像中存在的相应健康状况处具有非零值。在前向传播步骤期间，训练模块925通过将RNN架构重复地应用到训练图像序列来生成估计输出y’_j∈S＝v’_j∈S的序列。在一个实施例中，标签v_j可以在训练过程的前向传播步骤中被重新排序，以使得差异，例如|v_j∈S-v’_j∈S|，可以在所有可能的排序或其子集上被减少或最小化。训练模块925通过组合在序列每次迭代时的估计输出和标签之间的差异来确定损失函数。在反向传播步骤期间，训练模块925使用从损失函数获得的项来重复地更新用于RNN架构的权重集。

训练模块925训练结合图6描述的区分器模型、无定形异常模型和局部异常模型。训练模块925使用训练数据集来训练用于区分器模型的权重集，训练数据集包括作为输入数据x_j∈S的训练图像和对应的标签y_j∈S＝s_j∈S，标签指示无定形皮肤异常的存在或局部皮肤异常的存在。在一个实例中，区分器模型被配置为生成作为向量的指示，其中第一元素对应于图像包括无定形皮肤异常的可能性，第二元素对应于图像包括局部皮肤异常的可能性。在这种实例中，如果训练图像包括无定形皮肤异常，则标签y_j∈S可以被编码以使得向量的第一元素是非零值(例如，值1)，或者如果图像不包括无定形皮肤异常，则标签y_j∈S可以被编码以使得向量的第一元素是零。类似地，如果训练图像包括局部皮肤异常，则向量的第二元素是非零值(例如，值1)，或者如果图像不包括局部皮肤异常，则向量的第二元素为零。在前向传播步骤期间，训练模块925通过将区分器模型应用到训练图像来生成估计输出y’_j∈S＝s’_j∈S，并且在反向传播步骤期间用从损失函数中获得的项来重复地更新用于区分器模型的权重集。

训练模块925使用训练数据集来训练用于无定形异常模型的权重集，训练数据集包括作为输入数据x_j∈Si的训练图像和对应的标签y_j∈S＝v_j∈S，标签指示模型被配置为预测的特定无定形皮肤异常的存在。用于无定形异常模型的训练数据可以包括具有单个无定形皮肤异常或多个无定形皮肤异常的训练图像。在前向传播步骤期间，训练模块925通过将无定形异常模型应用到训练图像来生成估计输出y’_j∈S＝v’_j∈D。在反向传播步骤期间，训练模块925用从损失函数获得的项来重复地更新用于无定形异常模型的权重集。

训练模块925使用训练数据集来训练用于局部异常模型的权重集，训练数据集包含作为输入数据x_j∈S的训练图像和对应的标签y_j∈S＝v_j∈S，标签指示模型被配置为预测的特定局部皮肤异常的存在。用于局部异常模型的训练数据可以包括具有单个局部皮肤异常或多个局部皮肤异常的训练图像。在前向传播步骤期间，训练模块925通过将局部异常模型应用到训练图像来生成估计输出y’_j∈S＝v’_j∈S。在反向传播步骤期间，训练模块925用从损失函数获得的项来重复地更新用于局部异常模型的权重集。

如下文进一步描述的，训练模块925进一步训练结合图8描述的指示器模型，该模型提供了图像是否呈现两个或更多健康状况的指示。训练模块925使用训练数据集来训练用于指示器模型的权重集，训练数据集包含作为输入数据x_j∈S的训练图像和指示训练图像是否呈现两个或更多健康状况的对应标签y_j∈S＝e_j∈S。训练数据可以包括具有来自单个健康状况或多个健康状况的症状的训练图像。在一个实例中，指示器模型被配置为生成表示图像呈现两个或更多健康状况的可能性的指示。在这种实例中，如果训练图像呈现两个或更多健康状况，则标签y_j∈Si可以被编码为非零值，或者如果训练图像呈现单个健康状况，则标签y_j∈Si可以被编码为零。在前向传播步骤期间，训练模块925通过将指示器模型应用到训练图像来生成估计输出y’_j∈S＝e’_j∈S。在反向传播步骤期间，训练模块925用从损失函数获得的项来重复地更新用于指示器模型的权重集。

训练模块925还可以训练与指示器功能性结合的诊断模型。该诊断模型可以是被配置为对图像中的一个或多个健康状况生成计算机化预测的任何模型，诸如图2到图7中的诊断模型集，或被配置为预测单个健康状况的诊断模型。虽然通常可以使用诊断训练数据(例如，训练图像和对应的健康状况标签)来训练诊断模型，但是训练模块925还通过在诊断训练数据以外还包括用于诊断模型的指示性训练数据来进一步训练诊断模型以合并指示器功能性。

在一个实施例中，指示性训练数据S_a包括呈现两个或更多健康状况的训练图像以及指示在训练图像中存在两个或更多健康状况的对应标签y_j∈Sa＝v_j∈Sa。在一个实例中，当用于诊断训练数据的标签y_j∈S＝v_j∈S是独热编码向量时，针对指示性训练数据的标签y_j∈Sa＝v_j∈Sa可以是向量中所有或大多数元素具有非零值的向量。例如，如果训练图像呈现两个或更多健康状况，则被配置为预测单个健康状况的诊断模型的训练数据可以包括标签“[11]”，该标签包括针对所有元素的非零值。以这种方式，诊断模型被配置为通过预测所有或大多数健康状况的相对相似或相等的可能性来生成指示。

在另一个实例中，针对指示性训练数据的标签y_j∈Sa＝v_j∈Sa可以包括附加元素或类别以指派呈现两个或更多健康状况的图像。例如，当诊断训练数据的标签y_j∈S＝v_j∈S是独热编码向量时，除了用于不同健康状况的元素以外，标签可以还被配置为包括用于指示的单独元素。如果训练图像呈现两个或更多健康状况，则该单独的元素是非零值，如果训练图像没有呈现两个或更多健康状况，则该单独的元素为零。例如，被配置为预测皮疹和/或色素痣的诊断模型的训练数据可以包括标签“[111]”，其中第一元素表示在对应的训练图像中出现皮疹，第二元素表示在训练图像中存在色素痣，第三单独元素表示在训练图像中存在两种或多个健康状况。作为另一个示例，当用于诊断的标签y_j∈S＝v_j∈S是类别时，这些标签可以还被配置为除了针对不同健康状况的类别以外还包括用于指示的单独类别。例如，示例诊断模型的训练数据可以包括指示在训练图像中存在皮疹的标签“1”，指示在训练图像中存在色素痣的“2”，以及指示在训练图像中存在两个或更多健康状况的标签“3”。

训练模块925可以将经训练的机器学习模型存储在模型数据存储库965中，以使得它们可以在推理过程期间以结合图2到图8所描述的方式进行部署。

预测模块930接收来自客户端设备110的请求，以提供对在输入图像中捕获的健康状况的计算机化诊断。响应于对诊断的请求，预测模块930可以选择诊断模型集，该诊断模型集可以用于使用由诊断系统130训练的诊断模型来生成对输入图像的诊断。预测模块930可以应用所选择的诊断模型来生成对输入图像中呈现的健康状况的预测，类似于结合图2到图8所描述的示例推理过程。在一个实例中，如果预测的可能性高于阈值，则预测模块930确定对健康状况的诊断。例如，如果预测可能性高于0.80或80％，则预测模块930可以断定在输入图像中肯定存在相应的健康状况。否则，预测模块930可以断定在输入图像中不存在相应的健康状况。

在一些实施例中，预测模块930确定对相应健康状况的预测是不确定的，并且可以生成不能向客户端设备110做出诊断请求的信息，或者备选地，可以向客户端设备110输出对剩余健康状况的诊断，这些诊断具有决定性预测。例如，如果相应预测具有处于第一和第二阈值之间(例如，20％-80％)的可能性，则预测模块930可以确定诊断是不确定的。在另一个实例中，如果预测的可能性在诊断模型生成的其他预测可能性的阈值比例内，则预测模块930确定对健康状况的诊断。

在一个实施例中，预测模块930被编程为遵守相关的政府法规或管理计算机化诊断的政策，并且生成诊断结果以遵守当前的法规和政策。例如，法规和政策可以规定用于确定输入图像中是否呈现相应健康状况的各种预测阈值，并且这些阈值可以在不同的健康状况之间变化。在一个实例中，诊断系统130的管理员可以审查这些法规和政策，并且对预测模块930进行编程以遵守它们。在另一个实例中，预测模块930可以从相关组织(例如，FDA)的网站或数据库收集信息，并且根据从收集到的信息中解析出的规则来生成预测。因此，预测模块930可以审查由模型生成的预测并且生成对请求的诊断结果以符合这些法规和政策。例如，根据由FDA制定的政策，如果预测可能性超过80％的阈值，则预测模块930可以确定痤疮的诊断，而仅在预测可能性超过95％的阈值时预测模块930可以确定对皮疹的诊断。

此外，响应于对诊断的请求，预测模块930可以选择指示器模型或具有指示器功能性的诊断模型来生成针对输入图像的指示。预测模块930可以应用所选择的模型来生成指示。在一个实例中，如果指示的可能性高于阈值，则预测模块930确定输入图像呈现两个或更多健康状况。在另一个实例中，如果指示的可能性在由所选模型生成的其他输出的阈值比例内，则预测模块930确定输入图像呈现两个或更多健康状况。如结合图8所描述的，预测模块930可以基于确定生成针对该请求的结果，以使得可以选择适当的诊断模型来生成诊断，或者例如由于要遵守关于计算机化诊断的政府法规和政策，可以将无法进行诊断的信息输出到客户端设备110的用户。

处理输出模块935结合由预测模块930提供的诊断来提供潜在的处理选项。给定诊断结果，对于客户端设备110的用户有利的是，接收与诊断一起的潜在处理选项以使得他们可以在需要时在短时间内处理健康状况。在一个实施例中，处理输出模块935可以通过咨询人类医学专家、专家系统的推理、或从先前的系统导出选项来生成处理选项。在一个实施例中，处理输出模块935可以建议已知的处理选项以关于患者呈现的健康状况减少和避免副作用。

重叠皮肤异常的诊断方法

图11图示了诊断输入图像中的重叠皮肤异常的方法。诊断系统130(例如，通过网络120)从客户端设备接收1102对诊断输入图像中的皮肤异常的请求。输入图像包括患者皮肤上的重叠皮肤异常。诊断系统130(例如，使用预测模块930通过网络120)从数据库(例如，模型数据存储库965，其中模型965使用训练数据960被训练并且可以包括结合图2至图8描述的模型)访问1104机器学习模型集。每个机器学习模型都包括相应的已训练权重集。诊断模型130通过将机器学习模型集应用到输入图像(例如，结合图2至图8描述的推理过程)来生成1106(例如，使用预测模型930)对输入图像中的两个或更多皮肤异常中每个皮肤异常的相应预测。该预测指示两个或更多皮肤异常中的相应皮肤异常在输入图像中被示出的可能性。诊断系统130从预测(例如，使用预测模块930)生成1108对重叠皮肤异常的诊断。诊断系统130(例如，通过网络120)向客户端设备提供1110诊断。

生成两个或更多皮肤异常的指示的方法

图12图示了在输入图像中生成两个或更多皮肤异常的指示的方法。诊断系统130(例如，通过网络120)从客户端设备接收1202对输入图像中的皮肤异常进行诊断的请求。诊断系统130从数据库(例如，模型数据存储库965，其中模型965使用训练数据960被训练并且可以包括结合图8描述的模型)访问1204(例如，使用预测模块930通过网络120)机器学习模型。机器学习模型包括相应的已训练权重集。诊断模型130通过将机器学习模型应用到输入图像(例如，结合图8描述的推理过程)来(例如，使用预测模块930)生成1206指示。诊断系统130基于从预测确定重叠皮肤异常来(例如，使用预测模块930)生成1208针对请求的结果。诊断系统130(例如，通过网络120)向客户端设备提供1210结果。

总结

以上对本发明实施例的描述是为了说明的目的；它并不旨在详尽无遗或将本发明限制为所公开的精确形式。相关领域的技术人员可以了解，按照上述公开内容，许多修改和变化是可能的。

本说明书的某些部分按照对信息的操作的算法和符号表示来描述本发明的实施例。这些算法描述和表示通常被数据处理领域的技术人员用来向本领域的其他技术人员有效地传达他们工作的实质。尽管在功能上、计算上或逻辑上描述了这些操作，但是它们应当被理解为通过计算机程序或等效电路、微代码等来实现。再者，在不失一般性的情况下，有时也证明将这些操作布置称为模块是方便的。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来体现。

本文描述的任何步骤、操作或过程可以用一个或多个硬件或软件模块单独或与其他设备组合来执行或实现。在一个实施例中，软件模块由包括计算机可读介质的计算机程序产品实现，计算机可读介质包含计算机程序代码，计算机程序代码可由计算机处理器执行以执行所描述的任意或所有的步骤、操作或过程。

本发明的实施例还可以涉及一种用于执行本文操作的装置。该装置可以为所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以被存储在非暂时、有形的计算机可读存储介质或适合存储电子指令的任何类型的介质中，这些介质可以被耦合到计算机系统总线。再者，说明书中提及的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以增加计算能力的架构。

本发明的实施例还可以涉及通过本文描述的计算过程产生的产品。这种产品可以包括从计算过程产生的信息，其中该信息被存储在非暂时性、有形的计算机可读存储介质上并且可以包括计算机程序产品的任何实施例或在本文中描述的其他数据组合。

最后，在说明书中使用的语言主要是为了可读性和教学目的而选择的，并且可能没有被选择来划定或限制本发明的主题。因此，本发明的范围旨在不受具体实施方式的限制，而是由基于本文应用发布的任何权利要求来限制。因此，本发明的实施例的公开内容旨在说明而非限制本发明的范围，本发明的范围在以下权利要求中阐述。

Claims (40)

1.一种诊断输入图像中的重叠皮肤异常的方法，所述方法包括：

从客户端设备接收诊断输入图像中的皮肤异常的请求，所述输入图像包括患者皮肤上的重叠皮肤异常；

从数据库访问机器学习模型集，每个机器学习模型包括相应的已训练权重集；

通过将所述机器学习模型集应用到所述输入图像，生成对所述输入图像中的两个或更多皮肤异常中的每个皮肤异常的相应预测，预测指示两个或更多皮肤异常中的相应皮肤异常在所述输入图像中被示出的可能性；

从对所述输入图像的所述预测生成对所述重叠皮肤异常的诊断；以及

向所述客户端设备提供所述诊断。

2.根据权利要求1所述的方法，其中所述机器学习模型集是神经网络模型的集成集，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

对于所述集成集中的每个神经网络模型，通过将所述神经网络模型应用到所述输入图像，从所述神经网络模型生成一个或多个预测，以及

组合针对所述神经网络模型的所述集成集的预测，以生成对所述两个或更多皮肤异常的所述预测。

3.根据权利要求1所述的方法，其中所述机器学习模型集包括第二机器学习模型和第三机器学习模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

通过将所述第二机器学习模型应用到所述输入图像来生成图像张量，所述图像张量表征所述输入图像中的多个空间特征，

从所述图像张量提取多个分量，

生成针对所述两个或更多皮肤异常中的每个皮肤异常的相应张量，以及

通过将所述第三机器学习模型应用到针对所述两个或更多皮肤异常中的每个皮肤异常的所述相应张量，来生成对所述两个或更多皮肤异常的所述预测。

4.根据权利要求3所述的方法，其中通过对所述图像张量执行独立分量分析(ICA)来从所述图像张量提取所述多个分量。

5.根据权利要求3所述的方法，其中用于所述第二机器学习模型和所述第三机器学习模型的所述已训练权重集被联合地训练。

6.根据权利要求1所述的方法，其中所述机器学习模型集包括循环神经网络模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

重复地将所述循环神经网络模型应用到所述输入图像，以在第一时间生成对所述两个或更多皮肤异常中的第一皮肤异常的相应预测，并且在所述第一时间之后的第二时间，生成对所述两个或更多皮肤异常中的第二皮肤异常的相应预测。

7.根据权利要求1所述的方法，其中所述机器学习模型集包括第二机器学习模型、第三机器学习模型和第四机器学习模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

生成对所述输入图像包括无定形皮肤异常还是局部异常的预测；以及

响应于确定所述输入图像包括无定形皮肤异常，通过将所述无定形异常模型应用到所述输入图像来生成对所述无定形皮肤异常的预测；

响应于确定所述输入图像包括局部皮肤异常，通过将所述局部异常模型应用到所述输入图像来生成对所述局部皮肤异常的预测。

8.根据权利要求1所述的方法，其中所述机器学习模型集中的至少一个机器学习模型被配置为神经网络架构，所述神经网络架构包括一组节点层，每一层经由权重的子集连接到前一层。

9.根据权利要求1所述的方法，其中所述输入图像是以下之一：放射学图像、计算机断层(CT)扫描、医学共振成像(MRI)扫描、X射线图像、超声波或超声检查图像、触觉图像，或热成像图像。

10.根据权利要求1所述的方法，其中所述输入图像是由所述客户端设备的用户捕获的图像，其中所述客户端设备是智能电话。

11.一种用于诊断输入图像中的重叠皮肤异常的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质包含计算机程序代码以用于：

从客户端设备接收诊断输入图像中的皮肤异常的请求，所述输入图像包括患者皮肤上的重叠皮肤异常；

从数据库访问机器学习模型集，每个机器学习模型包括相应的已训练权重集；

通过将所述机器学习模型集应用到所述输入图像，生成对所述输入图像中的两个或更多皮肤异常中的每个皮肤异常的相应预测，预测指示两个或更多皮肤异常中的相应皮肤异常在所述输入图像中被示出的可能性；

从对所述输入图像的所述预测生成对所述重叠皮肤异常的诊断；以及

向所述客户端设备提供所述诊断。

12.根据权利要求11所述的计算机程序产品，其中所述机器学习模型集是神经网络模型的集成集，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

对于所述集成集中的每个神经网络模型，通过将所述神经网络模型应用到所述输入图像，从所述神经网络模型生成一个或多个预测，以及

组合针对所述神经网络模型的所述集成集的预测，以生成对所述两个或更多皮肤异常的所述预测。

13.根据权利要求11所述的计算机程序产品，其中所述机器学习模型集包括第二机器学习模型和第三机器学习模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

通过将所述第二机器学习模型应用到所述输入图像来生成图像张量，所述图像张量表征所述输入图像中的多个空间特征，

从所述图像张量提取多个分量，

生成针对所述两个或更多皮肤异常中的每个皮肤异常的相应张量，以及

通过将所述第三机器学习模型应用到针对所述两个或更多皮肤异常中的每个皮肤异常的所述相应张量，来生成对所述两个或更多皮肤异常的所述预测。

14.根据权利要求13所述的计算机程序产品，其中通过对所述图像张量执行独立分量分析(ICA)从所述图像张量提取所述多个分量。

15.根据权利要求13所述的计算机程序产品，其中用于所述第二机器学习模型和所述第三机器学习模型的所述已训练权重集被联合地训练。

16.根据权利要求11所述的计算机程序产品，其中所述机器学习模型集包括循环神经网络模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

重复地将所述循环神经网络模型应用到所述输入图像，以在第一时间生成对所述两个或更多皮肤异常中的第一皮肤异常的相应预测，并且在所述第一时间之后的第二时间，生成对所述两个或更多皮肤异常中的第二皮肤异常的相应预测。

17.根据权利要求11所述的计算机程序产品，其中所述机器学习模型集包括第二机器学习模型、第三机器学习模型和第四机器学习模型，并且其中生成对所述两个或更多皮肤异常的所述预测还包括：

生成对所述输入图像包括无定形皮肤异常还是局部异常的预测；以及

响应于确定所述输入图像包括无定形皮肤异常，通过将所述无定形异常模型应用到所述输入图像来生成对所述无定形皮肤异常的预测；

响应于确定所述输入图像包括所述局部皮肤异常，通过将所述局部异常模型应用到所述输入图像来生成对所述局部皮肤异常的预测。

18.根据权利要求11所述的计算机程序产品，其中所述机器学习模型集中的至少一个机器学习模型被配置为神经网络架构，所述神经网络架构包括一组节点层，每一层经由权重的子集连接到前一层。

19.根据权利要求11所述的计算机程序产品，其中所述输入图像是以下之一：放射学图像、计算机断层(CT)扫描、医学共振成像(MRI)扫描、X射线图像、超声波或超声检查图像、触觉图像，或热成像图像。

20.根据权利要求11所述的计算机程序产品，其中所述输入图像是由所述客户端设备的用户捕获的图像，其中所述客户端设备是智能电话。

21.一种生成输入图像中的两个或更多皮肤异常的指示的方法，所述方法包括：

从客户端设备接收诊断输入图像中呈现的皮肤异常的请求；

从数据库访问机器学习模型，所述机器学习模型包括相应的已训练权重集；

通过将所述机器学习模型应用到所述输入图像生成指示，所述指示表示所述输入图像示出两个或更多皮肤异常的可能性；

从针对所述输入图像所生成的所述指示，生成对所述输入图像是否呈现两个或更多皮肤异常的确定；以及

基于所述确定生成针对所述请求的结果，并且向所述客户端设备提供所述结果。

22.根据权利要求21所述的方法，还包括：基于所述确定来确定针对所述输入图像的护理选项，并且将所述护理选项作为所述结果提供给所述客户端设备。

23.根据权利要求21所述的方法，还包括：

响应于确定所述输入图像呈现一个皮肤异常而不是两个或更多皮肤异常，从所述数据库访问被配置为生成对单个皮肤异常的预测的诊断模型；

通过将所述诊断模型应用到所述输入图像，生成对所述输入图像中的所述皮肤异常的预测；以及

从所述预测生成针对所述输入图像的诊断，并且将所述诊断作为所述结果提供给所述客户端设备。

24.根据权利要求21所述的方法，还包括：

响应于确定所述输入图像呈现两个或更多皮肤异常，从所述数据库访问诊断模型集，所述诊断模型集被配置为生成对两个或更多皮肤异常中的每个皮肤异常的相应预测；

通过将所述诊断模型集应用到所述输入图像，生成对所述输入图像中的所述两个或更多皮肤异常的预测；以及

从所述预测生成针对所述输入图像的诊断，并且将所述诊断作为所述结果提供给所述客户端设备。

25.根据权利要求21所述的方法，还包括：响应于确定所述输入图像呈现两个或更多皮肤异常，向所述客户端设备提供所述输入图像不能被诊断的信息。

26.根据权利要求21所述的方法，还包括：响应于确定所述输入图像呈现两个或更多皮肤异常，向所述客户端设备提供关于所述指示的信息，而不提供对所述输入图像中的所述两个或更多皮肤异常的预测。

27.根据权利要求21所述的方法，其中所述机器学习模型也是诊断模型，所述诊断模型还被配置为接收图像，并生成对所述图像中呈现的一个或多个皮肤异常的预测。

28.根据权利要求27所述的方法，

其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成输出向量，所述输出向量包括元素集，对所述一个或多个皮肤异常的所述预测由所述输出向量中的所述元素的值来表示，并且

其中当所述输出向量中的所述元素集的值之间的差异低于预定阈值时，所述输入图像被确定为呈现两个或更多皮肤异常。

29.根据权利要求27所述的方法，其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成包括元素集的输出向量，其中对所述一个或多个皮肤异常的所述预测由所述输出向量中的元素的子集的值来表示，并且其中所述指示由所述输出向量中的剩余元素的值来表示。

30.根据权利要求27所述的方法，

其中对所述一个或多个皮肤异常的所述预测由类别集中的一个或多个类别来表示，

其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成输出值，并且

其中当所述输出值被指派给所述类别集中的剩余类别时，所述输入图像被确定为呈现两个或更多皮肤异常。

31.一种用于生成输入图像中的两个或更多皮肤异常的指示的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质包含计算机程序代码以用于：

从客户端设备接收诊断输入图像中的皮肤异常的请求；

从数据库访问机器学习模型，所述机器学习模型包括相应的已训练权重集；

通过将所述机器学习模型应用到所述输入图像生成指示，所述指示表示所述输入图像包括两个或更多皮肤异常的可能性；

从针对所述输入图像所生成的所述指示，生成对所述输入图像是否呈现两个或更多皮肤异常的确定；以及

基于所述确定生成针对所述请求的结果，并且向所述客户端设备提供所述结果。

32.根据权利要求31所述的计算机程序产品，其中所述计算机可读存储介质还包含计算机程序代码以用于：基于所述确定为所述输入图像中的个人确定护理选项并将所述护理选项作为所述结果提供给所述客户端设备。

33.根据权利要求31所述的计算机程序产品，其中所述计算机可读存储介质还包含计算机程序代码以用于：

响应于确定所述输入图像呈现一个皮肤异常而不是两个或更多皮肤异常，从所述数据库访问被配置为生成对单个皮肤异常的预测的诊断模型；

通过将所述诊断模型应用到所述输入图像，生成对所述输入图像中的所述皮肤异常的预测；以及

从所述预测生成针对所述输入图像的诊断，并且将所述诊断作为所述结果提供给所述客户端设备。

34.根据权利要求31所述的计算机程序产品，其中所述计算机可读存储介质还包含计算机程序代码以用于：

响应于确定所述输入图像呈现两个或更多皮肤异常，从所述数据库访问诊断模型集，所述诊断模型集被配置为生成对两个或更多皮肤异常中的每个皮肤异常的相应预测；

通过将所述诊断模型集应用到所述输入图像，生成对所述输入图像中的所述两个或更多皮肤异常的预测；以及

从所述预测生成针对所述输入图像的诊断，并且将所述诊断作为所述结果提供给所述客户端设备。

35.根据权利要求31所述的计算机程序产品，其中所述计算机可读存储介质还包含计算机程序代码以用于：响应于确定所述输入图像呈现两个或更多皮肤异常，向所述客户端设备提供所述输入图像不能被诊断的信息。

36.根据权利要求31所述的计算机程序产品，其中所述计算机可读存储介质还包含计算机程序代码以用于：响应于确定所述输入图像呈现两个或更多皮肤异常，向所述客户端设备提供关于所述指示的信息，而不提供对所述输入图像中的所述两个或更多皮肤异常的预测。

37.根据权利要求31所述的计算机程序产品，其中所述机器学习模型也是诊断模型，所述诊断模型还被配置为接收图像，并生成对所述图像中呈现的一个或多个皮肤异常的预测。

38.根据权利要求37所述的计算机程序产品，

其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成包括元素集的输出向量，对所述一个或多个皮肤异常的所述预测由所述输出向量中的所述元素的值来表示，并且

其中当所述输出向量中的所述元素集的值之间的差异低于预定阈值时，所述输入图像被确定为呈现两个或更多皮肤异常。

39.根据权利要求37所述的计算机程序产品，其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成包括元素集的输出向量，其中对所述一个或多个皮肤异常的所述预测由所述输出向量中的元素的子集的值来表示，并且其中所述指示由所述输出向量中的剩余元素的值来表示。

40.根据权利要求37所述的计算机程序产品，

其中对所述一个或多个皮肤异常的所述预测由类别集中的一个或多个类别来表示，

其中生成所述指示还包括：将所述诊断模型应用到所述输入图像以生成输出值，并且

其中当所述输出值被指派给所述类别集中的剩余类别时，所述输入图像被确定为呈现两个或更多皮肤异常。

Images