CN114727766A - 从图像和专家知识收集和识别皮肤状况的系统 - Google Patents

从图像和专家知识收集和识别皮肤状况的系统 Download PDF

Info

Publication number
CN114727766A
CN114727766A CN202080080593.0A CN202080080593A CN114727766A CN 114727766 A CN114727766 A CN 114727766A CN 202080080593 A CN202080080593 A CN 202080080593A CN 114727766 A CN114727766 A CN 114727766A
Authority
CN
China
Prior art keywords
image
skin condition
uploaded
skin
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080593.0A
Other languages
English (en)
Inventor
A·阿比德
A·J·桑菲斯
A·拉米罗洛佩斯
E·T·贾曼
M·阿克鲁特
A·查拉
J·G·卡瓦哈拉
S·A·索利斯-雷耶斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guide Technology Co ltd
Original Assignee
Guide Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guide Technology Co ltd filed Critical Guide Technology Co ltd
Publication of CN114727766A publication Critical patent/CN114727766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Dermatology (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

用于通过以下操作根据皮肤图像来确定皮肤状况的方法和系统：使用皮肤状况图像数据集训练视觉分类器模型并使用所述模型确定上传图像的上下文；生成皮肤状况类别的概率；确定对所述类别的预测；显示所述预测和关于所述预测的信息；以及显示与所述上传图像相似的典型皮肤病图像。

Description

从图像和专家知识收集和识别皮肤状况的系统
相关申请的交叉引用
本申请要求2020年5月21日提交的美国专利申请序列号16/880,622的权益，并要求2019年9月18日提交的美国专利申请序列号62/902,354的权益，这些申请的内容出于所有目的，通过引用整体并入本文。
技术领域
本发明涉及一种系统，该系统使用机器学习方法和算法基于用户提供的图像和其他数据自动识别皮肤状况，该机器学习方法和算法对皮肤状况的专家知识进行编码，并且该系统利用促进现有和传入数据的收集、存储、标记、动态组织、和专家审查的基础设施。
背景技术
皮肤病是全世界最常见的健康问题之一，影响所有年龄、性别和种族的人。这些疾病的患病率与心血管疾病、糖尿病和肥胖症的患病率相当。预测五分之一的美国人会在70岁时患上皮肤癌，而恶性皮肤病变被认为是关键的公共卫生和临床问题。
开发能够可靠地识别图像中的对象的计算机系统一直是一个长期的挑战，并且已经成为大量研究工作的主题。提供应用程序以从图像视觉识别皮肤状况的先前尝试面临各种缺陷。需要更好的系统和方法。
发明内容
根据所公开技术的各种实施方式，可以配置系统、计算机实现的方法和/或计算机可读介质，以根据上传到皮肤状况分类应用程序的图像来确定皮肤状况，这些图像在皮肤状况分类应用程序内处理或上传到服务器。
例如，服务器可以被配置为根据上传到皮肤状况分类应用程序的图像确定皮肤状况，这些图像在皮肤状况分类应用程序内处理或上传到服务器，所述系统包括一个或多个硬件处理器，所述一个或多个硬件处理器由机器可读指令配置为：存储皮肤状况图像的一个或多个数据集，其中，皮肤状况图像用与人类专家做出的皮肤状况相对应的标签和概率进行标记；用所述皮肤状况图像的一个或多个数据集训练视觉分类器模型；经由皮肤状况分类应用程序的用户界面接收受影响皮肤的一部分的上传图像；传送所述上传图像通过视觉分类器模型，以确定所述上传图像的上下文；生成视觉分类器模型的输出，所述输出表示所述上传图像落入一个或多个皮肤状况类别的预测概率；使用改进的概率确定皮肤状况类别的一组预测；经由所述用户界面在计算机显示器上显示所述上传图像落入的一组预测(或该组预测的至少一部分)；显示关于所述一组预测的信息；以及显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
在一些实施方式中，所述系统将调用问题模块，该问题模块基于所述上传图像的所述预测概率和置信水平来选择和呈现查询；经由所述用户界面接收对所述查询的响应；以及，迭代地呈现查询并基于接收到的响应来改进所述预测概率。
在一些实施方式中，通过在所述系统内生成由所述系统管理的要呈现给人类专家的图像队列来生成经验证的皮肤状况图像的一个或多个数据集，通过经由所述用户界面向预定数量的人类专家呈现第二图像来生成该经验证的皮肤状况图像的一个或多个数据集，通过接收和存储来自每个人类专家的图像的标签和相应概率来生成该经验证的皮肤状况图像的一个或多个数据集，通过组合多个人类专家所做出的评论来生成该经验证的皮肤状况图像的一个或多个数据集，并且所述一个或多个硬件处理器还由机器可读指令配置为从所述队列中移除图像以及将标签和相应概率与图像一起存储。在一些实施方式中，所述上传图像和所述第二图像可以是相同的图像。在一些实施方式中，所述上传图像和所述第二图像可以是不同的图像。
在一些实施方式中，呈现图像包括经由一个或多个用户界面呈现图像，以及呈现图像包括提供一组用户界面显示元素，这些用户界面显示元素提示人类专家输入：图像是否满足所需参数，图像是否看起来是健康皮肤的图像，图像是否显示患病皮肤和是指定皮肤病的相应概率，图像是否是质量差的图像，或者人类专家不知道如何正确标记图像的概率的测度。
在一些实施方式中，确定图像是否满足所存储的一组所需参数的步骤将在多门(multi-gate)模块中考虑图像和附加的用户提供的信息，其中多门模块可以包含视觉分类器，以确定图像是否满足所需参数以及生成输出，该输出将图像引导至形态特定模块或指示图像不满足所需参数。
在一些实施方式中，经验证的皮肤状况图像的一个或多个数据集包括映射到保持皮肤病状况之间的关系的本体的标记图像，该本体包括表示皮肤状况的节点，这些节点具有父子关系，所述方法还包括将具有更广泛标签的相关皮肤状况链接到特定情境的疾病标签。
在一些实施方式中，所述一个或多个硬件处理器还由机器可读指令配置为将数据集组织成包括分层结构的数据结构。
在一些实施方式中，所述一个或多个硬件处理器还由机器可读指令配置为：呈现用户界面，管理用户可以通过该用户界面创建和管理图像审查任务。
在一些实施方式中，所述上传图像的专家评论被组合并提供给上传所述上传图像的用户，以便该用户基于多个专家的意见接收所述上传图像存在的一组预测。
在一些实施方式中，一种方法可以被配置为执行本文概述的系统所描述的操作。在一些实施方式中，一种具有嵌入在其上的指令的非暂时性计算机可读存储介质，所述指令可由一个或多个处理器执行以执行本文概述的系统所描述的操作。
所公开技术的其他特征和方面将结合附图从以下详细描述中变得明显，附图以示例的方式示出了根据所公开技术的实施方式的特征。本发明内容并非旨在限制本文所描述的任何发明的范围，本发明的范围仅由所附权利要求限定。
附图说明
参考以下附图详细描述了根据一个或多个不同实施方式的本发明。提供这些附图仅用于说明目的并且仅描绘典型或示例实施方式。
图1示出了根据本发明的实施方式的具有多个设备的皮肤状况系统，这些设备可以在单个集成系统内本地或跨分布式网络进行交互；
图2示出了根据本发明的实施方式的数据设备；
图3示出了根据本发明的实施方式的用户设备；
图4示出了根据本发明的实施方式的专家设备；
图5示出了根据本发明的实施方式的在给定用户输入的情况下识别皮肤状况的方法；
图6示出了根据本发明的实施方式的用于测量系统的预测性能的示例度量和可视化；
图7示出了根据本发明的实施方式的检索相似图像的示例；
图8示出了根据本发明的实施方式的系统可如何用于确定图像之间的相似性和/或执行图像检索以检索相似图像的一个示例；
图9示出了根据本发明的实施方式的系统可以如何训练和评估机器学习模型的一个示例；
图10示出了根据本发明的实施方式的收集专家反馈的方法；以及
图11示出了根据本发明的实施方式的用于接收来自专家的反馈的示例界面。
具体实施方式
本发明的一个方面涉及一种系统，该系统被配置为从图像(例如，通过移动相机或其他成像设备)和其他上传数据(例如，患者的年龄和/或其他患者数据)识别皮肤状况，并且图像和其他上传数据可以在系统内本地处理，发送到服务器(例如，托管网站的网络服务器)，或本地和远程处理相组合。然而，本发明的概念也可以应用于对涉及其他医学状况和非医学主题的图像进行分类。为简单起见，描述将主要集中于识别皮肤状况。同样为简单起见，术语“图像”、“多个图像”或“一个或多个图像”可以互换使用，但可以包括其他类型的数据，包括视频。应当理解，本发明的原理可以应用于各种形式的媒体和多形态数据(例如，视频、立体声、深度、元数据、和其他媒体和/或数据)。
该方法可以包括将皮肤状况的图像的一个或多个数据集存储在数据库中。可以用对应于皮肤状况的标签和/或其他信息标签来标记图像。该方法可以包括：训练视觉分类模型，以使用皮肤状况图像的一个或多个数据集和元数据来识别皮肤状况；使用可能与一种或多种特定状况相关的一种或多种本体进行组织；经由应用程序的界面接收各种用户特定信息(例如年龄、性别、皮肤状况发生的身体位置和/或其他用户特定信息)、以及皮肤的上传图像和相关联元数据；传递图像通过多门模块，以确定图像的一般上下文并将图像引导到适当的模型或动作；计算上传图像到一个或多个皮肤状况类别的预测概率；调用问题模块，该问题模块经由应用程序选择和呈现基于上传图像的预测概率的查询；经由用户界面接收对查询的响应；基于收到的响应和用户特定信息改进预测概率；经由用户界面在显示器上显示上传图像落入一个或多个皮肤状况类别的至少一些改进的预测；以及经由用户界面在数字显示器上显示在视觉和临床上与(一个或多个)上传图像相似的图像。
本发明的一个方面涉及采用人工智能(AI)、大数据和分析技术来结合深度学习、计算机视觉和编码皮肤病专家知识的算法的系统。例如，该系统可以通过将在皮肤图像数据集上训练的视觉分类器与基于皮肤状况专家知识对用户对问题的响应进行编码的问题模块相结合来预测皮肤状况。
根据本发明的一个方面，可以由专家小组(例如，医学合作者)审查新的传入系统的图像。为了使单一诊断的不确定性更加稳健并更好地模拟皮肤科医生提供鉴别诊断的过程，每个医学合作者可以分配(例如，经由用户界面)多个候选皮肤状况标签给图像。可以对分配的标签进行排序或分配置信值，该置信值指示每个候选状况的预测概率。这些候选皮肤状况标签和预测概率可以被存储和/或添加到皮肤图像数据集，其中皮肤状况标签的预测概率可以跨审查特定图像的多个医学合作者而组合。这允许系统在多个标签和一组医学专家在广泛的数据集上做出的每个标签的预测概率上进行训练，从而提高系统在对新病例进行预测(包括生成改进概率)时的稳健性。该系统可以利用在线机器学习和其他形式的机器学习。
如本文所述，系统生成对用户上传的图像的预测。然而，新图像可以来自各种其他来源，并且可以根据本文描述的各种集成模块来获得。例如，本发明可以包括远程医疗或远程皮肤病学模块，在该模块处用户将图像和其他信息发送给医疗专业人员，医疗专业人员在该模块上提供医疗意见，并且该信息可以被添加到数据集中。图像也可以来自临床医生，他们在实践中使用该技术，其方式可以包括通过集成到临床医生的工作流程中的系统上传图像，并且该图像可以在临床实践期间用于患者，用于过去患者的现有数据库，或用于两者。图像也可能来自本文详述的其他来源。
所述系统可以利用经由用户界面传送给专家(例如医生)的调查来收集皮肤状况信息，建立临床本体的结构，以及接收各种皮肤状况的示例。可以处理调查数据以生成皮肤状况的知识库。该调查可以允许医生回答状况特定问题(例如人口统计患病率)，上传示例图像，提供图像的元数据或上下文，提供诊断、鉴别诊断和与每个诊断相关联的预测概率，以及提供相关联症状以及外观(如瘙痒、疼痛等)。该皮肤状况数据可用于训练和测试系统并开发对皮肤状况专家知识进行编码的算法。
本发明的一个方面包括一种基于技术的方法，用来捕获仅在图像中不容易获得并且可能与诊断患者相关的信息。例如，医生可以询问患者问题以缩小可能的状况的范围，以便更有效地诊断其患者。所述系统包括一种基于图像、患者特定信息(例如年龄、性别、受影响的身体位置和/或其他患者特定信息)以及一系列问题及其相应回答来诊断患者的自动化方法，并使用机器学习不断改进该技术。
所述系统可以包括一个或多个硬件处理器，该一个或多个硬件处理器由机器可读指令配置为执行本文描述的功能。该系统可以被配置为以所描述的方式存储一个或多个数据集。可以用对应于皮肤状况的标签来标记图像。该系统可以被配置为用皮肤状况的图像的一个或多个数据集训练视觉分类器模型。该系统可以被配置为经由应用程序的用户界面接收捕获受影响皮肤的上传图像。该系统可以被配置为通过多门模块传递上传图像，该多门模块确定图像的一般上下文并将图像引导到适当的模型或动作。如果多门模块确定(一个或多个)图像示出皮肤状况，则将该(一个或多个)图像传递给后续皮肤分类模型。该皮肤分类模型从预测概率和图像落入各种皮肤状况类别的其他输入来计算改进概率。可以通过结合任何额外的用户提供的信息和问题模块来改进预测。一旦系统确定已经向用户询问了相关信息(或达到了要询问的问题的最大数量)，则这些预测状况就会显示给用户。
所述系统可以被配置为生成(一个或多个)视觉分类器模型的输出，该输出包括表示(一个或多个)上传图像展示一个或多个皮肤状况类别的可能性的改进概率。该系统可以被配置为调用问题模块，该问题模块选择并经由应用程序呈现基于视觉预测概率和其他附加信息确定的查询。该系统可以被配置为经由用户界面接收对查询的响应。该系统可以被配置为基于接收到的响应来改进预测。该系统可以被配置为经由用户界面在数字显示器上显示上传图像落入一个或多个皮肤状况类别的改进预测。该系统可以被配置为经由用户界面在数字显示器上显示视觉上和临床上与(一个或多个)上传图像相似的图像。
所述系统可以服务于多种应用程序，例如服务于独立系统，以帮助基于图像和其他提供的信息识别潜在疾病；和/或服务于集成到远程医疗平台中的系统，以帮助在临床医生就诊之前对患者进行分类。
皮肤状况系统和设备
该系统可以包括分布式网络，该分布式网络利用一组模块(例如，在硬件处理器中编程的计算机软件模块)，这些模块一起工作以提供许多优点，包括皮肤状况图像的视觉识别。在某些情况下，可以组合一些模块以在本地(例如，在图像捕获设备上)工作，而无需通过网络发送数据。在某些情况下，可以在本地处理图像，然后将数据发送到服务器以存储在系统中。
图1示出了根据本发明的实施方式的具有多个设备的皮肤状况系统，这些设备可以在单个集成系统内本地或跨分布式网络进行交互。在图示100中，皮肤状况系统102经由网络110与多个设备和数据源通信，包括数据设备112、用户设备114和专家设备116。例如，当所述多个设备和数据源中的一者或多者上传图像时，系统可以被配置为实时预测与图像相关联的皮肤状况。
皮肤状况系统102可以包括与处理器122和通信子系统124联接的存储器120。处理器122可以实现为一个或多个集成电路并且可以用于控制皮肤状况系统102的操作。处理器122可以响应于存储在计算机可读介质130中的程序代码或计算机可读代码而执行各种程序，并且可以维持多个同时执行的程序或进程。通信子系统124可以包括一个或多个通信连接，皮肤状况系统102可以使用这些通信连接直接与其他设备(包括数据设备112、用户设备114和专家设备116)通信，和/或经由网络110(外部或内部)或通过其他方式与这些设备连接。
存储器120可以使用非易失性存储器(例如，闪存)、易失性存储器(例如，DRAM、SRAM)、计算机可读介质130或任何其他非暂时性存储介质或其组合的任何组合来实现。计算机可读介质130可以存储要由处理器122执行的操作系统132。在一些实施方式中，操作系统132可以实现一个或多个软件或硬件模块，该软件或硬件模块可以被调用以实现本文描述的一个或多个特征。例如，计算机可读介质130可以存储实验室模块134、人工智能模块136、问题模块138、证据管理模块140、本体模块142、专家模块144和/或第三方建议模块146。
实验室模块134可以被配置为用作管理和跟踪系统操作的许多方面的中央系统，系统操作包括：数据存储和管理、模型训练、结果评估、维护本体、以及在图像被外部专业人员标记的情况下协调审查任务。实验室模块134可以以复杂、全面和负责任的方式跨各种功能集(例如，模型、数据集、本体和审查任务)提供系统协调、同步、跟踪和分析。
实验室模块134可以被配置为利用本体。本体是一种分层树结构，它维护皮肤病状况之间的关系。树结构包括表示皮肤状况的节点，这些节点具有父子关系，将具有更广泛标签的相关状况链接到特定的情境疾病标签。数据集中的图像可以与树结构中的一个或多个节点相关联。树结构可用于确定训练类别：用于训练模型的临床相关状况的个体或组。
实验室模块134可以被配置为存储和管理模型并创建模型快照。模型快照可以对应于机器学习模型的冻结时间点版本。例如，模型快照可以是卷积神经网络(CNN)架构及其权重。一旦上传模型，就可以从实验室模块134对测试数据运行评估。评估结果和统计信息可以经由实验室模块134的一部分(例如，评估标签)来显示。利用该组图像(数据集快照)和特定的机器学习模型(模型快照)，可以为每个评估分配唯一标识符。也可以提供和跟踪评估度量的摘要。这为管理、记录和显示来自实验评估的度量提供了一致且集中的永久位置。实验室模块134可以被配置为通过跨功能集(例如，模型、数据集、本体和审查任务)的协调、同步、跟踪和分析来记录和显示机器学习过程。
实验室模块134可以被配置为动态评估模型快照。模型快照可以包括系统使用的模型的过去和当前版本的数据、输出和参数。实验室模块134可以使用评估结果来自动比较不同的模型版本并确定要部署和使用的最佳模型。实验室模块134可以被配置为将最佳模型自动部署到人工智能模块136。
实验室模块134被配置为管理从各种数据源提供的图像。例如，实验室模块134可以接收图像并对其进行调整(例如，裁剪图像等)，或者可以在实验室模块134接收图像之前在用户设备处调整图像。每个图像可以与一个或多个数据集相关联，一个或多个数据集是相关图像的集合。实验室模块134被配置为允许用户单独上传新图像(例如，以JPG、GIF或PNG格式)，或上传具有多个图像的压缩存档文件(例如，以ZIP格式)。实验室模块134可以提供界面以查看上传的历史列表(例如，上传的文件名、上传者名称、上传日期和上传图像的数量)。实验室模块134可以被配置为通过比较像素值和其他图像元数据来检测重复或接近重复的图像。在检测到重复或接近重复的图像时，实验室可以通过合并或覆盖其数据存储器中的现有元数据来对上传图像进行重复数据删除。被检测为重复或接近重复的图像可以被标记以供审查。
实验室模块134可以被配置为允许用户对数据集中的特定图像(例如，经由用户界面)手动添加或移除标签。标签是附到图像的元数据形式，并且可以采用“key:value(关键字：值)”的形式，其中“key(关键字)”指定标签的类型或类别，而“value(值)”指定该类型或类别中的值。例如，一些标签可以是“animal:cat(动物：猫)”和“animal:dog(动物：狗)”。图像可以具有一个或多个相关联的标签。实验室模块134被配置为例如通过对标签的查询来搜索、浏览和访问图像。
实验室模块134被配置为在特定场景中自动在图像上添加指定标签。例如，实验室模块134可以被配置为在不是正方形的图像上添加标签“lab:not-square(标签：非正方形)”。在一些示例中，实验室模块134可以被配置为自动查询外部应用程序编程接口(API)并基于结果在图像上应用标签。在一些示例中，实验室模块134可以被配置为使用一个或多个模型来对图像分类，并且基于结果在图像上应用标签。在一些示例中，实验室模块134可以被配置为基于专家模块144中做出的评论来应用标签。
实验室模块134可以被配置为允许用户创建、管理和使用数据集快照。数据集快照可以对应于存储在实验室模块134的数据库中的图像的特定子集的冻结时间点快照。当使用一组图像来评估或训练模型时，实验室模块134被配置为通过利用对图像上是否存在标签的用户查询识别和提取图像清单的特定子集来促进并跟踪此过程。
实验室模块134可以被配置为允许用户下载或运行对先前快照的评估。即使以后在数据清单中添加或再标记更多图像，快照也会保留并且不会更改。这允许对快照的控制和快照的一致性，以通过未来的评估保持其完整性，从而确保结果的可再现性。
实验室模块134可以被配置为可选地将图像分成不同的分区(例如，基于将文件限制到预定阈值、基于动态确定的分区或基于分数分区等)。在一些示例中，用户可以为每个数据分区选择唯一的名称并且可以指定对图像进行分区的标准。在一些示例中，系统提供按每个数据分区的最大图像数量(例如，如果有1000张鞋子图像，则通过选择“100”，将从总的1000张鞋子图像中选随机择100张鞋子图像的子集)和按总图像的百分比(使用前面的示例选择50％将产生500张鞋子图像)随机选择图像的选项。如果图像被裁剪，则裁剪后的图像可以以其裁剪状态下载、或以原始未裁剪图像与指示裁剪坐标的相关联文件一起下载。在一些示例中，用户可以省略数据分区，例如，如果分区内的图像总数小于期望的图像数量。
实验室模块134可以被配置为经由队列来隔离给定特定标准的图像。一旦设置了标准，如果图像符合队列中的特征，则可以访问这些图像以进行查看和修改。与快照相反，队列可以反映实验室中数据的最新状态，包括任何新的上传或图像修改。
实验室模块134可以被配置为提供界面以允许一次修改多个图像标签(即，批量修改操作)。例如，该界面可以提供对一组选择的图像添加、编辑和移除标签的功能(例如，经由标签查询、快照、上传、队列或从图像ID列表)。实验室模块134可以被配置为提供永久隐藏图像的界面。隐藏的图像可以保留在任何先前的现有快照中，但会被限制创建新快照。
人工智能模块136可以被配置为接收图像并将图像提供给视觉识别组件(例如，视觉分类器)。人工智能模块136可以实施一种或多种学习算法以利用与图像相关联的附加信息。可以实施卷积神经网络(CNN)或其他神经网络模型以从图像进行预测。
人工智能模块136可以依赖随机梯度下降或其他类型的优化算法来优化神经网络。例如，可以使用进化方法(遗传算法)和/或“信用分配学习算法”，其包括使用任何类型的权重更新规则的算法，包括反向传播和进化方法。本发明可以利用神经架构搜索(NAS)。
人工智能模块136可以被配置为考虑不同的卷积神经网络(CNN)。例如，一种实现方式可以使用具有不同配置的各种CNN架构，例如，改变层数、卷积滤波器的大小、池化层的大小、正则化技术的使用等。可以使用一套架构和技术来提高性能。
在将数据传递到网络之前，可以使用各种数据归一化技术来预处理数据。例如，可以使用平均减法，其涉及从每个图像中减去数据集中的图像的平均像素值。
可以使用不同类型的模型权重初始化。例如，可以随机初始化权重，可以使用在不同视觉对象识别任务(例如ImageNet数据库)上训练的权重来初始化权重，或者可以使用多个方法的组合。
当处理数据和选择网络的超参数值时，可以使用不同的方法。例如，为了确定有效的模型配置，模型可以与不同的加权损失函数、网络正则化技术和数据增强技术相结合。
视觉分类系统可以涉及：使用一套卷积神经网络(例如，Inception版本3、Inception ResNet版本2和DenseNet和/或其他CNN)；在预处理图像时应用数据归一化；从在其他数据集(例如ImageNet)上预训练的模型初始化模型权重；在训练期间应用不同的正则化技术，例如dropout和批量归一化；以及通过向损失函数添加类别权重和/或使用过采样技术来解决数据集类别不平衡。
人工智能模块136可以被配置为使用一个或多个分类器来实现一个或多个机器学习模型。分类器可以包括经训练以标记输入样本的算法。分类器的一个示例是皮肤状况分类器，其中可以使用用标记图像训练的视觉分类器对皮肤状况进行分类。在接收到图像并对其进行分类后，系统可以向用户列出N个(例如，N＝5)可能的输出预测。在一些示例中，每个图像可能经历多个随机扰动或失真。扰动图像可以多次通过分类器，并且可以聚合来自每个扰动图像的概率以形成最终预测。在一些示例中，当在视频中接收到与受影响的皮肤相对应的多于一个图像或多个帧时，系统可以聚合来自每个图像或帧的概率以形成预测的最终列表。
人工智能模块136可以被配置为对模型进行训练。例如，训练过程可以为视觉分类器和其他模块(例如，问题模块138等)提供样本(例如，图像)和从专家的组合评论中得出的每个标签的对应概率。在给定训练样本的情况下，模型被训练以预测通过组合的专家评论做出的标签概率。如果使用皮肤状况图像训练视觉分类器，则视觉分类器可以从训练数据中学习特征，该特征允许其区分每个皮肤状况组。如果呈现新图像，则视觉分类器可以处理该图像并利用预测的每个标签的概率识别候选皮肤状况标签。
人工智能模块136可以被配置为使用各种评估度量来评估其预测性能。度量可以包括例如准确度、交叉熵、灵敏度、特异性、精确度和/或其他度量。这些因素中的任何一者或多者都可用于评估模型的预测性能。
人工智能模块136可以被配置为独立地或与其他模型组合地利用许多模型。通过应用不同的训练技术和模型架构，每个模型都可以对特定的图像特征敏感。人工智能模块136可以被配置为使用测量经训练模型的性能的度量来衡量每个模型对预测的皮肤状况的贡献。需要考虑的一些因素包括检测特定类别的性能、以及模型的复杂性(例如，层数、层之间的连接的数量和类型)。
人工智能模块136可以被配置为动态地训练模型。例如，随着新的审查数据变得可用，人工智能模块136可以结合新数据并再训练(一个或多个)模型。可以使用一组内部标记图像来审查更新后的模型的性能。如果性能得到改进，则更新后的模型可以被发布到生产环境中，从而改进用户可用的模型。
人工智能模块136可以与系统的其他模块(例如，问题模块138)交互并且提供可以由附加模块改进的初始候选诊断和鉴别。
问题模块138可以被配置为生成和传输相关问题，这些问题可以基于初步候选条件和从(一个或多个)图像的视觉分类计算的预测概率，以进一步缩小初始预测的皮肤状况类别。这个问题提问过程可能会排除或确认潜在皮肤状况。通过首先向视觉分类器提供图像，可能的皮肤状况和选择的问题可以更有针对性(例如，专注于视觉分类器确定的可能的皮肤状况)。
在一些示例中，当已询问了设定的最大问题数量时，或当系统确定与候选预测皮肤病类别相关的问题已被用户解决时，问题模块138可以被配置为终止提问和问答过程。
系统可以被配置为根据问题与特定皮肤病的相关性，更加重视不同问题的回答。问题模块138可以改进与每个预测的皮肤状况相关联的初始预测概率，以提高向用户显示的诊断的质量并生成改进的概率。
问题模块138可以被配置为使用所提供的信息来提供问题并调整候选状况的概率(包括排除与用户提供的信息相冲突的候选皮肤状况)。例如，如果候选皮肤状况是“黑色素瘤”，可能会问的问题是“您的皮肤状况最近是否改变了颜色、大小或形状？”，这编码了已知的医学知识，即黑色素瘤的一个重要指标是颜色、大小或形状发生变化的皮肤病变。问题和相应的响应可以与每个图像相关联。
问题模块138可以被配置为生成问题并结合用户提供的信息(例如，年龄、性别和病变发生的身体位置)。例如，问题模块138可以使用来自上传图像的视觉分类器的预测概率(例如，来自人工智能模块136)作为确定要询问患者的问题(例如，使用技术方法来模仿实现诊断所需的临床医生-患者对话)的预测概率。问题模块138可以被配置为从预定义的问题列表中选择相关问题，其中回答可以最大化关于确定可能的皮肤预测的信息增益。问题模块138可以基于每个问题之后的回答来改进视觉分类器系统的分类概率。
问题模块138可以被配置为将CNN与增强学习(RL)代理结合。这可以减少缩小鉴别诊断范围所需的平均问题数量。RL代理可以学习如何询问患者是否存在症状，以最大化正确识别潜在状况的概率。RL代理可以使用CNN提供的视觉信息以及所询问问题的回答来指导问题模块138。与CNN方法相比，基于RL的方法可以提高性能，因为CNN依赖于视觉信息来预测状况。
证据管理模块140可以被配置为监控系统接收到的证据，并且可以基于多个证据源(例如，来自人工智能模块136和问题模块138的预测、医疗记录、专家意见、等等)来总结最后的预测诊断。证据管理模块140可以访问来自多个以不同粒度在本体和项目中做出的证据源的预测，并且将它们在共享的标准化本体上组合。证据管理模块140也可以组合多个意见。
证据管理模块140可以被配置为监控系统性能，并且如果结果在推理过程的某个步骤是不确定的，则可以通过经由网络110向专家设备116传输数据来向专家询问更多信息。
本体模块142可以被配置为表示皮肤病状况之间的关系，其中本体包括可以表示皮肤状况的节点和可以表示状况之间的关系的边。本体可以对不同粒度级别的皮肤病状况标签(从广泛的一般标签到特定的情境疾病标签)进行编码。皮肤病本体结构可以基于已建立的医学本体(例如，SNOMED CT等)得出和/或扩展。其他本体可用于对其他被测者进行分类。
本体模块142可以被配置为识别具有相似病理生理学或临床关系的状况。由于数据集可能包括以不同程度的标签粒度或医疗状况特异性标记的图像，因此本体可用于将以不同粒度标记的图像聚合到视觉分类器使用的公共分组(例如，用于训练视觉分类器的类别标签)中。例如，结节性基底细胞癌(NBCC)是基底细胞癌(BCC)的一种亚型。这种关系可以通过将NBCC表示为BCC的子代而编码在本体中。基于这种关系，可以用标记为BCC和NBCC的图像形成BCC训练类别标签。状况的分组也可以取决于与每个本体节点相关联的图像的数量。这些状况分组被存储并用于确定视觉分类器输出与皮肤状况标签的分组的映射。
由于图像可能具有分配给每个标签的概率值的多个标签，因此图像可以与本体中的一个或多个节点相关联。分配给每个标签的概率值可以指示图像对与本体节点相关联的图像数量的部分(fractional)贡献。
本体模块142可以通过实验室模块134中的本体功能可视化，其中可以显示和编辑诸如本体代码、对应的人类可读标签和与每个节点相关联的图像数量的信息。
专家模块144可以被配置为通过向一个或多个专家设备116提供图像和相关联的患者数据(例如，患者的年龄，如果已知的话)来促进对图像的审查，以供人类专家反馈。对图像的人类专家反馈可以包括收集：候选皮肤状况和图像的相应概率，图像中的皮肤状况是否看起来是健康皮肤、是否是质量差的皮肤、或者人类专家是否无法从图像确定状况。
专家模块144可以被配置为经由专家设备116向多达N个(例如，N＝5)人类专家(例如，皮肤科医生等)提供图像，其中每个专家都可以执行审查任务。在N个专家对图像进行审查后，可以停止对该图像的审查。一旦接收到来自M(例如，M＝3)个专家的评论，则图像被认为是经过验证的并且可用于训练和评估。图像审查任务的创建者可以选择最小数量M和最大数量N个专家来审查图像。
专家模块144可以被配置为接收和存储评论以便扩展皮肤状况图像的数据集。多个专家的评论(例如，标签和相应的概率)可以组合以形成每个图像的概率标签。图像可以用映射在临床本体(例如本体模块142)或其他自定义列表内的代码和相关概率来组织和标记。
专家模块144(与实验室模块134等相关联)可以被配置为将专家用户做出的组合图像评论提供回最初上传图像的用户。可以将组合的图像评论提供给用户设备114的用户界面。
第三方建议模块146被配置为集成第三方应用程序以接收附加数据。例如，第三方应用程序可以包括远程医疗应用程序、远程皮肤病学应用程序或从专家接收图像和诊断的其他第三方应用程序。来自第三方应用程序的信息可以经由通信子系统124接收并作为训练或测试数据提供给人工智能模块136。
此外，可以以其他方式利用系统的特征和能力。例如，第三方应用程序可以各自地作为独立应用程序(例如，远程医疗等)运行。第三方建议模块146可以被配置为将第三方模块与系统集成在一起以实现与独立第三方应用程序相比的协同结果。例如，第三方应用程序与其他系统组件(例如，视觉分类器和问题模块)的集成可以提供对现有系统的改进。作为示例，当最终用户调用第三方建议模块146并上传图像时，人工智能模块136可以对与图像相关联的皮肤状况做出预测，并且问题模块138可以基于初始预测为最终用户呈现问题。所有这些信息都可以提供给供应商以提高系统的效率。
如下详述，将这些功能集成到单个平台中提供了许多协同作用。本发明的一个方面涉及各种功能的集成及其交互以提供改进的结果和不断改进的数据集。
皮肤状况系统102还可以被配置为与多个设备和数据源通信，包括图2所示的数据设备112、图3所示的用户设备114、和图4所示的专家设备116。
图2示出了根据本发明的实施方式的数据设备。在图示200中，数据设备212可以包括一个或多个存储器220、处理器222、和计算机可读介质230。处理器222可以通过激活操作系统232来控制连接到处理器222的多个硬件或软件以执行对系统模块所描述的各种功能的处理。例如，处理器222可以包括从其他元件接收的指令或数据，并且可以处理加载的指令或数据，包括数据模块234。皮肤状况系统102的各种组件也可以用数据设备212来实现。数据设备212可以结合移动设备(例如，天线、蜂窝模块等)的功能，以用于与网络110进行电子通信。
数据模块234可以被配置为提供用于皮肤状况系统102的图像。数据模块234可以经由网络110将图像传输到皮肤状况系统102。
数据模块234可以补充由用户设备114提供的图像以帮助训练和评估模型。由数据模块234提供的图像可以包括由专家标记的图像，包括由皮肤科医生标记的图像、皮肤病学教科书、皮肤病学图谱和从集成系统网络中的皮肤科医生接收的经验证的数据。来自未审查来源的数据可以提供给审查过程以被标记并扩展现有数据集。
图3示出了根据本发明的实施方式的用户设备。在图示300中，用户设备312可以包括一个或多个存储器320、处理器322和计算机可读介质330。处理器322可以通过激活操作系统332来控制连接到处理器322的多个硬件或软件以执行对系统模块所描述的各种功能的处理。例如，处理器322可以包括从其他元件接收的指令或数据，并且可以处理加载的指令或数据，包括图像捕获模块334。皮肤状况系统102的各种组件也可以用用户设备312来实现。用户设备312可以结合移动设备(例如，天线、蜂窝模块等)的功能，以用于与网络110进行电子通信。
用户设备312可以被配置为经由图像捕获模块334捕获皮肤状况的一个或多个图像或视频。例如，图像捕获模块334可以被配置为允许用户操作相机或与用户设备312相关联的其他图像捕获传感器324，通过将图像捕获传感器324在皮肤状况下引导，来捕获皮肤状况的图像或视频以供分析。皮肤状况图像可以用存储器320本地存储，存储在与用户设备312相关联的云数据存储器中，或者存储在临时存储器中。皮肤状况的图像可以经由网络110传输到皮肤状况系统102。
确定模块336可以被配置为经由网络110从皮肤状况系统102接收皮肤状况预测和相应的概率。确定模块336可以接收电子文件并且将电子文件作为图像提供给患者用户设备312的显示器。
图4示出了根据本发明的实施方式的专家设备。在图示400中，专家设备412可以包括一个或多个存储器420、处理器422和计算机可读介质430。处理器422可以通过激活操作系统432来控制连接到处理器422的多个硬件或软件以执行对系统模块所描述的各种功能的处理。例如，处理器422可以包括从其他元件接收的指令或数据，并且可以处理加载的指令或数据，包括反馈模块434。皮肤状况系统102的各种组件也可以用专家设备412来实现。专家设备415可以结合移动设备(例如，天线、蜂窝模块等)的功能，以用于与网络110进行电子通信。
专家设备412可以被配置为接收图像数据并且经由反馈模块434提供反馈。例如，可以将图像提供给专家设备412上的显示器。在系统的一些实现方式中，呈现图像可以包括经由界面显示图像并提供一组界面显示元素。该界面可以提供一种工具来提供关于图像的反馈(例如，标记皮肤状况和相关联的标签概率、与图像质量相关联的信息等)。经由界面接收的信息可以经由网络110传输到皮肤状况系统102。
如对专家模块144的描述中详述的，多个专家设备412可以提供关于单个图像的反馈，其中组合的反馈可以创建专家意见的集合。
处理皮肤状况数据的方法
图5示出了根据本发明的实施方式的处理皮肤状况数据的示例500。在操作502，经由用户设备114的用户界面，用户经由网络110将一个或多个图像(例如，对可能具有皮肤状况的身体的一部分进行成像)上传到皮肤状况系统102。图像被皮肤状况系统102接收。
在操作504，图像可以通过多门模块，其中使用视觉分类器和用户提供的信息来检测图像内的上下文。基于该检测到的上下文，多门模块可以应用上下文特定动作。作为示例，如果多门模块检测到图像不满足所需参数(例如，不包含皮肤)或者如果图像质量差，则过程可以进行到操作512。在操作512，多门模块可能会确定图像“超出范围”并且可能需要新图像。多门模块还可以检测图像的类型。例如，多门模块可以区分皮肤镜图像和非皮肤镜图像。基于检测到的图像类型，图像可以被引导到为特定类型的图像设计的模块。
当多门模块检测到图像满足所需参数(例如，包含皮肤)和/或具有良好质量时，过程可以进行到操作506。基于检测到的上下文，在操作506，人工智能模块136使用图像并确定图像落入各种皮肤状况类别的预测概率。当用户上传图像时，系统可以进行皮肤预测，并且这些图像可以添加到审查队列中以呈现给一组人类专家进行审查。系统可以评估系统的预测与专家标签和相应概率的匹配程度。可以使用该信息再训练预测算法。
在操作508，视觉分类器的预测皮肤状况概率可以使用问题模块138来改进，其中可以经由用户设备114向用户呈现问题并且结合用户的响应以进一步改进预测皮肤状况概率。这些问题可以基于皮肤状况系统102的人工智能模块136做出的初始预测皮肤状况概率。
在操作510，可以将预测传输到用户设备114。用户设备114可以显示潜在皮肤状况的排序列表、潜在皮肤状况的对应概率、关于皮肤状况和治疗选项的附加信息、以及可能类似于用户的(一个或多个)上传图像的代表性皮肤状况图像。
检索相似皮肤状况图像的方法
图7示出了根据本发明的实施方式的系统可以如何压缩图像的表示的一个示例。图像压缩可以使用例如一个或多个特征图来概括其二维空间结构。特征图可以是特定卷积CNN层的学习的图像响应。相似的图像可以具有相似的特征图。
在图示700中，在操作702选择数据。皮肤状况系统102可以从相似的域或形态(例如，皮肤镜图像)中选择数据来训练机器学习模型。这可以有助于模型识别给定域内的判别特征。
在操作704，皮肤状况系统102可以训练一个或多个机器学习模型来如人工智能模块136中所述对皮肤病进行分类，或者一个或多个机器学习模型被训练以识别与疾病相关联的已知视觉特性。
在操作706，可以计算一个或多个相似性度量以比较和检索相似图像。例如，系统可以使用不同的相似性或距离度量(例如余弦相似性、欧几里得距离等)来计算图像之间的相似性测度。
操作708可以实现基于计算的相似性或距离度量来检索相似图像的系统，其中返回的图像可以基于分类的相似性排序并且要返回的图像的数量可以基于图像的阈值、固定数量、或两者的组合。来自与上传图像相似的图像的已知皮肤状况标签可以单独使用或与视觉分类器结合使用，以推断上传图像的预测皮肤状况概率。可以基于排序的相似性审查图像以在训练数据904、验证数据906和测试数据908分区中分离相似图像。
图8示出了根据本发明的实施方式的图像检索的示例。说明性示例800示出了系统检索相似皮肤病变图像的示例。即使在比例、平移、旋转、颜色和照明以及其他非仿射变换发生变化时，也可以检索相似的皮肤图像。皮肤状况系统102可以不受仿射和非仿射变换的颜色和照明的细微变化的影响。
生成训练数据流水线的方法
图9示出了根据本发明的实施方式的用于训练在人工智能模块136中使用的视觉分类模型的流水线。在图示900中，从各种源接收数据，包括数据设备112、用户设备114和专家设备116。数据可以存储在一个或多个数据集902中。
可以将数据划分为训练数据904、验证数据906和测试数据908。数据划分可以结合检索相似皮肤状况图像的方法，以便跨分区分离相似图像。学习算法910可以依靠训练数据904来训练分类模型912和验证数据906以在训练期间监控模型性能。测试数据908可用于评估经训练的分类模型的性能，如图6中的示例602、604所示。分类模型912可以实现为卷积神经网络(CNN)或其他类型的深度学习模型，并且可以在本发明的实施方式中实施如在人工智能模块136中所述的各种机器学习算法和优化方法。
分类模型912的输出是与每个候选皮肤状况相关联的预测概率的列表，并且可以用作预测算法914的输入。预测算法914使用这些概率来决定一组分配给图像的预测。例如，预测算法914可以分配前k个最可能的皮肤状况作为给定图像的预测标签。来自预测算法914的输出可以与一个或多个预测一起存储在预测数据存储器916中。
测试数据908可以通过经训练的分类模型912和预测算法914，以确定皮肤状况预测916。这些预测可以与已知的测试数据908的标签进行比较以形成指示优于测试数据908的系统性能的输出评估920。
图10示出了根据本发明的实施方式的审查数据的数据处理流水线。在图示1000中，在操作1002，用户可以提供一个或多个图像。在操作1004，可以将(一个或多个)图像发送到审查队列(如实验室模块134中所述的)以供包括全球皮肤科医生网络在内的一个或多个专家审查。
在操作1006处，可以向专家显示图像和相关联的患者信息并要求其提供反馈。专家可以访问图像并通过为图像分配一个或多个标签和相应的概率来系统地标记图像。系统可以跟踪专家分配的标签和概率。图11示出了用于提供反馈的说明性用户界面。
系统可以继续接收与图像相关的反馈，直到一定数量的专家已经为图像提供了反馈。一旦收到M位专家的反馈，图像就被认为是经过验证的并可用于训练和评估。这些经过验证的图像可以有助于识别关注的状况，并为系统提供附加数据以进行评估和继续训练。这允许系统从永久使用中学习，最终提高整个系统的性能。
在操作1008，可以在满足第二阈值时从审查队列中移除图像。例如，如果Q位专家指出图像质量差或图像超出指示预期使用情况的所需参数(例如，图像未显示皮肤病)，则图像可以从审查队列中被移除并认为皮肤科医生在没有附加上下文的情况下无法识别。
其他考虑
尽管基于当前被认为是最可行和优选的实现方式，出于说明目的详细描述了本技术，但应理解，此类细节仅用于该目的，并且本技术不限于所公开的实现方式，相反，本技术旨在涵盖在本发明的精神和范围内的修改和等效布置。例如，应当理解，本技术设想在可能的范围内，任何实现方式的一个或多个特征可以与任何其他实现方式的一个或多个特征组合。
权利要求书(按照条约第19条的修改)
1.一种被配置为用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的系统，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述系统包括：
一个或多个硬件处理器，所述一个或多个硬件处理器由机器可读指令配置为：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
2.如权利要求1所述的系统，其中，所述机器可读指令还用于：
通过以下方式生成经验证的皮肤状况图像的一个或多个数据集，
生成要呈现给所述人类专家的图像队列，
经由所述用户界面向预定数量的人类专家呈现第二图像，
接收和存储来自人类专家的第二图像的标签和相应概率，
组合所述人类专家做出的评论，
从所述队列中移除所述第二图像；并且
将所述标签和相应概率与所述第二图像一起存储。
3.如权利要求2所述的系统，其中，所述机器可读指令还用于：
经由一个或多个用户界面呈现所述第二图像，以及
提供一组用户界面显示元素，所述用户界面显示元素提示所述人类专家输入：所述第二图像是否满足所需参数，所述第二图像是否看起来是健康皮肤的图像，所述第二图像是否显示患病皮肤和是指定皮肤病的概率，所述第二图像是否是质量差的图像，或者所述人类专家中的一人类专家不知道如何正确标记所述第二图像的概率的测度。
4.如权利要求1所述的系统，其中，所述机器可读指令还用于：
确定所述上传图像是否满足所存储的一组所需参数，该组所需参数在多门模块中考虑图像和附加的用户提供的信息；以及
传送所述上传图像通过所述多门模块，其中所述多门模块包括视觉分类器，并且，(i)响应于确定所述上传图像满足所述所需参数，生成将所述上传图像引导至形态特定模块的输出，或(ii)指示所述上传图像不满足所述所需参数。
5.如权利要求1所述的系统，其中，所述经验证的皮肤状况图像的所述一个或多个数据集包括映射到保持皮肤病状况之间的关系的本体的标记图像，所述本体包括表示皮肤状况的节点以及将具有更广泛标签的皮肤状况关联到特定的情境疾病标签的链接，所述节点具有父子关系。
6.如权利要求5所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：将所述一个或多个数据集组织成包括分层结构的数据结构。
7.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
呈现用户界面，管理用户能够通过该用户界面创建和管理图像审查任务。
8.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为，使对所述上传图像的专家评论被组合并提供给上传所述上传图像的用户，以便所述用户基于多个专家的意见接收所述上传图像存在的一组状况。
9.如权利要求1所述的系统，其中，从第三方应用程序接收用户皮肤部分的所述上传图像，其中所述第三方应用程序包括远程保健应用程序或远程医疗应用程序。
10.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为，与所述上传图像相似的所述一组预测或皮肤病的所述典型皮肤病图像基于相似性度量来识别。
11.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
调用问题模块，所述问题模块基于所述上传图像的所述预测概率和置信水平来选择和呈现查询；
经由所述用户界面接收对所述查询的响应；以及
迭代地呈现查询并基于接收到的所述响应来改进所述预测概率。
12.一种用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的方法，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述方法包括：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
13.如权利要求12所述的方法，其中：
通过以下方式生成经验证的皮肤状况图像的一个或多个数据集，
生成要呈现给所述人类专家的图像队列，
经由所述用户界面向预定数量的人类专家呈现第二图像，
接收和存储来自人类专家的所述第二图像的标签和相应概率，以及
组合所述人类专家做出的评论；
从所述队列中移除所述第二图像；并且
将所述标签和相应概率与所述第二图像一起存储。
14.如权利要求13所述的方法，其中：
呈现所述第二图像包括经由一个或多个用户界面呈现所述第二图像，以及
呈现所述第二图像包括提供一组用户界面显示元素，所述用户界面显示元素提示所述人类专家中的一人类专家输入：所述第二图像是否满足所需参数，所述第二图像是否看起来是健康皮肤的图像，所述第二图像是否显示患病皮肤和是指定皮肤病的概率，所述第二图像是否是质量差的图像，或者该人类专家不知道如何正确标记所述第二图像的概率的测度。
15.如权利要求12所述的方法，其中：
通过以下方式确定所述第二图像是否满足所存储的一组所需参数：
在多门模块中考虑所述第二图像和附加的用户提供的信息，以及
传送所述第二图像通过所述多门模块，其中所述多门模块包括视觉分类器，并且(i)响应于确定所述第二图像满足所述所需参数，生成将所述第二图像引导至形态特定模块的输出，或(ii)指示所述第二图像不满足所述所需参数。
16.如权利要求12所述的方法，其中，所述经验证的皮肤状况图像的所述一个或多个数据集包括映射到保持皮肤病状况之间的关系的本体的标记图像，所述本体包括表示皮肤状况的节点，所述节点具有父子关系，所述方法还包括将具有更广泛标签的相关皮肤状况链接到特定的情境疾病标签。
17.如权利要求16所述的方法，其中，所述一个或多个硬件处理器还由机器可读指令配置为：将所述一个或多个数据集组织成包括分层结构的数据结构。
18.如权利要求12所述的方法，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
呈现用户界面，管理用户能够通过该用户界面创建和管理图像审查任务。
19.如权利要求12所述的方法，其中，对所述上传图像的专家评论被组合并提供给上传所述上传图像的用户，以便所述用户基于多个专家的意见接收所述上传图像存在的一组状况。
20.一种其上包含指令的非暂时性计算机可读存储介质，所述指令能够由一个或多个处理器执行以执行用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的方法，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述方法包括：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。

Claims (20)

1.一种被配置为用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的系统，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述系统包括：
一个或多个硬件处理器，所述一个或多个硬件处理器由机器可读指令配置为：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
2.如权利要求1所述的系统，其中：
通过生成要呈现给所述人类专家的图像队列来生成经验证的皮肤状况图像的一个或多个数据集，
通过经由所述用户界面向预定数量的人类专家呈现第二图像来生成所述经验证的皮肤状况图像的所述一个或多个数据集，
通过接收和存储来自人类专家的图像的标签和相应概率，生成所述经验证的皮肤状况图像的所述一个或多个数据集，
通过组合多位人类专家做出的评论生成所述经验证的皮肤状况图像的所述一个或多个数据集，以及
所述一个或多个硬件处理器还由机器可读指令配置为从所述队列中移除所述图像并将所述标签和相应概率与所述图像一起存储。
3.如权利要求2所述的系统，其中：
呈现所述图像包括经由一个或多个用户界面呈现所述图像，以及
呈现所述图像包括提供一组用户界面显示元素，所述用户界面显示元素提示所述人类专家输入：所述图像是否满足所需参数，所述图像是否看起来是健康皮肤的图像，所述图像是否显示患病皮肤和是指定皮肤病的概率，所述图像是否是质量差的图像，或者所述人类专家不知道如何正确标记所述图像的概率的测度。
4.如权利要求1所述的系统，其中：
确定所述图像是否满足所存储的一组所需参数的步骤将在多门模块中考虑图像和附加的用户提供的信息，以及
所述多门模块能够包含视觉分类器，其中，传送所述上传图像通过所述多门模块的步骤包括：响应于确定所述图像是否满足所述所需参数，生成将所述图像引导至形态特定模块或指示所述图像不满足所述所需参数的输出。
5.如权利要求1所述的系统，其中，所述经验证的皮肤状况图像的所述一个或多个数据集包括映射到保持皮肤病状况之间的关系的本体的标记图像，所述本体包括表示皮肤状况的节点，所述节点具有父子关系，所述方法还包括将具有更广泛标签的相关皮肤状况链接到特定的情境疾病标签。
6.如权利要求5所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：将所述数据集组织成包括分层结构的数据结构。
7.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
呈现用户界面，管理用户能够通过该用户界面创建和管理图像审查任务。
8.如权利要求1所述的系统，其中，对所述上传图像的专家评论被组合并提供给上传所述上传图像的用户，以便所述用户基于多个专家的意见接收所述上传图像存在的一组状况。
9.如权利要求1所述的系统，其中，用户皮肤部分的所述上传图像由第三方应用程序提供，其中所述第三方应用程序包括远程保健应用程序或远程医疗应用程序。
10.如权利要求1所述的系统，其中，与所述上传图像相似的所述一组预测或皮肤病的所述典型皮肤病图像基于相似性度量来识别。
11.如权利要求1所述的系统，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
调用问题模块，所述问题模块基于所述上传图像的所述预测概率和置信水平来选择和呈现查询；
经由所述用户界面接收对所述查询的响应；以及
迭代地呈现查询并基于接收到的所述响应来改进所述预测概率。
12.一种用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的方法，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述方法包括：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
13.如权利要求12所述的方法，其中：
通过生成要呈现给所述人类专家的图像队列来生成经验证的皮肤状况图像的一个或多个数据集，
通过经由所述用户界面向预定数量的人类专家呈现第二图像来生成所述经验证的皮肤状况图像的所述一个或多个数据集，
通过接收和存储来自人类专家的图像的标签和相应概率，生成所述经验证的皮肤状况图像的所述一个或多个数据集，
通过组合多位人类专家做出的评论生成所述经验证的皮肤状况图像的所述一个或多个数据集，以及
所述一个或多个硬件处理器还由机器可读指令配置为从所述队列中移除所述图像并将所述标签和相应概率与所述图像一起存储。
14.如权利要求13所述的方法，其中：
呈现所述图像包括经由一个或多个用户界面呈现所述图像，以及
呈现所述图像包括提供一组用户界面显示元素，所述用户界面显示元素提示所述人类专家输入：所述图像是否满足所需参数，所述图像是否看起来是健康皮肤的图像，所述图像是否显示患病皮肤和是指定皮肤病的概率，所述图像是否是质量差的图像，或者所述人类专家不知道如何正确标记所述图像的概率的测度。
15.如权利要求12所述的方法，其中：
确定所述图像是否满足所存储的一组所需参数的步骤将在多门模块中考虑图像和附加的用户提供的信息，以及
所述多门模块能够包含视觉分类器，其中，传送所述上传图像通过所述多门模块的步骤包括：响应于确定所述图像是否满足所述所需参数，生成将所述图像引导至形态特定模块或指示所述图像不满足所述所需参数的输出。
16.如权利要求12所述的方法，其中，所述经验证的皮肤状况图像的所述一个或多个数据集包括映射到保持皮肤病状况之间的关系的本体的标记图像，所述本体包括表示皮肤状况的节点，所述节点具有父子关系，所述方法还包括将具有更广泛标签的相关皮肤状况链接到特定的情境疾病标签。
17.如权利要求16所述的方法，其中，所述一个或多个硬件处理器还由机器可读指令配置为：将所述数据集组织成包括分层结构的数据结构。
18.如权利要求12所述的方法，其中，所述一个或多个硬件处理器还由机器可读指令配置为：
呈现用户界面，管理用户能够通过该用户界面创建和管理图像审查任务。
19.如权利要求12所述的方法，其中，对所述上传图像的专家评论被组合并提供给上传所述上传图像的用户，以便所述用户基于多个专家的意见接收所述上传图像存在的一组状况。
20.一种其上包含指令的非暂时性计算机可读存储介质，所述指令能够由一个或多个处理器执行以执行用于根据上传到皮肤状况分类应用程序的图像确定皮肤状况的方法，所述图像在所述皮肤状况分类应用程序内处理或上传到服务器，所述方法包括：
存储皮肤状况图像的一个或多个数据集，其中，所述皮肤状况图像与人类专家确定的一种或多种皮肤状况相关联；
用所述皮肤状况图像的所述一个或多个数据集训练视觉分类器模型；
经由所述皮肤状况分类应用程序的用户界面接收一个或多个上传图像；
传送所述上传图像通过所述视觉分类器模型，以确定所述上传图像的上下文；
生成所述视觉分类器模型的输出，所述输出表示所述上传图像展现出一个或多个皮肤状况类别的预测概率；
确定所述皮肤状况类别的一组预测；
经由所述用户界面在计算机显示器上显示所述上传图像展现的所述一组预测；
显示关于所述一组预测的信息；以及
显示所述一组预测或皮肤病的与所述上传图像相似的典型皮肤病图像。
CN202080080593.0A 2019-09-18 2020-07-07 从图像和专家知识收集和识别皮肤状况的系统 Pending CN114727766A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962902354P 2019-09-18 2019-09-18
US62/902,354 2019-09-18
US16/880,622 2020-05-21
US16/880,622 US10878567B1 (en) 2019-09-18 2020-05-21 System to collect and identify skin conditions from images and expert knowledge
PCT/IB2020/000552 WO2021053385A1 (en) 2019-09-18 2020-07-07 System to collect and identify skin conditions from images and expert knowledge

Publications (1)

Publication Number Publication Date
CN114727766A true CN114727766A (zh) 2022-07-08

Family

ID=74039556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080593.0A Pending CN114727766A (zh) 2019-09-18 2020-07-07 从图像和专家知识收集和识别皮肤状况的系统

Country Status (11)

Country Link
US (4) US10878567B1 (zh)
EP (1) EP4031013A4 (zh)
JP (2) JP7330372B2 (zh)
KR (1) KR20220064395A (zh)
CN (1) CN114727766A (zh)
AU (2) AU2020349082B2 (zh)
BR (1) BR112022005029A2 (zh)
CA (1) CA3155097A1 (zh)
IL (2) IL301245A (zh)
JO (1) JOP20220067A1 (zh)
WO (1) WO2021053385A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436019B2 (en) * 2019-07-15 2022-09-06 Microsoft Technology Licensing, Llc Data parallelism in distributed training of artificial intelligence models
US11520592B2 (en) 2019-07-15 2022-12-06 Microsoft Technology Licensing, Llc Executing large artificial intelligence models on memory-constrained devices
US11354579B2 (en) 2019-07-15 2022-06-07 Microsoft Technology Licensing, Llc Dynamic multi-layer execution for artificial intelligence modeling
EP4010908A1 (en) * 2019-09-11 2022-06-15 Google LLC Deep learning system for differential diagnosis of skin diseases
US11636639B2 (en) * 2019-10-11 2023-04-25 Robert G. Adamson, III Mobile application for object recognition, style transfer and image synthesis, and related systems, methods, and apparatuses
US11915114B2 (en) 2020-07-31 2024-02-27 Yahoo Assets Llc System and method for ensemble expert diversification
US11823021B2 (en) 2020-07-31 2023-11-21 Yahoo Assets Llc System and method for ensemble expert diversification via bidding
US20220036249A1 (en) * 2020-07-31 2022-02-03 Oath Inc. System and Method for Ensemble Expert Diversification and Control Thereof
US20220309385A1 (en) * 2021-03-25 2022-09-29 CAMP Systems International, Inc. Training a machine learning model for hardware component identification
CN113053524B (zh) * 2021-06-02 2021-08-27 杭州咏柳科技有限公司 基于皮肤影像的线上辅助诊疗系统
CN113553909B (zh) * 2021-06-23 2023-08-04 北京百度网讯科技有限公司 用于皮肤检测的模型训练方法、皮肤检测方法
US20230018833A1 (en) * 2021-07-19 2023-01-19 GE Precision Healthcare LLC Generating multimodal training data cohorts tailored to specific clinical machine learning (ml) model inferencing tasks
WO2023018257A1 (ko) * 2021-08-11 2023-02-16 고려대학교 산학협력단 사용자 문진 데이터와 피부 영상 데이터를 이용한 접촉 피부염의 원인 추정 방법 및 장치
CN113705477B (zh) * 2021-08-31 2023-08-29 平安科技（深圳）有限公司 一种医疗图像识别方法、系统、设备及介质
CN114118958A (zh) * 2021-11-24 2022-03-01 支付宝(杭州)信息技术有限公司 自动化审理方法和装置
WO2023096503A1 (en) * 2021-11-25 2023-06-01 Kahu.Ai Limited Methods and systems for automatic risk assessment of a skin lesion from multiple images
AU2022400601A1 (en) * 2021-12-02 2024-03-28 Kahu.Ai Limited Skin lesion classification system and method
CN114376526B (zh) * 2022-01-12 2022-10-28 广东药科大学 一种皮肤状态分析方法及护肤镜
US20240112329A1 (en) 2022-10-04 2024-04-04 HeHealth PTE Ltd. Distinguishing a Disease State from a Non-Disease State in an Image
ES2976657A1 (es) * 2022-12-21 2024-08-06 Skilled Skin Sl Procedimiento de control, pronóstico y soporte comparativo relativos a lesiones dermatológicas
CN116721240B (zh) * 2023-08-09 2023-10-24 常州糖族部落云健康科技有限公司 皮肤瘢痕测量及皮下硬块感知测试的ai系统、分析方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0103030D0 (en) * 2001-02-07 2001-03-21 Univ London Spectrum processing and processor
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
JP4437202B2 (ja) * 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
US20090082637A1 (en) * 2007-09-21 2009-03-26 Michael Galperin Multi-modality fusion classifier with integrated non-imaging factors
US8693788B2 (en) 2010-08-06 2014-04-08 Mela Sciences, Inc. Assessing features for classification
WO2013049153A2 (en) 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2014099519A2 (en) * 2012-12-20 2014-06-26 Volcano Corporation System and method for multi-modality workflow management using hierarchical state machines
US9445713B2 (en) 2013-09-05 2016-09-20 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
WO2015054666A1 (en) 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
JP6471559B2 (ja) * 2015-03-20 2019-02-20 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラム
WO2016159379A1 (ja) * 2015-04-02 2016-10-06 イービーエム株式会社 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
US9996923B2 (en) 2015-04-24 2018-06-12 Canfield Scientific, Incorporated Methods and apparatuses for dermatological feature tracking over multiple images
US20180108442A1 (en) * 2016-10-18 2018-04-19 iDoc24 Inc. Telemedicine referral platform
JP6496876B1 (ja) * 2017-10-26 2019-04-10 株式会社メディアコンテンツファクトリー 問診システム及びそのプログラム
US10607122B2 (en) * 2017-12-04 2020-03-31 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10679330B2 (en) * 2018-01-15 2020-06-09 Tata Consultancy Services Limited Systems and methods for automated inferencing of changes in spatio-temporal images
US20190220738A1 (en) 2018-01-18 2019-07-18 Amit Flank Skin analysis system and method
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
US20200294234A1 (en) * 2019-03-13 2020-09-17 Matchlab, Inc. Methods and systems for automatedly collecting and ranking dermatological images
KR20220158218A (ko) * 2019-07-10 2022-11-30 루오웨이 지앙 피부 분석을 위한 이미지들을 프로세싱하고 피부 분석을 시각화하기 위한 시스템들 및 방법들
US11538577B2 (en) * 2019-10-21 2022-12-27 Morgan State University System and method for automated diagnosis of skin cancer types from dermoscopic images

Also Published As

Publication number Publication date
KR20220064395A (ko) 2022-05-18
AU2023203298B2 (en) 2024-10-10
BR112022005029A2 (pt) 2022-08-30
IL291317B2 (en) 2024-01-01
US20210133970A1 (en) 2021-05-06
AU2023203298A1 (en) 2023-06-22
JP2023162235A (ja) 2023-11-08
EP4031013A1 (en) 2022-07-27
US20210407083A1 (en) 2021-12-30
JOP20220067A1 (ar) 2023-01-30
AU2020349082B2 (en) 2023-09-07
US10878567B1 (en) 2020-12-29
AU2020349082A1 (en) 2022-04-14
JP2022549433A (ja) 2022-11-25
JP7330372B2 (ja) 2023-08-21
IL301245A (en) 2023-05-01
IL291317A (en) 2022-05-01
US20240153079A1 (en) 2024-05-09
EP4031013A4 (en) 2023-10-11
WO2021053385A1 (en) 2021-03-25
IL291317B1 (en) 2023-09-01
CA3155097A1 (en) 2021-03-25
US11948298B2 (en) 2024-04-02
US11972558B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
JP7330372B2 (ja) 画像および専門知識から皮膚症状を収集し特定するシステム
US11922348B2 (en) Generating final abnormality data for medical scans based on utilizing a set of sub-models
US10825167B2 (en) Rapid assessment and outcome analysis for medical patients
EP3404666A2 (en) Rapid assessment and outcome analysis for medical patients
CA3137079A1 (en) Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
CN112712879A (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN112420202A (zh) 数据的处理方法、装置及设备
US20220391760A1 (en) Combining model outputs into a combined model output
Kim et al. Fostering transparent medical image AI via an image-text foundation model grounded in medical literature
US11783165B1 (en) Generating vectors from data
Rani et al. Skin disease diagnosis using vgg19 algorithm and treatment recommendation system
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
Sumithra et al. Optimizing Brain Tumor Recognition with Ensemble support Vector-based Local Coati Algorithm and CNN Feature Extraction
CN118332508B (zh) 面向模态缺失的多模态融合处理方法、电子设备、介质
EP4390960A1 (en) Systems and methods for providing an updated machine learning algorithm
Balaji et al. Computational Intelligence for Multimodal Analysis of High‐Dimensional Image Processing in Clinical Settings
Alirezaei et al. Multi-Task Classification for Improved Health Outcome Prediction Based on Environmental Indicators
Shandilya et al. Skin Disease Diagnosis Using VGG19 Algorithm and Treatment Recommendation System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071091

Country of ref document: HK