CN112368712A - 基于注释信息的分类和定位 - Google Patents

基于注释信息的分类和定位 Download PDF

Info

Publication number
CN112368712A
CN112368712A CN201980044205.0A CN201980044205A CN112368712A CN 112368712 A CN112368712 A CN 112368712A CN 201980044205 A CN201980044205 A CN 201980044205A CN 112368712 A CN112368712 A CN 112368712A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
loss function
masks
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044205.0A
Other languages
English (en)
Inventor
赵茜
张敏
戈帕尔·阿维纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN112368712A publication Critical patent/CN112368712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了用于基于注释信息来分类和定位的系统和技术。在一个示例中，系统基于训练数据和多个图像来训练卷积神经网络。训练数据与来自至少一个成像设备的多个患者相关联。该多个图像与来自多个对象的多个掩模相关联。卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层组成。该系统还基于该多个掩模来生成损失函数，其中该损失函数被迭代地反向传播以调谐该卷积神经网络的参数。该系统还基于卷积神经网络预测输入图像的分类标签。

Description

基于注释信息的分类和定位
技术领域
本公开整体涉及人工智能。
背景技术
人工智能(AI)可以用于数字图像的分类和/或分析。例如，AI可以用于图像识别。在某些技术应用中，AI可以用于增强成像分析。在一个示例中，可以采用基于感兴趣区域的深度神经网络来定位数字图像中的特征。然而，使用常规人工技术通常难以实现数字图像的分类和/或分析的准确性和/或效率。此外，用于数字图像分类和/或分析的常规人工技术通常需要劳动密集型过程，诸如像素注释、体素水平注释等。因此，可以改进用于数字图像分类和/或分析的常规人工技术。
发明内容
以下内容提出了本说明书的简化发明内容以便提供对本说明书的某些方面的基本理解。该发明内容不是对本说明书的详尽概述。它既不旨在标识本说明书的关键或重要元素，也不旨在描述本说明书的特定具体实施的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本说明书的一些概念，作为稍后呈现的更详细描述的序言。
根据一个实施方案，一种系统包括训练组件、损失函数组件和分类组件。训练组件基于训练数据和多个图像训练卷积神经网络。训练数据与来自至少一个成像设备的多个患者相关联。该多个图像与来自多个对象的多个掩模相关联。卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层组成。损失函数组件基于该多个掩模来生成损失函数，其中该损失函数被迭代地反向传播以调谐该卷积神经网络的参数。分类组件基于卷积神经网络预测输入图像的分类标签。
根据另一个实施方案，提供了一种方法。该方法包括从至少一个成像设备接收与多个患者相关联的多个图像。该方法还包括接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模。此外，该方法包括基于该多个图像和该多个掩模来训练卷积神经网络，其中该卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成。该方法还包括基于多个掩模来生成损失函数。另外，该方法包括迭代地反向传播损失函数以调谐卷积神经网络的参数。该方法还包括基于卷积神经网络预测输入图像的分类标签。
根据又一个实施方案，提供了一种计算机可读存储设备。该计算机可读存储设备包括指令，该指令响应于执行而使得包括处理器的系统执行操作，该操作包括从至少一个成像设备接收与多个患者相关联的多个图像。处理器还执行操作，该操作包括接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模。处理器还执行操作，该操作包括基于该多个图像和该多个掩模来训练卷积神经网络，其中该卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成。此外，处理器执行操作，该操作包括基于多个掩模生成损失函数。处理器还执行操作，该操作包括迭代地反向传播损失函数以调谐卷积神经网络的参数。处理器还执行操作，该操作包括基于卷积神经网络预测输入图像的分类标签。
以下具体实施方式和附图阐述了本说明书的某些例示性方面。然而，这些方面仅指示了可以采用本说明书原理的各种方式中的一些方式。当结合附图考虑时，根据以下对说明书的详细描述，本说明书的其他优点和新颖特征将变得显而易见。
附图说明
结合附图考虑以下具体实施方式，本发明的许多方面、具体实施、目标和优点将变得显而易见，在整个附图中，相同的附图标记表示相同的部件，并且其中：
图1示出了根据本文描述的各个方面和具体实施的示例性机器学习组件的高级框图；
图2示出了根据本文描述的各个方面和具体实施的另一个示例性机器学习组件的高级框图；
图3示出了根据本文描述的各个方面和具体实施的系统，该系统包括示例性机器学习组件和示例性医学成像诊断过程；
图4示出了根据本文描述的各个方面和具体实施的与分割-分类网络相关联的另一示例性系统；
图5示出了根据本文描述的各个方面和具体实施的与实现损失函数的分割-分类网络相关联的另一示例性系统；
图6示出了根据本文描述的各个方面和具体实施的示例性损失函数；
图7示出了根据本文描述的各个方面和具体实施的另一示例性多维可视化；
图8描绘了根据本文描述的各个方面和具体实施的用于基于注释信息来分类和/或定位的另一示例性方法的流程图；
图9是示出合适操作环境的示意性框图；并且
图10是样本计算环境的示意性框图。
具体实施方式
现在参考附图来描述本公开的各个方面，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下，或者在有其他方法、部件、材料等的情况下实践本公开的某些方面。在其他实例中，以框图形式示出了公知的结构和设备以有助于描述一个或多个方面。
本发明提供了基于注释信息提供分类和定位的系统和技术。例如，本文公开了一种新型端到端深度学习框架，以例如在给定的与感兴趣区域有关的掩模注释的情况下自动检测和/或定位医学图像中的疾病。分类和定位网络可以是完全卷积神经网络，并且可在推断期间输出图像级标签和定位图。因此，与仅使用图像级标签的常规分类相比，使用掩模信息时的分类和/或定位准确率可得到改善。在一个实施方案中，与上采样和/或卷积神经网络层相关联的解码器可被端到端深度学习框架用于例如改善位置结果。此外，通过采用本文所述的新颖的端到端深度学习框架，可改善与图像数据相关联的一个或多个特征的检测和/或定位(例如，与医学成像数据相关联的患者的一个或多个状况的检测和/或定位)。此外，可以改善图像数据(例如，医学成像数据)的分类和/或分析的准确性和/或效率。另外，可以改善用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的有效性，可以改善执行用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的一个或多个处理器的性能，和/或可以改善执行用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的一个或多个处理器的效率。
首先参见图1，示出了根据本主题公开的一个方面的用于基于注释信息来分类和/或定位的示例性系统100。系统100可以由各种系统采用，诸如但不限于，医疗设备系统、医学成像系统、医学诊断系统、医学系统、医学建模系统、企业成像解决方案系统、高级诊断工具系统、模拟系统、图像管理平台系统、护理实施管理系统、人工智能系统、机器学习系统、神经网络系统、建模系统、航空系统、动力系统、分布式动力系统、能量管理系统、热管理系统、运输系统、石油和天然气系统、机械系统、机器系统、设备系统、基于云的系统、加热系统、HVAC系统、医疗系统、汽车系统、飞机系统、水运工具系统、水过滤系统、冷却系统、泵系统、发动机系统、预测系统、机器设计系统等。在一个示例中，系统100可以与分类系统相关联以促进医学成像数据的可视化和/或解释。此外，系统100和/或系统100的部件可以用于使用硬件和/或软件来解决本质上是高度技术性的问题(例如，与处理数字数据相关、与处理医学成像数据相关、与医学建模相关、与医学成像相关、与人工智能相关等)，这些问题不是抽象的并且不能作为一系列精神行为由人类执行。
系统100可包括机器学习组件102，该机器学习组件可包括训练组件104、损失函数组件106和分类组件108。本公开中解释的系统、装置或过程的各方面可以构成在机器内体现(例如，在与一个或多个机器相关联的一个或多个计算机可读介质中体现)的机器可执行组件。当由一个或多个机器(例如，计算机、计算设备、虚拟机等)执行时，这类部件可以使机器执行所述操作。系统100(例如，机器学习组件102)可以包括用于存储计算机可执行组件和指令的存储器112。系统100(例如，机器学习组件102)还可以包括处理器110以促进系统100(例如，机器学习组件102)对指令(例如，计算机可执行组件和指令)的操作。
机器学习组件102(例如，训练组件104)可接收医学成像数据(例如，图1所示的医学成像数据)。医学成像数据可与多个患者相关联。此外，医学成像数据可以是一组图像(例如，一组医学图像)。医学成像数据可以是由一个或多个医学成像设备生成的二维医学成像数据和/或三维医学成像数据。例如，医学成像数据可以是经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的电磁辐射图像。在某些实施方案中，医学成像数据可以是在时间间隔期间经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的一系列电磁辐射图像。可以直接从一个或多个医学成像设备接收医学成像数据。可替代地，医学成像数据可以存储在一个或多个数据库中，该一个或多个数据库接收和/或存储与一个或多个医学成像设备相关联的医学成像数据。医学成像设备可以是例如x射线设备、计算机断层扫描(CT)设备、另一种类型的医学成像设备等。除此之外或另选地，机器学习组件102(例如，训练组件104)可接收掩模数据(例如，图1所示的掩模数据)。在一个实施方案中，掩模数据可以是来自多个对象的一组掩模。例如，来自医学成像数据的每个医学图像可与一个或多个掩模相关联。掩模可以是用于掩蔽图像(例如，在医学成像数据中)中的一个或多个区域的滤波器。例如，掩模可包括图像中(例如，医学成像数据中)的一个或多个感兴趣区域的一个或多个权重。在一个示例中，掩模可包括使用二进制滤波来限定感兴趣区域的位置的一组像素。在一个实施方案中，医学成像数据和/或掩模数据可用作训练数据，以例如训练卷积神经网络。在某些实施方案中，医学成像数据和/或掩模数据可存储在接收和/或存储与至少一个成像设备相关联的训练数据的数据库中。在某些实施方案中，医学成像数据可与来自预训练的模型的一组权重相关联。
在一个实施方案中，训练组件104可基于医学成像数据(例如，多个图像)和/或掩模数据来训练卷积神经网络。例如，训练组件104可执行机器学习过程的训练阶段，以例如训练卷积神经网络的神经网络模型。卷积神经网络可包括解码器，该解码器由至少一个上采样层和/或至少一个卷积层组成。另外，在某些实施方案中，卷积神经网络可包括输出卷积特征图的预训练的分类器网络。除此之外或另选地，在某些实施方案中，卷积神经网络可包括输出对应评分图的分类/定位网络。在某些实施方案中，卷积神经网络可以是卷积层的弹簧网络。例如，卷积神经网络可对与卷积神经网络的卷积层相关联的医学成像数据执行多个顺序和/或并行的下采样和上采样。在一个示例中，卷积神经网络可执行与医学成像数据的顺序下采样相关联的第一卷积层处理，以及与医学成像数据的顺序上采样相关联的第二卷积层处理。卷积层的弹簧网络可以包括与顺序下采样相关联的第一卷积层处理和与顺序上采样相关联的第二卷积层处理。与卷积神经网络相关联的卷积层的弹簧网络可以更改卷积层滤波器，类似于弹簧的功能。例如，卷积神经网络可基于包括第一尺寸的第一卷积层滤波器、包括与第一尺寸不同的第二尺寸的第二卷积层滤波器、以及包括与第一卷积层滤波器相关联的第一尺寸的第三卷积层滤波器来分析医学成像数据。在某些实施方案中，训练组件104可基于医学成像数据和/或掩模数据(例如，训练数据)来训练卷积神经网络，以确定医学成像数据中是否存在第一类。除此之外或另选地，训练组件104可基于医学成像数据和/或掩模数据(例如，训练数据)来训练卷积神经网络，以形成与神经网络架构相关联的卷积神经网络的至少一部分。神经网络架构可以是例如执行与医学成像数据的一个或多个二进制分类相关联的机器学习的二进制神经网络架构。
损失函数组件106可基于与医学成像数据相关联的多个掩模生成损失函数。损失函数可以是例如卷积神经网络的损失函数。在某些实施方案中，损失函数组件106可采用解码器来生成定位图。例如，损失函数组件106可执行与上采样和/或一个或多个卷积神经网络层相关联的解码过程以生成定位图。定位图可包括例如表示医学成像数据的一个或多个区域的概率评分的信息。在一个实施方案中，定位图可包括表示医学成像数据的一个或多个区域的概率评分的可视化。在某些实施方案中，解码器可以是一组解码器。在一个方面，解码器可以是执行与上采样和/或一个或多个卷积神经网络层相关联的不同解码过程的一组解码器。例如，解码器可包括执行与上采样和/或一个或多个卷积神经网络层相关联的第一解码过程的第一解码器，执行与上采样和/或一个或多个卷积神经网络层相关联的第二解码过程的第二解码器，执行与上采样和/或一个或多个卷积神经网络层相关联的第三解码过程的第三解码器等。在另一方面，可在卷积神经网络的训练期间确定包括在该组解码器中的解码器的数量。在某些实施方案中，损失函数组件106可基于与多个掩模相关联的类别的概率来生成损失函数。例如，损失函数组件106可基于与来自卷积神经网络和多个掩模的分类输出相关联的概率生成损失函数。在一个方面，损失函数可迭代地反向传播以调谐卷积神经网络的一个或多个参数。例如，可基于损失函数来修改卷积神经网络以改善来自卷积神经网络的分类输出。
分类组件108可基于卷积神经网络预测输入图像的分类标签。分类组件108采用的卷积神经网络可以是基于损失函数来调谐的卷积神经的型式。输入图像可以是例如医学图像。输入图像可以是由一个或多个医学成像设备生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。例如，输入图像可以是由x射线设备、CT设备、另一种类型的医学成像设备等生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。在一个示例中，输入图像可以是经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的电磁辐射图像。在某些实施方案中，输入图像可以是在时间间隔期间经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的一系列电磁辐射图像。可以直接从一个或多个医学成像设备接收输入图像。另选地，输入图像可存储在一个或多个数据库中，该一个或多个数据库接收和/或存储与一个或多个医学成像设备相关联的输入图像。在一个方面，卷积神经网络可包括基于卷积特征图输出对应评分图的分类/定位网络。在另一方面，该多个掩模中的掩模的尺寸可与卷积特征图中的卷积特征图的尺寸匹配。除此之外或另选地，基于最大池化过程，多个掩模中的掩模的尺寸可与来自卷积特征图的卷积特征图的尺寸匹配。
在某些实施方案中，分类组件108可基于卷积神经网络(例如，基于损失函数调谐的卷积神经的型式)从输入图像提取指示相关性、推理和/或表达的信息。分类组件108可基于与卷积神经网络相关联的至少一个机器学习模型(例如，基于损失函数调谐的卷积神经的型式)的执行来生成经学习的成像输出。在一个方面，分类组件108可生成经学习的成像输出。由分类组件108生成的经学习的成像输出可包括例如与输入图像相关联的学习、相关性、推理和/或表达。在一个方面，分类组件108可使用卷积神经网络(例如，基于损失函数调谐的卷积神经的型式)显式或隐式地相对于输入图像执行学习。分类组件108还可采用自动分类系统和/或自动分类过程以便于分析输入图像。例如，分类组件108可采用基于概率和/或统计的分析(例如，考虑到分析效用和成本)来学习和/或生成相对于输入图像的推理。分类组件108可采用例如支持向量机(SVM)分类器来学习和/或生成对成像数据的推理。除此之外或另选地，分类组件108可采用与贝叶斯网络、决策树和/或概率分类模型相关联的其他分类技术。由分类组件108采用的分类器可被显式地训练(例如，经由通用训练数据)以及被隐式地训练(例如，经由接收外部信息)。例如，相对于SVM，可以经由分类器构造器和特征选择模块内的学习或训练阶段来配置SVM。分类器可以是将输入属性向量x＝(x1,x2,x3,x4,xn)映射到输入属于一个类别的置信度的函数—即f(x)＝置信度(类别)。
应当认识到，机器学习组件102的技术特征本质上是高度技术性的并且不是抽象思想。处理和/或分析医学成像数据、确定异常医学成像数据等的机器学习组件102的处理线程不能由人类执行(例如，该处理线程超过单个人类的心智能力)。例如，由机器学习组件102在特定时间段内处理的医学成像数据的量、对医学成像数据的处理速度和/或处理的医学成像数据的数据类型与单人心智在相同时间段内可处理的量、速度和数据类型相比可以分别更大、更快和不同。此外，由机器学习组件102处理的医学成像数据可以是由医学成像设备的传感器生成的一个或多个医学图像。此外，机器学习组件102可以对于执行一个或多个其他功能完全操作(例如，完全通电、完全执行等)，同时还处理医学成像数据。
现在参考图2，示出了根据本公开的各个方面和具体实施的系统200的非限制性具体实施。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。
系统200包括机器学习组件102。机器学习组件102可包括训练组件104、损失函数组件106、分类组件108、可视化组件202、处理器110和/或存储器112。可视化组件202可生成与由分类组件108分类的输入图像的分类标签相关联的多维可视化。除此之外或另选地，可视化组件202可生成与由分类组件108分类的输入图像的定位信息相关联的多维可视化。例如，可视化组件202可生成输入图像的分类标签和/或输入图像的定位信息的人类可解释的可视化。除此之外或另选地，可视化组件202可生成输入图像和/或医学成像数据的人类可解释的可视化。在一个实施方案中，可视化组件202可基于与输入图像相关联的解剖区域的一部分的分类和/或定位来生成深度学习数据。深度学习数据可以包括例如位于输入图像中的一种或多种疾病的分类和/或位置。在某些实施方案中，深度学习数据可以包括指示位于输入图像中的一种或多种疾病的概率的概率数据。概率数据可以是例如位于输入图像中的一种或多种疾病的数据值的概率阵列。除此之外或另选地，可视化组件202可生成与和输入图像相关联的解剖区域的一部分的分类和/或定位相关联的多维可视化。
多维可视化可以是输入图像的图形表示，其示出一种或多种疾病的分类和/或相对于患者身体的位置。可视化组件202还可生成由医学成像诊断过程提供的诊断的多维可视化的显示。例如，可视化组件202可以在与用户设备的显示器相关联的用户界面上呈现解剖区域的一部分的2D可视化，用户设备诸如但不限于计算设备、计算机、台式计算机、膝上型计算机、监视器设备、智能设备、智能电话、移动设备、手持式设备、平板电脑、便携式计算设备、或与显示器相关联的另一种类型的用户设备。在一个方面，多维可视化可以包括深度学习数据。在另一个方面，深度学习数据也可以作为一个或多个动态视觉元素呈现在3D模型上。在一个实施方案中，可视化组件202可以基于解剖区域的部分的分类和/或定位来改变与多维可视化相关联的深度学习数据的至少一部分的视觉特性(例如，颜色、尺寸、色调、阴影等)。例如，基于深度学习和/或医学成像诊断的结果，解剖区域的部分的分类和/或定位可以被呈现为不同视觉特性(例如，颜色、尺寸、色调或阴影等)。在另一个方面，可视化组件202可以允许用户相对于与多维可视化相关联的深度学习数据来进行放大或缩小。例如，可视化组件202可允许用户相对于在患者身体的解剖区域中识别的一种或多种疾病的分类和/或位置来进行放大或缩小。这样，用户可以查看、分析与输入图像的多维可视化相关联的深度学习数据和/或与其进行交互。
现在参考图3，示出了根据本公开的各个方面和具体实施的系统300的非限制性具体实施。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。
系统300包括机器学习组件102和医学成像诊断过程302。机器学习组件102可以向医学成像诊断过程302提供分类数据和/或定位数据。分类数据和/或定位数据可以包括与输入图像相关联的一个或多个分类和/或定位信息。在一个方面，分类数据和/或定位数据可以由分类组件108生成。在一个方面，医学成像诊断过程302可执行深度学习以便于与输入图像和/或医学成像数据相关联的一种或多种疾病的分类和/或定位。在另一个方面，医学成像诊断过程302可基于接收输入图像和/或医学成像数据的卷积神经网络来执行深度学习。由医学成像诊断过程302分类和/或定位的疾病可以包括例如肺部疾病、心脏疾病、组织疾病、骨骼疾病、肿瘤、癌症、肺结核、心脏肥大、肺部充气不足、肺部浑浊、高血压、脊柱退行性疾病、钙质沉着、或与患者身体的解剖区域相关联的其他类型的疾病。在一个方面，医学成像诊断过程302可以确定与输入图像和/或医学成像数据相关联的疾病的预测。例如，医学成像诊断过程302可以确定与输入图像和/或医学成像数据相关联的疾病的概率评分(例如，表示疾病的阴性预后可能性的第一百分比值以及表示疾病的阳性预后可能性的第二值)。
现在参考图4，示出了根据本公开的各个方面和具体实施的系统400的非限制性具体实施。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。
系统400可以是分类-定位网络。在一个实施方案中，系统400可表示由机器学习组件102(例如，训练组件104、损失函数组件106、分类组件108和/或可视化组件202)执行的机器学习过程和/或另一个过程。图像402(例如，输入图像)可由卷积神经网络404处理。图像402可为例如医学图像。例如，图像402可以是由一个或多个医学成像设备生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。在一个示例中，图像402可以是由x射线设备、CT设备、另一种类型的医学成像设备等生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。在另一个示例中，图像402可以是经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的电磁辐射图像。在某些实施方案中，图像402可以是在时间间隔期间经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的一系列电磁辐射图像。可以直接从一个或多个医学成像设备接收图像402。另选地，图像402可以存储在一个或多个数据库中，该一个或多个数据库接收和/或存储与一个或多个医学成像设备相关联的图像402。在一个实施方案中，图像402可以是由机器学习组件102分析的输入图像(例如，由分类组件108分类的输入图像)。
卷积神经网络404可输出卷积特征图406，该卷积特征图可由创建评分图410的卷积神经网络408(例如，分类和定位网络)采用。在一个方面，卷积神经网络404可将图像402编码成卷积特征图406。在一个实施方案中，卷积神经网络404可以是卷积层的弹簧网络。例如，卷积神经网络可对与卷积神经网络404的卷积层相关联的图像402执行多个顺序和/或并行下采样和上采样以生成卷积特征图406。在一个示例中，卷积神经网络404可以执行与图像402的顺序下采样相关联的第一卷积层处理以及与图像402的顺序上采样相关联的第二卷积层处理以生成卷积特征图406。卷积层的弹簧网络可以包括与顺序下采样相关联的第一卷积层处理和与顺序上采样相关联的第二卷积层处理。与卷积神经网络相关联的卷积层的弹簧网络可以更改卷积层滤波器，类似于弹簧的功能。例如，卷积神经网络404可基于包括第一尺寸的第一卷积层滤波器、包括与第一尺寸不同的第二尺寸的第二卷积层滤波器、以及包括与第一卷积层滤波器相关联的第一尺寸的第三卷积层滤波器来分析图像402，以生成卷积特征图406。卷积特征图406可以是例如表示应用于先前卷积层的卷积层滤波器的输出的数据。例如，来自卷积特征图406的第一卷积特征图可包括表示应用于先前卷积层的第一卷积层滤波器的输出的第一数据，来自卷积特征图406的第二卷积特征图可包括表示应用于先前卷积层的第二卷积层滤波器的输出的第二数据，来自卷积特征图406的第三卷积特征图可包括表示施加到先前卷积层的第三卷积层滤波器的输出的第三数据等。在另一个实施方案中，卷积神经网络408可为基于卷积特征图406生成评分图410的1x1卷积层。评分图410可包括与图像402的感兴趣区域相关联的类别的预测评分。
在一个方面，在卷积神经网络404的训练期间，图像402的掩模416可经由掩模池化418与卷积特征图406的尺寸匹配。例如，掩模池化418可将掩模516(例如，预测掩模)与下采样掩模420(例如，下采样的真实掩模)进行比较。下采样掩模420的尺寸可例如对应于掩模416的尺寸。在一个示例中，在卷积神经网络404的训练期间，掩模416可以是与来自卷积特征图406的至少一个卷积特征图的尺寸匹配的图像402的感兴趣区域的掩模。此外，掩模池化418可执行合理的掩模池化，以将掩模416(例如，预测掩模)与相同尺寸的下采样掩模420(例如，下采样的真实掩模)进行比较。在一个实施方案中，图像402的类标签可以是隐式的，并且可以基于掩模416来确定。例如，与掩模416相关联的高于定义阈值的掩模元件可发信号通知类别的存在。为了进行测试，评分图410可提供具有定位图422的预测分类标签。定位图422可包括例如表示图像402的一个或多个区域的概率评分的信息。在某些实施方案中，定位图422可包括表示图像402的一个或多个区域的概率评分的可视化。
系统400还可包括解码器411。该解码器411可包括上采样412和/或卷积神经网络层414。在一个方面，解码器411可被实现为可重复的分割网络，其中上采样412和卷积神经网络层414可为重复一定次数的块。在另一方面，解码器411可以生成定位图422。例如，解码器411可执行与上采样412和/或卷积神经网络层414相关联的解码过程以生成定位图422。解码器411可提供与图像402相关联的改进的定位结果。在一个实施方案中，在卷积神经网络404的训练期间，与解码器411相关联的多个解码器块可被视为超参数。在另一个实施方案中，上采样412可以执行双线性插值以将评分图412上采样为特定尺寸。在另一个实施方案中，卷积神经网络层414可被配置为识别网络，该识别网络包括一组滤波器、批量归一化过程和/或一组整流线性单元以生成用于定位图422的一组预测。解码器411还可在图像402的最终分类和/或定位结果中提供更平滑和更准确的热图。在另一方面，系统400可以基于与感兴趣区域有关的掩模416和/或图像402的图像级标签来提供分类器的改善的性能。
现在参考图5，示出了根据本公开的各个方面和具体实施的系统500的非限制性具体实施。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。
系统500可以是包括损失函数502的分类-定位网络。在一个实施方案中，系统500可表示由机器学习组件102(例如，训练组件104、损失函数组件106、分类组件108和/或可视化组件202)执行的机器学习过程和/或另一个过程。系统500可包括图像402、卷积神经网络404、卷积特征图406、卷积神经网络408、评分图410以及包括上采样412和卷积神经网络层414的解码器411。系统500还可包括掩模416、掩模池化418、下采样掩模420、定位图422和损失函数502。损失函数502可以是在卷积神经网络404的训练期间基于下采样掩模420(例如，下采样的真实掩模)和掩模416(例如，预测掩模)创建的损失函数。损失函数可例如由以下等式表示：
Figure BDA0002868495430000131
其中
Figure BDA0002868495430000132
是图像i相对于图像i中的总面积和/或被掩模覆盖的区域针对类别k为阳性的概率。此外，yk可为来自卷积神经网络404的第k个输出，其表示图像i针对类别k是否为阳性，其中xi为第i个图像。在一个实施方案中，可以基于下采样掩模420和/或定位图422来生成损失函数502。例如，损失函数502可基于与下采样掩模420和/或定位图422相关联的类别的概率来生成。此外，损失函数502可被提供给卷积神经网络层414。另外，损失函数502可从卷积神经网络层414反向传播到卷积神经网络404。例如，损失函数502可通过系统500反向传播，从卷积神经网络层414开始并在卷积神经网络404处结束。在一个方面，损失函数502可调谐卷积神经网络404的一个或多个参数。例如，可以基于损失函数502来修改卷积神经网络404以改善与定位图422相关联的分类和/或定位结果。
现在参考图6，示出了根据本公开的各个方面和具体实施的损失函数502的非限制性示例。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。
如上所述，损失函数502可由以下等式表示：
Figure BDA0002868495430000133
例如，损失函数502可基于与下采样掩模420和/或掩模416相关联的类别的概率来生成。通过采用损失函数502和/或注释信息(例如，掩模416和/或下采样掩模420)可提高分类准确率。系统400和/或系统500还可以输出改进的定位图(例如，更准确的定位图)。例如，损失函数502和/或注释信息(例如，掩模416和/或下采样掩模420)可用于提供与定位图422相关联的改进的定位信息。
在采用系统400和/或系统500的非限制性实施方案中，对数据集进行的实验可由从数据库提取的医学病症和非医学病症X射线图像组成。医学病症可以包括例如肺部疾病、心脏疾病、组织疾病、骨骼疾病、肿瘤、癌症、肺结核、心脏肥大、肺部充气不足、肺部不透明、高血压、脊柱退行性疾病、钙质沉着、气胸或与患者身体的解剖区域相关联的其他类型的医学病症。医学病症掩模可例如由放射科医生注释。总共1806个图像可分成用于训练的1444个图像(例如，80％的图像)、用于验证的180个图像(例如，10％的图像)和用于测试的182个图像(10％的图像)，如下表I所示。实验结果在下表II中示出。系统400和/或系统500的测试准确率为0.923，并且AUC为0.979，dice系数为0.5，这优于仅用图像级标签训练的传统分类网络。
表I-医学病症数据集的描述
数据集 训练(80％) 验证(10％) 测试(10％)
医学病症 722 90 91
非医学病症 722 90 91
总计 1444 180 182
表II-实验结果
Figure BDA0002868495430000141
根据表II中的实验结果可以看出，通过提供更丰富的注释信息(例如，掩模)，可以提高分类准确率，并且卷积神经网络还可以输出改进的定位图(例如，更准确的定位图)。这可以通过两个任务的相同基础预测模型来实现。由于与系统400和/或系统500相关联的可选卷积神经网络框架、与系统400和/或系统500相关联的可重复分割网络以及与系统400和/或系统500相关联的可调谐掩模尺寸，系统400和/或系统500也可以是灵活的并且可泛化为其他应用。这样，系统400和/或系统500可以对分类和/或定位联合建模。此外，系统400和/或系统500可将分类和/或定位应用于医学成像数据(例如，X射线图像)和/或其他数字图像中的疾病检测(例如，医学病症检测等)。
图7示出了根据本文所述的各个方面和具体实施的示例性多维可视化700和示例性输入图像701。在图7所示的实施方案中，多维可视化700可例如为患者显示医学成像诊断。例如，多维可视化700可以显示在成像数据(例如，输入图像701)中识别的一个或多个病症的一个或多个分类和/或一个或多个定位。然而，应当理解，多维可视化700可以与位于成像数据中的一个或多个特征的另一种类型的分类和/或定位相关联。在一个方面，多维可视化700可包括用于医学成像诊断的定位数据702。定位数据702可以是与由机器学习组件102处理的输入图像和/或医学成像数据相关联的病症的预测位置。基于由机器学习组件102提供的信息，定位数据702的视觉特性(例如，颜色、尺寸、色调、阴影等)可以是动态的。例如，定位数据702的第一部分可包括第一视觉特性，定位数据702的第二部分可包括第二视觉特性，定位数据702的第三部分可包括第三视觉特性等。在一个实施方案中，与多维可视化700相关联的显示环境可包括热棒704。该热棒704可包括与定位数据702的不同值对应的一组颜色。例如，热棒704中的第一颜色(例如，红色)可对应于定位数据702的第一值，热棒704中的第二颜色(例如，绿色)可对应于定位数据702的第二值，热棒704中的第三颜色(例如，蓝色)可对应于定位数据702的第三值，等等。
图8示出了根据所公开的主题的方法和/或流程图。为了简化说明，将方法描述和示出为一系列动作。应当理解和认识到，本发明不受所示出的动作和/或动作顺序的限制，例如，动作可以以各种顺序和/或同时发生，并且具有本文未呈现和描述的其他动作。此外，可能不需要所有示出的动作来实现根据所公开的主题的方法。此外，本领域技术人员将理解并认识到，方法可以另选地通过状态图或事件表示为一系列相互关联的状态。另外，应当进一步认识到，在下文以及整个说明书中公开的方法能够存储在制品上，以便有助于将这种方法传输和转移到计算机。如本文中所用，术语“制品”旨在涵盖能够从任何计算机可读设备或存储介质访问的计算机程序。
参见图8，示出了根据本主题创新的一个方面的用于基于注释信息进行分类和/或定位的方法800的非限制性具体实施。在802处，(例如，通过训练组件104)从至少一个成像设备接收与多个患者相关联的多个图像。多个图像可与多个患者相关联。此外，该多个图像可以是一组医学图像。多个图像可以是由一个或多个医学成像设备生成的二维图像和/或三维图像。例如，多个图像可以是经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的电磁辐射图像。在某些实施方案中，多个图像可以是在时间间隔期间经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的一系列电磁辐射图像。可以直接从一个或多个医学成像设备接收多个图像。另选地，多个图像可以存储在一个或多个数据库中，该一个或多个数据库接收和/或存储与一个或多个医学成像设备相关联的多个图像。医学成像设备可以是例如x射线设备、CT设备、另一种类型的医学成像设备等。在一个实施方案中，来自多个图像中的每个图像可与一个或多个掩模相关联。
在804处，(例如，通过训练组件104)接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模。掩模可以是用于掩蔽图像(例如，来自多个图像的图像)中的一个或多个区域的滤波器。例如，掩模可包括图像(例如，来自多个图像的图像)中的一个或多个感兴趣区域的一个或多个权重。在一个示例中，掩模可包括使用二进制滤波来限定感兴趣区域的位置的一组像素。
在806处，基于多个图像和/或多个掩模来(例如，通过训练组件104)训练卷积神经网络，其中卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和/或输出对应评分图的分类/定位网络组成。解码器可被实现为可重复分割网络，其中至少一个上采样层和/或至少一个卷积神经网络层可为重复一定次数的块。
在808处，基于多个掩模(例如，由损失函数组件106)生成损失函数。在一个方面，可以通过采用解码器生成定位图来生成损失函数。在某些实施方案中，可在卷积神经网络的训练期间确定与解码器相关联的解码器的数量。在另一方面，可以基于与多个掩模相关联的类别的概率来生成损失函数。在一个实施方案中，可以在卷积神经网络的训练期间基于下采样掩模(例如，真实掩模)和另一个掩模(例如，预测掩模)生成损失函数。在另一个实施方案中，可以基于下采样掩模和/或定位图来生成损失函数。例如，可以基于与下采样掩模和/或掩模相关联的类别的概率来生成损失函数。
在810处，(例如，由损失函数组件106)迭代地反向传播损失函数以基于训练数据调谐卷积神经网络的参数。例如，损失函数可被提供给解码器的至少一个卷积神经网络层。另外，损失函数可从至少一个卷积神经网络层反向传播到卷积神经网络以修改卷积神经网络的一个或多个部分。
在812处，基于卷积神经网络(例如，通过分类组件108)预测输入图像的分类标签。用于预测分类标签的卷积神经网络可以是基于损失函数进行调谐的卷积神经的型式。图像可以是例如医学图像。输入图像可以是由一个或多个医学成像设备生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。例如，输入图像可以是由x射线设备、CT设备、另一种类型的医学成像设备等生成的二维图像(例如，二维医学图像)和/或三维图像(例如，三维医学图像)。在一个示例中，输入图像可以是经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的电磁辐射图像。在某些实施方案中，输入图像可以是在时间间隔期间经由一组传感器(例如，与医学成像设备相关联的一组传感器)捕获的一系列电磁辐射图像。可以直接从一个或多个医学成像设备接收输入图像。另选地，输入图像可存储在一个或多个数据库中，该一个或多个数据库接收和/或存储与一个或多个医学成像设备相关联的输入图像。在某些实施方案中，方法800还可包括将来自多个掩模的掩模的尺寸与来自卷积特征图的卷积特征图的尺寸匹配。在某些实施方案中，方法800还可包括基于最大池化过程，将来自多个掩模的掩模的尺寸与来自卷积特征图的卷积特征图的尺寸匹配。在某些实施方案中，方法800还可包括生成与输入图像的分类标签相关联的多维可视化。在某些实施方案中，解码器可生成定位图。例如，解码器可执行与至少一个上采样层和/或至少一个卷积神经网络层相关联的解码过程以生成定位图。
已经关于若干部件之间的交互描述了前述系统和/或设备。应当认识到，这样的系统和部件可以包括本文指定的那些部件或子部件、一些指定的部件或子部件和/或附加的部件。子部件也可以实现为通信地耦接到除包括在父部件内的部件的其他部件的部件。更进一步，可以将一个或多个部件和/或子部件组合成提供聚合功能的单个部件。部件还可以与在本文中为了简洁起见而未具体描述但本领域技术人员已知的一个或多个其他部件交互。
为了提供所公开的主题的各个方面的上下文，图9和图10以及以下讨论旨在提供对其中可实现所公开的主题的各个方面的合适的环境的简要概括描述。
参考图9，用于实现本公开的各个方面的合适环境900包括计算机912。计算机912包括处理单元914、系统存储器916和系统总线918。系统总线918将包括但不限于系统存储器916的系统组件耦接到处理单元914。处理单元914可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可用作处理单元914。
系统总线918可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线以及/或者使用各种可用总线架构的本地总线，这些总线架构包括但不限于工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子设备(IDE)、VESA本地总线(VLB)、外围部件互连件(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储器卡国际协会总线(PCMCIA)、火线(IEEE 1394)和小型计算机系统接口(SCSI)。
系统存储器916包括易失性存储器920和非易失性存储器922。基本输入/输出系统(BIOS)(包含在计算机912内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器922中。以举例说明而非限制的方式，非易失性存储器922可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器920包括随机存取存储器(RAM)，其充当外部高速缓存存储器。以举例说明而非限制的方式，RAM能以多种形式提供，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM。
计算机912还包括可移除/不可移除、易失性/非易失性计算机存储介质。图9示出了例如磁盘存储装置924。磁盘存储装置924包括但不限于如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存存储器卡或记忆棒的设备。磁盘存储装置924还可以单独包括存储介质或与其他存储介质组合，该其他存储介质包括但不限于光盘驱动器，诸如光盘ROM设备(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了便于将磁盘存储设备924连接到系统总线918，通常使用可移除/不可移除的接口，诸如接口926。
图9还描绘了充当用户和合适的操作环境900中所述的基本计算机资源之间的中介的软件。例如，此类软件包括操作系统928。可以存储在磁盘存储装置924上的操作系统928用于控制和分配计算机系统912的资源。系统应用程序930利用操作系统928通过例如存储在系统存储器916中或磁盘存储装置924上的程序模块932以及程序数据934对资源的管理。应当认识到，本公开可以用各种操作系统或操作系统的组合来实现。
用户通过输入设备936将命令或信息输入到计算机912中。输入设备936包括但不限于诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等指向设备。这些和其他输入设备经由接口端口938通过系统总线918连接到处理单元914。接口端口938包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备940使用与输入设备936相同类型的端口中的一些端口。因此，例如，USB端口可以用于向计算机912提供输入，并将信息从计算机912输出到输出设备940。提供输出适配器942以示出存在如监视器、扬声器和打印机的一些输出设备940，以及需要特殊适配器的其他输出设备940。通过举例说明而非限制的方式，输出适配器942包括在输出设备940和系统总线918之间提供连接方式的视频和声卡。应当指出的是，其他设备和/或设备的系统提供输入能力和输出能力两者，诸如远程计算机944。
计算机912可使用到一个或多个远程计算机(诸如，远程计算机944)的逻辑连接而在联网环境中操作。远程计算机944可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的设备、对等设备或其他公共网络节点等，并且通常包括许多或全部的相对于计算机912描述的元素。出于简洁的目的，对于远程计算机944仅示出了存储器存储设备946。远程计算机944通过网络接口948逻辑连接到计算机912，然后经由通信连接950而被物理连接。网络接口948涵盖有线和/或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。LAN技术包括光纤分布式数据接口(FDDI)、铜质分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点到点链路、如综合业务数字网络(ISDN)及其上的变体的电路交换网络、分组交换网络和数字用户线(DSL)。
通信连接950是指用于将网络接口948连接到总线918的硬件/软件。虽然为了清楚说明而在计算机912内示出了通信连接950，但是该通信连接也可在计算机912外部。仅出于举例的目的，连接到网络接口948所需的硬件/软件包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器，以及以太网卡。
图10是本公开的主题可以与其交互的样本计算环境1000的示意性框图。系统1000包括一个或多个客户端1010。一个或多个客户端1010可以是硬件和/或软件(例如，线程、进程、计算设备)。系统1000还包括一个或多个服务器1030。因此，除了其他模型之外，系统1000可以对应于两层客户端服务器模型或多层模型(例如，客户端、中间层服务器、数据服务器)。服务器1030还可以是硬件和/或软件(例如，线程、进程、计算设备)。例如，服务器1030可以容纳线程以通过采用本公开来执行转换。客户端1010和服务器1030之间的一种可能的通信可以是在两个或更多个计算机进程之间传输的数据分组的形式。
系统1000包括可用于促进客户端1010和服务器1030之间的通信的通信框架1050。客户端1010操作地连接到一个或多个客户端数据存储库1020，其可用于存储客户端1010本地的信息。类似地，服务器1030操作地连接到一个或多个服务器数据存储库1040，其可用于存储服务器1030本地的信息。
应当注意，本公开的各个方面或特征可以在基本上任何无线电信或无线电技术中利用，例如，Wi-Fi；蓝牙；全球微波接入互操作性(WiMAX)；增强型通用分组无线电业务(增强型GPRS)；第三代合作伙伴计划(3GPP)长期演进(LTE)；第三代合作伙伴计划2(3GPP2)超移动宽带(UMB)；3GPP通用移动电信系统(UMTS)；高速分组接入(HSPA)；高速下行链路分组接入(HSDPA)；高速上行链路分组接入(HSUPA)；GSM(全球移动通信系统)EDGE(GSM演进的增强数据速率)无线电接入网络(GERAN)；UMTS地面无线电接入网(UTRAN)；LTE高级(LTE-A)；等。另外，本文描述的一些或所有方面可以在传统电信技术(例如，GSM)中利用。此外，移动以及非移动网络(例如，互联网、诸如互联网协议电视(IPTV)的数据服务网络等)可以利用本文所述的方面或特征。
尽管上面已经在一个和/或多个计算机上运行的计算机程序的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可能与其他程序模块结合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员应当认识到，可以用其他计算机系统配置来实践本发明的方法，这些其他计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及个人计算机、手持式计算设备(例如，PDA、电话)、基于微处理器或可编程的消费者或工业电子产品等。所例示的方面还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
如本申请中所用，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。
在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以诸如根据具有一个或多个数据分组(例如，来自一个部件的数据，该部件与本地系统、分布式系统中的另一个部件进行交互，和/或经由信号跨网络(诸如互联网)与其他系统交互)的信号经由本地和/或远程进程进行通信。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是通过电子部件而非机械零件提供特定功能的装置，其中电子部件可以包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。
此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“X采用A或B”旨在表示任何自然的包含性置换。也就是说，如果X采用A；X采用B；或者X采用A和B两者，则在任何前述情况下都满足“X采用A或B”。此外，本说明书和附图中使用的冠词“一”和“一个”通常应解释为是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。
如本文中所用，利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。
可以使用标准编程或工程化技术将本文所述的各个方面或特征实现为方法、装置、系统、或制品。此外，可以通过实现本文所公开的方法中的至少一者或多者的程序模块来实现本公开中公开的各个方面或特征，程序模块被存储在存储器中并且至少由处理器执行。硬件和软件或硬件和固件的其他组合可以实现或实施本文描述的方面，包括所公开的方法。如本文中所用，术语“制品”可以涵盖能够从任何计算机可读设备、载体或存储介质访问的计算机程序。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条…)、光盘(例如，紧凑盘(CD)、数字通用盘(DVD)、蓝光盘(BD)…)、智能卡、以及闪存存储器设备(例如，卡、棒、密钥驱动器…)等。
如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、分立栅极或晶体管逻辑部件、分立硬件部件、或被设计为执行本文所述的功能的其任意组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。
在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件用于指代“存储器部件”、体现在“存储器”中的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。
以举例说明而非限制的方式，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存存储器、或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。例如，易失性存储器可以包括RAM，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，RAM能以多种形式提供，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。另外，本文的系统或方法的公开的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。
应当认识和理解，关于特定系统或方法描述的部件可以包括与关于本文公开的其他系统或方法描述的相应部件(例如，分别命名的部件或类似命名的部件)相同或类似的功能。
上面已经描述的内容包括提供本公开的优点的系统和方法的示例。当然，无法出于描述本公开的目的而描述部件或方法的每个可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多另外组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。

Claims (20)

1.一种机器学习系统，包括：
存储器，所述存储器存储计算机可执行组件；
处理器，所述处理器执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：
训练组件，所述训练组件基于训练数据和多个图像来训练卷积神经网络，其中所述训练数据与来自至少一个成像设备的多个患者相关联，其中所述多个图像与来自多个对象的多个掩模相关联，并且其中所述卷积神经网络包括由至少一个上采样层和至少一个卷积层组成的解码器；
损失函数组件，所述损失函数组件基于所述多个掩模来生成损失函数，其中所述损失函数被迭代地反向传播以调谐所述卷积神经网络的参数；和
分类组件，所述分类组件基于所述卷积神经网络预测输入图像的分类标签。
2.根据权利要求1所述的机器学习系统，其中所述卷积神经网络包括输出卷积特征图的预训练的分类器网络。
3.根据权利要求2所述的机器学习系统，其中所述卷积神经网络包括基于所述卷积特征图输出对应评分图的分类/定位网络。
4.根据权利要求2所述的机器学习系统，其中来自所述多个掩模的掩模的尺寸与来自所述卷积特征图的卷积特征图的尺寸匹配。
5.根据权利要求2所述的机器学习系统，其中来自所述多个掩模的掩模的尺寸基于最大池化过程与来自所述卷积特征图的卷积特征图的尺寸匹配。
6.根据权利要求1所述的机器学习系统，其中所述损失函数组件采用所述解码器来生成所述定位图。
7.根据权利要求1所述的机器学习系统，其中所述解码器是一组解码器，并且其中在所述卷积神经网络的训练期间确定包括在所述一组解码器中的解码器的数量。
8.根据权利要求1所述的机器学习系统，其中所述损失函数组件基于与所述多个掩模相关联的类别的概率来生成所述损失函数。
9.根据权利要求1所述的机器学习系统，其中所述计算机可执行组件还包括：
可视化组件，所述可视化组件生成与所述输入图像的所述分类标签相关联的多维可视化。
10.一种方法，包括使用操作地耦接到存储器的处理器来执行计算机可执行组件以执行以下动作：
从至少一个成像设备接收与多个患者相关联的多个图像；
接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模；
基于所述多个图像和所述多个掩模来训练卷积神经网络，其中所述卷积神经网络包括解码器，所述解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成；
基于所述多个掩模来生成损失函数；
迭代地反向传播所述损失函数以调谐所述卷积神经网络的参数；以及
基于所述卷积神经网络预测输入图像的分类标签。
11.根据权利要求10所述的方法，还包括将来自所述多个掩模的掩模的尺寸与来自所述卷积特征图的卷积特征图的尺寸匹配。
12.根据权利要求10所述的方法，还包括基于最大池化过程，将来自所述多个掩模的掩模的尺寸与来自所述卷积特征图的卷积特征图的尺寸匹配。
13.根据权利要求10所述的方法，其中所述生成所述损失函数包括采用所述解码器生成所述定位图。
14.根据权利要求13所述的方法，还包括在所述卷积神经网络的所述训练期间确定解码器的数量。
15.根据权利要求10所述的方法，其中所述生成所述损失函数包括基于与所述多个掩模相关联的类别的概率来生成所述损失函数。
16.根据权利要求10所述的方法，还包括生成与所述输入图像的所述分类标签相关联的多维可视化。
17.一种包括指令的计算机可读存储设备，所述指令响应于执行而致使包括处理器的系统执行操作，所述操作包括：
从至少一个成像设备接收与多个患者相关联的多个图像；
接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模；
基于所述多个图像和所述多个掩模来训练卷积神经网络，其中所述卷积神经网络包括解码器，所述解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成；
基于所述多个掩模来生成损失函数；
迭代地反向传播所述损失函数以调谐所述卷积神经网络的参数；以及
基于所述卷积神经网络预测输入图像的分类标签。
18.根据权利要求17所述的计算机可读存储设备，其中所述生成所述损失函数包括采用一组解码器生成所述定位图。
19.根据权利要求17所述的计算机可读存储设备，其中所述生成所述损失函数包括基于与所述多个掩模相关联的类别的概率来生成所述损失函数。
20.根据权利要求17所述的计算机可读存储设备，其中所述操作还包括生成与所述输入图像的所述分类标签相关联的多维可视化。
CN201980044205.0A 2018-07-03 2019-06-28 基于注释信息的分类和定位 Pending CN112368712A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862693772P 2018-07-03 2018-07-03
US62/693,772 2018-07-03
US16/046,084 2018-07-26
US16/046,084 US10755147B2 (en) 2018-07-03 2018-07-26 Classification and localization based on annotation information
PCT/US2019/039711 WO2020009914A1 (en) 2018-07-03 2019-06-28 Classification and localization based on annotation information

Publications (1)

Publication Number Publication Date
CN112368712A true CN112368712A (zh) 2021-02-12

Family

ID=67439370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044205.0A Pending CN112368712A (zh) 2018-07-03 2019-06-28 基于注释信息的分类和定位

Country Status (3)

Country Link
US (2) US10755147B2 (zh)
CN (1) CN112368712A (zh)
WO (1) WO2020009914A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221973A (zh) * 2021-04-26 2021-08-06 武汉科技大学 一种可解释的空调系统深度神经网络故障诊断方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755147B2 (en) 2018-07-03 2020-08-25 General Electric Company Classification and localization based on annotation information
US10885400B2 (en) 2018-07-03 2021-01-05 General Electric Company Classification based on annotation information
US20200012884A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information
CN112889068A (zh) * 2018-10-26 2021-06-01 英特尔公司 用于图像处理的神经网络对象识别的方法和系统
CN109523532B (zh) * 2018-11-13 2022-05-03 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109686444A (zh) 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的系统和方法
US11514322B2 (en) 2019-07-26 2022-11-29 Maxim Integrated Products, Inc. CNN-based demodulating and decoding systems and methods for universal receiver
US11502779B2 (en) * 2019-07-26 2022-11-15 Analog Devices, Inc. CNN-based demodulating and decoding systems and methods for universal receiver
US11514694B2 (en) 2019-09-20 2022-11-29 Samsung Electronics Co., Ltd. Teaching GAN (generative adversarial networks) to generate per-pixel annotation
US20210133596A1 (en) * 2019-10-30 2021-05-06 International Business Machines Corporation Ranking image sources for transfer learning
CN111325252B (zh) * 2020-02-12 2022-08-26 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质
US11436703B2 (en) * 2020-06-12 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
CN111768466B (zh) * 2020-06-30 2024-01-12 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
US11238307B1 (en) * 2020-09-24 2022-02-01 Eagle Technology, Llc System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11587249B2 (en) 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
EP3982327A1 (en) * 2020-09-24 2022-04-13 GE Precision Healthcare LLC Generating enhanced x-ray images
US11302071B1 (en) 2020-09-24 2022-04-12 Eagle Technology, Llc Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods
US11687619B2 (en) * 2020-10-02 2023-06-27 Robert Bosch Gmbh Method and system for an adversarial training using meta-learned initialization
CN112336342B (zh) * 2020-10-29 2023-10-24 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN112530554B (zh) * 2020-12-17 2023-08-18 上海联影医疗科技股份有限公司 一种扫描定位方法、装置、存储介质及电子设备
CN112699941B (zh) * 2020-12-31 2023-02-14 浙江科技学院 植物病害严重程度图像分类方法、装置、设备和存储介质
CN113095432A (zh) * 2021-04-27 2021-07-09 电子科技大学 基于可解释性随机森林的可视化系统及方法
CN113052842B (zh) * 2021-05-27 2021-08-27 腾讯科技（深圳）有限公司 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备
CN114612501B (zh) * 2022-02-07 2024-02-13 清华大学 神经网络模型训练方法和冷冻电镜密度图分辨率估计方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3146463B1 (en) 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US10846589B2 (en) * 2015-03-12 2020-11-24 William Marsh Rice University Automated compilation of probabilistic task description into executable neural network specification
WO2017000300A1 (en) * 2015-07-02 2017-01-05 Xiaoou Tang Methods and systems for social relation identification
US9916522B2 (en) 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US10839573B2 (en) * 2016-03-22 2020-11-17 Adobe Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US10185891B1 (en) * 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
CN109690554B (zh) 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
WO2018035805A1 (en) 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
US11200483B2 (en) 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
US11080591B2 (en) * 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
US10510146B2 (en) * 2016-10-06 2019-12-17 Qualcomm Incorporated Neural network for image processing
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
CN108022238B (zh) 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10650286B2 (en) 2017-09-07 2020-05-12 International Business Machines Corporation Classifying medical images using deep convolution neural network (CNN) architecture
US20190122104A1 (en) * 2017-10-19 2019-04-25 General Electric Company Building a binary neural network architecture
WO2019160975A1 (en) * 2018-02-13 2019-08-22 Slingshot Aerospace, Inc. Conditional loss function modification in a neural network
WO2019168869A1 (en) 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
US10460150B2 (en) 2018-03-16 2019-10-29 Proscia Inc. Deep learning automated dermatopathology
US10878569B2 (en) 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US10892050B2 (en) 2018-04-13 2021-01-12 International Business Machines Corporation Deep image classification of medical images
WO2019204520A1 (en) * 2018-04-17 2019-10-24 VideaHealth, Inc. Dental image feature detection
US10755147B2 (en) * 2018-07-03 2020-08-25 General Electric Company Classification and localization based on annotation information
US10885400B2 (en) 2018-07-03 2021-01-05 General Electric Company Classification based on annotation information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221973A (zh) * 2021-04-26 2021-08-06 武汉科技大学 一种可解释的空调系统深度神经网络故障诊断方法
CN113221973B (zh) * 2021-04-26 2022-04-19 武汉科技大学 一种可解释的空调系统深度神经网络故障诊断方法

Also Published As

Publication number Publication date
US11074482B2 (en) 2021-07-27
WO2020009914A9 (en) 2020-12-30
WO2020009914A1 (en) 2020-01-09
US20200012895A1 (en) 2020-01-09
US20200349394A1 (en) 2020-11-05
US10755147B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN112368712A (zh) 基于注释信息的分类和定位
CN112262395A (zh) 基于注释信息的分类
CN111433785B (zh) 用于自动化图像特征提取的深度学习架构
US11074687B2 (en) Deep convolutional neural network with self-transfer learning
US10755140B2 (en) Classification based on annotation information
US10896351B2 (en) Active machine learning for training an event classification
US11475250B2 (en) Concurrent image and corresponding multi-channel auxiliary data generation for a generative model
CN111753865A (zh) 基于深度神经网络的对使用生成式对抗网络来生成的现实合成图像的识别
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
Wang et al. SERR‐U‐Net: Squeeze‐and‐Excitation Residual and Recurrent Block‐Based U‐Net for Automatic Vessel Segmentation in Retinal Image
Sampath et al. 3D brain image‐based Alzheimer's disease detection techniques using fish swarm optimizer's deep convolution Siamese neural network
Bisla et al. VisualBackProp for learning using privileged information with CNNs
Saeidi et al. Single sample face recognition using multicross pattern and learning discriminative binary features
Christidis Out-Of-Distribution Detection on Monocular Depth Estimation
Escalante Bañuelos Extensions of hierarchical slow feature analysis for efficient classsification and regression on high-dimensional data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination