CN111316290A - 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法 - Google Patents

用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法 Download PDF

Info

Publication number
CN111316290A
CN111316290A CN201880071649.9A CN201880071649A CN111316290A CN 111316290 A CN111316290 A CN 111316290A CN 201880071649 A CN201880071649 A CN 201880071649A CN 111316290 A CN111316290 A CN 111316290A
Authority
CN
China
Prior art keywords
input image
learning
image dataset
cnn
imaging modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880071649.9A
Other languages
English (en)
Other versions
CN111316290B (zh
Inventor
维韦卡·普拉巴卡尔·维迪雅
拉凯什·穆利克
克里希纳·希瑟拉姆·施莱姆
索汉·拉希米·兰詹
帕万·库马尔·V·安南吉
谢沙迪·史鲁文亚当
钱丹·库马尔·马拉帕·阿拉达哈里
阿拉蒂·斯雷库马里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111316290A publication Critical patent/CN111316290A/zh
Application granted granted Critical
Publication of CN111316290B publication Critical patent/CN111316290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于向卷积神经网络(CNN)进行交互式表示学习迁移的方法。该方法包括从第一成像模态和第二成像模态获得至少第一输入图像数据集和第二输入图像数据集。此外，该方法包括执行以下中的至少一者：联合训练基于与该第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与该第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及分别利用该第一输入图像数据集和该第二输入图像数据集联合训练第一无监督学习CNN和第二无监督学习CNN，以学习该输入图像数据集的压缩表示，该压缩表示包括共同特征基元和对应映射函数；以及将该共同特征基元和该对应映射函数存储在特征基元储存库中。

Description

用于通过对特征本体的深度学习来进行交互式表示学习迁移 的系统和方法
背景技术
本说明书的实施方案整体涉及用于生成从各种成像模态获得的各种解剖结构的医学图像数据的可迁移表示学习以用于学习网络的系统和方法。具体地，该系统和方法涉及基于第一成像模态和/或第二成像模态的物理学和解剖结构的生物学将医学图像数据的表示学习确定为一组特征基元，以配置新的卷积网络以用于学习问题，诸如来自其他成像模态的医学图像数据的分类和分割。
应当理解的是，机器学习是计算机科学的子领域，其“赋予计算机在未被明确编程的情况下进行学习的能力。机器学习探索了可从数据学习并且对数据进行预测的算法的研究和构造。在机器学习中，特征学习或表示学习是将原始数据输入转换成能在机器学习任务中有效利用的表示的一组技术。表示学习的产生是由于机器学习任务(诸如分类)通常需要在数学上和计算上便于处理的输入。然而，真实世界数据诸如图像、视频和传感器测量通常是复杂的、冗余的和高度可变的。因此，希望从原始数据中识别有用的特征或表示。目前，手动特征识别方法需要昂贵的人工并且依赖于专业知识。另外，手动生成的表示通常不会很好地使其自身适于一般化，从而促使设计有效表示学习技术来使特征或表示学习自动化和一般化。
此外，在机器学习中，卷积神经网络(CNN或ConvNet)或深度卷积神经网络是一种前馈人工神经网络，在该前馈人工神经网络中其神经元之间的连接模式是受动物视皮质的组织启发。卷积神经网络(CNN)是生物启发的多层感知器的变体，其被设计成用最小量的预处理来模仿视皮质的行为。可以注意到，多层感知器网络(MLP)是将输入数据集映射到一组适当输出的前馈人工神经网络模型。MLP包括有向图中的多个节点层，其中每个层全连接至下一个层。在当前部署中，CNN广泛应用于图像和视频识别、推介系统和自然语言处理。CNN也被称为基于其共享的权重架构和平移不变性特征的移位不变或空间不变人工神经网络(SIANN)。
可以注意到，在深度CNN架构中，卷积层是核心构建块。与卷积层相关联的参数包括一组可学习的过滤器或内核。在正推法期间，每个过滤器在输入体(input volume)的宽度和高度上卷积，从而计算过滤器的条目与输入之间的点积并且产生该过滤器的二维(2D)激活图。因此，当网络在输入中的给定空间位置处检测到特定类型的特征时，该网络学习被激活的过滤器。深度CNN架构通常是针对深度学习问题而专门构建的。已知深度学习在涉及类人的感知和决策的许多任务中是有效的。深度学习的典型应用是手写识别、图像识别和语音识别。深度学习技术通过使用训练数据和对应于该数据的结果来构造网络模型。一旦构造了网络模型，就可将该网络模型用于新数据以确定结果。此外，应当理解的是深度学习网络一旦针对特定结果进行学习就可以有利地重用于相关结果。
此外，CNN可用于输入数据集被标记的受监督学习以及输入数据集未被标记的无监督学习。被标记的输入数据集是数据集的元素与由标签表示的分类方案预先关联的数据集。因此，将CNN用数据集的标记子集进行训练，并且可用另一子集测试以验证准确的分类结果。
深度CNN架构是多层的，其中各层是分层连接的。随着每层的输入至输出映射和过滤器的数目增加，多层深度CNN可导致需要针对其操作而配置大量参数。如果用于此类CNN的训练数据稀少，则学习问题是尚不确定的。在该情况下，有利的是从预先学习的CNN模型迁移某些参数。迁移学习通过冻结各层的子集中的预先学习的参数来减少待优化的参数的数目，并且为调谐剩余层提供了良好的初始化。在医学图像问题领域中，使用迁移学习来针对分类和识别的各种问题对CNN进行预配置有利于改善数据稀少的情况、由于多种成像模态和解剖结构引起的异质数据类型的挑战，以及其他临床挑战。
发明内容
根据本说明书的一个方面，提出了一种用于向卷积神经网络(CNN)进行交互式表示学习迁移的方法。该方法包括获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集。此外，该方法包括执行以下中的至少一者：联合训练基于与第一输入图像数据集相关联的标签无监督学习的第一受监督学习CNN和基于与第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有该第一输入图像数据集的第一CNN和具有该第二输入图像数据集的第二无监督学习CNN，以学习这些输入图像数据集的压缩表示，其中该压缩表示包括一个或多个共同特征基元和对应映射函数。另外，该方法包括将至少该一个或多个共同特征基元和对应映射函数存储在特征基元储存库中。
根据本说明书的另一方面，提出了用于向卷积神经网络(CNN)进行交互式表示学习迁移的交互式表示学习迁移(IRLT)单元。IRLT单元包括交互式学习网络配置器，该交互式学习网络配置器被配置为获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集，并且执行以下中的至少一者：联合训练基于与该第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与该第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有该第一输入图像数据集的第一无监督学习CNN和具有该第二输入图像数据集的第二无监督学习CNN，以学习这些输入图像数据集的压缩表示，其中该压缩表示包括一个或多个共同特征基元和对应映射函数。此外，IRLT单元包括特征基元储存库，该特征基元储存库被配置为将至少一个或多个共同特征基元和对应映射函数存储在特征基元储存库中。
根据本说明书的另一个方面，提出了一种多模态迁移学习系统。该多模态迁移学习系统包括处理器单元和通信地操作地耦接到该处理器单元的存储器单元。此外，该多模态迁移学习系统包括交互式表示学习迁移(IRLT)单元，该交互式表示学习迁移单元操作地耦接到该处理器单元并且包括交互式学习网络配置器，该交互式学习网络配置器被配置获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集，并且执行以下中的至少一者：联合训练基于与该第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与该第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有该第一输入图像数据集的第一无监督学习CNN和具有该第二输入图像数据集的第二无监督学习CNN，以学习这些输入图像数据集的压缩表示，其中该压缩表示包括一个或多个共同特征基元和对应映射函数。此外，IRLT单元包括特征基元储存库，该特征基元储存库被配置为存储至少一个或多个共同特征基元和对应映射函数。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本说明书的实施方案的这些和其他特征和方面，其中附图中相同的符号在所有附图中表示相同的部分，在附图中：
图1是根据本说明书的各方面的用于通过对特征本体的深度学习进行交互式表示学习迁移的示例性系统的示意图；
图2是示出根据本说明书的各方面的用于从未标记的图像数据构建一组特征基元以增强特征基元储存库的方法的流程图；
图3是示出根据本说明书的各方面的用于从标记的图像数据构建一组特征基元以增强特征基元储存库的方法的流程图；
图4是示出根据本说明书的各方面的用映射函数将CNN预配置为基于对特征基元的选择来学习未看到的数据集的方法的流程图；以及
图5示出了根据本公开的各方面的交互式学习网络配置器的一个实施方案的示意图。
具体实施方式
如下文将详细描述的，呈现了用于通过对特征本体的深度学习来进行交互式表示学习迁移的示例性系统和方法的各种实施方案。为了提供这些实施方案的简明描述，可能未在说明书中描述实际具体实施的所有特征。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守系统相关和业务相关的约束。
当描述本说明书的各种实施方案的元件时，冠词“一个”、“一种”、“该”和“所述”旨在表示存在元件中的一个或多个。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，术语“构建”和“构造”及其变型旨在表示数学构建体的数学确定或计算。术语“绘制在任意域上的数据”或“在任意域上的数据”旨在表示对应于域的数据，例如社交媒体数据、传感器数据、企业数据等。
如本说明书中所用的术语“迁移学习”或“归纳式迁移”旨在表示集中于将在解决一个问题时所获得的知识或学习应用于不同的相关问题的机器学习方法。该知识或学习可以各种方式来表征和/或表示，通常通过传递函数、映射函数、图形、矩阵和其他基元的组合和变型来表征和/或表示。另外，如本说明书中所用的术语“迁移学习基元”旨在表示通过解决如上所述的机器学习问题而获得的知识或学习的表征和/或表示。
此外，如本说明书中所用的术语“特征基元”旨在表示输入数据集的一个方面的表征，通常是与解剖结构的图像对应的感兴趣区域()的外观、形状几何结构或形态，其中该图像可从成像模态(诸如超声成像系统、计算机断层摄影(CT)成像系统、正电子发射断层摄影CT(PET-CT)成像系统、磁共振(MR)成像系统等)获得。另外，解剖结构可包括人体的内部器官，诸如但不限于肺、肝脏、肾脏、胃、心脏、脑等。
图1中示出了根据本说明书的各方面的用于通过对特征本体的深度学习进行交互式表示学习迁移的示例性系统100。在图1的当前设想的配置中，系统100包括多模态迁移学习(MTL)子系统102。MTL子系统102包括交互式表示学习迁移(IRLT)单元104、处理器单元108、存储器单元110和用户界面106。处理器单元108通信地耦接到存储器单元110。用户界面106操作地耦接到IRLT单元104。另外，IRLT单元104操作地耦接到处理器单元108和存储器单元110。系统100和/或MTL子系统102可包括显示单元134。可以注意到，MTL子系统102可包括其他部件或硬件，并且不限于图1所示的部件。
用户界面106被配置为接收与输入图像128的特征对应的用户输入130。用户输入130可包括输入图像128的各方面或特征，诸如但不限于成像模态、通常由输入图像128表示的解剖结构、与输入图像128对应的ROI的外观等。
在某些实施方案中，IRLT单元104可实现为可经由一个或多个处理器单元108执行并且存储在存储器单元110中的软件系统或计算机指令。在其他实施方案中，IRLT单元104可例如经由FPGA、定制芯片、集成电路(IC)、专用IC(ASIC)等实现为硬件系统。
如图1所示，IRLT单元104可包括交互式学习网络配置器(ILNC)112、被配置用于无监督学习的一个或多个CNN114(无监督学习CNN)、被配置用于受监督学习的一个或多个CNN116(受监督学习CNN)，以及特征基元储存库118。ILNC 112操作地耦接到无监督学习CNN114、受监督学习CNN 116和特征基元储存库118。在一个实施方案中，INLC 112可以是图形用户界面子系统，该图形用户界面子系统被配置为使得用户能够配置一个或多个受监督学习CNN 116或无监督学习CNN 114。
特征基元储存库118被配置为存储与输入图像128中的ROI对应的一个或多个特征基元，以及一个或多个对应映射函数。如本说明书中所用的术语“映射函数”旨在表示将ROI映射到压缩表示使得CNN的输出是基于输入图像128的ROI的某一方面表征该ROI的特征基元传递函数或CNN过滤器。在一个示例中，ROI的该方面可包括形状几何结构、外观、形态等。因此，特征基元储存库118被配置为存储一个或多个映射函数。这些映射函数结合对应的特征基元可用于将CNN预配置为学习新的训练集。因此，特征基元储存库118被配置为存储特征基元和映射函数，该特征基元和映射函数是从其他CNN获得的迁移学习，以将新的CNN预先配置为学习未看到的数据集。如图1所示，特征基元储存库118被配置为存储的特征基元的一些非限制性示例包括特征基元，该特征基元表征与图像128的ROI对应的外观120、与图像128的ROI对应的形状几何结构124，以及与图像128对应的解剖结构126。
在图1的当前设想的配置中，ILNC 112被配置为向用户呈现各种工具和选项，以交互地表征与输入图像128对应的ROI的一个或多个方面。ILNC 112的示例性实施方案在图5中示出，并且将参考图4和图5更详细地描述ILNC 112的工作。
系统100被配置为跨要存储在特征基元储存库118中的一个或多个解剖结构和成像模态来形成特征基元和映射函数的组合。随后，系统100可向用户提供ILNC 112，以允许用户基于与新的未看到的图像数据集的一个或多个ROI对应的模态、解剖结构、形状几何结构、形态等的选择来将CNN预先配置为学习该未看到的图像数据集。以举例的方式，CNN的一个学习结果可以是对图像数据集进行分类的分类方案。学习结果的其他非限制性示例可包括像素级分割、回归等。将参考图2至图5更详细地描述系统100的工作。
另外，系统100和/或MTL子系统102可被配置为在显示单元134上将特征基元、映射函数、图像数据集等中的一者或多者可视化。
现在转到图2，呈现了根据本说明书的各方面的流程图200，该流程图通常表示用于从未标记的图像数据构建一组特征基元以增强特征基元储存库的方法。参考图1的部件来描述方法200。
可以注意到，流程图200示出了用于从未标记的图像数据构建一组特征基元以增强特征基元储存库(诸如特征基元储存库118)的方法的主要步骤。在一些实施方案中，图2的方法200的各个步骤，更具体地步骤202-208，可由处理器单元108结合存储器单元110和IRLT单元104的ILNC 112来执行。此外，步骤210可由处理器单元108结合存储器单元110和一个或多个受监督学习CNN 116来执行。另外，步骤214至216可由处理器单元108结合存储器单元110和一个或多个无监督学习CNN 114来执行。
方法200从步骤202处开始，在该步骤中获得与第一成像模态和第二成像模态对应的至少第一输入图像数据集220和第二输入图像数据集222。在一个实施方案中，第一输入图像数据集220和第二输入图像数据集222可对应于人体的解剖结构，诸如肝脏、肺、肾脏、心脏、脑、胃等。另外，第一成像模态和第二成像模态可包括超声成像系统、MR成像系统、CT成像系统、PET-CT成像系统，或它们的组合。
在步骤204处，执行检查以确定输入图像数据集220、222是否被标记。如前所述，引用输入图像数据集的标签通常可以表示表征输入图像的一个方面(诸如形状几何形状、外观、形态等)的分类方案或评分。如果在步骤204处确定输入图像数据集被标记，则控制转到步骤210，在该步骤中第一CNN和第二CNN被配置为用于输入图像数据集220、222的受监督学习。将参考图3更详细地描述步骤210。在步骤210之后，如步骤212所示终止方法200。
再次参见步骤204，如果确定输入图像数据集是未标记的，则控制转到步骤206，在该步骤中执行第二检查以确定第一输入图像数据集220和第二输入图像数据集222是否包括足以充分训练一个或多个CNN的数据。如果在步骤206处确定第一输入图像数据集220和第二输入图像数据集222包括足够的数据，则控制转到步骤214。然而，在步骤206处，确定第一输入图像数据集220和第二输入图像数据集222不具有足够的数据，控制转到步骤208。
在一个示例中，在步骤208处，可以确定第一输入图像数据集220包括足够的数据，并且第二输入图像数据集222不包括足够的数据。因此，在该示例中，在步骤208处，利用附加数据增强与第二成像模态对应的第二输入数据集222。用于增强第二输入图像数据集222的附加数据可以通过经由强度映射函数处理与第一成像模态对应的第一输入图像数据集220来获得。强度映射函数的一个非限制性示例可包括回归框架，该回归框架经由使用与一个或多个对象对应的第一成像模态和第二成像模态(例如，CT和MR)来进行多模态采集，并且使用深度学习、手工制作的强度特征或它们的组合来学习从第一模态到第二模态的补丁级映射，以将第一模态的强度映射到第二模态。随后，控制转至步骤214。
在步骤214处，用第一输入图像数据集220和第二输入图像数据集222联合训练第一无监督学习CNN和第二无监督学习CNN，以学习输入图像数据集220、222的压缩表示，其中该压缩表示包括一个或多个共同特征基元和对应映射函数。
一个或多个特征基元表征第一输入图像数据集220的图像的各方面。可以注意到，映射函数将输入图像数据集映射到对应的特征基元。在一个实施方案中，可根据等式(1)定义映射函数。
Figure BDA0002478528970000081
在等式(1)中，hCT是当使用映射函数f和权重
Figure BDA0002478528970000082
来映射图像PCT的感兴趣区域时获得的一组特征基元。在该示例中，图像PCT对应于经由使用CT成像系统获得的图像。
可以注意到，继步骤214之后，生成了与第一成像模态和第二成像模态对应的一个或多个映射函数。可以注意到，这些映射函数将第一输入图像数据集220和第二输入图像数据集222映射到相同的特征基元。在一个实施方案中，可根据等式(2)定义第二映射函数。
Figure BDA0002478528970000091
在等式(2)中，hMR是当使用映射函数f和权重
Figure BDA0002478528970000092
来映射图像PMR的感兴趣区域时获得的一组特征基元。在该示例中，使用MR成像系统获得图像PMR。
此外，在步骤218处，将至少该一个或多个特征基元和对应映射函数存储在特征基元储存库118中。然后，控制转到步骤212以终止方法200。
现在转到图3，呈现了根据本说明书的各方面的流程图300，该流程图通常表示用于从标记的图像数据构建一组特征基元以增强特征基元储存库的方法。更具体地，方法300更详细地描述图2的步骤210。而且，参考图1的部件来描述方法300。
可以注意到，流程图300示出了用于从标记的图像数据构建一组特征基元以增强特征基元储存库的方法的主要步骤。在一些实施方案中，图3的方法300的各个步骤，更具体地步骤302-308，可由处理器单元108结合存储器单元110和IRLT单元104的ILNC 112来执行。此外，步骤310-314可由处理器单元108结合存储器单元110和一个或多个受监督学习CNN 116来执行。
方法300从步骤302处开始，在该步骤中获得与至少第一成像模态和第二成像模态对应的至少第一输入图像数据集316和第二输入图像数据集318。在一个实施方案中，第一输入图像数据集316和第二输入图像数据集318可对应于人体的解剖结构，例如肝脏、肺、肾脏、心脏、脑、胃等。另外，第一成像模态和第二成像模态可包括超声成像系统、MR成像系统、CT成像系统、PET-CT成像系统，或它们的组合。可以注意到，一个或多个受监督CNN的学习结果可以是第一输入图像数据集316和第二输入图像数据集318中的图像的分类。
在步骤304处，执行检查以确定第一输入图像数据集316和第二输入图像数据集318是否包括足以充分训练一个或多个CNN的数据。如果在步骤304处确定第一输入图像数据集316和第二输入图像数据集318包括足够的数据，则控制转到步骤308。然而，在步骤304处，确定第一输入图像数据集316和第二输入图像数据集318不具有足够的数据，控制转到步骤306。在一个示例中，在步骤306处，可以确定第一输入图像数据集316包括足够的数据，并且第二输入图像数据集318不包括足够的数据。因此，在该示例中，在步骤306处，利用附加数据增强与第二模态对应的第二输入图像数据集318。可以注意到，附加数据是通过经由强度映射函数处理与第一成像模态对应的第一输入图像数据集316而获得的。如前所述，强度映射函数的一个非限制性示例可包括回归框架，该回归框架经由使用与一个或多个对象对应的第一成像模态和第二成像模态(例如，CT和MR)来进行多模态采集，并且使用深度学习、手工制作的强度特征或它们的组合来学习从第一模态到第二模态的补丁级映射，以将第一模态的强度映射到第二模态。随后，控制转至步骤308。
此外，在步骤308处，基于与第一输入图像数据集316相关联的标签和与第二输入图像数据集318相关联的标签来联合训练第一受监督学习CNN和第二受监督学习CNN，以生成一个或多个特征基元和对应映射函数。
在一个实施方案中，学习结果可以包括一个或多个特征基元，该一个或多个特征基元表征第一输入图像数据集316的图像的各方面和第二输入图像数据集318的图像的各方面；以及对应的映射函数，其中映射函数将对应的第一输入图像数据集316和第二输入图像数据集318映射到一个或多个特征基元。因此，特征基元与用于获取第一输入图像数据集316和第二输入图像数据集318的成像模态无关。现在参考步骤312，将一个或多个特征基元和对应映射函数存储在特征基元储存库中。
上文所述的方法200和300使得能够创建与跨多种模态生成的多种解剖结构的图像对应的特征基元和映射函数的组合。将特征基元和映射函数存储在特征基元储存库118中。另外，特征基元和映射函数的该组合表征在用输入图像数据集训练CNN中获得的学习。此外，可以将学习迁移以预先配置新的CNN，以便获得不同的未看到的数据集的学习结果。
考虑到上述内容，图4示出了根据本说明书的各方面的流程图400，该流程图描绘了用映射函数将CNN预配置为基于对特征基元的选择来学习未看到的数据集的方法。参考图1、图2和图3来描述方法400。可以注意到，流程图400示出了用映射函数将CNN预配置为基于对特征基元的选择来学习未看到的数据集的方法400的主要步骤。在一些实施方案中，图4的方法400的各个步骤，更具体地步骤402-406，可由处理器单元108结合存储器单元110和IRLT单元104的ILNC 112来执行。此外，步骤408-410可由处理器单元108结合存储器单元110和一个或多个受监督学习CNN 116来执行。
方法400从步骤402开始，在该步骤中可获得至少一个输入图像数据集404。该至少一个输入图像数据集404表示未看到的输入图像数据集。另外，可以获得与输入图像数据集404对应的至少一个学习参数406和学习结果408。在某些实施方案中，输入图像数据集404、学习参数406和学习结果408可以作为用户输入410获得。在一个实施方案中，学习参数406可包括成像模态、图像解剖结构，或它们的组合。另外，学习结果408可包括分类方案、回归方案，或像素级输出(如分割)。
在步骤412处，从特征基元储存库118获得与学习参数406和学习结果408对应的至少一个特征基元和对应映射函数。随后，CNN被配置用于使用至少一个特征基元和至少一个映射函数来学习输入图像数据集404，如步骤414所示。在某些实施方案中，CNN的配置可能需要将从特征基元储存库118获得的一个或多个过滤器设置为映射函数。继步骤414的处理之后，生成预配置的CNN。此外，在步骤416处，利用输入图像数据集404的至少训练子集来优化预配置的CNN。
在一个实施方案中，根据等式(3)，通过使用几个参数，用于使用与第一成像模态对应的标记数据的受监督学习的经训练的卷积自动编码器(CAE)适用于输入图像数据集404。
Figure BDA0002478528970000111
在等式(3)中，w是当使用映射函数f和权重
Figure BDA0002478528970000112
映射与第一成像模式对应的图像P1的感兴趣区域时获得的一组特征基元，其中α是CAE参数的稀疏集。以此方式，可以减少过滤器的数目。可以利用至少该输入图像数据集404的训练子集进一步优化CAE参数α。以这种方式，对于与第二成像模态对应的受监督学习问题，可以根据以下公式来定义用于学习的框架。
Figure BDA0002478528970000113
在等式(4)中，将等式(3)中获得的映射函数f应用到对应于与第二成像模态对应的图像感兴趣区域的映射函数
Figure BDA0002478528970000121
上。随后，在步骤418处，经由优化的CNN处理输入图像数据集404以获得与所请求的学习结果408对应的学习结果420。
参考图5更详细地描述了方法400中体现的工作流。图5是根据本说明书的各方面的图1的交互式表示学习迁移单元104的交互式学习网络配置器112的一个实施方案的示意图500。如图5所示，框图500通常表示如图1所示的ILNC 112。附图标号502-508通常表示分别与成像模态、解剖结构、外观和形状几何结构对应的特征基元的可视化。用于可视化502-508的数据可从图1的特征基元储存库118获得。
在图5中，ILNC 500向用户提供对交互式菜单的选择。具体地，使用ILNC 500，用户可选择要由CNN学习的未看到的图像数据集的一个或多个方面。附图标号510-516通常表示可用于用户以帮助表征未看到的图像数据集的交互式菜单选项。以举例的方式，附图标号510可与未看到的图像数据集的成像模态有关。框510的菜单选项可包括CT、MR、PET、超声等。以类似的方式，附图标号512-516可示出分别与未看到的图像数据集的外观、形状几何结构和解剖结构有关的菜单选项。
由用户从交互式菜单进行的选择使得能够用与菜单选择对应的特征基元和映射函数来对CNN进行预配置。附图标号518通常表示预配置CNN的可视化。在某些实施方案中，附图标号518可对应于图1的IRLT单元104的一个或多个受监督学习CNN 116。另外，用户能够以图形方式浏览、可视化和组合框502-508的特征基元以创建预配置的CNN 518。
上文提出的用于通过对特征本体的深度学习进行交互式表示学习迁移的系统和方法提供了迁移学习范例，其中可组合所学习的特征基元和映射函数的组合以将CNN配置为解决新的医学图像分析问题。有利的是，CNN可被训练用于学习图像的外观和形态。以举例的方式，肿瘤可被分类为团块、柱形、盘形、亮的/暗的或带状等。总体而言，可针对解剖结构、模态、外观和形态(形状几何结构)的各种组合训练网络，以生成丰富的组合，该组合被配置为立即提供预学习的特征到手头新问题的迁移。
应当理解，根据任何实施方案，不一定能够实现上述所有此类目标或优点。因此，例如，本领域技术人员将认识到，可能以实现或改进如本文所教导的一个优点或一组优点而未必实现如本文可能教导或建议的其他目标或优点的方式来体现或进行本文描述的系统和技术。
虽然已结合仅有限数目的实施方案详细描述了本技术，但应当容易理解，本说明书不限于此类所公开的实施方案。相反，可对本技术进行修改，以结合此前未描述的但与本权利要求的实质和范围相称的任何数量的变型、更改、替换或等同的布置。另外，虽然已经描述了本技术的各种实施方案，但应当理解，本说明书的方面可仅包括所描述的实施方案中的一些。因此，本说明书不应被受前述说明的限制，而是只受所附权利要求书的范围的限制。

Claims (13)

1.一种用于向卷积神经网络(CNN)进行交互式表示学习迁移的方法，包括：
获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集；
执行以下中的至少一者：联合训练基于与所述第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与所述第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有所述第一输入图像数据集的第一无监督学习CNN和具有所述第二输入图像数据集的第二无监督学习CNN，以学习所述输入图像数据集的压缩表示，其中所述压缩表示包括一个或多个共同特征基元和对应映射函数；以及
将至少所述一个或多个共同特征基元和所述对应映射函数存储在特征基元储存库中。
2.根据权利要求1所述的方法，还包括：
获得至少一个未看到的输入图像数据集；
获得与所述至少一个未看到的输入图像数据集对应的至少一个学习参数和至少一个学习结果；
经由所述特征基元储存库获得与所述至少一个学习参数和所述至少一个学习结果对应的至少一个特征基元和对应映射函数；
基于所述至少一个特征基元和所述至少一个映射函数将CNN配置为学习所述至少一个未看到的输入图像数据集；
利用所述未看到的输入图像数据集的至少训练子集来优化所述配置的CNN；以及
经由所述优化的CNN来处理所述至少一个未看到的输入图像数据集以获得所述至少一个学习结果。
3.根据权利要求1所述的方法，其中联合训练所述第一受监督学习CNN和所述第二受监督学习CNN以生成所述一个或多个共同特征基元和所述对应映射函数包括联合训练具有所述第一输入图像数据集的所述第一受监督学习CNN和具有所述第二输入图像数据集的所述第二受监督学习CNN，以获得表征所述第一输入图像数据集和所述第二输入图像数据集的至少所述一个或多个共同特征基元，以及所述第一受监督学习CNN和所述第二受监督学习CNN的所述对应映射函数。
4.根据权利要求1所述的方法，还包括利用附加数据增强与所述第二成像模态对应的所述第二输入图像数据集，其中所述附加数据是通过经由强度映射函数处理与所述第一成像模态对应的所述第一输入图像数据集而获得的。
5.根据权利要求4所述的方法，其中经由所述强度映射函数处理与所述第一成像模态对应的所述第一输入图像数据集包括：
经由所述强度映射函数中的回归框架，根据与一个或多个对象对应的第一成像模态和第二成像模态执行多模态采集；以及
经由所述强度映射函数中的所述回归框架学习从所述第一成像模态到所述第二成像模态的补丁级映射，以将所述第一成像模态的强度映射到所述第二成像模态。
6.一种用于向卷积神经网络(CNN)进行交互式表示学习迁移的交互式表示学习迁移单元，包括：
交互式学习网络配置器，所述交互式学习网络配置器被配置为：
获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集；
执行以下中的至少一者：联合训练基于与所述第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与所述第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有所述第一输入图像数据集的第一无监督学习CNN和具有所述第二输入图像数据集的第二无监督学习CNN，以学习所述输入图像数据集的压缩表示，其中所述压缩表示包括一个或多个共同特征基元和对应映射函数；和
特征基元储存库，所述特征基元储存库被配置为存储所述至少一个或多个共同特征基元和所述对应映射函数。
7.根据权利要求6所述的交互式表示学习迁移单元，其中所述交互式学习网络配置器被进一步配置为：
获得至少一个未看到的输入图像数据集；
获得与所述至少一个未看到的输入图像数据集对应的至少一个学习参数和至少一个学习结果；
经由所述特征基元储存库获得与所述至少一个学习参数和所述至少一个学习结果对应的至少一个特征基元和对应映射函数；
基于所述至少一个特征基元和所述至少一个映射函数将CNN配置为学习所述至少一个未看到的输入图像数据集；
利用所述未看到的输入图像数据集的至少训练子集来优化所述配置的CNN；以及
经由所述优化的CNN来处理所述至少一个未看到的输入图像数据集以获得所述至少一个学习结果。
8.根据权利要求6所述的交互式表示学习迁移单元，其中所述交互式学习网络配置器被进一步配置为联合训练具有所述第一输入图像数据集的所述第一受监督学习CNN和具有所述第二输入图像数据集的所述第二受监督学习CNN，以获得表征所述第一输入图像数据集和所述第二输入图像数据集的至少所述一个或多个共同特征基元，以及所述第一受监督学习CNN和所述第二受监督学习CNN的所述对应映射函数。
9.根据权利要求6所述的交互式表示学习迁移单元，其中所述交互式学习网络配置器被进一步配置为利用附加数据增强与所述第二成像模态对应的所述第二输入图像数据集，并且其中所述附加数据是通过经由强度映射函数处理与所述第一成像模态对应的所述第一输入图像数据集而获得的。
10.根据权利要求9所述的交互式表示学习迁移单元，其中所述强度映射函数包括回归框架，所述回归框架被配置为：
根据与一个或多个对象对应的第一成像模态和第二成像模态执行多模态采集；以及
学习从所述第一成像模态到所述第二成像模态的补丁级映射，以将所述第一成像模态的强度映射到所述第二成像模态。
11.一种多模态迁移学习系统，包括：
处理器单元；
存储器单元，所述存储器单元操作地耦接到所述处理器单元；
交互表示学习迁移单元，所述交互表示学习迁移单元操作地耦接到所述处理器单元并且包括：
交互式学习网络配置器，所述交互式学习网络配置器被配置为：
获得至少来自第一成像模态的第一输入图像数据集和来自第二成像模态的第二输入图像数据集；
执行以下中的至少一者：联合训练基于与所述第一输入图像数据集相关联的标签的第一受监督学习CNN和基于与所述第二输入图像数据集相关联的标签的第二受监督学习CNN，以生成一个或多个共同特征基元和对应映射函数；以及联合训练具有所述第一输入图像数据集的第一无监督学习CNN和具有所述第二输入图像数据集的第二无监督学习CNN，以学习所述输入图像数据集的压缩表示，其中所述压缩表示包括一个或多个共同特征基元和对应映射函数；和
特征基元储存库，所述特征基元储存库被配置为存储所述至少一个或多个共同特征基元和所述对应映射函数。
12.根据权利要求11所述的多模态迁移学习系统，其中所述交互式学习网络配置器被进一步配置为：
获得至少一个未看到的输入图像数据集；
获得与所述至少一个未看到的输入图像数据集对应的至少一个学习参数和至少一个学习结果；
经由所述特征基元储存库获得与所述至少一个学习参数和所述至少一个学习结果对应的至少一个特征基元和对应映射函数；
基于所述至少一个特征基元和所述至少一个映射函数将CNN配置为学习所述至少一个未看到的输入图像数据集；
利用所述未看到的输入图像数据集的至少训练子集来优化所述配置的CNN；以及
经由所述优化的CNN来处理所述至少一个未看到的输入图像数据集以获得所述至少一个学习结果。
13.根据权利要求11所述的多模态迁移学习系统，其中所述交互式学习网络配置器被进一步配置为：
联合训练具有所述第一输入图像数据集的所述第一受监督学习CNN和具有所述第二输入图像数据集的所述第二受监督学习CNN，以获得表征所述第一输入图像数据集和所述第二输入图像数据集的至少所述一个或多个共同特征基元，以及所述第一受监督学习CNN和所述第二受监督学习CNN的所述对应映射函数。
CN201880071649.9A 2017-11-03 2018-11-02 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法 Active CN111316290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201741039221 2017-11-03
IN201741039221 2017-11-03
PCT/US2018/058855 WO2019090023A1 (en) 2017-11-03 2018-11-02 System and method for interactive representation learning transfer through deep learning of feature ontologies

Publications (2)

Publication Number Publication Date
CN111316290A true CN111316290A (zh) 2020-06-19
CN111316290B CN111316290B (zh) 2024-01-12

Family

ID=64332416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071649.9A Active CN111316290B (zh) 2017-11-03 2018-11-02 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法

Country Status (4)

Country Link
EP (1) EP3704636A1 (zh)
JP (1) JP7467336B2 (zh)
CN (1) CN111316290B (zh)
WO (1) WO2019090023A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707312A (zh) * 2021-09-16 2021-11-26 人工智能与数字经济广东省实验室(广州) 一种基于深度学习的血管定量识别的方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210486B (zh) * 2019-05-15 2021-01-01 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110186375A (zh) * 2019-06-06 2019-08-30 西南交通大学 智能化高铁白车身焊接装配特征检测装置及检测方法
US11941497B2 (en) 2020-09-30 2024-03-26 Alteryx, Inc. System and method of operationalizing automated feature engineering
CN112434602B (zh) * 2020-11-23 2023-08-29 西安交通大学 一种基于可迁移共特征空间挖掘的故障诊断方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130004038A1 (en) * 2010-03-18 2013-01-03 Koninklijke Philips Electronics N.V. Functional image data enhancement and/or enhancer
WO2014105523A1 (en) * 2012-12-26 2014-07-03 Volcano Corporation Measurement and enhancement in a multi-modality medical imaging system
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN106971174A (zh) * 2017-04-24 2017-07-21 华南理工大学 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242443B2 (en) 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US10127659B2 (en) 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130004038A1 (en) * 2010-03-18 2013-01-03 Koninklijke Philips Electronics N.V. Functional image data enhancement and/or enhancer
WO2014105523A1 (en) * 2012-12-26 2014-07-03 Volcano Corporation Measurement and enhancement in a multi-modality medical imaging system
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN105930877A (zh) * 2016-05-31 2016-09-07 上海海洋大学 一种基于多模态深度学习的遥感影像分类方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN106971174A (zh) * 2017-04-24 2017-07-21 华南理工大学 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AGISILAOS CHARTSIAS ET AL: "Adversarial Image Synthesis for Unpaired Multi-modal Cardiac Data", pages 3 - 13 *
CASTREJON,L ET AL: "Learning Aligned Cross-Modal Representations from Weakly Aligned Data", pages 2940 - 2949 *
POUYA GHAEMMAGHAMI等: "A cross-modal adaptation approach for brain decoding", 《2017 IEEE INTERNATIONAL CONFERENCE ON ACOUSTIC, SPEECH AND SIGNAL PROCESSING》, pages 969 - 973 *
董永亮等: "基于潜在语义的双层图像-文本多模态检索语义网络", 《计算机工程》, vol. 42, no. 7, pages 299 - 303 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707312A (zh) * 2021-09-16 2021-11-26 人工智能与数字经济广东省实验室(广州) 一种基于深度学习的血管定量识别的方法及装置

Also Published As

Publication number Publication date
JP2021507327A (ja) 2021-02-22
WO2019090023A1 (en) 2019-05-09
JP7467336B2 (ja) 2024-04-15
CN111316290B (zh) 2024-01-12
EP3704636A1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
US11393229B2 (en) Method and system for artificial intelligence based medical image segmentation
CN111316290B (zh) 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法
Wang et al. Automatic brain tumor segmentation based on cascaded convolutional neural networks with uncertainty estimation
Maier et al. A gentle introduction to deep learning in medical image processing
US10223610B1 (en) System and method for detection and classification of findings in images
Zhu et al. Exploiting interslice correlation for MRI prostate image segmentation, from recursive neural networks aspect
Conze et al. Current and emerging trends in medical image segmentation with deep learning
DE102021133631A1 (de) Gezielte objekterkennung in bildverarbeitungsanwendungen
US20060210158A1 (en) Object-specific segmentation
Xu et al. Supervised action classifier: Approaching landmark detection as image partitioning
Ogiela et al. Natural user interfaces in medical image analysis
Biswas et al. Data augmentation for improved brain tumor segmentation
CN114787816A (zh) 针对机器学习方法的数据增强
Dickson et al. An integrated 3D-sparse deep belief network with enriched seagull optimization algorithm for liver segmentation
Robben et al. DeepVoxNet: voxel-wise prediction for 3D images
Bennai et al. Towards a generic Multi-agent approach for medical image segmentation
Romaszko et al. Direct learning left ventricular meshes from CMR images
Gaasedelen et al. Automated multiclass cardiac volume segmentation and model generation
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging
Soliman et al. Intelligent Algorithms for the Diagnosis of Alzheimer’s Disease
Asokan Handling Class Imbalance Using Generative Adversarial Network (GAN) and Convolutional Neural Network (CNN)
US20240185577A1 (en) Reinforced attention
Mudduluru Developing and Applying Hybrid Deep Learning Models for Computer-Aided Diagnosis of Medical Image Data
Ji et al. Deep Learning Models for Biomedical Image Analysis
Ozdemir Medical Image Segmentation with Efficient Use of Annotations and Resources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant