CN112714914A - 用于存储器扩增域自适应的系统和方法 - Google Patents

用于存储器扩增域自适应的系统和方法 Download PDF

Info

Publication number
CN112714914A
CN112714914A CN201980060218.7A CN201980060218A CN112714914A CN 112714914 A CN112714914 A CN 112714914A CN 201980060218 A CN201980060218 A CN 201980060218A CN 112714914 A CN112714914 A CN 112714914A
Authority
CN
China
Prior art keywords
features
machine learning
learning model
support images
masks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060218.7A
Other languages
English (en)
Inventor
拉胡尔·文卡塔拉马尼
拉凯什·穆利克
桑迪普·考希克
哈里哈兰·瑞维享卡
S·H·安那曼德拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN112714914A publication Critical patent/CN112714914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提出了一种系统。该系统包括被配置为获得对应于目标域的图像的采集子系统。此外，该系统包括处理子系统，该处理子系统与采集子系统可操作地相关联并且包括存储器扩增域自适应平台，该存储器扩增域自适应平台被配置为计算对应于目标域的输入图像的一个或多个特征；基于输入图像的特征来识别一组支持图像，其中该组支持图像对应于目标域；用对应于该组支持图像的一组特征、一组掩膜、或两者来扩增对机器学习模型的输入以使机器学习模型适应于目标域；并且至少基于该组特征、该组掩膜、或两者来生成输出。另外，该系统包括被配置为呈现输出以供分析的界面单元。

Description

用于存储器扩增域自适应的系统和方法
背景技术
本说明书的实施方案整体涉及机器学习，并且更具体地涉及用于存储器扩增连续学习以适应域的系统和方法。
应当理解，传统的机器学习技术需要大型数据集以经由广泛的训练来“学习”。另外，通常使用对应于源域的数据集来训练机器学习技术。然而，已知包括机器学习技术的大多数统计方法在很少遇到的场景/域中表现相当差。具体地讲，包括神经网络的许多机器学习技术遇到域自适应的问题，并且因此遭受模型对与不同但相关的域相关联的样本的性能的降级。域自适应中的问题通常归因于样本中的多样性。即使在如医学成像的受控环境中也会遇到样本中的这种多样性，其中训练样本由于设备、人口统计学、病理状况、方案/操作者可变性，患者/受试者等的差异而不同。此外，域自适应的问题由于难以在保健和其他受管控域中获得大量数据以训练或重新训练模型而进一步复杂化。
期望使用对应于源域的数据训练的算法/技术使用尽可能少的样本来适应新的目标域。对域自适应问题的某些当前可用的解决方案需要使系统能够在部署期间从错误中学习。一种示例性方法要求通过用新样本重新训练现有技术来校正观察到的错误。然而，此类方法不利地具有缺点。在一个示例中，使算法适应新的目标域需要对应于目标域的大量样本。另外，在另一个示例中，神经网络遭受被称为“灾难性遗忘”的现象。
此外，一些当前可用的技术使用存储器扩增神经网络(MANN)来记住罕见事件。某些其他技术使用少样本学习方法以通过元学习范型快速适应域或任务中的任一者中的变化。然而，这些方法中的大多数不利地依赖于从许多类别的元学习。
发明内容
根据本说明书的各方面，提出了一种系统。该系统包括被配置为获得对应于目标域的图像的采集子系统。此外，该系统包括处理子系统，该处理子系统与采集子系统可操作地相关联并且包括存储器扩增域自适应平台，其中存储器扩增域自适应平台被配置为计算对应于输入图像的一个或多个特征，其中输入图像对应于目标域；基于对应于输入图像的一个或多个特征来识别一组支持图像，其中该组支持图像对应于目标域；用对应于该组支持图像的一组特征、一组掩膜、或一组特征和一组掩膜两者来扩增对机器学习模型的输入以使机器学习模型适应于目标域；并且至少基于对应于该组支持图像的该组特征、该组掩膜、或该组特征和该组掩膜两者来生成输出。另外，该系统包括被配置为呈现输出以供分析的界面单元。
根据本说明书的另一方面，提出了用于适应机器学习模型的处理系统。处理系统包括存储器扩增域自适应平台，该存储器扩增域自适应平台被配置为计算对应于输入图像的一个或多个特征，其中输入图像对应于目标域；基于对应于输入图像的一个或多个特征来识别一组支持图像，其中该组支持图像对应于目标域；用对应于该组支持图像的一组特征、一组掩膜、或一组特征和一组掩膜两者来扩增对机器学习模型的输入以使机器学习模型适应于目标域；至少基于对应于该组支持图像的该组特征、该组掩膜、或该组特征和该组掩膜两者来生成输出；并且提供输出以促进分析。
根据本说明书的又一方面，提出了用于适应机器学习模型的方法。该方法包括接收输入图像，其中输入图像对应于目标域。此外，该方法包括计算对应于输入图像的一个或多个特征。此外，该方法包括基于对应于输入图像的一个或多个特征来识别一组支持图像，其中该组支持图像对应于目标域。此外，该方法包括用对应于该组支持图像的一组特征、一组掩膜、或一组特征和一组掩膜两者来扩增对机器学习模型的输入以使机器学习模型适应于目标域。该方法还包括至少基于对应于该组支持图像的该组特征、该组掩膜、或该组特征和该组掩膜两者来生成输出。此外，该方法包括输出该输出以促进分析。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本公开的这些和其他特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1是根据本说明书的各方面的用于存储器扩增域自适应的示例性系统的示意图；
图2是根据本说明书的各方面的用于存储器扩增域自适应的示例性方法的流程图；
图3是根据本说明书的各方面的示出用于存储器扩增域自适应的示例性方法的示意图；
图4(a)-图4(c)是根据本说明书的各方面的对应于用于存储器扩增域自适应的系统和方法中的不同域的不同数据集的图解示意图；并且
图5(a)-图5(e)是根据本说明书的各方面的不同方法域自适应的执行的比较的图解示意图。
具体实施方式
以下描述提出了用于存储器扩增域自适应的示例性系统和方法。具体地讲，下文所述的实施方案呈现了促进增强的存储器扩增连续学习以使机器学习模型适应于新域，从而利用相对较小的一组样本递送更好的性能的示例性系统和方法。例如，当使用小的一组样本将机器学习模型部署在目标域中时，系统和方法促进诸如分类和分割之类的任务的增强执行。此外，下文提出的系统和方法提供了避免与当前可用方法相关联的缺点的优质解决方案。具体地讲，用于存储器扩增域自适应的系统和方法提出了使机器学习用尽可能少的样本适应于较新域的学习技术。与所部署的目标域相关联的较新的样本被“记住”，使得由本系统和方法生成的输出在避开对基础的任何修改的同时不断演进。
该系统和方法需要使用“元学习”技术，该“元学习”技术被设计成当被部署在新域中时能够改进机器学习模型的性能。具体地讲，该系统包括存储器单元，其作用类似于可编程存储器，并且用于使用对应于目标域的小的一组样本来连续学习和促进对目标域的适应。因此，当机器学习模型随后遇到类似的情况时，向存储器单元查询匹配。更具体地，附加存储器单元促进检索类似于特定用例的样本和对应注释。此外，可以修订与存储在存储器单元中的所检索的样本相对应的注释，从而提供对机器学习模型的后续预测的增强控制。可以指出的是，术语“域”和“位点”可互换使用。
为了清楚起见，在医学成像系统的背景下描述了本发明的系统和方法的示例性实施方案。可以指出的是，尽管在医学成像系统的背景下描述下文所示的示例性实施方案，但是还设想了其他成像系统和应用，诸如工业成像系统和非破坏性评估和检查系统，诸如管道检查系统、液体反应器检查系统。医学成像系统的一些示例可包括计算机断层摄影(CT)系统、单光子发射计算机断层摄影系统(SPECT)系统、X射线成像系统、磁共振成像(MRI)系统、光学成像系统和/或超声成像系统。另外，下文所示和所述的示例性实施方案可应用于与其他成像模态、位置跟踪系统或其他传感器系统结合采用X射线成像系统的多模态成像系统。在一个示例中，多模态成像系统可包括正电子发射断层摄影(PET)成像系统-X射线成像系统。此外，根据本说明书的方面，在多模成像系统的其他非限制性示例中，X射线成像系统可与其他成像系统结合使用，诸如但不限于计算机断层摄影(CT)成像系统、对比增强超声成像系统、超声成像系统、光学成像系统、磁共振(MR)成像系统和其他成像系统。在以下部分参考图1讨论了适合于实践本发明的系统和方法的各种具体实施的示例性环境。
图1示出了示例性成像系统100，该成像系统被配置为接收和处理对应于目标域的输入图像以生成输出，该目标域对应于受试者102诸如患者或非生物对象中的目标体积，其中输出用于进一步分析。具体地讲，系统100被配置为使用示例性存储器扩增域自适应技术来将机器学习模型106适应于目标域。可以指出的是，机器学习模型106通常使用对应于源域的数据集来训练。系统100被配置为使用对应于目标域的相对较小的一组样本来使机器学习模型106适应于目标域。在一个实施方案中，成像系统100例如可包括X线成像系统、PET系统、SPECT系统、CT成像系统、MRI系统、混合成像系统和/或多模成像系统。
在一个实施方案中，患者102可适当地定位在例如台上，以允许系统100对患者102的目标体积进行成像。在成像期间，可操作地耦接到医学成像系统108的图像采集设备104可用于采集对应于对象或患者102中的感兴趣目标体积/区域的图像数据。然而，在某些其他实施方案中，可以从数据存储装置中检索输入图像。
另外，医学成像系统108被配置为接收对应于患者102的输入图像或图像数据，并且处理图像数据以生成对应于患者102的输出。在当前设想的配置中，系统100可被配置为采集表示患者102的图像数据。如上文所指出的，在一个实施方案中，系统100可经由图像采集设备104采集对应于患者102的图像数据。而且，在一个实施方案中，图像采集设备104可包括探头，其中探头可包括侵入式探头或者非侵入式或外部探头，诸如外部超声探头，探头被配置为帮助采集图像数据。另外，在某些其他实施方案中，可经由可设置在患者102身上的一个或多个传感器(未示出)或经由使用采集对应于患者102的图像数据的其他装置来采集图像数据。以举例的方式，这些传感器可包括生理传感器(未示出)，诸如位置传感器。在某些实施方案中，位置传感器可包括电磁场传感器或惯性传感器。例如，这些传感器可经由引线(未示出)可操作地耦接到数据采集设备，诸如成像系统。还考虑了采集对应于患者102的图像数据的其他方法。
此外，在一个实施方案中，医学成像系统108可包括采集子系统110和处理子系统112。此外，在一个实施方案中，医学成像系统108的采集子系统110被配置为经由图像采集设备104采集表示患者102的图像数据或输入图像。可以指出的是，术语“图像”、“图像帧”和“输入图像”可互换使用。
另外，采集子系统110还可被配置为采集存储在光学数据存储物品(未示出)中的图像。可以指出的是，光学数据存储物品可以是光学存储介质，诸如光盘(CD)、数字通用光盘(DVD)、多层结构(诸如DVD-5或DVD-9)、多侧结构(诸如DVD-10或DVD-18)、高清数字通用光盘(HD-DVD)、蓝光光盘、近场光存储盘、全息存储介质或其他类似体积光学存储介质(诸如例如，双光子或多光子吸收存储格式)。此外，例如，由采集子系统110如此采集的2D图像可本地存储在数据存储库116中的医学成像系统108上。
另外，然后，处理子系统112可处理从患者102采集的图像数据。例如，处理子系统112可包括一个或多个专用处理器、图形处理单元、数字信号处理器、微计算机、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和/或其他合适的处理设备。另选地，处理子系统112可被配置为将所采集的图像数据和/或用户输入存储在数据存储库116中和/或存储器单元118中供以后使用。在一个实施方案中，例如，数据储存库116可包括硬盘驱动器、软盘驱动器、光盘读/写(CD-R/W)驱动器、数字通用光盘(DVD)驱动器、闪存驱动器和/或固态存储设备。
可以指出的是，可由本系统的某些部件(例如，由处理子系统112)执行的示例、示范和处理步骤可通过基于处理器的系统上的适当代码来实现。为此，基于处理器的系统例如可包括通用计算机或专用计算机。还可以指出的是，本说明书的不同实施方式可以不同的顺序或基本上同时执行本文所述的一些或所有步骤。
根据本说明书的各方面，由医学成像系统108采集和/或处理的图像数据可用于执行一个或多个任务。在一个示例中，处理子系统112可包括机器学习模型106，诸如被配置为执行任务的神经网络。具体地讲，可以使用对应于源域的数据集来训练机器学习模型106以执行任务。作为非限制性示例，可以训练机器学习模型106以对输入图像进行分类和/或对输入图像中的一个或多个区域进行分割，以帮助临床医生提供诊断。在某些实施方案中，处理子系统112还可耦接到存储系统，诸如数据存储库116，其中数据存储库116被配置为存储所采集的图像数据。在某些实施方案中，数据存储库116可包括本地数据库(未示出)。
此外，根据本说明书的各方面，成像系统100还可包括存储器单元118。尽管图1的配置将数据存储库116描绘为包括存储器单元118，但在其他实施方案中，存储器单元118可以是在数据存储库116和/或成像系统100外部的独立单元。存储器单元118被配置为存储由系统100生成的输入图像和输出。
如前所述，当机器学习模型被部署在新目标域中时，当前可用的技术遭受机器学习模型的性能降级。根据本说明书的各方面，成像系统100被设计成避免目前可用技术的缺点。更具体地讲，成像系统100包括存储器扩增域自适应平台114，该存储器扩增域自适应平台被配置为帮助机器学习模型自动适应于新目标域。包括存储器扩增域自适应平台114的示例性系统100通过使机器学习模型106能够使用对应于目标域的相对较小的一组图像来适应于目标域来提供用于在目标域中部署机器学习模型106的框架，这继而将简化临床工作流程。具体地讲，存储器扩增域自适应平台114与机器学习模型106结合工作，以增强机器学习模型106对目标域的适应性，从而提高成像系统100的性能。可以指出的是，术语“新域”、“目标位点”和“目标域”可互换使用。
而且，在图1所示的当前设想的配置中，处理子系统112被示出为包括存储器扩增域自适应平台114。然而，在某些实施方案中，存储器扩增域自适应平台114还可用作与处理子系统112和医学成像系统108物理分离的独立单元。以举例的方式，存储器扩增域自适应平台114可位于医学成像系统108外部并且可操作地耦接到该医学成像系统。
示例性存储器扩增域自适应平台114被配置为避开当前可用的阈自适应技术的缺点。更具体地讲，存储器扩增域自适应平台114被配置为使用对应于目标域的小的一组样本图像来促进机器学习模型对目标域的适应，从而导致一致的结果。
如前所述，通常使用对应于源域的数据集来训练给定模型。期望机器学习模型106在部署在目标域中时适应于目标域，同时保持系统100的性能。因此，当成像系统100部署在目标域中时，存储器扩增域自适应平台114被配置为将机器学习模型106适配到目标域以执行给定任务。以举例的方式，存储器扩增域自适应平台114可被配置为帮助机器学习模型处理所采集的输入图像以对输入图像进行分类和/或对输入图像中的一个或多个感兴趣区域进行分割。
因此，在操作中，机器学习模型106和/或存储器扩增域自适应平台114被配置为接收输入图像，其中输入图像对应于目标域。此外，存储器扩增域自适应平台114被配置为计算对应于输入图像的一个或多个特征。特征包括形状特征、纹理特征等。在某些其他实施方案中，可以使用其他特征来识别一组支持图像。其他特征的一些非限制性示例包括患者102的年龄、患者102的性别、对应于患者102的电子病历(EMR)信息、人口统计学等。
可以指出的是，存储器单元118被配置为存储对应于目标域的一个或多个图像。另外，存储器单元118还可被配置为存储一个或多个特征，诸如纹理特征和/或形状特征以及对应于目标域的图像的掩膜。此外，可存储与目标域的图像对应的其他特征，诸如年龄、性别、EMR信息、人口统计学等。
此外，在接收到输入图像之后，存储器扩增域自适应平台114被配置为查询数据存储库116，并且具体地讲查询存储器单元118，以基于输入图像的特征来识别匹配的一组图像。在一个示例中，继查询之后，存储器扩增域自适应平台114可基于对应于输入图像的图像特征来识别存储器单元118中的一组支持图像。可以指出的是，根据本说明书的各方面，在某些实施方案中，系统100可以被配置为允许临床医生识别该组支持图像。
可以指出的是，该组支持图像对应于目标域，并且可以是对应于目标域的图像的子组。在一个非限制性示例中，该组支持图像包括在约三个图像至约五个图像范围内的图像。然而，也考虑了在该组支持图像中使用其他数量的图像。更具体地讲，目标域图像的小子组可用作该组支持图像。使用目标域图像的小子组作为该组支持图像有助于避免当前可用技术对使用大的训练数据池/集的需要。
传统上，当前可用的技术仅将输入图像提供给机器学习模型以执行给定任务。根据本说明书的各方面，存储器扩增域自适应平台114被配置为用该组支持图像扩增对机器学习模型106的输入。具体地讲，存储器扩增域自适应平台114被配置为计算与该组支持图像相对应的一组特征和/或一组掩膜，并且将该组特征和/或该组掩膜作为附加输入提供给机器学习模型106以将机器学习模型106适应于目标域。因此，机器学习模型106使用小的一组支持图像来“适应”或“学习”目标域。
此外，存储器扩增域自适应平台114有助于由机器学习模型106至少基于对应于该组支持图像的该组特征和/或该组掩膜来生成输出。此外，存储器扩增域自适应平台114被配置为提供输出以促进分析。另外，生成的输出可基于由机器学习模型106执行的任务。例如，如果机器学习模型106被配置为对输入图像进行分类，则输出可以是二进制值。然而，如果机器学习模型106被配置为对输入图像进行分割，则输出可以是对应于感兴趣的分割区域的图像。此外，在一个示例中，输出可在界面单元诸如显示器120上可视化。
此外，如图1所示，医学成像系统108可包括显示器120和用户界面122。在某些实施方案中，诸如在触摸屏中，显示器120和用户界面122可重叠。而且，在一些实施方案中，显示器120和用户界面122可包括公共区域。根据本说明书的各方面，医学成像系统108的显示器120可被配置为显示或呈现由机器学习模型106生成的输出。此外，由存储器扩增域自适应平台114生成的任何质量度量/指示符也可在显示器120上可视化。
另外，医学成像系统108的用户界面122可包括人机接口设备(未示出)，该人机接口设备被配置为帮助临床医生操纵显示器120上显示的图像数据。该人机接口设备可包括鼠标型设备、轨迹球、操纵杆、触控笔或触摸屏，它们被配置为便于临床医生识别图像中的一个或多个感兴趣的区域。然而，应当理解，也可采用其他人机接口设备，诸如但不限于触摸屏。此外，根据本说明书的各方面，用户界面122可被配置为帮助临床医生导航通过由医学成像系统108生成的采集的图像和/或输出。另外，用户界面122还可被配置为帮助操纵和/或组织显示器120上显示的显示图像和/或生成的指示符。
当模型106部署在新目标域中时，实现包括如上文所述的存储器扩增域自适应平台114的成像系统100有助于增强机器学习模型106的性能。具体地讲，存储器扩增域自适应平台114有助于经由使用小的一组支持图像来促进机器学习模型106对目标域的适应。另外，存储器扩增域自适应平台114经由使用该组支持图像向机器学习模型106提供连续学习，从而在模型106被部署在新目标域中时改善机器学习模型106的性能。
在本说明书中，可在计算系统或处理器上的计算机可执行指令的一般背景下描述图2-图3的示例性方法的实施方案。一般来讲，计算机可执行指令可包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构、规程、模块、功能等。
另外，还可在分布式计算环境中实践图2-图3的示例性方法的实施方案，其中由通过有线和/或无线通信网络链接的远程处理设备执行优化功能。在分布式计算环境中，计算机可执行指令可位于本地和远程计算机存储介质(包括存储器存储设备)中。
此外，在图2-图3中，示例性方法被示出为逻辑流程图中的框的集合，其表示可在硬件、软件或它们的组合中实现的操作。各种操作在框中描绘，以示出所执行的功能。在软件的背景下，框表示计算机指令，这些指令在由一个或多个处理子系统执行时执行所叙述的操作。
描述图2-图3的示例性方法的顺序不旨在被解释为限制，并且可以任何顺序组合任何数量的所描述的框，以实现本文公开的示例性方法或等效的替代方法。另外，在不脱离本文所述的主题的实质和范围的情况下，某些块可从示例性方法中删除，或者通过具有所添加功能的附加框来增强。尽管在医学成像系统的背景下描述下文所示的示例性实施方案，但是应当理解，结合本说明书还设想了在工业应用中使用这些系统和方法。
现在参见图2，呈现了描绘用于使机器学习模型适应于目标域的示例性方法的流程图200。参考图1的部件来描述图2的方法200。在一个实施方案中，方法200可由存储器扩增域自适应平台114结合机器学习模型106来执行。
该方法包括当成像系统100(特别是机器学习模型106)部署在目标域中时接收输入图像，如步骤202所指示。输入图像对应于目标域。另外，输入图像可由机器学习模型106和存储器扩增域自适应平台114接收。
此外，在步骤204处，由存储器扩增域自适应平台114计算对应于输入图像的一个或多个特征。这些特征可包括纹理特征、形状特征或它们的组合。纹理特征的一些非限制性示例包括小波特征、机器学习特征等。另外，形状特征的一些非限制性示例包括基于轮廓的特征，从基于字典的方法导出的特征，矩，形状表示诸如面积、切角、轮廓曲率，形状变换域特征诸如傅里叶变换等。另外，如前所述，其他特征的一些示例包括患者的年龄、性别、EMR信息等。
可以指出的是，对应于目标域的图像可以存储在存储器单元118中。在计算对应于输入图像的图像特征之后，可由存储器扩增域自适应平台114基于输入图像的图像特征来识别一组支持图像，如步骤206所指示。具体地讲，存储器扩增域自适应平台114被配置为使用对应于输入图像的图像特征来查询存储器单元118，以从存储在存储器单元118中的图像中识别该组支持图像。可以指出的是，该组支持图像是对应于目标域的图像的子组。在一个非限制性示例中，该组支持图像包括在约三个图像至约五个图像范围内的图像。此外，在对存储器单元118的查询未能识别一个或多个支持图像的场景中，对应于源域的一个或多个图像可用作支持图像。
常规机器学习技术仅基于所接收的输入图像来生成输出，从而导致新域中的机器学习模型的性能降级。根据本说明书的各方面，经由使用所检索的一组支持图像来避免当前可用技术的缺点。机器学习模型106使用该组支持图像来提供用于预测的上下文，而不是仅使用输入图像。
更具体地讲，该方法包括用对应于该组支持图像的一组特征和/或一组掩膜扩增对机器学习模型的输入，以使机器学习模型适应于目标域，如步骤208所指示。因此，存储器扩增域自适应平台114被配置为计算与所检索的一组支持图像相对应的一个或多个特征和/或掩膜。在一个示例中，可以使用适合于分割的可调谐特征提取来计算对应于该组支持图像的特征。在另一个示例中，支持上下文矢量扩增可用于计算对应于该组支持图像的特征。在又一个示例中，对应于该组支持图像的特征可以通过在机器学习模型106的训练阶段期间用对应于源域的数据模仿对应于目标域的设置来计算。
如前所述，这些特征可包括对应于该组支持图像的纹理特征和/或形状特征。随后，存储器扩增域自适应平台114提供对应于该组支持图像的特征和/或掩膜作为对机器学习模型106的预测器的附加输入，从而增强对机器学习模型106的输入。此外，也可提供其他特征作为机器学习模型106的预测器的附加输入，如前所述。
此外，在步骤210处，机器学习模型106被配置为至少基于与由存储器扩增域自适应平台114提供的该组支持图像相对应的一组特征和/或一组掩膜以及输入图像来生成输出。由机器学习模型106生成的输出可基于由机器学习模型106执行的任务而变化。以举例的方式，如果机器学习模型106用于执行分类任务，则由机器学习模型106生成的输出可以是二进制值。以类似的方式，如果机器学习模型106用于执行分割任务，则由机器学习模型106生成的输出可以是掩膜或分割图像。
此外，输出可用于促进分析，如步骤212所指示。以举例的方式，存储器扩增域自适应平台114可被配置为使由机器学习模型106生成的掩膜或分割图像和/或二进制值在显示器120上可视化。在某些实施方案中，可在显示器120上可视化具有和不具有域自适应的系统100的性能的视觉比较，以帮助临床医生进行任何诊断或分析。另外，与输出相关联的任何度量也可在显示器120上可视化。在某些实施方案中，度量可叠加在显示器120上的对应输出上。
在另一个示例中，存储器扩增域自适应平台114还可被配置为将所生成的输出传送给用户，诸如临床医生或另一个系统。临床医生和/或另一个系统可使用输出来促进诊断和/或分析。将参考图3更详细地描述方法200。
现在转到图3，描绘了示出用于图2的存储器扩增域自适应的示例性方法的示意图300。另外，参考图1-图2的部件来描述图3。
如前所指出的，机器学习模型106通常使用对应于源域的数据集来训练。一旦机器学习模型106被部署在新目标域中，示例性存储器扩增域自适应平台114被配置为使用相对较小的一组支持图像将机器学习模型106适应于目标域。在一个非限制性示例中，该组支持图像可包括在约三个图像至约五个图像范围内的图像。
此外，如图3所描绘，对应于目标域的输入图像302由机器学习模型106和存储器扩增域自适应平台114接收。随后，存储器扩增域自适应平台114计算对应于输入图像302的一个或多个特征304。这些特征包括纹理特征、形状特征和/或其他特征。
此外，存储器扩增域自适应平台114被配置为使用与输入图像302相关联的所计算的特征来识别对应于目标域的一组支持图像。因此，存储器扩增域自适应平台114被配置为基于对应于输入图像302的特征来查询存储器单元118，以识别存储器单元118中匹配的存在。具体地讲，存储器扩增域自适应平台114被配置为基于对应于输入图像302的一个或多个图像特征来识别一组支持图像。该组支持图像对应于目标域并且包括与输入图像302的特征匹配的特征。
可以指出的是，在传统的U-Net中，在给定图像和分割掩模的训练对{Ik，Sk}(k＝1，2，...，N)的情况下，框架学习由使训练损失最小化的参数w定义的预测器
Figure BDA0002976137320000121
一个这样的示例在公式(1)中提出。
Figure BDA0002976137320000122
其中
Figure BDA0002976137320000123
是学习预测器并且是编码器和解码器的合成物
Figure BDA0002976137320000124
根据本说明书的各方面，提供了存储器单元M，诸如存储器单元118。存储器单元M118由矩阵TN×Ft(其中Ft为表示纹理特征的特征长度)和矩阵GN×Fs(其中Fs为表示形状特征的特征长度)限定。在一个示例中，存储器单元M 118被定义为：
M＝(TN×Ft，GN×Fs) (2)
响应于该查询，对于每个输入图像IK，存储器单元M118被配置为返回一组支持图像S(IK)306。该组支持图像S(IK)306的一个示例在公式(3)中提出。
S(IK)＝pt，{t＝1，2，...，T} (3)
在一个示例中，在公式(1)中，T是常数并且表示该组支持图像S(IK)306中的图像的数量。如前所指出的，该组支持图像S(Ik)306对应于目标域，并且是对应于目标域的图像的子组。在一个非限制性示例中，该组支持图像包括在约三个图像至约五个图像范围内的图像。然而，也考虑了在该组支持图像中使用其他数量的图像。
对于给定图像IK，该组支持图像S(Ik)306被计算为：
(s1，s2，...，sT)＝NNT(q(Ik)，M) (4)
其中q为对应于输入图像IK的特征，并且NNT是给定输入q(Ik)的T个最近邻。
最近邻算子NN被定义为：
A＝NN(Ik，M)＝argmaxiq(Ik)·q(Mi) (5)
存储器单元118类似于可编程存储器起作用，并且使用对应于目标域的小的一组支持图像来促进机器学习模型106对目标域的适应和连续学习。因此，当机器学习模型106随后遇到类似的情况时，向存储器单元106查询匹配。更具体地，附加存储器单元118促进检索类似于特定用例的支持图像/样本和对应注释。
此外，存储器扩增域自适应平台114被配置为用该组支持图像S(Ik)306扩增对机器学习模型106的输入。机器学习模型106使用该组支持图像S(Ik)306来提供用于预测的上下文，而不是仅使用输入图像。更具体地讲，存储器扩增域自适应平台114被配置为计算与该组支持图像S(Ik)306相对应的一组特征和/或一组掩膜308。如先前参考图2所指出的，可使用不同的方法来计算对应于该组支持图像S(Ik)308的特征/掩模308。
此外，存储器扩增域自适应平台114被配置为将与该组支持图像S(Ik)306相对应的该组特征和/或该组掩膜308作为附加输入提供给机器学习模型106以将机器学习模型106适应于目标域。更具体地讲，在机器学习模型106(例如，支持扩增神经网络)中，对机器学习模型106的预测器
Figure BDA0002976137320000142
的输入用与该组支持图像S(Ik)306相对应的一组纹理和/或形状特征和一组掩膜308来扩增。此外，机器学习模型106使用该组支持图像S(Ik)306来提供用于预测的上下文，而不是仅使用输入图像302。纹理特征和形状特征由以下限定：
纹理特征：T：IK→TFt×1 (6)
形状特征：G：Sk→TFs×1 (7)
更具体地讲，到预测器
Figure BDA0002976137320000143
的解码器的输入被改变为学习的编码输入E(IK)以及与该组支持图像S(Ik)306相对应的形状和/或纹理特征和/或掩膜308的组合。以举例的方式，存储器扩增域自适应平台114被配置为向机器学习模型106提供一个或多个机器学习特征、一个或多个硬编码特征、对应于该组支持图像S(Ik)306的掩膜308或它们的组合作为输入。
另外，机器学习模型106被配置为执行期望的任务，诸如但不限于分割任务和分类任务。因此，机器学习模型106被配置为至少基于对应于该组支持图像S(Ik)306的一组特征和/或一组掩膜308来生成修改的输出310。在一个示例中，输出310包括分割图像/掩模、二进制值或它们的组合312。另外，在一个示例中，由机器学习模型106生成的修改输出310表示为：
Figure BDA0002976137320000141
其中
Figure BDA0002976137320000151
是运算符，诸如但不限于级联、平均、求和等，并且用于组合不同的特征和/或掩膜。
由机器学习模型106生成作为输出的掩膜/图像和/或二进制值312被传送到存储器扩增域自适应平台114。另外，存储器扩增域自适应平台114被配置为促进机器学习模型106的连续学习。因此，存储器扩增域自适应平台114被配置为验证输出310的有效性(步骤314)。在步骤314处，如果验证输出310有效，则更新存储器单元118以存储输出310(步骤316)。具体地讲，在步骤316处，对应于该组支持图像S(Ik)306的一个或多个特征和/或一个或多个掩膜320被存储在存储器单元118中。可以指出的是，特征和/或掩膜320被调谐用于执行任务，诸如但不限于分类和分割。
然而，在步骤314处，如果输出310的有效性未被验证，则可以修订对应于该组支持图像S(Ik)306的一个或多个注释以生成一组经修订的支持图像(步骤318)。随后，用该组经修订的支持图像以及对应于该组经修订的支持图像的特征和/或掩膜来更新存储器单元118。存储器单元118的这种验证和更新有助于促进机器学习模型106的连续学习，从而增强机器学习模型106的域自适应能力。
在某些实施方案中，存储器扩增域自适应平台114还可被配置为更新存储器单元118以优化存储器单元M 118。以举例的方式，存储器扩增域自适应平台114可基于该组支持图像S(Ik)306的相关性来删除该组支持图像S(Ik)306中的一个或多个支持图像，以优化存储器单元M 118，同时实现成像系统100的增强性能。以举例的方式，为了跟踪支持图像306的相关性，存储器扩增域自适应平台114可被配置为监测支持图像306用于预测的次数、检查存储器单元118中的支持图像306的寿命、确定支持图像306与存储器单元118中的其他图像的相似性等。
此外，存储器扩增域自适应平台114被配置为提供或传送输出310以促进分析(步骤322)。在一个非限制性示例中，输出310可在界面单元诸如显示器120上可视化。输出310可用于提供诊断或用于进一步分析。
实现如上文所述的存储器扩增域自适应平台114有助于将机器学习模型106适配到目标域，同时避免对机器学习模型106进行重新训练的需要。此外，由于机器学习模型106使用小的一组支持图像306来适应于目标域，因此避免了需要与目标域相对应的大量数据集来重新训练机器学习模型106。此外，使用存储在存储器单元118中并由存储器扩增域自适应平台114提供的一组支持图像306来连续训练机器学习模型106，从而进一步增强机器学习模型106对目标域的适应。
现在参见图4(a)-图4(c)，呈现了对应于不同域的不同数据集402、404、406的示意图。具体地讲，这些数据集402、404、406对应于具有患有不同疾病的受试者的不同域，以模拟机器学习模型的部署场景。另外，参考图1-图3的部件来描述图4(a)-图4(c)。可以指出的是，在本示例中，数据集402、404、406包括对应于三个不同域的X射线图像。另外，对应于三个数据集402、404、406的样本诸如X射线图像在纹理、疾病病症和性别上具有变化。在图4(a)-图4(c)所描绘的示例中，表示了机器学习模型根据X射线图像执行肺分割任务的用途。应当理解，肺分割被认为是具有挑战性的任务，这是由于在不同患者中由于解剖结构、疾病等的变化引起的肺的变化。三个数据集402、404、406用于理解域中的变化对机器学习模型的性能的影响。U-Net用作基础学习模型。
图4(a)描绘了第一数据集402。在本示例中，第一数据集402是Montgomery TB数据集。Montgomery TB数据集402是开源NHS数据集，并且包括138个后-前X射线图像。在这些图像中，80个X射线图像表示正常数据，并且58个X射线图像代表具有肺结核表现的异常数据。此外，在本示例中，Montgomery TB数据集402是用于训练机器学习模型106的源数据集。
此外，图4(b)描绘了第二数据集404。第二数据集404是GE尘肺病数据集。GE尘肺病数据集404包括330个具有肺掩模注释的图像。可以指出的是，尘肺病是通常影响工厂工人的职业性肺病，并且该疾病的早期阶段可通过肺中的粉尘和其他金属沉淀检测到。在本示例中，GE尘肺病数据集404对应于第一目标域。
此外，图4(c)示出了第三数据集406。第三数据集406是日本放射技术学会(JSRT)数据集。JSRT数据集406包括具有肺结节的胸部X射线。另外，JSRT数据集406包括247个图像。在本示例中，JSRT数据集406对应于第二目标域。
此外，为了证明使用存储器扩增域自适应平台114的有效性，使用仅从MontgomeryTB数据集402获得的样本来训练机器学习模型106。一旦使用来自MontgomeryTB数据集402的样本训练了机器学习模型106，机器学习模型106就被部署在新目标域中，以使用来自对应目标域的样本来测试机器学习模型106对目标域的适应性。在一个示例中，受过训练的机器学习模型106被部署在新目标域中，并且使用对应于GE尘肺病数据集404和JSRT数据集406的样本来测试机器学习模型106的域自适应。使用Dice分数验证结果。
表1呈现了使用图(4a)-图4(c)的数据集402、404、406的各种机器学习模型的域自适应执行的比较。表1的第1列列出了比较研究中使用的技术。此外，表1的第2列对应于源数据集402(Montgomery TB数据集)。另外，表1的第3列对应于第一目标数据集404(GE尘肺病数据集)。表1的第4列对应于第二目标数据集406(JSRT数据集)。此外，表1的第1行对应于基础技术或学习模型(U-Net)在三个域402、404、406中的执行。类似地，表1的第二行对应于用于适应上文所述的机器学习模型106(SupportNet)的方法在三个域402、404、406中的执行。可以指出的是，对于表1的第2行中呈现的结果，由存储器扩增域自适应平台114提供给机器学习模型106的扩增输入仅包括对应于一组支持图像的一组特征。另外，表1的第3行对应于本方法(SupportNet)在三个域402、404、406中的执行。可以指出的是，在表1的第3行中，由存储器扩增域自适应平台114提供给机器学习模型106的扩增输入仅包括对应于一组支持图像的一组特征和/或一组掩模。
表1
Figure BDA0002976137320000171
此外，使用1的Dice分数作为度量来获得表1中呈现的结果。基于表1中呈现的结果，可以推断，在从不同队列/域获得的图像上，使用支持特征和支持掩模的扩增输入的SupportNet(参见第2行和第3行)的执行优于U-Net(参见第1行)的执行。因此，SupportNet享有比U-Net更好的通用化。
现在转到图5(a)-图5(e)，描绘了表1中呈现的用以执行期望任务的不同机器学习模型的域自适应执行的结果的比较的图解图示。在图5(a)-图5(e)中呈现的示例中，期望使用机器学习模型106来分割输入图像502中的肺区域。另外，参考图1-图4的部件来描述图5(a)-图5(e)。
图5(a)表示输入图像502，诸如图3的输入图像302。此外，图5(b)表示地面真值掩模504。在一个示例中，图像504可包括临床医生的地面真值注释。
另外，图5(c)表示使用基线技术(诸如无域自适应的U-net)生成的分割图像506。类似地，图5(d)表示仅使用对应于一组支持图像的特征由SupportNet生成的分割图像508。另外，图5(e)表示使用对应于一组支持图像的特征和掩模由SupportNet生成的分割图像510。
可以指出的是，仅使用来自对应于最近邻的该组支持图像的特征有助于具有合适特征先验的SupportNet。此外，当用来自该组支持图像的掩模扩增来自该组支持图像的特征时，机器学习模型实现了平衡形状以及为图像提供高保真度的双重目的。
用于存储器扩增域自适应的本系统和方法的实施方案有利地提出了基于连续学习的技术，以将机器学习模型适应于目标域，从而用小的一组样本递送更好的性能。此外，由本系统和方法生成的输出通过比较用于达成决策的一组类似示例来促进对预测的增强理解。此外，该系统和方法实现了机器学习模型的域自适应和连续学习，而不存在在该技术的开发阶段期间需要目标域样本的大数据集的约束。具体地讲，该系统和方法使得能够用非常小的一组样本进行域自适应。
另外，该系统和方法需要使用“元学习”技术，该“元学习”技术被设计成当被部署在新域中时能够改进机器学习模型的性能。具体地讲，存储器单元用于使用对应于目标域的小的一组样本来促进机器学习模型对目标域的适应和连续学习。因此，当机器学习模型随后遇到类似的情况时，向存储器单元查询匹配。更具体地，附加存储器单元促进检索类似于特定用例的样本和对应注释。此外，可以修订与存储在存储器单元中的所检索的样本相对应的注释，从而提供对机器学习模型的后续预测的增强控制。
可以指出的是，可由本系统的某些部件(例如，由处理子系统112和特别是存储器扩增域自适应平台114)执行的上述示例、示范和处理步骤可通过基于处理器的系统上的适当代码来实现。例如，基于处理器的系统可包括通用计算机或专用计算机。还可以指出的是，本说明书的不同实施方式可以不同的顺序或基本上同时执行本文所述的一些或所有步骤。
另外，这些功能可用各种编程语言实现，包括但不限于Ruby、超文本预处理器(PHP)、Perl、Delphi、Python、C、C++或Java。此类代码可存储或适于存储在一个或多个有形机器可读介质上，诸如数据储存库芯片、本地或远程硬盘、光盘(即CD或DVD)、固态驱动器或者可由基于处理器的系统访问以执行所存储的代码的其他介质。
尽管本说明书的实施方案的具体特征可在一些附图中而不是在其他附图示出和/或参考一些附图而不是在其他附图中进行描述，但这仅是为了方便。应当理解，在各种实施方案中，所描述的特征、结构和/或特性可以以任何合适的方式组合和/或互换使用。
虽然本文仅示出和描述本公开的某些特征，但本领域技术人员将会想到许多修改和改变。因此，应当理解的是，所附权利要求书旨在涵盖落入本发明的真正实质内的所有此类修改和变化。

Claims (20)

1.一种系统，包括：
采集子系统，所述采集子系统被配置为获得对应于目标域的图像；
处理子系统，所述处理子系统与所述采集子系统可操作地相关联并且包括存储器扩增域自适应平台，其中所述存储器扩增域自适应平台被配置为：
计算对应于输入图像的一个或多个特征，其中所述输入图像对应于目标域；
基于对应于所述输入图像的所述一个或多个特征来识别一组支持图像，其中所述组支持图像对应于所述目标域；
用对应于所述组支持图像的一组特征、一组掩膜、或所述组特征和所述组掩膜两者来扩增对机器学习模型的输入以使所述机器学习模型适应于所述目标域；
至少基于对应于所述组支持图像的所述组特征、所述组掩膜、或所述组特征和所述组掩膜两者来生成输出；和
界面单元，所述界面单元被配置为呈现所述输出以供分析。
2.根据权利要求1所述的系统，其中所述机器学习模型被配置为至少执行所述输入图像的分类、分割、或分类和分割两者。
3.根据权利要求1所述的系统，其中对应于所述输入图像的所述一个或多个特征和对应于所述组支持图像的所述组特征包括形状特征、纹理特征、或形状特征和纹理特征两者。
4.根据权利要求1所述的系统，其中所述存储器扩增域自适应平台被配置为存储对应于所述组支持图像的一个或多个特征、一个或多个掩膜、或者所述一个或多个特征和所述一个或多个掩膜两者，并且其中所述一个或多个特征、所述一个或多个掩膜、或者所述一个或多个特征和所述一个或多个掩膜两者被调谐以用于在存储器单元中执行分类、分割或分类和分割两者。
5.根据权利要求1所述的系统，其中为了识别所述组支持图像，所述存储器扩增域自适应平台被配置为查询存储器单元以基于对应于所述输入图像的所述一个或多个特征来确定所述组支持图像。
6.根据权利要求1所述的系统，其中为了扩增对所述机器学习模型的所述输入，所述存储器扩增域自适应平台被配置为向所述机器学习模型提供一个或多个机器学习特征、一个或多个硬编码特征、对应于所述组支持图像的一个或多个掩膜、或它们的组合作为输入。
7.根据权利要求1所述的系统，其中为了生成所述输出，所述存储器扩增域自适应平台被配置为生成掩膜，生成二进制值，或它们的组合。
8.根据权利要求1所述的系统，其中所述存储器扩增域自适应平台被进一步配置为：
验证所述输出的有效性；
基于所述输出的所述有效性修订对应于所述组支持图像的一个或多个注释以生成一组经修订的支持图像；以及
通过存储所述组经修订的支持图像和对应于所述组经修订的图像的特征来更新所述存储器单元。
9.根据权利要求1所述的系统，所述存储器扩增域自适应平台被进一步配置为使所述机器学习模型适应于所述目标域，而无需重新训练所述机器学习模型。
10.一种用于适应机器学习模型的处理系统，包括：
存储器扩增域自适应平台，所述存储器扩增域自适应平台被配置为：
计算对应于输入图像的一个或多个特征，其中所述输入图像对应于目标域；
基于对应于所述输入图像的所述一个或多个特征来识别一组支持图像，其中所述组支持图像对应于所述目标域；
用对应于所述组支持图像的一组特征、一组掩膜、或所述组特征和所述组掩膜两者来扩增对所述机器学习模型的输入以使所述机器学习模型适应于所述目标域；
至少基于对应于所述组支持图像的所述组特征、所述组掩膜、或所述组特征和所述组掩膜两者来生成输出；以及
提供所述输出以促进分析。
11.一种用于适应机器学习模型的方法，所述方法包括：
接收输入图像，其中所述输入图像对应于目标域；
计算对应于所述输入图像的一个或多个特征；
基于对应于所述输入图像的所述一个或多个特征来识别一组支持图像，其中所述组支持图像对应于所述目标域；
用对应于所述组支持图像的一组特征、一组掩膜、或所述组特征和所述组掩膜两者来扩增对所述机器学习模型的输入以使所述机器学习模型适应于所述目标域；
至少基于对应于所述组支持图像的所述组特征、所述组掩膜、或所述组特征和所述组掩膜两者来生成输出；以及
提供所述输出以促进分析。
12.根据权利要求11所述的方法，还包括存储对应于所述组支持图像、所述输出或它们的组合的一个或多个特征和一个或多个掩膜，其中所述一个或多个特征、所述一个或多个掩膜、或者所述一个或多个特征和所述一个或多个掩膜两者被调谐以用于在存储器单元中执行分类、分割或分类和分割两者。
13.根据权利要求11所述的方法，其中识别所述组支持图像包括查询存储器单元以至少基于对应于所述输入图像的所述一个或多个特征来确定所述组支持图像。
14.根据权利要求1所述的方法，其中扩增对所述机器学习模型的所述输入包括：
计算对应于所述组支持图像的所述一个或多个机器学习特征、所述一个或多个硬编码特征、或者所述一个或多个机器学习特征和所述一个或多个硬编码特征两者；以及
向所述机器学习模型提供对应于所述组支持图像的一个或多个机器学习特征、对应于所述组支持图像的一个或多个硬编码特征、对应于所述组支持图像的一个或多个掩膜、或它们的组合作为输入。
15.根据权利要求11所述的方法，其中生成所述输出包括生成掩膜、生成二进制值，或它们的组合。
16.根据权利要求11所述的方法，还包括：
验证所述输出的有效性；
基于所述输出的所述有效性修订对应于所述组支持图像的一个或多个注释以生成一组经修订的支持图像；以及
通过存储所述组经修订的支持图像，对应于所述组经修订的图像的特征和掩膜或它们的组合来更新所述存储器单元。
17.根据权利要求16所述的方法，还包括通过基于所述组支持图像的相关性删除所述组支持图像中的一者或多者来更新所述存储器单元。
18.根据权利要求11所述的方法，其中所述组支持图像包括对应于所述目标域的图像子组。
19.根据权利要求11所述的方法，还包括使所述机器学习模型适应于所述目标域，而无需重新训练所述机器学习模型。
20.根据权利要求11所述的方法，其中提供所述输出包括在界面单元上呈现所述输出。
CN201980060218.7A 2018-10-16 2019-10-09 用于存储器扩增域自适应的系统和方法 Pending CN112714914A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/161,061 2018-10-16
US16/161,061 US11651584B2 (en) 2018-10-16 2018-10-16 System and method for memory augmented domain adaptation
PCT/US2019/055295 WO2020081308A1 (en) 2018-10-16 2019-10-09 System and method for memory augmented domain adaptation

Publications (1)

Publication Number Publication Date
CN112714914A true CN112714914A (zh) 2021-04-27

Family

ID=68343530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060218.7A Pending CN112714914A (zh) 2018-10-16 2019-10-09 用于存储器扩增域自适应的系统和方法

Country Status (3)

Country Link
US (1) US11651584B2 (zh)
CN (1) CN112714914A (zh)
WO (1) WO2020081308A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210051045A (ko) * 2019-10-29 2021-05-10 삼성에스디에스 주식회사 도메인 정보 삽입 방법 및 이를 이용한 생성 모델 학습 방법 및 장치
US11238275B2 (en) * 2019-11-08 2022-02-01 Dst Technologies, Inc. Computer vision image feature identification via multi-label few-shot model
CN111476777B (zh) * 2020-04-07 2023-08-22 上海联影智能医疗科技有限公司 胸片图像处理方法、系统、可读存储介质和设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609485A (zh) * 2009-07-24 2009-12-23 西安电子科技大学 基于迁移核匹配追踪的医学影像诊断系统及诊断方法
US8891858B1 (en) * 2011-09-30 2014-11-18 Google Inc. Refining image relevance models
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
US20160210749A1 (en) * 2015-01-21 2016-07-21 Siemens Aktiengesellschaft Method and system for cross-domain synthesis of medical images using contextual deep network
US20170286805A1 (en) * 2016-04-04 2017-10-05 Google Inc. Systems and Methods for Identifying Entities Directly from Imagery
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
WO2018109505A1 (en) * 2016-12-15 2018-06-21 Google Llc Transforming source domain images into target domain images
CN108256547A (zh) * 2016-12-29 2018-07-06 伊莱比特汽车有限责任公司 生成用于基于机器学习的对象识别系统的训练图像
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430430B1 (en) 1999-04-29 2002-08-06 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
WO2011034502A1 (en) * 2009-09-16 2011-03-24 Nanyang Technological University Textual query based multimedia retrieval system
US8992405B2 (en) 2012-04-09 2015-03-31 Wisconsin Alumni Research Foundation High-speed tumor segmentation system
WO2015054666A1 (en) 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US20160078359A1 (en) 2014-09-12 2016-03-17 Xerox Corporation System for domain adaptation with a domain-specific class means classifier
US9633282B2 (en) 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US20170249739A1 (en) 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US10685172B2 (en) * 2018-05-24 2020-06-16 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609485A (zh) * 2009-07-24 2009-12-23 西安电子科技大学 基于迁移核匹配追踪的医学影像诊断系统及诊断方法
US8891858B1 (en) * 2011-09-30 2014-11-18 Google Inc. Refining image relevance models
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
US20160210749A1 (en) * 2015-01-21 2016-07-21 Siemens Aktiengesellschaft Method and system for cross-domain synthesis of medical images using contextual deep network
US20170286805A1 (en) * 2016-04-04 2017-10-05 Google Inc. Systems and Methods for Identifying Entities Directly from Imagery
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
WO2018109505A1 (en) * 2016-12-15 2018-06-21 Google Llc Transforming source domain images into target domain images
CN108256547A (zh) * 2016-12-29 2018-07-06 伊莱比特汽车有限责任公司 生成用于基于机器学习的对象识别系统的训练图像
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEN-HSUAN CHU，ETC: "Learning Semantics-Guided Visual Attention for Few-Shot Image Classification", IEEE, 10 October 2018 (2018-10-10) *
唐宋;陈利娟;陈志贤;叶茂;: "基于目标域局部近邻几何信息的域自适应图像分类方法", 计算机应用, no. 04, 10 April 2017 (2017-04-10) *

Also Published As

Publication number Publication date
US11651584B2 (en) 2023-05-16
WO2020081308A1 (en) 2020-04-23
US20200118043A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
Choe et al. Content-based image retrieval by using deep learning for interstitial lung disease diagnosis with chest CT
US11176188B2 (en) Visualization framework based on document representation learning
US11308608B2 (en) Apparatus and method for medical diagnostic
US10489907B2 (en) Artifact identification and/or correction for medical imaging
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US20170372155A1 (en) Image Quality Score Using A Deep Generative Machine-Learning Model
US11621075B2 (en) Systems, methods, and apparatus for diagnostic inferencing with a multimodal deep memory network
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
US11978557B2 (en) Diagnosis support system and method
CN112714914A (zh) 用于存储器扩增域自适应的系统和方法
Gillmann et al. Uncertainty‐aware Visualization in Medical Imaging‐A Survey
CN109102490A (zh) 自动图像注册质量评估
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10726948B2 (en) Medical imaging device- and display-invariant segmentation and measurement
EP4327273A1 (en) Implicit registration for improving synthesized full-contrast image prediction tool
Wali et al. StynMedGAN: Medical images augmentation using a new GAN model for improved diagnosis of diseases
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
Alskaf et al. Deep learning applications in myocardial perfusion imaging, a systematic review and meta-analysis
Su et al. Deep learning for myocardial ischemia auxiliary diagnosis using CZT SPECT myocardial perfusion imaging
Anwar AIM and explainable methods in medical imaging and diagnostics
Negi et al. Automated Medical Analysis for Pneumonia Diagnosis
US11501442B2 (en) Comparison of a region of interest along a time series of images
US20230094690A1 (en) Incorporating clinical and economic objectives for medical ai deployment in clinical decision making
Li et al. MIS-Net: A deep learning-based multi-class segmentation model for CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination