CN114972729A - 用于医学图像分析的标注高效学习的方法和系统 - Google Patents

用于医学图像分析的标注高效学习的方法和系统 Download PDF

Info

Publication number
CN114972729A
CN114972729A CN202210252962.0A CN202210252962A CN114972729A CN 114972729 A CN114972729 A CN 114972729A CN 202210252962 A CN202210252962 A CN 202210252962A CN 114972729 A CN114972729 A CN 114972729A
Authority
CN
China
Prior art keywords
image
error
images
learning model
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210252962.0A
Other languages
English (en)
Inventor
白军杰
尹游兵
方正涵
郭新宇
王立伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN114972729A publication Critical patent/CN114972729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例提供了用于医学图像分析的标注高效学习的方法和系统。所述系统接收由图像获取装置获取的医学图像。所述系统还可以额外地包括至少一个处理器，所述处理器配置为应用所述学习模型以对所述医学图像执行图像分析任务。所述学习模型与误差估计器使用包括第一已标记图像集和第二未标记图像集的训练图像共同地训练。所述误差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联的误差。

Description

用于医学图像分析的标注高效学习的方法和系统
相关申请的交叉引用
本申请要求于2021年3月16日提交的美国临时申请第63/161,781号的 优先权，其全部内容通过引用并入本文。
技术领域
本公开涉及用于分析医学图像的系统和方法，并且更具体地，涉及用于 使用误差估计器训练图像分析学习模型的系统和方法，以用于由于在训练图 像中缺乏标记而提高学习模型的性能。
背景技术
机器学习技术已经在医学图像分析中显示出了良好的性能。例如，机器 学习模型用于从医学图像中分割或分类医学图像，或检测对象，如肿瘤。然 而，为了获得准确的机器学习模型，即预测误差低的模型，训练处理通常需 要大量带标注的数据(如已标记图像)进行训练。
获得用于训练的标注费时且费力，尤其是对于医学图像。例如，在三维 (3D)医学图像分割问题中，需要获得体素级别的标注，这非常耗时，尤其 是对于诸如薄层CT的高维高分辨率的体积医学图像。此外，分割目标的边 界通常不规则且模糊，这使得即使对于经验丰富的放射科医师来说，详细的 体素级描绘也具有挑战性。例如，诸如肺部的肺炎病变的病变区域具有不规 则和模糊的边界。因此，存在对具有低标注成本的用于医学图像分析的学习 框架的尚未得到满足的需求。
本公开的实施例通过提供用于使用对已标记训练图像进行扩充的误差估 计器来训练图像分析学习模型的方法和系统解决了上述问题，从而提高了学 习模型的性能。
发明内容
公开了用于训练利用误差估计器分析医学图像的学习模型并将训练的模 型应用于图像分析的新的系统和方法。
在一个方案中，本公开的实施例提供了一种用于使用学习模型来分析医 学图像的系统。所述系统可以包括通信接口，其配置为接收由图像获取装置 获取的医学图像。所述系统可以额外地包括至少一个处理器，其配置为应用 所述学习模型来对所述医学图像执行图像分析任务。所述学习模型与误差估 计器使用包括第一已标记图像集和第二未标记图像集的训练图像共同地训练。 所述误差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联 的误差。
另一方面，本公开的实施例还提供了一种用于使用学习模型分析医学图 像的计算机实现的方法。所述方法可以包括通过通信接口接收由图像获取装 置获取的医学图像。所述方法还可以包括通过至少一个处理器应用所述学习 模型以对所述医学图像执行图像分析任务。所述学习模型与误差估计器使用 包括第一已标记图像集和第二未标记图像集的训练图像共同地训练。所述误 差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联的误差。
在又一方面，本公开的实施例进一步提供了一种非临时性计算机可读介 质，其上存储有计算机程序。当由至少一个处理器执行时，所述计算机程序 执行一种使用学习模型分析医学图像的方法。所述方法可以包括接收由图像 获取装置获取的医学图像。所述方法还可以包括应用所述学习模型对所述医 学图像执行图像分析任务。所述学习模型与误差估计器使用包括第一已标记 图像集和第二未标记图像集的训练图像共同地训练。所述误差估计器配置为 估计所述学习模型的与执行所述图像分析任务相关联的误差。
在一些实施例中，所述学习模型和所述误差估计器可以通过以下方式训 练：使用所述第一已标记图像集训练所述学习模型的初始版本和误差估计器； 将所述误差估计器应用于所述第二未标记图像集以确定与所述未标记图像相 关联的相应误差；基于所述相应误差从所述第二未标记图像集中确定第三已 标记图像集；以及利用所述第一已标记图像集和所述第三已标记图像集组合 来训练所述学习模型的更新版本。
在一些实施例中，所述图像分析任务是图像分割任务，并且学习模型配 置为预测分割掩模。所述误差估计器相应地配置为估计所述分割掩模的误差 映射。
在一些实施例中，所述图像分析任务是图像分类任务，所述学习模型配 置为预测分类标签。所述误差估计器相应地配置为估计由所述学习模型预测 的分类标签与包括在标记图像中的地面真值标签之间的分类误差。
在一些实施例中，所述图像分析任务是对象检测任务，所述学习模型配 置为从所述医学图像中检测对象，例如，通过预测包围所述对象的边界框和 所述对象的分类标签。所述误差估计器相应地配置为估计所述预测的边界框 与包括在已标记图像中的地面真值边界框之间的定位误差，或者由所述学习 模型预测的所述分类标签与包括在所述已标记图像中的地面真值标签之间的 分类误差。
应该理解的是，前面的一般性描述和下面的详细描述仅仅是示例性和解 释性的，并不是对要求保护的本公开的限制。
附图说明
图1图示了肺区域的三个示例性分割图像。
图2图示了根据本公开的某些实施例的示例性图像分析系统的示意图。
图3图示了根据本公开的某些实施例的模型训练装置的示意图。
图4A图示了根据本公开的某些实施例的由模型训练装置执行以使用已 标记图像来训练主模型和误差估计器的工作流程的示意性概览。
图4B图示了根据本公开的某些实施例的由模型训练装置执行以通过在 未标记图像上部署主模型和误差估计器来增强训练数据的另一工作流程的示 意性概览。
图5图示了根据本公开的某些实施例的由模型训练装置执行的训练工作 流程的示意性概览。
图6是根据本公开的某些实施例的使用已标记和未标记的训练数据训练 用于执行图像分析任务的主模型以及误差估计器的示例方法的流程图。
图7A图示了根据本公开的某些实施例的由模型训练装置执行以使用已 标记图像训练图像分类模型和误差估计器的工作流程的示意性概览。
图7B图示了根据本公开的某些实施例的由模型训练装置执行以通过在 未标记的图像上部署图像分类模型和误差估计器来扩充训练数据的另一工作 流程的示意性概览。
图8是根据本公开的某些实施例的用于使用已标记和未标记的训练数据 训练用于执行图像分类任务的图像分类模型以及误差估计器的示例方法的流 程图。
图9A图示了根据本公开的某些实施例的由模型训练装置执行以使用已 标记图像训练对象检测模型和误差估计器的工作流程的示意性概览。
图9B图示了根据本公开的某些实施例的由模型训练装置执行以通过在 未标记的图像上部署对象检测模型和误差估计器来扩充训练数据的另一工作 流程的示意图概览。
图10是根据本公开的某些实施例的用于使用已标记和未标记的训练数据 训练用于执行对象检测任务的对象检测模型以及误差估计器的示例方法流程 图。
图11A图示了根据本公开的某些实施例的由模型训练装置执行以使用已 标记图像训练图像分割模型和误差估计器的工作流程的示意性概览。
图11B图示了根据本公开的某些实施例的由模型训练装置执行以通过在 未标记的图像上部署图像分割模型和误差估计器来扩充训练数据的另一工作 流程的示意图。
图12是根据本公开的某些实施例的用于使用已标记和未标记的训练数据 训练用于执行图像分割任务的图像分割模型以及误差估计器的示例方法的流 程图。
图13是根据本公开的某些实施例的用于使用利用误差估计器训练过的学 习模型对医学图像执行图像任务的示例方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。
本公开提供了一种用于分析由图像获取装置获取的医学图像的图像分析 系统和方法。所述图像分析系统和方法使用新的误差估计模型以低标注成本 改进了学习模型的训练。所述误差估计模型自动预测当前学习模型在未标记 样本上的输出中的误差，并通过将具有低预测误差的未标记样本添加到训练 数据集中并请求对具有高预测误差的未标记样本的标注来指导学习模型以改 进训练。
在一些实施例中，用于训练学习模型的训练图像包括第一已标记图像集 和第二未标记图像集。所述系统和方法首先使用所述第一已标记图像集训练 所述学习模型和误差估计器。训练所述学习模型以执行图像分析任务，训练 所述误差估计器以估计所述学习模型的与执行所述图像分析任务相关联的误 差。然后，将所述误差估计器应用于第二未标记图像集以确定与未标记图像 相关联的相应误差，并基于所述相应误差从所述第二未标记图像集中确定第 三已标记图像集。然后使用所述第一已标记图像集与所述第三已标记图像集 组合来训练更新的学习模型。
本公开的误差估计模型旨在预测主模型的输出与基本地面真值之间的差 异，即主模型预测的误差。它学习主模型的误差模式，并预测甚至看不见的 未标记数据的可能误差。使用所述误差估计模型，所公开的系统和方法因此 能够从主学习模型中选择具有可能的低预测误差的未标记样本以添加到训练 数据集并扩充训练数据，从而改进训练并导致提高所述学习模型的性能和泛 化能力。在一些实施例中，它们还能够选择具有可能的高预测误差的所述未 标记样本来请求人工标注，从而为主学习模型提供最多的信息标注。这导致 最大限度地利用了有限的人工标注资源。当所述标注任务密集时(例如分割 模型的体素标注)，可以将图像分割成更小的块或感兴趣区域(ROI)以进行 稀疏标记。
此外，所公开的方案允许要经过训练的独立的误差估计器来学习任意主 模型的复杂误差模式。与某些特定主模型的有限内置误差估计功能(其仅在 严格的假设下捕获特定类型的误差)相比，本公开的方案允许更大的灵活性 和更彻底的误差估计。
所公开的系统和方法能够应用于任何图像模态(例如包括CT、X射线、 MRI、PET、超声和其他)上的任何医学图像分析任务(例如包括分类、检 测、分割等)。以分割任务为例，获取用于训练目的的体素级别的标注非常耗 时。例如，图1示出了从3D胸部CT图像中提取的肺部区域的三个示例性图 像。图1中所示的每个2D图像包含肺部区域的已标注的感兴趣区域(ROI)。 这些图像中显示的肺部区域通过阳性RT-PCR测试确认感染了COVID-19。 可以看出，肺炎区域的边界是不规则且模糊的，这使得即使对于有经验的放 射科医师来说，详细的体素级别描绘也具有挑战性。因此，需要一种改进的 训练系统和方法，以用于以低标注成本训练医学图像分析的学习模型。
虽然图1示出了来自3D胸部CT扫描的医学图像，但是在一些实施例中， 所公开的图像分析系统还可以对使用其他合适的成像模式获取的图像执行图 像分析，包括例如磁共振成像(MRI)、功能性MRI(例如fMRI、DCE-MRI 和扩散MRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描 (SPECT)、X射线、光学相干断层扫描(OCT)、荧光成像、超声成像、放 疗门户成像等。本公开不限于任何特定类型的图像。
图2示出了根据本公开的一些实施例的示例性图像分析系统200。如图2 所示，图像分析系统200可以包括用于执行两个阶段(训练阶段和预测阶段) 的部件。预测阶段也可以称为推理阶段。为了执行所述训练阶段，图像分析 系统200可以包括训练数据库201和模型训练装置202。为了执行所述预测 阶段，图像分析系统200可以包括图像分析装置203和医学图像数据库204。 在一些实施例中，如图2所示，图像分析系统200可以包括更多或更少的部 件。
与本公开相符的，图像分析系统200可以配置为分析由图像获取装置205 获取的生物医学图像并且基于图像分析执行诊断预测。在一些实施例中，图 像获取装置205可以是获取2D或3D CT图像的CT扫描仪。例如，图像获 取装置205可以是用于体积CT扫描的3D锥形CT扫描仪。在一些实施例中， 图像获取装置205可以使用一种或多种其他成像模式，包括例如磁共振成像 (MRI)、功能性MRI(例如fMRI、DCE-MRI和扩散MRI)、正电子发射断 层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学相 干断层扫描(OCT)、荧光成像、超声成像、放疗门户成像等。
在一些实施例中，图像获取装置205可以拍摄包含至少一个解剖结构或 器官的医学图像，例如肺或胸腔。例如，每次体积CT检查可以包含51～1094 个CT切片，切片厚度从0.5mm到3mm不等。重建矩阵可具有512×512个 像素，面内像素空间分辨率为0.29×0.29mm2到0.98×0.98mm2。
在一些实施例中，获取的图像可以被发送到用于对图像的至少一个子集 进行标注的标注站301。在一些实施例中，标注站301可以由用户操作以提 供人工标注。例如，用户可以使用标注站301的键盘、鼠标或其他输入接口 对图像进行标注，例如在图像中绘制对象的边界线，或者识别对象是什么解 剖结构。在一些实施例中，标注站301可以执行自动或半自动标注程序来标 记图像。已标记图像可以作为提供给模型训练装置202的训练数据的一部分 被包括在内。
图像分析系统200可以可选地包括网络206以促进图像分析系统200的 各种部件(例如数据库201和204，装置202、203和205)之间的通信。例 如，网络206可以是局域网(LAN)、无线网络、云计算环境(例如软件即 服务、平台即服务、基础设施即服务)、客户端服务器、广域网(WAN)等。 在一些实施例中，网络206可以由有线数据通信系统或装置代替。
在一些实施例中，图像分析系统200的各种部件可以彼此远程或处于不 同位置，并通过图2中所示的网络206来连接。在一些替代实施例中，图像 分析系统200的某些部件可以位于同一站点上或一个装置内。例如，训练数 据库201可以位于模型训练装置202处或作为其一部分。作为另一个示例， 模型训练装置202和图像分析装置203可以在相同的计算机或处理装置内。
模型训练装置202可以使用从训练数据库201接收的训练数据来训练学 习模型(也称为主学习模型)，以用于对从例如医学图像数据库204接收的医 学图像执行图像分析任务。如图2所示，模型训练装置202可以与训练数据 库201通信以接收一组以上的训练数据。在一些实施例中，训练数据可以包 括第一已标记数据子集，例如已标记图像，以及第二未标记数据子集，例如 未标记图像。“已标记数据”是训练数据，所述训练数据包括通过人工标注和 /或自动标注程序获得的地面真值结果。例如，对于图像分割任务，已标记数 据包括成对的原始图像和这些图像的对应的地面真值分割掩模。作为另一个 示例，对于图像分类任务，已标记数据包括成对的原始图像和这些图像的对 应的地面真值类别标签。另一方面，“未标记数据”是不包括地面真值结果的 训练数据。在整个公开中，已标记数据/图像也可以称为已标注数据/图像， 并且未标记数据/图像也可以称为未标注数据/图像。
与本公开一致的，误差估计模型(也称为误差估计器)与主学习模型一 起使用已标记数据进行训练，以学习主模型的误差模式。然后，部署经过训 练的误差估计模型来预测未标记数据的可能误差。基于此误差预测，可以使 用主学习模型对具有可能的低预测误差的未标记数据进行标注，然后将其添 加到已标记数据中以扩充训练数据。另一方面，具有可能的高预测误差的未 标记数据可以被发送以进行人工标注，并且手动标记的数据也可以添加到训 练数据中。然后能够使用扩充的训练数据训练主学习模型，从而提高所述学习模型的性能和泛化能力。
在一些实施例中，训练阶段可以“在线”或“离线”进行。“在线”训练 是指同时执行训练阶段和预测阶段，例如，在分析医学图像之前实时学习模 型。“在线”训练可以具有基于当时可用的训练数据获得最新的学习模型的益 处。然而，如果训练数据很大和/或模型很复杂，则“在线”训练执行起来可 能计算成本很高并且可能并不总是可行的。与本公开一致，使用了“离线” 训练，其中，训练阶段与预测阶段分开执行。经过离线训练的学习后的模型 被保存并重新用于分析图像。
模型训练装置202可以用由执行训练处理的软件特别编程的硬件来实 现。例如，模型训练装置202可以包括处理器和非暂时性计算机可读介质。 所述处理器可以通过执行存储在计算机可读介质中的训练处理的指令来进 行训练。模型训练装置202可以另外包括输入和输出接口，以与训练数据 库201、网络206和/或用户接口(未示出)通信。用户接口可以用于选择 多组训练数据，调整训练处理的一个或多个参数、选择或修改学习模型的 框架，和/或手动或半自动地提供与用于训练的图像相关联的预测结果。
图像分析装置203可以与医学图像数据库204通信以接收医学图像。 所述医学图像可以由图像获取装置205获取。图像分析装置203可以使用 来自模型训练装置202的所述训练后的主学习模型对医学图像自动执行图 像分析任务(例如分割、分类、对象检测等)。图像分析装置203可以包括 处理器和非暂时性计算机可读介质。所述处理器可以执行存储在介质中的 医学图像诊断分析程序的指令。图像分析装置203可以另外包括输入和输 出接口以与医学图像数据库204、网络206和/或用户接口(未示出)通信。 所述用户接口可用于选择用于分析的医学图像、启动分析处理、显示诊断 结果。
本公开中提到的系统和方法可以使用计算机系统来实现，例如图3中所 示。尽管图3示出了模型训练装置202内部的详细部件，但可以预期，图像 分析设装置203可以包括类似的部件，并且以下关于模型训练装置203的部 件的描述也适用于图像分析装置203的部件，无论是否进行适配。
在一些实施例中，模型训练装置202可以是专用装置或通用装置。例如， 模型训练装置202可以是为医院定制的计算机，以用于训练处理图像数据的 学习模型。模型训练装置202可以包括一个以上的处理器308和一个以上的 存储装置304。所述处理器308和所述存储装置304可以以集中或分布式的 方式配置。模型训练装置202还可以包括医学图像数据库(可选地存储在存 储装置304或远程存储器中)、输入/输出装置(未示出，但可以包括触摸屏、 键盘、鼠标、扬声器/麦克风等)、诸如通信接口302的网络接口、显示器(未 示出，但可以是阴极射线管(CRT)或液晶显示器(LCD)等)，以及其他附 件或外围装置。模型训练装置202的各种元件可以通过总线310连接，总线 310可以是计算装置中或计算装置之间的物理和/或逻辑总线。
处理器308可以是包括一个以上的通用处理装置(例诸如微处理器、中 央处理单元(CPU)、图形处理单元(GPU)等)的处理装置。更具体地说， 所述处理器308可以是复杂指令集计算(CISC)微处理器、精简指令集计算 (RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处 理器或运行指令集的组合的处理器。所述处理器308也可以是一个以上的专 用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数 字信号处理器(DSP)、片上系统(SoC)等。
所述处理器308可以通信地耦合到存储装置304并且配置为执行存储在 其中的计算机可执行指令。例如，如图3所示，尽管逻辑或物理星形或环形 拓扑可以是其他可接受的通信拓扑的示例，但是可以使用总线310。存储装 置304可以包括只读存储器(ROM)，闪存，随机存取存储器(RAM)，静 态存储器，易失性或非易失性、磁性半导体，磁带，光学、可移动、不可移 动或其他类型的存储装置或有形(例如非暂时性)计算机可读介质。在一些 实施例中，存储装置304可以存储一个以上的处理程序的计算机可执行指令 以及在执行计算机程序时生成的数据。所述处理器可以执行处理程序以实现 下述方法的每个步骤。所述处理器还可以向/从存储装置发送/接收图像数据。
模型训练装置202还可以包括图3中未示出的一个以上的数字和/或模拟 通信(输入/输出)装置。例如，所述输入/输出装置可以包括允许用户提供 输入的键盘和鼠标或轨迹球。模型训练装置202可以进一步包括网络接口(图 示为通信接口302)，例如网络适配器、电缆连接器、串行连接器、USB连接 器、并行连接器、诸如光纤的高速数据传输适配器、USB 3.0、闪电、诸如 WiFi适配器的无线网络适配器或电信(3G、4G/LTE等)适配器等。模型训 练装置202还可以通过网络接口连接到网络。如上所述，模型训练装置202 可以进一步包括显示器。在一些实施例中，所述显示器可以是适合显示医学 图像及其分割结果的任何显示装置。例如，图像显示器可以是LCD、CRT或 LED显示器。
如上参照图2所述的，模型训练装置202可以连接到图像分析装置203 和图像获取装置205。在一些实施例中，模型训练装置202可以实施各种工 作流程来训练所述学习模型以供图像分析装置203使用以执行预定图像分析 任务，例如图4A-图4B、图5、图7A-图7B、图9A-图9B和图11A-图11B。
图4A图示了根据本公开的某些实施例的由所述模型训练装置执行以使 用已标记图像训练主模型和误差估计器的工作流程400的示意性概览。在工 作流程400中，已标记图像用作训练样本以训练主模型404和单独的误差估 计器406。每个已标记图像可以包括原始图像402和对应的地面真值结果410。 原始图像402可以是使用诸如CT、X射线、MRI、超声、PET的任何成像模 式获取的医学图像。例如，原始图像402可以是由图像获取装置205获取的 医学图像。在一些实施例中，原始图像402可以在由图像获取装置205获取 之后被预处理以提高图像质量(例如降低噪声等)。根据图像分析任务，地面 真值结果410可以是原始图像402的标注。例如，对于分类任务，地面真值 结果410可以是指示输入图像属于哪个类别的二元或多类别标签。作为另一 个示例，对于对象检测任务，地面真值结果410可以包括检测到的对象的边 界框的坐标，以及每个对象的类别标签。作为又一个示例，对于分割任务， 地面真值结果410能够是与输入图像具有相同大小的图像分割掩模，指示输 入图像中每个像素的类别。所述标注可以由人(例如医师或图像分析操作员) 或由自动化处理执行。
原始图像402被输入到主模型404中。主模型404是配置为执行所述主 要的医学图像分析任务(例如分类、对象检测或分割)的学习模型。主模型 404输出主模型结果408，并且输出的类型取决于所述图像分析任务，类似于 上面针对地面真值结果410所描述的。例如，对于分类任务，主模型结果408 可以是类别标签；对于对象检测任务，主模型结果408可以是检测到的对象 的边界框坐标，以及每个对象的类别标签；对于分割任务，主模型结果408 能够是图像分割掩模。在一些实施例中，所述主模型可以通过ResNet、U-Net、 V-Net或其他合适的学习模型来实现。
误差估计器可以是另一种学习模型，其配置成基于输入图像和主模型的 所述中间结果(例如所提取的特征映射)预测所述主模型输出的误差。在一 些实施例中，误差估计器406可以接收原始图像402作为输入。在一些实施 例中，误差估计器406可以另外或替代地从主模型404接收某些中间结果， 例如特征映射。误差估计器输出主模型412的估计误差。在训练期间，误差 估计器406由主模型404的误差来训练，该误差即所述主模型结果408与已 标记数据的地面真值结果410之间的差异。
在一些实施例中，所述误差估计器的训练和推理被嵌入作为主模型训练 的一部分。例如，在工作流程400中，主模型404和误差估计器406的训练 可以按序执行或同时执行。例如，每个训练样本可用于训练主模型404，同 时使用主模型404预测的所述主模型结果408与训练样本中的地面真值结果 410之间的差异被用于训练和更新误差估计器。作为另一示例，可以首先使 用训练数据中的所有训练样本来训练主模型404，并且所述主模型结果408 和所述训练样本中的所述地面真值结果410之间的差异可以被收集用于训练 误差估计器406。
图4B图示了根据本公开的某些实施例的由所述模型训练装置执行以通 过在未标记图像上部署所述主模型和误所述差估计器来扩充训练数据的另一 个工作流程450的示意性概览。在工作流程450中，用工作流程400训练的 误差估计器406被应用于未标记的训练数据，例如未标记图像414，以预测 由主模型404产生的误差。如图所示，未标记图像414以及当主模型404应 用于相同的未标记图像414时来自主模型404的可选的某些中间结果(例如 特征映射)可以被输入到误差估计器406。误差估计器使用所述输入来预测 主模型404的误差。如果所述预测误差低，例如小于预定阈值，则将未标记 图像414与由主模型404产生的所述主模型结果一起添加到训练数据416。 否则，如果预测误差高，例如，高于预定阈值时，则可以请求人工标注418， 并且可以将已标注图像添加到训练数据416。
在一些实施例中，为了确保误差估计器406在良好状态下执行并有利于 所述主模型404的训练，可选的独立的已标记验证集可用于验证误差估计器 406的性能。在一些实施例中，可以从所述已标记的训练数据中选择独立的 已标记验证集并留出用于验证目的。为了保持其“独立性”，所述验证集将不 会用作所述已标记数据的一部分来训练主模型404和误差估计器406。在一 个实施例中，所述误差估计器的性能能够通过工作流程400进行评估，以直 接比较主模型404在这个验证集上获得的所述地面真值误差(例如地面真值 结果410和所述主模型结果408之间的差异)与误差估计器406输出的误差 估计值。在另一个实施例中，所述误差估计器的性能能够通过使用由误差估 计器406识别的低误差和高误差数据，通过工作流程450评估更新后的主模 型在该验证集上的性能来评估，并将其与在验证集上仅使用已标记数据的初 始主模型的性能进行比较。这些验证提供了额外的保证，即误差估计器表现 良好，并为训练主模型提供了益处。
图5图示了根据本公开的某些实施例的由模型训练装置执行的训练工作 流程500的示意性概览。图6是根据本公开的某些实施例的使用已标记和未 标记的训练数据训练用于执行图像分析任务的主模型以及误差估计器的示例 方法600的流程图。方法600可以由模型训练装置202执行并且可以包括步 骤S602-S620。可以预期，一些步骤可以是可选的，并且可以以不同于图6 所示的顺序执行某些步骤。图5-图6将一起描述。
在模型训练装置202接收到训练数据(步骤S602)时，方法600开始。 例如，可以从训练数据库201接收训练数据。在一些实施例中，所述训练数 据包括第一已标记数据子集(例如工作流程500中的标记数据502)和第二 未标记数据子集(例如工作流程500中的未标记数据508)。例如，训练数据 可能包括已标记图像和未标记图像。在一些实施例中，可以使用与稍后将由 主模型分析的那些相同的成像模式来获取所述训练图像，以提高训练精度。所述成像模式可以是任何合适的模式，包括例如MRI、fMRI、DCE-MRI、 扩散MRI、PET、SPECT、X射线、OCT、荧光成像、超声成像、放疗门户 成像等。
然后，模型训练装置202用已标记数据训练初始主模型和误差估计器(步 骤S604)。训练所述主模型以获取输入图像并预测指定的图像分析任务(分 割/分类/检测等)的输出。所述误差估计器能够将原始输入图像或主模型的 中间结果或特征映射作为输入。例如，如工作流程500所示，初始主模型训 练504和误差估计器训练506是使用已标记数据502执行的。在一些实施例 中，初始主模型训练504使用包括在已标记数据502中的地面真值结果，而 误差估计器训练506依赖于地面真值结果与使用初始主模型的预测结果之 间的差异。
然后，模型训练装置202应用在步骤S604中训练的所述误差估计器来 估计所述主模型的所述预测误差(步骤S606)。例如，如工作流程500所示， 误差估计器部署510通过将误差估计器训练506提供的所述误差估计器应用 于未标记数据508来估计初始主模型训练504提供的所述主模型的所述预测 误差来执行。
模型训练装置202确定所述估计误差是否超过预定的第一阈值(步骤 S608)。在一些实施例中，所述第一阈值可以是相对较低的值，例如0.1。如 果所述误差不超过所述第一阈值(S608：否)，则认为误差低，模型训练装 置使用所述初始主模型来获取所述未标记数据的预测标注(步骤S610)，以 形成已标记数据样本，并将所述已标记数据样本添加到训练数据中(步骤 S616)。例如，在工作流程500中，当所述误差可能“低”时，所述未标记 数据508以及经过训练的初始主模型的预测结果(“伪标注”)被添加到训练 数据512。这些样本能够扩充训练数据，并提高主模型的性能和泛化能力。
否则，如果所述误差超过第一阈值(S608：是)，则模型训练装置202 进一步确定所述估计误差是否超过预定的第二阈值(步骤S612)。在一些实 施例中，所述第二阈值可以是相对较高的值，高于第一阈值，例如0.9。如果 所述误差超过第二阈值(S612：是)，则认为误差高，并且模型训练装置202 请求对未标记数据进行人工标注(步骤S614)以形成已标记数据样本并将手 动标记数据样本添加到训练数据(步骤S616)。例如，在工作流程500中， 当误差可能“高”时，请求人工标注514，并将未标记数据508与人工标注 514一起添加到训练数据512。，这些人工标注的样本提供了对于改进主模型 最丰富的信息，因为根据误差估计器，初始主模型预计在这些样本上表现不 佳。因此，有限的标注资源被利用起来，以在标注高效学习场景中实现最佳 性能。因此，通过包含自动(通过主模型)或手动(通过人工标注)标记的 数据扩充了训练数据。
使用扩充的训练数据，模型训练装置202训练更新的主模型(步骤S618) 以替换仅使用所述初始训练数据中包括的所述已标记数据训练的所述初始主 模型。例如，在工作流程500中，三个已标记数据源被用于训练更新的主模 型516：原始标记数据502、初始主模型输出为伪标注的未标记数据508的低 误差部分，以及带有新请求的人工标注的未标记数据508的高误差部分。
在一些实施例中，由于有限的人工标注资源，在步骤S614中，并非所 有高误差的未标记数据都可以由人工进行标注。在这种情况下，可以选择高 的第二阈值，以便在步骤S614中，模型训练装置202能够请求首先标注根 据误差估计器具有最高预测误差的数据。在一些实施例中，一些数据可以保 持未标记，既不被主模型伪标记，也不通过请求手动标记。例如，如果误差 超过所述第一阈值(S608：是)但未超过所述第二阈值(S612：否)，则在该更新迭代期间数据样本可以保持未标记。图5所示的工作流程500可以重 复一次或多次，以使用(在步骤S618中经过训练的)所述更新后的主模型 作为所述初始主模型，并再次对其进行更新。随着所述主模型变得更强，可 能会有更多的数据能够被所述主模型伪标记，数据中未标记的部分将进一步 减少。
然后，模型训练装置202将更新的主模型提供作为用于分析新医学图像 的学习模型(步骤S620)。然后，训练方法600结束。图像分析装置203可 以部署更新的主模型，以完成对新的医学图像的指定的医学图像分析任务。 在一些实施例中，如果在应用中不需要主模型的误差估计，则可以禁用误差 估计器。在一些替代实施例中，能够保持误差估计器开启以提供对主模型输 出中的潜在误差的估计。例如，误差估计器能够用于与主模型执行图像分析 任务并行地生成主模型的误差，并将该误差提供给用户进行目视检查，例如， 通过图像分析装置203的显示器，以便用户了解主模型的性能。下面将结合 图13提供关于应用训练后的模型和误差估计器的更多细节。
通过在应用主模型时识别将导致高的预测误差的未标记数据，并且仅请 求对此类未标记数据进行人工标注，方法600能够分配有限的人工标注资源 来仅对无法由主模型准确分析的图像进行分析。通过包括自动和手动标注的 数据(例如伪标注和人工标注)来扩充训练数据，方法600还帮助主模型训 练充分利用现有的未标记数据。
主模型可以被训练以执行任何预定的图像分析任务，例如图像分割、图 像分类和从图像中检测对象等。基于特定的图像分析任务，预测时主模型提 取的特征、预测结果、包括在已标记数据中的地面真值结果、误差估计器估 计的误差、学习模型的配置和误差估计器的配置都可以进行相应的设计。
例如，当图像分析任务是图像分类时，主模型可以是配置为预测图像的 类别标签的图像分类模型。在这种情况下，主模型的输出是二元或多类别分 类标签。误差估计器的输出是分类误差，例如，预测和地面真值标签之间的 交叉熵损失。图7A图示了根据本公开的某些实施例的由模型训练装置202 执行以使用已标记图像训练主分类模型704和误差估计器706的工作流程700的示意性概览。图7B图示了根据本公开的某些实施例的由模型训练装置 执行以通过在未标记图像上部署主分类模型704和误差估计器706来扩充训 练数据的另一个工作流750的示意性概览。图8是根据本公开的某些实施例 用于使用已标记和未标记的训练数据训练用于执行图像分类任务的图像分类 模型以及误差估计器的示例方法800的流程图。方法800可以由模型训练装 置202执行并且可以包括步骤S802-S820。可以预期，一些步骤可以是可选 的，并且可以以不同于图8所示的顺序执行某些步骤。图7A-图7B和图8 将一起描述。
当模型训练装置202与上述步骤S602类似地接收到训练数据(步骤S802) 时，方法800开始。然后，模型训练装置202用已标记数据训练主分类模型 和误差估计器(步骤S804)。如工作流程700所示，训练主分类模型704以 将原始图像702作为输入并预测分类标签作为输出。误差估计器706能够将 原始图像702或主模型的中间结果或特征映射作为输入。如图7A所示，主 分类模型704和误差估计器706最初使用包括成对的原始图像702和其对应 的地面真值分类标签710的已标记数据来训练。在一些实施例中，训练主分 类模型704以使将主分类模型704应用于原始图像702时预测的分类标签708 与对应于原始图像702的地面真值分类标签710之间的差异最小化。在一些 实施例中，主分类模型704可以由任何分类网络实现，包括ResNet、 EfficientNet、NAS等。
另一方面，误差估计器706使用“地面真值误差”进行训练，“地面真 值误差”由地面真值分类标签710和预测的分类标签708确定。在一个示 例中，该误差可以是地面真值分类标签710和预测的分类标签708之间的交 叉熵损失。误差估计器706的训练旨在将由误差估计器706估计的估计分类 误差712与“地面真值误差”之间的差异最小化，“地面真值误差”使用地面 真值分类标签710和预测的分类标签708确定。在一些实施例中，误差估计 器706可以由多层感知器或其他网络实现。
然后，模型训练装置202应用在步骤S804中训练的误差估计器来估计 主分类模型的分类误差(步骤S806)。例如，如工作流程750所示，将误差 估计器706应用于未标记图像714以估计主分类模型704的分类误差。
模型训练装置202确定估计的分类误差是否超过预定的第一阈值(步骤 S808)。在一些实施例中，第一阈值可以是低值，例如0.1。如果分类误差没 有超过该阈值(S808：否)，模型训练装置202应用主分类模型704来获得 未标记数据的预测分类标签(步骤S810)，以形成伪标记数据样本并将伪标 记数据样本添加到训练数据中(步骤S816)。例如，在工作流程700中，当 分类误差可能“低”时，未标记图像714连同由主分类模型704预测的分类 标签被添加到训练数据716中。
否则，如果分类误差超过第一阈值(S808：是)，则模型训练装置202 确定估计的分类误差是否超过预定的第二阈值(步骤S812)。在一些实施例 中，第二阈值可以是高于第一阈值的高值，例如0.9。如果分类误差超过第二 阈值(S812：是)，则模型训练装置202请求对未标记图像进行人工标注(步 骤S814)以形成手动标记的数据样本，该数据样本然后被添加到训练数据中 (步骤S816)。例如，在工作流程750中，当分类误差可能“高”时，请求 人工标注718，并且将未标记图像714与人工标注718一起添加到训练数据 716中。如果误差超过第一阈值(S808：是)但不超过第二阈值(S812：否)， 则数据样本可可以保持未标记。
使用扩充的训练数据，模型训练装置202训练更新的主分类模型(步骤 S818)以替换仅使用已标记图像训练的初始主分类模型，并将更新的主分类 模型提供作为用于分析新的医学图像的学习模型(步骤S820)，类似于上述 结合图6描述的步骤S618和S620。更新后的主分类模型能够被部署以预测 新的医学图像的二元或多类别标签。
作为另一个示例，当图像分析任务是对象检测时，主模型可以是配置为 检测对象的对象检测模型(也称为检测器模型)。在这种情况下，主模型的输 出包括对象周围的边界框的坐标和对象的类别标签。误差估计器的输出包括 定位误差(例如预测的边界框坐标和地面真值边界框坐标之间的均方差差异) 和/或分类误差(例如预测的对象类别标签和地面真值对象类别标签之间的交 叉熵损失)。
图9A图示了根据本公开的某些实施例的由模型训练装置202执行以使 用已标记图像训练对象检测模型904和误差估计器906的工作流程900的示 意性概览。图9B图示了根据本公开的某些实施例的由模型训练装置执行以 通过在未标记图像上部署对象检测模型904和误差估计器906来扩充训练数 据的另一个工作流950的示意性概览。图10是根据本公开的某些实施例的用 于使用已标记和未标记的训练数据训练用于执行对象检测任务的对象检测模 型以及误差估计器的示例方法1000的流程图。方法1000可以由模型训练装 置202执行并且可以包括步骤S1002-S1020。可以预期，一些步骤可以是可 选的，并且可以以不同于图10所示的顺序执行某些步骤。图9A-图9B和图 10将一起描述。
当模型训练装置202与上述步骤S802类似地接收到训练数据(步骤 S1002)时，方法1000开始。然后，模型训练装置202用已标记数据训练主 要对象检测模型和误差估计器(步骤S1004)。如工作流程900所示，训练主 对象检测模型904以将原始图像902作为输入并预测对象边界框的坐标和对 象的类别标签作为输出。误差估计器906能够将原始图像902或主模型的 中间结果或特征映射作为输入。如图9A所示，主对象检测模型904和误差 估计器906最初使用包括成对的原始图像902及其对应的地面真值边界框和 类别标签910的已标记数据进行训练。在一些实施例中，训练主对象检测模 型904以将预测的边界框和类别和地面真值边界框和类别之间的差异最小化。 在一些实施例中，主要对象检测模型904可以由任何对象检测网络实现，包 括R-CNN、YOLO、SSD、CenterNet、CornerNet等。
另一方面，误差估计器906使用“地面真值误差”进行训练，该“地面 真值误差”由地面真值边界框和分类标签910以及预测的边界框和分类标签 908确定。在一个示例中，误差可能是地面真值分类标签910和预测的分类 标签908之间的交叉熵损失。误差估计器906的训练旨在将误差估计器906 估计的估计定位和/或分类误差912与“地面真值误差”之间的差异最小化。 在一些实施例中，误差估计器906可以由用于分别估计定位和分类误差的两 个多层感知器，或其他类型的网络来实现。
然后，模型训练装置202应用在步骤S1004中训练的误差估计器来估计 主对象检测模型的定位误差和/或分类误差(步骤S1006)。例如，如工作流 程950所示，误差估计器906被应用于未标记图像914以估计主对象检测模 型904的定位误差和/或分类误差。在一些实施例中，误差估计器906可以进 一步确定反映定位和分类误差的组合误差，例如，作为两个误差的加权和， 或以其他方式汇总这两个误差。
步骤S1008-S1020与上述图8的步骤S808-S820类似地执行，除了这个 场景中的标注包括检测到的对象的边界框和类别标签。详细说明不再重复。
作为又一示例，当图像分析任务是图像分割时，主模型可以是配置为对 图像进行分割的分割模型。在这种情况下，主模型的输出是分割掩模。误差 估计器的输出是分割掩模的误差映射。如果要分割的图像是3D图像，则分 割掩模相应地是基于体素的分割掩模，误差映射是基于体素的映射，例如基 于体素的交叉熵损失映射。
图11A图示了根据本公开的某些实施例的由模型训练装置202执行以使 用已标记图像训练主分割模型1104和误差估计器1106的工作流程1100的示 意性概览。图11B示出了根据本公开的某些实施例的由模型训练装置执行以 通过在未标记的图像上部署主分割模型1104和误差估计器1106来扩充训练 数据的另一个工作流程1150的示意性概览。
]工作流程1100/1150类似于上述结合图7A-图7B和图9A-图9B的工作 流程700/750和工作流程900/950，除了当应用于原始图像1102时，主分割 模型1104的预测结果是分割掩模1108，由误差估计器1106估计的误差是分 割误差映射1112。包括在标记图像中的对应于原始图像1102的地面真值分 割掩模1110被用于训练主分割模型1104，以及用于确定用于训练误差估计 器1106的“地面真值”分割误差映射。在一些实施例中，分割误差映射可以 是基于体素的交叉熵损失映射。工作流程1100/1150的详细描述可以从上面 描述的工作流程700/750和工作流程900/950的那些中找到并与之相适应， 因此不再重复。
图12是根据本公开的某些实施例的用于使用已标记的和未标记的训练 数据训练用于执行图像分割任务的分割模型以及误差估计器的示例方法 1200的流程图。方法1200可以由模型训练装置202执行并且可以包括步骤 S1202-S1220。可以预期，一些步骤可以是可选的，并且某些步骤可以按照与 图12所示不同的顺序执行。
方法1200当模型训练装置202与上述步骤S802和S1002类似地接收到 训练数据(步骤S1202)时，方法1200开始。然后，模型训练装置202使用 已标记数据训练主分割模型和误差估计器(步骤S1204)。如工作流程1100 所示，训练主分割模型1104以将原始图像1102作为输入并预测分割掩模作 为输出。误差估计器1106能够将原始图像1102或主模型的中间结果或特 征映射作为输入。如图11A所示，主分割模型1104和误差估计器1106最初使用包括成对的原始图像1102及其对应的地面真值分割掩模1110的已标记 数据来训练。在一些实施例中，训练主分割模型1104以将预测的边界框和类 别和地面真值边界框和类别之间的差异最小化。在一些实施例中，主分割模 型1104可以由任何分割网络实现，包括U-Net、V-Net、DeepLab、特征金字 塔网络等。
另一方面，误差估计器1106使用“地面真值误差”来训练，该“地面真 值误差”由地面真值分割掩模1110和预测的分割掩模1108确定。在一个 示例中，该误差可以是基于地面真值分割掩模1110和预测分割掩模1108 确定的交叉熵损失映射。误差估计器1106的训练旨在将由误差估计器1106 估计的估计分割误差映射1112和“地面真值误差”之间的差异最小化。误 差估计器1106可以由U-Net中的解码器网络或其他类型的分割网络来实现。
然后，模型训练装置202应用在步骤S1204中训练的误差估计器来估计 主分割模型的分割误差映射(步骤S1206)。例如，如工作流程1150中所示， 误差估计器1106应用于未标记图像1114以估计主分割模型1104的分割 误差映射。
步骤S1208-S1220与上述结合图8的步骤S808-S820和结合图10的步骤 S1008-S1020类似地执行，除了这个场景中的标注是分割掩模。详细说明不 再重复。
由于图像分割任务的密集特性，标注整个图像可能很昂贵。主分割模型 可能只会在图像的某些区域出错。在一些实施例中，为了进一步提高标注效 率，可以在步骤S1202中接收到图像之后并且在步骤S1204中执行训练之前 将图像分解为小块或ROI(感兴趣区域)。因此，可以在小块/ROI的基础上 执行步骤S1206-S1218。例如，主分割模型能够预测每个小块或ROI的分割 掩模，误差估计器能够评估每个小块或ROI而不是整个图像中的误差，以提 供更精细的指导。在另一个示例中，主分割模型和误差估计器能够预测整个 图像的分割掩模和误差估计，但是只有误差估计器指示的包含大的误差量的 小块或ROI被提供给标注器以进行进一步标注。在这样的实施例中，可以使 得标注器在步骤S1214中仅在主模型可能出错的较小区域中进行标注，大大 减轻了标注负担。标注可以手动、半手动或全自动获得。例如，可以使用更 昂贵的模型/方法来自动生成标注。标注还可以在其他成像模式的帮助下半自 动或自动地获得。
图13是根据本公开的某些实施例的用于使用利用由误差估计器训练的 学习模型对医学图像执行图像任务的示例方法1300的流程图。方法1300可 以由图像分析装置203执行并且可以包括步骤S1302-S1314。可以预期，一 些步骤可以是可选的，并且可以以不同于图13所示的顺序执行某些步骤。
当图像分析装置203接收到由图像获取装置获取的医学图像(步骤S1302) 时，方法1300开始。在一些实施例中，图像分析装置203可以直接从图像获 取装置205或从存储所获取图像的医学图像数据库204接收医学图像。同样， 可以使用任何成像模式来获取医学图像，包括例如CT、锥形束CT、MRI、 fMRI、DCE-MRI、扩散MRI、PET、SPECT、X射线、OCT、荧光成像、超 声成像、放疗门户成像等。
然后，图像分析装置203将训练的学习模型应用于医学图像以执行图像 分析任务(步骤S1304)。在一些实施例中，学习模型可以在部分标记的训练 图像上与单独的误差估计器共同地训练。例如，学习模型可以是使用图5的 工作流程500或者图6的方法600训练的更新的主模型516。
在步骤S1304和S1306中，图像分析任务可以是用于分析或以其他方式 处理医学图像的任何预定任务。在一些实施例中，图像分析任务是图像分割 任务，并且学习模型被设计为预测医学图像的分割掩模，例如，用于肺部区 域中的病变的分割掩模。分割掩模能够是概率映射。例如，能够使用图11A- 图11B的工作流程1100/1150和图12的方法1200来训练分割学习模型和误 差估计器。在一些实施例中，图像分析任务是图像分类任务，学习模型被设 计为预测医学图像的分类标签。例如，分类标签是指示医学图像是否包含肿 瘤的二元标签，或者是指示医学图像包含什么类型的肿瘤的多类标签。例如， 分类学习模型和误差估计器可以使用图7A-图7B的工作流程700/750和图8 的方法800来训练。在一些实施例中，图像分析任务是对象检测任务，学习 模型被设计为例如通过预测包围对象的边界框和对象的分类标签而从医学图 像中检测对象。例如，能够预测肺结节边界框的坐标，并且能够预测类别标 签以指示它是肺结节。例如，能够使用图9A-图9B的工作流程900/950和图10的方法1000来训练对象检测学习模型和误差估计器。
图像分析装置203还可以在对医学图像执行图像分析任务时将训练的误 差估计器应用于医学图像以估计学习模型的误差(步骤S1306)。在一些实施 例中，该误差估计器能够被应用以与步骤S1304中主模型执行图像分析任务 并行地生成误差。误差估计器估计的误差类型取决于图像分析任务。例如， 当图像分析任务是图像分割时，误差估计器能够被设计成估计分割掩模的误 差映射或误差估计。当图像分析任务是图像分类时，误差估计器被相应地设 计为估计学习模型预测的分类标签与已标记图像中包含的地面真值标签之间 的分类误差，例如交叉熵损失。当图像分析任务是对象检测时，误差估计器 相应地被配置为估计预测的边界框与已标记图像中包含的地面真值边界框之 间的定位误差，或者由学习模型预测的分类标签和已标记图像中包含的地面 真值标签之间的分类误差，或两者的组合。
图像分析装置203可以将在步骤S1306中估计的误差提供给用户用于目 视检查(步骤S1308)。例如，误差可以是通过图像分析装置203的显示器作 为图像提供的误差映射，以便用户了解主模型的性能。
在步骤S1310中，判定误差是否过高。在一些实施例中，用户可以通过 目视检查来做出判定。在一些替代实施例中，可以由图像分析装置203通过 例如将误差与阈值进行比较来自动做出判定。如果误差太大(S1310：是)， 图像分析装置203可以请求用户交互以改进学习模型或请求学习模型由模型 训练装置202重新训练(步骤S1314)。图像分析装置203利用用户改进或保 留的新的学习模型重复步骤S1306-S1310。例如，可以使用图5的工作流程 500，使用当前学习模型作为初始主模型来更新学习模型。否则(S1310：否)， 图像分析装置203可提供图像分析结果(步骤S1312)，例如分类标签、分割 掩模或边界框。
根据某些实施例，一种非易失性计算机可读介质可以存储有计算机程序。 当由至少一个处理器执行时，该计算机程序可以执行用于生物医学图像分析 的方法。例如，可以以这种方式执行任何上述方法。
在一些实施例中，计算机可读介质可以包括易失性或非易失性、磁性半 导体，磁带，光学、可移除、不可移除或其他类型的计算机可读介质或计算 机可读存储装置。例如，如所公开的，计算机可读介质可以是其上存储有计 算机指令的存储装置或存储器模块。在一些实施例中，计算机可读介质可以 是其上存储有计算机指令的磁盘或闪存驱动器。
对于本领域技术人员来说显而易见的是能够对所公开的系统和相关方法 进行各种修改和变形。通过考虑所公开的系统和相关方法的说明和实践，其 他实施例对于本领域技术人员来说将是显而易见的。
旨在说明和示例被认为仅仅是示例性的，真实的范围由以下的权利要求 书及其等同物来指示。

Claims (20)

1.一种用于使用学习模型分析医学图像的系统，包括：
通信接口，其配置为接收图像获取装置获取的医学图像；以及
至少一个处理器，其配置为应用所述学习模型以对所述医学图像执行图像分析任务，其中，所述学习模型与误差估计器使用包括第一已标记图像集和第二未标记图像集的训练图像共同地训练，其中，所述误差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联的误差。
2.根据权利要求1所述的系统，其中，所述至少一个处理器进一步配置为：
将所述误差估计器应用于所述医学图像，以估计所述学习模型对所述医学图像执行所述图像分析任务时的所述误差。
3.根据权利要求2所述的系统，其中，还包括显示器，其配置为将所述误差提供给用户进行目视检查。
4.根据权利要求1所述的系统，其中，为了训练所述学习模型和所述误差估计器，所述至少一个处理器配置为：
使用所述第一已标记图像集训练所述学习模型的初始版本和误差估计器；
将所述误差估计器应用于所述第二未标记图像集以确定与所述未标记图像相关联的相应误差；
基于所述相应误差，从所述第二未标记图像集中确定第三已标记图像集；并且
使用所述第一已标记图像集和所述第三已标记图像集组合来训练所述学习模型的更新版本；并且
提供所述学习模型的所述更新版本以对所述医学图像执行所述图像分析任务。
5.根据权利要求4所述的系统，其中，为了从所述第二未标记图像集中确定所述第三已标记图像集，所述至少一个处理器还配置为：
从所述第二未标记图像集中识别出与低于预定的第一阈值的误差相关联的至少一个未标记图像；
将所述学习模型应用于识别出的所述未标记图像，以生成对应的伪标记图像；并且
将所述伪标记图像包括在所述第三已标记图像集中。
6.根据权利要求4所述的系统，其中，为了从所述第二未标记图像集中确定所述第三已标记图像集，所述至少一个处理器进一步配置为：
从所述第二未标记图像集中识别出与高于预定的第二预定阈值的误差相关联的至少一个未标记图像；
在识别出的所述未标记图像上获取标注，以形成对应的新的已标记图像；并且
将所述新的已标记图像包括在所述第三已标记图像集中。
7.根据权利要求4所述的系统，其中，所述第一已标记图像集包括原始图像和对应的地面真值结果，
其中，所述误差估计器是基于所述第一已标记图像集中的所述地面真值结果与通过将所述学习模型应用于所述第一已标记图像集中的所述原始图像而获得的图像分析结果之间的差异来训练的。
8.根据权利要求1所述的系统，其中，所述图像分析任务是图像分割任务，并且所述学习模型配置为预测分割掩模，其中，所述误差估计器配置为估计所述分割掩模的误差映射。
9.根据权利要求1所述的系统，其中，所述图像分析任务是图像分类任务，所述学习模型配置为预测分类标签，
其中，所述误差估计器配置为估计由所述学习模型预测的所述分类标签与包括在已标记图像中的地面真值标签之间的分类误差。
10.根据权利要求1所述的系统，其中，所述图像分析任务是对象检测任务，所述学习模型配置为预测包围对象的边界框和所述对象的分类标签。
11.根据权利要求10所述的系统，其中，所述误差估计器配置为估计预测的所述边界框与包括在已标记图像中的地面真值边界框之间的定位误差，或者所述学习模型预测的所述分类标签与包括在所述已标记图像中的地面真值标签之间的分类误差。
12.一种用于使用学习模型分析医学图像的计算机实现方法，包括：
通过通信接口接收图像获取装置获取的医学图像；以及
通过至少一个处理器应用所述学习模型以对所述医学图像执行图像分析任务，
其中，所述学习模型与误差估计器使用包括第一已标记图像集和第二未标记图像集的训练图像共同地训练，其中，误差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联的误差。
13.根据权利要求12所述的计算机实现方法，其中，进一步包括：
将所述误差估计器应用于所述医学图像，以估计所述学习模型在对所述医学图像执行所述图像分析任务时的所述误差；以及
经由显示器将所述误差提供给用户进行目视检查。
14.根据权利要求12所述的计算机实现方法，其中，所述学习模型和所述误差估计器通过以下方式训练：
使用所述第一已标记图像集训练所述学习模型的初始版本和误差估计器；
将所述误差估计器应用于所述第二未标记图像集以确定与所述未标记图像相关联的相应误差；
根据所述相应误差，从所述第二未标记图像集中确定所述第三已标记图像集；
使用所述第一已标记图像集和所述第三已标记图像集组合训练所述学习模型的更新版本；以及
提供所述学习模型的所述更新版本以对所述医学图像执行所述图像分析任务。
15.根据权利要求14所述的计算机实现方法，其中，从所述第二未标记图像集中确定所述第三已标记图像集，进一步包括：
从所述第二未标记图像集中识别出与低于预定的第一阈值的误差相关联的至少一个未标记图像；
将所述学习模型应用于识别的所述未标记图像，以生成对应的伪标记图像；以及
将所述伪标记图像包括在所述第三已标记图像集中。
16.根据权利要求14所述的计算机实现方法，其中，从所述第二未标记图像集中确定所述第三已标记图像集，进一步包括：
从所述第二未标记图像集中识别出与高于预定的第二阈值的误差相关联的至少一个未标记图像；
在识别出的所述未标记图像上获取人工标注，以形成对应的新的已标记图像；以及
将所述新的已标记图像包括在所述第三已标记图像集中。
17.根据权利要求12所述的计算机实现方法，其中，所述图像分析任务是图像分割任务，并且所述学习模型配置为预测分割掩模，
其中，所述误差估计器配置为估计所述分割掩模的误差映射。
18.根据权利要求12所述的计算机实现方法，其中，所述图像分析任务是图像分类任务，所述学习模型配置为预测分类标签，
其中，所述误差估计器配置为估计由所述学习模型预测的所述分类标签与包括在已标记图像中的地面真值标签之间的分类误差。
19.根据权利要求12所述的计算机实现方法，其中，所述图像分析任务是对象检测任务，所述学习模型配置为预测包围对象的边界框和所述对象的分类标签，
其中，所述误差估计器配置为估计预测的所述边界框与包括在已标记图像中的地面真值边界框之间的定位误差，或者所述学习模型预测的分类标签与包括在所述已标记图像中的地面真值标签之间的分类误差。
20.一种非暂时性计算机可读介质，其存储有计算机程序，其中，当所述计算机程序由至少一个处理器执行时，执行用于使用学习模型分析医学图像的方法，所述方法包括：
接收图像获取装置获取的医学图像；以及
应用所述学习模型以对所述医学图像执行图像分析任务，
其中，所述学习模型与误差估计器使用包括第一已标记图像集和第二未标记图像集的训练图像共同地训练，其中，所述误差估计器配置为估计所述学习模型的与执行所述图像分析任务相关联的误差。
CN202210252962.0A 2021-03-16 2022-03-15 用于医学图像分析的标注高效学习的方法和系统 Pending CN114972729A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163161781P 2021-03-16 2021-03-16
US63/161,781 2021-03-16
US17/591,758 US20220301156A1 (en) 2021-03-16 2022-02-03 Method and system for annotation efficient learning for medical image analysis
US17/591,758 2022-02-03

Publications (1)

Publication Number Publication Date
CN114972729A true CN114972729A (zh) 2022-08-30

Family

ID=82975994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210252962.0A Pending CN114972729A (zh) 2021-03-16 2022-03-15 用于医学图像分析的标注高效学习的方法和系统

Country Status (2)

Country Link
US (1) US20220301156A1 (zh)
CN (1) CN114972729A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496703A (zh) * 2021-06-18 2022-12-20 富联精密电子(天津)有限公司 肺炎区域检测方法及系统
US11803576B1 (en) * 2022-07-19 2023-10-31 Verizon Patent And Licensing Inc. Network management plan generation and implementation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US11615879B2 (en) * 2017-09-08 2023-03-28 The General Hospital Corporation System and method for automated labeling and annotating unstructured medical datasets
US10846854B2 (en) * 2017-10-13 2020-11-24 Shenzhen Keya Medical Technology Corporation Systems and methods for detecting cancer metastasis using a neural network
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US11574122B2 (en) * 2018-08-23 2023-02-07 Shenzhen Keya Medical Technology Corporation Method and system for joint named entity recognition and relation extraction using convolutional neural network
US11403761B2 (en) * 2019-04-01 2022-08-02 Siemens Healthcare Gmbh Probabilistic motion model for generating medical images or medical image sequences
US11416772B2 (en) * 2019-12-02 2022-08-16 International Business Machines Corporation Integrated bottom-up segmentation for semi-supervised image segmentation
US11526700B2 (en) * 2020-06-29 2022-12-13 International Business Machines Corporation Annotating unlabeled data using classifier error rates
US20220020155A1 (en) * 2020-07-16 2022-01-20 Korea Advanced Institute Of Science And Technology Image segmentation method using neural network based on mumford-shah function and apparatus therefor
WO2022103479A1 (en) * 2020-11-16 2022-05-19 Waymo Llc Multi-modal 3-d pose estimation

Also Published As

Publication number Publication date
US20220301156A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US10769791B2 (en) Systems and methods for cross-modality image segmentation
CN104346821B (zh) 用于医学成像的自动规划
CN109410188B (zh) 用于对医学图像进行分割的系统和方法
EP3611699A1 (en) Image segmentation using deep learning techniques
US20190220977A1 (en) Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks
US11074688B2 (en) Determination of a degree of deformity of at least one vertebral bone
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
US8958614B2 (en) Image-based detection using hierarchical learning
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
EP3355273B1 (en) Coarse orientation detection in image data
ES2914387T3 (es) Estudio inmediato
US9299145B2 (en) Image segmentation techniques
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
US9098912B2 (en) Method, system and computer readable medium for automatic segmentation of a medical image
US20220301156A1 (en) Method and system for annotation efficient learning for medical image analysis
US20140079306A1 (en) Region extraction apparatus, method and program
US9317926B2 (en) Automatic spinal canal segmentation using cascaded random walks
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
US20190035075A1 (en) Method and apparatus for classifying a data point in imaging data
CN113362272A (zh) 具有不确定性估计的医学图像分割
KR102537214B1 (ko) 자기 공명 이미지들에서 정중시상 평면을 결정하기 위한 방법 및 장치
US11357464B2 (en) Method and system for diagnosis of COVID-19 using artificial intelligence
US20200327661A1 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
US20220092786A1 (en) Method and arrangement for automatically localizing organ segments in a three-dimensional image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination