CN114503159A - 通过对象检测定位的医学图像的三维对象分割 - Google Patents

通过对象检测定位的医学图像的三维对象分割 Download PDF

Info

Publication number
CN114503159A
CN114503159A CN202080057028.2A CN202080057028A CN114503159A CN 114503159 A CN114503159 A CN 114503159A CN 202080057028 A CN202080057028 A CN 202080057028A CN 114503159 A CN114503159 A CN 114503159A
Authority
CN
China
Prior art keywords
image
contrast
interest
segmentation
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080057028.2A
Other languages
English (en)
Inventor
L·谢
K·H·巴克
O·巴兹吉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN114503159A publication Critical patent/CN114503159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及使用深度学习网络来分割医学图像内的对象的技术，所述深度学习网络基于衍生对比度机制通过对象检测进行定位。特别地，本发明的方面涉及定位具有第一特征的第一医学图像内的目的对象、将所述目的对象的边界框或分割掩膜投影到具有第二特征的第二医学图像上以限定所述第二医学图像的一部分以及将所述第二医学图像的所述部分输入深度学习模型中，所述深度学习模型被配置为使用能够分割所述第二医学图像的所述部分并且生成围绕所述目的对象的分割边界的加权损失函数的检测器。所述分割边界可用于计算所述目的对象的体积，以用于确定受试者的诊断和/或预后。

Description

通过对象检测定位的医学图像的三维对象分割
相关申请的交叉引用
本申请要求2019年8月14日提交的美国临时申请号62/886,844的优先权和权益，其内容出于所有目的以引用方式全文并入本文。
技术领域
本公开涉及医学图像的自动化对象分割，并且特别地涉及使用深度学习网络分割医学图像内的对象的技术，该深度学习网络基于衍生对比度机制通过对象检测进行定位。
背景技术
计算机视觉涉及使用数字图像和视频来推断出对这些图像和视频中的内容的一些理解。对象识别与计算机视觉相关联，是指涉及识别图像帧中存在的对象的一组相关的计算机视觉任务。这些任务包括图像分类、对象定位、对象检测和对象分割。图像分类涉及预测图像帧中的一个或多个对象的类别。对象定位是指识别图像帧中一个或多个对象的位置，并且在其范围周围绘制边界框。对象检测将这两种任务组合，定位并且分类图像帧中的一个或多个对象。对象分割涉及突出显示所定位或检测的对象而不是粗边界框的特定像素(生成掩码)。对象识别技术通常分为基于机器学习的方法或基于深度学习的方法。对于基于机器学习的对象定位和检测方法，图像内的特征最初使用特征描述符诸如Haar样特征、尺度不变特征变换或方向梯度直方图(HOG)来定义，然后使用诸如支持向量机(SVM)等技术基于该特征描述符来检测目的对象。另一方面，深度学习技术能够在缺少明确定义的特征的情况下执行端到端对象检测和分割，并且通常基于卷积神经网络(CNN)，诸如基于区域的网络(R-CNN、Fast R-CNN、Faster R-CNN和级联R-CNN)。
发明内容
在一些实施例中，提供了一种用于分割医学图像内的对象的计算机实现的方法。该方法包括：获得受试者的医学图像，该医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中该医学图像使用一种或多种医学成像方式生成；使用定位模型将第一图像内的对象定位并且分类为多个对象类别，其中该分类将该第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；使用定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于第一图像内的目的对象的边界框或分割掩膜；将边界框或分割掩膜转移到第二图像上，以限定该第二图像的包括目的对象的部分；将第二图像的部分输入三维神经网络模型中，该三维神经网络模型被构建用于使用加权损失函数进行体积分割；使用三维神经网络模型生成围绕目的对象的估计的分割边界；以及使用三维神经网络输出第二图像的具有围绕目的对象的估计的分割边界的部分。
在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式不同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。
在一些实施例中，所述一种或多种医学成像方式包括第一医学成像方式以及与该第一医学成像方式相同的第二医学成像方式，并且其中第一图像由第一医学成像方式生成，并且第二图像由第二医学成像方式生成。
在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像不同。
在一些实施例中，第一图像为第一类型的图像并且第二图像为第二类型的图像，并且其中第一类型的图像与第二类型的图像相同。
在一些实施例中，第一特征与第二特征不同。
在一些实施例中，第一特征与第二特征相同。
在一些实施例中，第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描或其组合，并且其中第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描或其组合。
在一些实施例中，第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描图像或其组合，并且其中第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声层析成像图像、X射线图像、超声波扫描图像或其组合。
在一些实施例中，第一特征为部分各向异性指数对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中第二特征为部分各向异性指数对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。
在一些实施例中，所述一种或多种医学成像方式为弥散张量成像，第一图像为部分各向异性指数(FA)图，第二图像为平均弥散率(MD)图，第一特征为部分各向异性指数对比度，第二特征为平均弥散率对比度，并且目的对象为受试者的肾。
在一些实施例中，将第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于第一图像的多个像素或体素。
在一些实施例中，所述一种或多种聚类算法包括k均值算法，该k均值算法将观测值分配至与多个对象类别相关联的聚类。
在一些实施例中，所述一种或多种聚类算法进一步包括期望最大化算法，该期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中k均值算法通过估计多个对象类别中的每个对象类别的初始参数来初始化期望最大化算法。
在一些实施例中，确定分割掩膜，并且确定该分割掩膜包括：使用分配有对象类别的像素或体素集来识别目的对象的种子位置；通过将种子位置投影到代表分割掩膜的深度的z轴来增长种子位置；以及基于所投影的种子位置来确定分割掩膜。
在一些实施例中，确定分割掩膜进一步包括在分割掩膜上执行形态闭合和填充。
在一些实施例中，该方法进一步包括在将第二图像的部分输入三维神经网络模型中之前基于对象掩膜加余量来裁剪该第二图像，以生成该第二图像的该部分。
在一些实施例中，该方法进一步包括在将第二图像的部分输入三维神经网络模型中之前将该第二图像输入深度超分辨率神经网络中，以增加该第二图像的该部分的分辨率。
在一些实施例中，三维神经网络模型包括使用训练数据集识别的多个模型参数，该训练数据集包括：多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医学图像通过将来自所述多个医学图像的图像直方图与来自多个基准图的图像直方图进行匹配来人工生成；并且其中所述多个模型参数使用训练数据集基于最小化加权损失函数来识别。
在一些实施例中，加权损失函数为加权Dice损失函数。
在一些实施例中，三维神经网络模型为修改的3D U-Net模型。
在一些实施例中，修改的3D U-Net模型包括总数在5,000,000个与12,000,000个之间的可学习的参数。
在一些实施例中，修改的3D U-Net模型包括总数在800个与1,700个之间的内核。
在一些实施例中，该方法进一步包括：基于围绕目的对象的估计边界来确定该目的对象的尺寸、表面积和/或体积；以及提供：(i)第二图像的具有围绕所述目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积。
在一些实施例中，该方法进一步包括：由用户基于(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积来确定受试者的诊断。
在一些实施例中，该方法进一步包括：由用户使用成像系统获取受试者的医学图像，其中该成像系统使用一种或多种医学成像方式以生成医学图像；基于围绕目的对象的估计的分割边界来确定目的对象的尺寸、表面积和/或体积；提供：(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积；由用户接收(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积；以及由用户基于(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积来确定受试者的诊断。
在一些实施例中，该方法进一步包括由用户基于(i)第二图像的具有围绕目的对象的估计的分割边界的部分、(ii)目的对象的尺寸、表面积和/或体积和/或(iii)受试者的诊断来用化合物施用治疗。
在一些实施方案中，提供了一种系统，其包括一个或多个数据处理器和非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。
在一些实施方案中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且包括被配置为促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部的指令。
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施方案和可选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
附图说明
结合附图描述本公开：
图1示出了根据各种实施例的用于分割目的对象的实例的示例计算环境；
图2示出了根据各种实施例的用于模拟其他对比度并且增加训练数据集的方差的直方图匹配；
图3示出了根据各种实施例的示例性U-Net；
图4示出了根据各种实施例的用于分割目的对象的实例的过程；
图5A根据各种实施例的弥散张量元素；
图5B示出了根据各种实施例的用于期望最大化(EM)分割(12个类别)和对象检测步骤的部分各向异性指数图像；
图5C示出了根据各个实施例的切片方向上的超分辨图像；并且
图6A至6E示出了使用各种策略所得到的分割结果。图6A：3D U-Net。图6B：使用连通域预处理来检测前景。图6C：EM分割。图6D：通过EM分割进行肾脏检测。图6E：在超分辨图像上通过EM分割进行肾脏检测。第一行示出：叠加在磁共振成像(MRI)上的真实值手动标签。第二行示出：真实值和分割掩膜的透明表面绘制。冠状位和轴位成对示出。第三行示出：显示为小提琴图的Dice相似性系数(DSC)。基于每种分割策略的平均DSC所选择的示例数据集。所有分割结果均基于3D U-Net，但C除外，其仅采用EM分割。虚线框表示对象检测区域。比例尺＝4mm。
在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标记来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
I.概述
本公开描述了医学图像的自动化对象分割技术。更具体而言，本公开的实施例提供了使用深度学习网络分割医学图像内的对象的技术，该深度学习网络基于衍生对比度机制通过对象检测进行定位。
医学图像分割，从背景医学图像诸如计算机断层扫描(CT)或MRI图像中识别对象(例如，器官、病灶或肿瘤)的像素，是医学图像分析中的一项基本任务，用于提供有关对象的形状、大小和体积的信息。器官大小或体积的变化可能是疾病过程的主要特征，或者为受试者其他部位的病理学表现。此外，肿瘤或病灶大小或体积可能是罹患癌症的受试者的重要的独立指标(例如，在初始系统治疗期间重复测量大小将产生有关反应的详细信息，这些信息可用于选择最有效的治疗方案并且估计受试者的预后)。过去尝试过采用各种放射学和临床技术来估计肿瘤或器官的大小和体积，但由于准确度不可接受、重现性不佳或难以获得用于大小和体积测量的合适的图像，大多数技术的实用性有限。最近，开发出若干定量方案，并且证明由各种成像方式诸如CT和MRI测量各种器官、病灶或肿瘤的大小和体积得到了有希望的结果。为此，通常使用耗时的手动分割方法获得大小和体积数据。但是，深度学习技术的巨大潜力使这些技术成为图像分割、特别是医学图像分割的主要选择，其极大地改善了通过定量方案获得大小和体积数据的实用性。
尽管使用深度学习技术有利于对象分割，并且与传统的基于手动和机器学习的方法相比取得了显著改善，但在医学图像(诸如MRI和CT图像)领域尤其普遍的低对比度和低分辨率图像方面，对象分割仍然具有挑战性。这一挑战的主要原因源于：(i)对象(诸如器官、病灶或肿瘤)的定义受到低对比度和低分辨率图像的模糊视觉识别和过多噪声的强烈影响，对深度学习模型预测对象的真实轮廓产生误导；(ii)由于深度学习架构中的反复池化操作，不可避免地丢失对象语义和图像结构信息，这些信息在低对比度和低分辨率图像中严重缺失，因此深度学习模型的结果通常存在对象的形状不准确和定位不佳的问题；(iii)由于围绕对象边界的像素集中在相似的感受野上并且深度学习模型仅区分图像像素的二进制标签，因此深度学习算法难以学习边界知识；(iv)许多医学图像具有大视野或背景以避免混叠效应，但是当背景占图像的很大一部分时，深度学习可能未得到最佳训练以分割前景目的对象(“背景效应”)；以及(v)在背景中，可能存在相似外观的对象(例如，肝脏、心脏、肾脏有时可能看起来像肿瘤)，深度学习和更简单的机器学习算法可能未得到最佳训练以区分这些结构。
为解决这些限制和问题，本实施例的自动化对象分割技术使用各种成像方式和/或具有不同特征(使对象(或其在图像或显示中的呈现方式)能够区分开来的特征，诸如对比度或分辨率)的医学图像类型作为衍生对比度机制来定位目的对象，分离该目的对象，并且随后使用深度学习模型分割该目的对象。例如，通过第一成像方式获得的对象的第一图像可具有很好地提供该对象的一般轮廓的第一特征(例如，良好的对比度)，使得该第一图像可用于对象检测(提供围绕对象的粗颗粒边界以及分类)。但是，该第一图像可能非常模糊不清，使得深度学习网络无法确定准确的对象边缘位置以进行准确的对象分割。相比之下，使用第二成像方式所获得的对象的第二图像或具有同一模式的图像特征/对比度机制的第二图像可具有很好地提供对象的明确边界的第二特征(例如，高分辨率)，使得该第二图像可用于边缘检测和细粒度对象分割。一旦在第一图像中检测到对象，则将该对象的粗粒度边界投影到第二图像上，以定位第二图像内的对象。然后在对象分割之前，使用第二图像上的对象的粗粒度边界来裁剪该第二图像。第二图像的定位和裁剪减轻了背景效应，并且使深度学习模型集中于对象的边缘，以学习细粒度对象分割的边界知识。
本公开的一个例示性实施例涉及一种方法，该方法包括：在具有第一特征的第一医学图像内初始定位(例如，使用算法诸如期望最大化)目的对象，诸如器官、肿瘤或病灶；将目的对象的边界框或分割掩膜投影到具有第二特征的第二医学图像上，以限定第二医学图像的包括目的对象的部分；并且随后将该第二医学图像的该部分输入深度学习模型诸如卷积神经网络模型中，该深度学习模型被构建为使用能够分割该第二医学图像的该部分并且生成围绕目的对象的分割边界的加权损失函数的检测器。分割边界可用于计算目的对象的体积，以用于确定诊断和/或预后。在一些情况下，所计算出的体积可进一步与时间点相关联。可以对来自某个时间点的对象的体积与来自前一时间点的对象的体积进行比较，以确定治疗的功效。时间点分析提供了器官或肿瘤随时间变化的上下文。此外，由分割边界所定义的目的对象内的具体内容可具有变化，例如，更多坏死内容物或侵袭性肿瘤类型。在一些情况下，分割边界和对应的所分割的区域或体积可用于定量分析图像度量，诸如图像强度。例如，在PET中存在标准化摄取值(SUV)，或者在MRI中存在弥散率、T2、T1等，这些参数与某些图像度量诸如图像强度相关，因此定量分析图像度量可用于确定针对特定目的对象的值/度量诸如SUV。换言之，分割边界内的体积本身是一种有用的度量，并且分割边界和对应的所分割的区域内的值或度量也是有用的度量。
有利地，这些方法在尝试使用深度学习模型分割目的对象之前，利用具有不同特征的多个医学图像和对象检测技术来检测目的对象的大致区域。这样减小了背景效应，降低了输入数据的复杂性，并且使深度学习模型集中于对象物体的边缘以学习用于对象分割的边界知识。此外，由于所输入的数据的复杂性下降，因此可降低深度学习模型的复杂性(例如，通过减少每个卷积层的内核数来实现)。在一些情况下，深度学习模型使用加权损失函数进行构建，该加权损失函数使分割错误最小化，改善了训练性能优化，并且进一步降低了在通过对象检测技术所确定的一些大致区域可能仍然存在的背景效应。
II.定义
如本文所用，当动作“基于”某物时，这意味着该动作至少部分地基于某物的至少一部分。
如本文所用，术语“基本上”、“大约”和“约”被定义为在很大程度上但不必完全是所规定的(并且包括完全是所规定的)，如本领域普通技术人员所理解的。在任何公开的实施例中，术语“基本上”、“大约”或“约”可以用对于所指定的“在[某个百分比]内”替代，其中百分比包括0.1％、1％、5％和10％。
如本文所用，“掩膜”是指代表所检测的对象的表面区域的图像。掩膜可包括强度非零的像素以指示一个或多个目标区域(例如，一个或多个检测的对象)以及强度为零的像素以指示背景。
如本文所用，“二进制掩膜”是指其中每个像素值为两个值之一(例如，0或1)的掩膜。零强度值可指示对应的像素是背景的一部分，非零强度值(例如，1值)可指示对应的像素为目标区域的一部分。
如本文所用，“分类”是指获取输入(例如，图像或图像的一部分)并且输出类别(例如，“器官”或“肿瘤”)或输入为特定类别的概率的过程。该过程可包括二进制分类(是否为某个类别的成员)、多类分类(分配至一个或多个类别)、提供每个类别中成员的概率(例如，该输入有90％的概率是器官)以及类似的分类方案。
如本文所用，“对象定位”或“对象检测”是指检测图像中特定类别的对象的实例的过程。
如本文所用，“边界框”是指代表特定类别的对象在图像中的大致位置的矩形框。边界框可由矩形左上角和/或右上角的x和y轴坐标以及矩形右下角和/或左下角的x和y轴坐标定义。
如本文所用，“分割边界”是指图像内对象的估计周界。分割边界可在分割过程中生成，在该分割过程中，分析图像的特征以确定对象边缘的位置的。分割边界可进一步由掩膜诸如二进制掩膜表示。
如本文所用，“分割”是指确定图像内对象的位置和形状。分割可涉及确定描绘图像内对象的区域或周界的一组像素。分割可涉及生成对象的掩码诸如二进制掩码。分割可进一步涉及处理对应于对象的多个掩膜以便生成该对象的3D掩膜。
III.衍生对比度机制
受试者的解剖结构(例如，器官或其他人体或哺乳动物组织)和生理过程的成像程序的目标是生成具有良好空间分辨率的图像对比度。医学成像的最初演变集中于组织(质子)密度函数和组织弛豫特性以产生信号对比，这是常规MRI背后的主要原理。MRI检测来自水分子质子的信号，但是，它只能提供灰度图像，其中每个像素包含一个整数值。除非两个解剖区域A和B包含具有不同物理或化学性质的水分子，否则这两个区域无法用MRI彼此区分。除此以外，无论图像分辨率有多高，区域A与区域B都无法区分。为基于水分子的物理性质而产生MR对比度，质子密度(PD)、T1和T2弛豫时间以及弥散系数(D)得到广泛应用。PD代表水浓度。T1和T2是激发后的信号弛豫(衰减)时间，与环境因素诸如粘度以及附近大分子的存在相关。弥散项D代表水分子的热(或布朗)运动。
在最初集中于组织(质子)密度函数和组织弛豫特性之后，研究人员探索了利用水分子的其他特性来产生对比度的其他方法。弥散成像(DI)是那些研究工作的结果。在DI中，在图像获取过程中施加了补充MR梯度。在施加这些梯度期间，质子的运动影响图像中的信号，从而提供有关分子弥散的信息。可使用多种技术来执行DI，这些技术包括弥散-光谱成像(DSI)和弥散加权成像(DWI)。
DWI是一种非侵入性成像方法，对组织结构内的水弥散具有敏感性，其使用现有的MRI技术与专门的软件相组合，并且无需额外的硬件设备、造影剂或化学示踪剂。为使用MRI测量弥散，采用补充MR梯度来创建一个对特定方向的弥散敏感的图像。在DWI中，每个图像元素(体素)的强度反映了对特定方向上水弥散速率的最佳估计。但是，生物组织是高度各向异性的，意味着它们的弥散速率在每个方向上各不相同。对于常规DWI，组织的各向异性性质通常被忽略，并且将弥散减少为单个平均值，即表观弥散系数(ADC)，但这一做法对于许多用例而言过于简单化。一种替代方法是使用弥散张量对复杂材料中的弥散建模，该弥散张量是一个[3×3]数字阵列，对应于每个方向组合中的弥散速率。三个对角线元素(Dxx,Dyy,Dzz)代表沿每个主要(x-、y-和z-)实验室轴所测得的弥散系数。六个非对角项(Dxy、Dyz等)反映了随机运动在每对主方向之间的随机运动的相关性。
弥散张量成像的推出使得能够间接测量表征扩散张量成像(DTI)的各向异性程度和结构取向。DTI背后的基本概念是，水分子沿组织发生不同的弥散，具体取决于组织的类型、完整性、结构和障碍的存在，从而提供有关其取向和定量各向异性的信息。借助DTI分析，可以推断每个体素中的特性，诸如分子弥散速率(平均弥散率(MD)或表观弥散系数(ADC))、弥散的方向性偏好(部分各向异性指数(FA))、轴向弥散率(AD)(沿弥散方向的弥散速率)和径向弥散率(RD)(在横向方向上的弥散速率)。DTI通常通过将张量中包含的信息压缩为一个数字(标量)或压缩为4个数字(以提供R、G、B颜色和亮度值，其称为色彩部分各向异性指数)来显示。弥散张量也可以使用字形来查看，这些字形是主要特征向量或整个张量的小型三维(3D)表示。
与MRI和DTI类似，其他医学成像方式诸如CT、X射线、正电子发射断层扫描(PET)、光声层析成像(PAT)、超声波扫描、其组合(诸如PET-CT、PET-MR等)依赖于各种测量、算法和药剂来生成图像对比度和空间分辨率。例如，CT和X射线利用X射线吸收来区分空气、软组织和致密结构诸如骨骼。体内的致密结构阻挡X射线，因此易于成像和可视化，而软组织阻挡X射线的能力各不相同，因此其可能微弱而无法或难以成像和可视化。在X射线或CT扫描中增加图像对比度的一种技术是利用包含在阻挡X射线方面更出色的物质的造影剂，使它们在X射线或CT图像上更明显，并且因此可用于更好地实现软组织诸如血管的可视化。PET使用少量称为放射性示踪剂的放射性物质，这些物质可以在扫描中被检测和测量。使用累积或带有放射性示踪剂标记的区域与非累积或无标记区域之间的测量差异产生对比度，从而实现受试者体内的结构和功能的可视化。PAT是一种基于光声(PA)效应的成像方式。通常使用短脉冲光源照射组织，得到宽带PA波。在吸收光之后，初始温度升高引起压力升高，该升高的压力以光声波的形式传播并且被超声换能器检测以实现光吸收对比度成像。超声波是一种用于体内成像的非侵入性诊断技术。换能器发出一束声波进入人体。声波被声束路径中组织之间的边界(例如，体液与软组织或组织与骨骼之间的边界)反射回换能器。当这些回波击中换能器时，回波产生电信号，这些电信号被发送至超声波扫描仪。该扫描仪使用声速和每个回波返回的时间来计算换能器到组织的距离。然后使用这些距离产生对比度，以实现组织和器官的可视化。
所有这些成像方式都产生具有足够高的空间分辨率的图像对比度，该空间分辨率足以可视化用于临床分析、医学干预和/或医学诊断的身体内部呈现以及一些器官或组织功能的视觉呈现。但是，如本文所述，利用这些成像方式中的每一种所单独提供的图像对比度和空间分辨率不足以进行准确的对象分割，尤其是用于获得大小和体积数据的对象分割，该对象分割由深度学习网络执行。为克服这一限制和其他限制，本文所述的技术使用成像方式、图像类型和/或变化的特征的组合来定位目的对象、分离目的对象，并且随后使用深度学习模型来分割目的对象。具体而言，发现与对象分割相比，某些成像方式、图像类型和/或特征在对象检测方面表现更好；而其他成像方式、图像类型和/或特征在对象分割方面表现更好。通过识别成像方式、图像类型和/或特征更适合的计算机视觉任务(例如，对象检测或对象分割)，可以利用这些差异作为衍生对比度机制。
衍生对比度机制可利用的图像特征包括亮度、对比度和空间分辨率。亮度(或发光亮度)是在使用数码相机获取图像或利用模数转换器将图像数字化后像素阵列上的相对强度值的量度。相对强度值越高，像素越亮，并且图像通常显得越白；而相对强度值越低，像素越暗，并且图像通常显得越黑。对比度是指模拟和数字图像中各种图像特征之间存在的差异。图像内的差异可以呈不同灰度、光强度或颜色的形式。具有较高对比度水平的图像通常比具有较低对比度的图像显示出更大的灰度、颜色或强度变化。空间分辨率是指用于构建数字图像的像素数。与具有较低空间分辨率的图像相比，具有较高空间分辨率的图像由数量更多的像素组成。
衍生对比度机制包括：(i)第一成像方式，该第一成像方式能够获得具有用于检测目的对象的特征(例如，DTI-FA)的图像；以及(ii)第二成像方式，该第二成像方式能够获得具有用于分割目的对象的特征(例如，DTI-MD)的图像。可组合各种成像方式、图像类型和/或特征以在各计算机视觉任务(例如，对象检测或对象分割)上进行改善。在各种实施例中，衍生对比度机制的成像方式是相同的，诸如MRI或DTI。在一些实施例中，利用一种成像方式获得具有第一特征的第一图像以及具有第二特征的第二图像，其中第一图像与第二图像不同。例如，MRI可用于获得受试者的弥散张量参数图。弥散张量参数图可包括第一测量图(诸如FA图)和第二测量图(诸如MD图)。在一些实施例中，利用一种成像方式获得具有第一特征的第一图像以及具有第二特征的第二图像，其中第一特征与第二特征不同。例如，CT可用于获得受试者的多次CT扫描结果。CT扫描可包括第一CT扫描(诸如低分辨率CT扫描)和第二CT扫描(诸如高分辨率CT(HRCT)扫描)。另选地，MRI可用于获得受试者的弥散张量参数图。弥散张量参数图可包括第一MD图(诸如低分辨率MD图)和第二MD图(诸如高分辨率MD图)。在其他实施例中，衍生对比度机制的成像方式是不同的，诸如PAT和超声波。PAT可用于获得具有第一特征的第一类型的图像，并且超声波可用于获得具有第二特征的第二类型的图像，其中第一类型的图像和第一特征与第二类型的图像和第二特征不同。
使用不同的成像方式类型、图像类型和特征的衍生对比度机制的特定实例包括以下：
(A)MRI
肾脏分割：(i)用于对象检测的FA测量图(由部分各向异性指数所产生的对比度)；以及(ii)用于对象分割的MD测量图(由平均弥散率所产生的对比度)或T2-加权解剖图像(由激发后的信号弛豫时间所产生的对比度)。
多发性硬化症脑病灶分割：(i)用于对象检测的单回波T2图像(由激发后信号弛豫时间的单次回波平面成像所产生的对比度)；以及(ii)用于对象分割的回波增强或T2-加权解剖图像(由用于突出激发后信号弛豫时间的低翻转角、长回波时间和长重复时间所产生的对比度)。
肝脏分割：(i)用于对象检测的MD测量图(由平均弥散率所产生的对比度)；以及(ii)用于对象分割的高分辨率MD测量图(由平均弥散率产生的高分辨率和对比度)、T2-加权解剖图像(由激发后信号弛豫时间所产生的对比度)或PD(由水浓度所产生的对比度)。
(B)CT
肺和肝脏肿瘤分割：(i)用于肺或肝脏的对象检测的CT扫描(低分辨率)；以及(ii)用于肿瘤的对象分割的CT扫描(HRCT)。
骨小梁：(i)用于小梁间隙(非皮质骨)的对象检测的CT扫描(低分辨率)，以及(ii)用于小梁的对象分割的CT扫描(HRCT)。
(C)PET
肿瘤或器官检测：(i)用于对象检测的PET高对比度/低分辨率(由放射性示踪剂测量所产生的对比度)；以及(ii)用于对象分割的PET-CT或PET-MR高对比度/高分辨率(由放射性示踪剂测量所产生的对比度)。
(D)光声层析成像(光学超声波技术)
肿瘤或器官检测：(i)用于对象检测的PAT(由光吸收所产生的对比度)；以及(ii)用于对象分割的超声波(由换能器与组织边界之间的回波返回距离所产生的对比度)。
应当理解，本文所述的有关MRI、CT、PAT、PET等的实例和实施例仅用于例示性目的，并且将为本领域技术人员提出用于实现根据本公开的方面所述的各种衍生对比度机制的替代性的成像方式(例如，荧光透视、磁共振血管造影(MRA)和乳腺X线摄影)的建议。此外，可修改这些成像方式中的任一种的参数(例如，不同的示踪剂、角度配置、波长等)以捕获身体的不同结构或区域，并且这些类型的修改的成像技术中的一种或多种可与一种或多种其他成像技术组合以实现根据本公开的方面所述的各种衍生对比度机制。
IV.用于分割医学图像的技术
MRI图像的分割分为两部分。分割的第一部分涉及第一视觉模型，该第一视觉模型被构建为执行第一图像(例如，弥散张量参数图或CT图像)内类别的定位(对象检测)。这些类别为“语义上可解释的”，并且对应于真实世界类别(诸如肝脏、肾脏、心脏等)。使用EM、You Only Look Once(YOLO)或(YOLOv2)或(YOLOv3)或类似的对象检测算法执行定位，该算法用标准聚类技术(例如，k均值聚类技术、Otsu算法、具有噪声的基于密度的聚类(DBSCAN)技术、小批K均值技术等)进行启发式初始化。初始化用于为每个类别提供似然模型参数的初始估计。期望最大化是在一种或多种分析统计模型中查找参数的(局部)最大似然率或最大后验概率(MAP)估计的迭代过程。EM迭代在执行期望(E)步骤与最大化(M)步骤之间交替，其中在E步骤中，创建使用当前参数的估计值所评估的对数似然的期望的函数，在M步骤中，计算参数以使E步骤中找到的期望对数似然率最大化。然后使用这些参数估计值来确定下一个E步骤中潜变量的分布。定位的结果是围绕每个对象的边界框或分割掩膜及其属于各类别的概率。使用与目的对象相关联的类别中的一个或多个，将目的对象(例如肾脏)的大致位置分离。
为减轻医学图像的背景效应，将目的对象的边界框或分割掩膜沿切片方向(轴向、冠状方向和矢状方向)投影到第二图像(例如，弥散张量参数图或CT图像)上。在定位用于确定分割掩膜的情况下，利用所投影的分割掩膜的边界限定第二图像中围绕目的对象(例如，肾脏)的大致位置的边界框(绘制的矩形框完全围绕与目的对象相关联的像素级掩膜)。在一些情况下，将边界框(通过定位确定或基于所投影的分割掩膜的边界来限定)在所有侧放大预定数量的像素，以确保覆盖目的对象。然后从第二图像裁剪边界框内的区域以获得第二图像的具有目的对象的部分，并且将该第二图像的该部分用作第二视觉模型的输入以分割目的对象。分割的第二部分涉及使用加权损失函数(例如Dice损失)构建的第二视觉模型(深度学习神经网络)，以克服目的对象与背景之间的不平衡性质，并由此重点训练评估分割目的对象。此外，可使用增强数据集训练第二视觉模型，使得深度学习神经网络能够用一组有限的医学图像进行训练。经过训练的第二视觉模型将第二图像的裁剪部分作为输入，并且输出第二图像的具有围绕目的对象的估计的分割边界的部分。估计的分割边界可用于计算目的对象的体积、表面积、轴向尺寸、最大轴向尺寸或其他尺寸相关的度量。这些度量中的任何一种或多种继而可单独使用或与其他因素结合使用以确定受试者的诊断和/或预后。
IV.A.示例计算环境
图1示出了根据各种实施例的用于使用多级分割网络来分割图像内的目的对象的实例的示例计算环境100(即，数据处理系统)。如图1所示，在本示例中，由计算环境100执行的分割包括若干阶段：图像获取阶段105、模型训练阶段110、对象检测阶段115、分割阶段120和分析阶段125。
图像获取阶段110包括用于获得受试者的各个部分的图像135(例如，MR图像)的一种或多种成像系统130(例如，MRI成像系统)。成像系统130被配置为使用一种或多种放射成像技术诸如X射线摄影、荧光透视、MRI、超声波、核医学功能成像(例如，PET)、热成像、CT、乳腺X线摄影等来获得图像135。成像系统130能够基于与成像系统130中的每一种相关联的特征(例如，亮度、对比度和空间分辨率)来确定受试者内的各种结构和功能之间的差异，并且生成一系列二维图像。一旦扫描仪的计算机收集到一系列二维图像，这些二维图像就可通过计算机分析以数字方式“堆叠”在一起以重建受试者或受试者的一部分的三维图像。二维图像和/或重建的三维图像135允许更容易地识别和定位基本结构(例如，器官)以及可能的肿瘤或异常。每个二维图像和/或重建的三维图像135可对应于会话时间和受试者并且描绘受试者的内部区域。每个二维图像和/或重建的三维图像135可进一步具有标准化尺寸、分辨率和/或放大倍数。
在一些实施例中，一种或多种成像系统130包括被配置为在图像获取过程中施加补充MR梯度的DI系统(例如，配备专用软件的MRI系统)。在施加这些梯度期间，质子的运动影响图像中的信号，从而提供有关分子弥散的信息。由各个梯度方向上的一系列弥散-加权图像获得DTI矩阵。利用矩阵对角化生成三个弥散率参数或特征值(λ1、λ2和λ3)。弥散率是描述水在与组织的几何形状相关联的特定体素(图像中的最小体积元素)中的弥散的标量指标。可使用各种弥散成像技术，由弥散率计算弥散张量参数图和附加图像对比度。由这些图表示的DTI特性或指标可包括(但不限于)分子弥散率(MD图或ADC图)、弥散的方向性偏好(FA图)、AD图(沿弥散主轴的弥散速率)和RD图(在横向方向上的弥散速率)。利用DTI矩阵对角化所获得的弥散率(λ1、λ2和λ3)可划分为与组织平行的分量(λ1)和与组织垂直的分量(λ2和λ3)。弥散率(λ1、λ2和λ3)之和称为轨迹，而它们的平均值(＝轨迹/3)称为MD或ADC。部分各向异性指数(FA)是体素内弥散不对称性量的指标，根据其弥散率(λ1、λ2和λ3)来定义。FA值在0与1之间变化。对于完美的各向同性弥散，λ1＝λ2＝λ3，弥散椭球为球体，FA＝0。随着弥散各向异性的逐渐增加，特征值相差更大，椭球变得更加细长，FA→1。轴向弥散率(AD)，λ║≡λ1>λ2、λ3，描述水分子平行于目标体素内的道弥散的平均弥散系数。类似地，径向弥散率(RD)，λ┴≡(λ2+λ3)/2，定义为垂直于主本征向量的水弥散度的大小。
图像135示出了一个或多个目的对象。目的对象可为受试者内的任何目标“事物”，诸如区域(例如，腹部区域)、器官(例如，肾脏)、病灶/肿瘤(例如，恶性肝脏肿瘤或脑病灶)、代谢功能(例如，肝脏中血浆蛋白的合成)等。在一些情况下，多个图像135示出了目的对象，使得所述多个图像135中的每一个可对应于目的对象的虚拟“切片”。多个图像135中的每一个可具有相同的视角，使得每个图像135示出的平面平行于其他图像135中示出的对应于受试者和目的对象的其他平面。多个图像135中的每一个可进一步对应于沿垂直于平面的轴的不同距离。在一些情况下，示出目的对象的多个图像135经过预处理步骤以对齐每个图像并且生成目的对象的三维图像结构。
在一些实施例中，图像135包括弥散张量参数图，这些弥散张量参数图示出受试者的一个或多个目的对象。在某些情况下，针对目的对象生成至少两个弥散张量参数图(例如，第一弥散张量参数图和第二弥散张量参数图)。弥散张量参数图可由DTI系统生成并且描述水分子的弥散速率和/或方向，以便为目的对象提供更多上下文。可生成多于一个的弥散张量参数图，使得每个弥散张量参数图对应于不同的方向。例如，弥散张量参数图可包括示出FA的图像、示出MD的图像、示出AD的图像和/或示出RD的图像。弥散张量参数图中的每一个可附加地具有相同平面的视角和沿该平面的垂直轴的相同距离作为对应的MR图像，使得示出目的对象的虚拟“切片”的每个MR图像具有对应的弥散张量图像，该弥散张量图像示出目的对象的相同虚拟“切片”。
模型训练阶段110构建并且训练将由其他阶段使用的一个或多个模型140a至140n(“n”表示任何自然数)(其在本文中可以单独地称为模型140或统称为模型140)。模型140可以是机器学习(“ML”)模型，诸如卷积神经网络(“CNN”)，例如起始神经网络、剩余神经网络(“Resnet”)、U-Net、V-Net、单发多盒检测器(“SSD”)网络或递归神经网络(“RNN”)，例如长短期记忆(“LSTM”)模型或门控递归单元(“GRUs”)模型，或它们的任何组合。模型140还可以是在根据图像的对象检测和/或分割中训练的任何其他合适的ML模型，诸如三维CNN(“3DCNN”)、动态时间规整(“DTW”)技术、隐马尔可夫模型(“HMM”)等，或者一种或多种此类技术的组合，例如CNN-HMM或MCNN(多尺度卷积神经网络)。计算环境100可采用相同类型的模型或不同类型的模型来分割目的对象的实例。在某些情况下，模型140使用加权损失函数进行构建，该加权损失函数补偿每个图像内大视场或背景与小前景目的对象之间的不平衡性质，如本文进一步详细描述的。
为了在该示例中训练模型140，生成样品145，方式为：获取数字图像、将图像分割成用于训练的图像子集145a(例如，90％)和用于验证的图像子集145b(例如，10％)、预处理图像子集145a和图像子集145b、扩充图像子集145a，并且在一些情况下用标记150注释图像子集145a。图像子集145a由一种或多种成像方式(例如，MRI和CT)获取。在一些情况下，图像子集145a由与一种或多种成像方式相关联的数据存储结构诸如数据库、图像系统(例如，一种或多种成像系统130)等获取。每个图像示出一个或多个目的对象，诸如头部区域、胸部区域、腹部区域、骨盆区域、脾脏、肝脏、肾脏、脑、肿瘤、病灶等。
该分割可以随机地进行(例如，90％/10％或70％/30％)，或者该分割可以根据更复杂的验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)来进行，以最小化采样偏差和过拟合。预处理可包括裁剪图像，使得每个图像仅包含单个目的对象。在一些情况下，预处理可进一步包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度)上。在某些情况下，利用预定像素的最小尺寸(宽度或高度)(例如，2500像素)或预定像素的最大尺寸(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。
扩充可以用于通过在数据集中创建图像的修改版本来人工地扩展图像子集145a的大小。可以通过在数据集中创建属于与原始图像相同类别的图像变换版本来执行图像数据扩充。变换包括来自图像操纵领域的一系列操作，诸如移位、翻转、缩放等。在一些情况下，这些操作包括随机擦除、移位、加亮、旋转、高斯模糊和/或弹性变换，以确保模型140能够在可从图像子集145a获得的那些环境之外的环境下执行。
增强可附加地或另选地用于人为扩展数据集中的多个图像，模型140可在训练过程中将这些图像作为输入。在一些情况下，训练数据集(即，图像子集145a)中的至少一部分可包括对应于一个或多个受试者的区域的第一图像集以及对应于相同或不同受试者的不同区域的第二图像集。例如，如果利用对应于腹部区域的图像的至少第一子集检测腹部区域内的一个或多个目的对象，则对应于头部区域的图像的第二子集也可以包括在训练数据集中。在此类情况下，将对应于一个或多个受试者的区域的第一图像集与对应于训练数据集内的相同或不同受试者的不同区域的第二图像集进行直方图匹配。就前一个示例而言，可将对应于头部区域的图像直方图作为参考直方图进行处理，然后将对应于腹部区域的图像直方图与参考直方图进行匹配。直方图匹配可基于像素强度、像素颜色和/或像素亮度，使得直方图的处理需要将直方图的像素强度、像素颜色和/或像素亮度与参考直方图的像素强度、像素颜色和/或像素亮度进行匹配。
注释可以由一个或多个人(注释者，诸如放射科医生或病理学家)手动执行，确认在图像子集145a的每个图像中存在一个或多个目的对象，并且将标记150提供给该一个或多个目的对象，例如，使用注释软件在由人确认包括一个或多个目的对象的区域周围绘制边界框(真实值)或分割边界。在某些情况下，边界框或分割边界可以仅针对成为目的对象的概率大于50％的示例绘制。对于由多个注释者注释的图像，可使用来自所有注释者的边界框或分割边界。在一些情况下，注释数据可进一步指示目的对象的类型。例如，如果目的对象是肿瘤或病灶，则注释数据可指示肿瘤或病灶的类型，诸如肝脏、肺、胰腺和/或肾脏中的肿瘤或病灶。
在一些情况下，图像子集145可被传输至注释器设备155，以将其包括在训练数据集(即，图像子集145a)内。可使用(例如)鼠标、触控板、触笔和/或键盘(例如)为注释器设备155提供(例如，由放射科医生)提供输入，指示图像是否示出目的对象(例如，病灶、器官等)；图像中示出的目的对象的数量；以及图像内每个示出的目的对象的周界(边界框或分割边界)。注释器设备155可被配置为使用所提供的输入来为每个图像生成标记150。例如，标记150可包括图像内示出的目的对象的数量；每个示出的目的对象的类型分类；每个示出的目的对象的数量；以及图像内一个或多个识别的目的对象的周界和/或掩膜。在一些情况下，标记150可进一步包括叠加在第一类型的图像和第二类型的图像上的一个或多个识别的目的对象的周界和/或掩膜。
模型140的训练过程包括为模型140选择超参数并且执行将来自图像子集145a的图像输入到模型140中的迭代操作，以找到使模型140的损失或误差函数最小化的一组模型参数(例如，权重和/或偏差)。超参数是可以被调整或优化以控制模型140的行为的设置。大多数模型明确地定义控制模型的不同方面(诸如存储器或执行成本)的超参数。然而，可以定义附加的超参数来使模型适应具体场景。例如，超参数可包括模型的隐藏单元的数量、模型的学习速率、模型的卷积核宽度或卷积核数量。在一些情况下，与典型CNN相比，每个卷积和去卷积层的模型参数数量和/或每个卷积和去卷积层的卷积核数量减少一半，如本文所详述。训练的每次迭代可以涉及为模型140找到模型参数集合(配置有定义的超参数集合)，使得使用该模型参数集合的损失或误差函数的值小于在先前迭代中使用不同的模型参数集合的损失或误差函数的值。损失或误差函数可被配置为测量使用模型140推断的输出在一些情况下，围绕目的对象的一个或多个实例的分割边界用Dice相似性系数进行测量)与使用标记150注释到图像的真实值分割边界之间的差异。
一旦识别出模型参数集，就对模型140进行训练，并且可以使用图像子集145b(测试或验证数据集)来验证该模型。该验证过程包括使用验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)将来自图像子集145b的图像输入到模型140中以调整超参数并且最终找到超参数的最优集合的迭代操作。一旦获得超参数的最佳集合，就将来自图像子集145b的图像的保留测试集输入模型145中以获得输出(在该示例中，为围绕一个或多个目的对象的分割边界)，并且使用相关技术(诸如Bland-Altman方法和Spearman秩相关系数)以及计算性能度量(诸如误差、准确度、精确度、召回率、接收器操作特性曲线(ROC)等)，相对于真实值分割边界来评价输出。
应当理解，其他训练/验证机制也是可以预期的，并且可以在计算环境100内实现。例如，可以对模型进行训练并且可以在来自图像子集145a的图像上调整超参数，并且来自图像子集145b的图像可以仅用于测试和评价模型的性能。此外，尽管本文描述的训练机制聚焦于训练新模型140。但是这些训练机制也可以用于微调根据其他数据集训练的现有模型140。例如，在一些情况下，模型140可能已经使用其他对象或生物结构的图像或者来自其他受试者或研究(例如，人类试验或鼠类实验)的切片的图像进行了预训练。在那些情况下，模型140可用于转移学习，并且使用图像135进行重新训练/验证。
模型训练阶段110输出包括一个或多个经训练的对象检测模型160和一个或多个经训练的分割模型165的训练模型。第一图像135由定位控制器170在对象检测阶段115获得。第一图像135示出目的对象。在一些情况下，第一图像为具有第一特征诸如FA或MD对比度的弥散张量参数图。在其他情况下，第一图像为具有第一特征诸如单回波T2对比度或T2-加权解剖对比度的MR图像。在其他情况下，第一图像135为具有第一特征诸如低分辨率或高分辨率的CT图像。在其他情况下，第一图像135为具有第一特征诸如药剂对比度的CT图像。在其他情况下，第一图像135为具有第一特征诸如放射性示踪剂对比度或低分辨率的PET图像。在其他情况下，第一图像135为具有第一特征诸如放射性示踪剂对比度或高分辨率的PET-CT图像。在其他情况下，第一图像135为具有第一特征诸如放射性示踪剂对比度或高分辨率的PET-MR图像。在其他情况下，第一图像135具有第一特征诸如光吸收对比度的PAT图像。在其他情况下，第一图像135为具有第一特征诸如回波或换能器与组织边界距离的超声波图像。
定位控制器170包括使用一个或多个对象检测模型160定位图像135内的目的对象。定位包括：(i)使用对象检测模型160将具有第一特征的第一图像内的对象定位并且分类为多个对象类别，其中该分类将第一图像的像素或体素的集合分配至多个对象类别中的一个或多个中；以及(ii)使用对象检测模型160，基于分配有多个对象类别中的对象类别的像素或体素的集合来确定用于第一图像内目的对象的边界框或分割掩膜。对象检测模型160利用一种或多种对象检测算法以便提取用于定位并且标记第一图像内的对象的统计特征，并且预测目的对象的边界框或分割掩膜。
在一些情况下，使用EM、YOLO、YOLOv2、YOLOv3或类似的对象检测算法进行定位，这些算法用标准聚类技术(例如，K均值或Otsu算法)进行启发式初始化。初始化用于为每个类别提供似然模型参数的初始估计。例如，在使用EM与K均值聚类技术的情况下，给定固定数量的k个聚类，将观测值分配至k个聚类，以便聚类间的均值(对于所有变量)尽可能彼此不同。然后，EM聚类技术基于一个或多个先验概率分布来计算聚类成员的后验概率和聚类边界，所述一个或多个先验概率分布使用每个聚类(类别)的参数的初始估计值进行参数化。然后，EM聚类技术的目标是在给定(最终)聚类下最大化数据的总体概率或似然率。EM聚类技术的结果与利用K均值聚类技术所计算出的结果不同。K均值聚类技术将观测值(像素或体素，诸如像素或体素强度)分配至聚类以使聚类之间的距离最大化。EM聚类技术不计算观测值实际分配至聚类的结果，但计算分类概率。换言之，每个观测值以一定的概率属于各聚类。然后，利用定位控制器170基于(最大)分类概率将观测值分配至聚类。定位的结果是边界框或分割掩膜及其属于各类别的概率。基于分配有与目的对象相关联的对象类别的像素或体素集，将目的对象(例如肾脏)的大致位置分离。
目的对象的边界框或分割掩膜可用于对象检测阶段115的图处理控制器175。第二图像135由图处理控制器175在对象检测阶段115获得。第二图像135示出第一图像135中所示出的相同的目的对象。在一些情况下，第二图像为具有第二特征诸如FA或MD对比度的弥散张量参数图。在其他情况下，第二图像为具有第二特征诸如单回波T2对比度或T2-加权解剖对比度的MR图像。在其他情况下，第二图像135为具有第二特征诸如低分辨率或高分辨率的CT图像。在其他情况下，第二图像135为具有第二特征诸如药剂对比度的CT图像。在其他情况下，第二图像135为具有第二特征诸如放射性示踪剂对比度或低分辨率的PET图像。在其他情况下，第二图像135为具有第二特征诸如放射性示踪剂对比度或高分辨率的PET-CT图像。在其他情况下，第二图像135为具有第二特征诸如放射性示踪剂对比度或高分辨率的PET-MR图像。在其他情况下，第二图像135为具有第二特征诸如光吸收对比度的PAT图像。在其他情况下，第二图像135为具有第二特征诸如回波或换能器与组织边界距离的超声波图像。
图处理控制器170包括用于将对应于从第一图像中检测到的目的对象的边界框或分割掩膜叠加到与第二图像中所示出的相同的目的对象上的过程。在其中确定了分割掩膜的情况下，将分割掩膜投影到第二图像(例如，第二图像的二维切片)上，使得分割掩膜的边界可用于限定包围对应于第二图像内的目的对象的目标区域的矩形边界框。在一些情况下，边界框包括对分割掩膜的周界的每个边缘的附加填充(例如，填充5个像素、10个像素、15个像素等)，以确保包围整个目标区域。图处理控制器175进一步包括被配置为裁剪第二图像以使得仅示出对应于边界框的裁剪部分180的过程。在其中限定了多个边界框的情况下(例如，对于在图像内检测到多个目的对象的情况)，将为每个边界框生成第二图像的裁剪部分。在一些情况下，进一步调整每个裁剪部分的大小(例如，使用附加填充)以便保持统一的大小。
将第二图像的裁剪部分180传输至分割阶段120的分割控制器185。分割控制器185包括使用一个或多个分割模型165分割第二图像的裁剪部分180内的目的对象的过程。分割包括使用一个或多个分割模型165生成围绕目的对象的估计的分割边界；并且使用一个或多个分割模型165输出第二图像的具有围绕目的对象的估计的分割边界190的裁剪部分。分割可包括评估每个裁剪部分的像素或体素强度的变化，以识别对应于目的对象的一组边缘和/或轮廓。在识别该组边缘和/或轮廓时，一个或多个分割模型165生成目的对象的估计的分割边界190。在一些实施例中，估计的分割边界190对应于目的对象的三维表示。在一些情况下，分割进一步包括确定目的对象存在于估计的分割边界190中的概率分数，并且输出概率分数与估计的分割边界190。
可将第二图像的具有围绕目的对象的估计的分割边界190的裁剪部分传输至分析阶段125的分析控制器195。分析控制器195包括获得或接收第二图像的具有围绕目的对象的估计的分割边界190的裁剪部分(以及任选的概率分数)并且基于围绕目的对象的估计的分割边界190(以及任选的概率分数)来确定分析结果197的过程。分析控制器195可进一步包括基于围绕目的对象的估计的分割边界190来确定目的对象的大小、轴向尺寸、表面积和/或体积的过程。在一些情况下，目的对象的估计的分割边界190或其衍生参数(例如，目的对象的大小、轴向尺寸、体积等)进一步用于确定受试者的诊断和/或预后。在其他情况下，将目的对象的估计的分割边界190与前一个时间点成像的相同目的对象的估计的分割边界190进行比较，以便确定对受试者的疗效。例如，如果目的对象是病灶，则受试者的病灶的估计的分割边界190可提供有关癌症类型(例如，病灶的位置)、转移进展(例如，如果病灶的数量增加和/或如果受试者的病灶位置数量增加)和药效(例如，病灶的数量、大小和/或体积增加或减少)的信息。
虽然未明确示出，但是应当理解，计算环境100可以还包括与开发者相关联的开发者装置。从开发者设备到计算环境100的部件的通信可指示将用于模型的输入图像的类型、将使用的模型的数量和类型、每个模型的超参数(例如，学习速率和隐藏层的数量)、格式化数据请求的方式、将使用的训练数据(例如，以及获得对训练数据的访问的方式)和将使用的验证技术和/或将配置控制器处理的方式。
IV.B.用于模型训练的示例性数据扩充
分割的第二部分涉及使用加权损失函数(例如，Dice损失)构建的第二视觉模型(例如，深度学习神经网络)。深度学习神经网络在来自受试者的一个或多个目的对象的图像上被训练。这些图像由一种或多种医学成像方式生成。但是，由某些医学成像方式生成的图像的数据集可以是稀疏的。为解决这些图像的稀疏性，对训练数据的图像进行扩充，以人为地增加数据集内图像的数量和种类。更具体而言，可通过执行直方图匹配以模拟相同或不同受试者的其他区域(例如，可能找不到目的对象的受试者的区域)内的其他对比度并且增加训练数据集的方差来执行扩充。
例如，训练集的每个图像或来自训练集的图像子集可以与一个或多个参考图像进行直方图匹配，以生成新的图像集，从而在所谓的数据扩充过程中人为增加训练数据集大小，该数据扩充过程减少了过度拟合。如图2所示，训练集的每个图像(左侧图像)可与参考图像(中心图像)进行直方图匹配，以生成新的图像集(右侧图像)。因此，通过直方图匹配，原始训练集或图像子集在数量和种类上基本上增加了2倍。直方图匹配是对原始图像进行变换，使得该原始图像的直方图与参考直方图匹配。直方图匹配通过以下方式进行：首先使用直方图均衡化(例如，拉伸直方图以填充动态范围，同时尝试保持直方图均匀)以使原始直方图和参考直方图均衡，然后基于均衡化图像和转换函数将原始直方图映射至参考直方图。例如，假设原始图像中的像素强度值20映射至均衡化图像中的35并且假设参考图像中的像素强度值55映射至均衡化图像中的35，则可以确定原始图像中的像素强度值20应映射至参考图像中的像素强度值55。然后可使用从原始图像到均衡化图像到参考图像的映射，将原始图像转换为新图像。在一些情况下，一个或两个数据集(即，原始图像集和新图像集)可使用标准技术诸如旋转和翻转(例如，将每个图像旋转90°、左右翻转、上下翻转等)进行进一步扩充，以进一步增加可用于训练的图像的数量和种类。
使用基于直方图匹配的数据扩充的益处是：(i)该技术利用来自相同物种/仪器/图像强度等的另一个数据集；(ii)对应于直方图匹配图像的掩码(标记)与训练集中的原始图像完全相同；(iii)训练集中的图像数量以用作参考的图像数量为倍数增加；并且(iv)训练集的方差增加，因此训练集的图像结构得以保留；而像素的强度发生变化，使分割框架独立于像素强度并且取决于图像和目的对象的结构。
IV.C.示例性三维深度神经网络
在图3所示的示例性实施例中，修改的3D U-Net 300单独从输入图像(例如，第二图像的裁剪部分)中提取特征，检测输入图像中的目的对象，生成围绕目的对象的形状的三维分割掩膜，并且输出具有围绕目的对象的形状的三维分割掩膜的输入图像。3D U-Net300包括收缩路径305和扩展路径310，这赋予其U形架构。收缩路径305是CNN网络，其包括卷积的重复应用(例如，3×3×3卷积(未填充卷积))，每个卷积之后是整流线性单元(ReLU)和最大池化操作(例如，在每个方向上步幅为2的2×2×2最大池化)进行下采样。卷积运算的输入是三维体积(即，大小为n×n×通道的输入图像，其中，n为输入特征的数量)和一组“k个”过滤器(也称为内核或特征提取器)，每一个大小为(f×f×f通道，其中，f为任意数字，例如3或5)。卷积运算的输出也是大小为(m×m×k，其中，M为输出特征的数量，并且k为卷积核大小)的三维体积(也称为输出图像或特征图)。
收缩路径315的每个块315包括一个或多个卷积层(由灰色水平箭头表示)，并且特征通道的数量变化为例如从1到64(例如，在第一过程中取决于通道的起始数量)，因为卷积过程会增加输入图像的深度。每个块315之间向下的灰色箭头是最大池化过程，它将输入图像的大小减半。在每个下采样步骤或池化操作中，特征通道的数量可能会增加一倍。在收缩过程中，图像数据的空间信息减少而特征信息增加。因此，在池化之前，存在于例如572x572图像中的信息，在池化之后，(几乎)相同的信息现在存在于例如284x284图像中。现在，当在后续过程或层中再次应用卷积操作时，后续过程或层中的过滤器将能够看到更大的上下文，即随着输入图像深入网络，输入图像的尺寸减小，然而感受野增加(感受野(上下文)是内核或过滤器在任何给定时间点覆盖的输入图像区域)。一旦执行了块315，则在块320中执行另外两个卷积，但没有最大池化。块320之后的图像已被调整大小为例如28x28x1024(该大小仅是说明性的，并且在过程320结束时的大小可以取决于输入图像的起始大小而有所不同——大小为n x n x通道)。
扩展路径310是组合来自收缩路径305的特征和空间信息(来自收缩路径305的特征图的上采样)的CNN网络。如本文所述，三维分割的输出不仅为类别标记或边界框参数。相反，输出(三维分割掩膜)是完整的图像(例如，高分辨率图像)，其中所有体素都被归类。如果使用具有池化层和密集层的常规卷积网络，则CNN网络将丢失“在哪里”信息，并且只保留图像分割所不能接受的“是什么”信息。在图像分割的情况下，同时使用“是什么”和“在哪里”信息。因此，对图像进行上采样，以将低分辨率图像转换为高分辨率图像，从而恢复“在哪里”信息。由向上的白色箭头表示的转置卷积是示例性上采样技术，其可在扩展路径310中用于特征图的上采样并扩展图像的大小。
在块325处的转置卷积之后，图像通过在每个维度上步幅为2的2×2×2的上卷积(上采样算子)从28×28×1024放大到56×56×512，然后将图像与来自收缩路径的对应图像(参见来自收缩路径305的水平灰色条330)连接起来，共同构成例如大小为56×56×1024的图像。连接的原因是结合来自先前层的信息(即，将来自收缩路径305的高分辨率特征与来自扩展路径310的上采样输出相组合)以获得更精确的预测。该过程继续作为将通道数量减半的一系列上卷积、与来自收缩路径305的对应裁剪的特征图的连接、重复应用每个卷积后跟整流线性单元(ReLU)的卷积(例如，两个3×3×3卷积)以及块335中的最终卷积(例如，一个1×1×1卷积)以生成多通道分割作为三维分割掩膜。为了定位，U-Net 300使用每个卷积的有效部分而没有任何全连接层，即，分割图只含有输入图像中完整上下文可用的体素并且使用跳跃连接，该跳跃连接将在收缩块中学习的上下文特征和在扩展块中学习的定位特征相链接。
在具有3D U-Net架构的传统神经网络中，通常使用带有交叉熵损失的softmax函数来比较输出和真实值标记。虽然这些网络表现出比传统CNN改进的分割性能，但它们不会立即转化为医学影像数据集中的小前景对象、小样品大小和各向同性分辨率。为解决这些问题及其他问题，将3D U-Net 300构建为包括相对于传统3D U-Net数量减少的参数和/或内核(总共2,784个内核和19,069,955可学习的参数，参见例如
Figure BDA0003501376040000281
A.Abdulkadir、S.S.Lienkamp、T.Brox和O.Ronneberger，“3D U-Net:learning dense volumetricsegmentation from sparse annotation”，收录于International conference onmedical image computing and computer-assisted intervention，2016：Springer，第424-432页)。具体而言，减少网络的权重数量、层数和/或总体宽度以降低网络复杂性并且避免过度参数化问题。在一些情况下，与常规3D U-Net相比，每个卷积和去卷积层的内核数量减半。随后减少了3D U-Net 300的每个卷积和去卷积层的可学习参数的数量，因此与具有19,069,955个可学习参数的常规3D U-Net相比，3D U-Net300具有9,534,978个可学习的参数。就内核而言，内核总数从常规3D U-Net中的2,784个减少为3D U-Net 300中的1,392个内核。在一些情况下，3D U-Net 300的可学习参数的总数减少至5,000,000个与12,000,000个之间的可学习的参数。在一些情况下，3D U-Net 300的内核总数减少至800个与1,700个之间的内核。参数和/或内核的减少是有利的，因为它使模型能够更有效地处理较小的样品尺寸(即，第二DTI参数图的裁剪部分)。
此外，3D U-Net 300被构建为使用加权损失函数进行体积分割。具体而言，用于评估分割性能的度量是Dice相似性系数(DSC，公式1)。因此，为了以最大化DSC为目标来训练3D U-Net 300，所有图像的DSC都被最小化(公式2)。另外，由于背景和目的对象在体积图像的前景中分布不平衡，因此使用加权损失函数，该函数在本文中称为Dice损失(公式3)，其中减小了常见背景的权重，并且增加了前景中目的对象的权重，以使前景和背景体素对损失的影响达到平衡。
Figure BDA0003501376040000291
Figure BDA0003501376040000292
Figure BDA0003501376040000293
其中N是图像的数量，pi表示预测的掩膜，qi表示对应于目的对象的真实值掩膜。
本领域的普通技术人员应当理解，3D U-Net 300不必并入到相对于图1所述的总体计算环境100中以便实现根据本公开的方面所述的对象分割。相反，各种类型的模型均可用于对象分割(例如，CNN、Resnet、典型U-Net、V-Net、SSD网络或递归神经网络RNN等)，只要模型的类型可以被学习以用于医学图像的对象分割即可。
V.体积分割技术
图4示出使用所述多级分割网络来分割目的对象的实例的示例性过程400的流程图。可使用第IV节中相对于图1至3所述的一种或多种计算系统、模型和网络来执行过程400。
过程400从框405处开始，其中获取受试者的医学图像。医学图像可示出头部区域、胸部区域、腹部区域、骨盆区域和/或对应于受试者的肢体的区域。医学图像使用一种或多种医学成像方式生成。例如，用户可操作使用一种或多种医学成像方式的一种或多种成像系统以生成医学图像，如第IV节中相对于图1所述。
在框410处，获得受试者的医学图像。例如，在步骤405中获取的医学图像可以从数据存储设备或一种或多种医学成像系统中检索。医学图像包括具有第一特征的第一图像和具有第二特征的第二图像。在一些实施例中，图像为包括第一测量图(具有第一特征的第一图像)和第二测量图(具有第二特征的第二图像)的DTI参数图。第一测量图与第二测量图不同。DTI参数图是通过在获取MR图像的过程中施加补充MR梯度来生成的。例如，用户可将一种或多种弥散梯度的参数输入成像系统中，并且DTI参数图是通过在获取MR图像的过程中基于一个或多个扩散梯度的参数施加补充MR梯度来生成的(在施加梯度期间，质子的运动影响图像中的信号)。在一些情况下，在获取MR图像的过程中，在多于一个方向上施加弥散梯度。在一些情况下，第一测量图为部分各向异性指数图，并且第二测量图为平均弥散率图。
在框415处，使用定位模型对第一图像内的对象进行定位和分类。分类将第一图像的像素或体素的集合分配至多个对象类别中的一个或多个中。对象类别可包括对应于目的对象的类别(例如，取决于目的对象的类型)、对应于不同生物结构的一个或多个类别、对应于不同器官的一个或多个类别和/或对应于不同组织的一个或多个类别。例如，如果目的对象为病灶，则对象类别可被定义为用于识别病灶、血管和/或器官。定位和分类可由定位模型使用一种或多种聚类算法来执行，所述一种或多种聚类算法将像素或体素集分配至多个对象类别中的一个或多个对象类别。在一些情况下，所述一种或多种聚类算法包括k均值算法，该k均值算法将观测值分配至与多个对象类别相关联的聚类。在一些情况下，所述一种或多种聚类算法进一步包括期望最大化算法期望最大化算法基于一种或多种概率分布来计算聚类成员的概率。k均值算法可用于通过估计多个对象类别中的每个对象类别的初始参数来初始化期望最大化算法。
在框420处，使用定位模型来确定第一图像中目的对象的边界框或分割掩膜。目的对象的边界框或分割掩膜是基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定的。为确定分割掩膜，使用分配有对应于目的对象的对象类别的像素集来识别目的对象的种子位置。将所识别的种子位置投影到z轴，以便增长种子位置并且确定分割掩膜。z轴代表深度，并且增长种子位置以在第三或最终维度上填充对象掩膜的整个空间。在一些情况下，另外在分割掩膜上执行形态闭合和填充。
在框425处，将边界框或分割掩膜转移到第二图像上，以限定该第二图像的包括目的对象的部分。转移对象掩膜包括将边界框或分割掩膜沿切片方向投影到图像的对应区域(第二图像的包括目的对象的部分)和/或将边界框或分割掩膜叠加到第二图像的对应区域(第二图像的包括目的对象的部分)。在一些情况下，分割掩膜被投影到第二图像的二维切片上，使得该二维切片内的分割掩膜的边界可用于限定包围对应于所检测的目的对象的目标区域的矩形边界框。在一些情况下，边界框包括对分割掩膜的周界的每个边缘的附加填充(例如，填充5个像素、10个像素、15个像素等)，以确保包围整个目标区域。在一些情况下，基于边界框或分割掩膜加任选的余量裁剪第二图像，以生成第二图像的部分。可进一步调整每个裁剪部分的大小(例如，使用附加填充)以便保持统一的大小。
在一些实施例中，将第二图像的部分传输至深度超分辨率神经网络进行预处理。该深度超分辨率神经网络可以是(例如)卷积神经网络、残差神经网络、基于注意力的神经网络和/或递归卷积神经网络。深度超分辨率神经网络处理第二图像的传输部分，以便改善该第二图像的该部分的图像空间分辨率(例如，图像细节的放大和/或细化)。
在框430处，将第二图像的部分输入三维神经网络模型中，该三维神经网络模型被构建用于使用加权损失函数进行体积分割(例如，修改的3D U-Net模型)。在一些情况下，加权损失函数为加权Dice损失函数。三维神经网络模型包括使用训练数据集训练的多个参数。所述多个模型参数的数量可相对于标准三维U-Net架构有所减少。训练数据集可包括：具有与围绕目的对象的分割边界相关联的注释的多个图像；以及具有与围绕目的对象的分割边界相关联的注释的多个附加图像。在一些情况下，所述多个附加图像通过将来自多个医学图像的图像直方图与来自多个基准图(例如，从受试者的其他区域获得的图)的图像直方图进行匹配来人工生成。所述多个模型参数使用训练数据集基于最小化加权损失函数来识别。三维神经网络模型进一步包括多个内核，并且内核的数量可相对于标准三维U-Net架构有所减少。
在框435处，三维神经网络模型分割第二图像的部分。该分割包括使用所识别的特征生成目的对象的估计的分割边界。例如，该分割可包括评估特征(诸如每个裁剪部分的强度变化)以识别对应于目的对象的一组边缘和/或轮廓，并且使用所识别的该组边缘和/或轮廓生成目的对象的估计的分割边界。估计的分割边界可代表目的对象的三维周界。在一些情况下，三维神经网络模型还可确定目的对象的分类。例如，对应于病灶的对象可基于其类型或在受试者体内的位置进行分类，诸如例如肺部病灶、肝脏病灶和/或胰腺病灶。作为另一实例，对应于器官和/或组织的对象可被分类为健康的、发炎的、纤维化的、坏死的和/或石膏模型填充的(cast filled)。
在框440处，输出第二图像的具有围绕目的对象的估计的分割边界的部分。在一些情况下，提供该第二图像的该部分。例如，该第二图像的该部分可存储于存储设备中和/或显示于用户设备上。
在任选的框445处，基于围绕目的对象的估计的分割边界采取动作。在一些情况下，该动作包括基于围绕目的对象的估计的分割边界来确定目的对象的尺寸、表面积和/或体积。在一些情况下，提供(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积。例如，(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积可存储于存储设备中和/或显示于用户设备上。用户可接收或获得(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积。在其他情况下，(i)第二图像的具有围绕目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积用于定量分析图像度量，诸如图像强度。例如，在PET中存在标准化摄取值(SUV)，或者在MRI中存在弥散率、T2、T1等，这些参数与某些图像度量诸如图像强度相关，因此定量分析图像度量可用于确定针对特定目的对象的值/度量诸如SUV。
在一些情况下，动作包括使用以下信息来确定受试者的诊断：(i)第二图像的具有围绕所述目的对象的估计的分割边界的部分和/或(ii)目的对象的尺寸、表面积和/或体积。在一些情况下，动作包括由用户基于(i)第二图像的具有围绕目的对象的估计的分割边界的部分、(ii)目的对象的尺寸、表面积和/或体积和/或(iii)受试者的诊断来用化合物施用治疗(例如，施用于受试者)。在其他情况下，动作包括基于(i)第二图像的具有围绕目的对象的估计的分割边界的部分、(ii)目的对象的尺寸、表面积和/或体积和/或(iii)受试者的诊断来确定治疗计划，使得药物的剂量可基于目的对象的尺寸、表面积和/或体积来计算。在一些情况下，动作包括基于比较对应于第一时间点的目的对象的尺寸、表面积和/或体积与对应于第二时间点的目的对象的尺寸、表面积和/或体积来确定治疗是否有效或药物的剂量是否需要调整。
VI.实例
通过参考以下实施例可以更好地理解在各种实施方案中实现的系统和方法。
VI.A.实施例1.–肾脏分割
使用3D U-Net(用期望最大化进行定位)的肾脏分割。
VI.A.i.背景技术
在各种疾病诸如多囊肾病、狼疮肾炎、肾实质疾病、肾移植排斥中，肾功能和活动高度依赖于肾脏体积。通过影像自动评估肾脏，可用于确定受试者的诊断、预后和/或治疗计划。体内成像方式提供了独特的优势和局限性。特别地，MRI不存在电离辐射，不依赖于操作者，并且具有良好的组织对比度，可提供肾脏分割和体积相关的信息。传统方法已被用于更局部地评估肾脏，诸如手动追踪、体视学或通用图像处理。这些方法可能费力或不一致。为解决这些问题，利用集成深度学习模型对肾脏进行分割。
深度学习分割网络已被用于大型生物图像数据集的语义分割。尽管这些网络提供了先进的性能，但它们存在计算成本和内存消耗高的问题，由此限制了它们的视野和深度。因此，这些网络对于在MRI研究中通常发现的有限图像中的小对象的分割特别成问题。MRI往往包括大视野或背景以避免混叠效应。当背景占很大一部分时，网络可能未得到最佳训练以分割前景目的对象。因此，需要一种替代性策略来减少大型3D分割网络的参数，避免过度拟合，并且改善网络性能。
首先，为解决背景效应的问题，在学习的分割之前，将衍生MRI对比度机制(使用DTI)并入到定位步骤中。其次，修改3D U-Net以减少参数的数量并且并入Dice损失函数以用于分割。第三，并入扩充和MRI直方图匹配以增加训练数据集的数量。此外，在一些情况下，将这些技术应用于数据集的超分辨率图像以确定增强图像能否改善分割性能。使用狼疮肾炎的动物模型，在临床前MRI上实现这些技术。
VI.A.ii.动物模型和数据获取
本研究使用15只感染Friend B型病毒的雌性小鼠，其中8只用于狼疮肾炎(LN)疾病组，7只用于对照组。从13周龄开始，每2周对动物成像一次，总共采用4个时间点。在每个时间点，获取每只动物的多个MRI数据集。本研究总共获取了196幅3D MR图像。所有图像均由单个用户手动分割。使用Amira(Thermo Fisher Scientific,Hillsboro,OR)在整个图像体积上逐片勾勒出肾脏轮廓。在MR成像过程中，将动物用异氟烷麻醉，其自主呼吸，并保持在37℃下。MRI在配备体积传输和低温表面接收线圈的Bruker 7T(Billerica,MA)上进行。使用3D打印(Stratasys Dimension)构建定制的体内支架，以提供脑和脊柱的安全定位。使用以下参数对单个局部垫片执行MRI弥散张量成像(单次EPI)：TR＝4s，TE＝42ms，BW＝250kHz，弥散方向＝12。FOV＝22×22mm2，编码矩阵＝110×110，切片＝15，图像分辨率＝200×200μm2，切片厚度＝1mm，获取时间＝13min。计算弥散张量参数图，其包括：FA、MD、AD和RD。将FA和MD图像用于集成语义分割算法。
VI.A.iii.第1阶段：使用EM进行定位
将FA图像用于定位步骤。使用EM对FA图像进行分割，该模型使用K均值(12个类别)进行启发式初始化。使用组织类别中的一种分离大致肾脏附近区域，并且将其用作所检测的对象。将这些参数用于算法：收敛的迭代次数＝7，马尔可夫随机场平滑因子＝0.05。
VI.A.iv.数据扩充
将MD图像与小鼠脑数据集进行直方图匹配以生成新的数据集(图2)。将两个数据集均旋转90°，左右翻转，并且上下翻转。仅对训练集进行数据扩充，以确保网络根据完全看不见的数据进行验证。获取的数据集总数为n＝196。通过扩充，训练数据集从n＝180增加至n＝1800，测试数据集则保留为n＝16。分开训练和测试按动物进行，其中每次将一只动物不用于测试，并且将其余动物用于训练。
VI.A.v.第2阶段：深度语义分割
用于评估分割性能的度量是Dice相似性系数(DSC，公式1)。因此，为了以最大化DSC为目标来训练3D U-Net，所有图像的DSC都被最小化(公式2)。另外，由于体积图像中背景与肾脏的分布不平衡，因此使用了加权损失函数(Dice损失，公式3)。为减轻背景效应，将EM分割掩膜沿切片方向投影。利用每个投影的EM分割掩膜的边界限定用于对象检测的矩形框。将限定的框在所有侧均放大5个像素，以确保覆盖肾脏。在所检测的区域内的MD图像上对3D U-Net进行训练和测试。将相同的所检测的区域用于超分辨率图像。由于基于2D投影的掩膜的裁剪对象在前两个维度上具有任意大小，因此将所有裁剪图像的原始分辨率图像的大小都调整为64×64×16，并且将超分辨率图像的大小调整为64×64×64。
VI.A.vi.超分辨率
将MD图像在穿过平面的方向上超分辨以改善空间分辨率。将110×110×15的原始矩阵进行5×解析，以得到110×110×75的结果矩阵。使用深度超分辨率神经网络增强图像。
VI.A.vii.结果
图5A示出了弥散张量的六个元素。弥散对比度变化在髓质内和髓质外区域最明显。对比度变化在对角线(Dxx,Dyy,Dzz)和非对角线元素(Dxy,Dxz,Dyz)中很明显。因此，皮质中的对比度没有变化，从而导致FA非常低(图5B)。这一低FA允许从背景中分割出肾脏。将MR图像在穿过平面的方向上超分辨以改善空间分辨率，如图5C所示。矢状和冠状方向上的改善最为明显。面内分辨率受到的影响最小，如轴向切片所示(图5C)。图6A示出了在MD图像上训练3D U-Net的结果，其中未经任何预处理。DSC图显示出均值为0.49的均匀分布。在图6B中，腹部区域通过连通域分析作为前景得到检测，并且使用MD图像进行裁剪。DSC图显示出均值为0.52的正态分布。图6C示出了仅使用EM分割所得到的结果。获得的平均DSC为0.65。图6D代表集成策略的结果：首先在FA图像上使用EM分割检测到肾脏，然后在MD图像中检测到的肾脏区域训练3D U-Net。该方法的平均DSC为0.88。使用超分辨率MD图像进行语义分割所得到的DSC图(图6E)非常类似于原始分辨率下的语义分割图(图3D)。在此，平均DSC为0.86。表1汇总了结果与其他比较度量，诸如体积差异(VD)和阳性预测值(PPV)。
表1.使用DSC、VD和PPV所得到的分割结果的均值和标准差。每种方法的最佳值以粗体显示。
Figure BDA0003501376040000361
VI.A.viii.讨论与结论
该实例证明了基于EM的定位与3D U-Net的集成用于肾脏分割。定位步骤导致深度学习方法的结果得到显著改善。还证明，虽然EM分割导致深度学习的性能得到改善，但是仅用EM分割方法时表现不佳。EM分割法在中心切片中分离出肾脏，但是未保留肾脏体积的联合表示。因此，将中心切片用于整个体积的所有切片中所检测的矩形对象。加权Dice损失对于误差最小化以及对象与背景之间的平衡而言可能是显著的。但是，在缺少定位步骤的情况下，发现在包含加权Dice损失的情况下，性能并未显著提高。因此，背景中包含对象和器官，这些对象和器官看起来与肾脏相似，单独使用3D U-Net时无法区分。
本实例中介绍的方法减小了背景效应，并且降低了数据的复杂性。因此，可通过将每个卷积层的内核数量减少至少一半来降低网络的复杂性。在本研究中，利用有限的MRI数据集(n＝196)，获得了0.88的DSC。
VII.其他注意事项
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施方案和可选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
随后的描述仅提供优选的示例性实施方案，并且不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施方案的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。

Claims (81)

1.一种用于分割医学图像内的对象的方法，其包括：
获得受试者的医学图像，所述医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中所述医学图像使用一种或多种医学成像方式生成；
使用定位模型将所述第一图像内的对象定位并且分类为多个对象类别，其中所述分类将所述第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；
使用所述定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于所述第一图像内的目的对象的边界框或分割掩膜；
将所述边界框或所述分割掩膜转移到所述第二图像上，以限定所述第二图像的包括所述目的对象的部分；
将所述第二图像的所述部分输入三维神经网络模型中，所述三维神经网络模型被构建用于使用加权损失函数进行体积分割；
使用所述三维神经网络模型生成围绕所述目的对象的估计的分割边界；以及
使用所述三维神经网络输出所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分。
2.根据权利要求1所述的方法，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式不同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
3.根据权利要求1所述的方法，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式相同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
4.根据权利要求1或2所述的方法，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像不同。
5.根据权利要求1或3所述的方法，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像相同。
6.根据权利要求1至5中任一项所述的方法，其中所述第一特征与所述第二特征不同。
7.根据权利要求1至5中任一项所述的方法，其中所述第一特征与所述第二特征相同。
8.根据权利要求2或3所述的方法，其中所述第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合，并且其中所述第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合。
9.根据权利要求4或5所述的方法，其中所述第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合，并且其中所述第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合。
10.根据权利要求6或7所述的方法，其中所述第一特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中所述第二特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。
11.根据权利要求1所述的方法，其中所述一种或多种医学成像方式为弥散张量成像，所述第一图像为分数各向异性(FA)图，所述第二图像为平均弥散率(MD)图，所述第一特征为分数各向异性对比度，所述第二特征为平均弥散率对比度，并且所述目的对象为所述受试者的肾。
12.根据权利要求1至11中任一项所述的方法，其中所述将所述第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于所述第一图像的多个像素或体素。
13.根据权利要求12所述的方法，其中所述一种或多种聚类算法包括k均值算法，所述k均值算法将观察结果分配给与所述多个对象类别相关联的聚类。
14.根据权利要求13所述的方法，其中所述一种或多种聚类算法进一步包括期望最大化算法，所述期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中所述k均值算法通过估计所述多个对象类别中的每个对象类别的初始参数来初始化所述期望最大化算法。
15.根据权利要求1至14中任一项所述的方法，其中确定所述分割掩膜，并且所述确定所述分割掩膜包括：
使用分配有所述对象类别的所述像素或体素的集合来识别所述目的对象的种子位置；
通过将所述种子位置投影到代表所述分割掩膜的深度的z轴来增长所述种子位置；以及
基于投影的种子位置来确定所述分割掩膜。
16.根据权利要求15所述的方法，其中确定所述分割掩膜进一步包括在所述分割掩膜上执行形态闭合和填充。
17.根据权利要求15或16所述的方法，其进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前基于所述对象掩膜加余量来裁剪所述第二图像，以生成所述第二图像的所述部分。
18.根据权利要求1至17中任一项所述的方法，其进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前将所述第二图像输入深度超分辨率神经网络中，以增加所述第二图像的所述部分的分辨率。
19.根据权利要求1至18中任一项所述的方法，其中所述三维神经网络模型包括使用训练数据集识别的多个模型参数，所述训练数据集包括：
多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及
多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医学图像通过将来自所述多个医学图像的图像直方图与来自多个基准图的图像直方图进行匹配来人工生成；并且
其中所述多个模型参数使用所述训练数据集基于最小化所述加权损失函数来识别。
20.根据权利要求19所述的方法，其中所述加权损失函数为加权Dice损失函数。
21.根据权利要求1至20中任一项所述的方法，其中所述三维神经网络模型为修改的3DU-Net模型。
22.根据权利要求21所述的方法，其中所述修改的3D U-Net模型包括总数在5,000,000个与12,000,000个之间的可学习的参数。
23.根据权利要求21或22所述的方法，其中所述修改的3D U-Net模型包括总数在800个与1,700个之间的内核。
24.根据权利要求1至23中任一项所述的方法，其进一步包括：
基于围绕所述目的对象的所述估计的边界来确定所述目的对象的尺寸、表面积和/或体积；以及
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积。
25.根据权利要求24所述的方法，其进一步包括：由用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
26.根据权利要求1至23中任一项所述的方法，其进一步包括：
由用户使用成像系统获取所述受试者的所述医学图像，其中所述成像系统使用所述一种或多种医学成像方式来生成所述医学图像；
基于围绕所述目的对象的所述估计的分割边界来确定所述目的对象的尺寸、表面积和/或体积；
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；
由所述用户接收(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；以及
由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
27.根据权利要求25或26所述的方法，其进一步包括由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分，(ii)所述目的对象的尺寸、表面积和/或体积，和/或(iii)所述受试者的所述诊断来以化合物施用治疗。
28.一种用于分割医学图像内的对象的系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下项的动作：
获得受试者的医学图像，所述医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中所述医学图像使用一种或多种医学成像方式生成；
使用定位模型将所述第一图像内的对象定位并且分类为多个对象类别，其中所述分类将所述第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；
使用所述定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于所述第一图像内的目的对象的边界框或分割掩膜；
将所述边界框或所述分割掩膜转移到所述第二图像上，以限定所述第二图像的包括所述目的对象的部分；
将所述第二图像的所述部分输入三维神经网络模型中，所述三维神经网络模型被构建用于使用加权损失函数进行体积分割；
使用所述三维神经网络模型生成围绕所述目的对象的估计的分割边界；以及
使用所述三维神经网络输出所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分。
29.根据权利要求28所述的系统，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式不同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
30.根据权利要求28所述的系统，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式相同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
31.根据权利要求28或29所述的系统，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像不同。
32.根据权利要求28或31所述的系统，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像相同。
33.根据权利要求28至32中任一项所述的系统，其中所述第一特征与所述第二特征不同。
34.根据权利要求28至33中任一项所述的系统，其中所述第一特征与所述第二特征相同。
35.根据权利要求29或30所述的系统，其中所述第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合，并且其中所述第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合。
36.根据权利要求31或32所述的系统，其中所述第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合，并且其中所述第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合。
37.根据权利要求33或34所述的系统，其中所述第一特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中所述第二特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。
38.根据权利要求28所述的系统，其中所述一种或多种医学成像方式为弥散张量成像，所述第一图像为分数各向异性(FA)图，所述第二图像为平均弥散率(MD)图，所述第一特征为分数各向异性对比度，所述第二特征为平均弥散率对比度，并且所述目的对象为所述受试者的肾。
39.根据权利要求28至38中任一项所述的系统，其中所述将所述第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于所述第一图像的多个像素或体素。
40.根据权利要求39所述的系统，其中所述一种或多种聚类算法包括k均值算法，所述k均值算法将观察结果分配给与所述多个对象类别相关联的聚类。
41.根据权利要求40所述的系统，其中所述一种或多种聚类算法进一步包括期望最大化算法，所述期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中所述k均值算法通过估计所述多个对象类别中的每个对象类别的初始参数来初始化所述期望最大化算法。
42.根据权利要求28至41中任一项所述的系统，其中确定所述分割掩膜，并且所述确定所述分割掩膜包括：
使用分配有所述对象类别的所述像素或体素的集合来识别所述目的对象的种子位置；
通过将所述种子位置投影到代表所述分割掩膜的深度的z轴来增长所述种子位置；以及
基于投影的种子位置来确定所述分割掩膜。
43.根据权利要求42所述的系统，其中确定所述分割掩膜进一步包括在所述分割掩膜上执行形态闭合和填充。
44.根据权利要求42或43所述的系统，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前基于所述对象掩膜加余量来裁剪所述第二图像，以生成所述第二图像的所述部分。
45.根据权利要求28至44中任一项所述的系统，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前将所述第二图像输入深度超分辨率神经网络中，以增加所述第二图像的所述部分的分辨率。
46.根据权利要求28至45中任一项所述的系统，其中所述三维神经网络模型包括使用训练数据集识别的多个模型参数，所述训练数据集包括：
多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及
多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医学图像通过将来自所述多个医学图像的图像直方图与来自多个基准图的图像直方图进行匹配来人工生成；并且
其中所述多个模型参数使用所述训练数据集基于最小化所述加权损失函数来识别。
47.根据权利要求46所述的系统，其中所述加权损失函数为加权Dice损失函数。
48.根据权利要求28至37中任一项所述的系统，其中所述三维神经网络模型为修改的3D U-Net模型。
49.根据权利要求48所述的系统，其中所述修改的3D U-Net模型包括总数在5,000,000个与12,000,000个之间的可学习的参数。
50.根据权利要求48或49所述的系统，其中所述修改的3D U-Net模型包括总数在800个与1,700个之间的内核。
51.根据权利要求28至50中任一项所述的系统，其中所述动作进一步包括：
基于围绕所述目的对象的所述估计的边界来确定所述目的对象的尺寸、表面积和/或体积；以及
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积。
52.根据权利要求51所述的系统，其中所述动作进一步包括：由用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
53.根据权利要求28至52中任一项所述的系统，其中所述动作进一步包括：
由用户使用成像系统获取所述受试者的所述医学图像，其中所述成像系统使用所述一种或多种医学成像方式来生成所述医学图像；
基于围绕所述目的对象的所述估计的分割边界来确定所述目的对象的尺寸、表面积和/或体积；
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；
由所述用户接收(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；以及
由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
54.根据权利要求52或53所述的系统，其中所述动作进一步包括由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分，(ii)所述目的对象的尺寸、表面积和/或体积，和/或(iii)所述受试者的所述诊断来以化合物施用治疗。
55.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行包括以下项的动作：
获得受试者的医学图像，所述医学图像包括具有第一特征的第一图像和具有第二特征的第二图像，其中所述医学图像使用一种或多种医学成像方式生成；
使用定位模型将所述第一图像内的对象定位并且分类为多个对象类别，其中所述分类将所述第一图像的像素或体素的集合分配至所述多个对象类别中的一个或多个中；
使用所述定位模型，基于分配有所述多个对象类别中的对象类别的像素或体素的集合来确定用于所述第一图像内的目的对象的边界框或分割掩膜；
将所述边界框或所述分割掩膜转移到所述第二图像上，以限定所述第二图像的包括所述目的对象的部分；
将所述第二图像的所述部分输入三维神经网络模型中，所述三维神经网络模型被构建用于使用加权损失函数进行体积分割；
使用所述三维神经网络模型生成围绕所述目的对象的估计的分割边界；以及
使用所述三维神经网络输出所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分。
56.根据权利要求55所述的计算机程序产品，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式不同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
57.根据权利要求55所述的计算机程序产品，其中所述一种或多种医学成像方式包括第一医学成像方式以及与所述第一医学成像方式相同的第二医学成像方式，并且其中所述第一图像由所述第一医学成像方式生成，并且所述第二图像由所述第二医学成像方式生成。
58.根据权利要求55或56所述的计算机程序产品，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像不同。
59.根据权利要求55或57所述的计算机程序产品，其中所述第一图像为第一类型的图像并且所述第二图像为第二类型的图像，并且其中所述第一类型的图像与所述第二类型的图像相同。
60.根据权利要求55至59中任一项所述的计算机程序产品，其中所述第一特征与所述第二特征不同。
61.根据权利要求55至60中任一项所述的计算机程序产品，其中所述第一特征与所述第二特征相同。
62.根据权利要求56或57所述的计算机程序产品，其中所述第一医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合，并且其中所述第二医学成像方式为磁共振成像、弥散张量成像、计算机断层扫描、正电子发射断层扫描、光声断层扫描、X射线、超声波扫描或其组合。
63.根据权利要求58或59所述的计算机程序产品，其中所述第一类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合，并且其中所述第二类型的图像为磁共振图像、弥散张量图像或图、计算机断层扫描图像、正电子发射断层扫描图像、光声断层扫描图像、X射线图像、超声波扫描图像或其组合。
64.根据权利要求60或61所述的计算机程序产品，其中所述第一特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合，并且其中所述第二特征为分数各向异性对比度、平均弥散率对比度、轴向弥散率对比度、径向弥散率对比度、质子密度对比度、T1弛豫时间对比度、T2弛豫时间对比度、弥散系数对比度、低分辨率、高分辨率、药剂对比度、放射性示踪剂对比度、光吸收对比度、回波距离对比度或其组合。
65.根据权利要求55所述的计算机程序产品，其中所述一种或多种医学成像方式为弥散张量成像，所述第一图像为分数各向异性(FA)图，所述第二图像为平均弥散率(MD)图，所述第一特征为分数各向异性对比度，所述第二特征为平均弥散率对比度，并且所述目的对象为所述受试者的肾。
66.根据权利要求55至65中任一项所述的计算机程序产品，其中所述将所述第一图像内的对象定位并且分类包括将一种或多种聚类算法应用于所述第一图像的多个像素或体素。
67.根据权利要求66所述的计算机程序产品，其中所述一种或多种聚类算法包括k均值算法，所述k均值算法将观察结果分配给与所述多个对象类别相关联的聚类。
68.根据权利要求67所述的计算机程序产品，其中所述一种或多种聚类算法进一步包括期望最大化算法，所述期望最大化算法基于一种或多种概率分布来计算聚类成员的概率，并且其中所述k均值算法通过估计所述多个对象类别中的每个对象类别的初始参数来初始化所述期望最大化算法。
69.根据权利要求55至68中任一项所述的计算机程序产品，其中确定所述分割掩膜，并且所述确定所述分割掩膜包括：
使用分配有所述对象类别的所述像素或体素的集合来识别所述目的对象的种子位置；
通过将所述种子位置投影到代表所述分割掩膜的深度的z轴来增长所述种子位置；以及
基于投影的种子位置来确定所述分割掩膜。
70.根据权利要求69所述的计算机程序产品，其中确定所述分割掩膜进一步包括在所述分割掩膜上执行形态闭合和填充。
71.根据权利要求69或70所述的计算机程序产品，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前基于所述对象掩膜加余量来裁剪所述第二图像，以生成所述第二图像的所述部分。
72.根据权利要求55至71中任一项所述的计算机程序产品，其中所述动作进一步包括在将所述第二图像的所述部分输入所述三维神经网络模型中之前将所述第二图像输入深度超分辨率神经网络中，以增加所述第二图像的所述部分的分辨率。
73.根据权利要求55至72中任一项所述的计算机程序产品，其中所述三维神经网络模型包括使用训练数据集识别的多个模型参数，所述训练数据集包括：
多个医学图像，所述多个医学图像具有与围绕目的对象的分割边界相关联的注释；以及
多个附加医学图像，所述多个附加医学图像具有与围绕目的对象的分割边界相关联的注释，其中所述多个附加医学图像通过将来自所述多个医学图像的图像直方图与来自多个基准图的图像直方图进行匹配来人工生成；并且
其中所述多个模型参数使用所述训练数据集基于最小化所述加权损失函数来识别。
74.根据权利要求73所述的计算机程序产品，其中所述加权损失函数为加权Dice损失函数。
75.根据权利要求55至74中任一项所述的计算机程序产品，其中所述三维神经网络模型为修改的3D U-Net模型。
76.根据权利要求75所述的计算机程序产品，其中所述修改的3D U-Net模型包括总数在5,000,000个与12,000,000个之间的可学习的参数。
77.根据权利要求75或76所述的计算机程序产品，其中所述修改的3DU-Net模型包括总数在800个与1,700个之间的内核。
78.根据权利要求55至77中任一项所述的计算机程序产品，其中所述动作进一步包括：
基于围绕所述目的对象的所述估计的边界来确定所述目的对象的尺寸、表面积和/或体积；以及
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积。
79.根据权利要求78所述的计算机程序产品，其中所述动作进一步包括：由用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
80.根据权利要求55至79中任一项所述的计算机程序产品，其中所述动作进一步包括：
由用户使用成像系统获取所述受试者的所述医学图像，其中所述成像系统使用所述一种或多种医学成像方式来生成所述医学图像；
基于围绕所述目的对象的所述估计的分割边界来确定所述目的对象的尺寸、表面积和/或体积；
提供：(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；
由所述用户接收(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的所述尺寸、表面积和/或体积；以及
由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分和/或(ii)所述目的对象的尺寸、表面积和/或体积来确定所述受试者的诊断。
81.根据权利要求79或80所述的计算机程序产品，其中所述动作进一步包括由所述用户基于(i)所述第二图像的具有围绕所述目的对象的所述估计的分割边界的所述部分，(ii)所述目的对象的尺寸、表面积和/或体积，和/或(iii)所述受试者的所述诊断来以化合物施用治疗。
CN202080057028.2A 2019-08-14 2020-08-13 通过对象检测定位的医学图像的三维对象分割 Pending CN114503159A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962886844P 2019-08-14 2019-08-14
US62/886,844 2019-08-14
PCT/US2020/046239 WO2021030629A1 (en) 2019-08-14 2020-08-13 Three dimensional object segmentation of medical images localized with object detection

Publications (1)

Publication Number Publication Date
CN114503159A true CN114503159A (zh) 2022-05-13

Family

ID=72243239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080057028.2A Pending CN114503159A (zh) 2019-08-14 2020-08-13 通过对象检测定位的医学图像的三维对象分割

Country Status (5)

Country Link
US (1) US11967072B2 (zh)
EP (1) EP4014201A1 (zh)
JP (1) JP2022544229A (zh)
CN (1) CN114503159A (zh)
WO (1) WO2021030629A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198670A1 (en) * 2020-12-21 2022-06-23 Siemens Healthcare Gmbh Method and system for automated segmentation of biological object parts in mri
CN114708973A (zh) * 2022-06-06 2022-07-05 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的方法和相关产品
CN115082529A (zh) * 2022-06-30 2022-09-20 华东师范大学 一种大体组织多维信息采集和分析系统与方法
CN115311135A (zh) * 2022-06-24 2022-11-08 西南交通大学 一种基于3dcnn的各向同性mri分辨率重建方法
CN116486196A (zh) * 2023-03-17 2023-07-25 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置
TWI838197B (zh) 2023-03-31 2024-04-01 慧術科技股份有限公司 於同步顯示之手術動態影像中即時標註提示之系統及方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3649933A4 (en) * 2017-07-07 2021-07-14 Osaka University PAIN DETERMINATION USING TREND ANALYSIS, MEDICAL DEVICE WITH MACHINE LEARNING, ECONOMIC DISCRIMINATION MODEL AND IOT, TAILORED MACHINE LEARNING AND NOVEL BRAIN WAVE CHARACTERISTICS DETERMINATION OF PAIN
US11950953B1 (en) * 2018-02-23 2024-04-09 Robert Edwin Douglas Image processing via a modified segmented structure
US11544509B2 (en) * 2020-06-30 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to classify labels based on images using artificial intelligence
KR102490645B1 (ko) * 2020-07-16 2023-01-25 고려대학교 산학협력단 흡수에너지 기반 전기장 암치료 계획 시스템 및 방법
EP3975120B1 (en) 2020-09-24 2023-01-11 Stryker European Operations Limited Technique for guiding acquisition of one or more registration points on a patient's body
TWI790508B (zh) * 2020-11-30 2023-01-21 宏碁股份有限公司 血管偵測裝置及基於影像的血管偵測方法
CN112699937B (zh) * 2020-12-29 2022-06-21 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
US11630882B2 (en) * 2021-04-23 2023-04-18 Hewlett-Packard Development Company, L.P. Adaptation of one shot machine learning model trained on other registered images of other content for usage to instead identify whether input image includes content of registered images
CN113297910B (zh) * 2021-04-25 2023-04-18 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
WO2022236279A1 (en) * 2021-05-04 2022-11-10 The General Hospital Corporation Collaborative artificial intelligence annotation platform leveraging blockchain for medical imaging
CN113160947A (zh) * 2021-05-18 2021-07-23 上海商汤智能科技有限公司 医学图像的展示方法及装置、电子设备和存储介质
CN113450320B (zh) * 2021-06-17 2022-11-29 浙江德尚韵兴医疗科技有限公司 一种基于较深网络结构的超声结节分级与良恶性预测方法
CN114220032A (zh) * 2021-12-21 2022-03-22 一拓通信集团股份有限公司 一种基于通道裁剪的无人机视频小目标检测方法
US11908174B2 (en) * 2021-12-30 2024-02-20 GE Precision Healthcare LLC Methods and systems for image selection
WO2023196474A1 (en) * 2022-04-06 2023-10-12 University Of Virginia Patent Foundation Automation of the blood input function computation pipeline for dynamic fdg pet for human brain using machine learning
WO2024026255A1 (en) * 2022-07-25 2024-02-01 Memorial Sloan-Kettering Cancer Center Systems and methods for automated tumor segmentation in radiology imaging using data mined line annotations
CN115187950B (zh) * 2022-09-13 2022-11-22 安徽中科星驰自动驾驶技术有限责任公司 用于深度学习图像数据增强的新型平衡掩码二次采样方法
EP4345747A1 (en) * 2022-09-30 2024-04-03 Stryker European Operations Limited Medical image data processing technique
CN115359325B (zh) * 2022-10-19 2023-01-10 腾讯科技（深圳）有限公司 图像识别模型的训练方法、装置、设备和介质
CN115619799B (zh) * 2022-12-15 2023-04-18 北京科技大学 一种基于迁移学习的晶粒图像分割方法及系统
CN115953413B (zh) * 2023-03-13 2023-06-02 同心智医科技(北京)有限公司 一种mra图像分割方法、装置及存储介质
CN116030260B (zh) * 2023-03-27 2023-08-01 湖南大学 一种基于长条状卷积注意力的手术全场景语义分割方法
CN116416289B (zh) * 2023-06-12 2023-08-25 湖南大学 基于深度曲线学习的多模图像配准方法、系统及介质
CN116843648A (zh) * 2023-07-04 2023-10-03 北京大学口腔医学院 基于锥形束ct影像的髁突骨改建三维自动定量测量系统
CN116758289B (zh) * 2023-08-14 2023-10-24 中国石油大学(华东) 一种自补偿学习的小样本图像分割方法
CN117893532A (zh) * 2024-03-14 2024-04-16 山东神力索具有限公司 基于图像处理的模锻索具用模具裂纹缺陷检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909805B2 (en) * 2001-01-31 2005-06-21 Matsushita Electric Industrial Co., Ltd. Detecting and utilizing add-on information from a scanned document image
WO2014115151A1 (en) * 2013-01-24 2014-07-31 Tylerton International Holdings Inc. Body structure imaging
US9996919B2 (en) * 2013-08-01 2018-06-12 Seoul National University R&Db Foundation Method for extracting airways and pulmonary lobes and apparatus therefor
US10980519B2 (en) * 2015-07-14 2021-04-20 Duke University Systems and methods for extracting prognostic image features
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
JP6965343B2 (ja) * 2016-10-31 2021-11-10 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 制御フィードバックを用いる画像セグメンテーションの方法及びシステム
JP7448476B2 (ja) * 2018-01-08 2024-03-12 プロジェニクス ファーマシューティカルズ， インコーポレイテッド 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198670A1 (en) * 2020-12-21 2022-06-23 Siemens Healthcare Gmbh Method and system for automated segmentation of biological object parts in mri
CN114708973A (zh) * 2022-06-06 2022-07-05 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的方法和相关产品
CN114708973B (zh) * 2022-06-06 2022-09-13 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的设备和存储介质
CN115311135A (zh) * 2022-06-24 2022-11-08 西南交通大学 一种基于3dcnn的各向同性mri分辨率重建方法
CN115082529A (zh) * 2022-06-30 2022-09-20 华东师范大学 一种大体组织多维信息采集和分析系统与方法
CN116486196A (zh) * 2023-03-17 2023-07-25 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置
CN116486196B (zh) * 2023-03-17 2024-01-23 哈尔滨工业大学（深圳） 病灶分割模型训练方法、病灶分割方法及装置
TWI838197B (zh) 2023-03-31 2024-04-01 慧術科技股份有限公司 於同步顯示之手術動態影像中即時標註提示之系統及方法

Also Published As

Publication number Publication date
US20220230310A1 (en) 2022-07-21
WO2021030629A1 (en) 2021-02-18
JP2022544229A (ja) 2022-10-17
EP4014201A1 (en) 2022-06-22
US11967072B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
US11967072B2 (en) Three-dimensional object segmentation of medical images localized with object detection
Prados et al. Spinal cord grey matter segmentation challenge
Huynh et al. Estimating CT image from MRI data using structured random forest and auto-context model
Kelm et al. Spine detection in CT and MR using iterated marginal space learning
US8724866B2 (en) Multi-level contextual learning of data
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
EP3444781B1 (en) Image processing apparatus and image processing method
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
Huang et al. VP-Nets: Efficient automatic localization of key brain structures in 3D fetal neurosonography
Chen et al. Automatic pathological lung segmentation in low-dose CT image using eigenspace sparse shape composition
Abbasi et al. Medical image registration using unsupervised deep neural network: A scoping literature review
Feulner et al. Lymph node detection in 3-D chest CT using a spatial prior probability
Yan et al. Atlas-based liver segmentation and hepatic fat-fraction assessment for clinical trials
Qiu et al. 3D MR ventricle segmentation in pre-term infants with post-hemorrhagic ventricle dilatation (PHVD) using multi-phase geodesic level-sets
CN114359642A (zh) 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
Gloger et al. Fully automated renal tissue volumetry in MR volume data using prior-shape-based segmentation in subject-specific probability maps
Attyé et al. TractLearn: A geodesic learning framework for quantitative analysis of brain bundles
Arega et al. Leveraging uncertainty estimates to improve segmentation performance in cardiac MR
US20120232379A1 (en) Method and System for Regression-Based 4D Mitral Valve Segmentation From 2D+t Magnetic Resonance Imaging Slices
US11244472B2 (en) Method, system and computer program for determining position and/or orientation parameters of an anatomical structure
Baumgartner et al. Fully convolutional networks in medical imaging: Applications to image enhancement and recognition
Suzani Automatic vertebrae localization, identification, and segmentation using deep learning and statistical models
Meça Applications of Deep Learning to Magnetic Resonance Imaging (MRI)
Baisa et al. MRI-PET registration with automated algorithm in pre-clinical studies
Militzer Learning a prior model for automatic liver lesion segmentation in follow-up CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination