CN113313234A - 用于图像分割的神经网络系统和方法 - Google Patents

用于图像分割的神经网络系统和方法 Download PDF

Info

Publication number
CN113313234A
CN113313234A CN202110586381.6A CN202110586381A CN113313234A CN 113313234 A CN113313234 A CN 113313234A CN 202110586381 A CN202110586381 A CN 202110586381A CN 113313234 A CN113313234 A CN 113313234A
Authority
CN
China
Prior art keywords
neural network
training
encoder
decoder
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110586381.6A
Other languages
English (en)
Inventor
孙善辉
陈平君
陈潇
陈章
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN113313234A publication Critical patent/CN113313234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文描述了可以使用编码器神经网络和解码器神经网络来实施的用于图像分割的神经网络系统和方法。编码器网络可以被配置为接收包括解剖结构的视觉表征的医学图像，并且生成表示医学图像的多个特征的医学图像的隐表征。解码器网络可以使用隐表征来生成用于从医学图像分割解剖结构的掩模。解码器网络可以被预训练以学习与解剖结构相关联的形状先验，并且一旦被训练，解码器网络就可以用于在编码器网络的训练期间约束编码器网络的输出。

Description

用于图像分割的神经网络系统和方法
技术领域
本申请涉及医学成像技术领域。
背景技术
医学成像在现代健康护理服务中扮演重要角色。利用先进的成像设备，诸 如超声扫描仪、X光机、医疗共振成像(MRI)扫描仪、计算机断层摄影(CT) 扫描仪和正电子发射断层摄影(PET)扫描仪，可以生成有价值的图像数据来识 别多个解剖结构和/或可能的异常，诸如患病的器官、囊肿、肿瘤等。由这些扫 描仪生成的数据量增加了对自动图像处理和识别技术的需要。一种这样的自动 技术是图像分割，其包括将图像分割成多个片段并在图像中定位感兴趣的对象 作为候选以供进一步评估或复查的过程。近年来，图像分割技术在先进的机器 学习方法和更深度的神经网络的辅助下取得了显著的进步。但是由于与该技术相关联的实际约束和复杂性，包括域不匹配、图像质量变化、跨人群的生理差 异等，在该领域中仍然存在许多挑战。
发明内容
本文描述了可以使用一个或多个处理器实施的与图像分割相关联的基于神 经网络的系统、方法和装置。示例系统可以包括第一编码器(encoder)神经网 络和解码器(decoder)神经网络。编码器网络可以被配置为接收包括解剖结构 的视觉表征的医学图像，并且通过一个或多个下采样操作和卷积运算来生成医 学图像的表征(例如，隐表征(latentrepresentation))。由编码器网络生成的表征 可以表示从医学图像提取的多个特征。该表征可以被提供给解码器网络，并且 解码器网络可以生成用于通过一个或多个上采样操作和去卷积运算从医学图像 分割解剖结构的掩模(例如，二值掩模(binarymask)或体积二值掩模)。
解码器网络可以被预训练以使用训练数据来学习与解剖结构相关联的形状 先验(shapeprior)，该训练数据表征解剖结构的形状分布。一旦被训练，解码器 网络就可以用于在第一编码器网络的训练期间约束第一编码器网络的输出。第 一编码器网络的这种训练可以迭代地执行，例如以级联方式或使用循环神经网 络。在训练的当前迭代期间，预训练过的解码器网络可以基于在训练的先前迭 代中由第一编码器网络生成的训练图像的表征来生成与训练图像相关联的分割 掩模，并且第一编码器网络可以基于由解码器网络生成的分割掩模和与分割掩 模相关联的金标准(例如，基于损失函数的梯度下降)来预测对训练图像的表 征的调节。
在示例中，解码器网络可以与第二编码器网络协同训练，该第二编码器网 络与第一编码器网络分离。协同训练可以包括第二编码器网络接收训练图像并 生成表示训练图像的多个特征的输出，解码网络基于第二编码器网络的输出来 预测与训练图像相关联的分割掩模，并且第二编码器网络和解码器网络基于与 分割掩模相关联的损失函数来调节它们各自的参数。在示例中，解码器网络可 以在没有对应的编码器网络的情况下被预训练，并且预训练包括解码器网络接 收训练图像的隐表征作为输入，解码器网络基于隐表征来预测与训练图像相关 联的分割掩模，并且解码器网络调节其参数，以最小化所预测的分割掩模和与 分割掩模相关联的金标准之间的损失。
附图说明
从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的 示例。
图1是例示了本文所述的示例图像分割系统的简化框图。
图2是例示了在具有对应的编码器网络的情况下训练示例解码器网络的简 化框图。
图3是例示了在没有对应的编码器网络的情况下训练示例解码器网络的简 化框图。
图4是例示了包括级联神经网络的示例分割系统的简化框图。
图5是例示了包括循环神经网络的示例分割系统的简化框图。
图6是例示了示例神经网络训练过程的流程图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。
图1是例示了根据本文提供的一个或多个示例的被配置为执行图像分割的 示例神经网络系统100的框图。神经网络系统100可以包括编码器网络102和 解码器网络104。编码器网络102可以被配置为接收诸如医学图像(例如，CT 或MRI扫描)的输入图像106，并且产生表示输入图像的一个或多个特征的输 入图像的表征108(例如，低分辨率或低维表征)。编码器网络102可以包括一 个或多个神经网络，诸如一个或多个卷积神经网络(CNN)或全卷积神经网络 (FCN)。这些神经网络中的每一个神经网络可以包括多个层，并且编码器网络 102可以被配置为通过借助神经网络的层对输入图像106执行一系列下采样操作和/或卷积运算来产生表征108。例如，如图1所示，编码器神经网络102可以 包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。各个卷 积层可以包括被配置为从输入图像106提取特定特征的多个卷积核或过滤器。 卷积运算之后可以是批归一化和/或非线性激活，并且可以通过池化层和/或全连 接层对由卷积层提取的特征(例如，为一个或多个特征图的形式)进行下采样 (例如，使用2×2窗口以及2的步幅)，以减少特征的冗余和/或尺寸(例如， 按系数2减少)。编码器网络102的输出可以包括表征108，其取决于要完成的 特定任务而可以是各种形式。比如，表征108可以包括表征输入图像106与后 验分布之间的映射的隐空间变量Z(例如，向量)。在示例中，隐变量Z可以是 固定大小的向量，并且向量的各个元素可以对应于用于类别(例如，用于图像 分类)的相应概率得分、边界框(例如，用于对象检测和定位)的相应坐标集 等。
解码器网络104可以被配置为接收由编码器102产生的表征108，并且基于 表征108来重建输入图像106(例如，恢复其细节)。解码器网络104可以生成 用于从图像106中分割对象(例如，诸如器官的身体部分)的掩模110(例如， 逐像素或逐体素的分割掩模)。解码器网络108可以包括一个或多个神经网络， 诸如各自具有多个层的一个或多个CNN或FCN。通过这些层和一系列上采样操 作和/或转置卷积(例如，去卷积)运算，解码器网络104可以解释由编码器网 络102产生的表征108，并恢复图像的空间细节，例如，用于逐像素或逐体素预 测。比如，解码器网络104可以包括一个或多个去池化层和一个或多个卷积层。 使用去池化层，解码器网络104可以例如基于由编码器存储的池化索引对由编 码器网络102产生的表征108进行上采样。然后，在对各个特征图应用批归一 化以获得输入图像106的高维表征之前，可以通过卷积层(例如，使用步幅为2 的3×3转置卷积核)处理上采样表征以产生多个密集特征图(例如，按系数2 放大)。解码器网络104的输出可以包括分割掩模110，其用于描绘图像106的 一个或多个区域(例如，一个或多个器官、背景等)。在示例中，这种分割掩模 可以对应于多类逐像素/体素的概率图，其中，属于多个类中的每个类的像素或 体素被分配有表示像素/体素的分类的高概率值。在二维(2D)图像的情况下， 解码器网络104的输出可以表示所描绘的区域的边界点，而在三维(3D)图像 的情况下，解码器网络104的输出可以表示与所描绘的区域相关联的3D网格面。
神经网络系统100(例如，编码器网络102和/或解码器网络104)可以使用 一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示 装置、通信装置、输入/输出装置等)来实施。储存装置可以被配置为存储指令， 当这些指令被一个或多个处理器执行时，使得一个或多个处理器执行本文所述 的功能。该一个或多个处理器可以包括中央处理单元(CPU)、图形处理单元 (GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、 专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、 现场可编程门阵列(FPGA)或其组合。一个或多个储存装置可以包括易失性或 非易失性存储器，诸如半导体存储器(例如，电可编程只读存储器(EPROM)、 电可擦可编程只读存储器(EEPROM)等)、闪存、大容量储存装置(例如，磁 盘，诸如内置硬盘、可移动盘、磁光盘、CD-ROM或DVD-ROM盘等)。
另外，应当注意，尽管本文参考各种类型的神经网络、各种类型的层、和/ 或由某些类型的神经网络或层执行的各种任务来描述示例，但是参考仅出于例 示性目的而作出，并且不旨在限制本公开的范围。例如，在某些实施方式中， 编码器网络102和/或解码器网络104可以不包括全连接层，并且仍然能够执行 本文描述的功能。进一步地，即使神经网络系统100被示出和描述为具有编码 器-解码器结构，神经网络系统100的实施方式也不限于一个特定结构。例如， 神经网络系统100可以使用自编码器结构、变分自编码器结构、和/或适用于本 文描述的功能的其他类型的结构来实施。当使用变分自编码器时，可以使用先验正态分布来正则化表征(例如，隐变量z)。
编码器网络102和/或解码器网络104可被训练为学习和使用图像分割期间 的形状先验，以防止或减少与过分割(例如，分割泄漏)和/或欠分割(例如， 由于域不匹配或缺乏训练数据)相关联的问题，并提高分割操作的成功率。当 在本文中被提及时，形状先验可以包括关于要从图像分割的对象的形状的知识。 这些对象可以包括人体的解剖结构(例如，诸如器官)和/或人体中的异常(例 如，诸如囊肿、肿瘤、息肉等)，而形状可以包括部分和完整形状。一旦被学习， 形状先验就可被用于约束编码器网络102和/或解码器网络104的输出，例如， 在神经网络系统100的训练和实际操作两者期间。
在示例中，解码器网络104可以在编码器网络102之前被训练以学习形状 先验，并且预训练过的解码器网络104然后可以用于训练编码器神经网络102 (例如，优化其参数)。如图2和图3例示，解码器网络104的训练可以在有或 没有对应编码器网络的情况下进行。
图2是例示了用于在具有对应编码器网络202的情况下训练解码器网络204 (例如，解码器网络104)的示例过程200的简化框图。编码器网络202可以是 被配置用于训练解码器网络204的编码器网络，由此可见，可以是与图1所示 的编码器网络102分离的网络。编码器网络202和解码器网络204可以分别包 括一个或多个CNN或FCN，各个CNN或FCN具有多个层(例如，分别类似于 编码器网络102和解码器网络104)。编码器网络202和解码器网络204的多个 层可被分配有相应的初始执行参数(例如，过滤权重)，这些参数可例如从一个或多个概率分布取样或基于具有类似架构的另一网络的参数值。
训练过程200可以使用训练数据集来进行，该训练数据集包括与目标解剖 结构(例如，人体器官)相关联的样本分割掩膜。训练数据集中的样本分割掩 模可以表征目标解剖结构的形状分布(例如，样本分割掩模可以与一般人群中 的目标解剖结构的不同形状变化相关联)，由此可见，解码器网络204可以通过 处理样本分割掩模来学习目标结构的形状先验。例如，训练数据集可以包括与 目标解剖结构的不同形状变化相关联的注释分割掩模。在训练期间，编码器网 络202可以从训练数据集接收输入掩模206。编码器网络202可以通过一系列下 采样操作和/或卷积运算(例如，经由编码器网络的多个层)来处理输入掩模206， 以从输入掩模206提取特征并生成表示输入掩模的所提取特征的表征208(例如， 隐变量Z)。表征208可以被提供给解码器网络204，作为响应，解码器网络可 以基于表征208重建分割掩模210。重建可以通过解码器网络204的层以及一系 列上采样操作和转置卷积(例如，去卷积)运算来执行，例如，类似于与解码 器网络104相关联地描述的那些操作。
重建的分割掩模210可以与注释的输入掩模206(例如，作为金标准)进行 比较，以确定重建损失212。重建损失212可以基于各种数学公式计算，这些公 式包括例如均方误差(MSE)、L1/L2范数等。响应于确定重建损失212，编码 器网络202和解码器网络204可以例如基于与重建损失相关联的梯度下降来调 节它们各自的执行参数(例如，权重)，以减少重建损失212。参数的调节例如 可以通过借助编码器和解码器网络反向传播重建误差来执行。训练过程200然 后可以重复，直到满足一个或多个训练终止准则为止(例如，在完成预定次数 的训练迭代之后，在重建损失降到预定阈值以下之后，等等)。
图3是例示了用于在没有对应编码器网络的情况下训练解码器网络304(例 如，解码器网络104)的示例过程300的简化框图。训练过程300可以使用与人 体解剖结构(例如，人体器官)相关联的表征(例如，隐变量Z)308来进行。 表征308例如可以从具有标准偏差的正态分布随机地初始化。在训练期间，解 码器网络304可以接收表征308，并且通过一系列上采样操作和/或去卷积运算 (例如，经由解码器网络的多个层)来处理表征，以基于表征308来预测针对 所涉及的解剖结构的分割掩模310。解码器网络304可以将预测的分割掩模310 与解剖结构的预期分割掩模312(例如，金标准)进行比较，以确定重建损失 314。重建损失314例如可以根据与解码器网络304相关联的损失或目标函数(例 如，MSE、L1/L2范数等)来确定。响应于确定重建损失314，解码器网络304 可以例如基于与损失函数相关联的梯度下降来调节其执行参数(例如，权重)， 以减少重建损失314。表征308还可以基于重建损失314例如使用合适的梯度下 降优化方法来调节(例如，优化)。训练过程300然后可以重复，直到满足一个 或多个训练终止准则为止(例如，在完成预定次数的训练迭代之后，在重建损 失降到预定阈值以下之后，等等)。
预训练过的解码器网络(例如，图1的解码器网络104或图2的解码器网 络204)可以在分割系统(例如，图1的神经网络系统100)中用于从输入图像 分割解剖结构。预训练过的解码器网络还可以用于训练分割系统的编码器网络 (例如，编码器网络102)。例如，预训练过的解码器网络可以用于在编码器网 络的训练期间约束这种编码器网络的输出，并且由解码器网络施加的约束可以 使得编码器网络根据解码器网络所获取的形状先验来学习其参数。在示例中， 编码器网络可以被训练为基于由预训练过的解码器网络获取的形状先验(例如， 使用一个或多个合适的回归技术)来直接预测隐表征(例如，隐变量Z)。在示 例中，编码器网络可以被训练为迭代地预测隐变量Z(例如，使用一个或多个合 适的优化技术)。
图4是例示了包括编码器网络402(例如，图1的编码器网络102)和已学 习形状先验的预训练过的解码器404(例如，图1的解码器网络104、图2的解 码器网络204或图3的解码器网络304)的示例分割系统400的简化框图。分割 系统400可以以使得编码器网络402能够通过迭代过程(例如，元学习过程) 来优化以下方程为目标来训练：
Zn＝Zn-1+ΔZ 1)
其中，方程中的Z可以表示训练图像的特征的表征(例如，隐空间表征)， 并且ΔZ可以表示函数G的梯度输出。
如图4所示，分割系统400可以包括级联神经网络，其包括编码器网络402 和解码器网络404的一个或多个实例，并且系统的训练可以通过一次或多次迭 代来执行。在第一次迭代中，可以例如基于具有标准偏差的正态分布来初始化 与训练图像406相关联的隐变量Z。隐变量Z可被提供给预训练过的解码器网 络404，该解码器网络已根据与训练图像406的目标对象相关联的形状先验获取 其参数，如本文所述。使用预先获取的参数(在编码器402的训练期间可以是 固定的)，解码器网络404可以基于初始隐变量Z来重建与训练图像406相对应 的图像数据和/或分割掩模。解码器网络404的输出可以送入编码器网络402。在示例中，重建的图像数据和分割掩模两者可以被提供给编码器网络402(例如， 经由相应的第一和第二输入通道)。在示例中，可以在没有分割掩模的情况下将 重建的图像数据提供给编码器网络402。基于重建的图像输入和/或分割掩模以 及训练图像406，编码器网络可以预测ΔZ，例如作为损失函数G的梯度输出(例 如，基于MSE或L1/L2范数)。一旦预测了ΔZ，就可以根据方程1)更新初始 隐变量Z)，并且可以将更新后的隐变量Z作为输入提供给训练的第二次迭代。 然后，可以重复上述操作，并且编码器网络402可以在迭代过程期间调节其参 数(例如，权重)，目标是最小化Zn与Zn-1之间的差，使得解码器网络404可以 生成符合目标对象的形状先验的分割掩模410。图4所例示的操作可以迭代地执 行，直到满足一个或多个终止准则为止。例如，在已经完成预定次数的迭代之 后或者直到ΔZ下降到阈值(例如，预定阈值)以下，可以终止操作。
本文描述的分割系统还可以使用循环神经网络(RNN)来实施。图5是例 示了包括RNN的示例分割系统500的简化框图。类似于分割系统400，分割系 统500可以包括已经学习形状先验的预训练过的解码器504(例如，图1的解码 器网络104、图2的解码器网络204或图3的解码器网络304)以及可被训练为 优化上述方程1)的编码器网络502。
在分割系统500的训练期间，可以例如基于具有标准偏差的正态分布来初 始化与训练图像506相关联的隐变量Z。隐变量Z可被提供给预训练过的解码 器网络504，该解码器网络已通过预训练获取其执行参数(例如，权重)，以学 习与训练图像506的目标对象相关联的形状先验，如本文所述。使用这些参数 (在编码器网络502的训练期间可以是固定的)，解码器网络504可以基于隐变 量Z来重建图像数据和/或分割掩模Z。编码器网络502可以接收由解码器网络 404重建的图像数据(例如，在具有或没有由解码器网络预测的分割掩模的情况 下)以及训练图像506。基于重建的图像数据和原始图像，编码器网络502可以 对编码的特征进行预测，并将预测提供给RNN 520。
RNN 520可以将编码器网络502的输出视为当前RNN状态，并且基于上述 方程1)生成可以用于计算Z的更新版本的ΔZ。然后，可以重复上述操作，其 中，通过RNN 520的相应展开(unrolling)来实现训练的每次迭代。在该迭代 过程期间，编码器网络502可以调节其参数(例如，权重)，目标是最小化Zn与Zn-1之间的差，使得解码器网络504可以生成符合目标对象的已学习形状先验 的分割掩模510。图5所例示的操作可以迭代地执行，直到满足一个或多个终止 准则为止。例如，在已经完成预定次数的迭代之后或者直到ΔZ下降到阈值(例如，预定阈值)以下，可以终止操作。
本文所述的各个神经网络可以包括多个层，包括输入层、一个或多个卷积 层、一个或多个非线性激活层、一个或多个池化层、一个或多个全连接层和/或 输出层。各个层可以对应于多个过滤器(例如，核)，且各个过滤器可以被设计 为检测(例如，学习)共同表示相应特征或模式的关键点集合。过滤器可以与 相应的权重相关联，当将相应的权重应用于输入时，产生表示是否已经检测到 某些视觉特征或模式的输出。与过滤器相关联的权重可以由神经网络通过训练 过程来学习，该训练过程包括：将来自一个或多个训练数据集的大量图像输入 到神经网络，计算由当前分配给过滤器的权重产生的差或损失(例如，基于诸如均方误差或L1范数的目标函数、基于余量的损失函数等)，以及更新分配给 过滤器的权重，以便最小化差或损失(例如，基于随机梯度下降)。
图6是可以在本文所述的一个或多个神经网络的训练期间实施和执行的示 例过程600的流程图。过程600可以由位于一个或多个位置的一个或多个计算 机(例如，一个或多个处理器)的系统执行。过程可以在602处开始，并且在 604处，系统可以初始化神经网络的执行参数(例如，与神经网络的一个或多个 层相关联的权重)。例如，系统可以基于来自具有类似架构的另一神经网络的一 个或多个概率分布或参数值的样本来初始化参数。在606处，系统可以使用分 配给层的当前参数值来处理训练图像和/或诸如本文所述的隐变量的其他训练数 据。作为处理的结果，可以进行预测，并且在608处，系统可以例如基于目标 函数或损失函数以及函数的梯度下降来确定对当前参数值的更新。如本文所述， 目标函数可以被设计为使预测结果与金标准之间的差最小化。目标函数可以使 用例如均方误差、L1范数等来实现。在610处，系统可以例如通过反向传播过 程来更新神经网络参数的当前值。在612处，系统可以确定是否满足一个或多 个训练终止准则。例如，如果系统已经完成预定次数的训练迭代，或者如果损 失函数的值在两个训练迭代之间的变化低于预定阈值，则系统可以确定训练终 止准则被满足。如果在612处确定不满足训练终止准则，则系统可以返回到606。 如果在612处确定满足训练终止准则，则系统可以在614处结束训练过程600。
为了说明的简单起见，示例系统的操作在本文中以特定顺序描绘和描述。 然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的 其它操作一起发生。此外，应当注意，不是系统能够执行的所有操作都在本文 中描绘和描述，并且不是所有例示的操作都需要由系统执行。
尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和 方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上 描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换 和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、 “启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置 的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物 理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种 信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以 上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公 开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围 来确定。

Claims (10)

1.一种使用一个或多个处理器实施的用于图像分割的神经网络系统，所述神经网络系统包括：
第一编码器神经网络，其被配置为：
接收包括解剖结构的视觉表征的医学图像；并且
生成所述医学图像的表征，所述表征表示从所述医学图像提取的多个特征；以及
解码器神经网络，其被配置为：
从所述编码器神经网络接收所述医学图像的所述表征；并且
基于所述医学图像的所述表征生成用于从所述医学图像分割所述解剖结构的掩模；
其中，所述解码器神经网络被预训练以使用训练数据集来学习与所述解剖结构相关联的形状先验，所述训练数据集表征所述解剖结构的形状分布，并且其中，所述预训练过的解码器神经网络用于在所述第一编码器神经网络的训练期间约束所述第一编码器神经网络的输出。
2.根据权利要求1所述的神经网络系统，其中，所述第一编码器神经网络被迭代地训练，并且在所述训练的当前迭代期间：
所述预训练过的解码器神经网络基于由所述第一编码器神经网络在所述训练的先前迭代中生成的训练图像的表征来生成与所述训练图像相关联的分割掩模；并且
所述第一编码器神经网络基于由所述解码器神经网络生成的所述分割掩模和与所述分割掩模相关联的金标准来预测对所述训练图像的所述表征的调节。
3.根据权利要求2所述的神经网络系统，其中，所述第一编码器神经网络的所述训练包括：导出所述训练图像的初始表征，并且向所述解码器神经网络提供所述训练图像的所述初始表征，以便获得所述分割掩模的初始预测。
4.根据权利要求2所述的神经网络系统，其中，在所述神经网络系统中以级联方式布置所述第一编码器神经网络和所述解码器神经网络。
5.根据权利要求2所述的神经网络系统，其中，所述第一编码器神经网络的所述训练使用循环神经网络(RNN)来执行，并且所述训练的每次迭代与所述RNN的相应展开相对应。
6.根据权利要求1所述的神经网络系统，其中，所述解码器神经网络与第二编码器神经网络协同训练，并且所述协同训练包括：
所述第二编码器神经网络接收训练图像并且生成表示所述训练图像的多个特征的输出；
所述解码神经网络基于所述第二编码器神经网络的所述输出来预测与所述训练图像相关联的分割掩模；以及
所述第二编码器神经网络和所述解码器神经网络基于与所述分割掩模相关联的损失函数来调节它们各自的参数。
7.根据权利要求1所述的神经网络系统，其中，所述解码器神经网络在没有对应的编码器神经网络的情况下预训练，并且所述预训练包括：
所述解码器神经网络接收训练图像的隐表征作为输入；
所述解码器神经网络基于所述隐表征来预测与所述训练图像相关联的分割掩模；以及
所述解码器神经网络调节其参数，以最小化所述预测的分割掩模和与所述分割掩模相关联的金标准之间的损失。
8.根据权利要求1所述的神经网络系统，其中，由所述第一编码器神经网络生成的所述医学图像的所述表征包括隐变量，或，由所述解码器神经网络生成的所述掩模包括二值掩模。
9.一种用于分割包括解剖结构的视觉表征的医学图像的方法，所述方法包括：
经由第一编码器神经网络接收所述医学图像；
经由所述第一编码器神经网络生成所述医学图像的表征，所述表征表示从所述医学图像提取的多个特征；
在解码器神经网络处接收所述医学图像的所述表征；以及
基于所述医学图像的所述表征经由所述解码器神经网络生成用于从所述医学图像分割所述解剖结构的掩模；
其中，所述解码器神经网络被预训练以使用训练数据来学习与所述解剖结构相关联的形状先验，所述训练数据表征所述解剖结构的形状分布，并且所述预训练过的解码器神经网络用于在所述第一编码器神经网络的训练期间约束所述第一编码器神经网络的输出。
10.一种训练用于图像分割的神经网络系统的方法，所述方法包括：
使用表征解剖结构的形状分布的训练数据来训练解码器神经网络，以学习与所述解剖结构相关联的形状先验，其中，所述解码器神经网络的所述训练包括：
所述解码器神经网络接收包括所述解剖结构的视觉表征的医学图像的表征，所述表征表示所述医学图像的多个特征；
所述解码器神经网络基于所述表征来预测分割掩模；以及
所述解码器神经网络调节其参数，以最小化所述预测的分割掩模和与所述分割掩模相关联的金标准之间的损失；以及
利用所述预训练过的解码器神经网络来训练编码器神经网络，其中，所述编码器神经网络被迭代地训练，并且在所述训练的当前迭代期间：
所述预训练过的解码器神经网络基于在所述训练的先前迭代中由所述编码器神经网络预测的训练图像的表征来生成与所述训练图像相关联的分割掩模的当前版本；
所述编码器神经网络更新其参数，以基于由所述解码器神经网络生成的所述分割掩模的所述当前版本和与分割掩模相关联的金标准来预测对所述训练图像的所述表征的调节；并且
基于由所述编码器神经网络预测的所述调节和在所述先前迭代中由所述编码器神经网络预测的所述训练图像的所述表征来获得所述训练图像的所述表征的调节版本。
CN202110586381.6A 2020-06-18 2021-05-27 用于图像分割的神经网络系统和方法 Pending CN113313234A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/905,115 2020-06-18
US16/905,115 US11488021B2 (en) 2020-06-18 2020-06-18 Systems and methods for image segmentation

Publications (1)

Publication Number Publication Date
CN113313234A true CN113313234A (zh) 2021-08-27

Family

ID=77375743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110586381.6A Pending CN113313234A (zh) 2020-06-18 2021-05-27 用于图像分割的神经网络系统和方法

Country Status (2)

Country Link
US (1) US11488021B2 (zh)
CN (1) CN113313234A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN116369959A (zh) * 2023-06-05 2023-07-04 杭州医策科技有限公司 基于双模态ct的甲状旁腺术前定位方法和装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402527B2 (en) 2017-01-04 2019-09-03 Stmicroelectronics S.R.L. Reconfigurable interconnect
US11593609B2 (en) * 2020-02-18 2023-02-28 Stmicroelectronics S.R.L. Vector quantization decoding hardware unit for real-time dynamic decompression for parameters of neural networks
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
US11531873B2 (en) 2020-06-23 2022-12-20 Stmicroelectronics S.R.L. Convolution acceleration with embedded vector decompression
US11564101B2 (en) * 2020-07-31 2023-01-24 Beijing Voyager Technology Co., Ltd. Method and system for handling network intrusion
US11417423B2 (en) * 2020-08-06 2022-08-16 Shanghai United Imaging Intelligence Co., Ltd. Multi-coil magnetic resonance imaging with artificial intelligence
US20220067983A1 (en) * 2020-08-28 2022-03-03 Nvidia Corporation Object image completion
US11900592B2 (en) * 2020-12-03 2024-02-13 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and storage medium for pancreatic mass segmentation, diagnosis, and quantitative patient management
US11995830B2 (en) * 2021-02-10 2024-05-28 The Trustees Of The University Of Pennsylvania Deep learning architecture for analyzing medical images for body region recognition and delineation
US11948677B2 (en) * 2021-06-08 2024-04-02 GE Precision Healthcare LLC Hybrid unsupervised and supervised image segmentation model
US11983798B2 (en) * 2021-08-03 2024-05-14 GE Precision Healthcare LLC AI-based region-of-interest masks for improved data reconstruction
CN114332102A (zh) * 2021-12-31 2022-04-12 福州大学 基于分离表示的脑肿瘤图像生成与分割联合学习方法
CN114463332B (zh) * 2022-04-13 2022-06-10 北京航空航天大学 用于跨数据源医学图像分割的无监督域适应方法及系统
CN114972313B (zh) * 2022-06-22 2024-04-19 北京航空航天大学 图像分割网络预训练方法及装置
CN115393396B (zh) * 2022-08-18 2024-02-02 西安电子科技大学 一种基于掩码预训练的无人机目标跟踪方法
CN115294400B (zh) * 2022-08-23 2023-03-31 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115829962B (zh) * 2022-11-25 2024-04-16 江南大学 医学图像分割装置、训练方法及医学图像分割方法
CN116109655B (zh) * 2023-01-16 2024-06-25 阿里巴巴（中国）有限公司 图像编码器处理方法及装置、图像分割方法
CN116758289B (zh) * 2023-08-14 2023-10-24 中国石油大学(华东) 一种自补偿学习的小样本图像分割方法
CN117111696A (zh) * 2023-09-07 2023-11-24 脉得智能科技(无锡)有限公司 一种医疗图像分割方法及医疗图像分割模型的训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673345A (zh) * 2009-07-01 2010-03-17 北京交通大学 基于形状先验的提取目标闭合轮廓的方法
CN108573287A (zh) * 2018-05-11 2018-09-25 浙江工业大学 一种基于深度神经网络的图像编解码器的训练方法
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
CN109804383A (zh) * 2016-08-04 2019-05-24 谷歌有限责任公司 使用神经网络编码和重构输入
US20200082534A1 (en) * 2018-09-10 2020-03-12 Deepmind Technologies Limited 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535141B2 (en) * 2018-02-06 2020-01-14 Google Llc Differentiable jaccard loss approximation for training an artificial neural network
US10991091B2 (en) * 2018-10-30 2021-04-27 Diagnocat Inc. System and method for an automated parsing pipeline for anatomical localization and condition classification
US11707242B2 (en) * 2019-01-11 2023-07-25 Pie Medical Imaging B.V. Methods and systems for dynamic coronary roadmapping
US11347965B2 (en) * 2019-03-21 2022-05-31 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
US10426442B1 (en) * 2019-06-14 2019-10-01 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US20200395117A1 (en) * 2019-06-14 2020-12-17 Cycle Clarity, LLC Adaptive image processing method and system in assisted reproductive technologies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673345A (zh) * 2009-07-01 2010-03-17 北京交通大学 基于形状先验的提取目标闭合轮廓的方法
CN109804383A (zh) * 2016-08-04 2019-05-24 谷歌有限责任公司 使用神经网络编码和重构输入
CN108573287A (zh) * 2018-05-11 2018-09-25 浙江工业大学 一种基于深度神经网络的图像编解码器的训练方法
US20200082534A1 (en) * 2018-09-10 2020-03-12 Deepmind Technologies Limited 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN116369959A (zh) * 2023-06-05 2023-07-04 杭州医策科技有限公司 基于双模态ct的甲状旁腺术前定位方法和装置
CN116369959B (zh) * 2023-06-05 2023-08-11 杭州医策科技有限公司 基于双模态ct的甲状旁腺术前定位方法和装置

Also Published As

Publication number Publication date
US20210397966A1 (en) 2021-12-23
US11488021B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
US11488021B2 (en) Systems and methods for image segmentation
CA3091035C (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN109598727B (zh) 一种基于深度神经网络的ct图像肺实质三维语义分割方法
US11593943B2 (en) RECIST assessment of tumour progression
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Ypsilantis et al. Recurrent convolutional networks for pulmonary nodule detection in CT imaging
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
EP3555850A1 (en) System and method for image segmentation using a joint deep learning model
CN115136189A (zh) 基于图像处理的肿瘤的自动化检测
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans
CN115035093A (zh) 基于注意力对称自编码的脑肿瘤自监督预训练方法、装置
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
KR102179090B1 (ko) 신경망을 이용한 의료 진단 방법
CN112419343A (zh) 用于图像分割的系统和方法
CN113269754B (zh) 用于运动估计的神经网络系统和方法
CN115546270A (zh) 多尺度特征融合的图像配准方法、模型训练方法及设备
CN115797378A (zh) 基于几何交并比损失的前列腺轮廓分割方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114972382A (zh) 一种基于轻量级UNet++网络的脑肿瘤分割算法
Han et al. Three dimensional nuclei segmentation and classification of fluorescence microscopy images
CN112734798B (zh) 神经网络的在线自适应系统和方法
CN114387257A (zh) 肺部影像中肺叶区域的分割方法、系统、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination