CN113240699A - 图像处理方法及装置，模型的训练方法及装置，电子设备 - Google Patents

图像处理方法及装置，模型的训练方法及装置，电子设备 Download PDF

Info

Publication number
CN113240699A
CN113240699A CN202110551872.7A CN202110551872A CN113240699A CN 113240699 A CN113240699 A CN 113240699A CN 202110551872 A CN202110551872 A CN 202110551872A CN 113240699 A CN113240699 A CN 113240699A
Authority
CN
China
Prior art keywords
image
intervertebral disc
mask
sample image
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110551872.7A
Other languages
English (en)
Other versions
CN113240699B (zh
Inventor
简伟健
孙岩峰
韦人
贾玉杰
金鸽
张欢
王瑜
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110551872.7A priority Critical patent/CN113240699B/zh
Publication of CN113240699A publication Critical patent/CN113240699A/zh
Application granted granted Critical
Publication of CN113240699B publication Critical patent/CN113240699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像处理方法及装置，模型的训练方法及装置，电子设备。该方法包括：将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度；通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像；将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果，能够避免在对椎间盘进行分割时出现欠分割、过分割等现象。

Description

图像处理方法及装置，模型的训练方法及装置，电子设备
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法及装置，模型的训练方法及装置，电子设备。
背景技术
对于骨骼CT图像分割的研究，其非常重要的临床价值体现在计算机辅助信息的识别和帮助神经病理学的临床研究。如果椎间盘的结构没有被正确的分割和识别，那么所谓的用计算机描述的临床价值将受到局限。
发明内容
有鉴于此，本申请的实施例致力于提供一种图像处理方法及装置，模型的训练方法及装置，电子设备，能够避免在对椎间盘进行分割时出现欠分割、过分割等现象。
根据本申请实施例的第一方面，提供了一种图像处理方法，包括：将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度，其中，所述第一椎间盘掩模图像包括所述待分割图像的背景和椎间盘的初分割结果，所述第一形变场表征所述待分割图像的椎间盘的实际位置与所述第一椎间盘掩模图像椎间盘的预测位置之间的偏差，所述第一置信度表征准确预测所述第一椎间盘掩模图像的椎间盘的概率值；通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像，其中，所述第一配准掩模图像包括所述待分割图像的背景和椎间盘的再分割结果；将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
在一个实施例中，所述方法还包括：将所述待分割图像和所述待分割图像的第二椎间盘掩模图像输入所述深度学习模型，以获得第二形变场和所述第二椎间盘掩模图像对应的第二置信度，其中，所述第二椎间盘掩模图像为将所述第一椎间盘掩模图像向上或向下平移预设距离而得到；通过所述第二形变场，对所述第二椎间盘掩模图像进行插值操作，以获得所述第二配准掩模图像；将所述第二配准掩模图像和所述第二置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第二分割结果；将所述第二分割结果和所述第一分割结果进行融合，以获得融合分割结果。
在一个实施例中，所述方法还包括：将所述待分割图像输入骨骼分割模型，以获得二分类骨骼的掩模图像，其中，所述二分类骨骼的掩模图像包括所述待分割图像的背景和骨骼的分割结果；将所述二分类骨骼的掩模图像输入椎间盘分割模型，以获得所述第一椎间盘掩模图像。
根据本申请实施例的第二方面，提供了一种深度学习模型的训练方法，包括：根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，其中，所述椎间盘掩模样本图像包括所述样本图像的背景和椎间盘的初分割结果，所述形变场表征所述样本图像的椎间盘的实际位置与所述椎间盘掩模样本图像椎间盘的预测位置之间的偏差，所述置信度表征准确预测所述椎间盘掩模样本图像的椎间盘的概率值；通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像，其中，所述配准掩模样本图像包括所述样本图像的背景和椎间盘的再分割结果；根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
在一个实施例中，所述方法还包括：在所述椎间盘掩模样本图像中添加或者删除预设数量的椎间盘，获得与置信度对应的训练样本。
在一个实施例中，所述根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，包括：将所述样本图像和所述椎间盘掩模样本图像输入所述深度学习模型进行配准，以获得所述形变场；将所述训练样本输入所述深度学习模型，以获得所述置信度。
在一个实施例中，所述方法还包括：确定所述形变场的平滑损失函数值。
在一个实施例中，所述根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数，包括：根据所述第一损失函数值、所述第二损失函数值和所述平滑损失函数值，更新所述深度学习模型的参数。
在一个实施例中，所述方法还包括：计算所述样本图像的分割金标准与所述配准掩模样本图像之间的交集，以确定所述交集区域为椎间盘标签，所述交集区域以外的区域为背景标签；确定所述椎间盘标签和所述背景标签为所述分割金标准相关的训练标签。
根据本申请实施例的第三方面，提供了一种图像处理装置，包括：输入模块，配置为将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度，其中，所述第一椎间盘掩模图像包括所述待分割图像的背景和椎间盘的初分割结果，所述第一形变场表征所述待分割图像的椎间盘的实际位置与所述第一椎间盘掩模图像椎间盘的预测位置之间的偏差，所述第一置信度表征准确预测所述第一椎间盘掩模图像的椎间盘的概率值；第一插值模块，配置为通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像，其中，所述第一配准掩模图像包括所述待分割图像的背景和椎间盘的再分割结果；相乘模块，配置为将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
在一实施例中，所述装置还包括：用于执行上述实施例提及的图像处理方法中的各个步骤的模块。
根据本申请实施例的第四方面，提供了一种深度学习模型的训练装置，包括：获取模块，配置为根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，其中，所述椎间盘掩模样本图像包括所述样本图像的背景和椎间盘的初分割结果，所述形变场表征所述样本图像的椎间盘的实际位置与所述椎间盘掩模样本图像椎间盘的预测位置之间的偏差，所述置信度表征准确预测所述椎间盘掩模样本图像的椎间盘的概率值；第二插值模块，配置为通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像，其中，所述配准掩模样本图像包括所述样本图像的背景和椎间盘的再分割结果；更新模块，配置为根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
在一实施例中，所述装置还包括：用于执行上述实施例提及的深度学习模型的训练方法中的各个步骤的模块。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。
本申请的实施例所提供的一种图像处理方法，首先通过将待分割图像和待分割图像的第一椎间盘掩模图像输入深度学习模型，获得第一形变场和第一椎间盘掩模图像对应的第一置信度，再通过第一形变场，对第一椎间盘掩模图像进行插值操作，获得第一配准掩模图像，最后将第一配准掩模图像和第一置信度进行相乘操作，获得待分割图像的背景和椎间盘的第一分割结果，能够避免在对椎间盘进行分割时出现欠分割、过分割等现象。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的图像处理系统的示意图。
图3所示为本申请一个实施例提供的图像处理方法的流程示意图。
图4所示为本申请另一个实施例提供的图像处理方法的流程示意图。
图5所示为本申请一个实施例提供的椎间盘掩模图像的示意图。
图6所示为本申请一个实施例提供的获取总融合分割结果的过程的示意图。
图7所示为本申请一个实施例提供的图像分割模型的训练方法的流程示意图。
图8所示为本申请一个实施例提供的图像处理装置的框图。
图9所示为本申请另一个实施例提供的图像处理装置的框图。
图10所示为本申请又一个实施例提供的图像处理装置的框图。
图11所示为本申请一个实施例提供的深度学习模型的训练装置的框图。
图12所示为本申请另一个实施例提供的深度学习模型的训练装置的框图。
图13所示为本申请一个实施例提供的获取模块的框图。
图14所示为本申请又一个实施例提供的深度学习模型的训练装置的框图。
图15所示为本申请再一个实施例提供的深度学习模型的训练装置的框图。
图16所示为本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
申请概述
深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
现有的椎间盘分割方法一般是通过深度学习进行语义分割或者实例分割，但是由于不同人脊椎密度、形态差异较大，且对于病变的椎间盘，或者CT剂量较低的情况下，成像效果差异也较大，故经常出现欠分割、过分割等现象。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取胸腹CT图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
CT扫描仪130用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪130对胸腹部进行扫描，可以得到胸腹部X线正位片，即，胸腹CT图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，计算机设备110中可以部署有深度学习模型，用于对胸腹CT图像进行分割。首先，计算机设备110可以利用其上部署的深度学习模型，将其从CT扫描仪130处获取的胸腹CT图像和与胸腹CT图像对应的椎间盘掩模图像进行配准，获取形变场，并根据形变场，对椎间盘掩模图像进行插值操作，获得配准掩模图像。然后，计算机设备110可以利用其上部署的深度学习模型，对椎间盘掩模图像进行检测，获取用于表征准确预测椎间盘掩模图像的椎间盘的概率值的置信度。最后，计算机设备110将置信度和配准掩模图像相乘，获得椎间盘对应的分割结果。这样，能够避免在对椎间盘进行分割时出现欠分割、过分割等现象。
在一些可选的实施例中，服务器120利用胸腹CT样本图像对神经网络进行训练，以得到深度学习模型。计算机设备110可以将其从CT扫描仪130处获取到的胸腹CT图像发送给服务器120。首先，服务器120可以利用深度学习模型，将其从计算机设备110处获取的胸腹CT图像和与胸腹CT图像对应的椎间盘掩模图像进行配准，获取形变场，并根据形变场，对椎间盘掩模图像进行插值操作，获得配准掩模图像。然后，服务器120可以利用深度学习模型，对椎间盘掩模图像进行检测，获取用于表征准确预测椎间盘掩模图像的椎间盘的概率值的置信度。最后，服务器120将置信度和配准掩模图像相乘，获得椎间盘对应的分割结果，并将分割结果发送给计算机设备110，以供医护人员查看。这样，能够避免在对椎间盘进行分割时出现欠分割、过分割等现象。
图2是本申请一个实施例提供的图像处理系统的框图。如图2所示，该系统包括：
骨分割模型21，用于对待分割图像A进行分割，获得二分类骨骼的掩模图像B；
椎间盘分割模型22，用于对二分类骨骼的掩模图像B进行分割，获得椎间盘掩模图像C；
深度学习模型23，用于根据待分割图像A中的与椎骨相关的图像A’和椎间盘掩模图像C，得到一系列的形变场D以及椎间盘掩模图像对应的置信度E；
插值模块24，用于根据一系列的形变场D，对椎间盘掩模图像C进行插值操作，获得配准掩模图像F；
相乘模块25，用于将配准掩模图像F和置信度E进行相乘操作，获得待分割图像A的背景和椎间盘的分割结果G。
参照图2中带箭头实线所示的数据流向，以此方式来获取本实施例中的分割结果G。
示例性方法
图3是本申请一个实施例提供的图像处理方法的流程示意图。图3所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图3所示，该方法包括如下内容。
S310：将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度。
在一实施例中，该待分割图像可以是指原始胸腹部医学影像，其可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术直接获得的影像。
在一实施例中，该待分割图像也可以是指经过预处理后的图像，预处理后的图像可以是指对原始胸腹部医学影像进行预处理后，得到的医学影像。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等。
在一实施例中，该待分割图像可以是三维胸腹部平扫CT影像，也可以是三维胸腹部平扫CT影像中的一部分三维医学影像，还可以是三维胸腹部平扫CT影像中的一层二维医学影像，本申请实施例对此并不作具体限定。
在一实施例中，第一椎间盘掩模图像包括待分割图像的背景和椎间盘的初分割结果，也就是说，对待分割图像进行椎间盘的初步分割，可以获得初分割结果，再利用预设阈值，对初分割结果进行二值化处理，可以得到第一椎间盘掩模图像，即，该第一椎间盘掩模图像上的各个像素点可以用0或1进行表示，1表示椎间盘区域的像素点，0表示背景区域的像素点。
但是第一椎间盘掩模图像上的椎间盘的预测位置与待分割图像上的椎间盘的实际位置会有细微差别，所以为了能够得到更加准确的椎间盘的分割结果，可以采用一个深度学习模型，对初分割结果进行修正。但是需要说明的是，本申请实施例并不具体限定深度学习模型的具体网络结构，本领域技术人员可以根据实际需求，设计不同的网络结构。
在一实施例中，将待分割图像和第一椎间盘掩模图像输入该深度学习模型中进行图像配准，可以得到一系列的第一形变场，也就是说，利用该深度学习模型，将待分割图像映射到第一椎间盘掩模图像上，可以得到一系列形变场，例如，x，y，z三个方向的形变场，每个形变场大小与输入图像一致。该第一形变场表征待分割图像的椎间盘的实际位置与第一椎间盘掩模图像的椎间盘的预测位置之间的偏差。
由于第一椎间盘掩模图像是指椎间盘已经分割好的模板，即，二值图像，其中1表示椎间盘区域，0表示背景区域，所以深度学习模型的图像配准是一种全局的先验知识的运用，分割过程引入了形状先验信息，无需手动设置初始边界、对噪声和偏移场不敏感，同时，分割得到的椎间盘更加完整，不容易欠分割；而一般的分割模型是对像素做分类，像素之间的联系不够紧密，容易造成分割出孤岛、缺失的现象。
在一实施例中，在将待分割图像和第一椎间盘掩模图像输入深度学习模型中时，除了进行图像配准外，还可以进行图像检测，以得到第一椎间盘掩模图像对应的第一置信度，其大小与输入图像一致。该第一置信度表征准确预测第一椎间盘掩模图像的椎间盘的概率值(0至1之间的值)，也就是说，第一椎间盘掩模图像中的每一个椎间盘都会对应一个概率值。
在一个实施例中，第一椎间盘掩模图像可以通过如下方式来获取：将所述待分割图像输入骨骼分割模型，以获得二分类骨骼的掩模图像，其中，所述二分类骨骼的掩模图像包括所述待分割图像的背景和骨骼的分割结果；将所述二分类骨骼的掩模图像输入椎间盘分割模型，以获得所述第一椎间盘掩模图像。
该二分类骨骼的掩模图像上的各个像素点可以用0或1进行表示，1表示骨骼区域的像素点，0表示背景区域的像素点。
在对椎间盘进行初分割时，只是将二分类骨骼的掩模图像输入到椎间盘分割模型，而没有将待分割图像输入到椎间盘分割模型，这是因为不同的待分割图像的差异较大，容易造成过拟合，而只输入二分类骨骼的掩模图像，可以使椎间盘分割模型通过骨骼形状，来判断椎间盘的位置，从而提高了鲁棒性，减少缺失、假阳等现象。
本申请实施例对该骨骼分割模型和椎间盘分割模型的具体类型不作限定，该骨骼分割模型和椎间盘分割模型可以是通过机器学习所获得的浅层模型，例如SVM分类器，或线性回归分类器等等，通过机器学习所获得的骨骼分割模型和椎间盘分割模型可以实现快速的图像分割，以提高模型分割的效率；该骨骼分割模型和椎间盘分割模型也可以是指通过深度学习获得的深层模型，该骨骼分割模型和椎间盘分割模型可以由任意类型的神经网络构成，且这些网络可以以ResNet、ResNeXt或DenseNet等为主干网络，通过深度学习所获得的骨骼分割模型和椎间盘分割模型可以提高模型分割的准确性。可选地，该骨骼分割模型和椎间盘分割模型可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等。该骨骼分割模型和椎间盘分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本申请实施例对此不作具体限定。另外，本申请实施例对每一种神经网络层的个数也不作限定。
在一实施例中，该第一椎间盘掩模图像还可以是经过随机弹性形变而获得的。
S320：通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像。
在一实施例中，将一系列第一形变场应用到第一椎间盘掩模图像上，对第一椎间盘掩模图像进行插值操作，可以得到一系列的变形后的第一椎间盘掩模图像，再对一系列的变形后的第一椎间盘掩模图像进行融合，得到第一配准掩模图像。其中，融合的方法可以包括多数表决方法、加权表决方法、STAPLE算法或SIMPLE方法等，本申请实施例对融合的方法不作具体限定。
在一实施例中，第一配准掩模图像包括待分割图像的背景和椎间盘的再分割结果，也就是说，在初分割结果的基础上，对待分割图像进行椎间盘的再次分割，可以得到再分割结果。该第一配准掩模图像上的各个像素点也可以用0或1进行表示，1表示椎间盘区域的像素点，0表示背景区域的像素点。
该初分割结果可以理解为是待分割图像的椎间盘的粗略的分割结果，再分割结果可以理解为是对粗略的分割结果进行优化后，所得到的精细的分割结果，也就是说，再分割结果的分割精度高于初分割结果的分割精度。
S330：将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
由于第一配准掩模图像包括的再分割结果中也可能包含错误分割的椎间盘，通过将第一置信度与第一配准掩模图像进行相乘操作，可以过滤掉错误分割的椎间盘，提高分割的效果。
第一配准掩模图像上的椎间盘区域的像素点表示为1，第一置信度为0至1之间的值。例如，第一配准掩模图像上的具有3个椎间盘(分别为椎间盘1、椎间盘2、椎间盘3)，那么第一置信度也为三个值(分别为与椎间盘1对应的P1、与椎间盘2对应的P2、与椎间盘3对应的P3)。假如P1为96％，P2为0％，P3为92％，将椎间盘1与P1相乘后得到0.96，将椎间盘2与P2相乘后得到0，将椎间盘3与P3相乘后得到0.92，这表示第一配准掩模图像上实际上不存在椎间盘2，其为错误分割的椎间盘。
因此，通过将第一配准掩模图像和第一置信度相乘，能够对再分割结果进行进一步的优化，以得到分割精度更高的第一分割结果，从而提高分割的效果。
在本申请另一个实施例中，如图4所示，图3所述的方法还包括如下内容。
S410：将所述待分割图像和所述待分割图像的第二椎间盘掩模图像输入所述深度学习模型，以获得第二形变场和所述第二椎间盘掩模图像对应的第二置信度。
本实施例中的步骤S410的具体实施细节与步骤S310中的具体实施细节相似，相同的实施细节在此不再赘述，请参见步骤S310的相关描述，这里只描述不同之处。
在一实施例中，将第一椎间盘掩模图像向上或向下平移预设距离，可以得到第二椎间盘掩模图像，但是需要说明的是，本申请实施例并不具体限定预设距离的具体取值，预设距离是一个可调的超参数，本领域技术人员可以根据实际需求，进行不同的选择。
如图5中左侧所示的是经过向上平移预设距离后得到的第二椎间盘掩模图像，如图5中中间所示的是第一椎间盘掩模图像，如图5中右侧所示的是经过向下平移预设距离后得到的第二椎间盘掩模图像。
S420：通过所述第二形变场，对所述第二椎间盘掩模图像进行插值操作，以获得所述第二配准掩模图像。
本实施例中的步骤S420的具体实施细节与步骤S320中的具体实施细节相同，在此不再赘述，请参见步骤S320的相关描述。
S430：将所述第二配准掩模图像和所述第二置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第二分割结果。
本实施例中的步骤S430的具体实施细节与步骤S330中的具体实施细节相同，在此不再赘述，请参见步骤S330的相关描述。
S440：将所述第二分割结果和所述第一分割结果进行融合，以获得融合分割结果。
由于第一椎间盘掩模图像很可能存在椎间盘分割缺失的情况，通过将第一椎间盘掩模图像向上或者向下平移预设距离，得到的第二分割结果与第一分割结果进行融合，可以弥补分割缺失的椎间盘。
但是需要说明的是，本申请实施例并不具体限定融合的具体实现形式，可以将第二分割结果和第一分割结果取平均，得到融合分割结果，也可以将第二分割结果和第一分割结果取并集，得到融合分割结果。
在本申请另一个实施例中，还可以将第一椎间盘掩模图像向上和向下平移预设距离，分别得到向上的第二椎间盘掩模图像和向下的第二椎间盘掩模图像，再基于向上的第二椎间盘掩模图像和向下的第二椎间盘掩模图像，执行步骤S410至S430，以获得与向上的第二椎间盘掩模图像对应的第二分割结果和与向下的第二椎间盘掩模图像对应的第二分割结果，最后将与向上的第二椎间盘掩模图像对应的第二分割结果、与向下的第二椎间盘掩模图像对应的第二分割结果以及第一分割结果进行融合，获得总融合分割结果。如图6所示，其示出了获取总融合分割结果的过程。
虚线框X内示出了基于第一椎间盘掩模图像x，获取第一分割结果x’的过程；虚线框Y内示出了基于向上的第二椎间盘掩模图像y，获取与向上的第二椎间盘掩模图像对应的第二分割结果y’的过程；虚线框Z内示出了基于向下的第二椎间盘掩模图像z，获取与向下的第二椎间盘掩模图像对应的第二分割结果z’的过程。最后，将与向上的第二椎间盘掩模图像对应的第二分割结果y’、与向下的第二椎间盘掩模图像对应的第二分割结果z’以及第一分割结果x’进行融合，获得总融合分割结果xyz。
向上的第二椎间盘掩模图像y中的最上方椎间盘实际上是不存在的椎间盘，通过设置置信度的方法，在第二分割结果y’中可以过滤掉最上方椎间盘。向下的第二椎间盘掩模图像z中的最下方椎间盘实际上是不存在的椎间盘，通过设置置信度的方法，在第二分割结果z’中可以过滤掉最下方椎间盘。第一椎间盘掩模图像x中存在未被分割出的椎间盘，将第一椎间盘掩模图像x向上和向下移动预设距离后，得到的总融合分割结果xyz可以将未被分割出的椎间盘弥补上。
在一实施例中，上述提到的骨骼分割模型、椎间盘分割模型以及深度学习模型可以通过3D的神经网络进行训练得到的3D模型。
图7是本申请一个实施例提供的深度学习模型的训练方法的流程示意图。图7所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图7所示，该方法包括如下内容。
S710：根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度。
本实施例中的样本图像、椎间盘掩模样本图像、形变场以及椎间盘掩模样本图像对应的置信度均与上述图3所示的方法中的待分割图像、第一椎间盘掩模图像、第一形变场以及第一置信度相同，在此不再赘述。
在一实施例中，该深度学习模型具有两个分支，一个分支用于进行图像配准，以输出形变场，另一个分支用于进行图像检测，以输出椎间盘掩模样本图像对应的置信度。
S720：通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像。
本实施例中的步骤S720的具体实施细节与步骤S320中的具体实施细节相同，在此不再赘述，请参见步骤S320的相关描述。
本实施例中的配准掩模样本图像与上述图3所示的方法中的第一配准掩模图像相同，在此不再赘述。
S730：根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
在一实施例中，利用第一损失函数，计算配准掩模样本图像与样本图像的分割金标准(即，目标结果)之间的相似度损失，可以得到第一损失函数值。相似度损失可以通过均方差(MSE)、互相关(Normalized Cross Correlation)等方法来获取，本申请实施例对此并不作具体限定。
第一损失函数值越小，代表预测出的配准掩模样本图像越接近目标结果，预测正确的准确率越高，相反，第一损失函数值越大，代表预测正确的准确率越低。
同理，利用第二损失函数，计算置信度和分割金标准相关的训练标签之间的第二损失函数值。该第二损失函数可以为二元交叉熵(BinaryCrossEntropy)，本申请实施例对此并不作具体限定。
在一实施例中，将第一损失函数值和第二损失函数值进行梯度反传，以更新深度学习模型的参数，例如权重，偏值等，本申请对此不做限定。
在一实施例中，分割金标准相关的训练标签可以是指样本图像的训练标签，也可以是指样本图像的分割金标准与配准掩模样本图像之间的交集所形成的标签，还可以是指样本图像的分割金标准与椎间盘掩模样本图像之间的交集所形成的标签，本申请实施例对此并不作具体限定。
在一实施例中，该样本图像的分割金标准与配准掩模样本图像之间的交集所形成的标签可以通过如下方式来获取，即，计算所述样本图像的分割金标准与所述配准掩模样本图像之间的交集，以确定所述交集区域为椎间盘标签，所述交集区域以外的区域为背景标签；确定所述椎间盘标签和所述背景标签为所述分割金标准相关的训练标签。
之所以计算样本图像的分割金标准与配准掩模样本图像之间的交集，是因为：椎间盘掩模样本图像上的椎间盘与配准掩模样本图像上的椎间盘是一一对应的，且置信度与椎间盘掩模样本图像上的椎间盘也是一一对应的，而样本图像上的椎间盘与置信度不存在一一对应的关系，因此，如果直接计算样本图像的分割金标准与置信度之间的损失函数值，会使得配准掩模样本图像上缺失分割的椎间盘对应的置信度与分割金标准之间的损失函数值过大，从而影响深度学习模型的训练。
在本申请另一个实施例中，所述训练方法还包括：在所述椎间盘掩模样本图像中添加或者删除预设数量的椎间盘，获得与置信度对应的训练样本。
通过在椎间盘掩模样本图像中添加或者删除预设数量的椎间盘，可以为与置信度对应的训练样本设置负样本，而与置信度对应的训练样本中的正样本是椎间盘掩模样本图像中删除预设数量的椎间盘后剩余的椎间盘。
在与置信度对应的训练样本中设置负样本，不仅可以提升深度学习模型的性能，还可以主导梯度更新的方向，以避免浪费训练时间。
在本申请另一个实施例中，图7所示的步骤S710包括：将所述样本图像和所述椎间盘掩模样本图像输入所述深度学习模型进行配准，以获得所述形变场；将所述训练样本输入所述深度学习模型，以获得所述置信度。
将样本图像和椎间盘掩模样本图像输入深度学习模型中进行配准，可以获得形变场，具体实施细节与步骤S310中的具体实施细节相同，在此不再赘述，请参见步骤S310的相关描述。
将具有正样本和负样本的训练样本输入深度学习模型中，可以获得置信度，具体实施细节与步骤S310中的具体实施细节相同，在此不再赘述，请参见步骤S310的相关描述。
在本申请另一个实施例中，所述方法还包括：确定所述形变场的平滑损失函数值。
该深度学习模型的输出形变场的分支具有三个通道，分别为x，y，z三个方向的形变场，可以通过每个方向的形变场的梯度的L1或L2范数来计算形变场的平滑损失函数值(Smooth Loss)，即：
Figure BDA0003075812650000151
在本申请另一个实施例中，图7所示的步骤S730包括：根据所述第一损失函数值、所述第二损失函数值和所述平滑损失函数值，更新所述深度学习模型的参数。
将第一损失函数值Lsim、第二损失函数值LBCE和平滑损失函数值Lsmooth进行加权求和，获得总损失函数值，例如，可以采用如下公式来计算：
Figure BDA0003075812650000152
因此，获得总损失函数值LT，将总损失函数值进行梯度反传，更新深度学习模型的参数。
示例性装置
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图8所示为本申请一个实施例提供的图像处理装置的框图。如图8所示，该装置800包括：
输入模块810，配置为将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度，其中，所述第一椎间盘掩模图像包括所述待分割图像的背景和椎间盘的初分割结果，所述第一形变场表征所述待分割图像的椎间盘的实际位置与所述第一椎间盘掩模图像椎间盘的预测位置之间的偏差，所述第一置信度表征准确预测所述第一椎间盘掩模图像的椎间盘的概率值；
第一插值模块820，配置为通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像，其中，所述第一配准掩模图像包括所述待分割图像的背景和椎间盘的再分割结果；
相乘模块830，配置为将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
在本申请另一个实施例中，如图9所示，图8所示的装置还包括：
再输入模块840，配置为将所述待分割图像和所述待分割图像的第二椎间盘掩模图像输入所述深度学习模型，以获得第二形变场和所述第二椎间盘掩模图像对应的第二置信度，其中，所述第二椎间盘掩模图像为将所述第一椎间盘掩模图像向上或向下平移预设距离而得到；
再插值模块850，配置为通过所述第二形变场，对所述第二椎间盘掩模图像进行插值操作，以获得所述第二配准掩模图像；
再相乘模块860，配置为将所述第二配准掩模图像和所述第二置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第二分割结果；
融合模块870，配置为将所述第二分割结果和所述第一分割结果进行融合，以获得第一融合分割结果。
在本申请另一个实施例中，如图10所示，图8所示的装置还包括：
骨分割模块880，配置为将所述待分割图像输入骨骼分割模型，以获得二分类骨骼的掩模图像，其中，所述二分类骨骼的掩模图像包括所述待分割图像的背景和骨骼的分割结果；
椎间盘分割模块890，配置为将所述二分类骨骼的掩模图像输入椎间盘分割模型，以获得所述第一椎间盘掩模图像。
图11所示为本申请一个实施例提供的深度学习模型的训练装置的框图。如图11所示，该训练装置1100包括：
获取模块1110，配置为根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，其中，所述椎间盘掩模样本图像包括所述样本图像的背景和椎间盘的初分割结果，所述形变场表征所述样本图像的椎间盘的实际位置与所述椎间盘掩模样本图像椎间盘的预测位置之间的偏差，所述置信度表征准确预测所述椎间盘掩模样本图像的椎间盘的概率值；
第二插值模块1120，配置为通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像，其中，所述配准掩模样本图像包括所述样本图像的背景和椎间盘的再分割结果；
更新模块1130，配置为根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
在本申请另一个实施例中，如图12所示，图11所示的训练装置还包括：
样本获取模块1140，配置为在所述椎间盘掩模样本图像中添加或者删除预设数量的椎间盘，获得与置信度对应的训练样本。
在本申请另一个实施例中，如图13所示，获取模块1110包括：
配准单元1111，配置为将所述样本图像和所述椎间盘掩模样本图像输入所述深度学习模型进行配准，以获得所述形变场；
检测单元1112，配置为将所述训练样本输入所述深度学习模型，以获得所述置信度。
在本申请另一个实施例中，如图14所示，图11所示的训练装置还包括：确定模块1150，配置为确定所述形变场的平滑损失函数值。
在本申请另一个实施例中，更新模块1130具体配置为：根据所述第一损失函数值、所述第二损失函数值和所述平滑损失函数值，更新所述深度学习模型的参数。
在本申请另一个实施例中，如图15所示，图11所示的训练装置还包括：
计算模块1160，配置为计算所述样本图像的分割金标准与所述配准掩模样本图像之间的交集，以确定所述交集区域为椎间盘标签，所述交集区域以外的区域为背景标签；
标签确定模块1170，配置为确定所述椎间盘标签和所述背景标签为所述分割金标准相关的训练标签。
示例性电子设备
下面，参考图16来描述根据本申请实施例的电子设备。图16图示了根据本申请实施例的电子设备的框图。
如图16所示，电子设备1600包括一个或多个处理器1610和存储器1620。
处理器1610可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1600中的其他组件以执行期望的功能。
存储器1620可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1610可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法、深度学习模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如椎间盘掩模图像、配准掩模图像等各种内容。
在一个示例中，电子设备1600还可以包括：输入装置1630和输出装置1640，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置1630可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1630可以是通信网络连接器。
此外，该输入设备1630还可以包括例如键盘、鼠标等等。
该输出装置1640可以向外部输出各种信息，包括确定出的分割结果等。该输出设备1640可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图16中仅示出了该电子设备1600中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1600还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、深度学习模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、深度学习模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度，其中，所述第一椎间盘掩模图像包括所述待分割图像的背景和椎间盘的初分割结果，所述第一形变场表征所述待分割图像的椎间盘的实际位置与所述第一椎间盘掩模图像椎间盘的预测位置之间的偏差，所述第一置信度表征准确预测所述第一椎间盘掩模图像的椎间盘的概率值；
通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像，其中，所述第一配准掩模图像包括所述待分割图像的背景和椎间盘的再分割结果；
将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述待分割图像和所述待分割图像的第二椎间盘掩模图像输入所述深度学习模型，以获得第二形变场和所述第二椎间盘掩模图像对应的第二置信度，其中，所述第二椎间盘掩模图像为将所述第一椎间盘掩模图像向上或向下平移预设距离而得到；
通过所述第二形变场，对所述第二椎间盘掩模图像进行插值操作，以获得所述第二配准掩模图像；
将所述第二配准掩模图像和所述第二置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第二分割结果；
将所述第二分割结果和所述第一分割结果进行融合，以获得融合分割结果。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
将所述待分割图像输入骨骼分割模型，以获得二分类骨骼的掩模图像，其中，所述二分类骨骼的掩模图像包括所述待分割图像的背景和骨骼的分割结果；
将所述二分类骨骼的掩模图像输入椎间盘分割模型，以获得所述第一椎间盘掩模图像。
4.一种深度学习模型的训练方法，其特征在于，包括：
根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，其中，所述椎间盘掩模样本图像包括所述样本图像的背景和椎间盘的初分割结果，所述形变场表征所述样本图像的椎间盘的实际位置与所述椎间盘掩模样本图像椎间盘的预测位置之间的偏差，所述置信度表征准确预测所述椎间盘掩模样本图像的椎间盘的概率值；
通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像，其中，所述配准掩模样本图像包括所述样本图像的背景和椎间盘的再分割结果；
根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
5.根据权利要求4所述的训练方法，其特征在于，还包括：
在所述椎间盘掩模样本图像中添加或者删除预设数量的椎间盘，获得与置信度对应的训练样本，
其中，所述根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，包括：
将所述样本图像和所述椎间盘掩模样本图像输入所述深度学习模型进行配准，以获得所述形变场；
将所述训练样本输入所述深度学习模型，以获得所述置信度。
6.根据权利要求4或5所述的训练方法，其特征在于，还包括：
确定所述形变场的平滑损失函数值，
其中，所述根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数值，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数，包括：
根据所述第一损失函数值、所述第二损失函数值和所述平滑损失函数值，更新所述深度学习模型的参数。
7.根据权利要求4或5所述的训练方法，其特征在于，还包括：
计算所述样本图像的分割金标准与所述配准掩模样本图像之间的交集，以确定所述交集区域为椎间盘标签，所述交集区域以外的区域为背景标签；
确定所述椎间盘标签和所述背景标签为所述分割金标准相关的训练标签。
8.一种图像处理装置，其特征在于，包括：
输入模块，配置为将待分割图像和所述待分割图像的第一椎间盘掩模图像输入深度学习模型，以获得第一形变场和所述第一椎间盘掩模图像对应的第一置信度，其中，所述第一椎间盘掩模图像包括所述待分割图像的背景和椎间盘的初分割结果，所述第一形变场表征所述待分割图像的椎间盘的实际位置与所述第一椎间盘掩模图像椎间盘的预测位置之间的偏差，所述第一置信度表征准确预测所述第一椎间盘掩模图像的椎间盘的概率值；
第一插值模块，配置为通过所述第一形变场，对所述第一椎间盘掩模图像进行插值操作，以获得所述第一配准掩模图像，其中，所述第一配准掩模图像包括所述待分割图像的背景和椎间盘的再分割结果；
相乘模块，配置为将所述第一配准掩模图像和所述第一置信度进行相乘操作，以获得所述待分割图像的背景和椎间盘的第一分割结果。
9.一种深度学习模型的训练装置，其特征在于，包括：
获取模块，配置为根据样本图像和所述样本图像的椎间盘掩模样本图像，通过所述深度学习模型，获得形变场和所述椎间盘掩模样本图像对应的置信度，其中，所述椎间盘掩模样本图像包括所述样本图像的背景和椎间盘的初分割结果，所述形变场表征所述样本图像的椎间盘的实际位置与所述椎间盘掩模样本图像椎间盘的预测位置之间的偏差，所述置信度表征准确预测所述椎间盘掩模样本图像的椎间盘的概率值；
第二插值模块，配置为通过所述形变场，对所述椎间盘掩模样本图像进行插值操作，以获得所述配准掩模样本图像，其中，所述配准掩模样本图像包括所述样本图像的背景和椎间盘的再分割结果；
更新模块，配置为根据所述配准掩模样本图像和所述样本图像的分割金标准之间的第一损失函数，以及所述置信度和所述分割金标准相关的训练标签之间的第二损失函数值，更新所述深度学习模型的参数。
10.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
CN202110551872.7A 2021-05-20 2021-05-20 图像处理方法及装置，模型的训练方法及装置，电子设备 Active CN113240699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110551872.7A CN113240699B (zh) 2021-05-20 2021-05-20 图像处理方法及装置，模型的训练方法及装置，电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551872.7A CN113240699B (zh) 2021-05-20 2021-05-20 图像处理方法及装置，模型的训练方法及装置，电子设备

Publications (2)

Publication Number Publication Date
CN113240699A true CN113240699A (zh) 2021-08-10
CN113240699B CN113240699B (zh) 2022-02-08

Family

ID=77137913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551872.7A Active CN113240699B (zh) 2021-05-20 2021-05-20 图像处理方法及装置，模型的训练方法及装置，电子设备

Country Status (1)

Country Link
CN (1) CN113240699B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN116228796A (zh) * 2023-05-05 2023-06-06 北京大学第三医院（北京大学第三临床医学院） 一种ct图像椎弓根分割方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180525A1 (en) * 2014-12-19 2016-06-23 Kabushiki Kaisha Toshiba Medical image data processing system and method
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN110782428A (zh) * 2019-09-20 2020-02-11 浙江未来技术研究院(嘉兴) 一种用于构建临床脑部ct图像roi模板的方法及系统
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111369598A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 深度学习模型的训练方法及装置、应用方法及装置
CN111951316A (zh) * 2020-07-27 2020-11-17 上海联影智能医疗科技有限公司 图像量化方法和存储介质
CN112150485A (zh) * 2020-09-28 2020-12-29 上海联影医疗科技股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN112602099A (zh) * 2018-08-24 2021-04-02 阿特瑞斯公司 基于深度学习的配准

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180525A1 (en) * 2014-12-19 2016-06-23 Kabushiki Kaisha Toshiba Medical image data processing system and method
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN112602099A (zh) * 2018-08-24 2021-04-02 阿特瑞斯公司 基于深度学习的配准
CN110782428A (zh) * 2019-09-20 2020-02-11 浙江未来技术研究院(嘉兴) 一种用于构建临床脑部ct图像roi模板的方法及系统
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111369598A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 深度学习模型的训练方法及装置、应用方法及装置
CN111951316A (zh) * 2020-07-27 2020-11-17 上海联影智能医疗科技有限公司 图像量化方法和存储介质
CN112150485A (zh) * 2020-09-28 2020-12-29 上海联影医疗科技股份有限公司 图像分割方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NASCIMENTO, JC等: "One Shot Segmentation: Unifying Rigid Detection and Non-Rigid Segmentation Using Elastic Regularization", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
刘欢 等: "一种带有预处理的计划CT和在线CT的形变配准方法", 《中国医学物理学杂志》 *
郭艳蓉: "医学图像分割与配准若干关键问题研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN113837192B (zh) * 2021-09-22 2024-04-19 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN116228796A (zh) * 2023-05-05 2023-06-06 北京大学第三医院（北京大学第三临床医学院） 一种ct图像椎弓根分割方法、装置及存储介质

Also Published As

Publication number Publication date
CN113240699B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN111899245B (zh) 图像分割、模型的训练方法及装置，电子设备及存储介质
US11106950B2 (en) Multi-modal medical image processing
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
US11593943B2 (en) RECIST assessment of tumour progression
Somkantha et al. Bone age assessment in young children using automatic carpal bone feature extraction and support vector regression
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN113240696B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
WO2009152509A1 (en) Method and system for crowd segmentation
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
CN112602155A (zh) 生成针对经训练的模型的元数据
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN112488178B (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN112767422B (zh) 图像分割模型的训练方法及装置，分割方法及装置，设备
US20230177683A1 (en) Domain Aware Medical Image Classifier Interpretation by Counterfactual Impact Analysis
CN115803751A (zh) 训练模型用于对医学数据执行任务
US20220076829A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
CN111445456B (zh) 分类模型、网络模型的训练方法及装置、识别方法及装置
CN113837192B (zh) 图像分割方法及装置，神经网络的训练方法及装置
CN113256672B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113316803A (zh) 使用历史校正的统计分析来校正医学图像的分割
CN111597373B (zh) 基于卷积神经网络和连通图的图片归类方法及相关设备
CN113256672A (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
US20240135737A1 (en) Systems and methods for automatic data annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant