CN112348818B - 一种图像分割方法、装置、设备以及存储介质 - Google Patents

一种图像分割方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112348818B
CN112348818B CN202110021474.4A CN202110021474A CN112348818B CN 112348818 B CN112348818 B CN 112348818B CN 202110021474 A CN202110021474 A CN 202110021474A CN 112348818 B CN112348818 B CN 112348818B
Authority
CN
China
Prior art keywords
data
information
fcn
processing
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110021474.4A
Other languages
English (en)
Other versions
CN112348818A (zh
Inventor
高琪
刘东林
魏润杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shengshi Technology Co ltd
Original Assignee
Hangzhou Shengshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shengshi Technology Co ltd filed Critical Hangzhou Shengshi Technology Co ltd
Priority to CN202110021474.4A priority Critical patent/CN112348818B/zh
Publication of CN112348818A publication Critical patent/CN112348818A/zh
Application granted granted Critical
Publication of CN112348818B publication Critical patent/CN112348818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像分割方法、装置、设备以及存储介质，在本申请中，改进了全卷积网络FCN的网络结构，在FCN的特征提取网络的每一特征提取单元之间建立残差连接，并基于样本数据对结构改进的FCN进行训练，得到训练完成的FCN，如此，通过训练完成的FCN对待分割图像处理时，可以改善对待分割图像的像素级别的分割精准度，其中，待分割图像以及样本数据，均为医疗图像数据。

Description

一种图像分割方法、装置、设备以及存储介质
技术领域
本申请涉及医疗技术领域，尤其涉及一种图像分割方法、装置、设备以及计算机可读存储介质。
背景技术
医疗图像中器官各个区域的准确分割，对于临床诊断具有重要的借鉴意义。以心脏计算机断层扫描血管造影 （Computed Tomography Angiography，CTA）为例，在实际应用中，通常采用如Ostu的阈值分割、或形变模型的分割方法、或基于图谱的分割方法，对心脏CTA进行分割。然而，阈值分割仅适用于心脏与背景对比较强的CTA图像，且仅能获取CTA图像的底层信息，而忽略了心脏的生理结构；形变模型的分割方法以及基于图谱的分割方法，无法体现出心脏器官的拓扑结构。也就是说，相关技术中的上述方案，均无法实现对医疗图像数据的高精度的精细分割。
发明内容
本申请提供了一种图像分割方法、图像分割装置、图像分割设备以及计算机可读存储介质。
本申请提供的图像分割方法，通过训练完成的全卷积网络（Fully ConvolutionalNetworks，FCN）的特征提取网络中每一特征提取单元之间的第一残差连接，能够充分的识别和提取待分割图像中器官的像素级别的特征，从而实现对待分割图像的精确且精细的分割。
本申请提供的技术方案是这样的：
一种图像分割方法，所述方法包括：
得到训练完成的全卷积网络FCN；其中，所述训练完成的FCN，是基于样本数据对FCN进行训练得到的；所述样本数据为医疗图像数据；所述FCN包括特征提取网络以及特征融合网络；所述特征提取网络用于对所述样本数据进行特征提取；所述特征提取网络包括多个特征提取单元；相邻的所述特征提取单元之间建立有第一残差连接；所述特征融合单元，用于对所述特征提取单元的输出数据进行上采样以及特征融合处理，得到所述样本数据的分割结果；
基于所述训练完成的FCN，对待分割图像进行分割，确定所述待分割图像的分割结果。
在一些实施方式中，所述相邻的特征融合单元之间，建立有第二残差连接。
在一些实施方式中，所述样本数据包括第一数据和第二数据；所述第一数据携带有标注信息；所述第二数据未携带所述标注信息；所述标注信息，表示所述样本数据中目标对象的形态；所述得到训练完成的全卷积网络FCN，包括：
基于所述样本数据，对所述FCN进行半监督训练，得到所述训练完成的FCN。
在一些实施方式中，所述方法还包括：
基于偏微分方程对第三数据进行处理，得到所述第一数据；其中，所述第三数据未携带所述标注信息。
在一些实施方式中，所述基于偏微分方程对第三数据进行处理，得到所述第一数据，包括：
基于阈值分割算法以及区域生长算法对所述第三数据进行处理，确定三维关联信息；其中，所述三维关联信息，表示所述第三数据中目标对象的指定部位、与所述目标对象的其它部位之间的立体关联关系；
基于所述偏微分方程，对所述三维关联信息以及所述第三数据进行处理，确定所述标注信息；
对所述标注信息以及所述第三数据进行组合，得到所述第一数据。
在一些实施方式中，所述基于所述偏微分方程，对所述三维关联信息以及所述第三数据进行处理，确定所述标注信息，包括：
以指定样本间隔，从所述第三数据中选择目标数据；
基于所述三维关联信息，对所述目标数据进行标注，得到第一信息；其中，所述第一信息，包括所述目标数据中的所述指定部位的边缘信息；
基于所述偏微分方程对所述第三数据以及所述第一信息进行处理，确定所述标注信息。
在一些实施方式中，所述基于所述偏微分方程、所述第三数据以及所述第一信息，确定所述标注信息，包括：
基于所述偏微分方程以及所述第一信息，对所述第三数据中与所述目标数据相邻的数据进行处理，得到第二信息；其中，所述第二信息，包括所述第三数据中与所述目标数据相邻的数据中指定部位的边缘信息；
基于所述第一信息以及所述第二信息，确定所述标注信息。
在一些实施方式中，所述基于所述样本数据，对所述FCN进行半监督训练，得到训练完成的FCN，包括：
基于所述FCN对所述样本数据进行处理，确定第一处理结果；
基于clDice损失函数，对所述第一处理结果进行处理，确定损失信息；
在所述损失信息不满足训练结束条件的情况下，基于所述样本数据，对所述FCN进行半监督训练，得到所述训练完成的FCN。
在一些实施方式中，所述基于所述FCN对所述样本数据进行处理，确定第一处理结果，包括：
对所述第二数据执行第一随机扰动，得到第一扰动数据；
基于所述FCN，分别对所述第一扰动数据以及所述第二数据进行处理，得到第二处理结果以及第三处理结果；
对所述第三处理结果执行所述第一随机扰动，得到第一扰动结果；
基于所述第一扰动结果以及所述第二处理结果，确定所述第一处理结果；
或者，
对所述第一数据执行第二随机扰动，得到第二扰动数据；
基于所述FCN分别对所述第二扰动数据以及所述第一数据分别进行处理，得到第四处理结果以及第五处理结果；
对所述第五处理结果执行所述第二随机扰动，得到第二扰动结果；
基于所述第二扰动结果、所述第四处理结果以及所述标注信息，确定所述第一处理结果。
在一些实施方式中，所述基于所述样本数据，对所述FCN进行半监督训练，得到训练完成的FCN，包括：
对所述样本数据中的每一数据分别进行归一化处理，得到归一化结果；
基于所述归一化结果，对所述FCN进行半监督训练，得到所述训练完成的FCN。
本申请实施例还提供了一种图像分割装置，所述图像分割装置包括：确定模块、处理模块；其中：
所述确定模块，用于得到训练完成的全卷积网络FCN；其中，所述训练完成的FCN，是基于样本数据对FCN进行训练得到的；所述样本数据为医疗图像数据；所述FCN包括特征提取网络以及特征融合网络；所述特征提取网络用于对所述样本数据进行特征提取；所述特征提取网络包括多个特征提取单元；相邻的所述特征提取单元之间建立有残差连接；所述特征融合单元，用于对所述特征提取单元的输出数据进行上采样以及特征融合处理，得到所述样本数据的分割结果；
所述处理模块，用于基于所述训练完成的FCN，对待分割图像进行分割，确定所述待分割图像的分割结果。
本申请还提供了一种图像分割设备，所述设备包括处理器、存储器和通信总线；其中，所述通信总线用于实现所述处理器与所述存储器之间的通信连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如前任一所述的图像分割方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序；所述计算机程序能够被处理器执行，以实现如前任一所述的图像分割方法。
在本申请实施例中，通过训练完成的FCN中特征提取网络、以及特征提取网络中相邻特征提取单元之间的第一残差连接，能够获取待分割图像更丰富精细的图像边缘信息；通过特征融合网络的上采样、特征融合作用、以及训练完成的FCN中呈镜像关系的特征提取单元与特征融合网络中特征融合单元之间的跳跃连接，能够在补偿特征提取网络特征提取结果的特征细节、获取与待分割数据相同尺寸的输出数据的前提下，实现良好的去噪效果；并且，在FCN本身能够实现像素级别的识别分割的条件下，通过本申请实施例提供的图像分割方法，能够实现对待分割图像的精准精细分割。
附图说明
图1为本申请实施例提供的图像分割方法的流程示意图；
图2为本申请实施例提供的FCN的结构示意图；
图3为本申请实施例提供的FCN的半监督训练流程示意图；
图4为本申请实施例提供的心脏立体结构示意图；
图5为本申请实施例提供的对心脏立体结构图进行二维切片的得到切片效果示意图；
图6a为本申请实施例提供的第一目标数据中的第一边缘的效果示意图；
图6b为本申请实施例提供的第一目标数据的第一信息的效果示意图；
图6c为本申请实施例提供的第二目标数据中的第二边缘的效果示意图；
图6d为本申请实施例提供的第二目标数据的第一信息的效果示意图；
图7为本申请实施例提供的基于拉普拉斯方程对第三数据进行处理得到的心肌标注信息示意图；
图8a为本申请实施例提供的在第一目标数据中标注的心肌区域的效果示意图；
图8b为本申请实施例提供的基于拉普拉斯方程在第一相邻数据中标注的心肌区域的效果示意图；
图8c为本申请实施例提供的基于拉普拉斯方程在第二相邻数据中标注的心肌区域的效果示意图；
图8d为本申请实施例提供的基于拉普拉斯方程在第三相邻数据中标注的心肌区域的效果示意图；
图8e为本申请实施例提供的基于拉普拉斯方程在第四相邻数据中标注的心肌区域的效果示意图；
图8f为本申请实施例提供的在第二目标数据中标注的心肌区域的效果示意图；
图9为本申请实施例提供的基于样本数据对FCN进行半监督训练的结构示意图；
图10为本申请实施例提供的基于训练完成的FCN对第一数据的分割结果的三维空间点云效果示意图；
图11a为本申请实施例提供的基于训练完成的FCN对第一数据中的第三指定数据分割的二值进行处理得到的二值图的对比示意图；
图11b为本申请实施例提供的第一数据中的第三指定数据的标注信息对应的二值图；
图12为本申请实施例提供的图像分割装置的结构示意图；
图13为本申请实施例提供的图像分割设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请涉及医疗技术领域，尤其涉及一种图像分割方法、装置、设备以及计算机可读存储介质。
心脏是人类生存必不可少的重要器官，拥有一颗健康的能够稳定工作的心脏是我们探索创造和感知世界的条件。因此，对心脏类疾病的预防、精确诊断和有效治疗非常重要。在临床实践中，对心脏类疾病的诊断和治疗的一个重要依据是心脏CTA图像的准确分割。
在实际应用中，通常采用如Ostu的阈值分割、或形变模型的分割方法、或基于图谱的分割方法，对心脏CTA进行分割。然而，阈值分割仅适用于心脏与背景对比较强的CTA图像，且仅能获取CTA图像的底层信息，而忽略了心脏的生理结构；形变模型的分割方法以及基于图谱的分割方法，仅能用于二维数据分割，无法体现出心脏器官的空间拓扑结构。并且，在面对一些器官的复杂边界的情况下，相关技术中的以上方案的处理效率更低，且稳定性较弱。因此，相关技术中，对CTA图像的分割精度和精细度均不足。
基于以上问题，本申请实施例提供了一种图像分割方法，该方法可以通过图像分割设备的处理器来实现。上述处理器可以为特定用途集成电路（Application SpecificIntegrated Circuit，ASIC）、数字信号处理器（Digital Signal Processor，DSP）、数字信号处理装置（Digital Signal Processing Device，DSPD）、可编程逻辑装置（ProgrammableLogic Device，PLD）、现场可编程逻辑门阵列（Field Programmable Gate Array，FPGA）、中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器中的至少一种。
图1为本申请实施例提供的图像分割方法的流程示意图。如图1所示，该图像分割方法可以包括步骤101至步骤102：
步骤101、得到训练完成的FCN。
其中，训练完成的FCN，是基于样本数据对FCN进行训练得到的；样本数据为医疗图像数据；FCN包括特征提取网络以及特征融合网络；特征提取网络用于对样本数据进行特征提取；特征提取网络包括多个特征提取单元；相邻的特征提取单元之间建立有第一残差连接；特征融合单元，用于对特征提取单元的输出数据进行上采样以及特征融合处理，得到样本数据的分割结果。
在一种实施方式中，特征提取网络，可以是卷积神经网络（ConvolutionalNeural Networks，CNN）中的用于实现特征提取的部分。
在一种实施方式中，特征提取网络中的特征提取单元，可以包括CNN中的卷积层和池化层。示例性的，特征提取单元中，可以包括至少一个卷积层和至少一个池化层。比如：一个特征提取单元，可以包括两个卷积层以及一个池化层。
在一种实施方式中，特征融合网络，可以对特征提取单元输出的数据首先执行上采样处理，再对上采样处理的结果进行转置卷积或反卷积计算。
在一种实施方式中，特征融合单元的上采样，可以是通过对特征提取单元输出的数据进行均匀插值的方式实现的；特征融合单元的特征融合处理，可以是通过对上采样结果进行转置卷积实现的。示例性地，每个特征提取单元中，可以包括一个上采样单元，以及至少一个卷积处理层。示例性地，每个特征提取单元，可以包括一个上采样单元、以及两个卷积处理层。
在本申请实施例中，通过特征提取网络中每一特征提取单元对样本数据的处理，会逐渐减小样本数据的特征图的大小，通过特征融合单元的上采样以及转置卷积处理，不但能够实现良好去噪效果、还可以较好的保留样本信息的特征信息，从而使得样本数据的分割结果的大小、与样本数据的大小保持一致，因此，样本数据的分割结果能够以更加直观且更加精细的形式体现。
在一种实施方式中，样本数据的分割结果，可以表示对样本数据中目标对象的分割结果、或者对目标对象的指定区域的分割结果。其中，目标对象，可以为器官，比如心脏；目标对象的指定区域，可以是目标对象中形态异常的区域；指定区域的数量，可以为至少一个；器官可以是心脏、脾脏等；器官的数量可以为至少一种。示例性地，在目标对象为心脏的情况下，指定区域可以为左心房、左心室、主动脉、心肌、心耳等。
在一种实施方式中，医疗图像数据，可以为通过医疗图像设备采集处理得到的图像数据，比如CTA图像。示例性地，医疗图像数据中，可以携带有器官特征信息。比如，CTA图像可以为多组包含心脏区域的人类胸部图像，CTA图像可以为医学数字成像和通信（Digital Imaging and Communications in Medicine，DICOM）格式，在该格式的靶区头文件中携带有CTA图像的属性信息。
在一种实施方式中，第一残差连接，用于将第i个特征提取单元的输出数据、以及第i个特征提取单元的输入数据进行合并，并将合并结果作为第i+1个特征提取单元的输入数据。其中，i为大于或等于1的整数。示例性地，首个特征提取单元即第0个特征提取单元的输入数据，即为样本数据。
在本申请实施例中，通过第一残差连接，可以降低特征提取网络在执行特征提取运算时梯度消失的风险。在实际应用中，FCN的特征提取网络与特征融合网络之间，还建立有跳跃连接。通过跳跃连接，能够在呈镜像关系的特征提取单元、以及特征融合单元之间建立数据连接，从而将特征提取单元的输出数据直接输入至与其呈镜像关系的特征融合单元。
在本申请实施例中，跳跃连接，有助于减少特征提取网络中特征信息丢失的概率，这一点对医学图像分割尤为重要，从而使得每一特征提取单元以及每一特征融合单元、能够获取更丰富的、精细的样本数据图像细节，从而能够得到分割区域边缘更清晰的图像数据。也就是说，可以使特征提取网络中各个特征提取单元之间的数据传输更顺畅，FCN训练更充分。
步骤102、基于训练完成的FCN，对待分割图像进行分割，确定待分割图像的分割结果。
在一种实施方式中，对待分割图像进行分割，可以是将待分割图像中、指定器官与其周边的器官、或骨骼、或血管、或肌肉等区分开来。
在一种实施方式中，对待分割图像进行分割，可以是将待分割图像中、指定器官的目标区域与指定器官的其它区域分割开来，比如，将心脏中左心房区域从整个心脏区域中分割开来。
在一种实施方式中，待分割图像的分割结果，可以包括待分割图像中目标对象的大小和形态；还可以包括目标对象的指定区域的覆盖面积和形态。示例性地，待分割图像的分割结果，还可以包括目标对象是否异常的信息、或目标器官的指定区域是否异常的信息。
在本申请实施例中，通过训练完成的FCN中特征提取网络、以及特征提取网络中相邻特征提取单元之间的第一残差连接，能够获取待分割图像更丰富精细的图像边缘信息；通过特征融合网络的上采样、特征融合作用、以及训练完成的FCN中呈镜像关系的特征提取单元与特征融合网络中特征融合单元之间的跳跃连接，能够在补偿特征提取网络特征提取结果的特征细节、获取与待分割数据相同尺寸的输出数据的前提下，实现良好的去噪效果；并且，在FCN本身能够实现像素级别的识别分割的条件下，通过本申请实施例提供的图像分割方法，能够实现对待分割图像的精准精细分割。
在本申请实施例中，FCN的特征融合网络中，相邻的特征融合单元之间，可以建立有第二残差连接。
在一种实施方式中，第二残差连接，可以用于将第i个特征融合单元的输入以及第i个特征融合单元的输出进行叠加，并作为第i+1个特征融合单元的输入数据。
在一种实施方式中，第二残差连接，可以用于将每一特征融合单元的输出进行叠加，以便于从叠加结果中进一步获取目标对象的边缘特征信息，以确定对待分割图像的分割结果。
在本申请实施例中，通过第一残差连接、第二残差连接以及跳跃连接，就可以实现FCN分割结果的像素与待分割数据的像素保持一致，在对待分割数据处理过程中，通过上述各种连接，可以实现FCN处理过程中对逐个像素求和（element-wise summation）操作，从而能够解决FCN的训练梯度消失和收敛速度过慢的问题。
图2为本申请实施例提供的FCN 2的结构示意图。
在图2中，特征提取网络可以包括第一特征提取单元201a、第二特征提取单元201b、第三特征提取单元201c、第四特征提取单元201d以及第五特征提取单元201e。特征融合网络可以包括第一特征融合单元202a、第二特征融合单元202b、第三特征融合单元202c以及第四特征融合单元202d。其中，各个特征提取单元之间可以建立有第一残差连接203，各个特征融合单元之间可以建立有第二残差连接204，在呈镜像关系的特征提取单元以及特征融合单元之间建立有跳跃连接。示例性地，FCN 2还可以包括输出层205，用于对第一特征融合单元202a的输出数据、以及其它特征融合单元的输出数据进行进一步的特征激活处理。
在图2中，每一特征提取单元，可以包括两个卷积层以及一个池化层，用于实现特征提取；每一特征融合单元，可以包括一个上采样单元以及两个卷积单元。其中，特征提取单元中的卷积层、以及特征融合单元中的卷积层执行卷积计算所用的卷积核，可以根据样本数据和/或对样本数据分割的需要灵活设置。示例性地，对卷积核的设置，可以包括对每一卷积层中卷积核的个数、卷积核中矩阵元素值大小以及卷积核的深度等。比如，第一特征提取单元201a每一卷积层中卷积核的个数、以及第一特征融合单元202a卷积层中卷积核的个数，可以均为16个，第二特征提取单元201b每一卷积层中卷积核的个数、与第二特征融合单元202b的卷积层中卷积核的个数，可以均为32个等。
在本申请实施例中，FCN采用了3D-Unet的思想，使用整张医疗图像数据而非医疗图像数据中的图像块进行训练。并且，在特征提取网络中，每一特征提取单元可以包含两个卷积核为3*3*3的卷积层、以及一个最大池化层以实现下采样的特征提取。
在本申请实施例中，特征融合网络中的每个特征融合单元可以包含一个上采样层和两个卷积层，在特征融合单元的输出数据与输入数据的图像分辨率一致的情况下，可以不再增加特征融合单元的数量，如此，就可以实现像素级别的一一对应分割。
在本申请实施例中，样本数据可以包括第一数据和第二数据。第一数据携带有标注信息；第二数据未携带标注信息；标注信息，表示样本数据中目标对象的形态。
在一种实施方式中，目标对象，可以表示样本数据所包含的指定器官。
在一种实施方式中，目标对象，可以表示样本数据所包含的器官的指定区域，比如心脏的各个心房、心肌等；示例性地，指定区域的数量，可以为多个。
在一种实施方式中，目标对象的形态，可以表示目标对象的大小、目标对象在至少一种状态下的动态变化过程等。示例性地，目标对象的形态，可以表示目标对象在医疗图像数据中的边缘特征。比如，在如心脏的心肌在CTA图像中的边缘特征。
在本申请实施例中，步骤101可以通过以下方式实现：
基于样本数据，对FCN进行半监督训练，得到训练完成的FCN。
在一种实施方式中，基于样本数据对FCN进行半监督训练，可以是基于第一数据对FCN进行监督训练，基于第二数据对FCN进行无监督训练而实现的。
在本申请实施例中，将以样本数据为CTA图像为例，对FCN的训练过程进行说明。
图3为本申请实施例提供的FCN的半监督训练流程示意图。如图3所示，对FCN的有监督训练过程可以包括步骤301至步骤304：
步骤301、标注CTA图像，得到第一数据。
在实际应用中，CTA图像中并未携带标注信息，因此，若要得到携带标注信息的第一数据，需要对CTA图像进行标注。示例性地，为了提高标注效率，对不同的器官，可以采用不同的标记方法。
在本申请实施例中，第一数据，可以是通过步骤A到的：
步骤A、基于偏微分方程对第三数据进行处理，得到第一数据。
其中，第三数据未携带标注信息。
在一种实施方式中，第三数据，可以是CTA图像。示例性地，可以是包括心脏区域的人类胸部CTA图像。示例性地，CTA图像可以是按照采集顺序排列的。
在本申请实施例中，偏微分方程，可以为拉普拉斯方程（Laplace's Equation）。
在本申请实施例中，通过偏微分方程对第三数据进行处理，可以得到第三数据的每一数据中目标对象的各个区域、随时间或空间的变化信息，从而可以得到第三数据中携带的目标对象的精确的边缘信息，并根据该边缘信息得到标注信息。
在本申请实施例中，步骤A可以通过步骤B1至步骤B3来实现：
步骤B1、基于阈值分割算法以及区域生长算法对第三数据进行处理，确定三维关联信息。
其中，三维关联信息，表示第三数据中目标对象的指定部位、与目标对象的其它部位之间的立体关联关系。
在一种实施方式中，三维关联信息，可以表示指定部位相对于目标对象的其它部位的相对立体关系。
在一种实施方式中，三维关联信息，可以是通过以下方式确定的：
首先基于阈值分割算法对第三数据进行处理，得到区域分割结果；然后再基于区域生长算法对区域分割结果进行处理，从而确定三维关联信息。示例性地，阈值分割算法可以是Ostu阈值分割算法，区域生长算法，可以是通过连通区域搜索的方式实现的。
在一种实施方式中，三维关联信息，可以是通过以下方式确定的：
将CTA图像导入具备阈值分割功能以及区域生长功能的模型环境中，利用模型的阈值分割功能以及区域生长功能对CTA图像进行处理，得到粗略的主动脉、左心室、左心房及心耳的模型，并基于以上各个模型得到心脏的立体结构，再根据心脏的立体结构确定三维关联信息。
图4为本申请实施例提供的心脏的立体结构示意图。在图4中可以清晰地看到心脏的各个部位的相互关联关系。因此，通过心脏的立体结构确定的三维关联信息，能够更加直观且准确的反应CTA图像中心脏的各个区域的相对位置关系。
步骤B2、基于偏微分方程，对三维关联信息以及第三数据进行处理，确定标注信息。
在一种实施方式中，确定标注信息，可以是通过以下方式实现的：
将三维关联信息作为偏微分方程的边界条件，并从第三数据即CTA图像中确定偏微分方程的变量计算范围，然后在边界条件的基础上，通过偏微分方程，对变量计算范围内的每一变量进行迭代计算，从而确定变量计算范围内每一变量的数值，并基于每一变量的数值确定标注信息。
在本申请实施例中，步骤B2可以通过步骤C1至步骤C3来实现：
步骤C1、以指定样本间隔，从第三数据中选择目标数据。
在本申请实施例中，不同于传统二维图像的逐张标注操作，而是采用对第三数据选择性标注的方法，这样可以减少样本数据标注的工作量。
在一种实施方式中，目标数据，可以是以指定的样本间隔，对第三数据进行采样得到的。比如，样本间隔对应的样本数量为N，第三数据的数据量为M，那么，以P为样本间隔，从M个数据中选择N1个目标数据，并且，第n个目标数据与第n+1个目标数据之间的间隔为N-1个数据。其中，N、N1、P以及n均为小于M的整数，M为大于1的整数，示例性地，M可以为200。
在一种实施方式中，指定样本间隔，可以是固定的样本间隔，比如P，还可以是非固定的样本间隔，示例性地，样本间隔的大小，可以根据第三数据中像素梯度而改变，比如：对于第三数据中像素梯度较大的区域可以选择较小的样本间隔，而对像素梯度较小的区域可以选择较大的样本间隔。
步骤C2、基于三维关联信息，对目标数据进行标注，得到第一信息。
其中，第一信息，包括目标数据中的指定部位的边缘信息。
在一种实施方式中，指定部位的边缘信息，可以是包括指定部位全部或部分区域的边缘信息。也就是说，指定部位的边缘信息，可以是在生理结构上能够将指定部位与其它部位区分开来的边缘的信息，也可以是基于CTA图像分析的需要而包含指定部位的部分区域的边缘的信息。
在一种实施方式中，第一信息，还可以包括指定部位的位置信息。
在一种实施方式中，第一信息，可以是通过以下方式得到的：
基于三维关联信息与目标数据之间的映射关系，对目标数据进行标注，从而得到与目标数据对应的第一信息。示例性地，由于三维关联信息是基于第三数据确定的，因此，可以建立第三数据中的每一数据，与三维关联信息之间的映射关系，然后基于上述映射关系、以及第三数据中的任一数据，确定对如图4所示心脏立体结构图的切割平面，并在该切割平面上对心脏立体结构图进行二维切片，从而可以得到心脏每一部位的直观而完整的边缘信息，再根据该边缘信息确定第三数据对应的第一信息。
在一种实施方式中，可以将图4所示的心脏立体结构图映射至第三数据中，并在CTA图像的对应位置标记的相应颜色，作为第一信息。
图5为本申请实施例的对心脏立体结构图进行二维切片的得到的切片效果示意图。在图5中可以清晰的看到心脏的至少一个指定部位（包括主动脉、左心室、左心房以及心耳）的边缘信息，其中，不同的指定部位用不同的灰度表示。
在实际应用中，由于心肌灰度值远低于含有血液的部分比如动脉，因此，采用阈值分割算法对心脏CTA图像进行分割的准确率很低。而在心肌三维模型的基础上进行切割修改，则会导致切割难度增加，因此，本申请实施例中，采用的基于三维关联信息对心脏立体结构直接进行二维切片的方法，可以提高CTA图像分割的准确率，且能够降低切割难度。
在本申请实施例中，对心脏立体结构直接二维切片结束之后，可以采用成熟的算法对二维切片结果进行标注，也可以基于医疗人员的经验对二维切片结果进行标注。
在一种实施方式中，第一信息，可以仅包含指定部位的外围边缘信息，而不需要包含内测的边缘信息，示例性地，内侧边缘信息的修正和确定，可以通过偏微分方程来实现。
步骤C3、基于偏微分方程对第三数据以及第一信息进行处理，确定标注信息。
在本申请实施例中，偏微分方程可以是如式（1）所示的拉普拉斯方程：
Figure DEST_PATH_IMAGE001
在式（1）中，u为CTA图像灰度值，x为CTA图像的横轴坐标，y为CTA图像的纵轴坐标。
对式（1）的求解需要借助于式（2）所示的有限差分拉普拉斯算子中的五点模板（five-point stencil）才能实现。
Figure DEST_PATH_IMAGE002
在本申请实施例中，标注信息可以以三维二值矩阵的形式体现，即指定部位所在区域对应的矩阵元素的值可以记录为1，反之，则记录为0。
在本申请实施例中，步骤C3可以通过步骤D1至步骤D2实现：
步骤D1、基于偏微分方程以及第一信息，对第三数据中与目标数据相邻的数据进行处理，得到第二信息。
其中，第二信息，包括第三数据中与目标数据相邻的数据中指定部位的边缘信息。
在一种实施方式中，第二信息，还可以包括指定部位的位置信息。
在一种实施方式中，第二信息，可以包括第三数据中与目标数据相邻的数据中、指定部位的内侧边缘信息和/或外侧边缘信息。
示例性地，可以将目标数据中的第一张CTA图像记为第一目标数据，将第一目标数据的心肌边缘（记为第一边缘）的值设置为1，将目标数据中的第二张CTA图像记为第二目标数据，将第二目标数据的心肌边缘（记为第二边缘）的值设置为255，并将第一边缘的值和第二边缘的值设置为边界条件；然后将第三数据中与目标数据相邻的数据中、第一边缘与第二边缘对应范围内的所有坐标点作为变量计算范围。然后在上述边界条件的基础上，利用有限差分拉普拉斯算子，对变量计算范围内的所有变量进行有限次数的迭代，从而得到第三数据中第一目标数据与第二目标数据之间的数据的中、位于第一边缘与第二边缘之间的每一坐标点的边缘插值结果，从而能够得到更加平滑准确的心肌位置。示例性地，有限次数，可以为500次。
以N等于5的样本间隔从第三数据中选择两个目标数据，即第一目标数据和第二目标数据。示例性地，同样将第一目标数据中标注的边缘信息记为第一边缘、将第二目标数据中标注的边缘信息记为第二边缘，图6a至图6d展示了在第一目标数据以及第二目标数据中标注的效果，在图6a中，闭合线条为第一边缘；图6b中的白色填充区域，是第一目标数据中与第一边缘对应的第一信息；图6c中的闭合线条为第二边缘，图6d中的白色填充区域是第二目标数据中与第二边缘对应的第一信息。
在图6a-图6d中，各个图像数据的横坐标和纵坐标分别为像素距离。
图7为本申请实施例提供的基于拉普拉斯方程对第三数据进行处理得到的心肌标注信息示意图。在图7中，横坐标和纵坐标分别表示像素距离。
从图7中可以清楚的看到浅色区域不仅包括了图6a以及图6c所示第一边缘以及第二边缘，还包括了第三数据中相邻目标数据之间的数据中、心肌区域的渐变过程，因此可以从二维图像上看到更高维度、更精细的心肌分割信息，即心肌在心脏中的空间拓扑结构。
图8a至图8f为本申请实施例提供的对第一目标数据、第二目标数据以及两个目标数据之间的数据标注的心肌区域的效果示意图。
示例性地，在本申请实施例中，在样本间隔为5的情况下，可以将第三数据中的第一目标数据与第二目标数据之间的数据分别记为第一相邻数据、第二相邻数据、第三相邻数据以及第四相邻数据。
在图8a中的白色区域为在第一目标数据中标注的心肌区域；图8f中的白色区域为在第二目标数据中标注的心肌区域；图8b为基于拉普拉斯方程对第一相邻数据进行处理，而得到的心肌区域；图8c为基于拉普拉斯方程对第二相邻数据进行处理，而得到的心肌区域；图8d为基于拉普拉斯方程对第三相邻数据进行处理，而得到的心肌区域；图8b为基于拉普拉斯方程对第一相邻数据进行处理，而得到的心肌区域；通过图8a至图8b中所示的心肌区域，可以看出心肌区域在心脏拓扑空间的变化趋势，因此，通过拉普拉斯微分方程对第三数据的处理，就可以在第三数据的任一数据中准确标注出心肌的边缘和位置信息，并且，通过第三数据的连续的多个数据中心肌的边缘和位置信息，可以客观而直观地得到心肌的空间形态信息。
步骤D2、基于第一信息以及第二信息，确定标注信息。
在本申请实施例中，第一信息包括与目标数据对应的边缘信息，第二信息包括第三数据中与目标数据相邻数据的边缘信息，对第一信息和第二信息进行整合，就可以得到第三数据中每一数据对应的边缘信息。示例性地，在第一信息和第二信息分别包括指定部位的位置信息的条件下，标注信息还可以包括指定部位的位置信息。
在一种实施方式中，标注信息，可以是与第三数据分别存储的，也就是说，携带标注信息的第三数据，包括第三数据本身，以及与第三数据分开存储的标注信息。
步骤B3、对标注信息以及第三数据进行组合，得到第一数据。
在本申请实施例中，第一数据，可以是将第三数据与标注信息之间基于关联关系进行组合而得到的。
步骤302、基于FCN，对样本数据进行处理，得到样本数据的分割结果。
在本申请实施例中，基于FCN对样本数据进行处理，可以是按照图2所示的网络结构，基于FCN 2中的特征提取网络、特征融合网络、第一残差连接203、第二残差连接204、输出单元205以及呈镜像对应关系的特征提取单元与特征融合单元之间的跳跃连接，对包括第一数据和第二数据在内的样本数据进行处理而实现的。
步骤303、判断是否满足训练完成条件。
示例性地，判断是否满足训练完成条件，可以是通过计算样本数据的分割结果是否满足误差阈值来实现的。
若满足训练完成条件，则可以停止训练，保存FCN的各个参数，然后执行步骤304；反之，若不满足训练完成条件，则可以重复执行步骤302，直至样本数据的分割结果满足训练完成条件为止。
步骤304、得到训练完成的FCN。
需要说明的是，在本申请实施例中，有监督的FCN训练过程中，可以将第一数据分为训练数据以及验证数据，其中，训练数据用于对FCN进行训练，而验证数据用于对FCN训练的结果进行验证。示例性地，训练数据与验证数据的比例可以大于1，比如8:2。
在图3中，对FCN的无监督训练过程，可以依次执行以下步骤：
步骤305、整理CTA图像，得到第二数据。
示例性地，整理CTA图像，可以是按照CTA图像的类别、采集时间等至少之一对CTA图像进行排序，得到第二数据。
步骤302、基于FCN，对样本数据处理，得到样本数据的分割结果。
步骤303、判断是否满足训练完成条件。
步骤304、得到训练完成的FCN。
其中步骤302至步骤304的执行过程以及判断过程，与前述实施例相同，此处不再赘述。
需要说明的是，在实际的FCN训练过程中，可以首先通过第二数据完成无监督的训练，在满足训练完成条件时，保存FCN各个参数值，得到初步训练结束的FCN；然后基于初步训练结束的FCN对第一数据进行处理，得到与第一数据对应的分割结果，然后判断与第一数据对应的分割结果是否满足训练完成条件，在此时满足训练完成条件的情况下，才能得到训练完成的FCN。也就是说，在实际的FCN训练过程中，可以首先执行无监督训练过程，然后借助于有监督训练过程，对初步训练完成的FCN的各个参数进行检验和微调，最终得到训练完成的FCN。
基于前述实施例，本申请实施例中的基于样本数据，对FCN进行半监督训练，得到训练完成的FCN的具体过程，可以通过步骤E1至步骤E3来实现：
步骤E1、基于FCN对样本数据进行处理，确定第一处理结果。
在本申请实施例中，FCN对样本数据的处理，可以包括对未携带标注信息的第二数据以及携带标注信息的第一数据的处理过程。
在一种实施方式中，第一处理结果，可以表示FCN对样本数据的中目标对象的指定部位的分割结果。
在本申请实施例中，步骤E1可以通过步骤F1至步骤F4、或步骤G1至步骤G4来实现：
步骤F1、对第二数据执行第一随机扰动，得到第一扰动数据。
在一种实施方式中，第一随机扰动以及对第一数据执行的第二随机扰动，可以是对样本数据进行数据增强的一种方式。
在一种实施方式中，第一随机扰动可以包括对第一数据执行的随机旋转操作。其中，随机旋转，可以是将表示第一数据的三维数组沿各个方向等概率旋转90度、180度或270度。
步骤F2、基于FCN，分别对第一扰动数据以及第二数据进行处理，得到第二处理结果以及第三处理结果。
在本申请实施例中，FCN对第一扰动数据和第二数据的处理，可以是分别进行的，本申请实施例对二者的执行顺序不做限定。示例性地，第二处理结果以及第三处理结果中，可以均携带有对目标对象的指定部位的分割结果。
步骤F3、对第三处理结果执行第一随机扰动，得到第一扰动结果。
在本申请实施例中，第三处理结果对应的是未执行第一随机扰动的第二数据，因此，对第三处理结果执行第一随机扰动得到的第一扰动结果中，目标对象的指定部位的方向、位置信息，可以与第二处理结果中目标对象指定部位的方向、位置信息对应起来，方便对第一扰动结果与第二处理结果进行比对，从而为确定FCN对第二数据的处理结果提供了便利条件。
步骤F4、基于第一扰动结果以及第二处理结果，确定第一处理结果。
在本申请实施例中，第一处理结果，可是对第一扰动结果以及第二处理结果进行比对的结果，示例性地，对第一扰动结果以及第二处理结果的对比，可以是像素级别的对比。
步骤G1、对第一数据执行第二随机扰动，得到第二扰动数据。
在一种实施方式中，第二随机扰动可以包括对样本数据执行以下至少一种操作：随机旋转、翻转、仿射变换以及伽马变换等。其中，随机旋转，可以是将三维数组沿各个方向等概率旋转90度、180度或270度；翻转，可以是将三维数组沿各个方向等概率翻转或不翻转；仿射变换，可以是将三维数组沿各个方向等概率平移0至15个像素点，或者斜切0至5度；伽马变换的系数等概率取0.5-2.5之间的任一数据。
在一种实施方式中，对第一数据执行的第二随机扰动，有50%的可能性执行以上任一种操作，也有50%的可能性不执行其中的部分操作。
在一种实施方式中，对第一数据执行的第二随机扰动，可以是按照随机旋转、翻转、仿射变换以及伽马变换的顺序依次进行的，但是可以选择其中的若干步骤不执行而直接执行下一扰动操作。
步骤G2、基于FCN分别对第二扰动数据以及第一数据分别进行处理，得到第四处理结果以及第五处理结果。
步骤G3、对第五处理结果执行第二随机扰动，得到第二扰动结果。
步骤G4、基于第二扰动结果、第四处理结果以及标注信息，确定第一处理结果。
在一种实施方式中，第一处理结果，可以包括FCN对第一数据的分割结果。
在一种实施方式中，第一处理结果，还可以包括FCN对第一数据的分割结果、与第一数据携带的标注信息之间的误差大小。
通过以上操作，在神经网络对包括第一数据以及第二数据的样本数据的处理的过程中，增加了对第一数据以及第二数据的扰动操作，从而，提高了对FCN数据分割识别的要求；并且，通过对样本数据增加扰动的FCN训练方式，也间接性的提高了训练完成的FCN的对待分割数据分割的准确性。
步骤E2、基于clDice损失函数，对第一处理结果进行处理，确定损失信息。
在实际的医学图像分割中，通常用Dice损失函数，计算和衡量神经网络的预测的标注信息与医学图像对应的真实标注信息之间的相似性。但是该损失函数没有充分考虑待医学图像中待分割对象的拓扑结构，从而导致神经网络预测的标注信息很容易出现明显的结构性错误。比如在血管分割时，通过该损失函数无法正确分割出血管的拓扑结构。并且，由于采用该损失函数在主体分割时会出现大量的噪音像素点，因此，即使在神经网络预测的标注信息与真实标注信息之间的误差很小的情况下，通过该损失函数，依然无法获得对目标对象的理想分割效果。
而本申请实施例采用的clDice损失函数，则较好的均衡了像素层面分割的细致性、以及图像中目标对象的拓扑结构一致性。其中，clDice损失函数的计算过程可以通过式（3）实现：
Figure DEST_PATH_IMAGE003
在式（3）中，
Figure DEST_PATH_IMAGE004
为真实的标注信息，
Figure DEST_PATH_IMAGE005
为神经网络输出的标注信息即神经网络预测的标注信息，
Figure DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE007
分别是对
Figure 510906DEST_PATH_IMAGE005
和
Figure 37834DEST_PATH_IMAGE004
进行图像腐蚀的结果。其中：
Figure DEST_PATH_IMAGE008
为假负（False Negative）。
在一种实施方式中，在确定损失信息之前，可以对第一处理结果进行激活处理，示例性地，可以通过激活函数sigmoid来实现。
在一种实施方式中，在确定损失信息之前，可以对第一处理结果进行交叉熵、加权和以及均方差等计算，从而提高第一处理结果的准确性。
步骤E3、在损失信息不满足训练结束条件的情况下，基于样本数据，对FCN进行半监督训练，得到训练完成的FCN。
相应地，在损失信息满足FCN训练结束条件的情况下，可以得到训练完成的FCN。
在一种实施方式中，训练结束条件，可以表示以下至少之一：基于clDice损失函数计算得到的误差损失小于或等于误差阈值、FCN的各个参数基本保持不变等。
在本申请实施例中，基于样本数据对FCN进行半监督训练，得到训练完成的FCN，还可以通过步骤H1至步骤H2来实现：
步骤H1、对样本数据中的每一数据分别进行归一化处理，得到归一化结果。
在一种实施方式中，归一化处理，可以包括以下操作：
根据第一数据中的每一数据在各个方向的实际物理距离，使用插值算法比如图像数据线性插值，将图像的最小单位统一缩放至1mm，以确保每一医疗图像数据在各个方向的单位空间距离相等。示例性地，执行上述缩放操作后得到的医疗图像数据可以记录为第一图像。
在一种实施方式中，归一化处理，还可以包括以下操作：
对第一图像整体进行缩放，其中，每一第一图像的缩放比例为128除以第一图像最长边对应的数值，以确保缩放后得到的第二图像的大小不超过128。对于第二图像中不足128个像素的维度，可以用0填充。如此，每一样本图像都可以转换为1*128*128*128*1大小的数组；对标注信息对应的三维二值矩阵进行同样的处理，再与每一样本图像进行合并，就可以得到1*128*128*128*5的数组。
步骤H3、基于归一化结果，对FCN进行半监督训练，得到训练完成的FCN。
在相关技术中，对神经网络训练时，样本数据通常采用批处理（BatchNormalization）的方式进行处理，然而，每次批处理得到的均值和标准差都是不稳定的，这就相当于为样本数据引入了额外的噪声。因此，在本申请实施例提供的图像分割方法中，采用实例正则化（Instance Normalization）代替了传统的批处理。
在本申请实施例中，基于归一化结果对FCN进行半监督训练，一方面可以减少FCN训练过程中的数据运算量、降低数据存储开销；另一方面，对样本数据中的每一样本数据分别进行归一化处理，得到的归一化结果，也可以减少样本数据中各个数据之间的相互干扰，从而使得FCN能够从更大程度上获取样本数据中携带的特征信息，为对待分割图像的精确分割奠定基础，也能够改善FCN训练过程的稳定性。
在本申请实施例中，FCN网络可以采用Leaky ReLU计算所有特征提取环节得到的特征图。
在本申请实施例中，样本数据可以包含806套CTA图像数据，其中携带标注信息的样本数据即第一数据的数据量为448套，未携带标注信息的样本数据即第二数据的数据量为100套；在第一数据中，训练数据的数据量为112套，验证数据的数据量为146套，并且每套数据有170-330张切片，每张切片分辨率均为512×512。本申请附图中所展示图片均由1套分辨率为512x512的216张切片的验证数据中的数据生成。
在本申请实施例中，对FCN的训练次数，可以为200左右，优化算法为自适应矩估计（Adam），其初始步长可以设置为0.001。
图9为本申请实施例提供的基于样本数据对FCN进行半监督训练的结构示意图。
在图9中，在样本数据为未携带标注信息的第二数据的情况下，可以对样本数据901执行第一随机扰动902，得到第一扰动数据903，并将样本数据901以及第一扰动数据903分别输入至FCN 2中，经过FCN 2的处理，就可以得到第二处理结果以及第三处理结果904，然后对第二处理结果执行第一随机扰动902，得到第一扰动结果905，再基于第一扰动结果905以及第三处理结果904进行损失计算906，最后根据损失计算的结果确定是否继续训练FCN 2。
在图9中，在样本数据为携带标注信息907的第一数据的情况下，可以对样本数据901执行第二随机扰动908得到第二扰动数据909，并分别将第二扰动数据909以及样本数据901输入至FCN 2中，经过FCN 2的处理就可以分别得到第四处理结果910和第五处理结果，然后对第五处理结果执行第二随机扰动908得到第二扰动结果911；与此同时，对标注信息907执行第二随机扰动908得到扰动后的标注信息912；最后基于扰动后的标注信息912、第二扰动结果911以及第四处理结果进行损失计算906，并根据损失计算的结果确定是否继续训练FCN 2。
图10为本申请实施例提供的基于训练完成的FCN对第一数据的分割结果的三维空间点云效果示意图。
在图10中，左侧第一列和第二列图像，分别是训练完成的FCN对第一数据中的第一指定数据分割的三维空间点云效果、第一指定数据的标注信息对应的三维空间点云效果；左侧第三列图像与右侧第一列图像，分别是训练完成的FCN对第一数据中的第二指定数据分割的三维空间点云效果、第二指定数据的标注信息对应的三维空间点云效果。
从图10中可以看出，训练完成的FCN对第一指定数据分割得到的三维空间点云效果、与第一指定数据的标注信息对应的三维空间点云效果基本一致；训练完成的FCN 2对第二指定数据分割得到的三维空间点云效果、与第二指定数据的标注信息对应的三维空间点云效果基本一致。
图11a为训练完成的FCN对第一数据中的第三指定数据的分割结果的二值图，图11b为第三指定数据的标注信息对应的二值图。从图11a至图11b可以看出，训练完成的FCN对第三指定数据分割得到的二值图，与样本数据第三指定数据的标注信息对应的二值图基本一致。
从图10、图11a以及图11b可以看出，通过本申请实施例提供的训练完成的FCN，可以实现对样本数据、乃至待分割数据的精确分割，且从分割结果中可以全面而客观地得到目标对象指定区域的空间拓扑结构。
基于前述实施例，本申请实施例还提供了一种图像分割装置12，图12为本申请实施例提供的图像分割装置12的结构示意图。如图12所示，该图像分割装置包括：确定模块1201、处理模块1202；其中：
确定模块1201，用于得到训练完成的全卷积网络FCN；其中，训练完成的FCN，是基于样本数据对FCN进行训练得到的；样本数据为医疗图像数据；FCN包括特征提取网络以及特征融合网络；特征提取网络用于对样本数据进行特征提取；特征提取网络包括多个特征提取单元；相邻的特征提取单元之间建立有残差连接；特征融合单元，用于对特征提取单元的输出数据进行上采样以及特征融合处理，得到样本数据的分割结果；
处理模块1202，用于基于训练完成的FCN，对待分割图像进行分割，确定待分割图像的分割结果。
在一些实施方式中，相邻的特征融合单元之间，建立有第二残差连接。
在一些实施方式中，样本数据包括第一数据和第二数据；第一数据携带有标注信息；第二数据未携带标注信息；标注信息，表示样本数据中目标对象的形态。
确定模块1201，用于基于样本数据，对FCN进行半监督训练，得到训练完成的FCN。
在一些实施方式中，处理模块1202，用于基于偏微分方程对第三数据进行处理，得到第一数据；其中，第三数据未携带标注信息。
在一些实施方式中，处理模块1202，用于基于阈值分割算法以及区域生长算法对第三数据进行处理，确定三维关联信息；其中，三维关联信息，表示第三数据中目标对象的指定部位、与目标对象的其它部位之间的立体关联关系；
处理模块1202，用于基于偏微分方程，对三维关联信息以及第三数据进行处理，确定标注信息；对标注信息以及第三数据进行组合，得到第一数据。
在一些实施方式中，处理模块1202，用于以指定样本间隔，从第三数据中选择目标数据；基于三维关联信息，对目标数据进行标注，得到第一信息；其中，第一信息，包括目标数据中的指定部位的边缘信息；
处理模块1202，还用于基于偏微分方程对第三数据以及第一信息进行处理，确定标注信息。
在一些实施方式中，处理模块1202，用于基于偏微分方程以及第一信息，对第三数据中与目标数据相邻的数据进行处理，得到第二信息；其中，第二信息，包括第三数据中与目标数据相邻的数据中指定部位的边缘信息；
确定模块1201，用于基于第一信息以及第二信息，确定标注信息。
在一些实施方式中，处理模块1202，用于基于FCN对样本数据进行处理，确定第一处理结果；基于clDice损失函数，对第一处理结果进行处理，确定损失信息；在损失信息不满足训练结束条件的情况下，基于样本数据，对FCN进行半监督训练，得到训练完成的FCN。
在一些实施方式中，处理模块1202，用于对第二数据执行第一随机扰动，得到第一扰动数据；基于FCN，分别对第一扰动数据以及第二数据进行处理，得到第二处理结果以及第三处理结果；对第三处理结果执行第一随机扰动，得到第一扰动结果；基于第一扰动结果以及第二处理结果，确定第一处理结果；
或者，
处理模块1202，用于对第一数据执行第二随机扰动，得到第二扰动数据；基于FCN分别对第二扰动数据以及第一数据分别进行处理，得到第四处理结果以及第五处理结果；对第五处理结果执行第二随机扰动，得到第二扰动结果；基于第二扰动结果、第四处理结果以及标注信息，确定第一处理结果。
在一些实施方式中，处理模块1202，用于对样本数据中的每一数据分别进行归一化处理，得到归一化结果；基于归一化结果，对FCN进行半监督训练，得到训练完成的FCN。
需要说明的是，实际应用中，确定模块1201以及处理模块1202，可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在本申请实施例中，通过图像分割装置12中训练完成的FCN中特征提取网络、以及特征提取网络中相邻特征提取单元之间的第一残差连接，能够获取待分割图像更丰富精细的图像边缘信息；通过特征融合网络的上采样、特征融合作用、以及训练完成的FCN中呈镜像关系的特征提取单元与特征融合网络中特征融合单元之间的跳跃连接，能够在补偿特征提取网络特征提取结果的特征细节的前提下、达到良好的去噪效果；并且，在FCN本身能够实现像素级别的识别分割的条件下，通过本申请实施例提供的图像分割方法，能够得到更精准的待分割图像的分割结果。
基于前述实施例，本申请实施例还提供了一种图像分割设备13，图13为本申请实施例提供的图像分割设备13的结构示意图。如图13所示，该图像分割设备13可以包括处理器1301、存储器1302和通信总线；其中，通信总线用于实现处理器1301与存储器1302之间的通信连接；处理器1301用于执行存储器1302中存储的计算机程序，以实现如前任一实施例所述的图像分割方法。
上述处理器1301可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
上述存储器1302，可以是易失性存储器（volatile memory），例如RAM；或者非易失性存储器（non-volatile memory），例如ROM，快闪存储器（flash memory，硬盘（Hard DiskDrive，HDD）或固态硬盘（Solid-State Drive，SSD）；或者上述种类的存储器的组合，并向处理器提供指令和数据。
基于前述实施例，本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质中存储有计算机程序，该计算机程序能够被处理器执行，以实现如前任一所述的图像分割方法。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
需要说明的是，上述计算机可读存储介质可以是只读存储器（Read Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性随机存取存储器（Ferromagnetic Random Access Memory，FRAM）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（Compact Disc Read-Only Memory，CD-ROM）等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种图像分割方法，其特征在于，所述方法包括：
得到训练完成的全卷积网络FCN；其中，所述训练完成的FCN，是基于样本数据对FCN进行训练得到的；所述样本数据为医疗图像数据；所述FCN包括特征提取网络以及特征融合网络；所述特征提取网络用于对所述样本数据进行特征提取；所述特征提取网络包括多个特征提取单元；相邻的所述特征提取单元之间建立有第一残差连接；所述特征融合网络包括多个特征融合单元；所述特征融合单元，用于对所述特征提取单元的输出数据进行上采样以及特征融合处理；所述样本数据包括第一数据；所述第一数据携带有标注信息；
基于所述训练完成的FCN，对待分割图像进行分割，确定所述待分割图像的分割结果；
所述方法还包括：
基于偏微分方程以及第一信息，对第三数据中、相邻的目标数据之间的每一数据进行处理，得到第二信息；其中，所述第二信息，包括所述第三数据中与所述目标数据相邻的数据中指定部位的边缘信息；所述第三数据，为未携带所述标注信息的CTA图像；所述第一信息，包括所述目标数据中的所述指定部位的边缘信息；所述目标数据，是以指定样本间隔，从所述第三数据中选择得到的；
基于所述第一信息以及所述第二信息，确定所述标注信息。
2.根据权利要求1所述的方法，其特征在于，所述相邻的特征融合单元之间，建立有第二残差连接。
3.根据权利要求1所述的方法，其特征在于，所述样本数据还包括第二数据；所述第二数据未携带所述标注信息；所述标注信息，表示所述样本数据中目标对象的形态；所述得到训练完成的全卷积网络FCN，包括：
基于所述样本数据，对所述FCN进行半监督训练，得到所述训练完成的FCN。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述偏微分方程对所述第三数据进行处理，得到所述第一数据；其中，所述第三数据未携带所述标注信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述偏微分方程对所述第三数据进行处理，得到所述第一数据，包括：
基于阈值分割算法以及区域生长算法对所述第三数据进行处理，确定三维关联信息；其中，所述三维关联信息，表示所述第三数据中目标对象的指定部位、与所述目标对象的其它部位之间的立体关联关系；
基于所述偏微分方程，对所述三维关联信息以及所述第三数据进行处理，确定所述标注信息；
对所述标注信息以及所述第三数据进行组合，得到所述第一数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述偏微分方程，对所述三维关联信息以及所述第三数据进行处理，确定所述标注信息，包括：
以指定样本间隔，从所述第三数据中选择目标数据；
基于所述三维关联信息，对所述目标数据进行标注，得到所述第一信息；其中，所述第一信息，包括所述目标数据中的所述指定部位的边缘信息；
基于所述偏微分方程对所述第三数据以及所述第一信息进行处理，确定所述标注信息。
7.根据权利要求3所述的方法，其特征在于，所述基于所述样本数据，对所述FCN进行半监督训练，得到训练完成的FCN，包括：
基于所述FCN对所述样本数据进行处理，确定第一处理结果；其中，所述第一处理结果，为所述FCN对所述样本数据中目标对象的指定部位的分割结果；
基于clDice损失函数，对所述第一处理结果进行处理，确定损失信息；
在所述损失信息不满足训练结束条件的情况下，基于所述样本数据，对所述FCN进行半监督训练，得到所述训练完成的FCN。
8.根据权利要求7所述的方法，其特征在于，所述基于所述FCN对所述样本数据进行处理，确定第一处理结果，包括：
对所述第二数据执行第一随机扰动，得到第一扰动数据；
基于所述FCN，分别对所述第一扰动数据以及所述第二数据进行处理，得到第二处理结果以及第三处理结果；
对所述第三处理结果执行所述第一随机扰动，得到第一扰动结果；
基于所述第一扰动结果以及所述第二处理结果，确定所述第一处理结果；
或者，
对所述第一数据执行第二随机扰动，得到第二扰动数据；
基于所述FCN分别对所述第二扰动数据以及所述第一数据分别进行处理，得到第四处理结果以及第五处理结果；
对所述第五处理结果执行所述第二随机扰动，得到第二扰动结果；
基于所述第二扰动结果、所述第四处理结果以及所述标注信息，确定所述第一处理结果。
9.根据权利要求3所述的方法，其特征在于，所述基于所述样本数据，对所述FCN进行半监督训练，得到训练完成的FCN，包括：
对所述样本数据中的每一数据分别进行归一化处理，得到归一化结果；
基于所述归一化结果，对所述FCN进行半监督训练，得到所述训练完成的FCN。
10.一种图像分割装置，其特征在于，所述图像分割装置包括：确定模块、处理模块；其中：
所述确定模块，用于得到训练完成的全卷积网络FCN；其中，所述训练完成的FCN，是基于样本数据对FCN进行训练得到的；所述样本数据为医疗图像数据；所述FCN包括特征提取网络以及特征融合网络；所述特征提取网络用于对所述样本数据进行特征提取；所述特征提取网络包括多个特征提取单元；相邻的所述特征提取单元之间建立有残差连接；所述特征融合网络包括多个特征融合单元；所述特征融合单元，用于对所述特征提取单元的输出数据进行上采样以及特征融合处理，得到所述样本数据的分割结果；所述样本数据包括第一数据；所述第一数据携带有标注信息；
所述处理模块，用于基于所述训练完成的FCN，对待分割图像进行分割，确定所述待分割图像的分割结果；基于偏微分方程以及第一信息，对第三数据中、相邻的目标数据之间的每一数据进行处理，得到第二信息；其中，所述第二信息，包括所述第三数据中与所述目标数据相邻的数据中指定部位的边缘信息；所述第三数据，为未携带所述标注信息的CTA图像；所述第一信息，包括所述目标数据中的所述指定部位的边缘信息；所述目标数据，是以指定样本间隔，从所述第三数据中选择得到的；
基于所述第一信息以及所述第二信息，确定所述标注信息。
11.一种图像分割设备，其特征在于，所述设备包括处理器、存储器和通信总线；其中，所述通信总线用于实现所述处理器与所述存储器之间的通信连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-9任一所述的图像分割方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序；所述计算机程序能够被处理器执行，以实现如权利要求1-9任一所述的图像分割方法。
CN202110021474.4A 2021-01-08 2021-01-08 一种图像分割方法、装置、设备以及存储介质 Active CN112348818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110021474.4A CN112348818B (zh) 2021-01-08 2021-01-08 一种图像分割方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110021474.4A CN112348818B (zh) 2021-01-08 2021-01-08 一种图像分割方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112348818A CN112348818A (zh) 2021-02-09
CN112348818B true CN112348818B (zh) 2021-08-06

Family

ID=74427345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110021474.4A Active CN112348818B (zh) 2021-01-08 2021-01-08 一种图像分割方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112348818B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119645B (zh) * 2021-11-25 2022-10-21 推想医疗科技股份有限公司 一种图像分割质量的确定方法、系统、设备及介质
CN115713626B (zh) * 2022-11-21 2023-07-18 山东省人工智能研究院 一种基于深度学习的3d冠脉cta斑块识别方法
CN116030326B (zh) * 2023-01-18 2023-09-08 山东省人工智能研究院 一种多视角融合的冠脉斑块识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110689083B (zh) * 2019-09-30 2022-04-12 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN110992377B (zh) * 2019-12-02 2020-12-22 推想医疗科技股份有限公司 图像分割方法、装置、计算机可读存储介质和设备

Also Published As

Publication number Publication date
CN112348818A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
Cai et al. A review of the application of deep learning in medical image classification and segmentation
CN112348818B (zh) 一种图像分割方法、装置、设备以及存储介质
Usman et al. Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning
US11379985B2 (en) System and computer-implemented method for segmenting an image
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US20200320697A1 (en) Method, system, and device for lung lobe segmentation, model training, model construction and segmentation
Selver et al. Patient oriented and robust automatic liver segmentation for pre-evaluation of liver transplantation
Zhou Automatic segmentation of multiple organs on 3D CT images by using deep learning approaches
US10853409B2 (en) Systems and methods for image search
Pang et al. CTumorGAN: a unified framework for automatic computed tomography tumor segmentation
CN112435263A (zh) 医学图像分割方法、装置、设备、系统及计算机存储介质
CN111028248A (zh) 一种基于ct图像的静动脉分离方法及装置
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
CN110163872A (zh) 一种hrmr图像分割与三维重建的方法及电子设备
CN107516314B (zh) 医学图像超体素分割方法和装置
CN111127487B (zh) 一种实时多组织医学图像的分割方法
WO2015143435A1 (en) Graph search using non-euclidean deformed graph
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
Li et al. Category guided attention network for brain tumor segmentation in MRI
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
KR102431173B1 (ko) 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법
Dong et al. An improved supervoxel 3D region growing method based on PET/CT multimodal data for segmentation and reconstruction of GGNs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant