CN109872328B - 一种脑部图像分割方法、装置和存储介质 - Google Patents

一种脑部图像分割方法、装置和存储介质 Download PDF

Info

Publication number
CN109872328B
CN109872328B CN201910070881.7A CN201910070881A CN109872328B CN 109872328 B CN109872328 B CN 109872328B CN 201910070881 A CN201910070881 A CN 201910070881A CN 109872328 B CN109872328 B CN 109872328B
Authority
CN
China
Prior art keywords
image
branch
module
fused
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910070881.7A
Other languages
English (en)
Other versions
CN109872328A (zh
Inventor
郭恒
李悦翔
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910070881.7A priority Critical patent/CN109872328B/zh
Publication of CN109872328A publication Critical patent/CN109872328A/zh
Priority to EP20744359.9A priority patent/EP3916674B1/en
Priority to PCT/CN2020/072114 priority patent/WO2020151536A1/zh
Priority to US17/241,800 priority patent/US11748889B2/en
Application granted granted Critical
Publication of CN109872328B publication Critical patent/CN109872328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种脑部图像分割方法、装置和存储介质，具体为在获取到待分割图像组之后，一方面，可以根据该待分割图像组中的多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以分别对该多种模态图像进行特征提取和融合，再根据融合后特征对颅内组织进行分割，然后，再将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；该方案可以提高特征表达能力和分割的精准性。

Description

一种脑部图像分割方法、装置和存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种脑部图像分割方法、装置和存储介质。
背景技术
脑部疾病是威胁人类身体健康的主要疾病之一，定量地分析脑部组织结构在临床医学上有着重要的意义。例如，以阿尔茨海默症、帕金森症、多发性硬化症以及精神分裂症等退化脑疾病为例，由于这些神经疾病改变了人脑软组织和脑脊液的正常体积及其区域分布，因此，医生可以通过对这些组织容量进行精确测量来评估患者的风险及疾病级别，而脑部图像的精确分割作为精确测量的一个前提，便显得尤为重要。
传统脑部图像的分割一般会通过人工来实现，而随着计算机视觉技术和人工智能技术的发展，现有又提出了基于深度学习对脑部的核磁共振影像(MRI，MagneticResonance Imaging)进行分割的技术，例如，具体可以将脑部组织的多个模态的图像进行融合后，采用软件进行颅骨剥离(即将脑部组织从非脑组织中分离出来)，然后，再对剥离结果进行组织区域识别和分割。虽然该方案相对传统方案而言，其效率和分割精度有所提高，但是，由于在融合的过程中，部分模态的信息会被舍弃，因此，特征表达能力十分有限，大大影响分割精准性。
发明内容
本发明实施例提供一种脑部图像分割方法、装置和存储介质，可以提高特征表达能力和分割的精准性。
本发明实施例提供一种脑部图像分割方法，包括：
获取待分割图像组，所述待分割图像组包括脑部的多种模态图像；
根据所述多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜；
分别对所述多种模态图像进行特征提取，并融合提取到的特征；
根据融合后特征对颅内组织进行分割，得到初始分割结果；
将所述掩膜和初始分割结果进行融合，得到所述待分割图像组对应的分割结果。
相应的，本发明实施例提供一种脑部图像分割装置，包括获取单元、剥离单元、提取单元、分割单元和融合单元，如下：
获取单元，用于获取待分割图像组，所述待分割图像组包括脑部的多种模态图像；
剥离单元，用于根据所述多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜；
提取单元，用于分别对所述多种模态图像进行特征提取，并融合提取到的特征；
分割单元，用于根据融合后特征对颅内组织进行分割，得到初始分割结果；
融合单元，用于将所述掩膜和初始分割结果进行融合，得到所述待分割图像组对应的分割结果。
可选的，在一些实施例中，所述多种模态图像包括用于组织区域分割的第一模态图像、用于颅内区域识别的第二模态图像和用于蛋白质病变区域识别的第三模态图像，则：
所述剥离单元，具体可以用于根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜；
所述提取单元，具体可以用于分别对第一模态图像、第二模态图像和第三模态图像进行特征提取，并融合提取到的特征。
可选的，在一些实施例中，所述剥离单元，具体可以用于对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测，根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集，在所述融合后图像上对所述背景体素集进行屏蔽，得到剥离颅骨的掩膜。
可选的，在一些实施例中，所述提取单元，具体可以用于对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征。
可选的，在一些实施例中，所述训练后多分支全卷积网络包括上分支三维残差结构、下分支三维残差结构和分类网络模块，则所述提取单元，具体可以用于采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征；采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征；通过分类网络模块将上分支特征和下分支特征进行融合。
可选的，在一些实施例中，所述上分支三维残差结构包括上分支卷积模块、第一上分支残差模块、第一上分支下采样模块、第二上分支残差模块、第二上分支下采样模块、第三上分支残差模块和第三上分支下采样模块，则所述提取单元，具体可以用于：
采用上分支卷积模块对融合后图像进行卷积处理；
采用第一上分支残差模块对上分支卷积模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；
采用第二上分支残差模块对第一上分支下采样模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；
采用第三上分支残差模块对第二上分支下采样模块的输出进行编码，并采用第三上分支下采样模块对编码结果进行下采样操作，得到上分支特征。
可选的，在一些实施例中，所述下分支三维残差结构包括下分支卷积模块、第一下分支残差模块、第一下分支下采样模块、第二下分支残差模块、第二下分支下采样模块、第三下分支残差模块和第三下分支下采样模块，则所述提取单元，具体可以用于：
采用下分支卷积模块对第三模态图像进行卷积处理；
采用第一下分支残差模块对下分支卷积模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；
采用第二下分支残差模块对第一下分支下采样模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；
采用第三下分支残差模块对第二下分支下采样模块的输出进行编码，并采用第三下分支下采样模块对编码结果进行下采样操作，得到下分支特征。
可选的，在一些实施例中，所述分割单元，具体可以用于采用分类网络模块对融合后特征进行分类，基于分类结果对颅内组织进行分割，得到初始分割结果。
可选的，在一些实施例中，所述融合单元，具体可以用于分别获取所述掩膜上每个体素的值和所述初始分割结果上每个体素的值，根据所述掩膜上每个体素的值建立第一矩阵，以及根据所述初始分割结果上每个体素的值建立第二矩阵，将第一矩阵中的元素与第二矩阵中的元素进行点乘操作，得到所述待分割图像组对应的分割结果。
可选的，在一些实施例中，所述脑部图像分割装置还可以包括第一采集单元和第一训练单元，如下：
所述第一采集单元，用于采集多个第一样本图像组，所述第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本；
所述第一训练单元，用于对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值，获取融合后图像中体素点类型的真实值，采用交叉熵损失函数，根据所述预测值和真实值对所述三维全卷积网络进行收敛，得到训练后三维全卷积网络。
可选的，在一些实施例中，所述脑部图像分割装置还可以包括第二采集单元和第二训练单元，如下：
第二采集单元，用于采集多个第二样本图像组，所述第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本；
第二训练单元，用于对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本，采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取，融合提取到的特征，并对融合后特征进行分类，得到类型预测值，获取融合后特征的类型真实值，通过多分类损失函数，根据所述类型预测值和类型真实值对所述多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
本发明实施例在获取到待分割图像组之后，一方面，可以根据该待分割图像组中的多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以分别对该多种模态图像进行特征提取和融合，再根据融合后特征对颅内组织进行分割，然后，再将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；由于该方案在进行初始分割时，采用的是先对各个模态图像的特征进行提取，再进行融合的方式，因此，可以尽可能保留各个模态所蕴含的信息，提高所提取的特征的表达能力，而且，还可以利用颅骨分离所得到的掩膜来消除初始分割所得到的分割结果中的假阳现象(false positive)，因此，相对于直接对各个模态图像进行融合和颅骨剥离，再基于剥离结果进行分割的方案而言，可以提高特征表达能力和分割的精准性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的脑部图像分割方法的场景示意图；
图2是本发明实施例提供的脑部图像分割方法的流程图；
图3是本发明实施例提供的三维全卷积网络的结构示例图；
图4是本发明实施例提供的多分支全卷积网络的结构示例图；
图5是本发明实施例提供的脑部图像分割模型的结构示例图；
图6是本发明实施例提供的下采样模块的结构示例图；
图7是本发明实施例提供的多模态图像的示意图；
图8是本发明实施例提供的残差模块的结构示意图；
图9是本发明实施例提供的脑部图像分割模型的另一结构示例图；
图10是本发明实施例提供的脑部图像分割方法的另一流程图
图11是本发明实施例提供的待分割图像组与分割结果的对比图；
图12是本发明实施例提供的脑部图像分割装置的结构示意图；
图13是本发明实施例提供的脑部图像分割装置的另一结构示意图；
图14是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种脑部图像分割方法、装置和存储介质。其中，该脑部图像分割装置可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，参见图1，以该脑部图像分割装置具体集成在网络设备中为例，首先，可以通过各医学图像采集设备，比如CT或核磁共振成像仪等对同一个人的脑部进行多个模态的图像采集，然后，将采集到的多种模态图像(比如第一模态图像、第二模态图像……，第N模态图像等)添加至同一集合，得到待分割图像组，并将该待分割图像组提供给网络设备。网络设备在接收到该待分割图像组后，一方面，可以根据该多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面，可以根据该多种模态图像对颅内组织进行分割，得到初始分割结果，然后，再将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
其中，在进行初始分割时，为了避免图像信息丢失而影响特征表达能力，本方案在特征提取之外，并不对多种模态图像进行融合，而是在分别对该多种模态图像进行特征提取后，才融合提取到的特征，然后，再根据融合后特征对颅内组织进行分割，以得到初始分割结果。由于该方案可以提高特征表达能力，且掩膜与初始分割结果的融合也可以消除初始分割结果中的假阳现象，因此，可以大大提高分割的精准性。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
在本实施例中，将从脑部图像分割装置的角度进行描述，该脑部图像分割装置具体可以集成在网络设备如终端或服务器等设备中。
一种脑部图像分割方法，包括：获取待分割图像组，该待分割图像组包括脑部的多种模态图像，根据该多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，分别对该多种模态图像进行特征提取，并融合提取到的特征，根据融合后特征对颅内组织进行分割，得到初始分割结果，将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
如图2所示，该脑部图像分割装置的具体流程可以如下：
101、获取待分割图像组。
例如，具体可以接收各医学图像采集设备，比如电子计算机断层扫描仪(CT，Computed Tomography)、或核磁共振成像仪等发送的待分割图像组。每一组待分割图像组，可以通过各医学图像采集设备对同一对象，比如对同一个人的脑部进行采集来得到。
其中，该待分割图像组指的是需要进行图像分割的图像的集合，其具体可以包括脑部的多种模态图像，比如，可以包括用于组织区域分割的第一模态图像(如核磁共振模态图像中的T1图像)、用于颅内区域识别的第二模态图像(如核磁共振模态图像中的T1_IR图像)、以及用于蛋白质病变区域识别的第三模态图像(如核磁共振模态图像中的T2图像)，等等。
其中，T1图像是核磁共振影像中的一种数据模态，是在核磁共振成像过程中只捕捉氢元素质子的纵向移动而得到的影像，主要用来观察解剖学细节；T1_IR(T1InversionRecovery)图像是核磁共振影像中一种脂肪抑制技术(fat suppression technique)，通过抑制脂肪组织的信号强度来突显其他组织，对于观察肾上腺(adrenal glands)、骨髓(bonemarrow)和脂肪肿瘤(fatty tumours)非常有用；T2图像在本发明实施例中主要指FLAIR(Fluid Attenuation Inversion Recovery)图像，是核磁共振影像中一种抑制水的信号强度的技术，对于显示脑水肿(cerebral oedema)以及在多发性硬化症(multiplesclerosis)下产生的旁室或皮质病变(periventricular or cortical lesions)非常有用。
102、根据该多种模态图像进行颅骨剥离(Skull Stripping)，得到剥离颅骨的掩膜。
颅骨分离，指的是将颅骨从脑部的核磁共振影像中剥离开来的操作，即指的是对图像中的颅内区域进行识别，并将颅内区域与背景区域(即除颅内区域之外的区域)进行划分的操作(即将脑部组织从非脑组织中分离出来)。而掩膜则指的是保留颅内区域，并将背景区域的体素点进行屏蔽后所得到的图像。
需说明的是，在进行颅骨分离时，可以采用全部的模态图像，也可以只采用其中的部分模态图像，比如，以该多种模态图像包括第一模态图像、第二模态图像和第三模态图像为例，则此时，可以根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜，等等。颅骨剥离的方式具体可以如下：
(1)对第一模态图像和第二模态图像进行融合，得到融合后图像。
其中，具体的融合方式可以有多种，比如，可以通过特征相加或通道拼接等方式来对该第一模态图像和第二模态图像进行融合，得到融合后图像。
(2)采用训练后三维全卷积网络(3D Fully Convolutional Network)对融合后图像中体素点的类型进行预测。
其中，该训练后三维全卷积网络为本发明实施例所提供的训练后脑部图像分割模型的一个分支，该训练后三维全卷积网络可以包括两部分，一部分为三维残差网络(这部分也可以称为编码器，即encoder)，用于编码，以对融合后图像进行特征提取，另一部分为分类网络(这部分为也可以称为解码器，即decoder)，主要用于解码，以预测体素点的类型。
若该训练后三维全卷积网络包括三维残差网络和分类网络，则步骤“采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测”可以包括：
A、通过三维残差网络对融合后图像进行特征提取，得到特征信息。
其中，该三维残差网络的具体结构可以根据实际应用的需求而定，比如，可以包括卷积层、多个残差模块(ResBlock)和多个下采样模块(Downsample)等。不同尺寸(即输入/输出的图像大小)的残差模块可以实现不同尺度的特征提取，而下采样模块则可以生成对应图像的缩略图，使得所输出的图像能够符合所需的图像大小。
例如，参见图3，以该三维残差网络包括：一个尺寸为32(即输入/输出的图像大小)，且卷积核为3×3×3的卷积层(即卷积层32)，一个尺寸为32的残差模块(即残差模块32)，一个尺寸为64的残差模块(即残差模块64)，一个尺寸为128的残差模块(即残差模块128)，以及多个下采样模块为例，则对融合后图像进行特征提取的流程可以如下：
采用卷积层对该融合后图像进行卷积处理后，将卷积处理结果作为残差模块“残差模块32”的输入以进行特征提取，然后，将“残差模块32”输出的特征图(Feature Map)经由一下采样模块进行下采样操作后，作为另一残差模块“残差模块64”的输入以进行另一尺度的特征提取；类似的，将“残差模块64”输出的特征图经由另一下采样模块进行下采样操作后，作为又一残差模块“残差模块128”的输入；在“残差模块128”处理后，再采用又一下采样模块对“残差模块128”输出的特征图进行下采样操作，以此类推，通过这样利用多个不同尺寸的残差模块的特征提取和下采样操作后，便可以得到多个不同尺度(或称为不同级别)特征图和一个三维残差网络的最终输出值，为了描述方便，在本发明实施例中，将这多个特征图和该三维残差网络的最终输出值统称为特征信息。
B、采用分类网络，根据得到的特征信息预测该融合后图像中每一个体素点的类型。
其中，该分类网络的具体结构也可以根据实际应用的需求而定，比如，可以包括多个残差模块和多个反卷积层(Deconv)，此外，还可以包括一个卷积层、以及多个批标准化(BN，Batch Normalization，也称为批量归一化)层和激活函数(ReLU)层(也可以将BN和激活函数作为同一层来实现)。
例如，如图3和图5所示，以该分类网络包括：一个尺寸为256的残差模块“残差模块256”，一个尺寸为128的反卷积层(即反卷积层128)，一个尺寸为128的残差模块(残差模块128)，一个尺寸为64的反卷积层(即反卷积层64)，一个尺寸为64的残差模块(残差模块64)，一个尺寸为32的反卷积层(即反卷积层32)，一个尺寸为32的残差模块(残差模块32)、一个尺寸为2且卷积核为1×1×1的卷积层(即卷积层2)，以及多个BN和激活函数层(即批归一化及激活层)为例，则该预测体素点类型的流程可以如下：
采用残差模块“残差模块256”对三维残差网络的最终输出值进行处理后，将处理结果导入反卷积层“反卷积层128”中进行反卷积处理，然后，将反卷积处理结果与残差网络中“残差模块128”所得到的特征图进行融合，并将融合结果进行批量归一化和引入非线性因素后(通过激活函数引入非线性因素)，作为该分类网络的另一个残差模块“残差模块128”的输入以进行处理，类似的，在反卷积层“反卷积层64”将“残差模块128”的输出进行反卷积处理后，可以将该反卷积处理结果与残差网络的“残差模块64”所得到的特征图进行融合；同理，在由“批归一化及激活层”对融合结果进行批量归一化和引入非线性因素后，可以将“批归一化及激活层”的输出作为该分类网络的又一个残差模块“残差模块64”的输入，经由“残差模块64”和反卷积层“反卷积层32”的处理后，再将反卷积处理结果与残差网络的“残差模块32”所得到的特征图进行融合，最后，将该融合结果经由“批归一化及激活层”、“残差模块32”和卷积层(即卷积层2)处理后，便可预测该融合后图像中每一个体素点的类型。
其中，训练后三维全卷积网络可以由多个第一样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即步骤“采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测”之前，该医学图像分割方法还可以包括：
采集多个第一样本图像组，该第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本等信息；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本，采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值，获取融合后图像中体素点类型的真实值，采用交叉熵损失函数，根据该预测值和真实值对该三维全卷积网络进行收敛，得到训练后三维全卷积网络。
比如，具体可以采集多张关于脑部的三维医学图像作为原始数据集，然后对该原始数据集里的图像进行预处理，比如去重、裁剪、旋转和/或翻转等操作，以得到满足该预设三维全卷积网络的输入标准的图像，然后，对这些预处理后的图像进行体素类型的标注，并将属于同一脑部的图像添加至同一个图像集合中，使得每个脑部对应一个图像集合，其中，这些图像集合在本发明实施例中，即称为第一样本图像组。
其中，将第一模态图像样本和第二模态图像样本进行融合的方式可以有多种，比如，可以通过特征相加或通道拼接等。另外，采用预设三维全卷积网络对融合后图像中体素点的类型进行预测的方法，也与对第一模态图像和第二模态图像的处理类似，详见前面的实施例，在此不作赘述。
(3)根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集。
(4)在该融合后图像上对该背景体素集进行屏蔽，得到剥离颅骨的掩膜。
比如，具体可以将颅内区域中体素点的值设置为1，以及将背景区域的体素点的值设置为0，来得到该剥离颅骨的掩膜。
这样，后续用该掩膜与初始分割结果融合(比如相乘)，便可使得初始分割结果中的颅内区域图像值保持不变，而颅内区域图像值都为0，也就是说，可以消除初始分割结果中的假阳现象。
103、分别对该多种模态图像进行特征提取，并融合提取到的特征。
例如，还是以该多种模态图像包括第一模态图像、第二模态图像和第三模态图像为例，则此时，可以分别对第一模态图像、第二模态图像和第三模态图像进行特征提取，并融合提取到的特征；比如，具体可以如下：
对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征。
需说明的是，可选的，若在步骤102中，已经将第一模态图像和第二模态图像进行了融合并进行了保存，则此时，也可以直接读取所保存的融合后图像，而无需重新对第一模态图像和第二模态图像进行融合，即如图5所示，可以将第一模态图像和第二模态图像进行融合后，将融合后图像分别提供给第一阶段和第二阶段使用。
其中，该训练后多分支全卷积网络为本发明实施例所提供的训练后脑部图像分割模型的另一分支；该训练后多分支全卷积网络的结构可以根据实际应用的需求进行设置，比如，该训练后多分支全卷积网络可以包括上分支三维残差结构、下分支三维残差结构和分类网络模块，其中，上分支三维残差结构和下分支三维残差结构这部分也可以称为编码器，用于编码，以对图像进行特征提取；而分类网络模块则相当于编码器，主要用于解码，以预测体素点类型并进行分割。
若该训练后多分支全卷积网络包括上分支三维残差结构、下分支三维残差结构和分类网络模块，则步骤“采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征”可以包括：
(1)采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征。
其中，该上分支三维残差结构可以包括上分支卷积模块、第一上分支残差模块、第一上分支下采样模块、第二上分支残差模块、第二上分支下采样模块、第三上分支残差模块和第三上分支下采样模块，则步骤“采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征”可以包括：
A、采用上分支卷积模块对融合后图像进行卷积处理；
B、采用第一上分支残差模块对上分支卷积模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；
C、采用第二上分支残差模块对第一上分支下采样模块的输出进行编码，并采用第二上分支下采样模块对编码结果进行下采样操作；
D、采用第三上分支残差模块对第二上分支下采样模块的输出进行编码，并采用第三上分支下采样模块对编码结果进行下采样操作，得到上分支特征。
其中，上分支卷积模块、第一上分支残差模块、第二上分支残差模块和第三上分支残差模块的网络参数可以根据实际应用的需求进行设置。比如，参见图4和图5，上分支卷积模块可以设置为尺寸大小为32，卷积核大小为3×3×3的卷积层(即图4中上分支的卷积层32)；第一上分支残差模块可以设置为尺寸大小为32的残差模块(即图4中上分支的残差模块32)；第二上分支残差模块可以设置为尺寸大小为64的残差模块(即图4中上分支的残差模块64)；第三上分支残差模块可以设置为尺寸大小为128的残差模块(即图4中上分支的残差模块128)，等等。
(2)采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征；
其中，该下分支三维残差结构包括下分支卷积模块、第一下分支残差模块、第一下分支下采样模块、第二下分支残差模块、第二下分支下采样模块、第三下分支残差模块和第三下分支下采样模块；则步骤“采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征”可以包括：
A、采用下分支卷积模块对第三模态图像进行卷积处理；
B、采用第一下分支残差模块对下分支卷积模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；
C、采用第二下分支残差模块对第一下分支下采样模块的输出进行编码，并采用第二下分支下采样模块对编码结果进行下采样操作；
D、采用第三下分支残差模块对第二下分支下采样模块的输出进行编码，并采用第三下分支下采样模块对编码结果进行下采样操作，得到下分支特征。
其中，下分支卷积模块、第一下分支残差模块、第二下分支残差模块和第三下分支残差模块的网络参数可以根据实际应用的需求进行设置。比如，参见图4和图5，下分支卷积模块可以设置为尺寸大小为32，卷积核大小为3×3×3的卷积层(即图4中上分支的卷积层32)；第一下分支残差模块可以设置为尺寸大小为32的残差模块(即图4中上分支的残差模块32)；第二下分支残差模块可以设置为尺寸大小为64的残差模块(即图4中上分支的残差模块64)；第三下分支残差模块可以设置为尺寸大小为128的残差模块(即图4中上分支的残差模块128)，等等。
此外，需说明的是，在上分支特征和下分支特征的提取过程中，步骤“对编码结果进行下采样操作”的方式可以有多种，比如，可以采用最大池化层来对编码结果进行下采样操作；可选的，还可以采用其他的方式，比如可以分别采用两个并行、步长相同且具有不同卷积核的卷积层对编码结果进行卷积处理，然后通过批归一层对卷积处理得到的结果进行批归一化，来实现下采样的目的。
其中，该“两个并行、步长相同且具有不同卷积核的卷积层”的网络参数具体可根据实际应用的需求进行设置，比如，参见图6，这两个卷积层的步长可以设置为2(即s＝2×2×2)，卷积核可以分别设置为3×3×3和1×1×1(参见图6中的“Con 3×3×3，s＝2×2×2”和“Con 1×1×1，s＝2×2×2”)。可选的，该进行下采样操作的结构还可以包括激活层，以便在批归一化处理结果中加入非线性因素，以提高特征的表达能力。为了描述方便，在图6中，将批归一化层和激活层统称“BN，ReLU”。
可选的，步骤102中的“下采样模块”除了可以采用最大池化层来实现之外，也同样可以采用如图6所示的下采样结构来实现，在此不作赘述。
(3)通过分类网络模块将上分支特征和下分支特征进行融合。
比如，可以通过将上分支特征和下分支特征进行体素相加或相乘的方式进行融合，等等。
104、根据融合后特征对颅内组织进行分割，得到初始分割结果；例如，具体可以如下：
采用分类网络模块对融合后特征进行分类，基于分类结果对颅内组织进行分割，得到初始分割结果。
比如，可以根据分类结果将属于“白质病变”类型的融合后特征添加至同一集合，并基于该集合进行分割，即可得到相应的白质病变区域，等等。
例如，如图4和图5所示，以该分类网络模块包括：一个尺寸大小为256且卷积核为“1×1×1”的卷积层(即卷积层256)，一个尺寸为256的残差模块“残差模块256”，一个尺寸为128的反卷积层(即反卷积层128)，一个尺寸为128的残差模块(残差模块128)，一个尺寸为64的反卷积层(即反卷积层64)，一个尺寸为64的残差模块(残差模块64)，一个尺寸为32的反卷积层(即反卷积层32)，一个尺寸为32的残差模块(残差模块32)、一个尺寸为10且卷积核为1×1×1的卷积层(即卷积层10)，以及多个BN和激活函数层(即批归一化及激活层)为例，则该对融合后特征进行分类的流程可以如下：
采用“卷积层256”对融合后特征进行卷积处理，并采用“残差模块256”对“卷积层256”的输出进行处理后，将处理结果导入反卷积层“反卷积层128”中进行反卷积处理，然后，将反卷积处理结果与残差网络中“残差模块128”所得到的特征图进行融合，并将融合结果进行批量归一化和引入非线性因素后，作为该分类网络的另一个残差模块“残差模块128”的输入以进行处理，类似的，在反卷积层“反卷积层64”将“残差模块128”的输出进行反卷积处理后，可以将该反卷积处理结果与残差网络的“残差模块64”所得到的特征图进行融合；同理，在由“批归一化及激活层”对融合结果进行批量归一化和引入非线性因素后，可以将“批归一化及激活层”的输出作为该分类网络的又一个残差模块“残差模块64”的输入，经由“残差模块64”和反卷积层“反卷积层32”的处理后，再将反卷积处理结果与残差网络的“残差模块32”所得到的特征图进行融合，最后，将该融合结果经由“批归一化及激活层”、“残差模块32”和卷积层(即卷积层10)处理后，便可以得到各个融合后特征的类型。
可选的，该训练后多分支全卷积网络可以由多个第二样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即步骤“采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取”之前，该医学图像分割方法还可以包括：
采集多个第二样本图像组，该第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取；融合提取到的特征，并对融合后特征进行分类，得到类型预测值；获取融合后特征的类型真实值；通过多分类损失函数，根据该类型预测值和类型真实值对该多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
比如，具体可以采集多张关于脑部的三维医学图像作为原始数据集，然后对该原始数据集里的图像进行预处理，比如去重、裁剪、旋转和/或翻转等操作，以得到满足该预设多分支全卷积网络的输入标准的图像，然后，对这些预处理后的图像进行体素类型的标注，并将属于同一脑部的图像添加至同一个图像集合中，使得每个脑部对应一个图像集合，其中，这些图像集合在本发明实施例中，即称为第二样本图像组。
其中，将第一模态图像样本和第二模态图像样本进行融合的方式可以有多种，比如，可以通过特征相加或通道拼接等。可选的，若在步骤102中，已经将第一模态图像和第二模态图像进行了融合并进行了保存，则此时，也可以直接读取所保存的融合后图像，而无需重新对第一模态图像样本和第二模态图像样本进行融合，即如图5所示，可以将第一模态图像样本和第二模态图像样本进行融合后，将融合后图像分别提供给第一阶段和第二阶段使用。
需说明的是，步骤102和103的执行可以不分先后。
105、将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
例如，具体可以将掩膜和初始分割结果进行体素相乘(Element-wisemultiplication)得到该待分割图像组对应的分割结果；具体可以如下：
分别获取该掩膜上每个体素的值和该初始分割结果上每个体素的值，根据该掩膜上每个体素的值建立第一矩阵，以及根据该初始分割结果上每个体素的值建立第二矩阵，将第一矩阵中的元素与第二矩阵中的元素进行点乘操作，得到该待分割图像组对应的分割结果。
由上可知，本实施例在获取到待分割图像组之后，一方面，可以根据该待分割图像组中的多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以分别对该多种模态图像进行特征提取和融合，再根据融合后特征对颅内组织进行分割，然后，再将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；由于该方案在进行初始分割时，采用的是先对各个模态图像的特征进行提取，再进行融合的方式，因此，可以尽可能保留各个模态所蕴含的信息，提高所提取的特征的表达能力，而且，还可以利用颅骨分离所得到的掩膜来消除初始分割所得到的分割结果中的假阳现象(误判了某一像素的类型，比如，某一像素为背景，但在分割时将其当作了目标对象，这种现象就称为假阳)，因此，相对于直接对各个模态图像进行融合和颅骨剥离，再基于剥离结果进行分割的方案而言，可以提高特征表达能力和分割的精准性。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该脑部图像分割装置具体集成在网络设备，且第一模态图像具体为核磁共振模态图像中的T1图像、第二模态图像具体为核磁共振模态图像中的T1_IR图像、以及第三模态图像具体为核磁共振模态图像中的T2图像为例进行说明；其中，如图7所示，T1图像一般用于组织区域分割，T1_IR图像一般用于颅内区域识别(即颅骨分离)，而T2图像一般用于蛋白质病变区域识别。
(一)脑部图像分割模型的训练。
其中，该脑部图像分割模型可以包括三维全卷积网络和多分支全卷积网络，该三维全卷积网络和多分支全卷积网络的训练可以如下：
(1)三维全卷积网络的训练；
首先，网络设备可以采集多个第一样本图像组，其中，每一个第一样本图像组可以包括同一对象如同一人的脑部的多个模态下的图像(即多种模态图像)，如T1图像和T1_IR图像等，且各个模态图像标注有真实的体素点类型。
其次，在采集到多个第一样本图像组后，网络设备可以将部分第一样本图像组作为训练数据集，另一部分作为验证数据集，比如，可以将这些第一样本图像组随机按照4:1的比例分为训练数据集和验证数据集，等等；然后，便可以利用训练数据集对预设三维全卷积网络进行训练，并利用验证数据集加以验证，以得到训练后三维全卷积网络。
其中，网络设备利用训练数据集对预设三维全卷积网络进行训练的过程可以如下：
A1、网络设备将第一样本图像组中的T1图像和T1_IR图像进行融合，得到融合后图像样本。
比如，网络设备可以通过特征相加或通道拼接等方式，来对T1图像和T1_IR图像进行融合，得到融合后图像样本。
A2、网络设备采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值。
其中，该三维全卷积网络的编码器部分可以由三维残差网络来实现，具体可以包括卷积层、多个残差模块和多个下采样模块等，而解码器部分则可由分类网络来实现，具体可以包括多个残差模块和多个反卷积层，此外，解码器部分还可以包括一个卷积层、以及多个批归一化(BN)层和激活(ReLU)层(也可以将BN和激活函数作为同一层——批归一化及激活层来实现，比如，具体可以参见图3、图5和图9。
例如，网络设备可以将融合后图像导入该三维全卷积网络的三维残差网络，以进行特征提取，得到特征信息，然后，采用该三维全卷积网络的分类网络对这些特征信息进行处理，以预测该融合后图像中每一个体素点的类型，得到融合后图像中体素点类型的预测值。
A3、网络设备根据第一样样本图像组中的各个模态图像的标注，确定融合后图像中体素点类型的真实值。
A4、采用交叉熵损失函数，根据该预测值和真实值对该三维全卷积网络进行收敛，得到训练后三维全卷积网络。
可选的，还可以利用验证数据集对训练后三维全卷积网络进行验证和调整，以提高该二维分割模型的准确性。
(2)多分支全卷积网络训练；
首先，网络设备可以采集多个第二样本图像组，其中，每一个第二样本图像组可以包括同一对象如同一人的脑部的多个模态下的图像，如T1图像、T1_IR图像和T2图像等，且各个模态图像标注有真实的体素点类型。
与采集到的第一样本图像组类似，在采集到多个第二样本图像组后，网络设备也可以将部分第二样本图像组作为训练数据集，另一部分作为验证数据集，比如，可以将这些第二样本图像组随机按照4:1的比例分为训练数据集和验证数据集，等等；然后，便可以利用训练数据集对预设的多分支全卷积网络进行训练，并利用验证数据集加以验证，以得到训练后多分支全卷积网络。
其中，网络设备利用训练数据集对预设的多分支全卷积网络进行训练的过程可以如下：
B1、网络设备将第二样本图像组中的T1图像和T1_IR图像进行融合，得到融合后图像样本。
比如，可以通过特征相加或通道拼接等方式来对T1图像和T1_IR图像进行融合，得到融合后图像样本。
B2、网络设备采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取，并融合提取到的特征。
其中，该多分支全卷积网络的编码器部分可以包括上分支三维残差结构和下分支三维残差结构，而解码器部分则可以由分类网络模块等来实现，譬如，其具体结构可如图4所示。其中，上分支三维残差结构用于对融合后图像样本进行特征提取，得到上分支特征，下分支三维残差结构用于对T2图像进行特征提取，得到下分支特征，而分类网络模块则用于对上分支特征和下分支特征进行融合，并对融合后特征进行分类和分割(即实现步骤B3)。
可选的，该上分支三维残差结构和下分支三维残差结构的网络结构类似，具体卷积层数、残差模块数、以及各层的网络参数可以根据实际应用的需求而定，比如，参见图4、图5和图9，其结构可以如下：
上分支三维残差结构包括：上分支卷积模块、第一上分支残差模块、第一上分支下采样模块、第二上分支残差模块、第二上分支下采样模块、第三上分支残差模块和第三上分支下采样模块。
下分支三维残差结构包括：下分支卷积模块、第一下分支残差模块、第一下分支下采样模块、第二下分支残差模块、第二下分支下采样模块、第三下分支残差模块和第三下分支下采样模块。
该上分支三维残差结构和下分支三维残差结构对特征的提取流程具体可参见前面的实施例，在此不作赘述。
可选的，该分类网络模块的结构也可以根据实际应用的需求进行设置，比如，具体可以包括多个卷积层、多个残差模块、多个反卷积层、以及多个批归一化及激活层，等等，具体可参见前面的实施例，在此不作赘述，
B3、网络设备对融合后特征进行分类，得到类型预测值。
例如，网络设备具体可以通过多分支全卷积网络中的分类网络模块对融合后特征进行分类，得到类型预测值。
B4、网络设备根据第二样样本图像组中的各个模态图像的标注，确定融合后特征的类型真实值。
其中，各个模态图像的标注可以由医护人员根据金标准(Gold standard)来进行标注；所谓金标准，是临床医学界的一种判断疾病的方法。
B5、网络设备通过多分类损失函数，根据该类型预测值和类型真实值对该多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
其中，鉴于普通的损失函数如CrossEntropy容易漏检白质病变区域，因此，可以采用多分类损失函数来进行收敛，该多分类损失函数的具体参数可以根据实际应用的需求进行设置，比如，若有N类脑部区域需要分割(比如需要划分蛋白质变区域和灰质区域)，则可以采用如下公式来作为该多分类损失函数L(j)：
Figure BDA0001957229960000201
其中，i为体素点，j和k为体素点类别，p为类型预测值，g为类型真实值(比如医生给出的金标准)。比如，pij表示的是“像素点i作为体素点类型为j时的类型预测值”，gij表示的是“像素点i作为体素点类型为j时的类型真实值”；pik表示的是“像素点i作为体素点类型为k时的类型预测值”，gik表示的是“像素点i作为体素点类型为k时的类型真实值”。
可选的，还可以利用验证数据集对训练后多分支全卷积网络进行验证和调整，以提高该二维分割模型的准确性。
此外，需说明的是，为了进一步增加各特征的表达能力，在三维全卷积网络和多分支全卷积网络中的残差模块(比如三维全卷积网络中的各个残差模块，上分支三维残差结构中的第一上分支残差模块、第二上分支残差模块和第三上分支残差模块，下分支三维残差结构中的第一下分支残差模块、第二下分支残差模块和第三下分支残差模块，以及分类网络模块中的各个残差模块等)除了可以使用3维U-Net中的残差单元结构之外，也可以采用如图8所示的残差模块结构。即如图8所示，该残差模块可以包括两个分支，其中一个分支依次可以包括批归一化层(BN)、卷积核为3×3×3的卷积层、批归一化及激活层(BN，ReLU)、另一个卷积核为3×3×3的卷积层以及另一个批归一化及激活层，而另一个分支可以包括一个卷积核为1×1×1的卷积层；当分别采用这两个分支对该残差模块的输入数据进行处理后，将两个分支所得到的处理结果进行融合，并采用又一个批归一化及激活层对融合所得到的结果进行处理，便可得到该残差模块的最终输出。
(二)通过训练后的脑部图像分割模型，便可以对分割图像组进行分割，以得到所需的分割结果，具体可参见图9。
如图9和图10所示，一种脑部图像分割方法，具体流程可以如下：
201、网络设备获取待分割图像组，其中，该待分割图像组可以包括多种模态图像，如T1图像、T1_IR图像和T2图像等。
例如，具体可以由各医学图像采集设备，如CT或核磁共振成像仪等设备对需要进行脑部图像检测的人的脑部进行图像采集，然后，将采集到的关于该脑部的多种模态图像如T1图像、T1_IR图像和T2图像等，作为一待分割图像组提供给该网络设备。
202、网络设备对T1图像和T1_IR图像进行融合，得到融合后图像。
其中，具体的融合方式可以有多种，比如，网络设备可以通过特征相加或通道拼接等方式来对该T1图像和T1_IR图像进行融合，得到融合后图像。
203、网络设备采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测，然后执行步骤204。
例如，网络设备通过该训练后三维全卷积网络中的三维残差网络对融合后图像进行特征提取，得到特征信息，然后，再采用该训练后三维全卷积网络中的分类网络，根据得到的特征信息预测该融合后图像中每一个体素点的类型。比如，以图9所示的训练后三维全卷积网络的结构为例，则该流程具体可以如下：
(1)编码器部分(三维残差网络)：
如图9所示，网络设备在将T1图像和T1_IR图像进行融合后，可以采用卷积层32对该融合后图像进行卷积处理，并将卷积处理结果作为残差模块32的输入以进行特征提取，然后，将残差模块32输出的特征图经由一下采样模块进行下采样操作后，作为残差模块64的输入以进行另一尺度的特征提取；类似的，将残差模块64输出的特征图经由另一下采样模块进行下采样操作后，作为残差模块128的输入；在残差模块128处理后，再采用又一下采样模块对残差模块128输出的特征图进行下采样操作，以此类推，通过这样利用多个不同尺寸的残差模块的特征提取和下采样操作后，便可以得到特征信息，其中，该特征信息包括三维残差网络的最终输出值、以及多个不同尺度的特征图，比如残差网络中残差模块32所得到的特征图、残差网络中残差模块64所得到的特征图、和残差网络中残差模块128所得到的特征图。
需说明的是，在上述解码过程中，“下采样操作”的实现方式可以有多种，比如，可以采用最大池化层来实现下采样操作，或者，也可以采用其他的方式，比如可以分别采用如图6所示的结构来实现下采样的目的，等等，具体可参见前面的实施例，在此不作赘述。
(2)解码器部分(分类网络)：
如图9所示，在得到特征信息后，网络设备可以采用残差模块256对三维残差网络的最终输出值进行处理，并将处理结果导入反卷积层128中进行反卷积处理，然后，将反卷积处理结果与残差网络中残差模块128所得到的特征图进行融合，并将融合结果进行批量归一化和引入非线性因素后，作为该分类网络的残差模块128的输入以进行处理，类似的，在反卷积层64将残差模块128的输出进行反卷积处理后，可以将该反卷积处理结果与残差网络的残差模块64所得到的特征图进行融合；同理，在由“批归一化及激活层”对融合结果进行批量归一化和引入非线性因素后，可以将“批归一化及激活层”的输出作为该分类网络的残差模块64的输入，经由残差模块64和反卷积层反卷积层32的处理后，再将反卷积处理结果与残差网络的残差模块32所得到的特征图进行融合，最后，将该融合结果经由“批归一化及激活层”、残差模块32和卷积层2处理后，便可得到该融合后图像中每一个体素点的类型，当然，还可以得到相应的类型概率。比如，可以得到体素点K1的类型为“颅内区域”，类型概率为“80％”；体素点K2的类型为“颅内区域”，类型概率为“60％”；体素点K3的类型为“背景区域”，类型概率为“95％”，以此类推，等等。
204、网络设备根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集，然后执行步骤205。
比如，若在步骤203中，得到体素点K3的类型为“背景区域”，且其类型概率为“95％”，则此时，可以确定体素点K3不属于颅内区域的体素点，然后，将体素点K3添加至背景体素集中，等等。
205、网络设备在该融合后图像上对该背景体素集进行屏蔽，得到剥离颅骨的掩膜，然后执行步骤209。
例如，网络设备可以将颅内区域中体素点的值设置为1，以及将背景区域的体素点的值设置为0，来得到该剥离颅骨的掩膜，参见图9。
比如，还是以体素点K1和K2为颅内区域的体素点，而体素点K3为背景区域的体素点为例，则此时，可以在该融合后图像上，将体素点K1和K2的值设置为1，而将体素点K3的值设置为0，以此类推，可以对其他体素点也作类似操作，便可得到该剥离颅骨的掩膜。这样，后续用该掩膜与初始分割结果融合(比如相乘)，便可使得初始分割结果中的颅内区域图像值保持不变，而颅内区域图像值都为0，也就是说，可以消除初始分割结果中的假阳现象。
206、网络设备采用训练后多分支全卷积网络中的上分支三维残差结构，对融合后图像(即T1图像和T1_IR图像的融合图像)进行特征提取，得到上分支特征，以及采用下分支三维残差结构对T2图像进行特征提取，得到下分支特征，然后执行步骤207；例如，具体可以如下：
(1)上分支特征的提取；
如图9所示，网络设备在将T1图像和T1_IR图像进行融合后，可以先采用上分支卷积模块对融合后图像进行卷积处理，再通过第一上分支残差模块对上分支卷积模块的输出进行编码，以及采用第一上分支下采样模块对编码结果进行下采样操作，然后，继续采用第二上分支残差模块对第一上分支下采样模块的输出进行编码，以及采用第二上分支下采样模块对编码结果进行下采样操作；最后，再采用第三上分支残差模块对第二上分支下采样模块的输出进行编码，以及采用第三上分支下采样模块对编码结果进行下采样操作，便可得到上分支特征。
(2)下分支特征的提取；
如图9所示，与提取上分支特征类似，网络设备可以先采用下分支卷积模块对T2图像进行卷积处理，然后，再采用第一下分支残差模块对下分支卷积模块的输出进行编码，以及采用第一下分支下采样模块对编码结果进行下采样操作；再然后，继续采用第二下分支残差模块对第一下分支下采样模块的输出进行编码，以及采用第二下分支下采样模块对编码结果进行下采样操作；最后，再采用第三下分支残差模块对第二下分支下采样模块的输出进行编码，以及采用第三下分支下采样模块对编码结果进行下采样操作，便可得到下分支特征。
需说明的是，在上分支特征和下分支特征的提取过程中，步骤“对编码结果进行下采样操作”的方式可以有多种，比如，可以采用最大池化层来对编码结果进行下采样操作，或者，也可以采用其他的方式，比如可以分别采用两个并行、步长相同且具有不同卷积核的卷积层对编码结果进行卷积处理，然后通过批归一层对卷积处理得到的结果进行批归一化，来实现下采样的目的，等等，具体可参见前面的实施例，在此不作赘述。
需说明的是，在本实施例中，步骤203和206的执行可以不分先后；另外，在步骤206中，上分支特征的提取和下分支特征的提取流程的顺序也可以不分先后，在此不作赘述。
207、网络设备通过训练后多分支全卷积网络中的分类网络模块将上分支特征和下分支特征进行融合，然后执行步骤208。
比如，如图9所示，具体可以通过分类网络模块，采用体素相加或相乘的方式将上分支特征和下分支特征的进行融合，等等。
208、网络设备通过训练后多分支全卷积网络中的分类网络模块，根据融合后特征对颅内组织进行分割，得到初始分割结果，然后执行步骤209。
例如，网络设备可以通过该分类网络模块对融合后特征进行分类，然后，基于分类结果对颅内组织进行分割，得到初始分割结果。
比如，若融合后特征中某个体素S1的类型为“白质病变”，且类型概率为90％；体素S2的类型为“灰质”，且类型概率为87％；体素S3的类型为“白质”，且类型概率为79％；体素S4的类型为“白质病变”，且类型概率为88％；体素S5的类型为“灰质”，且类型概率为75％；则此时，可以将属于“白质病变”类型的体素S1和S4添加至同一集合“白质病变体素集”，将属于“白质”类型的体素S3添加至集合“白质体素集”，以及将属于“灰质”类型的体素S2和S5添加至集合“灰质体素集”，然后，分别基于这些体素集进行区域分割，便可得到相应的“白质病变区域”、“白质区域”和“灰质区域”。
其中，这里的白质指的是脑白质，而灰质指的是脑灰质。众所周知，大脑是由上百亿个神经元组成的，而神经元又是由细胞体和神经纤维组成的，细胞体中有细胞核(颜色深)，神经纤维中有细胞质(颜色浅)。由于在大脑中，细胞体聚集在大脑表层，看起来颜色深，所以一般将这一部分称为脑灰质，而神经纤维聚集在大脑内部，看起来颜色浅，所以一般称为脑白质。
209、网络设备将步骤205得到的掩膜和步骤208得到的初始分割结果进行融合，得到该待分割图像组对应的分割结果。
例如，网络设备可以将掩膜和初始分割结果进行体素相乘(Element-wisemultiplication)，得到该待分割图像组对应的分割结果；具体可以如下：
网络设备分别获取该掩膜上每个体素的值和该初始分割结果上每个体素的值，根据该掩膜上每个体素的值建立第一矩阵，以及根据该初始分割结果上每个体素的值建立第二矩阵，然后，将第一矩阵中的元素与第二矩阵中的元素进行点乘操作，得到该待分割图像组对应的分割结果，参见图11。
在得到分割结果之后，便可以将该分割结果提供给相应的用户，比如医护人员作进一步操作，比如，医护人员可以基于该分割结果，从中找出“白质病变区域”，以确定该分割是否准确，或者对患者的情况进行判断，譬如，是否患有帕金森病或多发性硬化症，其程度如何，等等。
由上可知，本实施例在获取到待分割图像组之后，一方面，可以根据该待分割图像组中的T1图像和T1_IR图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以分别对T1图像、T1_IR图像和T2图像进行特征提取和融合，再根据融合后特征对颅内组织进行分割，然后，再将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；由于该方案在进行初始分割时，采用的是先对各个模态图像的特征进行提取，再进行融合的方式，因此，可以尽可能保留各个模态所蕴含的信息，提高所提取的特征的表达能力，而且，还可以利用颅骨分离所得到的掩膜来消除初始分割所得到的分割结果中的假阳现象，因此，相对于直接对各个模态图像进行融合和颅骨剥离，再基于剥离结果进行分割的方案而言，可以提高特征表达能力和分割的精准性。
此外，由于该方案在进行颅骨分离时，采用的是三维全卷积网络，因此，相对于采用软件来进行颅骨剥离的方案而言，可以无需设置大量的软件参数，以及进行复杂的调参操作，因此，不仅实现更为简单，而且可以避免由于设置不当而导致的剥离结果不理想的问题，有利于提高分割精准性。
为了更好地实施以上方法，本发明实施例还提供一种脑部图像分割装置，该脑部图像分割装置可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，如图12所示，该脑部图像分割装置可以包括获取单元301、剥离单元302、提取单元303、分割单元304和融合单元305，如下：
(1)获取单元301；
获取单元301，用于获取待分割图像组，其中，该待分割图像组包括脑部的多种模态图像。
例如，获取单元301，具体可以用于接收各医学图像采集设备，比如CT或核磁共振成像仪等发送的待分割图像组。每一组待分割图像组，可以通过各医学图像采集设备对同一对象，比如对同一个人的脑部进行采集来得到。
(2)剥离单元302；
剥离单元302，用于根据该多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜。
可选的，在进行颅骨分离时，可以采用全部的模态图像，也可以只采用其中的部分模态图像，比如，以该多种模态图像包括第一模态图像、第二模态图像和第三模态图像为例，则此时：
剥离单元302，具体可以用于根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜。
例如，在一些实施例中，该剥离单元302，具体可以用于对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测，根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集，在该融合后图像上对该背景体素集进行屏蔽，得到剥离颅骨的掩膜。
比如，该剥离单元302，具体可以用于将颅内区域中体素点的值设置为1，以及将背景区域的体素点的值设置为0，来得到该剥离颅骨的掩膜。
(3)提取单元303；
提取单元303，用于分别对该多种模态图像进行特征提取，并融合提取到的特征。
例如，还是以该多种模态图像包括第一模态图像、第二模态图像和第三模态图像为例，则此时，该提取单元303，具体可以用于分别对第一模态图像、第二模态图像和第三模态图像进行特征提取，并融合提取到的特征，比如，具体可以如下：
对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征。
需说明的是，可选的，若剥离单元302已经将第一模态图像和第二模态图像进行了融合并进行了保存，则此时，提取单元303也可以直接读取所保存的融合后图像，而无需重新对第一模态图像和第二模态图像进行融合，即：
提取单元303，具体可以用于获取融合后图像，采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征。
其中，该训练后多分支全卷积网络的结构可以根据实际应用的需求进行设置，比如，该训练后多分支全卷积网络可以包括上分支三维残差结构、下分支三维残差结构和分类网络模块，则此时：
该提取单元303，具体可以用于采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征；采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征；通过分类网络模块将上分支特征和下分支特征进行融合。
其中，该上分支三维残差结构可以包括上分支卷积模块、第一上分支残差模块、第一上分支下采样模块、第二上分支残差模块、第二上分支下采样模块、第三上分支残差模块和第三上分支下采样模块；则：
该提取单元303，具体可以用于采用上分支卷积模块对融合后图像进行卷积处理；采用第一上分支残差模块对上分支卷积模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；采用第二上分支残差模块对第一上分支下采样模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；采用第三上分支残差模块对第二上分支下采样模块的输出进行编码，并采用第三上分支下采样模块对编码结果进行下采样操作，得到上分支特征。
其中，该下分支三维残差结构包括下分支卷积模块、第一下分支残差模块、第一下分支下采样模块、第二下分支残差模块、第二下分支下采样模块、第三下分支残差模块和第三下分支下采样模块；则：
该提取单元303，具体可以用于采用下分支卷积模块对第三模态图像进行卷积处理；采用第一下分支残差模块对下分支卷积模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；采用第二下分支残差模块对第一下分支下采样模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；采用第三下分支残差模块对第二下分支下采样模块的输出进行编码，并采用第三下分支下采样模块对编码结果进行下采样操作，得到下分支特征。
其中，上分支卷积模块、第一上分支残差模块、第二上分支残差模块、第三上分支残差模块、下分支卷积模块、第一下分支残差模块、第二下分支残差模块和第三下分支残差模块的网络参数可以根据实际应用的需求进行设置，具体可参见前面的实施例，在此不作赘述。
此外，需说明的是，在本发明实施例中，下采样操作的方式可以有多种，比如，可以采用最大池化层来进行下采样操作；可选的，还可以采用其他的方式，比如可以分别采用两个并行、步长相同且具有不同卷积核的卷积层对需要进行下采样的数据进行卷积处理，然后通过批归一层对卷积处理得到的结果进行批归一化，来实现下采样的目的，等等，详见前面的方法实施例，在此不作赘述。
(4)分割单元304；
分割单元304，用于根据融合后特征对颅内组织进行分割，得到初始分割结果。
例如，该分割单元304，具体可以用于采用分类网络模块对融合后特征进行分类，基于分类结果对颅内组织进行分割，得到初始分割结果。
(5)融合单元305；
融合单元305，用于将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
例如，该融合单元，具体可以用于分别获取该掩膜上每个体素的值和该初始分割结果上每个体素的值，根据该掩膜上每个体素的值建立第一矩阵，以及根据该初始分割结果上每个体素的值建立第二矩阵，将第一矩阵中的元素与第二矩阵中的元素进行点乘操作，得到该待分割图像组对应的分割结果。
可选的，训练后三维全卷积网络可以由多个第一样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即如图13所示，该脑部图像分割装置还可以包括第一采集单元306和第一训练单元307，如下：
该第一采集单元306，可以用于采集多个第一样本图像组，其中，该第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本等图像样本。
该第一训练单元307，可以用于对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值，获取融合后图像中体素点类型的真实值，采用交叉熵损失函数，根据该预测值和真实值对该三维全卷积网络进行收敛，得到训练后三维全卷积网络。
同理，该训练后多分支全卷积网络可以由多个第二样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即如图13所示，该脑部图像分割装置还可以包括第二采集单元308和第二训练单元309，如下：
第二采集单元308，可以用于采集多个第二样本图像组，其中，该第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本。
第二训练单元309，可以用于对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本，采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取，融合提取到的特征，并对融合后特征进行分类，得到类型预测值，获取融合后特征的类型真实值，通过多分类损失函数，根据该类型预测值和类型真实值对该多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例在获取到待分割图像组之后，一方面，可以由剥离单元302根据该待分割图像组中的多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以由提取单元303分别对该多种模态图像进行特征提取和融合，再由分割单元304根据融合后特征对颅内组织进行分割，然后，再由融合单元305将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；由于该方案在进行初始分割时，采用的是先对各个模态图像的特征进行提取，再进行融合的方式，因此，可以尽可能保留各个模态所蕴含的信息，提高所提取的特征的表达能力，而且，还可以利用颅骨分离所得到的掩膜来消除初始分割所得到的分割结果中的假阳现象，因此，相对于直接对各个模态图像进行融合和颅骨剥离，再基于剥离结果进行分割的方案而言，可以提高特征表达能力和分割的精准性。
本发明实施例还提供一种网络设备，如图14所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图14中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作存储介质、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作存储介质、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理存储介质与处理器401逻辑相连，从而通过电源管理存储介质实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电存储介质、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取待分割图像组，该待分割图像组包括脑部的多种模态图像，根据该多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，分别对该多种模态图像进行特征提取，并融合提取到的特征，根据融合后特征对颅内组织进行分割，得到初始分割结果，将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
例如，具体可以对第一模态图像和第二模态图像进行融合，得到融合后图像，然后，一方面采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测，根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集，在该融合后图像上对该背景体素集进行屏蔽，得到剥离颅骨的掩膜；另一方面采用训练后多分支全卷积网络的上分支三维残差结构对融合后图像进行特征提取，得到上分支特征，以及采用训练后多分支全卷积网络的下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征，然后，通过训练后多分支全卷积网络的分类网络模块将上分支特征和下分支特征进行融合，并采用分类网络模块对融合后特征进行分类，基于分类结果对颅内组织进行分割，得到初始分割结果。
可选的，训练后三维全卷积网络可以由多个第一样本图像组训练而成，而训练后多分支全卷积网络可以由多个第二样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即处理器401还可以运行存储在存储器402中的应用程序，从而实现以下功能：
采集多个第一样本图像组，其中，该第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本等图像样本；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值，获取融合后图像中体素点类型的真实值，采用交叉熵损失函数，根据该预测值和真实值对该三维全卷积网络进行收敛，得到训练后三维全卷积网络。
以及采集多个第二样本图像组，其中，该第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本，采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取，融合提取到的特征，并对融合后特征进行分类，得到类型预测值，获取融合后特征的类型真实值，通过多分类损失函数，根据该类型预测值和类型真实值对该多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的网络设备在获取到待分割图像组之后，一方面，可以根据该待分割图像组中的多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，另一方面可以分别对该多种模态图像进行特征提取和融合，再根据融合后特征对颅内组织进行分割，然后，再将分割得到的初始分割结果与之前得到的掩膜进行融合，得到最终的分割结果；由于该方案在进行初始分割时，采用的是先对各个模态图像的特征进行提取，再进行融合的方式，因此，可以尽可能保留各个模态所蕴含的信息，提高所提取的特征的表达能力，而且，还可以利用颅骨分离所得到的掩膜来消除初始分割所得到的分割结果中的假阳现象，因此，相对于直接对各个模态图像进行融合和颅骨剥离，再基于剥离结果进行分割的方案而言，可以提高特征表达能力和分割的精准性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种脑部图像分割方法中的步骤。例如，该指令可以执行如下步骤：
获取待分割图像组，该待分割图像组包括脑部的多种模态图像，根据该多种模态图像进行颅骨剥离，得到剥离颅骨的掩膜，分别对该多种模态图像进行特征提取，并融合提取到的特征，根据融合后特征对颅内组织进行分割，得到初始分割结果，将该掩膜和初始分割结果进行融合，得到该待分割图像组对应的分割结果。
例如，具体可以对第一模态图像和第二模态图像进行融合，得到融合后图像，然后，一方面采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测，根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集，在该融合后图像上对该背景体素集进行屏蔽，得到剥离颅骨的掩膜；另一方面采用训练后多分支全卷积网络的上分支三维残差结构对融合后图像进行特征提取，得到上分支特征，以及采用训练后多分支全卷积网络的下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征，然后，通过训练后多分支全卷积网络的分类网络模块将上分支特征和下分支特征进行融合，并采用分类网络模块对融合后特征进行分类，基于分类结果对颅内组织进行分割，得到初始分割结果。
可选的，训练后三维全卷积网络可以由多个第一样本图像组训练而成，而训练后多分支全卷积网络可以由多个第二样本图像组训练而成，具体可以由其他设备进行训练后，提供给该医学图像分割装置，或者，也可以由该医学图像分割装置自行进行训练；即该指令还可以执行如下步骤：
采集多个第一样本图像组，其中，该第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本等图像样本；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值，获取融合后图像中体素点类型的真实值，采用交叉熵损失函数，根据该预测值和真实值对该三维全卷积网络进行收敛，得到训练后三维全卷积网络。
以及采集多个第二样本图像组，其中，该第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本；对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本，采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取，融合提取到的特征，并对融合后特征进行分类，得到类型预测值，获取融合后特征的类型真实值，通过多分类损失函数，根据该类型预测值和类型真实值对该多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种脑部图像分割方法中的步骤，因此，可以实现本发明实施例所提供的任一种脑部图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种脑部图像分割方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种脑部图像分割方法，其特征在于，包括：
获取待分割图像组，所述待分割图像组包括脑部的多种模态图像，所述多种模态图像包括用于组织区域分割的第一模态图像、用于颅内区域识别的第二模态图像和用于蛋白质病变区域识别的第三模态图像；
根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜；
对第一模态图像和第二模态图像进行融合，得到融合后图像；
采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征；
根据融合后特征对颅内组织进行分割，得到初始分割结果；
将所述掩膜和初始分割结果进行融合，得到所述待分割图像组对应的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜，包括：
对第一模态图像和第二模态图像进行融合，得到融合后图像；
采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测；
根据预测的体素点类型筛选不属于颅内区域的体素点，得到背景体素集；
在所述融合后图像上对所述背景体素集进行屏蔽，得到剥离颅骨的掩膜。
3.根据权利要求1所述的方法，其特征在于，所述训练后多分支全卷积网络包括上分支三维残差结构、下分支三维残差结构和分类网络模块，所述采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征，包括：
采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征；
采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征；
通过分类网络模块将上分支特征和下分支特征进行融合。
4.根据权利要求3所述的方法，其特征在于，所述上分支三维残差结构包括上分支卷积模块、第一上分支残差模块、第一上分支下采样模块、第二上分支残差模块、第二上分支下采样模块、第三上分支残差模块和第三上分支下采样模块，所述采用上分支三维残差结构对融合后图像进行特征提取，得到上分支特征，包括：
采用上分支卷积模块对融合后图像进行卷积处理；
采用第一上分支残差模块对上分支卷积模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；
采用第二上分支残差模块对第一上分支下采样模块的输出进行编码，并采用第一上分支下采样模块对编码结果进行下采样操作；
采用第三上分支残差模块对第二上分支下采样模块的输出进行编码，并采用第三上分支下采样模块对编码结果进行下采样操作，得到上分支特征。
5.根据权利要求3所述的方法，其特征在于，所述下分支三维残差结构包括下分支卷积模块、第一下分支残差模块、第一下分支下采样模块、第二下分支残差模块、第二下分支下采样模块、第三下分支残差模块和第三下分支下采样模块，所述采用下分支三维残差结构对第三模态图像进行特征提取，得到下分支特征，包括：
采用下分支卷积模块对第三模态图像进行卷积处理；
采用第一下分支残差模块对下分支卷积模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；
采用第二下分支残差模块对第一下分支下采样模块的输出进行编码，并采用第一下分支下采样模块对编码结果进行下采样操作；
采用第三下分支残差模块对第二下分支下采样模块的输出进行编码，并采用第三下分支下采样模块对编码结果进行下采样操作，得到下分支特征。
6.根据权利要求4或5所述的方法，其特征在于，对编码结果进行下采样操作，包括：
分别采用两个并行、步长相同且具有不同卷积核的卷积层对编码结果进行卷积处理；
通过批归一层对卷积处理得到的结果进行批归一化。
7.根据权利要求6所述的方法，其特征在于，所述根据融合后特征对颅内组织进行分割，得到初始分割结果，包括：
采用分类网络模块对融合后特征进行分类；
基于分类结果对颅内组织进行分割，得到初始分割结果。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述掩膜和初始分割结果进行融合，得到所述待分割图像组对应的分割结果，包括：
分别获取所述掩膜上每个体素的值和所述初始分割结果上每个体素的值；
根据所述掩膜上每个体素的值建立第一矩阵，以及根据所述初始分割结果上每个体素的值建立第二矩阵；
将第一矩阵中的元素与第二矩阵中的元素进行点乘操作，得到所述待分割图像组对应的分割结果。
9.根据权利要求2所述的方法，其特征在于，采用训练后三维全卷积网络对融合后图像中体素点的类型进行预测之前，还包括：
采集多个第一样本图像组，所述第一样本图像组包括用于组织区域分割的第一模态图像样本、以及用于颅内区域识别的第二模态图像样本；
对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；
采用预设三维全卷积网络对融合后图像中体素点的类型进行预测，得到预测值；
获取融合后图像中体素点类型的真实值；
采用交叉熵损失函数，根据所述预测值和真实值对所述三维全卷积网络进行收敛，得到训练后三维全卷积网络。
10.根据权利要求1所述的方法，其特征在于，所述采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取之前，包括：
采集多个第二样本图像组，所述第二样本图像组包括用于组织区域分割的第一模态图像样本、用于颅内区域识别的第二模态图像样本、以及用于蛋白质病变区域识别的第三模态图像样本；
对第一模态图像样本和第二模态图像样本进行融合，得到融合后图像样本；
采用预设多分支全卷积网络分别对融合后图像样本和第三模态图像样本进行特征提取；
融合提取到的特征，并对融合后特征进行分类，得到类型预测值；
获取融合后特征的类型真实值；
通过多分类损失函数，根据所述类型预测值和类型真实值对所述多分支全卷积网络进行收敛，得到训练后多分支全卷积网络。
11.一种脑部图像分割装置，其特征在于，包括：
获取单元，用于获取待分割图像组，所述待分割图像组包括脑部的多种模态图像，所述多种模态图像包括用于组织区域分割的第一模态图像、用于颅内区域识别的第二模态图像和用于蛋白质病变区域识别的第三模态图像；
剥离单元，用于根据第一模态图像和第二模态图像进行颅骨剥离，得到剥离颅骨的掩膜；
提取单元，用于对第一模态图像和第二模态图像进行融合，得到融合后图像，采用训练后多分支全卷积网络分别对融合后图像和第三模态图像进行特征提取，并融合提取到的特征；
分割单元，用于根据融合后特征对颅内组织进行分割，得到初始分割结果；
融合单元，用于将所述掩膜和初始分割结果进行融合，得到所述待分割图像组对应的分割结果。
12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的脑部图像分割中的步骤。
CN201910070881.7A 2019-01-25 2019-01-25 一种脑部图像分割方法、装置和存储介质 Active CN109872328B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910070881.7A CN109872328B (zh) 2019-01-25 2019-01-25 一种脑部图像分割方法、装置和存储介质
EP20744359.9A EP3916674B1 (en) 2019-01-25 2020-01-15 Brain image segmentation method, apparatus, network device and storage medium
PCT/CN2020/072114 WO2020151536A1 (zh) 2019-01-25 2020-01-15 一种脑部图像分割方法、装置、网络设备和存储介质
US17/241,800 US11748889B2 (en) 2019-01-25 2021-04-27 Brain image segmentation method and apparatus, network device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910070881.7A CN109872328B (zh) 2019-01-25 2019-01-25 一种脑部图像分割方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN109872328A CN109872328A (zh) 2019-06-11
CN109872328B true CN109872328B (zh) 2021-05-07

Family

ID=66918101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910070881.7A Active CN109872328B (zh) 2019-01-25 2019-01-25 一种脑部图像分割方法、装置和存储介质

Country Status (4)

Country Link
US (1) US11748889B2 (zh)
EP (1) EP3916674B1 (zh)
CN (1) CN109872328B (zh)
WO (1) WO2020151536A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872328B (zh) * 2019-01-25 2021-05-07 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质
CN110335217A (zh) * 2019-07-10 2019-10-15 东北大学 一种基于3d残差编码解码的医学图像降噪方法
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
ES2813777B2 (es) * 2019-09-23 2023-10-27 Quibim S L Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral
CN111144418B (zh) * 2019-12-31 2022-12-02 北京交通大学 一种铁路轨道区域分割提取的方法
CN111291767B (zh) * 2020-02-12 2023-04-28 中山大学 一种细粒度识别方法、终端设备及计算机可读存储介质
CN111951281B (zh) * 2020-08-10 2023-11-28 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN112016318B (zh) * 2020-09-08 2023-11-21 平安科技（深圳）有限公司 基于解释模型的分诊信息推荐方法、装置、设备及介质
CN112435212A (zh) * 2020-10-15 2021-03-02 杭州脉流科技有限公司 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质
CN112241955B (zh) * 2020-10-27 2023-08-25 平安科技（深圳）有限公司 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN112419332A (zh) * 2020-11-16 2021-02-26 复旦大学 一种面向厚层mri影像的头骨剥离方法及装置
CN112699937B (zh) * 2020-12-29 2022-06-21 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN112801161B (zh) * 2021-01-22 2024-06-14 桂林市国创朝阳信息科技有限公司 小样本图像分类方法、装置、电子设备及计算机存储介质
CN112991350B (zh) * 2021-02-18 2023-06-27 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN112950612A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于卷积神经网络的脑肿瘤图像分割方法
CN112950774A (zh) * 2021-04-13 2021-06-11 复旦大学附属眼耳鼻喉科医院 一种三维建模装置、手术规划系统及教学系统
CN113034518A (zh) * 2021-04-16 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于卷积神经网络的肝脏病灶分割方法
CN113744250A (zh) * 2021-09-07 2021-12-03 金陵科技学院 基于U-Net的臂丛神经超声图像分割方法、系统、介质和装置
CN114241278B (zh) * 2021-12-29 2024-05-07 北京工业大学 一种多分支的行人重识别方法和系统
CN114742848B (zh) * 2022-05-20 2022-11-29 深圳大学 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN115187819B (zh) * 2022-08-23 2023-05-16 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115661178A (zh) * 2022-11-17 2023-01-31 博奥生物集团有限公司 分割罐印图像的方法和装置
CN115760810B (zh) * 2022-11-24 2024-04-12 江南大学 医学图像分割装置、方法及计算机可读存储介质
CN115998337A (zh) * 2022-12-02 2023-04-25 天津大学 一种基于线性残差分解的三维穿颅超声成像方法
CN116434045B (zh) * 2023-03-07 2024-06-14 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶烘烤阶段智能识别方法
CN116386027B (zh) * 2023-04-03 2023-10-24 南方海洋科学与工程广东省实验室(珠海) 一种基于人工智能算法的海洋三维旋涡识别系统及方法
CN116630334B (zh) * 2023-04-23 2023-12-08 中国科学院自动化研究所 用于多分段血管实时自动分割方法、装置、设备及介质
CN117495893B (zh) * 2023-12-25 2024-03-19 南京筑卫医学科技有限公司 一种基于主动轮廓模型的颅骨剥离方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909588A (zh) * 2017-07-26 2018-04-13 广州慧扬健康科技有限公司 基于三维全卷积神经网络的mri皮质下分区系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588486B2 (en) * 2009-06-18 2013-11-19 General Electric Company Apparatus and method for isolating a region in an image
EP2446418A4 (en) * 2009-06-23 2013-11-13 Agency Science Tech & Res METHOD AND SYSTEM FOR SEGMENTATION OF A BRAIN IMAGE
US20150279084A1 (en) * 2014-04-01 2015-10-01 Yu Deuerling-Zheng Guided Noise Reduction with Streak Removal for High Speed C-Arm CT
EP2988270A1 (en) * 2014-08-22 2016-02-24 Siemens Aktiengesellschaft Method for volume evaluation of penumbra mismatch in acute ischemic stroke and system therefor
US9530206B2 (en) * 2015-03-31 2016-12-27 Sony Corporation Automatic 3D segmentation and cortical surfaces reconstruction from T1 MRI
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
CN105701799B (zh) * 2015-12-31 2018-10-30 东软集团股份有限公司 从肺部掩膜影像中分割肺血管的方法和装置
US10614567B2 (en) * 2016-07-25 2020-04-07 Case Western Reserve University Quantifying mass effect deformation with structural radiomics in brain tumor patients
US10402976B2 (en) * 2017-05-16 2019-09-03 Siemens Healthcare Gmbh Isolation of aneurysm and parent vessel in volumetric image data
CN108986106B (zh) * 2017-12-15 2021-04-16 浙江中医药大学 面向青光眼的视网膜血管自动分割方法
CN108257134B (zh) * 2017-12-21 2022-08-23 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
US11170508B2 (en) * 2018-01-03 2021-11-09 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN109035263B (zh) * 2018-08-14 2021-10-15 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109872328B (zh) * 2019-01-25 2021-05-07 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909588A (zh) * 2017-07-26 2018-04-13 广州慧扬健康科技有限公司 基于三维全卷积神经网络的mri皮质下分区系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Learning and Texture-Based Semantic Label Fusion for Brain Tumor Segmentation;L. Vidyaratne et.al;《SPIE Medical Imaging》;20180227;第2-6页 *
Deep MRI brain extraction: A 3D convolutional neural network for skull stripping;Jens Kleesiek et.al;《NeuroImage》;20160122;第461-468页 *
Multiple Sclerosis Lesion Segmentation from Brain MRI via Fully Convolutional Neural Networks;Snehashis Roy et.al;《arXiv:1803.09172v1 [cs.CV]》;20180324;第3-8页 *

Also Published As

Publication number Publication date
CN109872328A (zh) 2019-06-11
US11748889B2 (en) 2023-09-05
EP3916674B1 (en) 2024-04-10
US20210248751A1 (en) 2021-08-12
EP3916674A1 (en) 2021-12-01
WO2020151536A1 (zh) 2020-07-30
EP3916674A4 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
CN109872328B (zh) 一种脑部图像分割方法、装置和存储介质
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN109872306B (zh) 医学图像分割方法、装置和存储介质
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN113011485B (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN108615236A (zh) 一种图像处理方法及电子设备
EP3552151A1 (en) Learning annotation of objects in image
CN110246109B (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
CN113688862B (zh) 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN114450716A (zh) 用于卒中表征的图像处理
CN116597985A (zh) 生存率预测模型训练方法、生存期预测方法及装置、设备
Xiang et al. A novel weight pruning strategy for light weight neural networks with application to the diagnosis of skin disease
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
Teranikar et al. Feature detection to segment cardiomyocyte nuclei for investigating cardiac contractility
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
Kavitha et al. Enhanced clustering technique for segmentation on dermoscopic images
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant