CN112435266A - 一种图像分割方法、终端设备及计算机可读存储介质 - Google Patents

一种图像分割方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112435266A
CN112435266A CN202011247390.4A CN202011247390A CN112435266A CN 112435266 A CN112435266 A CN 112435266A CN 202011247390 A CN202011247390 A CN 202011247390A CN 112435266 A CN112435266 A CN 112435266A
Authority
CN
China
Prior art keywords
fat
map
image
feature map
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011247390.4A
Other languages
English (en)
Inventor
邹超
程传力
王志明
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011247390.4A priority Critical patent/CN112435266A/zh
Publication of CN112435266A publication Critical patent/CN112435266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种图像分割方法、终端设备及计算机可读存储介质，通过获取能够精准定量的全身脂肪分布的质子密度脂肪分数定量图，再通过预设的图像分割模型对全身脂肪分布的质子密度脂肪分数定量图进行处理，进而实现对人体的各个部分的脂肪进行准确分割。解决了现有的脂肪定量和分割方法通常是针对某一部位进行处理，无法实现全身脂肪的分割和全身脂肪沉积程度的定量和全身脂肪的准确分割的问题。

Description

一种图像分割方法、终端设备及计算机可读存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像分割方法、终端设备及计算机可读存储介质。
背景技术
肥胖是由于体内脂肪组织过度积累造成的，肥胖有可能会导致多种慢性疾病的发生。为了研究肥胖机理和探索抵抗肥胖的方法，就需要对体内脂肪进行精准定量分析和分割。然而，现有的脂肪定量和分割方法通常是针对某一部位进行处理，无法实现全身脂肪的分割和全身脂肪沉积程度的定量和全身脂肪的准确分割。
发明内容
有鉴于此，本申请实施例提供了一种图像分割方法、终端设备及计算机可读存储介质，以解决解决了现有的脂肪定量和分割方法通常是针对某一部位进行处理，无法实现全身脂肪的分割和全身脂肪沉积程度的定量和全身脂肪的准确分割的问题。
第一方面，本申请实施例提供一种图像分割方法，包括：
获取目标图像；所述目标图像为被测对象的全身脂肪分布的质子密度脂肪分数定量图；
将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
可选的，上述获取目标图像的步骤包括：
获取多个不同回波时间的磁共振图像；
根据所述多个不同回波时间的磁共振图像确定目标图像。
可选的，所述将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图，包括：
从目标图像中识别出各个预设部位对应的精确质子密度脂肪分数定量图；
基于各个预设部位对应的精确质子密度脂肪分数定量图确定出各个预设部位对应的总体脂肪图；
根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图。
可选的，所述根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图，包括：
对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图；
对所述边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到各个预设部位对应的皮下脂肪图和内脏脂肪图。
可选的，所述对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图，包括：
对所述各个预设部位对应的总体脂肪图进行下采样处理，得到第一下采样特征图；
对所述第一下采样特征图进行下采样处理，得到第二下采样特征图；
对所述第二下采样特征图进行下采样处理，得到第三下采样特征图；
对所述第三下采样特征图进行下采样处理，得到边缘特征图。
可选的，所述对所述边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到各个预设部位对应的皮下脂肪图和内脏脂肪图，包括：
对边缘特征图进行上采样处理，得到第一上采样特征图，并将第一上采样特征图与第一通道特征图进行融合，得到第一融合特征图；
对所述第一融合特征图进行上采样处理，得到第二上采样特征图，并将第二采样特征图与第二通道特征图进行融合，得到第二融合特征图；
对所述第二融合特征图进行上采样处理，得到第三上采样特征图，并将第三上采样特征图与第三通道特征图进行融合，得到第三融合特征图；
对第三融合特征图进行上采样处理，得到第四上采样特征图，并将第四上采样特征图与第四通道特征图进行融合，得到分割结果图。
可选的，上述图像分割方法，还包括：
构建图像分割模型；
获取样本数据集；其中，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和标签图像，所述样本图像是指覆盖人体颈部到膝盖部位的质子密度脂肪分数定量图，所述标签图像是指对应于质子密度脂肪分数定量图的皮下脂肪图和内脏脂肪图；
基于样本数据集对所述预先构建的图像分割模型进行训练，得到所述预设图像分割模型。
第二方面，本申请实施例提供一种终端设备，包括：
第一获取单元，用于获取目标图像；所述目标图像为被测对象的全身脂肪分布的质子密度脂肪分数定量图；
第一处理单元，用于将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
第三方面，本申请实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意可选方式所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方式所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任意可选方式所述的方法。
实施本申请实施例提供的一种图像分割方法、终端设备、计算机可读存储介质及计算机程序产品具有以下有益效果：
通过获取能够精准定量的全身脂肪分布的质子密度脂肪分数定量图，再通过预设的图像分割模型对全身脂肪分布的质子密度脂肪分数定量图进行处理，进而实现对人体的各个部分的脂肪进行准确分割。解决了现有的脂肪定量和分割方法通常是针对某一部位进行处理，无法实现全身脂肪的分割和全身脂肪沉积程度的定量和全身脂肪的准确分割的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像分割方法的示意性流程图；
图2是本申请实施例提供的一种图像分割方法中的实现过程示意图；
图3是本申请实施例提供的一种图像分割模型的结构示意图；
图4是本申请另一实施例提供的一种图像分割模型的结构示意图；
图5是本申请实施例提供的一种终端设备的结构示意图；
图6是本申请另一实施例提供的一种终端设备的结构示意图；
图7是本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
人体的体内脂肪主要包括皮下脂肪和内脏脂肪。其中，皮下脂肪是指贮存在真皮层以下，深层筋膜层以上被浅筋膜包裹的储能细胞中的脂肪组织，主要用于人体保温及能量存储。内脏脂肪是指主要贮存于腹腔内的脂肪组织，内脏脂肪围绕着人的脏器，对人的内脏起着支撑、稳定和保护的作用。内脏脂肪的过量囤积有可能导致多种慢性疾病的发生，例如心血管疾病、糖尿病、脂肪肝等。因此，确定出人体的体内脂肪的分布和含量对于评估人体的健康状况有着极其重要的作用。
随着医疗影像学设备的发展，基于医学图像去分析人体的健康状况已成为重要的分析手段。核磁共振成像技术以其多参数成像、无电离辐射等优点已经成为对人体脂肪定量分析的有力手段。目前基于核磁共振成像技术对人体脂肪进行定量和分割主要是基于组织纵向弛豫时间T1差异来实现脂肪的识别和分割，或者基于化学位移差异来实现脂肪的识别和分割。其中，对人体脂肪进行定量是指确定人体中脂肪的含量，分割是指将人体中的皮下脂肪和内脏脂肪进行区分。
具体的，基于组织纵向弛豫时间T1差异的脂肪的识别和分割方法一般采用快速自旋回波(fast spin echo，FSE)成像，根据脂肪组织信号与周围组织信号的对比度，采用手动或半自动的分割方法来实现脂肪的分割，其中半自动分割方法主要是根据回波图像的灰度直方图分布，通过不断调整分割阈值实现脂肪组织与周围组织的区分。其中，组织纵向弛豫时间T1是指90射频脉冲纵向磁化矢量由零增长到它的最大值的63％所需要的时间。
基于组织化学位移差异的成像方法也称为磁共振化学位移编码成像方法，磁共振化学位移编码成像方法利用水和脂肪的化学位移差异经过水脂信号分离得到脂肪含量定量分布图，在该分布图中，脂肪含量越高的区域，其定量数值越接近于100％，反之，脂肪含量越低的区域，其定量数值越接近于0，然后采用半自动或全自动的分割方法来实现脂肪组织的分割。常用的分割方法有地图集方法和卷积神经网络方法。地图集方法首先采用半自动分割得到脂肪分割图像作为地图集，然后将地图集向待分割图像进行配准，根据地图集中脂肪分布特征实现目标图像的脂肪分割。卷积神经网络方法通过对人体某一机体部位进行深度学习，进而实现脂肪分割。
然而，基于组织纵向弛豫时间T1差异的脂肪识别和分割方法具有以下主要缺陷：1、组织对比度(即脂肪组织信号和周围组织信号的对比度)容易受到射频场的不均匀性和多通道线圈的灵敏度等因素的影响，造成对脂肪识别时的误差；2、手动或半自动分割方法费时费力；3、无法对内脏脂肪的沉积程度进行准确的定量。
而基于组织化学位移差异的的脂肪定量和分割方法存在的主要缺陷有：1、地图集方法流程复杂、自由参数多，造成分割结果稳定性不足；2、没有进行脏器分割和对内脏脂肪的沉积程度的准确定量；3、仅针对某一机体部位进行训练、分割，无法实现全身脂肪的精准定量和分割。
为了解决上述缺陷，本申请实施例通过将被测对象的全身脂肪分布的质子密度脂肪分数定量图作为目标图像，再将目标图像输入到预设的图像分割模型中，通过预设的图像分割模型对该目标图像进行处理，进而实现对人体的各个部分的脂肪进行准确分割。以下将对本申请实施例提供的图像分割方法进行详细的说明：
请参阅图1，图1是本申请实施例提供的一种图像分割方法的示意性流程图。本申请实施例提供的图像分割方法的执行主体为终端设备，终端设备可以是智能手机、平板电脑或可穿戴设备等移动终端，也可以是各种应用场景下的电脑、云服务器、医疗辅助计算机等。
如图1所示的图像分割方法可以包括S11～S12，详述如下：
S11：获取目标图像。
本申请实施例中，上述目标图像是指能够体现被测对象的全身脂肪分布的质子密度脂肪分数(proton density fat fraction，PDFF)定量图。质子密度脂肪分数定量图能够精准地反映脂肪组织的占比。
在具体应用中，可以通过磁共振化学位移编码成像技术得到目标图像。
人体组织内水中的氢质子和脂肪中的氢质子存在化学位移，利用磁共振化学位移编码成像技术，使用磁共振梯度回波成像序列采集多个不同回波时间的磁共振图像，在不同回波时间下的磁共振图像中水氢质子与脂肪氢质子具有不同的相位差。再通过预设的编码成像模型求解，就可以将水氢质子和脂肪氢质子分离得到纯水图像和纯脂肪图像，再根据质子密度脂肪分数＝脂肪图像/(脂肪图像+水图像)可以得到质子密度脂肪分数。
在实际应用中，终端设备可以与磁共振扫描仪通信连接，磁共振扫描仪在采集到目标图像后，能够将采集到的目标图像发送给终端设备。具体地，可以通过设置磁共振扫描仪的磁共振扫描参数，然后控制磁共振扫描仪连续扫描被测对象的预设部位(覆盖全身)，使得磁共振扫描仪采集到各个预设部位的多个不同回波时间的磁共振图像，最终输出被测对象的全身脂肪分布的质子密度脂肪分数定量图，即目标图像。
在本申请实施例的一种可能的实现方式中，可以将上述磁共振扫描参数设置为三维磁共振FLASH序列，进行六回波数据采集，重复时间为10.5ms，回波时间分别设置为1.67ms/3.15ms/4.63ms/6.11ms/7.59ms/9.07ms，并将翻转角为3°，视野设置为300mm×400mm，图像矩阵大小126×224，层厚6mm，每个部位采集20层数据。
在本申请实施例中，上述被测对象的预设部位可以是覆盖被测对象的颈部到膝盖的部位。可以理解的是，上述被测对象的预设部位还可以根据测试的需求进行设置，在此不加以限制。
具体的，上述预设的编码成像模型如下：
Figure BDA0002770492770000081
其中，TEn是指回波时间，Sn是在回波时间TEn下的信号强度，N为回波个数，ρW是指水的信号强度值，ρf是指脂肪的信号强度值；P为脂肪的波峰分量的个数，aP是指每个波峰分量对应的相对幅度，fF,P是水中氢质子与脂肪氢质子的化学位移差，fB为局部主磁场不均匀参数。
在本申请实施例中，回波个数N大于等于6；每个波峰分量对应的相对幅度aP满足
Figure BDA0002770492770000082
水中氢质子与脂肪氢质子的化学位移差fF,P与温度成正比，例如在人体37摄氏度的环境下，二者之间的化学位移差是-3.35ppm；在仿体20摄氏度的温度下，二者之间的化学位移差是-3.52ppm；局部主磁场不均匀参数fB＝γΔB0，γ是氢质子旋磁比，γ＝42.576MHz/T；B0是磁共振的主磁场强度，ΔB0是由于系统误差和被测对象的影响等因素，导致主磁场不完全均匀，而存在的磁场内部的局部变化量。
在本申请实施例中，通过获取多个不同回波时间对应的磁共振图像，就能够得到确定出每张磁共振图像中的水中氢质子与脂肪氢质子的化学位移差fF,P，脂肪的波峰分量的相对幅度aP，回波时间TEn和回波时间TEn下的信号强度Sn，通过上述预设的编码成像模型就能够求解得到水的信号强度值ρW，脂肪的信号强度值ρf，磁场内部的局部变化量ΔB0。
通过确定出水的信号强度值ρW和脂肪的信号强度值ρf之后，基于质子密度脂肪分数＝脂肪的信号强度/(脂肪的信号强度+水的信号强度)确定出质子密度脂肪分数。能够精准地确定出全身脂肪组织的体积占比，实现了全身脂肪组织的准确定量。
S12：将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
本申请实施例中，在获取到能够准确定量全身脂肪组织占比的目标图像后，通过图像分割模型对目标图像进行分割。就准确地能够得到全身脂肪的分布情况，确定出各个脏器组织的脂肪沉积情况。
上述图像分割模型用于将目标图像中被测对象的各个预设部位的皮下脂肪图像和内脏脂肪图像进行分割，即图像分割模型的输入为目标图像，输出为目标图像中各个预设部位的皮下脂肪图像和内脏脂肪图像。
请参阅图2，图2示出了本申请实施例提供的图像分割方法的实现过程。在本申请实施例中，将目标图像输入到图像分割模型后，图像分割模型可以从目标图像中识别出各个预设部位对应的精确质子密度脂肪分数定量图，然后基于各个预设部位对应的精确质子密度脂肪分数定量图确定出各个预设部位对应的总体脂肪图(包括皮下脂肪和内脏脂肪)，根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图，最后输出各个预设部位对应的皮下脂肪图和内脏脂肪图(主要是腹部内脏脂肪图)。
在本申请实施例中，根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图，具体可以包括以下步骤：
对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图；再对边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到分割结果图(即各个预设部位对应的皮下脂肪图和内脏脂肪图)。
请参阅图3，图3是本申请实施例提供的一种图像分割模型的结构示意图。如图3所示，在本申请的一个实施例中，图像分割模型30可以包括下采样网络31和上采样网络32。
下采样网络31用于提取各个预设部位对应的皮下脂肪图和内脏脂肪图的边缘特征。所述边缘特征能够用来表明皮下脂肪和内脏脂肪的边界。
上采样网络32用于恢复各个预设部位对应的皮下脂肪图和内脏脂肪图中的空间信息和边缘信息。
在实际应用中，图像分割模型可以使用跳跃连接网络(skip connection)连接下采样网络31与上采样网络32，使得下采样网络31提取的特征可以直接传递到上采样网络32，解决训练的过程中梯度消失的问题。
本申请实施例中的图像分割模型可以是基于预设的样本数据集，采用深度学习的方式对预先构建的图像分割模型进行训练得到的。
在本申请另一实施例中，上述图像分割方法还可以包括以下步骤：
构建图像分割模型；
获取样本数据集；
基于样本数据集对所述预先构建的图像分割模型进行训练，得到所述预设图像分割模型。
本申请实施例中，可以构建网络结构如图3所示的图像分割模型，图像分割模型中涉及到的每个网络参数(例如卷积核的各项参数)的初始值可以是随机赋予的任意值，图像分割模型涉及到的每个网络参数的最终值可以是在对图像分割模型的训练过程中学习得到的。
请参阅图4，上述图像分割模型中，下采样网络31可以包括第一下采样层、第二下采样层、第三下采样层和第四下采样层，上采样网络32可以包括第一上采样层、第二上采样层、第三上采样层和第四上采样层。
请继续参阅图4，为了解决梯度消失的问题，上述图像分割模型还可以包括连接在第一下采样层与第四上采样层之间的第一跳跃连接网络、连接在第二下采样层与第三上采样层之间的第二跳跃连接网络、连接在第三下采样层与第二上采样层之间的第三跳跃连接网络以及连接在第四下采样层与第一上采样层之间的第四跳跃结构。
在具体应用中，上述第一下采样层可以包括两个3*3卷积层和一个2*2的最大池化层；第二下采样层同样包括两个3*3卷积层和一个2*2的最大池化层；第三下采样层也包括两个3*3卷积层和一个2*2的最大池化层；第四下采样层也包括两个3*3卷积层和一个2*2的最大池化层；第一上采样层可以包括两个3*3卷积层和一个2*2上采样层；第二上采样层同样包括两个3*3卷积层和一个2*2上采样层，第三上采样层也包括两个3*3卷积层和一个2*2上采样层；第四上采样层也包括两个3*3卷积层和一个2*2上采样层。
在实际应用中，上述跳跃连接网络通过将各个下采样层对应位置的特征图复制并剪切到上采样的过程中，使得底层特征与高层特征得以融合，以保留更多的高分辨率细节信息，提高图像分割精度。
对应地，上述对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图具体可以是：通过第一下采样层对所述各个预设部位对应的总体脂肪图进行下采样处理，得到第一下采样特征图；通过第二下采样层对所述第一下采样特征图进行下采样处理，得到第二下采样特征图；通过第三下采样层对所述第二下采样特征图进行下采样处理，得到第三下采样特征图；通过第四下采样层对所述第三下采样特征图进行下采样处理，得到边缘特征图。
对应地，上述对边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到分割结果图具体可以是：通过第一上采样层对边缘特征图进行上采样处理，得到第一上采样特征图，并将第一上采样特征图与第四跳跃连接网络复制的第一通道特征图进行融合，得到第一融合特征图；通过第二上采样层对所述第一融合特征图进行上采样处理，得到第二上采样特征图，并将第二采样特征图与第三跳跃连接网络复制的第二通道特征图进行融合，得到第二融合特征图；通过第三上采样层对所述第二融合特征图进行上采样处理，得到第三上采样特征图，并将第三上采样特征图与第二跳跃连接网络复制的第三通道特征图进行融合，得到第三融合特征图；通过第四上采样层对第三融合特征图进行上采样处理，得到第四上采样特征图，并将第四上采样特征图与第一跳跃连接网络复制的第四通道特征图进行融合，得到分割结果图。
需要说明的是，上述第四通道特征图是基于第一下采样层的卷积层对各个预设部位对应的总体脂肪图进行卷积处理后得到的通道特征图，上述第三通道特征图是基于第二下采样层的卷积层对第一下采样特征图进行卷积处理后得到的通道特征图；上述第二通道特征图是基于第三下采样层的卷积层对第二下采样特征图进行卷积处理后得到的通道特征图；上述第一通道特征图是基于第四下采样层的卷积层对第三下采样特征图进行卷积处理后得到的通道特征图。
在构建了图像分割模型后，可以通过网络上海量的医疗图像资源来获取样本数据集。
本申请实施例中，以覆盖人体颈部到膝盖部位的质子密度脂肪分数定量图(样本图像)和对应于质子密度脂肪分数定量图的皮下脂肪图和内脏脂肪图(标签图像)作为一组样本数据。
在具体应用中，可以基于专业人士手动在覆盖人体颈部到膝盖部位的质子密度脂肪分数定量图中分别圈画出各个预设部位的皮下脂肪图像和内脏脂肪内脏作为质子密度脂肪分数定量图对应的标签图像。
在实际应用中，可以选用不小于1000组的样本数据，得到样本数据集。将样本数据集分为训练集、验证集和测试集。为了达到训练要求，可以将50％的样本数据作为训练集，剩余部分作为验证集和测试集。
在获取到样本数据后，通过训练集数据对该图像分割模型进行训练，并使用验证集进行快速调参，再使用测试集对图像分割模型进行测试，得到训练完成的图像分割模型。
在训练图像分割模型时，可以将样本图像输入预先构建的图像分割模型进行处理，得到该样本图像对应的分割结果图。然后再基于样本数据的标签图像与图像分割模型输出的分割结果图对上述图像分割模型中的网络参数进行调整，以得到能够使得该图像分割模型的loss函数收敛网络参数。再基于验证集和测试集中的样本数据对调整完网络参数的图像分割模型进行验证和测试，验证和测试通过即说明图像分割模型训练完成。
终端设备可以将训练完成的图像分割模型确定为预设的图像分割模型，也即S12中所述的预设的图像分割模型。
以上可以看出，本申请实施例提供的图像分割方法，通过获取能够精准定量的全身脂肪分布的质子密度脂肪分数定量图，再通过预设的图像分割模型对全身脂肪分布的质子密度脂肪分数定量图进行处理，进而实现对人体的各个部分的脂肪进行准确分割。解决了现有的脂肪定量和分割方法通常是针对某一部位进行处理，无法实现全身脂肪的分割和全身脂肪沉积程度的定量和全身脂肪的准确分割的问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的图像分割方法，本发明实施例进一步给出实现上述方法实施例的终端设备的实施例。
请参阅图5，图5是本申请实施例提供的一种终端设备的结构示意图。本申请实施例中，终端设备包括的各单元用于执行图1至图4对应的实施例中的各步骤。具体请参阅图1至图4以及图1至图4对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。如图5所示，终端设备50包括：第一获取单元51和第一处理单元52。其中：
第一获取单元51用于获取目标图像。所述目标图像为被测对象的全身脂肪分布的质子密度脂肪分数定量图。
第一处理单元52用于将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
可选的，所述第一获取单元51包括第二获取单元和第一确定单元。
第二获取单元用于获取多个不同回波时间的磁共振图像。
第一确定单元用于根据所述多个不同回波时间的磁共振图像确定目标图像。
可选的，上述第一处理单元52包括识别单元、第二确定单元和分割单元。
识别单元用于从目标图像中识别出各个预设部位对应的精确质子密度脂肪分数定量图；
第二确定单元用于基于各个预设部位对应的精确质子密度脂肪分数定量图确定出各个预设部位对应的总体脂肪图；
分割单元用于根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图。
可选的，上述分割单元可以包括下采样单元和上采样单元。
上述下采样单元用于对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图；
上述上采样单元用于对所述边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到各个预设部位对应的皮下脂肪图和内脏脂肪图。
可选地，上述下采样单元具体用于对所述各个预设部位对应的总体脂肪图进行下采样处理，得到第一下采样特征图；对所述第一下采样特征图进行下采样处理，得到第二下采样特征图；对所述第二下采样特征图进行下采样处理，得到第三下采样特征图；对所述第三下采样特征图进行下采样处理，得到边缘特征图。
可选地，上述上采样单元具体用于对边缘特征图进行上采样处理，得到第一上采样特征图，并将第一上采样特征图与第一通道特征图进行融合，得到第一融合特征图；对所述第一融合特征图进行上采样处理，得到第二上采样特征图，并将第二采样特征图与第二通道特征图进行融合，得到第二融合特征图；对所述第二融合特征图进行上采样处理，得到第三上采样特征图，并将第三上采样特征图与第三通道特征图进行融合，得到第三融合特征图；对第三融合特征图进行上采样处理，得到第四上采样特征图，并将第四上采样特征图与第四通道特征图进行融合，得到分割结果图。
可选的，所述终端设备还包括构建单元、第三获取单元、训练单元。
构建单元用于构建图像分割模型。
第三获取单元用于获取样本数据集；其中，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和标签图像，所述样本图像是指覆盖人体颈部到膝盖部位的质子密度脂肪分数定量图，所述标签图像是指对应于质子密度脂肪分数定量图的皮下脂肪图和内脏脂肪图。
训练单元用于基于样本数据集对所述预先构建的图像分割模型进行训练，得到所述预设图像分割模型。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参照方法实施例部分，此处不再赘述。
图6是本申请另一实施例提供的一种终端设备的结构示意图。如图6所示，该实施例提供的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如图像分割程序。处理器60执行所述计算机程序62时实现上述各个图像分割方法实施例中的步骤，例如图1所示的S11～S12。或者，所述处理器60执行所述计算机程序62时实现上述各终端设备实施例中各模块/单元的功能，例如图5所示单元51～52的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如，所述计算机程序62可以被分割成第一获取单元和第一处理单元，各单元具体功能请参阅图5对应地实施例中的相关描述，此处不赘述。
所述终端设备可包括但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质。请参阅图7，图7是本申请实施例提供的一种计算机可读存储介质的结构示意图，如图7所示，计算机可读存储介质70中存储有计算机程序71，计算机程序71被处理器执行时可实现上述图像分割方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述图像分割方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参照其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
获取目标图像；所述目标图像为被测对象的全身脂肪分布的质子密度脂肪分数定量图；
将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
2.根据权利要求1所述的图像分割方法，其特征在于，所述获取目标图像，包括：
获取多个不同回波时间的磁共振图像；
根据所述多个不同回波时间的磁共振图像确定目标图像。
3.根据权利要求1所述的图像分割方法，其特征在于，所述将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图，包括：
从目标图像中识别出各个预设部位对应的精确质子密度脂肪分数定量图；
基于各个预设部位对应的精确质子密度脂肪分数定量图确定出各个预设部位对应的总体脂肪图；
根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图。
4.根据权利要求3所述的图像分割方法，其特征在于，所述根据各个预设部位对应的总体脂肪图分割出各个预设部位对应的皮下脂肪图和内脏脂肪图，包括：
对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图；
对所述边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到各个预设部位对应的皮下脂肪图和内脏脂肪图。
5.根据权利要求4所述的图像分割方法，其特征在于，所述对所述各个预设部位对应的总体脂肪图进行下采样操作，提取所述各个预设部位对应的总体脂肪图的边缘特征，得到边缘特征图，包括：
对所述各个预设部位对应的总体脂肪图进行下采样处理，得到第一下采样特征图；
对所述第一下采样特征图进行下采样处理，得到第二下采样特征图；
对所述第二下采样特征图进行下采样处理，得到第三下采样特征图；
对所述第三下采样特征图进行下采样处理，得到边缘特征图。
6.根据权利要求5所述的图像分割方法，其特征在于，所述对所述边缘特征图进行上采样操作，恢复所述各个预设部位对应的总体脂肪图中的空间信息和边缘信息，得到各个预设部位对应的皮下脂肪图和内脏脂肪图，包括：
对边缘特征图进行上采样处理，得到第一上采样特征图，并将第一上采样特征图与第一通道特征图进行融合，得到第一融合特征图；
对所述第一融合特征图进行上采样处理，得到第二上采样特征图，并将第二采样特征图与第二通道特征图进行融合，得到第二融合特征图；
对所述第二融合特征图进行上采样处理，得到第三上采样特征图，并将第三上采样特征图与第三通道特征图进行融合，得到第三融合特征图；
对第三融合特征图进行上采样处理，得到第四上采样特征图，并将第四上采样特征图与第四通道特征图进行融合，得到分割结果图。
7.根据权利要求1至6任意一项所述的图像分割方法，其特征在于，还包括：
构建图像分割模型；
获取样本数据集；其中，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和标签图像，所述样本图像是指覆盖人体颈部到膝盖部位的质子密度脂肪分数定量图，所述标签图像是指对应于质子密度脂肪分数定量图的皮下脂肪图和内脏脂肪图；
基于样本数据集对所述构建的图像分割模型进行训练，得到所述预设图像分割模型。
8.一种终端设备，其特征在于，包括：
第一获取单元，用于获取目标图像；所述目标图像为被测对象的全身脂肪分布的质子密度脂肪分数定量图；
第一处理单元，用于将所述目标图像输入至预设的图像分割模型中进行处理，从所述目标图像中分割出各个预设部位的皮下脂肪图像及内脏脂肪图像。
9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011247390.4A 2020-11-10 2020-11-10 一种图像分割方法、终端设备及计算机可读存储介质 Pending CN112435266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011247390.4A CN112435266A (zh) 2020-11-10 2020-11-10 一种图像分割方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011247390.4A CN112435266A (zh) 2020-11-10 2020-11-10 一种图像分割方法、终端设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112435266A true CN112435266A (zh) 2021-03-02

Family

ID=74700738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011247390.4A Pending CN112435266A (zh) 2020-11-10 2020-11-10 一种图像分割方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112435266A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549417A (zh) * 2022-01-20 2022-05-27 高欣 一种基于深度学习和核磁共振Dixon的腹部脂肪定量方法
WO2022188026A1 (zh) * 2021-03-09 2022-09-15 深圳高性能医疗器械国家研究院有限公司 一种磁共振多参数定量方法及其应用
CN116761075A (zh) * 2023-05-09 2023-09-15 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165808A1 (en) * 2016-06-27 2018-06-14 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments
WO2020056196A1 (en) * 2018-09-13 2020-03-19 Human Longevity, Inc. Fully automated personalized body composition profile
CN111080660A (zh) * 2019-11-14 2020-04-28 中国科学院深圳先进技术研究院 一种图像分割方法、装置、终端设备及存储介质
CN111373438A (zh) * 2017-10-17 2020-07-03 透视诊断有限公司 用于对器官成像的方法和装置
CN111696082A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165808A1 (en) * 2016-06-27 2018-06-14 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
CN111373438A (zh) * 2017-10-17 2020-07-03 透视诊断有限公司 用于对器官成像的方法和装置
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments
WO2020056196A1 (en) * 2018-09-13 2020-03-19 Human Longevity, Inc. Fully automated personalized body composition profile
CN111080660A (zh) * 2019-11-14 2020-04-28 中国科学院深圳先进技术研究院 一种图像分割方法、装置、终端设备及存储介质
CN111696082A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188026A1 (zh) * 2021-03-09 2022-09-15 深圳高性能医疗器械国家研究院有限公司 一种磁共振多参数定量方法及其应用
CN114549417A (zh) * 2022-01-20 2022-05-27 高欣 一种基于深度学习和核磁共振Dixon的腹部脂肪定量方法
CN116761075A (zh) * 2023-05-09 2023-09-15 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质
CN116761075B (zh) * 2023-05-09 2024-05-24 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112435266A (zh) 一种图像分割方法、终端设备及计算机可读存储介质
Chen et al. Deep learning for image enhancement and correction in magnetic resonance imaging—state-of-the-art and challenges
CN108375746B (zh) 一种相位反卷折方法与设备
US20150301144A1 (en) Distinguishing Diseased Tissue From Healthy Tissue Based On Tissue Component Fractions Using Magnetic Resonance Fingerprinting (MRF)
US20150071514A1 (en) Methods and devices for optimization of magnetic resonance imaging protocols
CN110610529B (zh) 磁共振扫描仪的主磁场均匀化方法、设备和介质
KR20150107725A (ko) 에코 분할을 사용하는 자기 공명 핑거프린팅(mrf)
CN114450599B (zh) 麦克斯韦并行成像
US11965946B2 (en) Machine learning based processing of magnetic resonance data, including an uncertainty quantification
CN113298831B (zh) 图像分割方法、装置、电子设备及存储介质
CN110333466B (zh) 一种基于神经网络的磁共振成像方法和装置
Wech et al. Robust motion correction in CEST imaging exploiting low‐rank approximation of the z‐spectrum
CN111157935B (zh) 磁共振成像方法、装置、存储介质及计算机设备
CN112370040A (zh) 磁共振成像方法、装置、存储介质及电子设备
US10175327B2 (en) Image reconstruction method and device for a magnetic resonance imaging system
HashemizadehKolowri et al. Jointly estimating parametric maps of multiple diffusion models from undersampled q‐space data: a comparison of three deep learning approaches
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
Lee et al. Registration and quantification network (RQnet) for IVIM‐DKI analysis in MRI
CN114167334B (zh) 磁共振图像的重建方法、装置及电子设备
US20150016701A1 (en) Pulse sequence-based intensity normalization and contrast synthesis for magnetic resonance imaging
Ruppertshofen et al. Multi-level approach for the discriminative generalized hough transform
CN112101396A (zh) 一种分类方法、装置、设备和存储介质
CN113421247B (zh) 脑组织微观结构估计参数的确定方法、装置及电子设备
CN115222628A (zh) 一种图像处理方法、装置、设备及存储介质
WO2022099454A1 (zh) 一种图像分割方法、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination