CN109671068A - 一种基于深度学习的腹部肌肉标注方法及装置 - Google Patents

Abstract

本发明涉及一种基于深度学习的腹部肌肉标注方法及装置。所述方法包括以下步骤：收集包含第三腰椎的腹部CT影像数据；标注第三腰椎位置及肌肉群位置，四个肌肉群区域分别标记为1、2、3、4，其他区域标记为0，生成与原始CT影像对应的标签影像，标签影像中每个像素的值为{0,1,2,3,4}中的一个；利用已标注的CT影像训练分割模型，所述分割模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4；分割肌肉群，得到影像中每个像素位置对应的标签预测；基于肌肉群分割结果，计算肌肉面积及肌肉的影像组学特征。所述装置包括实现所述方法的相关模块。利用本发明可简便、快捷、准确地提取与营养评估相关的参数。

Description

一种基于深度学习的腹部肌肉标注方法及装置

技术领域

本发明涉及医学图像处理及人工智能技术领域，具体地说，涉及一种基于深度学习的腹部肌肉标注方法及系统。

背景技术

腹部第三腰椎平面的肌肉状态是衡量人营养状况的重要指标，腹部CT检查是获取腹部肌肉图像，进而分析其营养状况的主要手段。在检查过程中，需要在CT图像中勾画出腹部第三腰椎平面的肌肉区域，进而计算相关参数，对营养状况进行判断。目前常规方法是医生对该区域进行人工勾画，进而计算相关参数(常用参数包括肌肉面积，长宽等)。虽然常规方法可以得到精确肌肉区域以及参数，然而为医生日常工作带来较大负担，因此有必要提供一种智能化的腹部肌肉参数获取方法。

近年来，深度学习成为计算机科学与工程的研究热点之一，被广泛应用于包括医学图像处理的各个领域，如肺结节定位与分割，乳腺钼靶图像分类，脑部胶质瘤良恶性判定等。例如专利文献CN108446730A，公开日2018.08.24，公开了一种基于深度学习的CT肺结节检测方法，该方法包括以下步骤：S1：获取用户的3D肺部CT序列影像；S2：将获取的3D肺部CT序列影像处理为2D图像数据；S3：将2D图像数据输入至预设的深度学习网络模型进行训练，从而得到训练好的肺结节检测模型；S4：将测试的3D肺部CT序列影像输入至训练好的肺结节检测模型，从而得到初步的肺结节检测结果；S5：对于初步的肺结节检测结果，利用基于深度学习的肺区域分割算法来去除假阳性肺结节，从而得到最终的肺结节检测结果。专利文献CN106326931A，公开日2017.01.11，公开了一种基于深度学习的乳腺钼靶图像自动分类方法，包括以下步骤：一，利用不同尺寸滑动窗口在乳腺钼靶图像中癌变区域和正常区域中选取正方形图像块，针对不同尺寸的图像块构建对应于每个尺寸的训练样本集和测试样本集；二，建立对应每个尺寸的卷积神经网络模型，利用各尺寸的训练样本集对模型进行训练；三，利用各尺寸的测试样本集测试对应卷积神经网络模型的准确率，选取准确率最高对应尺寸的卷积神经网络模型；四，利用选取的卷积神经网络模型提取全连接层特征；五，将提取的特征输入线性SVM分类器进行分类，得到图像块的分类类别。然而目前未见基于深度学习的腹部肌肉标注的相关报道。

发明内容

本发明的目的是针对现有技术中的不足，提供一种能够简便、快捷、准确地提取与营养评估相关的参数，临床实用性强的基于深度学习的腹部肌肉标注方法及装置。

本发明第一方面在于提供一种基于深度学习的腹部肌肉标注方法，包括以下步骤：

第一步：收集数据

收集包含第三腰椎的腹部CT影像数据；

第二步：标注数据

标注第一步收集的包含第三腰椎的腹部CT影像的第三腰椎位置及肌肉群，其中：标注第三腰椎位置即标注第三腰椎的起始CT页面编号；标注肌肉群即标注肌肉群位置并生成标签影像，具体地，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标记为数字标签1、2、3、4，其他区域标记为数字标签0，基于这些数字标签生成与原始的所述包含第三腰椎的腹部CT影像对应的标签影像，所述标签影像中每个像素位置对应原始的所述包含第三腰椎的腹部CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个；所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群；

第三步，训练分割模型

利用已标注的包含第三腰椎的腹部CT影像训练基于深度神经网络的分割模型，所述分割模型实现将已标注的包含第三腰椎的腹部CT影像中的像素分为5类，分别对应第二步中的数字标签0、1、2、3、4；

第四步，分割肌肉群

运用第三步中训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到所述腹部CT影像中的第三腰椎影像中每个像素位置对应的标签预测；

第五步，提取参数

基于分割模型划分的腹部肌肉群区域，计算肌肉面积及肌肉的影像组学特征：

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为所述腹部CT影像中的第三腰椎影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数；

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽定义为肌肉区域的最小矩形包围盒的长宽。

作为本发明的一种优选方案，所述第二步中，所述标注肌肉群具体采用一种基于多个子区域模板的腹部肌肉标注方法，包括以下步骤：

S1.构建标准的腹部肌肉标注数据库：收集N个个体的第三腰椎中部的CT切片图像，定义腹部肌肉的四个子区域，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标注为数字标签1、2、3、4，构建标准的腹部肌肉标注数据库，所述标准的腹部肌肉标注数据库包括三大类信息：CT图像数据、标注的区域模板以及对应的区域编号r，其中r取值范围为{1，2，3，4}；

S2.根据所述标准的腹部肌肉标注数据库生成腹部肌肉形状模板库，具体包括以下步骤：

S21.对每个所述第三腰椎中部的CT切片图像进行预处理，所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；

S22.腹部肌肉子区域提取，即针对腹部肌肉的四个子区域，分别提取特征，并用向量表示，具体为：首先，在预处理后的图像中提取当前感兴趣子区域范围，同时将图像中其他区域像素值置为0；接着，将图像按照当前子区域范围进行切割，仅保留当前子区域范围；最后，将切割好的子区域在图像横轴上的范围进行大小归一化，使得所有切割好的子区域在图像横轴上的范围相同；

S23.生成形状模板库，具体为：首先，按照切割好的子区域在图像纵轴上的范围，将子区域进行聚类，将大小相似的子区域归为一类；接着，基于归为同一类型的子区域，生成平均模板；最后，收集所有平均模板，形成形状模板库；

S3.基于所述标准的腹部肌肉标注数据库和所述形状模板库对所述包含第三腰椎的腹部CT影像中的腹部肌肉进行自动分割与标注；

S4.结果查看及修正。

作为本发明的另一优选方案，所述第三步具体步骤如下：

首先，对所述包含第三腰椎的腹部CT影像进行图像预处理：提取所述包含第三腰椎的腹部CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中；

接着，训练深度神经网络模型：输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像，输出数据为对CT影像中每个像素位置的标签预测值。

作为本发明的另一优选方案，所述第四步具体步骤如下：应用分割模型得到初步分割结果，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

优选地，所述第四步还进一步包括以下步骤：对所述初步分割结果进行后处理。

更优选地，所述后处理具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

作为本发明的另一优选方案，所述第二步中，所述标注第三腰椎位置和所述标注肌肉群均采用双盲标注，由两个医生分别进行标注。

作为本发明的另一优选方案，通过遍历被分割的肌肉群中所有像素的位置，寻找到肌肉区域的最小矩形包围盒，并计算得到肌肉的长宽。

本发明第二方面在于提供一种基于深度学习的腹部肌肉标注装置，所述基于深度学习的腹部肌肉标注装置包括：

图像获取模块，用于获取包含第三腰椎的腹部CT影像数据；

标注模块，用于标注所述图像获取模块所获取的包含第三腰椎的腹部CT影像，所述标注模块包括两个子模块：第三腰椎位置标注子模块和肌肉群标注子模块；所述第三腰椎位置标注子模块用于标注第三腰椎位置，即标注第三腰椎的起始CT页面编号；所述肌肉群标注模块用于标注肌肉群并生成标签影像，具体地，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标记为数字标签1、2、3、4，其他区域标记为数字标签0，基于这些数字标签生成与原始的所述包含第三腰椎的腹部CT影像对应的标签影像，所述标签影像中，每个像素位置对应原始的所述包含第三腰椎的腹部CT影像数据中的同一位置，每个像素的值为{0,1,2,3,4}中的一个；所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群；

训练模块，用于利用已标注的包含第三腰椎的腹部CT影像训练基于深度神经网络的分割模型，所述分割模型实现将CT影像中的像素分为5类，分别对应数字标签0、1、2、3、4；

分割模块，用于运用所述训练模块训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测；

参数提取模块，用于基于分割模型划分的腹部肌肉群区域，计算肌肉面积及肌肉的影像组学特征；肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数；所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽定义为肌肉区域的最小矩形包围盒的长宽。

作为本发明的一种优选方案，所述基于深度学习的腹部肌肉标注装置还进一步包括：

存储模块，用于存储腹部CT影像数据，标签影像数据，肌肉面积及肌肉的长宽参数；

管理模块，用于根据使用者输入的管理命令向存储模块发送调取命令，以调取存储在存储模块中的结果，并将其传输到显示模块；

显示模块，用于向使用者显示腹部CT影像数据，标签影像数据，肌肉面积及肌肉的长宽参数。

本发明优点在于：

1、本发明提出一种基于深度学习算法的腹部肌肉群标注方法，通过训练深度神经网络模型，实现对腹部肌肉群的自动分割，接着估算与腹部肌肉群营养评估相关的参数，进而提出一种腹部参数估算装置。本发明免除了医生人工勾画计算的负担。

2、本发明将腹部肌肉群标记为四个子区域，更容易实现肌肉群的分割和参数的精确计算；在收集数据的步骤剔除质量差的CT数据，标记数据的步骤严格按照双盲标注，分割肌肉群的步骤剔除像素小于50的噪音区域，参数定义合理，以上均确保了最终参数的科学性，实际测试发现数据准确，实用性强。

3、本发明标注数据的步骤还提出了一种基于多个子区域模板的腹部肌肉标注方法，通过构建标准的腹部肌肉标注数据库，根据构建的标注数据库对每个子区域生成形状模板库，基于上述标注数据库和形状模板库，采用多模板匹配的方法对腹部肌肉的每个子区域分别进行自动分割与标注，标注方法和标注装置能够对结果进行查看和修正，对标注结果进行细化和修正，大大减轻了标注工作的繁重负担，同时保证了医学数据标注的精确性。

4、本发明还可应用于医学统计，例如不同人群腹部肌肉群特征统计和分析等。

附图说明

附图1是本发明一种基于深度学习的腹部肌肉标注方法的流程图。

附图2是腹部肌肉群标签示意图。

附图3是基于多个子区域模板的腹部肌肉标注方法的流程图。

附图4是对腹部肌肉群进行定义的示意图。a是腹部第三腰椎CT图像示意图；b是腹部第三腰椎肌肉区域示意图(浅色区域)；c是腹部第三腰椎肌肉子区域示意图(1，2，3，4分别代表四个子区域)。

附图5是本发明一种基于深度学习的腹部肌肉标注装置的结构框图。

附图6是本发明另一种基于深度学习的腹部肌肉标注装置的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

请参见图1，图1是本发明一种基于深度学习的腹部肌肉标注方法的流程图，所述基于深度学习的腹部肌肉标注方法包括以下步骤：

第一步：收集数据

本步骤的目的是收集腹部CT影像数据，指导医生收集包含第三腰椎的腹部CT影像数据。每个CT影像中包含5～6张第三腰椎部位的扫描。

在该步骤中，将剔除质量差(第三腰椎部位影像过于模糊)的CT数据。

第二步：标注数据

本步骤的目的是标注第一步收集的腹部CT影像数据，进而训练分割模型。该步骤包括两个子步骤：标注第三腰椎位置及标注肌肉群。

标注第三腰椎位置，即标注第三腰椎的起始CT页面编号。该信息将应用于分割模型的验证测试中。

标注肌肉群，即标注CT影像中的肌肉群位置，并生成标签影像。具体来说，将肌肉群标记为特定的数字标签，将非肌肉群标记为0。在本发明中，根据腹部肌肉群在营养评估方面的研究意义，将腹部肌肉群标记为四个区域。如图2所示，腹部肌肉群(具体是第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群)被打上标签1、2、3、4，其他区域(即CT影像中除第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群以外的区域)被打上0标签。基于这些标签生成与原始CT影像对应的标签影像，标签影像中每个像素位置对应原始CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个。

本步骤中所有标注均为双盲标注，即，由两个医生分别进行标注。

第三步，训练分割模型

本步骤的目的是利用已标注的CT影像训练基于深度神经网络的分割模型，该模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4。具体步骤如下：

首先，对CT影像进行图像预处理：提取第三腰椎对应的CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中。

接着，训练深度神经网络模型。输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像。输出数据为对CT影像中每个像素位置的标签预测值。在本发明中，以3:1将训练数据进行划分，分别进行模型训练和验证。

第四步，分割肌肉群

本步骤的目的是运用第三步中训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测。具体步骤如下：

首先，应用分割模型得到初步分割结果。在该步骤中，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

接着，对分割结果进行后处理。具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

第五步，提取参数

本步骤的目的是基于分割模型划分的腹部肌肉群区域，计算与营养评估相关的常用关键参数：肌肉面积，及肌肉的影像组学特征。

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数。

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽的定义为，该肌肉区域的最小矩形包围盒的长宽。在本发明中，通过遍历被分割的肌肉群中所有像素的位置，寻找到该肌肉群的最小矩形包围盒，并计算得到其长宽。

实施例2

本实施例提供的基于深度学习的腹部肌肉标注方法具体包括以下步骤：

第一步：收集数据

本步骤的目的是收集腹部CT影像数据，指导医生收集包含第三腰椎的腹部CT影像数据。每个CT影像中包含5～6张第三腰椎部位的扫描。

在该步骤中，将剔除质量差(第三腰椎部位影像过于模糊)的CT数据。

第二步：标注数据

本步骤的目的是标注第一步收集的腹部CT影像数据，进而训练分割模型。该步骤包括两个子步骤：标注第三腰椎位置及标注肌肉群。

标注第三腰椎位置，即标注第三腰椎的起始CT页面编号。该信息将应用于分割模型的验证测试中。

标注肌肉群，即标注CT影像中的肌肉群位置，并生成标签影像。具体来说，将肌肉群标记为特定的数字标签，将非肌肉群标记为0。在本发明中，根据腹部肌肉群在营养评估方面的研究意义，将腹部肌肉群标记为四个区域。如图2所示，腹部肌肉群(具体是第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群)被打上标签1、2、3、4，其他区域(即CT影像中除第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群以外的区域)被打上0标签。基于这些标签生成与原始CT影像对应的标签影像，标签影像中每个像素位置对应原始CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个。

本步骤中，标注肌肉群具体采用一种基于多个子区域模板的腹部肌肉标注方法，参见图3，所述基于多个子区域模板的腹部肌肉标注方法包括以下步骤：

S1.构建标准的腹部肌肉标注数据库，具体步骤为：收集N个个体的腹部CT图像数据，在每个CT图像数据中选取第三腰椎中部的CT切片图像，并按照腹部肌肉形状特征及解剖学特征，定义腹部肌肉的四个子区域(具体包括第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，参见图4)，在CT切片图像上对上述四个子区域进行标注，构建标准的腹部肌肉标注数据库，所述标注数据库中包括三大类信息：CT图像数据、标注的区域模板以及对应的区域编号r，其中r取值范围为{1，2，3，4}；

S2.根据所述标注数据库生成腹部肌肉形状模板库，具体包括以下步骤：

S21.对每个所述第三腰椎中部的CT切片图像进行预处理，所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；所述平滑预处理即运用高斯滤波器对图像进行平滑操作，消除噪音干扰；所述感兴趣区域筛选即根据肌肉CT值范围设定阈值，例如阈值范围为[-150,150]，剔除图像中不相关的区域；所述医学图像矩阵归一化，即将医学图像中的CT值转归一化为0到1之间的值；

S22.腹部肌肉子区域提取，即针对腹部肌肉的四个子区域，分别提取特征，并用向量表示，具体为：首先，在预处理后的图像中提取当前感兴趣子区域范围，如提取编号为1的子区域，同时，将图像中其他区域像素值置为0；接着，将图像按照当前子区域范围进行切割，仅保留当前子区域范围，例如编号为1的子区域范围；最后，将切割好的子区域在图像横轴上的范围进行大小归一化，使得所有切割好的子区域在图像横轴上的范围相同；

S23.生成形状模板库，具体为：首先，按照切割好的子区域在图像纵轴上的范围，将子区域进行聚类，将大小相似的子区域归为一类；接着，基于归为同一类型的子区域，生成平均模板；最后，收集所有平均模板，本实施例中优选每个子区域形成M个平均模板，形成形状模板库；

S3.基于所述腹部肌肉标注数据库和形状模板库对腹部肌肉进行自动分割与标注，具体包括以下步骤：首先，对第一步获取的包含第三腰椎的腹部CT影像数据进行图像预处理；所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；所述平滑预处理即运用高斯滤波器对图像进行平滑操作，消除噪音干扰；所述感兴趣区域筛选，即根据肌肉CT值范围设定阈值，剔除图像中不相关的区域；所述医学图像矩阵归一化，即将医学图像中的CT值转归一化为0到1之间的值；然后，基于所述标注数据库和形状模板库，采用基于多模板的图像匹配方法对腹部肌肉的四个子区域分别进行自动分割与标注；本实施例中标注数据库中包括N个原始模板，形状模板库中包括M个平均模板，使用该M个模板运用多模板匹配方法对腹部肌肉的4个子区域分别进行自动分割与标注；

S4.结果查看及修正，即医生查看审核标注结果，对标注错误的结果进行修正。

第三步，训练分割模型

本步骤的目的是利用已标注的CT影像训练基于深度神经网络的分割模型，该模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4。具体步骤如下：

首先，对CT影像进行图像预处理：提取第三腰椎对应的CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中。

接着，训练深度神经网络模型。输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像。输出数据为对CT影像中每个像素位置的标签预测值。在本发明中，以3:1将训练数据进行划分，分别进行模型训练和验证。

第四步，分割肌肉群

本步骤的目的是运用第三步中训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测。具体步骤如下：

首先，应用分割模型得到初步分割结果。在该步骤中，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

接着，对分割结果进行后处理。具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

第五步，提取参数

本步骤的目的是基于分割模型划分的腹部肌肉群区域，计算与营养评估相关的常用关键参数：肌肉面积，及肌肉的影像组学特征。

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数。

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽的定义为，该肌肉区域的最小矩形包围盒的长宽。在本发明中，通过遍历被分割的肌肉群中所有像素的位置，寻找到该肌肉群的最小矩形包围盒，并计算得到其长宽。

本实施例中，通过构建标准的腹部肌肉标注数据库，根据构建的标注数据库对每个子区域生成形状模板库，基于上述标注数据库和形状模板库，采用多模板匹配的方法对腹部肌肉的每个子区域分别进行自动分割与标注，大大减轻了医生手动标注的工作负担，同时保证了医学数据标注的精确性。且还能够对结果进行查看和修正，对标注结果进行细化和修正。

实施例3

请参见图5，图5是本发明一种基于深度学习的腹部肌肉标注装置的结构框图，所述基于深度学习的腹部肌肉标注装置包括：

图像获取模块1，用于获取包含第三腰椎的腹部CT影像数据。

标注模块2，用于标注所述图像获取模块1所获取的腹部CT影像数据。所述标注模块2进一步包括两个子模块，具体是第三腰椎位置标注子模块21和肌肉群标注子模块22，所述第三腰椎位置标注子模块21用于标注第三腰椎位置，即标注第三腰椎的起始CT页面编号。该信息将应用于分割模型的验证测试中。所述肌肉群标注子模块22用于标注肌肉群，即标注CT影像中的肌肉群位置，并生成标签影像。具体来说，将肌肉群标记为特定的数字标签，将非肌肉群标记为0。在本发明中，根据腹部肌肉群在营养评估方面的研究意义，将腹部肌肉群标记为四个区域。如图2所示，腹部肌肉群(具体是第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群)被打上标签1、2、3、4，其他区域(即CT影像中除第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群以外的区域)被打上0标签。基于这些标签生成与原始CT影像对应的标签影像，标签影像中每个像素位置对应原始CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个。

训练模块3，用于利用已标注的CT影像训练基于深度神经网络的分割模型，该模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4。具体步骤如下：

首先，对CT影像进行图像预处理：提取第三腰椎对应的CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中。

接着，训练深度神经网络模型。输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像。输出数据为对CT影像中每个像素位置的标签预测值。在本发明中，以3:1将训练数据进行划分，分别进行模型训练和验证。

分割模块4，用于运用所述训练模块3训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测。具体步骤如下：

首先，应用分割模型得到初步分割结果。在该步骤中，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

接着，对分割结果进行后处理。具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

参数提取模块5，用于基于分割模型划分的腹部肌肉群区域，计算与营养评估相关的常用关键参数：肌肉面积，及肌肉的影像组学特征。

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数。

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽的定义为，该肌肉区域的最小矩形包围盒的长宽。在本发明中，通过遍历被分割的肌肉群中所有像素的位置，寻找到该肌肉群的最小矩形包围盒，并计算得到其长宽。

实施例4

本实施例提供另一种基于深度学习的腹部肌肉标注装置，所述基于深度学习的腹部肌肉标注装置包括：

图像获取模块1，用于获取包含第三腰椎的腹部CT影像数据。

标注模块2，用于标注所述图像获取模块1所获取的腹部CT影像数据。所述标注模块2进一步包括两个子模块，具体是第三腰椎位置标注子模块21和肌肉群标注子模块22，所述第三腰椎位置标注子模块21用于标注第三腰椎位置，即标注第三腰椎的起始CT页面编号。该信息将应用于分割模型的验证测试中。所述肌肉群标注子模块22用于标注肌肉群，即标注CT影像中的肌肉群位置，并生成标签影像。具体来说，将肌肉群标记为特定的数字标签，将非肌肉群标记为0。在本发明中，根据腹部肌肉群在营养评估方面的研究意义，将腹部肌肉群标记为四个区域。如图2所示，腹部肌肉群(具体是第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群)被打上标签1、2、3、4，其他区域(即CT影像中除第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群以外的区域)被打上0标签。基于这些标签生成与原始CT影像对应的标签影像，标签影像中每个像素位置对应原始CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个。所述肌肉群标注子模块22具体采用的标注肌肉群方法为一种基于多个子区域模板的腹部肌肉标注方法，所述基于多个子区域模板的腹部肌肉标注方法包括以下步骤：

S1.构建标准的腹部肌肉标注数据库，具体步骤为：收集N个个体的腹部CT图像数据，在每个CT图像数据中选取第三腰椎中部的CT切片图像，并按照腹部肌肉形状特征及解剖学特征，定义腹部肌肉的四个子区域(具体包括第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，参见图4)，在CT切片图像上对上述四个子区域进行标注，构建标准的腹部肌肉标注数据库，所述标注数据库中包括三大类信息：CT图像数据、标注的区域模板以及对应的区域编号r，其中r取值范围为{1，2，3，4}；

S2.根据所述标注数据库生成腹部肌肉形状模板库，具体包括以下步骤：

S21.对每个所述第三腰椎中部的CT切片图像进行预处理，所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；所述平滑预处理即运用高斯滤波器对图像进行平滑操作，消除噪音干扰；所述感兴趣区域筛选，即根据肌肉CT值范围设定阈值，例如阈值范围为[-150,150]，剔除图像中不相关的区域；所述医学图像矩阵归一化，即将医学图像中的CT值转归一化为0到1之间的值；

S22.腹部肌肉子区域提取，即针对腹部肌肉的四个子区域，分别提取特征，并用向量表示，具体为：首先，在预处理后的图像中提取当前感兴趣子区域范围，如提取编号为1的子区域，同时，将图像中其他区域像素值置为0；接着，将图像按照当前子区域范围进行切割，仅保留当前子区域范围，例如编号为1的子区域范围；最后，将切割好的子区域在图像横轴上的范围进行大小归一化，使得所有切割好的子区域在图像横轴上的范围相同；

S23.生成形状模板库，具体为：首先，按照切割好的子区域在图像纵轴上的范围，将子区域进行聚类，将大小相似的子区域归为一类；接着，基于归为同一类型的子区域，生成平均模板；最后，收集所有平均模板，本实施例中优选每个子区域形成M个平均模板，形成形状模板库；

S3.基于所述腹部肌肉标注数据库和形状模板库对腹部肌肉进行自动分割与标注，具体包括以下步骤：首先，对第一步获取的包含第三腰椎的腹部CT影像数据进行图像预处理；所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；所述平滑预处理即运用高斯滤波器对图像进行平滑操作，消除噪音干扰；所述感兴趣区域筛选，即根据肌肉CT值范围设定阈值，剔除图像中不相关的区域；所述医学图像矩阵归一化，即将医学图像中的CT值转归一化为0到1之间的值；然后，基于所述标注数据库和形状模板库，采用基于多模板的图像匹配方法对腹部肌肉的四个子区域分别进行自动分割与标注；本实施例中标注数据库中包括N个原始模板，形状模板库中包括M个平均模板，使用该M个模板运用多模板匹配方法对腹部肌肉的4个子区域分别进行自动分割与标注；

S4.结果查看及修正，即医生查看审核标注结果，对标注错误的结果进行修正。

训练模块3，用于利用已标注的CT影像训练基于深度神经网络的分割模型，该模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4。具体步骤如下：

首先，对CT影像进行图像预处理：提取第三腰椎对应的CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中。

接着，训练深度神经网络模型。输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像。输出数据为对CT影像中每个像素位置的标签预测值。在本发明中，以3:1将训练数据进行划分，分别进行模型训练和验证。

分割模块4，用于运用所述训练模块3训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测。具体步骤如下：

首先，应用分割模型得到初步分割结果。在该步骤中，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

接着，对分割结果进行后处理。具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

参数提取模块5，用于基于分割模型划分的腹部肌肉群区域，计算与营养评估相关的常用关键参数：肌肉面积，及肌肉的影像组学特征。

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数。

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽的定义为，该肌肉区域的最小矩形包围盒的长宽。在本发明中，通过遍历被分割的肌肉群中所有像素的位置，寻找到该肌肉群的最小矩形包围盒，并计算得到其长宽。

实施例5

请参见图6，图6是本发明另一种基于深度学习的腹部肌肉标注装置的结构框图，所述基于深度学习的腹部肌肉标注装置包括：

图像获取模块1，用于获取包含第三腰椎的腹部CT影像数据。

标注模块2，用于标注所述图像获取模块1所获取的腹部CT影像数据。所述标注模块2进一步包括两个子模块，具体是第三腰椎位置标注子模块21和肌肉群标注子模块22，所述第三腰椎位置标注子模块21用于标注第三腰椎位置，即标注第三腰椎的起始CT页面编号。该信息将应用于分割模型的验证测试中。所述肌肉群标注子模块22用于标注肌肉群，即标注CT影像中的肌肉群位置，并生成标签影像。具体来说，将肌肉群标记为特定的数字标签，将非肌肉群标记为0。在本发明中，根据腹部肌肉群在营养评估方面的研究意义，将腹部肌肉群标记为四个区域。如图2所示，腹部肌肉群(具体是第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群，所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群)被打上标签1、2、3、4，其他区域(即CT影像中除第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群以外的区域)被打上0标签。基于这些标签生成与原始CT影像对应的标签影像，标签影像中每个像素位置对应原始CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个。

训练模块3，用于利用已标注的CT影像训练基于深度神经网络的分割模型，该模型实现将CT影像中的像素分为5类，分别对应第二步中的标签0、1、2、3、4。具体步骤如下：

首先，对CT影像进行图像预处理：提取第三腰椎对应的CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中。

接着，训练深度神经网络模型。输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像。输出数据为对CT影像中每个像素位置的标签预测值。在本发明中，以3:1将训练数据进行划分，分别进行模型训练和验证。

分割模块4，用于运用所述训练模块3训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测。具体步骤如下：

首先，应用分割模型得到初步分割结果。在该步骤中，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

接着，对分割结果进行后处理。具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

参数提取模块5，用于基于分割模型划分的腹部肌肉群区域，计算与营养评估相关的常用关键参数：肌肉面积，及肌肉的影像组学特征。

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数。

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽的定义为，该肌肉区域的最小矩形包围盒的长宽。在本发明中，通过遍历被分割的肌肉群中所有像素的位置，寻找到该肌肉群的最小矩形包围盒，并计算得到其长宽。

存储模块6，用于存储腹部CT影像数据，标签影像数据，肌肉面积，及肌肉的长宽参数。

管理模块7，用于根据使用者输入的管理命令向存储模块6发送调取命令，以调取存储在存储模块6中的结果，并将其传输到显示模块8。

显示模块8，用于向使用者显示腹部CT影像数据，标签影像数据，肌肉面积，及肌肉的长宽参数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的腹部肌肉标注方法，其特征在于，包括以下步骤：

第一步：收集数据

收集包含第三腰椎的腹部CT影像数据；

第二步：标注数据

标注第一步收集的包含第三腰椎的腹部CT影像的第三腰椎位置及肌肉群，其中：标注第三腰椎位置即标注第三腰椎的起始CT页面编号；标注肌肉群即标注肌肉群位置并生成标签影像，具体地，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标记为数字标签1、2、3、4，其他区域标记为数字标签0，基于这些数字标签生成与原始的所述包含第三腰椎的腹部CT影像对应的标签影像，所述标签影像中每个像素位置对应原始的所述包含第三腰椎的腹部CT影像中的同一位置，每个像素的值为{0,1,2,3,4}中的一个；所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群；

第三步，训练分割模型

利用已标注的包含第三腰椎的腹部CT影像训练基于深度神经网络的分割模型，所述分割模型实现将已标注的包含第三腰椎的腹部CT影像中的像素分为5类，分别对应第二步中的数字标签0、1、2、3、4；

第四步，分割肌肉群

运用第三步中训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到所述腹部CT影像中的第三腰椎影像中每个像素位置对应的标签预测；

第五步，提取参数

基于分割模型划分的腹部肌肉群区域，计算肌肉面积及肌肉的影像组学特征：

肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为所述腹部CT影像中的第三腰椎影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数；

所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽定义为肌肉区域的最小矩形包围盒的长宽。

2.根据权利要求1所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述第二步中，所述标注肌肉群具体采用一种基于多个子区域模板的腹部肌肉标注方法，包括以下步骤：

S1.构建标准的腹部肌肉标注数据库：收集N个个体的第三腰椎中部的CT切片图像，定义腹部肌肉的四个子区域，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标注为数字标签1、2、3、4，构建标准的腹部肌肉标注数据库，所述标准的腹部肌肉标注数据库包括三大类信息：CT图像数据、标注的区域模板以及对应的区域编号r，其中r取值范围为{1，2，3，4}；

S2.根据所述标准的腹部肌肉标注数据库生成腹部肌肉形状模板库，具体包括以下步骤：

S21.对每个所述第三腰椎中部的CT切片图像进行预处理，所述预处理包括图像平滑预处理、感兴趣区域筛选以及医学图像矩阵归一化；

S22.腹部肌肉子区域提取，即针对腹部肌肉的四个子区域，分别提取特征，并用向量表示，具体为：首先，在预处理后的图像中提取当前感兴趣子区域范围，同时将图像中其他区域像素值置为0；接着，将图像按照当前子区域范围进行切割，仅保留当前子区域范围；最后，将切割好的子区域在图像横轴上的范围进行大小归一化，使得所有切割好的子区域在图像横轴上的范围相同；

S23.生成形状模板库，具体为：首先，按照切割好的子区域在图像纵轴上的范围，将子区域进行聚类，将大小相似的子区域归为一类；接着，基于归为同一类型的子区域，生成平均模板；最后，收集所有平均模板，形成形状模板库；

S3.基于所述标准的腹部肌肉标注数据库和所述形状模板库对所述包含第三腰椎的腹部CT影像中的腹部肌肉进行自动分割与标注；

S4.结果查看及修正。

3.根据权利要求1所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述第三步具体步骤如下：

首先，对所述包含第三腰椎的腹部CT影像进行图像预处理：提取所述包含第三腰椎的腹部CT影像，并将影像数据中每个像素的值由CT值归一化到[0,1]的区间范围中；

接着，训练深度神经网络模型：输入数据为归一化的CT影像数据以及该CT影像数据对应的标签影像，输出数据为对CT影像中每个像素位置的标签预测值。

4.根据权利要求1所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述第四步具体步骤如下：应用分割模型得到初步分割结果，输入数据为CT影像及第三腰椎真实扫描页编号，输出数据为运用分割算法得到的第三腰椎扫描页的标签影像。

5.根据权利要求4所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述第四步还进一步包括以下步骤：对所述初步分割结果进行后处理。

6.根据权利要求5所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述后处理具体操作为剔除像素个数小于50的独立小块区域，即噪音区域。

7.根据权利要求1所述的基于深度学习的腹部肌肉标注方法，其特征在于，所述第二步中，所述标注第三腰椎位置和所述标注肌肉群均采用双盲标注，由两个医生分别进行标注。

8.根据权利要求1所述的基于深度学习的腹部肌肉标注方法，其特征在于，通过遍历被分割的肌肉群中所有像素的位置，寻找到肌肉区域的最小矩形包围盒，并计算得到肌肉的长宽。

9.一种基于深度学习的腹部肌肉标注装置，其特征在于，所述基于深度学习的腹部肌肉标注装置包括：

图像获取模块，用于获取包含第三腰椎的腹部CT影像数据；

标注模块，用于标注所述图像获取模块所获取的包含第三腰椎的腹部CT影像，所述标注模块包括两个子模块：第三腰椎位置标注子模块和肌肉群标注子模块；所述第三腰椎位置标注子模块用于标注第三腰椎位置，即标注第三腰椎的起始CT页面编号；所述肌肉群标注模块用于标注肌肉群并生成标签影像，具体地，将第一肌肉群、第二肌肉群、第三肌肉群、第四肌肉群分别标记为数字标签1、2、3、4，其他区域标记为数字标签0，基于这些数字标签生成与原始的所述包含第三腰椎的腹部CT影像对应的标签影像，所述标签影像中，每个像素位置对应原始的所述包含第三腰椎的腹部CT影像数据中的同一位置，每个像素的值为{0,1,2,3,4}中的一个；所述第一肌肉群是由腹直肌、腹外斜肌、腹横肌、腹内斜肌组成的肌肉群，所述第二肌肉群是由图像左侧腰大肌、图像左侧腰小肌、图像左侧腰方肌组成的肌肉群，所述第三肌肉群是由图像右侧腰大肌、图像右侧腰小肌、图像右侧腰方肌组成的肌肉群，所述第四肌肉群是竖脊肌肌肉群；

训练模块，用于利用已标注的包含第三腰椎的腹部CT影像训练基于深度神经网络的分割模型，所述分割模型实现将CT影像中的像素分为5类，分别对应数字标签0、1、2、3、4；

分割模块，用于运用所述训练模块训练得到的分割模型，分割腹部CT影像中的第三腰椎影像，得到影像中每个像素位置对应的标签预测；

参数提取模块，用于基于分割模型划分的腹部肌肉群区域，计算肌肉面积及肌肉的影像组学特征；肌肉面积的计算方法为：a＝w*h*n，其中a为肌肉面积，w和h分别为CT影像中每个像素对应的现实世界长度及宽度，n为肌肉区域的像素个数；所述肌肉的影像组学特征包括肌肉的长宽，所述肌肉的长宽定义为肌肉区域的最小矩形包围盒的长宽。

10.根据权利要求9所述的基于深度学习的腹部肌肉标注装置，其特征在于，所述基于深度学习的腹部肌肉标注装置还进一步包括：

存储模块，用于存储腹部CT影像数据，标签影像数据，肌肉面积及肌肉的长宽参数；

管理模块，用于根据使用者输入的管理命令向存储模块发送调取命令，以调取存储在存储模块中的结果，并将其传输到显示模块；

显示模块，用于向使用者显示腹部CT影像数据，标签影像数据，肌肉面积及肌肉的长宽参数。