CN115810015A - 基于深度学习的膝关节自动分割方法、系统、介质及设备 - Google Patents

Abstract

本申请实施例公开了一种基于深度学习的膝关节自动分割方法、系统、介质及设备，其中，方法包括：接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。通过采用本申请实施例，可以提高膝关节的MR图像分割膝关节软骨的准确性。

Description

基于深度学习的膝关节自动分割方法、系统、介质及设备

技术领域

本申请涉及人工智能领域，具体涉及一种基于深度学习的膝关节自动分割方法、系统、介质及设备。

背景技术

膝关节炎在全球范围内是一种患病率很高的疾病，它由生物力学、生化、系统性以及内在因素等多重因素组合引起，通常会导致膝关节疼痛和关节软骨的结构性破坏，并且会造成患者身体的永久性损伤。然而，迄今为止，对膝关节炎的病理生理学都尚未完全了解，现阶段还缺乏对膝关节炎还有效的治疗方法。但是膝关节软骨退化在早期是可逆的，通过膝关节软骨的形态特征和软骨下骨的形态特征可以预测膝关节炎的发展周期，对于这两个特征的研究主要集中在软骨的体积、厚度以及表面曲率的生物标志物上，通过它们的生物标志物变化可以确定早期膝关节炎，进而对患者设计有效的治疗手段，可以有效避免膝关节炎病情的加重。

由于MR成像技术具有突出膝关节软组织特性的能力，通过MR图像可对膝关节软骨进行分割，进而提取生物标志物，这些生物标志物反映的信息可以用于表征膝关节炎病情的发展情况，因此MR成像技术被广泛应用于膝关节炎病情的预测。但在实际应用中，由于膝关节软骨在MR图像中的灰度与周围组织类似，且膝关节软骨区域较小、形态较薄，导致分割膝关节MR图像的准确性较低。

发明内容

本申请提供一种基于深度学习的膝关节自动分割方法、系统、介质及设备，可以提高膝关节的MR图像分割膝关节软骨的准确性。

在本申请的第一方面提供了一种基于深度学习的膝关节自动分割方法，包括：

接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；

通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；

通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。

通过采用上述技术方案，采用二个阶段的分割模型对膝关节的MR图像进行分割，一阶分割模型用于对第一MR图像中的软骨区域进行定位，确定目标软骨区域，二阶分割模型用于对第二MR图像中的目标软骨区域进行精准分割，可以提升自动分割模型分割MR图像膝关节软骨的准确性。

可选的，所述一阶分割模型中包括ResUnet模型，所述通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像，包括：

通过所述ResUnet模型对所述第一MR图像中的所述目标软骨区域进行粗分割，得到多个粗分割结果；

通过三维连通域操作对所述多个粗分割结果进行连接，并清除所述多个粗分割结果连接后产生的细小区域，得到所述第一MR图像的三维连通域；

提取所述三维连通域中的目标软骨区域，得到所述第二MR图像。

通过采用上述技术方案，使用ResUnet模型作为一阶分割模型，对MR图像中的软骨区域进行粗分割，从而确定软骨的大致区域，可以减少二阶分割模型的分割范围。

可选的，所述二阶分割模型包括3D-MedicalNet模型和ASPP模块，所述通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像，包括：

通过所述二阶分割模型中的3D-MedicalNet模型，对所述第二MR图像中的目标软骨特征进行细分割，得到多个细分割结果；

通过所述ASPP模块对所述多个细分割结果进行解码以及拼接操作，得到所述目标膝关节的所述目标软骨分割图像。

通过采用上述技术方案，使用3D-MedicalNet模型作为二阶分割模型，对第二MR图像进行细分割，二阶分割模型更加关注于软骨与周围组织的区别，可以进一步提升模型分割的准确性。

可选的，所述接收膝关节软骨的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型之前，还包括：

通过ResUnet网络构建所述一阶分割模型，通过3D-MedicalNet网络构建所述二阶分割模型，得到第一自动分割模型；

接收多个膝关节的MR图像，对所述多个膝关节的MR图像进行预处理，得到多个第三MR图像；

按照预设比例，将所述多个第三MR图像划分为训练集、验证集以及测试集；

将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练；

将所述验证集中的第三MR图像代入所述分割训练后的第一自动分割模型，得到训练结果；

根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型。

通过采用上述技术方案，构建第一自动分割模型，并对第一自动分割模型进行训练以及验证，进而得到准确度较高的目标自动分割模型。

可选的，所述对所述多个膝关节MR图像进行预处理，得到多个第三MR图像，包括：

依次对所述多个膝关节MR图像进行滤波去噪、三维重建、归一化处理的操作，得到多个第三MR图像。

通过采用上述技术方案，对膝关节MR图像进行预处理，使得MR图像更适用于自动分割模型。

可选的，所述根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型，包括：

判断所述训练结果是否达标；

若所述训练结果达标，则将所述训练结果对应的第一自动分割模型作为目标自动分割模型；

若所述训练结果未达标，则重新执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，直到所述训练结果达标；

所述方法还包括：

若所述一阶分割模型的训练次数达到最大训练次数，则终止执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，并将所述最大训练次数对应的第一自动分割模型作为所述目标自动分割模型。

通过采用上述技术方案，根据训练结果判断第一自动模型是否达到标准，若第一自动分割模型不达标，则对不达标的第一自动分割模型进行重复训练，以优化第一自动分割模型，得到目标自动分割模型。

可选的，所述根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型之后，还包括：

将所述测试集中的第三MR图像代入所述目标自动分割模型中，得到软骨分割结果；

通过Dice公式对所述软骨分割结果进行评估，得到所述目标自动分割模型的评估结果；

所述Dice公式为：Dice（e，f）=

；

式中，Dice（e，f）为评估结果；e为分割结果中的软骨面积；f为实际软骨面积。

通过采用上述技术方案，采用Dice公式对目标自动分割模型进行评估，通过评估结果反映目标自动分割模型的实际应用效果。

在本申请的第二方面提供了一种基于深度学习的膝关节自动分割系统，所述系统包括：

第一MR图像获取模块，用于接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；

一阶分割模块，用于通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；

二阶分割模块，用于通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。

在本申请的第三方面提供了一种计算机可读存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

在本申请的第四方面提供了一种电子设备，包括：处理器、存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

综上所述，本申请包括以下至少一种有益效果：

通过采用本申请技术方案，采用二个阶段的分割模型对膝关节的MR图像进行分割，一阶分割模型用于对第一MR图像中的软骨区域进行定位，确定目标软骨区域，二阶分割模型用于对第二MR图像中的目标软骨区域进行精准分割，可以提升自动分割模型分割MR图像膝关节软骨的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于深度学习的膝关节自动分割方法的流程示意图；

图2是本申请实施例提供的另一种基于深度学习的膝关节自动分割方法的流程示意图；

图3是本申请实施例提供的一种ResUnet模型示意图；

图4是本申请实施例提供的一种3D-MedicalNet模型示意图；

图5是本申请实施例提供的再一种基于深度学习的膝关节自动分割方法的流程示意图；

图6是本申请实施例提供的再一种基于深度学习的膝关节自动分割方法的流程示意图；

图7是本申请实施例提供的再一种基于深度学习的膝关节自动分割方法的流程示意图；

图8是本申请实施例提供的再一种基于深度学习的膝关节自动分割方法的流程示意图；

图9是本申请实施例提供的一种基于深度学习的膝关节自动分割系统的模块示意图；

图10是本申请实施例提供的一种电子设备的结构示意图。

附图标记说明：1、基于深度学习的膝关节自动分割系统；11、第一MR图像获取模块；12、一阶分割模块；13、二阶分割模块；1000、电子设备；1001、处理器；1002、通信总线；1003、用户接口；1004、网络接口；1005、存储器。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

在本申请实施例的描述中，“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

下面结合具体的实施例对本申请进行详细说明。

在一个实施例中，请参考图1，特提出了一种基于深度学习的膝关节自动分割方法，该方法可依赖于计算机程序实现，可依赖于单片机实现，也可运行于基于冯诺依曼体系的基于深度学习的膝关节自动分割系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

步骤101：接收目标膝关节的第一MR图像，将第一MR图像代入预先得到的自动分割模型中。

膝关节软骨在本申请实施例中主要用于确定膝关节炎的发展阶段，通过膝关节软骨的形态特征和软骨下骨的形态特征可以预测膝关节炎的发展周期，对于这两个特征的研究主要集中在软骨的体积、厚度以及表面曲率的生物标志上，通过生物标志变化可以确定早起膝关节炎，进而对患者设计有效的治疗手段，进而避免膝关节炎病情的加重，目标膝关节在本申请实施例中可以理解为待分割的膝关节。

进一步地，通过医疗影像技术中的核磁共振技术可以实现对目标膝关节的成像，核磁共振技术指的是利用人体内固有的原子核，在外加磁场作用下产生共振现象，吸收能量释放MR信号，将其采集并作为成像源，经计算机处理，形成人体的MR图像，在本申请实施例中第一MR图像可以理解为，目标膝关节通过核磁共振技术而生成的三维图像，经过图像预处理得到的、适用于自动分割模型的MR图像。

进一步地，MR图像具有突出膝关节软组织特性的能力，通过MR图像可对膝关节软骨进行分割，进而提取膝关节软骨中的生物标志物，进而推断膝关节炎病情的发展情况，在本申请实施例中，采用自动分割模型对膝关节的MR图像进行图像处理，进而实现对膝关节软骨的自动分割，而预先得到的自动分割模型可以进一步理解为，在实际应用之前生成的自动分割模型。

示例性地，存储有自动分割模型的应用程序的计算机设备或电子设备接收第一MR图像后，将第一MR图像代入到预先生成的自动分割模型中进行软骨分割操作，以得到第一MR图像对应的目标膝关节的软骨图像。

步骤102：通过一阶分割模型对第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像。

在本申请实施例中，自动分割模型包括一阶分割模型和二阶分割模型，可以对第一MR图像进行两次软骨分割操作。其中，一阶分割模型用于对第一MR图像中的软骨部分进行粗分割，粗分割可以理解为初步分割，主要作用是确定软骨所在区域，将确定要分割的软骨部分定义为目标软骨区域，将第一MR图像进行初步分割后得到的软骨部分图像定义为第二MR图像。

示例性地，将第一MR图像代入自动分割模型后，自动分割模型锁定第一MR图像中骨头与软骨的边界区域，并对边界区域进行粗分割操作，得到分割后的目标软骨区域所构成的第二MR图像。

请参照图2，在上述实施例的基础上，作为一种可选的实施例，通过一阶分割模型对第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像的步骤，具体还包括以下步骤：

步骤201：通过ResUnet模型对第一MR图像中的目标软骨区域进行粗分割，得到多个粗分割结果。

在本申请实施例中，一阶分割模型主要由ResUnet模型构成，请参照图3，ResUnet模型是一种加入Res模型的Unet网络，既可以通过Unet的金字塔结构实现不深维度的特征提取，又可以通过Res跳跃连接避免特征提取过程中信息的丢失，进而避免过拟合，两者结合可以提升模型的分割准确率。

示例性地，将第一MR图像代入自动分割模型后，首先通过一阶分割模型对第一MR图像中的目标软骨区域进行粗分割，去除膝关节的骨头区域，保留其软骨区域，得到多个软骨区域的粗分割结果。

步骤202：通过三维连通域操作对多个粗分割结果进行连接，并清除多个粗分割结果连接后产生的细小区域，得到第一MR图像的三维连通域。

三维连通域指的是图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。在对第一MR图像进行粗分割后，得到的粗分割结果会存在一些瑕疵，即独立的轮廓，通过三维连通域可以找出体积较小的独立轮廓并去除。

示例性地，通过三维连通域操作，可以根据多个粗分割结果的软骨区域的像素点，将多个粗分割结果进行连接，根据连接后的三维连通域产生的体积较小的区域定义为细小区域，并将细小区域去除，得到第一MR图像的三维连通域。

步骤203：提取三维连通域中的目标软骨区域，得到第二MR图像。

示例性地，将三维连通域中的细小区域去除后，得到轮廓清晰的软骨区域，此时将三维连通域中的目标软骨区域提取出来，构成新的MR图像，将此MR图像定义为第二MR图像。

步骤103：通过二阶分割模型对第二MR图像中的目标软骨特征进行细分割，得到目标膝关节的目标软骨分割图像。

在本申请实施例中，二阶分割模型主要由3D-MedicalNet模型构成，请参照图4，3D-MedicalNet模型指的是一种提供多种3D医疗影像专用预训练模型的项目，3D-MedicalNet模型提供的预训练网络可迁移到任何3D医疗影像的AI应用中，包括但不限于分割、检测、分类等任务，适用于小数据医疗影像AI场景，能够加快网络收敛，提升网络性能，在本申请实施例中3D-MedicalNet模型采用3D卷积核的ResUnet结构进行特征提取。

示例性地，将第二MR图像代入二阶分割模型，二阶分割模型对第二MR图像中的目标软骨特征进行特征提取操作，得到与第二MR图像输入图像大小一致的细分割结果，通过细分割结果可以获取对应的目标软骨区域。

请参照图5，在上述实施例的基础上，作为一种可选的实施例，通过二阶分割模型对第二MR图像中的目标软骨特征进行细分割，得到目标膝关节的目标软骨分割图像的步骤，具体还包括以下步骤：

步骤501：通过二阶分割模型中的3D-MedicalNet模型，对第二MR图像中的目标软骨特征进行细分割，得到多个细分割结果。

细分割在本申请实施例中可以理解为特征提取操作，此提取的特征为软骨的高维特征，通过3D-MedicalNet模型进行特征提取可以以较小的计算量实现不同尺度特征的提取。

示例性地，二阶分割模型中的3D-MedicalNet模型将第二MR图像中目标软骨特征进行特征提取操作，以高维数组的形式储存，得到多个细分割结果。

步骤502：通过ASPP模块对多个细分割结果进行解码以及拼接操作，得到目标膝关节的目标软骨分割图像。

示例性地，二阶分割模型还包括空洞空间卷积池化金字塔（Atrous SpatialPyramid Pooling，ASPP），ASPP模块可以对3D-MedicalNet模型提取的目标软骨特征进行进一步提取并降低维度，再对降维后的目标软骨特征进行卷积操作，按各层的输出按通道进行叠加，相当于对多个细分割结果进行拼接操作，最终输出的结果即为目标膝关节的目标软骨分割图像。

请参照图6，在上述实施例的基础上，作为一种可选的实施例，基于深度学习的膝关节自动分割方法，还可以包括以下步骤：

步骤601：通过ResUnet网络构建一阶分割模型，通过3D-MedicalNet网络构建二阶分割模型，得到第一自动分割模型。

示例性地，在自动分割模型投入实际应用之前，需要建立一个适用于膝关节软骨分割的自动分割模型，在本申请实施例中膝关节软骨分割模型是一个二阶模型，包括一阶分割模型和二阶分割模型，其中一阶分割模型主要通过ResUnet网络构建，二阶分割模型主要通过3D-MedicalNet网络构建，将构建好的一阶分割模型和二阶分割模型合并定义为第一自动分割模型。

步骤602：接收多个膝关节的MR图像，对多个膝关节的MR图像进行预处理，得到多个第三MR图像。

示例性地，构建完成第一自动分割模型后，为了提高其分割膝关节软骨的准确性，需要对其进行训练。收集含有膝关节的MR图像，其中收集的图像包含有患有膝关节炎患者的MR图像，以及未患有膝关节炎患者的MR图像。

进一步地，对收集到的多个MR图像进行预处理，主要包括有滤波去噪、三维重建以及归一化处理三步操作。其中，第一步，通过利用高斯滤波器对原始MR图像进行去噪，减少机器在采集图像过程中产生的噪声；第二步，对MR图像进行三维重建，通过线性插值的方式将MR图像变成间隔为1毫米*1毫米*1毫米的新图像，在新图像中，每个体素的间隔是1毫米；第三步，将三维重建后的图像的灰度值归一化到【0，255】范围之间，使得所有MR图像都具有相同的灰度分布，将预处理后的多个MR图像定义为第三MR图像。

步骤603：按照预设比例，将多个第三MR图像划分为训练集、验证集以及测试集。

示例性地，按照7:1:2的预设比例将多个MR图像划分为三个集合，分别为训练集、验证集以及测试集，其中，训练集主要用于对第一自动分割模型进行训练，使得其更加适用于膝关节软骨的分割；验证集主要用于验证训练集训练之后的第一自动分割模型的训练效果；测试集主要用于对最后训练完成的第一自动分割模型进行评估。

步骤604：将训练集中的第三MR图像代入第一自动分割模型中，对第一自动分割模型进行分割训练。

示例性地，将训练集中的多个第三MR图像依次代入第一自动分割模型中，使得第一自动分割模型对其进行软骨分割操作，可将训练集中的多个第三MR图像分批次代入第一自动分割模型中进行训练，边训练边调整第一自动分割模型中参数。

步骤605：将验证集中的第三MR图像代入分割训练后的第一自动分割模型，得到训练结果。

示例性地，将所有训练集中的第三MR图像代入第一自动分割模型后，再将验证集中的第三MR图像代入第一自动分割模型进行膝关节软骨分割，将第一分割模型对训练集中第三MR图像膝关节软骨分割的结果定义为训练结果。

步骤606：根据训练结果，对第一自动分割模型进行训练，得到目标自动分割模型。

示例性地，可根据训练结果来判断第一分割模型的性能是否达到目标效果，若确定训练后的第一自动分割模型达到目标效果，则确定第一自动分割模型为可应用的目标自动分割模型，若确定训练后的第一自动分割模型未达到目标效果，则将第一自动分割模型进行重复训练，直到训练结果达到目标效果为止。

请参考图7，在一种可选的实施例中，根据训练结果，对第一自动分割模型进行训练，得到目标自动分割模型的步骤，具体还包括以下步骤：

步骤701：判断训练结果是否达标；

步骤702：若训练结果达标，则将训练结果对应的第一自动分割模型作为目标自动分割模型；

步骤703：若训练结果未达标，则重新执行将训练集中的第三MR图像代入所述第一自动分割模型中，对第一自动分割模型进行分割训练，得到训练结果的步骤，直到训练结果达标。

示例性地，判断训练结果是否达标，可以通过将验证集代入第一自动分割模型后，得到的分割结果与目标分割结果的误差大小来评判，对于误差的判断可以由两步构成，首先判断测量结果是否出现大幅度变动，同时系统对比分割结果与目标分割结果相比是否满足设定要求，即两个结果之间的误差是否大于一定阈值k，在工程实践中，当阈值k小于等于5%则可视为满足工程要求，当误差满足工程要求时，视为训练结果达标。

在另一种可选的实施例中，根据训练结果，对第一自动分割模型进行训练，得到目标自动分割模型的步骤，具体还包括以下步骤：

若一阶分割模型的训练次数达到最大训练次数，则终止执行将训练集中的第三MR图像代入第一自动分割模型中，对第一自动分割模型进行分割训练，得到训练结果的步骤，并将最大训练次数对应的第一自动分割模型作为目标自动分割模型。

示例性地，由于自动分割模型的收敛性难以预测，甚至有可能出现选择的基础模型并不能很好的实现分割效果，即使参数十分准确，也存在较大的误差，此时需要设定多样化的迭代终止方式，以避免陷入无限循环的计算，因此，在本申请实施例中，当训练次数达到最大训练次数时，将最大训练次数对应的第一自动分割模型作为目标自动分割模型。

请参考图8，在上述实施例的基础上，在得到目标自动分割模型之后，还可以执行以下步骤：

步骤801：将测试集中的第三MR图像代入目标自动分割模型中，得到软骨分割结果。

步骤802：通过Dice公式对软骨分割结果进行评估，得到目标自动分割模型的评估结果。

示例性地，可通过验证集中的第三MR图像对目标自动分割模型的效果进行评估，具体可通过Dice公式对软骨分割结果进行评估，其中，Dice公式为：Dice（e，f）=

；式中，Dice（e，f）为评估结果；e为分割结果中的软骨面积；f为实际软骨面积。通过Dice公式得到的评估结果可以视为目标自动分割模型的实际应用效果，以提供参考作用。

下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。

请参照图9，为本申请实施例提供的一种基于深度学习的膝关节自动分割系统，该基于深度学习的膝关节自动分割系统1可以包括：第一MR图像获取模块11、一阶分割模块12以及二阶分割模块13，其中：

第一MR图像获取模块11，用于接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；

一阶分割模块12，用于通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；

二阶分割模块13，用于通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。

在上述实施例的基础上，作为一种可选的实施例，基于深度学习的膝关节自动分割系统还包括：第一自动分割模型构建模块、第三MR图像生成模块、第三MR图像划分模块、第一自动分割模型训练模块、训练结果生成模块、训练结果判断模块以及目标自动分割模型评估模块，其中：

第一自动分割模型构建模块，用于通过ResUnet网络构建所述一阶分割模型，通过3D-MedicalNet网络构建所述二阶分割模型，得到第一自动分割模型。

第三MR图像生成模块，用于接收多个膝关节的MR图像，对所述多个膝关节的MR图像进行预处理，得到多个第三MR图像。

第三MR图像划分模块，用于按照预设比例，将所述多个第三MR图像划分为训练集、验证集以及测试集。

第一自动分割模型训练模块，用于将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练。

训练结果生成模块，用于将所述验证集中的第三MR图像代入所述分割训练后的第一自动分割模型，得到训练结果。

训练结果判断模块，用于根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型。

目标自动分割模型评估模块，用于将所述测试集中的第三MR图像代入所述目标自动分割模型中，得到软骨分割结果，通过Dice公式对所述软骨分割结果进行评估，得到所述目标自动分割模型的评估结果。

在上述实施例的基础上，作为一种可选的实施例，一阶分割模块12还包括：粗分割结果获得单元、三维连通域生成单元以及第二MR图像生成单元，其中：

粗分割结果获得单元，用于通过所述ResUnet模型对所述第一MR图像中的所述目标软骨区域进行粗分割，得到多个粗分割结果。

三维连通域生成单元，用于通过三维连通域操作对所述多个粗分割结果进行连接，并清除所述多个粗分割结果连接后产生的细小区域，得到所述第一MR图像的三维连通域。

第二MR图像生成单元，用于提取所述三维连通域中的目标软骨区域，得到所述第二MR图像。

在上述实施例的基础上，作为一种可选的实施例，二阶分割模块13还包括：细分割结果获得单元以及目标软骨分割图像生成单元，其中：

细分割结果获得单元，用于通过所述二阶分割模型中的3D-MedicalNet模型，对所述第二MR图像中的目标软骨特征进行细分割，得到多个细分割结果。

目标软骨分割图像生成单元，用于通过所述ASPP模块对所述多个细分割结果进行解码以及拼接操作，得到所述目标膝关节的所述目标软骨分割图像。

在上述实施例的基础上，作为一种可选的实施例，第三MR图像生成模块还包括：第三MR图像预处理模块，其中：

第三MR图像预处理模块，用于依次对所述多个膝关节MR图像进行滤波去噪、三维重建、归一化处理的操作，得到多个第三MR图像。

在上述实施例的基础上，作为一种可选的实施例，训练结果判断模块，还包括：训练结果判断单元、目标自动分割模型确定单元、第一自动分割模型训练单元以及训练停止单元，其中：

训练结果判断单元，用于判断所述训练结果是否达标。

目标自动分割模型确定单元，用于若所述训练结果达标，则将所述训练结果对应的第一自动分割模型作为目标自动分割模型。

第一自动分割模型训练单元，用于若所述训练结果未达标，则重新执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，直到所述训练结果达标。

训练停止单元，用于若所述一阶分割模型的训练次数达到最大训练次数，则终止执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，并将所述最大训练次数对应的第一自动分割模型作为所述目标自动分割模型。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图8所示实施例的所述的基于深度学习的膝关节自动分割方法，具体执行过程可以参加图1-图8所示实施例的具体说明，在此不进行赘述。

请参见图10，为本申请实施例提供了一种电子设备的结构示意图。如图10所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics ProcessingUnit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及一种基于深度学习的膝关节自动分割方法的应用程序。

需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在图10所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中基于深度学习的膝关节自动分割方法的应用程序，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。

一种电子设备可读存储介质，所述电子设备可读存储介质存储有指令。当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。

本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammaBLE GateArray，FPGA）、集成电路（Integrated Circuit，IC）等。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。

Claims (10)

1.一种基于深度学习的膝关节软骨自动分割方法，其特征在于，包括：

接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；

通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；

通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。

2.根据权利要求1所述的基于深度学习的膝关节软骨自动分割方法，其特征在于，所述一阶分割模型中包括ResUnet模型，所述通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像，包括：

通过所述ResUnet模型对所述第一MR图像中的所述目标软骨区域进行粗分割，得到多个粗分割结果；

通过三维连通域操作对所述多个粗分割结果进行连接，并清除所述多个粗分割结果连接后产生的细小区域，得到所述第一MR图像的三维连通域；

提取所述三维连通域中的目标软骨区域，得到所述第二MR图像。

3.根据权利要求1所述的基于深度学习的膝关节软骨自动分割方法，其特征在于，所述二阶分割模型包括3D-MedicalNet模型和ASPP模块，所述通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像，包括：

通过所述二阶分割模型中的3D-MedicalNet模型，对所述第二MR图像中的目标软骨特征进行细分割，得到多个细分割结果；

通过所述ASPP模块对所述多个细分割结果进行解码以及拼接操作，得到所述目标膝关节的所述目标软骨分割图像。

4.根据权利要求1所述的基于深度学习的膝关节软骨自动分割方法，其特征在于所述接收膝关节软骨的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型之前，还包括：

通过ResUnet网络构建所述一阶分割模型，通过3D-MedicalNet网络构建所述二阶分割模型，得到第一自动分割模型；

接收多个膝关节的MR图像，对所述多个膝关节的MR图像进行预处理，得到多个第三MR图像；

按照预设比例，将所述多个第三MR图像划分为训练集、验证集以及测试集；

将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练；

将所述验证集中的第三MR图像代入所述分割训练后的第一自动分割模型，得到训练结果；

根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型。

5.根据权利要求4所述的基于深度学习的膝关节软骨自动分割方法，其特征在于，所述对所述多个膝关节MR图像进行预处理，得到多个第三MR图像，包括：

依次对所述多个膝关节MR图像进行滤波去噪、三维重建、归一化处理的操作，得到多个第三MR图像。

6.根据权利要求4所述的基于深度学习的膝关节软骨自动分割方法，其特征在于，所述根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型，包括：

判断所述训练结果是否达标；

若所述训练结果达标，则将所述训练结果对应的第一自动分割模型作为目标自动分割模型；

若所述训练结果未达标，则重新执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，直到所述训练结果达标；

所述方法还包括：

若所述一阶分割模型的训练次数达到最大训练次数，则终止执行将所述训练集中的第三MR图像代入所述第一自动分割模型中，对所述第一自动分割模型进行分割训练，得到训练结果的步骤，并将所述最大训练次数对应的第一自动分割模型作为所述目标自动分割模型。

7.根据权利要求4所述的基于深度学习的膝关节软骨自动分割方法，其特征在于，所述根据所述训练结果，对所述第一自动分割模型进行训练，得到目标自动分割模型之后，还包括：

将所述测试集中的第三MR图像代入所述目标自动分割模型中，得到软骨分割结果；

通过Dice公式对所述软骨分割结果进行评估，得到所述目标自动分割模型的评估结果；

所述Dice公式为：Dice（e，f）=

；

式中，Dice（e，f）为评估结果；e为分割结果中的软骨面积；f为实际软骨面积。

8.一种基于深度学习的膝关节自动分割系统，其特征在于，包括：

第一MR图像获取模块（11），用于接收目标膝关节的第一MR图像，将所述第一MR图像代入预先得到的自动分割模型中，所述自动分割模型包括一阶分割模型和二阶分割模型；

一阶分割模块（12），用于通过所述一阶分割模型对所述第一MR图像中的目标软骨区域进行粗分割，得到第二MR图像；

二阶分割模块（13），用于通过所述二阶分割模型对所述第二MR图像中的目标软骨特征进行细分割，得到所述目标膝关节的目标软骨分割图像。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述的方法。

10.一种电子设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1~7任意一项所述的方法。

Images