CN110648337A - 髋关节分割方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种髋关节分割方法、装置、电子设备和存储介质。该方法包括：获取髋关节的各断层图像；将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果，其中，所述目标髋关节分割模型基于卷积神经网络模型而预先训练获得；依据各所述二维分割结果生成目标三维分割结果，作为所述髋关节分割结果。通过上述技术方案，实现了快速且高精度地分割髋关节，达到了兼顾髋关节分割的精度和效率，更大程度地满足临床需求的效果。

Description

髋关节分割方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及医学图像处理技术，尤其涉及一种髋关节分割方法、装置、电子设备和存储介质。

背景技术

精确的髋关节三维立体结构在临床医学上具有非常重要的意义。例如，在髋关节置换手术之前，利用髋关节三维立体结构来制定植入假体的虚拟植入计划，以提高髋关节置换的精度；而在术中，也能基于髋关节三维立体结构，结合表面注册和跟踪技术，实现术中的实时导航。

髋关节三维立体结构通常是对髋关节对应的CT断层图像进行髋关节分割而获得。但是因骨质酥松的存在，髋关节，尤其是股骨头，在CT断层图像上呈现出极其不均匀的灰度表现，这使得难以使用传统的阈值方法进行髋关节的分割与重建。

目前的髋关节分割方案主要有：第一，半自动的髋关节分割方法，其依靠软件提供的交互式分割界面结合医生的交互式操作完成。其中被应用于交互式分割的方法包括自适应阈值法、边缘检测、区域增长、形态学孔洞填充和水平集等，一套完整的交互式髋关节分割算法，通常是以上多种方法的结合。第二，全自动的髋关节分割方法，例如非刚性配准的髋关节分割方法和使用统计形状模型(Statistical Shape Models,SSM)的髋关节分割方法。图谱配准和SSM的方法都能够比较好的结合髋关节的形状先验知识，使得分割结果在形状上与真实髋关节掩膜较为相似。第三，基于卷积神经网络的分割方法，例如利用基于二维医学图像的全卷积神经网络模型U-Net网络模型，或者基于三维医学图像的3D U-Net(或称为V-net)网络模型等。

但是上述各种方案中，第一种方案耗时长、操作繁琐、技术难度大，且分割精度仅能用于医生的定性诊断和手术粗规划。第二种方案虽然不用人工参与，但是分割精细度不够。第三种方案虽然分割精度满足要求，但是要求运行模型的设备具有较高的配置性能，且模型运行耗时，降低分割效率。

发明内容

本发明实施例提供一种髋关节分割方法、装置、电子设备和存储介质，以实现快速且高精度地分割髋关节，达到兼顾髋关节分割的精度和效率，更大程度地满足临床需求的效果。

第一方面，本发明实施例提供了一种髋关节分割方法，包括：

获取髋关节的各断层图像；

将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果，其中，所述目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

依据各所述二维分割结果生成目标三维分割结果，作为所述髋关节分割结果。

第二方面，本发明实施例还提供了一种髋关节分割装置，该装置包括：

断层图像获取模块，用于获取髋关节的各断层图像；

二维分割结果生成模块，用于将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果，其中，所述目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

髋关节分割结果生成模块，用于依据各所述二维分割结果生成目标三维分割结果，作为所述髋关节分割结果。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的髋关节分割方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的髋关节分割方法。

本发明实施例通过预先基于卷积神经网络模型训练而获得目标髋关节分割模型，实现了根据髋关节分割的特性对卷积神经网络模型进行改进并训练改进的卷积神经网络模型，获得能够更加快速且更加精确地分割整个髋关节及髋关节各内部子结构的目标髋关节分割模型。通过获取髋关节的各断层图像；将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果；依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果，实现了根据目标髋关节分割模型来分割髋关节的每个断层图像获得二维髋关节分割结果，并将各二维分割结果堆叠为三维髋关节分割结果，解决了因髋关节骨质疏松而导致的分割难度大、分割过程运算耗时长及效率低的问题，达到了在髋关节分割模型占用资源少及髋关节模型运算资源需求小的前提下，更加快速且更加精确的获得髋关节分割结果的技术效果。

附图说明

图1是本发明实施例一中的一种髋关节分割方法的流程图；

图2是本发明实施例一中的采用目标髋关节分割模型进行髋关节分割的结果图；

图3是本发明实施例二中的目标髋关节分割模型训练过程中损失函数的组成及误差反传示意图；

图4是本发明实施例二中的目标髋关节分割模型的模型结构示意图；

图5是本发明实施例二中的一种髋关节分割方法中目标髋关节分割模型训练方法的流程图；

图6是本发明实施例三中的一种髋关节分割装置的结构示意图；

图7是本发明实施例四中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

本实施例提供的髋关节分割方法可适用于医学图像的髋关节骨性结构分割及髋关节分类。该方法可以由髋关节分割装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有图像处理功能的设备中，例如个人计算机、服务器或网络设备等。参见图1，本实施例的方法具体包括如下步骤：

S110、获取髋关节的各断层图像。

为了获得扫描对象的髋关节的三维分割结果，需要先获得扫描对象的包含髋关节的三维图像，该三维图像可以是三维形式，也可以是由多个二维图像(断层图像)堆叠而成。由于直接基于三维图像进行髋关节分割会造成分割过程耗时过长、资源消耗过多的问题，故本发明实施例中采用了先对每个髋关节二维图像进行髋关节分割，而后将多个二维的分割结果进行堆叠，以形成三维髋关节分割结果。

髋关节的各断层图像可以由成像设备直接扫描获得。例如，可以利用诸如计算机断层扫描设备(CT成像设备)或磁共振成像设备(MR成像设备)等单模态成像系统，或者包含CT成像设备和/或MR成像设备等的多模态成像系统对扫描对象的髋部区域进行扫描及图像重建，获得扫描对象的髋关节的各断层图像。髋关节的各断层图像也可以由外部存储装置读取获得。例如，从外部存储装置直接读取到该扫描对象的髋关节的各断层图像；也可以是读取到髋关节的三维图像，并对其进行横截面方向的二维拆分，获得髋关节的各断层图像。

需要说明的是，由于目标髋关节分割模型的训练数据中未包含过多的距离股骨和髋骨较远距离的断层图像，故本操作中所获取的各断层图像应为髋关节附近的断层图像，避免后续出现较高的假阳性。另外，训练数据中各断层图像之间的层厚大多在1-2mm，故本操作中所获取的各断层图像之间的层厚应当在2mm以内，以进一步保证分割精度。

S120、将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果。

其中，目标髋关节分割模型是用于进行二维图像的髋关节分割的模型，其不仅可以分割整个髋关节骨性结构，还可以进一步分类出髋关节骨性结构中的左右股骨和左右髋骨。示例性地，目标髋关节分割模型基于卷积神经网络模型而预先训练获得。由于髋关节存在骨质疏松的情况而使得现有的卷积神经网络模型无法直接适用于骨性结构明显的髋关节分割，所以本发明实施例在同时考虑模型的髋关节分割精度和分割效率的设计原则下，基于现有的卷积神经网络模型进行了模型改进，并对改进后的模型进行了训练，便可获得目标髋关节分割模型。

将每一个断层图像作为模型输入，输入目标髋关节分割模型，经过模型运算，便可输出相应断层图像的模型运算结果，即二维髋关节分割结果，简称二维分割结果。如此，便可获得与断层图像的数量一致的多个二维分割结果。

需要说明的是，如果断层图像和目标髋关节分割模型的模型输入图像之间存在图像分辨率、图像灰度值和图像大小等的差异，则需要参照模型输入图像，对断层图像进行适当的图像预处理，并以预处理后的断层图像输入目标髋关节分割模型。

示例性地，S120包括：针对每个断层图像，按照各断层图像的采集顺序，获取断层图像前后各预设数量的断层图像，作为断层图像的各层间相关图像，并将断层图像和各层间相关图像输入目标髋关节分割模型，生成断层图像对应的二维分割结果。

其中，预设数量是预先设定的一个图像数量值，其在目标髋关节分割模型设计时便设定，用于确定与一个断层图像之间具有层间相关性的断层图像的数量，例如预设数量设置为5。层间相关图像是指具有较大的层间相关性的断层图像，层间相关性是指一个断层图像与其相邻的各断层图像之间的相关性。

由于同一个组织或结构通常横跨多个相邻的断层图像，一个断层图像只是该组织或结构在某一个横切面的表现，如果单纯基于每一个断层图像进行二维髋关节分割，那么就会丢失髋关节在不同断层图像之间的相关性信息，容易使得各个二维分割结果之间在冠状面方向和矢状面方向的连贯性较差，进而使得髋关节的三维分割结果精度低。所以，本发明实施例中在改进卷积神经网络模型时，将模型的输入通道设置为多个通道，例如11个通道，这样在输入断层图像的同时，也可输入与该断层图像具有较大的层间相关性的相邻断层图像，以便目标髋关节分割模型在分割髋关节过程中能够学习到层间相关性信息。

具体实施时，对于每一个要输入模型的断层图像，均按照S110中各断层图像对应的采集顺序，从各断层图像中获取该断层图像前后各5个连续的断层图像，作为该断层图像的各层间相关图像。之后，将该断层图像和总共10个层间相关图像一起输入目标髋关节分割模型，模型输出的一个图像便为该断层图像的二维分割结果。同样地，如果断层图像输入模型之前需要进行预处理操作，那么10个层间相关图像均执行相同的图像预处理操作。这样设置的好处在于，通过在目标髋关节分割模型的输入数据中引入各层间相关图像，增加了每个断层图像进行髋关节分割的层间相关性信息，保证了各个横切面方向的二维分割结果在冠状面方向和矢状面方向也具有很好的连续性，进而进一步提高三维髋关节分割结果的精度。

S130、依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果。

其中，目标三维分割结果是指对髋关节进行分割而获得的最终的三维分割结果。根据前述说明，目标髋关节分割模型不仅能够分割出髋关节骨性结构，还可对髋关节进行精细分类，获得左股骨、右股骨、左盆骨和右盆骨的多目标分割结果，所以目标三维分割结果(髋关节分割结果)可以有整个髋关节骨性结构，还可以有髋关节的左股骨、右股骨、左盆骨和右盆骨的髋关节各内部子结构。

获得各个二维分割结果之后，将各二维分割结果重建为三维图像，便可生成髋关节的目标三维分割结果，即髋关节分割结果。本发明实施例的髋关节分割方案不需要任何手动的交互过程，在手动导入各断层图像之后，可通过程序自动或者医生一键触发的方式，完成对髋关节、髋关节股骨和髋关节髋骨的分割，并对左股骨、右股骨、左髋骨和右髋骨完成分类。

示例性地，S130包括：依据各二维分割结果生成初始三维分割结果；利用预设平滑算法，对初始三维分割结果进行噪声去除，获得目标三维分割结果。

虽然目标髋关节分割模型的分割精度较高，输出结果的假阳性明显减少，但是也会存在某些情况，使得模型输出的二维分割结果的背景区域中出现一些假阳性碎渣。例如，获取的各断层图像中可能存在不包含髋关节的断层图像，如果将这样的断层图像输入目标髋关节分割模型，就会使得模型输出的二维分割结果的背景区域中出现一些假阳性碎渣。故在利用二维分割结果重建生成最初的三维分割结果(即初始三维分割结果)后，还增加了噪声去除的操作，即采用诸如高斯平滑或连通域体积阈值过滤等预先选定的平滑算法(即预设平滑算法)，对初始三维分割结果进行去噪，便可获得目标三维分割结果。这样设置的好处在于，可进一步降低髋关节分割结果中的假阳性，进一步提高髋关节分割精度。

采用本发明实施例中的髋关节分割方案，对7套髋关节三维CT图像(每套大约300张断层图像)进行了髋关节分割验证，验证结果为：背景、左股骨、右股骨、左髋骨和右髋骨的分割精度分别为99.9％、96.2％、96.9％、98.4和98.5％。同时，利用10套髋关节三维CT图像(每套大约300张断层图像)进行了髋关节分割测试，测试结果为仅有4组在髋关节上方(椎骨处)出现极小的少量假阳性碎渣，均可通过高斯平滑等算法进行噪声去除。参见图2，利用其中一套验证数据进行髋关节分割可得髋关节骨性结构图(a)、横切面二维分割结果图(b)和目标三维分割结果中某一冠状面的重建二维分割结果图(c)。从图2a中可以看出，髋关节骨性结构图中包含左股骨203、右股骨204、左髋骨201和右髋骨202；从图2b和图2c中分别可以看出左股骨203、右股骨204、左髋骨201和右髋骨202在横切面及冠状面的分布及连贯性。所以，从图2中可以看出髋关节分割结果较好，且冠状面的连续性较好。

本实施例的技术方案，通过预先基于卷积神经网络模型训练而获得目标髋关节分割模型，实现了根据髋关节分割的特性对卷积神经网络模型进行改进并训练改进的卷积神经网络模型，获得能够更加快速且更加精确地分割整个髋关节及髋关节各内部子结构的目标髋关节分割模型。通过获取髋关节的各断层图像；将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果；依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果，实现了根据目标髋关节分割模型来分割髋关节的每个断层图像获得二维髋关节分割结果，并将各二维分割结果堆叠为三维髋关节分割结果，解决了因髋关节骨质疏松而导致的分割难度大、分割过程运算耗时长及效率低的问题，达到了在髋关节分割模型占用资源少及髋关节模型运算资源需求小的前提下，更加快速且更加精确的获得髋关节分割结果的技术效果。

实施例二

本实施例在上述实施例一的基础上，增加了“目标髋关节分割模型”的训练相关步骤。其中与上述各实施例相同或相应的术语的解释在此不再赘述。

本实施例在阐述目标髋关节分割模型的训练方法之前，先对目标髋关节分割模型的模型结构进行说明。

示例性地，目标髋关节分割模型的基础模型为基于二维医学图像的全卷积神经网络模型，且目标髋关节分割模型的损失函数为焦点损失函数和形状约束损失函数；其中，形状约束损失函数为模型预测结果中的形状特征向量与当前待分割图像对应的参照髋关节图像中的形状特征向量之间的欧式距离，形状特征向量由预先训练的自编码器网络对图像进行形状提取而获得。

本发明实施例中的目标髋关节分割模型是对细节分割性能优越的基于二维医学图像的全卷积神经网络模型U-net进行改进而获得，其中的一处明显改进为在原有焦点损失函数的基础上增加了形状约束损失函数，以在模型训练过程中引入髋关节骨性结构先验特征，从而提高二维分割结果中髋关节的边界完整性和连续性，降低目标髋关节分割模型输出结果的假阳性误检。

上述焦点损失函数focal loss用于评估当前待分割图像对应的模型预测结果和参照髋关节图像在像素级上的相似程度，可解决各类别样本不均衡的问题，并且能够让模型更集中去学习更难学习的样本(如边界像素点)，这能大大加快模型收敛速度。上述形状约束损失函数shape loss用于评估当前待分割图像对应的模型预测结果和参照髋关节图像在形状(高级特征)上的相似程度，用以监督预测结果的形状，抑制假阳性。形状约束损失函数具体定义为当前待分割图像对应的模型预测结果的形状特征向量与当前待分割图像对应的参照髋关节图像的形状特征向量之间的欧式距离。这里，参照髋关节图像也称为髋关节掩膜图像，其是预先对当前待分割图像进行精细分割所获得的髋关节分割金标准，其用于模型预测结果的正确率评价。在计算形状约束损失函数的结果过程中，需要先将图像表征为形状特征向量，该图像转换为向量的过程可以利用预先训练的自编码器网络模型(AutoEncoder,AE)来实现，该AE网络模型能够对髋关节掩膜图像mask进行编码，然后解码回原图，实现自学习功能。

具体实施时，两个损失函数在模型训练过程中用于获取模型预测结果和参照髋关节图像之间的误差并进行误差反传以不断修正模型参数。参见图3，将当前待分割图像输入改进的U-net模型(即目标髋关节分割模型的训练模型)后得到模型预测结果。利用该模型预测结果和参照髋关节图像进行焦点损失函数计算；同时，利用AE网络模型的Encoder端分别对模型预测结果和参照髋关节图像进行形状编码，获得预测形状特征向量和参照形状特征向量，而后利用预测形状特征向量和参照形状特征向量进行形状约束损失函数计算。将两个损失函数的计算结果用于误差反传至改进的U-net模型，不断迭代，直至满足模型收敛条件。

示例性地，目标髋关节分割模型通过调整基础模型的网络层数、每个网络层的卷积核数、卷积核大小以及浅层网络层与深层网络层的卷积核数比例中的至少一项而获得。

参见图4，本实施例中的目标髋关节分割模型对传统U-net模型的改进除了上述说明的输入通道数量由1个输入通道增加至多个(如11)个输入通道，以及训练过程中增加了形状约束损失函数之外，还进行了模型结构方面的改进，具体为调整传统U-net模型的网络层数、每个网络层的卷积核数、卷积核大小以及浅层网络层与深层网络层的卷积核数比例中的至少一项。其中，调整网络层数、卷积核大小以及下采样次数，是为了使得改进模型的感受野能够覆盖髋关节的大小，适应分类任务，降低假阳性；调整每个网络层的卷积核数，是为了使得改进模型的网络容量与任务难度相适应，且提高模型训练效率及防止过拟合和欠拟合问题；调整浅层网络层与深层网络层的卷积核数比例，是为了使得改进模型对细节的关注和结构的关注做到权衡。以每个网络层的卷积核数为例，传统U-net模型在各网络层的卷积核数分别为64、128、256、512和1024，本实施例中相应减少了每个网络层的卷积核数，分别改为24、40、56、72和80。

参见图5，本实施例提供的髋关节分割方法中目标髋关节分割模型训练方法包括：

S210、依据第一概率分布曲线，从训练样本集中确定至少一个第一训练图像。

其中，第一概率分布曲线是预先确定的概率值分布曲线，其是后续第一训练图像的生成依据。示例性地，第一概率分布曲线中的各概率值均相等。也就是说，第一概率分布曲线为等概率分布曲线，曲线中的每个点的概率值均相等。训练样本集为预设套数的三维髋关节图像对应的断层图像组。预设套数是准备训练样本时预先确定的数值。每套三维髋关节图像对应的断层图像组为该三维髋关节图像中包含的各个断层图像组成，每个断层图像均经过传统髋关节分割及手动精修等方式而获得相应的参照髋关节图像。第一训练图像是进行模型训练的髋关节断层图像，其用于进行模型的前期训练。

按照第一概率分布曲线，从训练样本集中的每套三维髋关节图像对应的断层图像组中选择断层图像作为第一训练图像。由于第一概率分布曲线中的概率值都是相等的，故训练样本集中模型学习难度小的断层图像的采样概率和模型学习难度大的断层图像的采样概率相等。按照上述过程重复地从训练样本集中选择断层图像，便可获得大量的第一训练图像。

S220、依据第二概率分布曲线，从训练样本集中确定至少一个第二训练图像。

其中，第二概率分布曲线是预先确定的概率值分布曲线，其是后续第二训练图像的生成依据。示例性地，第二概率分布曲线中的各概率值与训练样本集中各断层图像的训练难易度呈正相关。也就是第二概率分布曲线中模型学习难度大的断层的采样概率大，模型学习难度小的断层的采样概率小。这样设置的依据是髋关节在垂直轴z方向上各断层的形状变化很大，其中存在模型学习难度小的层(如股骨干所在层)和模型学习难度大的层(如股骨头和髋臼咬合所在层)。为了让改进的U-net模型能够合理的分配精力在不同学习难度的断层的分割，以便提高模型训练效率和模型预测精度。第二训练图像是进行模型训练的髋关节断层图像，其用于进行模型的后期训练。

按照第二概率分布曲线，从训练样本集中的每套三维髋关节图像对应的断层图像组中选择模型学习难度大的断层图像作为第二训练图像。按照上述过程重复地从训练样本集中选择断层图像，便可获得大量的第二训练图像。

示例性地，在依据第二概率分布曲线，从训练样本集中确定至少一个第二训练图像之前，还包括：依据训练样本集中各个断层图像的图像复杂度生成第二概率分布曲线。由于第二概率分布曲线中的概率值与断层图像的训练难易度正相关，故可以在确定第二训练图像之前，根据训练样本集中每套三维髋关节图像中每个断层图像的图像复杂度来确定相应断层图像对应的概率值，例如图像复杂度高的断层图像的概率值大，而图像复杂度低的断层图像的概率值小，便可获得每套三维髋关节图像对应的第二概率分布曲线。

需要说明的是，S210和S220的执行顺序可以倒置，也可以同时执行。

S230、将每个第一训练图像和第一训练图像对应的参照髋关节图像输入初始髋关节分割模型进行模型训练，生成过渡模型参数。

其中，初始髋关节分割模型是指还未进行模型训练的初始的改进U-net模型。初始髋关节分割模型的模型参数、学习率和损失函数分别为初始模型参数、第一学习率和焦点损失函数，初始模型参数为基于零的随机数。这里模型参数是指构成模型的参数，其是需要被训练的参数。学习率是模型训练过程中控制模型参数迭代调整的步长的参数。第一学习率是模型前期训练的学习率，其是一个粗粒度的数值，例如0.05。

在模型前期训练过程中，将每一个第一训练图像及其对应的参照髋关节图像输入初始髋关节分割模型进行模型粗训练，直至模型收敛，可获得前期粗训练所得的模型参数，称为过渡模型参数。模型前期训练为一种考虑训练样本全面性的粗训练，故其训练数据为模型学习难度大的断层图像和模型学习难度小的断层图像均匀分布的各个第一训练图像，学习率为第一学习率，损失函数为焦点损失函数。

S240、将每个第二训练图像和第二训练图像对应的参照髋关节图像输入过渡髋关节分割模型进行模型训练，生成目标髋关节分割模型。

其中，过渡髋关节分割模型的模型参数、学习率和损失函数分别为过渡模型参数、第二学习率及焦点损失函数和形状约束损失函数。

过渡髋关节分割模型是前期训练所得结果，故其模型参数为上述生成的过渡模型参数。另外，过渡髋关节分割模型用于进行模型后期训练，而后期训练的重点在于学习模型学习难度大的各断层图像，故其学习率为模型参数调整步长更小的第二学习率，如0.01。并且模型学习难度大的断层图像的图像复杂度高，故模型损失函数中也额外引入了形状约束损失函数。具体实施时，将每一个第二训练图像及其对应的参照髋关节图像输入过渡髋关节分割模型进行模型微调训练，直至模型收敛，可获得更新过渡模型参数的新的模型参数，这些新的模型参数应用于初始髋关节分割模型或过渡髋关节分割模型便生成目标髋关节模型。

需要说明的是，上述模型训练过程中，为了让模型学习到z方向上各断层图像之间的相关性信息，可以在输入第一训练图像(或第二训练图像)之前，先从训练样本集中确定出该第一训练图像(或第二训练图像)前后各预设数量的连续的断层图像作为层间相关图像，而后将第一训练图像(或第二训练图像)及其层间相关图像均输入初始髋关节分割模型(或过渡髋关节分割模型)。另外，为了进一步简化模型的计算量，本实施例中对模型的输入进行了固定裁剪，由512*512裁剪为384*384。并且模型训练中使用了Group Normalization归一化技术，即使在小显存配置下进行小批量训练也能做到快速的收敛。

本实施例的技术方案，将目标髋关节分割模型设计为仅针对二维断层图像进行髋关节分割，而后由二维分割结果堆叠为三维分割结果，故相对于现有的三维髋关节分割，其分割速度和性能会有大幅度提高。其次，目标髋关节分割模型的输入数据包含断层图像的相邻断层图像，所获得的二维分割结果中也包含了三维髋关节分割中的各断层图像之间的层间相关性信息，这种在二维分割过程中引入层间相关性信息的方式对模型计算量的增加极少，但是效果立竿见影，故目标髋关节分割模型的分割精度相对于传统的二维髋关节分割具有很大程度的提高，且能够使得由各二维分割结果生成的目标三维分割结果具有很好地连续性。再者，目标髋关节分割模型的训练中引入了形状约束损失函数，能够在不增加额外的计算负担的情况下，使得模型学习到髋关节的骨性结构先验特征，提高二维分割结果中髋关节的边界完整性和连续性，减少了模型输出结果的假阳性。最后，目标髋关节分割模型的网络层数、每层的卷积核数和卷积核大小均有所减少，使得模型占用资源少(仅1.6Mb)、模型运算速度高且模型运算资源消耗少(10s左右完成髋关节的3D高精度分割)。总之，目标髋关节分割模型能够在降低模型存储资源和运算资源的情况下，更加高效和精确地分割出髋关节骨性结构及其内部子结构。

实施例三

本实施例提供一种髋关节分割装置，参见图6，该装置具体包括：

断层图像获取模块610，用于获取髋关节的各断层图像；

二维分割结果生成模块620，用于将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果，其中，目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

髋关节分割结果生成模块630，用于依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果。

可选地，二维分割结果生成模块620具体用于：

针对每个断层图像，按照各断层图像的采集顺序，获取断层图像前后各预设数量的断层图像，作为断层图像的各层间相关图像，并将断层图像和各层间相关图像输入目标髋关节分割模型，生成断层图像对应的二维分割结果。

可选地，髋关节分割结果生成模块630具体用于：

依据各二维分割结果生成初始三维分割结果；

利用预设平滑算法，对初始三维分割结果进行噪声去除，获得目标三维分割结果。

可选地，目标髋关节分割模型的基础模型为基于二维医学图像的全卷积神经网络模型，且目标髋关节分割模型的损失函数为焦点损失函数和形状约束损失函数；

其中，形状约束损失函数为模型预测结果中的形状特征向量与当前待分割图像对应的参照髋关节图像中的形状特征向量之间的欧式距离，形状特征向量由预先训练的自编码器网络对图像进行形状提取而获得。

进一步地，目标髋关节分割模型通过调整基础模型的网络层数、每个网络层的卷积核数、卷积核大小以及浅层网络层与深层网络层的卷积核数比例中的至少一项而获得。

可选地，在上述装置的基础上，该装置还包括模型训练模块，用于通过如下方式预先训练获得目标髋关节分割模型：

依据第一概率分布曲线，从训练样本集中确定至少一个第一训练图像，其中，训练样本集为预设套数的三维髋关节图像对应的断层图像组，第一概率分布曲线中的各概率值均相等；

依据第二概率分布曲线，从训练样本集中确定至少一个第二训练图像，其中，第二概率分布曲线中的各概率值与训练样本集中各断层图像的训练难易度呈正相关；

将每个第一训练图像和第一训练图像对应的参照髋关节图像输入初始髋关节分割模型进行模型训练，生成过渡模型参数，其中，初始髋关节分割模型的模型参数、学习率和损失函数分别为初始模型参数、第一学习率和焦点损失函数，初始模型参数为基于零的随机数；

将每个第二训练图像和第二训练图像对应的参照髋关节图像输入过渡髋关节分割模型进行模型训练，生成目标髋关节分割模型，其中，过渡髋关节分割模型的模型参数、学习率和损失函数分别为过渡模型参数、第二学习率及焦点损失函数和形状约束损失函数。

进一步地，在上述装置的基础上，该装置还包括概率曲线生成模块，用于：

在依据第二概率分布曲线，从训练样本集中确定至少一个第二训练图像之前，依据训练样本集中各个断层图像的图像复杂度生成第二概率分布曲线。

通过本发明实施例三的一种髋关节分割装置，实现了根据目标髋关节分割模型来分割髋关节的每个断层图像获得二维髋关节分割结果，并将各二维分割结果堆叠为三维髋关节分割结果，解决了因髋关节骨质疏松而导致的分割难度大、分割过程运算耗时长及效率低的问题，达到了在髋关节分割模型占用资源少及髋关节模型运算资源需求小的前提下，更加快速且更加精确的获得髋关节分割结果的技术效果。

本发明实施例所提供的髋关节分割装置可执行本发明任意实施例所提供的髋关节分割方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述髋关节分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

参见图7，本实施例提供了一种电子设备700，其包括：一个或多个处理器720；存储装置710，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器720执行，使得一个或多个处理器720实现本发明实施例所提供的髋关节分割方法，包括：

获取髋关节的各断层图像；

将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果，其中，目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果。

当然，本领域技术人员可以理解，处理器720还可以实现本发明任意实施例所提供的髋关节分割方法的技术方案。

图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，该电子设备700包括处理器720、存储装置710、输入装置730和输出装置740；电子设备中处理器720的数量可以是一个或多个，图7中以一个处理器720为例；电子设备中的处理器720、存储装置710、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线750连接为例。

存储装置710作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的髋关节分割方法对应的程序指令/模块(例如，髋关节分割装置中的断层图像获取模块、二维分割结果生成模块和髋关节分割结果生成模块)。

存储装置710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置710可进一步包括相对于处理器720远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。

实施例五

本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种髋关节分割方法，该方法包括：

获取髋关节的各断层图像；

将每个断层图像输入目标髋关节分割模型，生成每个断层图像对应的二维分割结果，其中，目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

依据各二维分割结果生成目标三维分割结果，作为髋关节分割结果。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的髋关节分割方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所提供的髋关节分割方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种髋关节分割方法，其特征在于，包括：

获取髋关节的各断层图像；

将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果，其中，所述目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

依据各所述二维分割结果生成目标三维分割结果，作为所述髋关节分割结果。

2.根据权利要求1所述的方法，其特征在于，将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果包括：

针对每个所述断层图像，按照各所述断层图像的采集顺序，获取所述断层图像前后各预设数量的所述断层图像，作为所述断层图像的各层间相关图像，并将所述断层图像和各所述层间相关图像输入所述目标髋关节分割模型，生成所述断层图像对应的二维分割结果。

3.根据权利要求1所述的方法，其特征在于，依据各所述二维分割结果生成目标三维分割结果包括：

依据各所述二维分割结果生成初始三维分割结果；

利用预设平滑算法，对所述初始三维分割结果进行噪声去除，获得所述目标三维分割结果。

4.根据权利要求1所述的方法，其特征在于，所述目标髋关节分割模型的基础模型为基于二维医学图像的全卷积神经网络模型，且所述目标髋关节分割模型的损失函数为焦点损失函数和形状约束损失函数；

其中，所述形状约束损失函数为模型预测结果中的形状特征向量与当前待分割图像对应的参照髋关节图像中的形状特征向量之间的欧式距离，所述形状特征向量由预先训练的自编码器网络对图像进行形状提取而获得。

5.根据权利要求4所述的方法，其特征在于，所述目标髋关节分割模型通过调整所述基础模型的网络层数、每个网络层的卷积核数、卷积核大小以及浅层网络层与深层网络层的卷积核数比例中的至少一项而获得。

6.根据权利要求4或5所述的方法，其特征在于，所述目标髋关节分割模型通过如下方式预先训练获得：

依据第一概率分布曲线，从训练样本集中确定至少一个第一训练图像，其中，所述训练样本集为预设套数的三维髋关节图像对应的断层图像组，所述第一概率分布曲线中的各概率值均相等；

依据第二概率分布曲线，从所述训练样本集中确定至少一个第二训练图像，其中，所述第二概率分布曲线中的各概率值与训练样本集中各断层图像的训练难易度呈正相关；

将每个所述第一训练图像和所述第一训练图像对应的参照髋关节图像输入初始髋关节分割模型进行模型训练，生成过渡模型参数，其中，所述初始髋关节分割模型的模型参数、学习率和损失函数分别为初始模型参数、第一学习率和所述焦点损失函数，所述初始模型参数为基于零的随机数；

将每个所述第二训练图像和所述第二训练图像对应的参照髋关节图像输入过渡髋关节分割模型进行模型训练，生成所述目标髋关节分割模型，其中，所述过渡髋关节分割模型的模型参数、学习率和损失函数分别为所述过渡模型参数、第二学习率及所述焦点损失函数和所述形状约束损失函数。

7.根据权利要求6所述的方法，其特征在于，在依据第二概率分布曲线，从所述训练样本集中确定至少一个第二训练图像之前，还包括：

依据所述训练样本集中各个断层图像的图像复杂度生成所述第二概率分布曲线。

8.一种髋关节分割装置，其特征在于，包括：

断层图像获取模块，用于获取髋关节的各断层图像；

二维分割结果生成模块，用于将每个所述断层图像输入目标髋关节分割模型，生成每个所述断层图像对应的二维分割结果，其中，所述目标髋关节分割模型基于卷积神经网络模型而预先训练获得；

髋关节分割结果生成模块，用于依据各所述二维分割结果生成目标三维分割结果，作为所述髋关节分割结果。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的髋关节分割方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的髋关节分割方法。

Images