CN114882227B

CN114882227B - 一种人体组织图像分割方法及相关设备

Info

Publication number: CN114882227B
Application number: CN202210795762.XA
Authority: CN
Inventors: 张晓东; 张志勇; 谢雨含; 蒋可欣; 陈少龙; 陈焱君; 丘昌镇
Original assignee: Third Affiliated Hospital Of Southern Medical University (academy Of Orthopaedics Guangdong Province)
Current assignee: Third Affiliated Hospital Of Southern Medical University (academy Of Orthopaedics Guangdong Province)
Priority date: 2022-07-07
Filing date: 2022-07-07
Publication date: 2022-11-04
Anticipated expiration: 2042-07-07
Also published as: CN114882227A

Abstract

本发明实施例公开了一种人体组织图像分割方法及相关设备，所述方法包括：获取所述人体组织图像的弱标签；基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；基于所述分割掩膜输出数据对所述人体组织图像进行细分割，得到所述人体组织图像分割后的分区图像。通过自动地从弱标签生成伪标签，从而减少了标注所需的时间，基于所述分割掩膜输出数据对所述人体组织图像进行细分割，提升了人体组织图像分割的精细程度与准确率。

Description

一种人体组织图像分割方法及相关设备

技术领域

本发明涉及医疗技术领域，尤其涉及一种人体组织图像分割方法及相关设备。

背景技术

半月板是稳定膝关节的重要软组织，它的功能在于缓解膝关节负荷力，促进膝关节内营养等。半月板的稳定荷载作用保证了膝关节能够长期负重而不致损伤。在三维医学图像中，只有MRI（Magnetic Resonance Imaging,核磁共振成像）能够对膝关节半月板显影。

半月板在MRI图像中的显影大多不明显，半月板的灰度值较低，与十字韧带等其他组织的灰度值相近，在提取时容易与周边许多低灰度区域相连，导致半月板难以被单独分割。

在昆明医科大学第一附属医院的中国专利申请号为201210487024.5，发明名称为《一种基于线性拟合算法获得前交叉韧带中轴线的方法》的发明专利申请中，提到了手工分割MRI图像半月板的方法，发明者采用的方法需要在每层图像用手工进行边缘性分割、选择性编辑、补洞处理，并去除伪影和冗繁数据的方式，建立完整的膝关节三维实体数字化模型。

在对MRI图像进行半月板分割时，采用全监督，即，需要标注大量数据，仅仅依靠人工标注需要耗时较长的分割标签标注。

发明内容

有鉴于此，本发明提供了一种人体组织图像分割方法及相关设备，用于解决现有技术中进行半月板分割时，人为标注费时费力的问题。为达上述之一或部分或全部目的或是其他目的，本发明提出一种人体组织图像分割方法，包括：

获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；

基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；

根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据，其中，所述分割掩膜输出数据包括矢状位连通域和矢状位切片的序列状态关系；

根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；

基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；

基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像。

可选的，所述获取所述人体组织图像的弱标签的步骤，包括：

在所述人体组织图像包含所述人体组织的体部时，获取所述人体组织图像内人体组织体部两侧的边缘线与所述人体组织体部中心的上下边界点作为弱标签；

在所述人体组织图像包含所述人体组织的角部时，获取所述人体组织图像内人体组织角部的外侧边缘线与内侧角点作为弱标签。

可选的，所述基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签的步骤，包括：

基于所述人体组织体部两侧的边缘线构建所述人体组织体部的第一区域中心；

基于所述人体组织角部的外侧边缘线与内侧角点构建所述人体组织角部的第二区域中心；

根据所述弱标签和所述第一区域中心生成所述人体组织体部的第一骨干；

根据所述弱标签和所述第二区域中心生成所述人体组织角部的第二骨干；

对所述第一骨干所在的第一目标区域和所述第二骨干所在的第二目标区域进行填充，得到所述人体组织的初始模型；

基于预设区域限制关系，对所述初始模型进行区域生长处理，得到所述人体组织图像的伪标签。

可选的，所述预设深度学习分割网络为SGSI-Unet网络。

可选的，在所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤之前，还包括：

对所述人体组织图像的矢状位切片进行预处理，其中，所述预处理包括直方图均衡处理、归一化处理和数据增强处理。

可选的，所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤，包括：

将预处理后的矢状位切片导入所述预设深度学习分割网络，得到所述人体组织图像的分割掩膜输出数据，其中，所述分割掩膜输出数据包括矢状位连通域和矢状位切片的序列状态关系。

另一方面，本申请提供了一种人体组织图像分割装置，所述装置包括：

数据获取模块，用于获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；

伪标签生成模块，用于基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；

粗分割模块，用于根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据，其中，所述分割掩膜输出数据包括矢状位连通域和矢状位切片的序列状态关系；

细分割模块，用于根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像。

另一方面，本申请提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上述的人体组织图像分割方法的步骤。

另一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的人体组织图像分割方法的步骤。

实施本发明实施例，将具有如下有益效果：

通过获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；自动地从弱标签生成伪标签，从而减少了标注所需的时间，提高了图像分割的效率。根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；基于所述分割掩膜输出数据对所述人体组织图像进行细分割，得到所述人体组织图像分割后的分区图像。自动地完成对所述人体组织图像的精细分割，不需要人为干预。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1是本申请实施例提供的一种人体组织图像分割方法的流程图；

图2是本申请实施例提供的一种人体组织图像分割装置的结构示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的一种存储介质的结构示意图；

图5是本申请实施例提供的一种人体组织图像分割方法中伪标签生成的流程图；

图6是本申请实施例提供的一种人体组织图像分割方法中SGSI-Unet网络模型的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本申请实施例提供了一种人体组织图像分割方法，包括：

S101、获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；

示例性的，获取所述人体组织图像的每层矢状位切片的弱标签，在所述人体组织图像包含所述人体组织的体部时，获取所述图像内人体组织体部两侧的边缘线与所述人体组织体部中心的上下边界点作为弱标签；在所述人体组织图像包含所述人体组织的角部时，获取所述图像内人体组织角部的外侧边缘线与内侧角点作为弱标签。将人体组织边缘模糊、难以定位的区域交给人工标注，减少了分割错误的风险，提高了分割的准确性。

S102、基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；

在一种可能的实施方式中，基于所述人体组织体部两侧的边缘线构建所述人体组织体部的第一区域中心；基于所述人体组织角部的外侧边缘线与内侧角点构建所述人体组织角部的第二区域中心；根据所述弱标签和所述第一区域中心生成所述人体组织体部的第一骨干；根据所述弱标签和所述第二区域中心生成所述人体组织角部的第二骨干；对所述第一骨干所在的第一目标区域和所述第二骨干所在的第二目标区域进行填充，得到所述人体组织的初始模型；基于预设区域限制关系，对所述初始模型进行区域生长处理，得到所述人体组织图像的伪标签。

示例性的，如图5所示，通过将所述外边缘线的中点与所述内侧角点进行连线，选择所述连线的中点作为区域中心，则，基于所述人体组织体部两侧的边缘线获取两个所述第一区域中心；基于所述人体组织前角的外侧边缘线与内侧角点获取一个所述第二区域中心；基于所述人体组织后角的外侧边缘线与内侧角点获取另一个所述第二区域中心。

将所述第一区域中心、所述第二区域中心、所述外边缘线的首尾点和所述内侧角点分别相互连接，得到对应所述区域中心的骨干。

将所述人体组织体部两侧的边缘线与所述第一区域中心之间的区域作为第一目标区域；将所述人体组织角部的外侧边缘线与所述第二区域中心之间的区域作为第二目标区域，对所述第一目标区域和所述第二目标区域进行填充，避免所述第一目标区域和所述第二目标区域后续被纳入区域生长范围。

根据区域限制关系，在有限范围之内进行区域生长，得到伪标签。

S103、根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；

在一种可能的实施方式中，所述预设深度学习分割网络为SGSI-Unet网络。

示例性的，如图6所示，使用SGSI-Unet网络模型对膝关节图像进行半月板整体自动分割时，所述SGSI-Unet网络模型由孪生的三层并行网络构成，所述并行网络的解码器之间能够实现跨切片的注意力交互，以表示不同切片间的空间关系；在单层的网络中，由预分割指导网络与分割网络共同构成，通过所述预分割指导网络产生的多尺度定位信息指导所述分割网络进行图像的分割，所述分割网络完成分割后，得到所述人体组织图像的分割掩膜输出数据，其中，所述分割掩膜输出数据包括矢状位连通域和矢状位切片的序列状态关系。

S104、根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像。

示例性的，在对左脚膝关节图像进行分割以得到半月板时，基于左脚膝关节图像的矢状位切片的特征为所述矢状位切片定义不同状态，得到序列状态集合：空白态——内侧——空白态——外侧——空白态；根据序列状态集合将所述半月板划分为内侧与外侧；根据已划分的半月板内侧与半月板外侧，将所述矢状位切片进行分类，得到内侧矢状位切片和外侧矢状位切片，根据所述内侧矢状位切片或者所述外侧矢状位切片上的位置特征和所述矢状位连通域状态，划分出所述半月板的体部与前后角。

示例性的，在基于左脚膝关节图像的矢状位切片的特征为所述矢状位切片定义不同状态之前，从矢状位逐层进行最大连通域的筛选，重复两次筛选过程得到两个最大连通域。去除可能存在的零散区域，方便后续的处理，提高分割的准确性。

在一种可能的实施方式中，在所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤之前，还包括：

示例性的，直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法。通常用来增加图像的全局对比度，尤其是当图像中有用数据的对比度比较接近的时候，增强局部的对比度而不影响整体的对比度。在人体组织图像分割的过程中，提供更好的骨骼结构显示效果，减少曝光过度或者曝光不足的影响；归一化处理将数据按比例缩放，使数据缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响，保证图像分割的准确性。

在一种可能的实施方式中，所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤，包括：

示例性的，所述掩膜用于对处理的图像的全部或局部进行遮挡，来控制图像处理的区域或处理过程，所述SGSI-Unet网络输出与输入图像长宽一致的分割掩膜。

在一种可能的实施方式中，所述基于所述分割掩膜输出数据对所述人体组织图像进行细分割，得到所述人体组织图像分割后的分区图像的步骤，包括：

示例性的，在对左脚膝关节图像进行分割以得到半月板时，基于所述第一分区结果，即，半月板内侧与半月板外侧，和所述第二分区结果，即，所述半月板的体部与前后角，得到所述半月板的三维的六分区分割结果。

在一种可能的实施方式中，如图2所示，本申请提供了一种人体组织图像分割装置，所述装置包括：

数据获取模块201，用于获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；

伪标签生成模块202，用于基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；

粗分割模块203，用于根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；

细分割模块204，用于根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像。

在一种可能的实施方式中，如图3所示，本申请实施例提供了一种电子设备300，包括：包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时，实现：获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像的步骤。

在一种可能的实施方式中，如图4所示，本申请实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现：获取所述人体组织图像的弱标签，其中，所述弱标签为点线组合的弱监督标签；基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签，其中，所述伪标签生成模型为基于区域生长算法构建的；根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据；根据矢状位切片的特征和所述矢状位切片的序列状态关系，区分内测矢状位切片和外侧矢状位切片，得到第一分区结果；基于单侧矢状位切片的特征和所述矢状位连通域，区分单侧体部和角部，得到第二分区结果；基于所述第一分区结果和所述第二分区结果得到所述人体组织图像分割后的分区图像的步骤。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里上述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种人体组织图像分割方法，其特征在于，包括：

2.如权利要求1所述的一种人体组织图像分割方法，其特征在于，所述获取所述人体组织图像的弱标签的步骤，包括：

3.如权利要求2所述的一种人体组织图像分割方法，其特征在于，所述基于所述弱标签和伪标签生成模型获取所述人体组织图像的伪标签的步骤，包括：

4.如权利要求1所述的一种人体组织图像分割方法，其特征在于，所述预设深度学习分割网络为SGSI-Unet网络。

5.如权利要求1所述的一种人体组织图像分割方法，其特征在于，在所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤之前，还包括：

6.如权利要求5所述的一种人体组织图像分割方法，其特征在于，所述根据所述伪标签和预设深度学习分割网络对所述人体组织图像进行粗分割，得到所述人体组织图像的分割掩膜输出数据的步骤，包括：

7.一种人体组织图像分割装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的人体组织图像分割方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6中任一项所述的人体组织图像分割方法的步骤。