CN116188492B - 髋关节分割方法、装置、电子设备及计算机可读存储介质 - Google Patents

髋关节分割方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116188492B
CN116188492B CN202310184479.8A CN202310184479A CN116188492B CN 116188492 B CN116188492 B CN 116188492B CN 202310184479 A CN202310184479 A CN 202310184479A CN 116188492 B CN116188492 B CN 116188492B
Authority
CN
China
Prior art keywords
hip joint
network
segmentation
laddernet
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310184479.8A
Other languages
English (en)
Other versions
CN116188492A (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310184479.8A priority Critical patent/CN116188492B/zh
Publication of CN116188492A publication Critical patent/CN116188492A/zh
Application granted granted Critical
Publication of CN116188492B publication Critical patent/CN116188492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种髋关节分割方法、装置、电子设备及计算机可读存储介质。该髋关节分割方法，包括：获取待分割的髋关节图像；将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。根据本申请实施例，能够更加准确地进行髋关节分割。

Description

髋关节分割方法、装置、电子设备及计算机可读存储介质
技术领域
本申请属于深度学习智能识别技术领域，尤其涉及一种髋关节分割方法、装置、电子设备及计算机可读存储介质。
背景技术
传统图像分割算法是基于阈值分割、边缘检测或区域增长来分割医学图像，这类方法分割精度较差，粗略分割目标区域，不能精确分割目标区域边界。
因此，如何更加准确地进行髋关节分割是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节分割。
第一方面，本申请实施例提供一种髋关节分割方法，包括：
获取待分割的髋关节图像；
将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。
可选的，在将髋关节图像输入预设的髋关节分割模型之前，方法还包括：
获取髋关节图像数据集；
标注髋关节图像数据集中髋关节图像的髋关节区域，并将髋关节区域确定为分割mask；其中，每个分割mask与髋关节图像一一对应；
将每个髋关节图像及其对应的分割mask的图像格式均转换为PNG格式；
将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
可选的，在将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集之后，方法还包括：
利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型。
可选的，利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型，包括：
在模型训练过程中，设置训练的batch_size为64；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到髋关节分割模型。
可选的，LadderNet网络的卷积层使用残差卷积，以减少特征损失；
其中，残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
可选的，注意力机制网络包括位置注意力机制网络和通道注意力机制网络；
其中，位置注意力机制网络，用于通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；
通道注意力机制网络，用于通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。
可选的，深度聚合金字塔网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；
并且，利用全局平均池生成输入特征图和图像级信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息，以获得更多的上下文信息。
第二方面，本申请实施例提供了一种髋关节分割装置，包括：
图像获取模块，用于获取待分割的髋关节图像；
髋关节分割结果获取模块，用于将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。
可选的，装置还包括：
训练样本数据集获取模块，用于获取髋关节图像数据集；标注髋关节图像数据集中髋关节图像的髋关节区域，并将髋关节区域确定为分割mask；其中，每个分割mask与髋关节图像一一对应；将每个髋关节图像及其对应的分割mask的图像格式均转换为PNG格式；将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
可选的，装置还包括：
模型训练模块，用于利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型。
可选的，模型训练模块，用于：
在模型训练过程中，设置训练的batch_size为64；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到髋关节分割模型。
可选的，LadderNet网络的卷积层使用残差卷积，以减少特征损失；
其中，残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
可选的，注意力机制网络包括位置注意力机制网络和通道注意力机制网络；
其中，位置注意力机制网络，用于通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；
通道注意力机制网络，用于通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。
可选的，深度聚合金字塔网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；
并且，利用全局平均池生成输入特征图和图像级信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息，以获得更多的上下文信息。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面所示的髋关节分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的髋关节分割方法。
本申请实施例的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节分割。
该髋关节分割方法，包括：获取待分割的髋关节图像；将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。
该方法中的髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置，故能够更加准确地进行髋关节分割。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的髋关节分割方法的流程示意图；
图2是本申请一个实施例提供的改进后的LadderNet网络结构示意图；
图3是本申请一个实施例提供的注意力机制网络结构示意图；
图4是本申请一个实施例提供的深度聚合金字塔网络结构示意图；
图5是本申请一个实施例提供的对DICOM数据进行分割重建的示意图；
图6是本申请一个实施例提供的髋关节分割装置的结构示意图；
图7是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
传统图像分割算法是基于阈值分割、边缘检测或区域增长来分割医学图像，这类方法分割精度较差，粗略分割目标区域，不能精确分割目标区域边界。
为了解决现有技术问题，本申请实施例提供了一种髋关节分割方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的髋关节分割方法进行介绍。
图1示出了本申请一个实施例提供的髋关节分割方法的流程示意图。如图1所示，该髋关节分割方法，包括：
S101、获取待分割的髋关节图像；
S102、将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。
本申请在原有的LadderNet网络的基础上，引入一个注意力机制网络和深度聚合金字塔网络，将上下文路径中的浅层细节特征与通过多尺度特征融合模块得到的深层抽象特征进行融合，得到增强后的内容特征，提高对髋关节分割的精度。
本申请在原有的LadderNet网络结构基础上增加注意力机制网络和深度聚合金字塔网络，注意力机制网络增加对边界的关注权重，利于分割边界的优化；深度聚合金字塔网络的使用增加对分割位置的定位，减少误识别区域。
本申请使用不同大小的卷积池化操作，聚合不同区域的上下文信息，将较大的卷积核提取的上下文与更深层次的信息流进行整合，通过对不同深度的卷积核与不同大小的卷积核进行整合形成多尺度特性。
如图2所示，图2是本申请一个实施例提供的改进后的LadderNet网络结构示意图，改进的LadderNet网络结构利用端到端的全卷积网络来分割图像。LadderNet网络可以被看作是一个多U形网的链，本申请使用的网络结构由两个U型网络组成，最终对两个U型网络的特征求和输出。一个U型网络有多对编码器-解码器分支，并且在每一层的每一对相邻的解码器分支和编码器分支之间都有跳跃连接，这里在跳跃连接中添加注意力机制，增强对边界特征的分割。在网络最后一层使用深度聚合金字塔网络，该网络用来提取不同层级不同尺度的卷积特征，深度挖掘最后一层的特征信息。在卷积层使用残差卷积，用来减少特征丢失，由于跳跃连接和残差卷积的存在，以及U型网络中更多的信息流路径，最终可以提高分割精度。
在一个实施例中，LadderNet网络的卷积层使用残差卷积，以减少特征损失；其中，残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
卷积层使用残差卷积，即由1x1，3x3和1x1卷积核组成的残差单元，目的是为了减少特征损失。为了重建在提取过程中丢失的像素级图像细节，在LadderNet的跳跃连接结构中添加注意力机制，提高边界分割能力，并使用上采样模块融合特征。
将多尺度、多层级的特征信息进行整合，可以让浅层局部细节与深层抽象特征互补增强，得到更好的分割效果，改进后的网络结构如图2所示。如果直接将深层抽象特征做上采样操作，则目标分割的边缘细节会有较大的损失，因此，将多层级、多尺度的特征信息进行整合，如图2中注意力机制可以让浅层局部细节与深层抽象特征互补增强，得到更好的分割效果。
在一个实施例中，注意力机制网络包括位置注意力机制网络和通道注意力机制网络；
其中，位置注意力机制网络，用于通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；
通道注意力机制网络，用于通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。
具体的，如图3所示，图3是本申请一个实施例提供的注意力机制网络结构示意图，该注意力机制网络结构由位置注意模块和通道注意模块组成，在不同尺度上利用空间和通道注意力捕获更多上下文信息。位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征。通道注意力模块通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。将两个注意模块的输出相加以进一步改进特征表示，这有助于更精确的分割结果。
由位置注意模块和通道注意模块组成，在不同尺度上利用空间和通道注意力捕获更多上下文信息。通道注意模块用于有选择地加权每个通道的重要性，从而产生最佳输出特性，通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射；位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征。将两个注意模块的输出相加以进一步改进特征表示，这有助于更精确的分割结果。
在一个实施例中，深度聚合金字塔网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；
并且，利用全局平均池生成输入特征图和图像级信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息，以获得更多的上下文信息。
具体的，如图4所示，图4是本申请一个实施例提供的深度聚合金字塔网络结构示意图，将较大的卷积核(例如，可以为5×5或7×7)提取的上下文与更深层次的信息流进行整合，通过对不同深度的卷积核与不同大小的卷积核进行整合形成多尺度特征。该网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射。并且，利用全局平均池生成的输入特征图和图像级信息。同时为了获得更多的上下文信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息。该结构确保在不丢失分辨率的情况下，仍然扩大感受野，获得的感受野不一样，也即获取了多尺度信息，一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。
在一个实施例中，在将髋关节图像输入预设的髋关节分割模型之前，方法还包括：
获取髋关节图像数据集；
标注髋关节图像数据集中髋关节图像的髋关节区域，并将髋关节区域确定为分割mask；其中，每个分割mask与髋关节图像一一对应；
将每个髋关节图像及其对应的分割mask的图像格式均转换为PNG格式；
将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
具体的，获取髋关节医学图像数据集，将其进行手动标注髋关节区域，最终只提取含有髋关节部分的标签作为分割mask。将二维横断面DICOM数据转换成PNG格式的图片，标注分割mask转换成PNG格式的图片，将其进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。
在一个实施例中，在将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集之后，方法还包括：
利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型。
在一个实施例中，利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型，包括：
在模型训练过程中，设置训练的batch_size为64；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到髋关节分割模型。
具体的，在模型训练过程中，训练的batch_size为64，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICE loss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终模型。
在一个实施例中，还可以进行髋关节的三维重建，图5是本申请一个实施例提供的对DICOM数据进行分割重建的示意图，重建效果如图5所示。
图6是本申请一个实施例提供的髋关节分割装置的结构示意图，如图6所示，该髋关节分割装置，包括：
图像获取模块601，用于获取待分割的髋关节图像；
髋关节分割结果获取模块602，用于将髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置。
在一个实施例中，装置还包括：
训练样本数据集获取模块，用于获取髋关节图像数据集；标注髋关节图像数据集中髋关节图像的髋关节区域，并将髋关节区域确定为分割mask；其中，每个分割mask与髋关节图像一一对应；将每个髋关节图像及其对应的分割mask的图像格式均转换为PNG格式；将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
在一个实施例中，装置还包括：
模型训练模块，用于利用训练集对改进后的LadderNet网络进行模型训练，并利用验证集和测试集进行验证和测试，得到髋关节分割模型。
在一个实施例中，模型训练模块，用于：
在模型训练过程中，设置训练的batch_size为64；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到髋关节分割模型。
在一个实施例中，LadderNet网络的卷积层使用残差卷积，以减少特征损失；
其中，残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
在一个实施例中，注意力机制网络包括位置注意力机制网络和通道注意力机制网络；
其中，位置注意力机制网络，用于通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；
通道注意力机制网络，用于通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。
在一个实施例中，深度聚合金字塔网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；
并且，利用全局平均池生成输入特征图和图像级信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息，以获得更多的上下文信息。
图6所示装置中的各个模块具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图7示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在电子设备的内部或外部。在特定实施例中，存储器702可以是非易失性固态存储器。
在一个实施例中，存储器702可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种髋关节分割方法。
在一个示例中，电子设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的髋关节分割方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种髋关节分割方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (8)

1.一种髋关节分割方法，其特征在于，包括：
获取待分割的髋关节图像；
将所述髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，所述髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，所述改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在所述LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置；
改进的LadderNet网络结构利用端到端的全卷积网络来分割图像；LadderNet网络是一个多U形网的链，本申请使用的网络结构由两个U型网络组成，最终对两个U型网络的特征求和输出；一个U型网络有多对编码器-解码器分支，并且在每一层的每一对相邻的解码器分支和编码器分支之间都有跳跃连接，这里在跳跃连接中添加注意力机制，增强对边界特征的分割；在网络最后一层使用深度聚合金字塔网络，该网络用来提取不同层级不同尺度的卷积特征，深度挖掘最后一层的特征信息；在卷积层使用残差卷积，用来减少特征丢失；
该注意力机制网络结构由位置注意模块和通道注意模块组成，在不同尺度上利用空间和通道注意力捕获更多上下文信息；通道注意模块用于有选择地加权每个通道的重要性，通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射；位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；将两个注意模块的输出相加以进一步改进特征表示；
深度聚合金字塔网络结构，将5×5或7×7的卷积核提取的上下文与更深层次的信息流进行整合，通过对不同深度的卷积核与不同大小的卷积核进行整合形成多尺度特征；该网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；并且，利用全局平均池生成的输入特征图和图像级信息；同时为了获得更多的上下文信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息；该结构确保在不丢失分辨率的情况下，仍然扩大感受野。
2.根据权利要求1所述的髋关节分割方法，其特征在于，在将所述髋关节图像输入预设的髋关节分割模型之前，所述方法还包括：
获取髋关节图像数据集；
标注所述髋关节图像数据集中髋关节图像的髋关节区域，并将所述髋关节区域确定为分割mask；其中，每个所述分割mask与所述髋关节图像一一对应；
将每个所述髋关节图像及其对应的分割mask的图像格式均转换为PNG格式；
将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集。
3.根据权利要求2所述的髋关节分割方法，其特征在于，在将所有转换为PNG格式的髋关节图像及其对应的分割mask，按照预设比例划分为训练集、验证集和测试集之后，所述方法还包括：
利用所述训练集对所述改进后的LadderNet网络进行模型训练，并利用所述验证集和所述测试集进行验证和测试，得到所述髋关节分割模型。
4.根据权利要求3所述的髋关节分割方法，其特征在于，所述利用所述训练集对所述改进后的LadderNet网络进行模型训练，并利用所述验证集和所述测试集进行验证和测试，得到所述髋关节分割模型，包括：
在模型训练过程中，设置训练的batch_size为64；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对所述训练集和所述验证集做一次验证，通过早停法来判断网络训练停止时间，并得到所述髋关节分割模型。
5.根据权利要求1所述的髋关节分割方法，其特征在于，所述LadderNet网络的卷积层使用残差卷积，以减少特征损失；
其中，所述残差卷积为由1x1，3x3和1x1卷积核组成的残差单元。
6.一种髋关节分割装置，其特征在于，包括：
图像获取模块，用于获取待分割的髋关节图像；
髋关节分割结果获取模块，用于将所述髋关节图像输入预设的髋关节分割模型，输出髋关节分割结果；
其中，所述髋关节分割模型是基于改进后的LadderNet网络经过模型训练得到的，所述改进后的LadderNet网络是在LadderNet网络的每层每对相邻的解码器分支和编码器分支之间的跳跃连接中添加注意力机制网络，用于增强对髋关节图像边界特征的分割；
并且，在所述LadderNet网络的最后一层添加深度聚合金字塔网络，用于提取不同层级不同尺度的卷积特征，挖掘髋关节图像最后一层的特征信息，以定位分割位置；
改进的LadderNet网络结构利用端到端的全卷积网络来分割图像；LadderNet网络是一个多U形网的链，本申请使用的网络结构由两个U型网络组成，最终对两个U型网络的特征求和输出；一个U型网络有多对编码器-解码器分支，并且在每一层的每一对相邻的解码器分支和编码器分支之间都有跳跃连接，这里在跳跃连接中添加注意力机制，增强对边界特征的分割；在网络最后一层使用深度聚合金字塔网络，该网络用来提取不同层级不同尺度的卷积特征，深度挖掘最后一层的特征信息；在卷积层使用残差卷积，用来减少特征丢失；
该注意力机制网络结构由位置注意模块和通道注意模块组成，在不同尺度上利用空间和通道注意力捕获更多上下文信息；通道注意模块用于有选择地加权每个通道的重要性，通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射；位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征；将两个注意模块的输出相加以进一步改进特征表示；
深度聚合金字塔网络结构，将5×5或7×7的卷积核提取的上下文与更深层次的信息流进行整合，通过对不同深度的卷积核与不同大小的卷积核进行整合形成多尺度特征；该网络以1/64图像分辨率的特征映射为输入，采用指数步长的大池核生成1/128、1/256、1/512图像分辨率的特征映射；并且，利用全局平均池生成的输入特征图和图像级信息；同时为了获得更多的上下文信息，对特征图进行上采样，然后使用更多的3×3卷积，以分层残差的方式融合不同尺度的上下文信息；该结构确保在不丢失分辨率的情况下，仍然扩大感受野。
7.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的髋关节分割方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的髋关节分割方法。
CN202310184479.8A 2023-02-21 2023-02-21 髋关节分割方法、装置、电子设备及计算机可读存储介质 Active CN116188492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184479.8A CN116188492B (zh) 2023-02-21 2023-02-21 髋关节分割方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184479.8A CN116188492B (zh) 2023-02-21 2023-02-21 髋关节分割方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116188492A CN116188492A (zh) 2023-05-30
CN116188492B true CN116188492B (zh) 2024-04-26

Family

ID=86438109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184479.8A Active CN116188492B (zh) 2023-02-21 2023-02-21 髋关节分割方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116188492B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN110084238A (zh) * 2019-04-09 2019-08-02 五邑大学 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
CN110245665A (zh) * 2019-05-13 2019-09-17 天津大学 基于注意力机制的图像语义分割方法
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN113610015A (zh) * 2021-08-11 2021-11-05 华侨大学 基于端到端快速阶梯网络的姿态估计方法、装置及介质
CN113807355A (zh) * 2021-07-29 2021-12-17 北京工商大学 一种基于编解码结构的图像语义分割方法
CN114283158A (zh) * 2021-12-08 2022-04-05 重庆邮电大学 一种视网膜血管图像分割方法、装置及计算机设备
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN115035127A (zh) * 2022-07-08 2022-09-09 西安科技大学 一种基于生成式对抗网络的视网膜血管分割方法
CN115331011A (zh) * 2022-09-06 2022-11-11 桂林电子科技大学 一种基于卷积神经网络的视盘分割方法
KR20220164953A (ko) * 2021-06-07 2022-12-14 주식회사 지오비전 딥러닝을 이용한 망막 혈관 검출 시스템

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN110084238A (zh) * 2019-04-09 2019-08-02 五邑大学 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
CN110245665A (zh) * 2019-05-13 2019-09-17 天津大学 基于注意力机制的图像语义分割方法
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
KR20220164953A (ko) * 2021-06-07 2022-12-14 주식회사 지오비전 딥러닝을 이용한 망막 혈관 검출 시스템
CN113807355A (zh) * 2021-07-29 2021-12-17 北京工商大学 一种基于编解码结构的图像语义分割方法
CN113610015A (zh) * 2021-08-11 2021-11-05 华侨大学 基于端到端快速阶梯网络的姿态估计方法、装置及介质
CN114283158A (zh) * 2021-12-08 2022-04-05 重庆邮电大学 一种视网膜血管图像分割方法、装置及计算机设备
CN115035127A (zh) * 2022-07-08 2022-09-09 西安科技大学 一种基于生成式对抗网络的视网膜血管分割方法
CN115331011A (zh) * 2022-09-06 2022-11-11 桂林电子科技大学 一种基于卷积神经网络的视盘分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"探析U-Net 的改进机制及其在医学图像分割的应用";周涛，侯森宝，陆惠玲等;《Journal of Biomedical Engineering》;第39卷(第4期);1-20 *

Also Published As

Publication number Publication date
CN116188492A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN105574513B (zh) 文字检测方法和装置
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN112465830B (zh) 一种磨玻璃样肺结节自动分割方法及计算机设备
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN111161279B (zh) 医学图像分割方法、装置及服务器
CN113470031B (zh) 息肉分型方法、模型训练方法及相关装置
CN112001403A (zh) 一种图像轮廓检测方法及系统
CN112149713B (zh) 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN110781980A (zh) 目标检测模型的训练方法、目标检测方法及装置
CN116543221A (zh) 关节病变智能检测方法、装置、设备及可读存储介质
CN116152197A (zh) 膝关节分割方法、装置、电子设备及计算机可读存储介质
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN116309636A (zh) 基于多任务神经网络模型的膝关节分割方法、装置及设备
CN116188492B (zh) 髋关节分割方法、装置、电子设备及计算机可读存储介质
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN113177554A (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN114742848B (zh) 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN112926612A (zh) 病理图像分类模型训练方法、病理图像分类方法及装置
CN116563898A (zh) 基于GhostNet网络的掌静脉图像识别方法、装置、设备及介质
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN113343995A (zh) 一种基于反向注意力网络的图像分割方法
CN116563314A (zh) 腰椎分割方法、装置、电子设备及计算机可读存储介质
CN116485638A (zh) 基于深度卷积网络的图像风格迁移方法、装置及设备
CN117350992A (zh) 基于自导向注意机制多任务分割网络金属植入物识别方法
CN118015245A (zh) 基于强化学习的关键解剖部位识别检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Changmugu Medical Technology Co.,Ltd.

Applicant after: Zhang Yiling

Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Applicant before: Zhang Yiling

GR01 Patent grant
GR01 Patent grant