CN116523841A - 基于多尺度信息融合的深度学习脊柱分割方法及装置 - Google Patents
基于多尺度信息融合的深度学习脊柱分割方法及装置 Download PDFInfo
- Publication number
- CN116523841A CN116523841A CN202310339722.9A CN202310339722A CN116523841A CN 116523841 A CN116523841 A CN 116523841A CN 202310339722 A CN202310339722 A CN 202310339722A CN 116523841 A CN116523841 A CN 116523841A
- Authority
- CN
- China
- Prior art keywords
- feature map
- scale
- spine
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 86
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000010586 diagram Methods 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010003246 arthritis Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于多尺度信息融合的深度学习脊柱分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行脊柱的分割。该方法包括：在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；基于目标特征图，获取脊柱分割结果。
Description
技术领域
本申请属于医学图像处理领域，尤其涉及一种基于多尺度信息融合的深度学习脊柱分割方法、装置、电子设备及计算机可读存储介质。
背景技术
随着脊柱手术和AI技术的发展，基于深度学习的脊柱分割算法在医学领域开始崭露头角。但是，由于脊柱病变的多样性，如骨折、关节炎、骨刺等，造成脊柱分割的准确性不高，尤其是在脊柱边缘，分割偏差较大。
因此，如何更加准确地进行脊柱的分割是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种基于多尺度信息融合的深度学习脊柱分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行脊柱的分割。
第一方面，本申请实施例提供一种基于多尺度信息融合的深度学习脊柱分割方法，包括：
在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；
利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
基于目标特征图，获取脊柱分割结果。
可选的，在获取脊柱图像后，基于脊柱图像获取目标脊柱图像，包括：
对脊柱图像进行下采样，得到下采样后的脊柱图像；
将下采样后的脊柱图像，确定为目标脊柱图像。
可选的，利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用CNN网络对目标脊柱图像进行多尺度编码，得到特征图E1；
利用CNN网络对特征图E1进行多尺度编码，得到特征图E2；
利用CNN网络对特征图E2进行多尺度编码，得到特征图E3；
利用CNN网络对特征图E3进行多尺度编码，得到特征图E4。
可选的，利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图，包括：
对特征图E1、特征图E2、特征图E3和特征图E4进行Max Pooling操作或卷积操作，得到对应的特征图E1’、特征图E2’、特征图E3’和特征图E4’；
通过执行Concat操作，将特征图E1’、特征图E2’、特征图E3’和特征图E4’进行拼接，得到特征图ET；
通过执行Conv3x3+BN+Relu操作，对特征图ET进行多尺度、空间与通道三个方面的特征融合，得到特征图EC。
可选的，利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图，包括：
利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”；
对特征图E1”、特征图E2”、特征图E3”和特征图E4”，进行Up Sample操作或MaxPooling操作或卷积操作，分别得到对应的特征图E1”’、特征图E2”’、特征图E3”’和特征图E4”’。
可选的，利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”，包括：
对特征图EC执行Conv3x3+BN+Relu操作，得到特征图EC’；
将特征图EC’与特征图Ei进行特征融合，得到特征图EA；其中，特征图Ei为特征图E1’、特征图E2’、特征图E3’或特征图E4’；
对特征图EA执行softmax操作，得到注意力系数数组α；
将特征图Ei与注意力系数数组α进行点乘，得到特征图EA’；
对特征图EA’执行Conv3x3+BN+Relu操作，得到特征图EA”。
可选的，CSSA网络的损失函数为交叉熵Loss、Dice Loss中一种或多种的组合。
第二方面，本申请实施例提供了一种基于多尺度信息融合的深度学习脊柱分割装置，包括：
脊柱图像获取模块，用于在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；
多尺度编码模块，用于利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
多尺度融合模块，用于利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
注意力操作模块，用于利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
特征图融合模块，用于通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
脊柱分割结果获取模块，用于基于目标特征图，获取脊柱分割结果。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面所示的基于多尺度信息融合的深度学习脊柱分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的基于多尺度信息融合的深度学习脊柱分割方法。
本申请实施例的基于多尺度信息融合的深度学习脊柱分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行脊柱的分割。
该基于多尺度信息融合的深度学习脊柱分割方法，包括：在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；基于目标特征图，获取脊柱分割结果。
该方法利用CSSA网络对CNN编码后的特征图进行多尺度融合，增强了细节特征，故能够更加准确地进行脊柱的分割。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于多尺度信息融合的深度学习脊柱分割方法的流程示意图；
图2是本申请一个实施例提供的网络模型结构示意图；
图3是本申请一个实施例提供的CSSA网络结构示意图；
图4是本申请一个实施例提供的Attention Gate网络的结构示意图；
图5是本申请一个实施例提供的基于多尺度信息融合的深度学习脊柱分割装置的结构示意图；
图6是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着脊柱手术和AI技术的发展，基于深度学习的脊柱分割算法在医学领域开始崭露头角。但是，由于脊柱病变的多样性，如骨折、关节炎、骨刺等，造成脊柱分割的准确性不高，尤其是在脊柱边缘，分割偏差较大。
为了解决现有技术问题，本申请实施例提供了一种基于多尺度信息融合的深度学习脊柱分割方法、装置、电子设备及计算机可读存储介质。下面首先对本申请实施例所提供的基于多尺度信息融合的深度学习脊柱分割方法进行介绍。
图1示出了本申请一个实施例提供的基于多尺度信息融合的深度学习脊柱分割方法的流程示意图。如图1所示，该基于多尺度信息融合的深度学习脊柱分割方法包括：
S101、在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；
在一个实施例中，在获取脊柱图像后，基于脊柱图像获取目标脊柱图像，包括：
对脊柱图像进行下采样，得到下采样后的脊柱图像；
将下采样后的脊柱图像，确定为目标脊柱图像。
整个算法输入2.5D图像，充分考虑了CT图像不同切片之间的对应关系。整个网络框架如图2所示。
S102、利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
在一个实施例中，利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用CNN网络对目标脊柱图像进行多尺度编码，得到特征图E1；
利用CNN网络对特征图E1进行多尺度编码，得到特征图E2；
利用CNN网络对特征图E2进行多尺度编码，得到特征图E3；
利用CNN网络对特征图E3进行多尺度编码，得到特征图E4。
S103、利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
在一个实施例中，利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图，包括：
对特征图E1、特征图E2、特征图E3和特征图E4进行Max Pooling操作或卷积操作，得到对应的特征图E1’、特征图E2’、特征图E3’和特征图E4’；
通过执行Concat操作，将特征图E1’、特征图E2’、特征图E3’和特征图E4’进行拼接，得到特征图ET；
通过执行Conv3x3+BN+Relu操作，对特征图ET进行多尺度、空间与通道三个方面的特征融合，得到特征图EC。
S104、利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
在一个实施例中，利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图，包括：
利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”；
对特征图E1”、特征图E2”、特征图E3”和特征图E4”，进行Up Sample操作或MaxPooling操作或卷积操作，分别得到对应的特征图E1”’、特征图E2”’、特征图E3”’和特征图E4”’。
在一个实施例中，利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”，包括：
对特征图EC执行Conv3x3+BN+Relu操作，得到特征图EC’；
将特征图EC’与特征图Ei进行特征融合，得到特征图EA；其中，特征图Ei为特征图E1’、特征图E2’、特征图E3’或特征图E4’；
对特征图EA执行softmax操作，得到注意力系数数组α；
将特征图Ei与注意力系数数组α进行点乘，得到特征图EA’；
对特征图EA’执行Conv3x3+BN+Relu操作，得到特征图EA”。
具体的，图3是本申请一个实施例提供的CSSA网络结构示意图，如图3所示，CSSA模块主要是对各个编码层进行Max Pooling或是卷积操作，将编码特征图(E1-E4)进行处理并得到大小与通道数相同的特征图E1’-E4’，当前确定特征图的大小和通道数参照E3。将E1’-E4’进行concat操作，对特征图进行拼接，得到特征图ET。
特征图ET经过Conv3x3+BN+Relu完成对多尺度、空间与通道三个方面的特征融合，得到特征图EC。随后，利用AG对E1’、E2’、E3’、E4’与EC分别进行特征的提取，并得到新的特征图E1”-E4”，分别对E1”-E4”进行UpSample或Max Pooling或是卷积操作，分别得到与E1-E4尺度与通道相同的特征图E1”’-E4”’。
图4是本申请一个实施例提供的Attention Gate网络的结构示意图，如图4所示，输入主要是各编码层和多信息融合部分(EC)两部分，其中，为了保证编码层与EC的特征可以融合计算，要对EC进行Conv3x3+BN+Relu操作。随后，进行特征的相加得到新的特征图(EA)，新特征图(EA)进行softmax操作得到注意力系数数组α，编码部分与注意力系数数组α进行点乘并进行Conv3x3+BN+Relu操作，完成AG门信息融合。
其中，注意力系数数组计算如下所示：
α＝Softmax(EA)
注意力机制特征计算如下：
EA”＝Relu(BN(Conv(EA')))
S105、通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
S106、基于目标特征图，获取脊柱分割结果。
在一个实施例中，CSSA网络的损失函数为交叉熵Loss、Dice Loss中一种或多种的组合。
具体的，损失函数根据不同病种可以使用不同的Loss，主要包括交叉熵Loss、DiceLoss等其中一种或多种组合的方式。
CELoss＝-[ylogy'+(1-y)log(1-y')]
Loss＝α·CELoss+(1-α)·DiceLoss
其中，y为标签值，y'为预测值，α为loss权重系数。
本申请主要基于UNet网络结构，通过对编码层进行多尺度的信息融合后再对各个编码层与多尺度、多空间与多通道的融合特征图进行Attention Gate(即AG)操作，然后与解码层进行Concat操作。与以往分割算法不同的是，本方法在得到编码层后需要同时进行多尺度、多空间与多通道的信息融合，并对编码层进行AG操作得到最终的编码层特征图。
本方法采用CSSA模块对编码层进行多尺度、空间与通道的信息融合，最大程度的保障不同尺度下特征图信息的完整性；在CSSA模块中，使用AG结构对信息融合部分与解码部分进行特征的提取，而不是使用解码与编码的方式进行特征提取。
图5是本申请一个实施例提供的基于多尺度信息融合的深度学习脊柱分割装置的结构示意图，该基于多尺度信息融合的深度学习脊柱分割装置，包括：
脊柱图像获取模块501，用于在获取脊柱图像后，基于脊柱图像获取目标脊柱图像；
多尺度编码模块502，用于利用CNN网络对目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
多尺度融合模块503，用于利用CSSA网络对CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
注意力操作模块504，用于利用Attention Gate网络，对多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
特征图融合模块505，用于通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
脊柱分割结果获取模块506，用于基于目标特征图，获取脊柱分割结果。
图6示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在电子设备的内部或外部。在特定实施例中，存储器602可以是非易失性固态存储器。
在一个实施例中，存储器602可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种基于多尺度信息融合的深度学习脊柱分割方法。
在一个示例中，电子设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于多尺度信息融合的深度学习脊柱分割方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于多尺度信息融合的深度学习脊柱分割方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，包括：
在获取脊柱图像后，基于所述脊柱图像获取目标脊柱图像；
利用CNN网络对所述目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
利用CSSA网络对所述CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
利用Attention Gate网络，对所述多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
基于所述目标特征图，获取脊柱分割结果。
2.根据权利要求1所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述在获取脊柱图像后，基于所述脊柱图像获取目标脊柱图像，包括：
对所述脊柱图像进行下采样，得到下采样后的脊柱图像；
将所述下采样后的脊柱图像，确定为所述目标脊柱图像。
3.根据权利要求1所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述利用CNN网络对所述目标脊柱图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用所述CNN网络对所述目标脊柱图像进行多尺度编码，得到特征图E1；
利用所述CNN网络对所述特征图E1进行多尺度编码，得到特征图E2；
利用所述CNN网络对所述特征图E2进行多尺度编码，得到特征图E3；
利用所述CNN网络对所述特征图E3进行多尺度编码，得到特征图E4。
4.根据权利要求3所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述利用CSSA网络对所述CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图，包括：
对所述特征图E1、所述特征图E2、所述特征图E3和所述特征图E4进行Max Pooling操作或卷积操作，得到对应的特征图E1’、特征图E2’、特征图E3’和特征图E4’；
通过执行Concat操作，将特征图E1’、特征图E2’、特征图E3’和特征图E4’进行拼接，得到特征图ET；
通过执行Conv3x3+BN+Relu操作，对所述特征图ET进行多尺度、空间与通道三个方面的特征融合，得到特征图EC。
5.根据权利要求4所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述利用Attention Gate网络，对所述多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图，包括：
利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”；
对特征图E1”、特征图E2”、特征图E3”和特征图E4”，进行Up Sample操作或Max Pooling操作或卷积操作，分别得到对应的特征图E1”’、特征图E2”’、特征图E3”’和特征图E4”’。
6.根据权利要求5所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述利用Attention Gate网络，对特征图E1’、特征图E2’、特征图E3’和特征图E4’与特征图EC分别进行特征提取，分别得到对应的特征图E1”、特征图E2”、特征图E3”和特征图E4”，包括：
对特征图EC执行Conv3x3+BN+Relu操作，得到特征图EC’；
将特征图EC’与特征图Ei进行特征融合，得到特征图EA；其中，特征图Ei为特征图E1’、特征图E2’、特征图E3’或特征图E4’；
对特征图EA执行softmax操作，得到注意力系数数组α；
将特征图Ei与注意力系数数组α进行点乘，得到特征图EA’；
对特征图EA’执行Conv3x3+BN+Relu操作，得到特征图EA”。
7.根据权利要求1所述的基于多尺度信息融合的深度学习脊柱分割方法，其特征在于，所述CSSA网络的损失函数为交叉熵Loss、Dice Loss中一种或多种的组合。
8.一种基于多尺度信息融合的深度学习脊柱分割装置，其特征在于，包括：
脊柱图像获取模块，用于在获取脊柱图像后，基于所述脊柱图像获取目标脊柱图像；
多尺度编码模块，用于利用CNN网络对所述目标脊柱图像进行多尺度编码，得到CNN编码后的特征图；
多尺度融合模块，用于利用CSSA网络对所述CNN编码后的特征图进行多尺度融合，得到多尺度融合特征图；
注意力操作模块，用于利用Attention Gate网络，对所述多尺度融合特征图与各编码层的特征图进行注意力操作，得到各解码层的特征图；
特征图融合模块，用于通过执行Concat操作，将各编码层的特征图与对应解码层的特征图进行融合，得到目标特征图；
脊柱分割结果获取模块，用于基于所述目标特征图，获取脊柱分割结果。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的基于多尺度信息融合的深度学习脊柱分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的基于多尺度信息融合的深度学习脊柱分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310339722.9A CN116523841B (zh) | 2023-03-31 | 基于多尺度信息融合的深度学习脊柱分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310339722.9A CN116523841B (zh) | 2023-03-31 | 基于多尺度信息融合的深度学习脊柱分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116523841A true CN116523841A (zh) | 2023-08-01 |
| CN116523841B CN116523841B (zh) | 2024-06-11 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
| CN114782440A (zh) * | 2022-06-21 | 2022-07-22 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| KR20220139541A (ko) * | 2021-04-08 | 2022-10-17 | 조선대학교산학협력단 | 글로벌 어텐션을 이용한 영상 분할 방법 및 장치 |
| CN115641340A (zh) * | 2022-09-07 | 2023-01-24 | 闽江学院 | 基于多尺度注意力门控网络的视网膜血管图像分割方法 |
| CN115731243A (zh) * | 2022-11-29 | 2023-03-03 | 北京长木谷医疗科技有限公司 | 基于人工智能及注意力机制的脊柱图像分割方法及装置 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220139541A (ko) * | 2021-04-08 | 2022-10-17 | 조선대학교산학협력단 | 글로벌 어텐션을 이용한 영상 분할 방법 및 장치 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
| CN114782440A (zh) * | 2022-06-21 | 2022-07-22 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| CN115641340A (zh) * | 2022-09-07 | 2023-01-24 | 闽江学院 | 基于多尺度注意力门控网络的视网膜血管图像分割方法 |
| CN115731243A (zh) * | 2022-11-29 | 2023-03-03 | 北京长木谷医疗科技有限公司 | 基于人工智能及注意力机制的脊柱图像分割方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| A. SINHA等: ""Multi-Scale Self-Guided Attention for Medical Image Segmentation"", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 25, no. 1, pages 121 - 130 * |
| JO SCHLEMPER等: ""Attention gated networks: Learning to leverage salient regions in medical images"", 《MEDICAL IMAGE ANALYSIS》, vol. 53, pages 197 - 207 * |
| 刘忠利;陈光;单志勇;蒋学芹;: "基于深度学习的脊柱CT图像分割", 计算机应用与软件, no. 10, 12 October 2018 (2018-10-12) * |
| 李大湘;张振;: "基于改进U-Net视网膜血管图像分割算法", 光学学报, no. 10, 25 May 2020 (2020-05-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522874B (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| CN111161279B (zh) | 医学图像分割方法、装置及服务器 | |
| CN109961446B (zh) | Ct/mr三维图像分割处理方法、装置、设备及介质 | |
| CN112967272B (zh) | 基于改进U-net的焊接缺陷检测方法、装置及终端设备 | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN113392603B (zh) | 门级电路的rtl代码生成方法、装置和电子设备 | |
| CN115862030B (zh) | 清除图像中文本的算法模型及其构建方法、装置及应用 | |
| CN116543221A (zh) | 关节病变智能检测方法、装置、设备及可读存储介质 | |
| CN114066905A (zh) | 一种基于深度学习的医学图像分割方法、系统、装置 | |
| CN116523841B (zh) | 基于多尺度信息融合的深度学习脊柱分割方法及装置 | |
| CN116363150A (zh) | 髋关节分割方法、装置、电子设备及计算机可读存储介质 | |
| CN116704549A (zh) | 三维空间关键点的位置检测方法、装置、设备及存储介质 | |
| CN116959307A (zh) | 一种基于虚拟现实的髋关节镜手术辅助教学系统 | |
| CN116152197A (zh) | 膝关节分割方法、装置、电子设备及计算机可读存储介质 | |
| CN116523841A (zh) | 基于多尺度信息融合的深度学习脊柱分割方法及装置 | |
| CN117315263A (zh) | 一种目标轮廓分割装置、训练方法、分割方法、电子设备 | |
| WO2019109410A1 (zh) | 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法 | |
| CN116309636A (zh) | 基于多任务神经网络模型的膝关节分割方法、装置及设备 | |
| CN112950652B (zh) | 机器人及其手部图像分割方法和装置 | |
| CN116188431B (zh) | 基于CNN与Transformer的髋关节分割方法及装置 | |
| CN116363143A (zh) | 基于多尺度自注意力机制的髋关节分割方法、装置及设备 | |
| CN113139617A (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| CN113409324A (zh) | 一种融合微分几何信息的脑分割方法 | |
| CN114202494A (zh) | 基于细胞分类模型分类细胞的方法、装置及设备 | |
| CN117351232A (zh) | 膝关节关键点检测方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |