CN116402780B - 基于双自注意力和深度学习的胸椎图像分割方法及装置 - Google Patents
基于双自注意力和深度学习的胸椎图像分割方法及装置 Download PDFInfo
- Publication number
- CN116402780B CN116402780B CN202310340824.2A CN202310340824A CN116402780B CN 116402780 B CN116402780 B CN 116402780B CN 202310340824 A CN202310340824 A CN 202310340824A CN 116402780 B CN116402780 B CN 116402780B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- attention
- self
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 57
- 210000000115 thoracic cavity Anatomy 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000009977 dual effect Effects 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于双自注意力和深度学习的胸椎图像分割方法及装置，方法包括：获取待处理的医学图像数据集，医学图像数据集中的每张医学图像均包括有胸椎图像区域；将待处理的医学图像数据集输入至深度学习网络模型中，基于深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；基于深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果。上述方法得到的特征拼接融合图像则可以保留医学图像数据集中的较多特征信息，输出得到的胸椎图像分割结果也更加准确，提高了胸椎图像的分割精度。
Description
技术领域
本发明涉及医疗领域，尤其涉及一种基于双自注意力和深度学习的胸椎图像分割方法及装置。
背景技术
随着技术的不断发展，人工智能技术越来越多的应用到医疗领域中。以胸椎为例，人工智能技术的引入，为医生节省了很多时间，提高了手术效率。但是，由于胸椎病变的多样性，很容易导致胸椎分割的准确性不高，尤其是在分割细节特征，分割偏差较大，造成了不好的体验。
因此，如何解决上述问题，是需要考虑的。
发明内容
本发明提供一种基于双自注意力和深度学习的胸椎图像分割方法及装置，用以解决上述问题。
本发明的第一方面，提供一种基于双自注意力和深度学习的胸椎图像分割方法，包括：
获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。
可选地，所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；
所述第一层网络结构至所述第四层网络结构均设置有双自注意力模块；
在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四特征编码图像经过卷积操作后，得到第四解码特征图像；
第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像；
第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像；
第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。
可选地，所述双自注意力模块包括：
第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图。
可选地，第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
可选地，所述第一特征图基于如下方式计算得到：
MLP1(Wblock)＝MLP(LN(Wblock))+MLP(Wblock)；
所述第二特征图基于如下方式计算得到：
MLP2(Hblock)＝MLP(LN(Hblock))+MLP(Hblock)；
所述第三特征图基于如下方式计算得到：
MLP3(WHblock)＝MLP(LH(WHblock))；WHblock基于如下方式计算得到：WHblock＝Concat(MLP1(Wblock),MLP2(Hblock))
其中，Wblock为宽度自注意力特征图，Hblock为高度自注意力特征图，WHblock为宽度自注意力与高度自注意特征融合后的特征图，MLP1(Wblock)为第一特征图，MLP2(Hblock)为第二特征图，MLP3(WHblock)为第三特征图。
可选地，所述WSA单元在对输入的图像进行宽度自注意力特征提取操作之后，还用于：
对进行宽度自注意力特征提取操作得到的第一图像进行归一化操作和激活操作，得到第二图像；
将所述输入的图像与所述第二图像进行相加操作，得到第三图像；
对所述第三图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第一输出图像。
可选地，所述HSA单元在对输入的图像进行高度自注意力特征提取操作之后，还用于：
对进行高度自注意力特征提取操作得到的第四图像进行归一化和激活操作，得到第五图像；
将所述输入的图像与所述第五图像进行相加操作，得到第六图像；
对所述第六图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第二输出图像。
本发明的第二方面，提供一种基于双自注意力和深度学习的胸椎图像分割装置，包括：
获取模块，用于获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
处理模块，用于将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
处理模块，还用于基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。
本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于双自注意力和深度学习的胸椎图像分割方法。
本发明的第四方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于双自注意力和深度学习的胸椎图像分割方法。
本发明的上述技术方案至少具有如下有益效果：
本发明提供的基于双自注意力和深度学习的胸椎图像分割方法，通过多个双自注意力模块，对位于不同网络结构层中的编码图像和解码图像进行特征提取，可以保留不同网络结构层的中的编码图像和解码图像的不同特征信息。如此，基于编码图像和解码图像得到的特征拼接融合图像则可以保留医学图像数据集中的较多特征信息，输出得到的胸椎图像分割结果也更加准确。提高了胸椎图像的分割精度，提高了使用体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于双自注意力和深度学习的胸椎图像分割方法的流程示意图；
图2为本发明提供的一种深度学习网络模型的结构示意图；
图3为本发明提供的一种Dual WHA模块的结构示意图；
图4为本发明提供的一种WSA单元的结构示意图；
图5为本发明提供的一种HSA单元的结构示意图；
图6为本发明提供的一种基于双自注意力和深度学习的胸椎图像分割装置的模块示意图；
图7为本发明提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参阅图1，本发明提供了一种基于双自注意力和深度学习的胸椎图像分割方法，包括以下步骤：
S11：获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域。
需要说明的是，医学图像数据集中的图像数据采用的是DICOM格式的图像，在放射医疗领域，其被广泛应用。
S12：将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力Dual WHA模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像。
需要说明的是，该深度学习网络模型输入的是2.5D图像。采用2.5D图像，其充分考虑了CT图像不同切片之间的对应关系。
该深度学习网络模型包括不同层的网络结构，位于不同层的网络结构中的编码图像的尺寸并不相同。
通过位于不同网络结构层的双自注意力模块，对所在网络层的编码图像进行双自注意力机制特征提取，可以保留不同网络结构层中的编码图像的不同特征信息，即得到了多张不同尺寸的编码特征图像。
S13：基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。
需要说明的是，解码层中的双自注意力模块的数量与编码层中双子注意模块的数量相同。
本发明提供的基于双自注意力和深度学习的胸椎图像分割方法，通过多个双自注意力模块，对位于不同网络结构层中的编码图像和解码图像进行特征提取，可以保留不同网络结构层的中的编码图像和解码图像的不同特征信息。如此，基于编码图像和解码图像得到的特征拼接融合图像则可以保留医学图像数据集中的较多特征信息，输出得到的胸椎图像分割结果也更加准确。提高了胸椎图像的分割精度，提高了使用体验。
示例的，参见图2，为本发明提供的一种深度学习网络模型的结构示意图。所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；
所述第一层网络结构至所述第四层网络结构均设置有双自注意力Dual WHA模块；Dual WHA可以对编码图像和解码图像的宽度和高度进行自注意力特征提取。
在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四特征编码图像经过卷积操作后，得到第四解码特征图像。其中，卷积操作包括Conv1x1+BN+Relu。
第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像。
需要说明的是，通过将所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，相比于直接通过第四编码特征图像经过上采样得到第三解码特征图像的方式而言，进行拼接操作得到的第三解码特征图像中可以保留更多的特征信息，得到的结果也更加准确。
第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像。
通过将所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，相比于直接通过第三编码特征图像经过上采样得到第二解码特征图像的方式而言，进行拼接操作得到的第二解码特征图像中可以保留更多的特征信息，得到的结果也更加准确。
第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。
通过将所述第一编码特征图像和所述第二编码经过上采样得到的解码图像进行拼接操作，相比于直接通过第二编码特征图像经过上采样得到胸椎图像分割结果的方式而言，进行拼接操作得到的胸椎图像分割结果中可以保留更多的特征信息，得到的结果也更加准确。
示例的，参见图3，为本发明提供的一种Dual WHA模块的结构示意图。所述双自注意力模块包括：
第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图。
需要说明的是，第一分支结构和第二分支结构中会进行两次相加add操作，是为了防止细节特征以使得到的特征图保留较多的特征信息。基于上述方式得到的第五特征图，同样能保留较多的特征信息，防止细节特征的丢失，其结果更加准确。
具体的，继续参见图3，第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
需要说明的是，对于第一分支结构，首先，输入的图像经过WSA单元进行宽度自注意力机制特征提取，得到第六特征图，第六特征图与输入的图像进行add操作，得到第七特征图。第七特征图经过Norm&FFN操作后，得到第八特征图。然后第七特征图再与第八特征图进行add操作，最后得到第一特征图。
对于第二分支结构，首先输入的图像经过HSA单元进行高度自注意力机制特征提取，得到第九特征图，第九特征图与输入的图像进行add操作，得到第十特征图。第十特征图经过Norm&FFN操作后，得到第十一特征图。然后第十特征图再与第十一特征图进行add操作，最后得到第二特征图。
所得的第一特征图和第二特征图，再进行Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm&FFN操作后，得到第四特征图，所述第三特征图与所述第四特征图进行add操作，最后得到第五特征图。所述第五特征图为所述Dual WHA模块的输入图像。
可选的，所述第一特征图基于如下方式计算得到：
MLP1(Wblock)＝MLP(LN(Wblock))+MLP(Wblock)；
所述第二特征图基于如下方式计算得到：
MLP2(Hblock)＝MLP(LN(Hblock))+MLP(Hblock)；
所述第三特征图基于如下方式计算得到：
MLP3(WHblock)＝MLP(LN(WHblock))；WHblock基于如下方式计算得到：WHblock＝Concat(MLP1(Wblock),MLP2(Hblock))
其中，Wblock为宽度自注意力特征图，Hblock为高度自注意力特征图，WHblock为宽度自注意力与高度自注意特征融合后的特征图，MLP1(Wblock)为第一特征图，MLP2(Hblock)为第二特征图，MLP3(WHblock)为第三特征图。
接下来参见图4，图4为本发明提供的一种WSA单元的结构示意图。示例的，所述WSA单元在对输入的图像进行宽度自注意力特征提取操作之后，还用于：
对进行宽度自注意力特征提取操作得到的第一图像进行归一化操作和激活操作，得到第二图像；
将所述输入的图像与所述第二图像进行相加操作，得到第三图像；
对所述第三图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第一输出图像。
具体的，WSA单元中的Width MLP子单元对输入的图像进行宽度自注意力，得到第一图像。WSA单元中的LN+GELU子单元对第一图像进行归一化操作和激活操作，得到第二图像。输入的图像与所述第二图像进行相加操作，得到Feature Map(第三图像)。通过相加操作，可以使得到的第三图像保留更多的细节信息。
对第三特征图进行Query操作和Key操作具体包括：
对第三特征图进行Query操作得到第七图像，对第三图像进行Key操作得到第八图像，对第七图像和第八图像进行点乘和Softmax操作，得到第一自注意力参数C_V。对第三特征图进行Value操作得到第九图像，所述第九图像与所述第一自注意力参数C_V进行点乘，进而得到第一输出图像。
接下来参见图5，图5为本发明提供的一种HSA单元的结构示意图。示例的，所述HSA单元在对输入的图像进行高度自注意力特征提取操作之后，还用于：
对进行高度自注意力特征提取操作得到的第四图像进行归一化和激活操作，得到第五图像；
将所述输入的图像与所述第五图像进行相加操作，得到第六图像；
对所述第六图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第二输出图像。
具体的，HSA单元中的Hidth MLP子单元对输入的图像进行高度自注意力，得到第四图像。HSA单元中的LN+GELU子单元对第四图像进行归一化操作和激活操作，得到第五图像。输入的图像与所述第五图像进行相加操作，得到Feature Map(第六图像)。通过相加操作，可以使得到的第六图像保留更多的细节信息。
对第六特征图进行Query操作和Key操作具体包括：
对第六特征图进行Query操作得到第十图像，对第六图像进行Key操作得到第十一图像，对第十图像和第十一图像进行点乘和Softmax操作，得到第二自注意力参数C_V。对第六特征图进行Value操作得到第十二图像，所述第十二图像与所述第二自注意力参数C_V进行点乘，进而得到第二输出图像。
示例的，所述深度学习网络模型采用的分割损失函数包括以下至少之一：
CELoss损失函数；DiceLoss损失函数。
其中，CELoss损失函数的表达式为：
CELoss＝-[y log y′+(1-y)log(1-y′)]
DiceLoss损失函数的表达式为：
若深度学习网络模型采用了上述两个损失函数，则损失函数的表达式为：
Loss＝α·CELoss+(1-α)·DiceLoss
其中，y为标签值，y'为预测值，α为loss权重系数。
接下来参见图6，基于与上述方法相同的技术构思，本发明提供了一种基于双自注意力和深度学习的胸椎图像分割装置，所述胸椎图像分割装置与上述方法所起的作用相同，在此不再进行赘述。
所述基于双自注意力和深度学习的胸椎图像分割装置，包括：
获取模块61，用于获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
处理模块62，用于将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
处理模块62，还用于基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到。
可选地，所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；
所述第一层网络结构至所述第四层网络结构均设置有双自注意力模块；
在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四特征编码图像经过卷积操作后，得到第四解码特征图像；
第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像；
第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像；
第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。
可选地，所述双自注意力模块包括：
第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图。
可选地，第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
可选地，所述第一特征图基于如下方式计算得到：
MLP1(Wblock)＝MLP(LN(Wblock))+MLP(Wblock)；
所述第二特征图基于如下方式计算得到：
MLP2(Hblock)＝MLP(LN(Hblock))+MLP(Hblock)；
所述第三特征图基于如下方式计算得到：
MLP3(WHblock)＝MLP(LN(WHblock))；WHblock基于如下方式计算得到：WHblock＝Concat(MLP1(Wblock),MLP2(Hblock))
其中，Wblock为宽度自注意力特征图，Hblock为高度自注意力特征图，WHblock为宽度自注意力与高度自注意特征融合后的特征图，MLP1(Wblock)为第一特征图，MLP2(Hblock)为第二特征图，MLP3(WHblock)为第三特征图。
可选地，所述WSA单元在对输入的图像进行宽度自注意力特征提取操作之后，还用于：
对进行宽度自注意力特征提取操作得到的第一图像进行归一化操作和激活操作，得到第二图像；
将所述输入的图像与所述第二图像进行相加操作，得到第三图像；
对所述第三图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第一输出图像。
可选地，所述HSA单元在对输入的图像进行高度自注意力特征提取操作之后，还用于：
对进行高度自注意力特征提取操作得到的第四图像进行归一化和激活操作，得到第五图像；
将所述输入的图像与所述第五图像进行相加操作，得到第六图像；
对所述第六图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第二输出图像。
接下来，参见图7，本发明的另一实施例提供了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法所提供的基于双自注意力和深度学习的胸椎图像分割方法。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的又一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的基于双自注意力和深度学习的胸椎图像分割方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
Claims (8)
1.一种基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，包括：
获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到；
所述双自注意力模块包括：
第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图；
第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
2.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，所述深度学习网络模型包括四层网络结构，第一层网络结构为输入所述待处理的医学图像数据集的网络层，第一层网络结构至第四层网络结构的编码特征图像的尺寸依次减小；
所述第一层网络结构至所述第四层网络结构均设置有双自注意力模块；
在所述编码层中和所述解码层中，第四层网络结构中的双自注意力模块用于对第三层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第四编码特征图像，所述第四编码特征图像经过卷积操作后，得到第四解码特征图像；
第三层网络结构中的双自注意力模块用于对第二层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第三编码特征图像，以及对所述第三编码特征图像和所述第四编码特征图像经过上采样得到的解码图像进行拼接操作，得到第三解码特征图像；
第二层网络结构中的双自注意力模块用于对第一层网络结构中经过下采样的编码特征图像进行双自注意力机制特征提取，得到第二编码特征图像，以及对所述第二编码特征图像和所述第三编码特征图像经过上采样得到的解码图像进行拼接操作，得到第二解码特征图像；
第一层网络结构中的双自注意力模块用于对所述待处理的医学图像数据集中的医学编码图像进行双自注意力机制特征提取，得到第一编码特征图像，以及对所述第一编码特征图像和所述第二编码特征图像经过上采样得到的解码图像进行拼接操作，得到胸椎图像分割结果。
3.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，
所述第一特征图基于如下方式计算得到：
MLP1(Wblock)＝MLP(LN(Wblock))+MLP(Wblock)；
所述第二特征图基于如下方式计算得到：
MLP2(Hblock)＝MLP(LN(Hblock))+MLP(Hblock)；
所述第三特征图基于如下方式计算得到：
MLP3(WHblock)＝MLP(LN(WHblock))；WHblock基于如下方式计算得到：WHblock＝Concat(MLP1(Wblock),MLP2(Hblock))
其中，Wblock为宽度自注意力特征图，Hblock为高度自注意力特征图，WHblock为宽度自注意力与高度自注意特征融合后的特征图，MLP1(Wblock)为第一特征图，MLP2(Hblock)为第二特征图，MLP3(WHblock)为第三特征图。
4.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，所述WSA单元在对输入的图像进行宽度自注意力特征提取操作之后，还用于：
对进行宽度自注意力特征提取操作得到的第一图像进行归一化操作和激活操作，得到第二图像；
将所述输入的图像与所述第二图像进行相加操作，得到第三图像；
对所述第三图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第一输出图像。
5.根据权利要求1所述的基于双自注意力和深度学习的胸椎图像分割方法，其特征在于，所述HSA单元在对输入的图像进行高度自注意力特征提取操作之后，还用于：
对进行高度自注意力特征提取操作得到的第四图像进行归一化和激活操作，得到第五图像；
将所述输入的图像与所述第五图像进行相加操作，得到第六图像；
对所述第六图像进行Query操作、Key操作、Value操作、Softmax操作以及点乘操作，得到第二输出图像。
6.一种基于双自注意力和深度学习的胸椎图像分割装置，其特征在于，包括：
获取模块，用于获取待处理的医学图像数据集，所述医学图像数据集中的每张医学图像均包括有胸椎图像区域；
处理模块，用于将所述待处理的医学图像数据集输入至深度学习网络模型中，基于所述深度学习网络模型编码层中的多个双自注意力模块，对不同尺寸的编码图像分别进行双自注意力机制特征提取，得到多张不同尺寸的编码特征图像；
处理模块，还用于基于所述深度学习网络模型解码层中的多个双自注意力模块，对特征拼接融合图像进行双自注意力机制特征提取，输出得到胸椎图像分割结果；
其中，所述特征拼接融合图像基于编码特征图像及与其对应的解码特征图像拼接操作得到；
所述双自注意力模块包括：
第一分支结构和第二分支结构，所述第一分支结构用于对输入的图像进行宽度自注意力特征提取操作、相加add操作、归一化Norm操作以及FFN操作，得到第一特征图；所述第二分支机构用于对输入的图像进行高度自注意力特征提取操作、相加操作、归一化Norm操作以及FFN操作，得到第二特征图；
将所述第一特征图和所述第二特征图进行拼接Concat操作及Norm操作，得到第三特征图，所述第三特征图经过Norm操作以及FFN操作后所得的第四特征图与所述第三特征图进行add操作，输出得到第五特征图；
第一分支结构包括：宽度自注意力WSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元，所述WSA单元用于进行宽度自注意力特征提取操作，所述相加add单元用于进行add操作，所述归一化Norm单元用于进行归一化Norm操作，所述前馈神经网络FFN单元用于进行FFN操作；所述WSA单元通过add单元与所述Norm单元及所述FFN单元连接；
所述第二分支结构包括：高度自注意力HSA单元、相加add单元、归一化Norm单元以及前馈神经网络FFN单元；所述HSA单元通过add单元与所述Norm单元及所述FFN单元连接。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的基于双自注意力和深度学习的胸椎图像分割方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于双自注意力和深度学习的胸椎图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310340824.2A CN116402780B (zh) | 2023-03-31 | 2023-03-31 | 基于双自注意力和深度学习的胸椎图像分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310340824.2A CN116402780B (zh) | 2023-03-31 | 2023-03-31 | 基于双自注意力和深度学习的胸椎图像分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402780A CN116402780A (zh) | 2023-07-07 |
| CN116402780B true CN116402780B (zh) | 2024-04-02 |
Family
ID=87011726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310340824.2A Active CN116402780B (zh) | 2023-03-31 | 2023-03-31 | 基于双自注意力和深度学习的胸椎图像分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402780B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和系统 |
| CN112541918A (zh) * | 2020-12-23 | 2021-03-23 | 山东师范大学 | 基于自注意力机制神经网络的三维医学图像分割方法 |
| CN112561937A (zh) * | 2020-12-18 | 2021-03-26 | 深圳先进技术研究院 | 基于病变边界信息响应的上下文感知医学图像分割方法 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
-
2023
- 2023-03-31 CN CN202310340824.2A patent/CN116402780B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN111986181A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和系统 |
| CN112561937A (zh) * | 2020-12-18 | 2021-03-26 | 深圳先进技术研究院 | 基于病变边界信息响应的上下文感知医学图像分割方法 |
| CN112541918A (zh) * | 2020-12-23 | 2021-03-23 | 山东师范大学 | 基于自注意力机制神经网络的三维医学图像分割方法 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| Dual Path Attention Net for Remote Sensing Semantic Image Segmentation;Jinglun Li et al.;《International Journal o f Geo-Information》;第1-20页 * |
| x-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution;Zhenghua Xu rt al.;《Neurocomputing》;第177–190页 * |
| 基于改进自注意力神经网络的 X 光安检识别;张弘等;《激光杂志》;第1-14页 * |
| 基于注意力机制的CNN-GCN模型及其应用;李继龙等;《计算机工程与设计》;第43卷(第3期);第895-901页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402780A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210158533A1 (en) | Image processing method and apparatus, and storage medium | |
| CN109559363B (zh) | 图像的风格化处理方法、装置、介质和电子设备 | |
| CN114066902A (zh) | 一种基于卷积和transformer融合的医学图像分割方法、系统、装置 | |
| CN112699991A (zh) | 用于加速神经网络训练的信息处理的方法、电子设备和计算机可读介质 | |
| CN111832570A (zh) | 一种图像语义分割模型训练方法及系统 | |
| CN108629414A (zh) | 深度哈希学习方法及装置 | |
| CN113159013B (zh) | 基于机器学习的段落识别方法、装置、计算机设备和介质 | |
| CN112989970A (zh) | 文档版面分析方法、装置、电子设备及可读存储介质 | |
| CN114581462A (zh) | 一种图像分割方法、装置、设备和存储介质 | |
| CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
| CN111091182A (zh) | 数据处理方法、电子设备及存储介质 | |
| CN112150470A (zh) | 图像分割方法、装置、介质及电子设备 | |
| CN114445904A (zh) | 基于全卷积神经网络的虹膜分割方法和装置、介质和设备 | |
| CN110909578A (zh) | 一种低分辨率图像识别方法、装置和存储介质 | |
| CN112435197A (zh) | 图像美化方法、装置、电子设备和存储介质 | |
| CN111582284B (zh) | 用于图像识别的隐私保护方法、装置和电子设备 | |
| CN115546231A (zh) | 一种基于半监督深度学习的自适应脑胶质瘤分割方法 | |
| CN114781499A (zh) | 一种构建基于ViT模型的密集预测任务适配器的方法 | |
| CN116402780B (zh) | 基于双自注意力和深度学习的胸椎图像分割方法及装置 | |
| CN116402914B (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN117671254A (zh) | 一种图像分割方法及装置 | |
| CN115731243B (zh) | 基于人工智能及注意力机制的脊柱图像分割方法及装置 | |
| CN117333428A (zh) | 一种ct影像分割方法、装置、设备及存储介质 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN116363429A (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Beijing Changmugu Medical Technology Co.,Ltd. Applicant after: Zhang Yiling Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Applicant before: Zhang Yiling |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |