CN116188431B - 基于CNN与Transformer的髋关节分割方法及装置 - Google Patents

基于CNN与Transformer的髋关节分割方法及装置 Download PDF

Info

Publication number
CN116188431B
CN116188431B CN202310184468.XA CN202310184468A CN116188431B CN 116188431 B CN116188431 B CN 116188431B CN 202310184468 A CN202310184468 A CN 202310184468A CN 116188431 B CN116188431 B CN 116188431B
Authority
CN
China
Prior art keywords
feature map
hip joint
cnn
network
fusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310184468.XA
Other languages
English (en)
Other versions
CN116188431A (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310184468.XA priority Critical patent/CN116188431B/zh
Publication of CN116188431A publication Critical patent/CN116188431A/zh
Application granted granted Critical
Publication of CN116188431B publication Critical patent/CN116188431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节的分割。该基于CNN与Transformer的髋关节分割方法，包括：在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；对Transformer编码后的特征图进行解码，得到解码后的特征图；利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；基于目标特征图，获取髋关节分割结果。根据本申请实施例，能够更加准确地进行髋关节的分割。

Description

基于CNN与Transformer的髋关节分割方法及装置
技术领域
本申请属于医学图像处理领域，尤其涉及一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质。
背景技术
随着髋关节手术和AI技术的发展，基于深度学习的髋关节分割算法在医学领域开始崭露头角。但是，由于髋关节病变的多样性，如骨折、关节炎等，造成髋关节分割的准确性不高，尤其是在髋关节细节特征，分割偏差较大。
因此，如何更加准确地进行髋关节的分割是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节的分割。
第一方面，本申请实施例提供一种基于CNN与Transformer的髋关节分割方法，包括：
在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
对Transformer编码后的特征图进行解码，得到解码后的特征图；
利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
基于目标特征图，获取髋关节分割结果。
可选的，在获取髋关节图像后，基于髋关节图像获取目标髋关节图像，包括：
对髋关节图像进行下采样，得到下采样后的髋关节图像；
将下采样后的髋关节图像，确定为目标髋关节图像。
可选的，利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
可选的，利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：
利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
可选的，对Transformer编码后的特征图进行解码，得到解码后的特征图，包括：
对第四特征图进行解码，得到第五特征图。
可选的，利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：
对第五特征图进行上采样，得到第六特征图；
执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
对第七特征图进行上采样，得到第九特征图；
执行Concat操作，将第八特征图和第九特征图进行融合，得到第十特征图；
利用Attention Gate网络，将第十特征图与第二特征图进行融合，得到第十一特征图；
对第十特征图进行上采样，得到第十二特征图；
执行Concat操作，将第十一特征图和第十二特征图进行融合，得到第十三特征图；
利用Attention Gate网络，将第十三特征图与第一特征图进行融合，得到第十四特征图；
对第十三特征图进行上采样，得到第十五特征图；
执行Concat操作，将第十四特征图和第十五特征图进行融合，得到第十六特征图；
对第十六特征图进行Conv3x3+BN+Relu操作，得到目标特征图。
可选的，对第四特征图进行解码，得到第五特征图，包括：
针对第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将第一注意力参数、第二注意力参数与第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到第五特征图。
第二方面，本申请实施例提供了一种基于CNN与Transformer的髋关节分割装置，包括：
髋关节图像获取模块，用于在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
第一编码模块，用于利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
第二编码模块，用于利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
解码模块，用于对Transformer编码后的特征图进行解码，得到解码后的特征图；
融合模块，用于利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
髋关节分割结果获取模块，用于基于目标特征图，获取髋关节分割结果。
可选的，髋关节图像获取模块，用于：
对髋关节图像进行下采样，得到下采样后的髋关节图像；
将下采样后的髋关节图像，确定为目标髋关节图像。
可选的，第一编码模块，用于：
利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
可选的，第二编码模块，用于：
利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
可选的，解码模块，用于：
对第四特征图进行解码，得到第五特征图。
可选的，融合模块，用于：
对第五特征图进行上采样，得到第六特征图；
执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
对第七特征图进行上采样，得到第九特征图；
执行Concat操作，将第八特征图和第九特征图进行融合，得到第十特征图；
利用Attention Gate网络，将第十特征图与第二特征图进行融合，得到第十一特征图；
对第十特征图进行上采样，得到第十二特征图；
执行Concat操作，将第十一特征图和第十二特征图进行融合，得到第十三特征图；
利用Attention Gate网络，将第十三特征图与第一特征图进行融合，得到第十四特征图；
对第十三特征图进行上采样，得到第十五特征图；
执行Concat操作，将第十四特征图和第十五特征图进行融合，得到第十六特征图；
对第十六特征图进行Conv3x3+BN+Relu操作，得到目标特征图。
可选的，解码模块，用于：
针对第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将第一注意力参数、第二注意力参数与第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到第五特征图。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面所示的基于CNN与Transformer的髋关节分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的基于CNN与Transformer的髋关节分割方法。
本申请实施例的基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质，能够更加准确地进行髋关节的分割。
该基于CNN与Transformer的髋关节分割方法，包括：在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；对Transformer编码后的特征图进行解码，得到解码后的特征图；利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；基于目标特征图，获取髋关节分割结果。
该方法利用CNN网络和Transformer网络，对目标髋关节图像依次进行多尺度编码；再对编码后的特征图进行解码，利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，增强了细节特征，故能够更加准确地进行髋关节的分割。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于CNN与Transformer的髋关节分割方法的流程示意图；
图2是本申请一个实施例提供的网络模型结构示意图；
图3是本申请一个实施例提供的WH-MSA模块的结构示意图；
图4是本申请一个实施例提供的Attention Gate网络的结构示意图；
图5是本申请一个实施例提供的基于CNN与Transformer的髋关节分割装置的结构示意图；
图6是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着髋关节手术和AI技术的发展，基于深度学习的髋关节分割算法在医学领域开始崭露头角。但是，由于髋关节病变的多样性，如骨折、关节炎等，造成髋关节分割的准确性不高，尤其是在髋关节细节特征，分割偏差较大。
为了解决现有技术问题，本申请实施例提供了一种基于CNN与Transformer的髋关节分割方法、装置、电子设备及计算机可读存储介质。下面首先对本申请实施例所提供的基于CNN与Transformer的髋关节分割方法进行介绍。
图1示出了本申请一个实施例提供的基于CNN与Transformer的髋关节分割方法的流程示意图。如图1所示，该基于CNN与Transformer的髋关节分割方法包括：
S101、在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
在一个实施例中，在获取髋关节图像后，基于髋关节图像获取目标髋关节图像，包括：
对髋关节图像进行下采样，得到下采样后的髋关节图像；
将下采样后的髋关节图像，确定为目标髋关节图像。
基于髋关节图像获取目标髋关节图像包括两种情况：(1)直接将髋关节图像的原图作为目标髋关节图像；(2)对髋关节图像进行下采样，将下采样后的髋关节图像，确定为目标髋关节图像。
S102、利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
整个算法输入2D图像，在前三层的编码中进行CNN操作，后两层进行Transformer操作，解码层对应编码层进行相应的操作。其中，CNN部分的操作中，在解码与编码中引用AG门(Attention Gate网络)，整个网络结构的具体框架如图2所示。
如图2所示，在一个实施例中，利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
S103、利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
如图2所示，在一个实施例中，利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：
利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
S104、对Transformer编码后的特征图进行解码，得到解码后的特征图；
如图2所示，在一个实施例中，对Transformer编码后的特征图进行解码，得到解码后的特征图，包括：
对第四特征图进行解码，得到第五特征图。
在一个实施例中，对第四特征图进行解码，得到第五特征图，包括：
针对第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将第一注意力参数、第二注意力参数与第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到第五特征图。
具体地，该实施例中的操作步骤可通过WH-MSA模块实现，WH-MSA模块的结构如图3所示，基于WH-MSA模块的结构，WH-MSA模块可通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，最后与本身的特征图进行Value计算，完成交叉多头自注意力操作，在得到新的特征图后，根据解码与编码对应的维度关系，通过Conv1x1+BN+Relu进行特征维度的变化。
S105、利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
如图2所示，在一个实施例中，利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：
对第五特征图进行上采样，得到第六特征图；
执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
对第七特征图进行上采样，得到第九特征图；
执行Concat操作，将第八特征图和第九特征图进行融合，得到第十特征图；
利用Attention Gate网络，将第十特征图与第二特征图进行融合，得到第十一特征图；
对第十特征图进行上采样，得到第十二特征图；
执行Concat操作，将第十一特征图和第十二特征图进行融合，得到第十三特征图；
利用Attention Gate网络，将第十三特征图与第一特征图进行融合，得到第十四特征图；
对第十三特征图进行上采样，得到第十五特征图；
执行Concat操作，将第十四特征图和第十五特征图进行融合，得到第十六特征图；
对第十六特征图进行Conv3x3+BN+Relu操作，得到目标特征图。
Attention Gate网络即为AG门，Attention Gate网络的结构如图4所示，输入主要是编码层和解码层两部分，其中，为了保证编码层与解码层的特征可以融合计算，要对解码层进行上采样操作。随后，进行特征的相加得到新的特征图，新特征图进行softmax操作得到注意力系数数组，编码部分与注意力系数数组进行点乘并进行Conv3x3+BN+Relu操作，完成AG门信息融合。
S106、基于目标特征图，获取髋关节分割结果。
针对如图2所示的网络模型结构，分割损失函数(Seg Loss)根据不同病种可以使用不同的Loss，主要包括交叉熵Loss、Focal Loss、Dice Loss等其中一种或多种组合的方式。
该方法利用CNN网络和Transformer网络，对目标髋关节图像依次进行多尺度编码；再对编码后的特征图进行解码，利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，增强了细节特征，故能够更加准确地进行髋关节的分割。
本申请通过CNN网络与Transformer网络实现特征融合的方式，以及通过CNN编码与解码的Attention Gate与Concat进行CNN部分编码与解码信息融合，可以完成髋关节的精准分割。
图5是本申请一个实施例提供的基于CNN与Transformer的髋关节分割装置的结构示意图，如图5所示，该基于CNN与Transformer的髋关节分割装置，包括：
髋关节图像获取模块501，用于在获取髋关节图像后，基于髋关节图像获取目标髋关节图像；
第一编码模块502，用于利用CNN网络对目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
第二编码模块503，用于利用Transformer网络对CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
解码模块504，用于对Transformer编码后的特征图进行解码，得到解码后的特征图；
融合模块505，用于利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；
髋关节分割结果获取模块506，用于基于目标特征图，获取髋关节分割结果。
在一个实施例中，髋关节图像获取模块501，用于：
对髋关节图像进行下采样，得到下采样后的髋关节图像；
将下采样后的髋关节图像，确定为目标髋关节图像。
在一个实施例中，第一编码模块502，用于：
利用CNN网络对目标髋关节图像进行多尺度编码，得到第一特征图；
利用CNN网络对第一特征图进行多尺度编码，得到第二特征图；
利用CNN网络对第二特征图进行多尺度编码，得到第三特征图。
在一个实施例中，第二编码模块503，用于：
利用Transformer网络，对第三特征图进行多尺度编码，得到第四特征图。
在一个实施例中，解码模块504，用于：
对第四特征图进行解码，得到第五特征图。
在一个实施例中，融合模块505，用于：
对第五特征图进行上采样，得到第六特征图；
执行Concat操作，将第四特征图与第六特征图进行融合，得到第七特征图；
利用Attention Gate网络，将第七特征图与第三特征图进行融合，得到第八特征图；
对第七特征图进行上采样，得到第九特征图；
执行Concat操作，将第八特征图和第九特征图进行融合，得到第十特征图；
利用Attention Gate网络，将第十特征图与第二特征图进行融合，得到第十一特征图；
对第十特征图进行上采样，得到第十二特征图；
执行Concat操作，将第十一特征图和第十二特征图进行融合，得到第十三特征图；
利用Attention Gate网络，将第十三特征图与第一特征图进行融合，得到第十四特征图；
对第十三特征图进行上采样，得到第十五特征图；
执行Concat操作，将第十四特征图和第十五特征图进行融合，得到第十六特征图；
对第十六特征图进行Conv3x3+BN+Relu操作，得到目标特征图。
在一个实施例中，解码模块504，用于：
针对第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将第一注意力参数、第二注意力参数与第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到第五特征图。
图5所示装置中的各个模块具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图6示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在电子设备的内部或外部。在特定实施例中，存储器602可以是非易失性固态存储器。
在一个实施例中，存储器602可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种基于CNN与Transformer的髋关节分割方法。
在一个示例中，电子设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于CNN与Transformer的髋关节分割方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于CNN与Transformer的髋关节分割方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (5)

1.一种基于CNN与Transformer的髋关节分割方法，其特征在于，包括：
在获取髋关节图像后，基于所述髋关节图像获取目标髋关节图像；
利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
对所述Transformer编码后的特征图进行解码，得到解码后的特征图；
利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；其中，编码后的特征图包括CNN编码后的特征图和Transformer编码后的特征图；
基于所述目标特征图，获取髋关节分割结果；
所述利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用所述CNN网络对所述目标髋关节图像进行多尺度编码，得到第一特征图；
利用所述CNN网络对所述第一特征图进行多尺度编码，得到第二特征图；
利用所述CNN网络对所述第二特征图进行多尺度编码，得到第三特征图；
所述利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：
利用所述Transformer网络，对所述第三特征图进行多尺度编码，得到第四特征图；
所述对所述Transformer编码后的特征图进行解码，得到解码后的特征图，包括：
对所述第四特征图进行解码，得到第五特征图；
所述利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：
对所述第五特征图进行上采样，得到第六特征图；
执行所述Concat操作，将所述第四特征图与所述第六特征图进行融合，得到第七特征图；
利用所述Attention Gate网络，将所述第七特征图与所述第三特征图进行融合，得到第八特征图；
对所述第七特征图进行上采样，得到第九特征图；
执行所述Concat操作，将所述第八特征图和所述第九特征图进行融合，得到第十特征图；
利用所述Attention Gate网络，将所述第十特征图与所述第二特征图进行融合，得到第十一特征图；
对所述第十特征图进行上采样，得到第十二特征图；
执行所述Concat操作，将所述第十一特征图和所述第十二特征图进行融合，得到第十三特征图；
利用所述Attention Gate网络，将所述第十三特征图与所述第一特征图进行融合，得到第十四特征图；
对所述第十三特征图进行上采样，得到第十五特征图；
执行所述Concat操作，将所述第十四特征图和所述第十五特征图进行融合，得到第十六特征图；
对所述第十六特征图进行Conv3x3+BN+Relu操作，得到所述目标特征图；
所述对所述第四特征图进行解码，得到第五特征图，包括：
针对所述第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将所述第一注意力参数、所述第二注意力参数与所述第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到所述第五特征图。
2.根据权利要求1所述的基于CNN与Transformer的髋关节分割方法，其特征在于，所述在获取髋关节图像后，基于所述髋关节图像获取目标髋关节图像，包括：
对所述髋关节图像进行下采样，得到下采样后的髋关节图像；
将所述下采样后的髋关节图像，确定为所述目标髋关节图像。
3.一种基于CNN与Transformer的髋关节分割装置，其特征在于，包括：
髋关节图像获取模块，用于在获取髋关节图像后，基于所述髋关节图像获取目标髋关节图像；
第一编码模块，用于利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图；
第二编码模块，用于利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图；
解码模块，用于对所述Transformer编码后的特征图进行解码，得到解码后的特征图；
融合模块，用于利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图；其中，编码后的特征图包括CNN编码后的特征图和Transformer编码后的特征图；
髋关节分割结果获取模块，用于基于所述目标特征图，获取髋关节分割结果；
所述利用CNN网络对所述目标髋关节图像进行多尺度编码，得到CNN编码后的特征图，包括：
利用所述CNN网络对所述目标髋关节图像进行多尺度编码，得到第一特征图；
利用所述CNN网络对所述第一特征图进行多尺度编码，得到第二特征图；
利用所述CNN网络对所述第二特征图进行多尺度编码，得到第三特征图；
所述利用Transformer网络对所述CNN编码后的特征图进行多尺度编码，得到Transformer编码后的特征图，包括：
利用所述Transformer网络，对所述第三特征图进行多尺度编码，得到第四特征图；
所述对所述Transformer编码后的特征图进行解码，得到解码后的特征图，包括：
对所述第四特征图进行解码，得到第五特征图；
所述利用Attention Gate网络和执行Concat操作，将编码后的特征图与解码后的特征图进行融合，得到目标特征图，包括：
对所述第五特征图进行上采样，得到第六特征图；
执行所述Concat操作，将所述第四特征图与所述第六特征图进行融合，得到第七特征图；
利用所述Attention Gate网络，将所述第七特征图与所述第三特征图进行融合，得到第八特征图；
对所述第七特征图进行上采样，得到第九特征图；
执行所述Concat操作，将所述第八特征图和所述第九特征图进行融合，得到第十特征图；
利用所述Attention Gate网络，将所述第十特征图与所述第二特征图进行融合，得到第十一特征图；
对所述第十特征图进行上采样，得到第十二特征图；
执行所述Concat操作，将所述第十一特征图和所述第十二特征图进行融合，得到第十三特征图；
利用所述Attention Gate网络，将所述第十三特征图与所述第一特征图进行融合，得到第十四特征图；
对所述第十三特征图进行上采样，得到第十五特征图；
执行所述Concat操作，将所述第十四特征图和所述第十五特征图进行融合，得到第十六特征图；
对所述第十六特征图进行Conv3x3+BN+Relu操作，得到所述目标特征图；
所述对所述第四特征图进行解码，得到第五特征图，包括：
针对所述第四特征图，通过Width与Height两个维度分别进行多头注意力机制的Query与Key运算，分别得到第一注意力参数和第二注意力参数；
将所述第一注意力参数、所述第二注意力参数与所述第四特征图进行Value计算，并进行Conv1x1+BN+Relu操作，得到所述第五特征图。
4.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-2任意一项所述的基于CNN与Transformer的髋关节分割方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-2任意一项所述的基于CNN与Transformer的髋关节分割方法。
CN202310184468.XA 2023-02-21 2023-02-21 基于CNN与Transformer的髋关节分割方法及装置 Active CN116188431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184468.XA CN116188431B (zh) 2023-02-21 2023-02-21 基于CNN与Transformer的髋关节分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184468.XA CN116188431B (zh) 2023-02-21 2023-02-21 基于CNN与Transformer的髋关节分割方法及装置

Publications (2)

Publication Number Publication Date
CN116188431A CN116188431A (zh) 2023-05-30
CN116188431B true CN116188431B (zh) 2024-02-09

Family

ID=86452070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184468.XA Active CN116188431B (zh) 2023-02-21 2023-02-21 基于CNN与Transformer的髋关节分割方法及装置

Country Status (1)

Country Link
CN (1) CN116188431B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016459A (zh) * 2020-08-28 2020-12-01 上海大学 一种基于自注意力机制的驾驶员动作识别方法
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN113888744A (zh) * 2021-10-14 2022-01-04 浙江大学 一种基于Transformer视觉上采样模块的图像语义分割方法
CN114419054A (zh) * 2022-01-19 2022-04-29 新疆大学 视网膜血管图像分割方法、装置及相关设备
CN114863111A (zh) * 2022-05-27 2022-08-05 深圳大学 交互融合Transformer的超声图像量化方法
CN114926338A (zh) * 2022-05-25 2022-08-19 上海商汤智能科技有限公司 模型训练方法及装置、电子设备和存储介质
CN114937192A (zh) * 2022-06-28 2022-08-23 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN115082381A (zh) * 2022-05-27 2022-09-20 西安电子科技大学广州研究院 一种基于u型网络的多目标分割方法及装置
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115587969A (zh) * 2022-09-07 2023-01-10 北京工商大学 一种跨域小样本缺陷目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016459A (zh) * 2020-08-28 2020-12-01 上海大学 一种基于自注意力机制的驾驶员动作识别方法
CN113888744A (zh) * 2021-10-14 2022-01-04 浙江大学 一种基于Transformer视觉上采样模块的图像语义分割方法
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN114419054A (zh) * 2022-01-19 2022-04-29 新疆大学 视网膜血管图像分割方法、装置及相关设备
CN114926338A (zh) * 2022-05-25 2022-08-19 上海商汤智能科技有限公司 模型训练方法及装置、电子设备和存储介质
CN114863111A (zh) * 2022-05-27 2022-08-05 深圳大学 交互融合Transformer的超声图像量化方法
CN115082381A (zh) * 2022-05-27 2022-09-20 西安电子科技大学广州研究院 一种基于u型网络的多目标分割方法及装置
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN114937192A (zh) * 2022-06-28 2022-08-23 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115587969A (zh) * 2022-09-07 2023-01-10 北京工商大学 一种跨域小样本缺陷目标检测方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"Transformer-Unet: Raw Image Precessing with Unet";Youyang Sha, at el.;《arXiv》;全文 *
"TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation";Yundong Zhang, at el.;《arXiv:2102.08005v1 [cs.CV]》;第1-9页 *
"TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation";Jieneng Chen, at el.;《arXiv:2102.04306v1 [cs.CV]》;第1-13页 *
"LEVIT-UNET: MAKE FASTER ENCODERS WITH TRANSFORMER FOR MEDICAL IMAGE SEGMENTATION";Guoping Xu, at el.;《arXiv:2107.08623v1 [cs.CV]》;第1-10页 *
"Multi-scale Progressive Gated Transformer for Physiological Signal Classification";Wei Zhou, at el.;《Proceeding of Machine Learning Reseach》;全文 *
"基于 的伪装物体检测模型";唐彬等;《合肥学院学报( 综合版)》;全文 *
"基于深度学习的膝关节 CT 图像自动分割准确性验证研究";宋平等;《中国修复重建外科杂志》;全文 *
Attention U-Net: Learning Where to Look for the Pancreas;Ozan Oktay, at el.;arXiv:1804.03999v3 [cs.CV];第1-10页 *

Also Published As

Publication number Publication date
CN116188431A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN112633290A (zh) 文本识别方法、电子设备及计算机可读介质
CN109961446B (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN116309636A (zh) 基于多任务神经网络模型的膝关节分割方法、装置及设备
CN112967272A (zh) 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN116188431B (zh) 基于CNN与Transformer的髋关节分割方法及装置
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN116543221A (zh) 关节病变智能检测方法、装置、设备及可读存储介质
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN116152197B (zh) 膝关节分割方法、装置、电子设备及计算机可读存储介质
CN116959307A (zh) 一种基于虚拟现实的髋关节镜手术辅助教学系统
CN116363143A (zh) 基于多尺度自注意力机制的髋关节分割方法、装置及设备
CN116523841B (zh) 基于多尺度信息融合的深度学习脊柱分割方法及装置
CN116650110A (zh) 基于深度强化学习的膝关节假体自动放置方法及装置
CN113409324A (zh) 一种融合微分几何信息的脑分割方法
CN115965597A (zh) 一种高分辨率ct影像处理方法、装置、设备及存储介质
CN117274418B (zh) 基于正侧位x线图像的ct图像生成方法、装置及设备
CN112950652A (zh) 机器人及其手部图像分割方法和装置
CN117351232A (zh) 膝关节关键点检测方法、装置、设备及可读存储介质
CN118096912A (zh) 基于扩散模型的ct薄层图像重建方法、装置及设备
CN118096676A (zh) 基于多尺度混合注意力网络的图像融合方法、装置及设备
CN118212126A (zh) 基于深度学习的图像数据转换方法及装置
CN117786203A (zh) 生成会话推荐结果的方法、装置、设备及计算机存储介质
CN116563314A (zh) 腰椎分割方法、装置、电子设备及计算机可读存储介质
CN118037560A (zh) 基于同态滤波的多模态医学图像融合方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Changmugu Medical Technology Co.,Ltd.

Applicant after: Zhang Yiling

Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Applicant before: Zhang Yiling

GR01 Patent grant
GR01 Patent grant