CN113951866A - 一种基于深度学习的子宫肌瘤诊断方法及装置 - Google Patents
一种基于深度学习的子宫肌瘤诊断方法及装置 Download PDFInfo
- Publication number
- CN113951866A CN113951866A CN202111261990.0A CN202111261990A CN113951866A CN 113951866 A CN113951866 A CN 113951866A CN 202111261990 A CN202111261990 A CN 202111261990A CN 113951866 A CN113951866 A CN 113951866A
- Authority
- CN
- China
- Prior art keywords
- network
- myoma
- attention module
- channel
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 40
- 206010046798 Uterine leiomyoma Diseases 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 21
- 201000010260 leiomyoma Diseases 0.000 title claims description 27
- 208000010579 uterine corpus leiomyoma Diseases 0.000 title claims description 20
- 201000007954 uterine fibroid Diseases 0.000 title claims description 20
- 201000004458 Myoma Diseases 0.000 claims abstract description 75
- 206010061692 Benign muscle neoplasm Diseases 0.000 claims abstract description 71
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000011176 pooling Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 12
- 239000003814 drug Substances 0.000 claims description 7
- 229940079593 drug Drugs 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001356 surgical procedure Methods 0.000 claims description 6
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000004877 mucosa Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 210000002151 serous membrane Anatomy 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 210000004291 uterus Anatomy 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000012239 Developmental disease Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000017443 reproductive system disease Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 208000025421 tumor of uterus Diseases 0.000 description 1
- 206010046766 uterine cancer Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4318—Evaluation of the lower reproductive system
- A61B5/4325—Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明提供一种基于深度学习的子宫肌瘤诊断方法及装置。所述方法包括：将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。本发明通过设置基于卷积和Transformer互补的深度神经网络，并在卷积网络中设置跨网络注意力模块，能够有效提取全局特征和局部特征并进行有效融合，从而提高图像分割的精度，能够解决小肌瘤难以定位和大肌瘤难以精准分割的问题。
Description
技术领域
本发明属于技术医学影像领域，具体涉及一种基于深度学习的子宫肌瘤诊断方法及装置。
背景技术
磁共振(MRI)技术出现以前，子宫的先天发育性疾病主要应用超声及盆腔充气造影、子宫输卵管造影检查进行诊断。近几年来，磁共振因其具有软组织分辨率高、可在任意方位上成像、无创伤等优点，在生殖系统疾病诊断方面得到了广泛应用。子宫肿瘤性病变分为良性肿瘤及恶性肿瘤，子宫肌瘤是最常见的妇科良性肿瘤。50岁左右的女性70％的患有一个或多个子宫肌瘤，其中约30％有症状需要治疗。但是由于其大小、位置和数量的差异，子宫肌瘤对女性的影响不同。子宫肌瘤的位置与宫腔及浆膜黏膜的关系有着不同的亚型，子宫肌瘤的临床决策需要考虑分型和患者的实际情况(年龄，是否有生育需求等)。因此，精准定位分割子宫肌瘤极具意义，可以辅助临床医生的决策。
目前，子宫肌瘤AI相关的研究只涉及到了超声图像，以及宫腔镜手术术中图像的识别，鲜有对于MRI精确分割定位子宫肌瘤的研究，且目前没有根据患者临床信息，宫体、浆膜和黏膜的位置确定肌瘤亚型并制定临床决策的AI辅助诊断研究。小肌瘤的准确定位十分困难，如果定位不准确，在术中对子宫的损伤相对较大；大肌瘤轮廓的精准分割要求极高，大肌瘤血运丰富，处理不当有大出血的可能。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于深度学习的子宫肌瘤诊断方法及装置。
为了实现上述目的，本发明采用以下技术方案。
第一方面，本发明提供一种基于深度学习的子宫肌瘤诊断方法，包括以下步骤：
将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3Dpatch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
进一步地，所述卷积网络包括4个3D编码模块和4个2D解码模块。
更进一步地，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
更进一步地，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
进一步地，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
第二方面，本发明提供一种基于深度学习的子宫肌瘤诊断装置，包括：
特征提取模块，用于将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
肌瘤分割模块，用于将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
肌瘤诊断模块，用于将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
进一步地，所述卷积网络包括4个3D编码模块和4个2D解码模块。
更进一步地，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
更进一步地，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
进一步地，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
与现有技术相比，本发明具有以下有益效果。
本发明通过利用卷积网络和Transformer网络从输入的MRI中分别提取局部特征和全局特征，将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果，将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小，实现了子宫肌瘤的自动诊断。本发明通过设置基于卷积和Transformer互补的深度神经网络，并在卷积网络中设置跨网络注意力模块，能够有效提取全局特征和局部特征并进行有效融合，从而提高图像分割的精度，能够解决小肌瘤难以定位和大肌瘤难以精准分割的问题。
附图说明
图1为本发明实施例一种基于深度学习的子宫肌瘤诊断方法的流程图。
图2为本发明实施例的网络结构示意图。
图3为Transformer的结构示意图。
图4为权重分配器和跨网络注意力模块的结构示意图。
图5为本发明实施例一种基于深度学习的子宫肌瘤诊断装置的方框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种基于深度学习的子宫肌瘤诊断方法的流程图，包括以下步骤：
步骤101，将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
步骤102，将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
步骤103，将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
本实施例中，步骤101主要用于从MRI中提取全局特征和局部特征。医学影像包括多种模态的图像，除了MRI，还有CT、X光、超声、PET。MRI(Magnetic Resonance Imaging)也就是磁共振成像，磁共振成像是断层成像的一种，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。相比其它模态的图像，MRI具有以下特点：分辨率高，MRI相对于CT对于软组织的分辨率要高很多，能早期发现更加细小微小的病变组织；MRI图像上的黑白灰反映的是弛豫时间，多参数、任一层面成像也是MRI的独特的图像特点。正是由于MRI的上述特点，使MRI越来越多地应用于基于医学影像的疾病诊断。
为了有效提取图像特征，从而提高图像分割的精度，本实施例设置了互补的卷积网络和Transformer网络，如图2所示。卷积神经网络CNN的卷积层的作用是通过卷积核与输入图像的卷积运算提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器，因此卷积操作能够很好地提取图像的局部特征，但在捕捉全局特征方面却没有优势。而Transformer网络中级联的自注意力模块则具有很好的提取全局特征的能力。因此，本实施例引入Transformer来捕获全局特征，并与卷积网络提取的局部特征相结合，起到全局引导局部的作用。如图3所示，Transformer是一种U型的网络设计，Transformer的编码器通过从小尺寸的patch开始，逐步合并更深层中的相邻patch，构建了一个层次化的网络结构，逐渐提取更深层次的特征。与编码器相对应，构建了基Transformer块的对称解码器。与编码器中使用的patch融合层不同，在解码器中使用patch扩大层对提取的深度特征进行上采样，patch扩大层将相邻维度的特征图重塑为更高分辨率的特征图。本实施例中，由于卷积网络主要用于提取局部特征，而Transformer网络主要用于提取全局特征，因此，卷积网络输入的是从MRI中随机切割的3D patch(即图像块)，Transformer网络输入的一般是位于所述3Dpatch中间的3层连续切片。
本实施例中，步骤102主要用于对提取的全局特征和局部特征进行跨网络注意力融合，输出肌瘤分割结果。注意力机制是在计算机能力有限的情况下，借鉴人脑的注意力机制，只关心一些关键的信息输入进行处理，来提高神经网络的效率。注意力机制的计算可分为两步：一是在所有输入信息上计算注意力分布；二是根据注意力分布计算输入信息的加权求和。加权系数即注意力分布αi＝softmax(fiWattq)，表示输入向量fi与询问向量q的相关程度。本实施例在卷积网络中设置跨网络注意力模块，是为了实现卷积网络提取的局部特征与Transformer网络提取的全局特征的跨网络特征筛选整合，形象地说就是，由全局特征有效地指导局部特征的多尺度融合，如图2所示。本实施例通过设置跨网络注意力模块，充分利用了卷积网络在局部特征提取方面的优良特性和Transformer网络在全局特征提取方面的优良特性，明显提高了特征提取的效能和图像分割的精度，能够从输入的MRI中有效地分割出宫体、浆膜和黏膜。
本实施例中，步骤103主要用于基于肌瘤分割结果识别肌瘤类别及大小。如图2所示，本实施例通过设置一个肌瘤诊断模块，根据上一步得到的浆膜、粘膜和肌瘤的分割结果，得到肌瘤相对于浆膜和粘膜的位置关系，参照国际妇产科联盟(FIGO)的子宫肌瘤分型方法，自动推导出各个肌瘤的类型和大小。
作为一可选实施例，所述卷积网络包括4个3D编码模块、4个2D解码模块。
本实施例给出了卷积网络的一种具体的结构。如图2所示，所述卷积网络采用编码器—解码器结构，具体地，编码器为3D编码模块，而解码器为2D解码模块，也就是对输入的MRI图像进行3D编码、2D解码。采用3D编码有助于更有效地学习MRI图像中的3D上下文信息；而采用2D解码则可以减少计算开销。更具体地，本实施例的卷积网络设置4个3D编码模块、4个2D解码模块，用于对4种不同尺码的特征进行提取，可以满足不同大小子宫肌瘤的处理要求，能够解决小肌瘤难以定位和大肌瘤难以精准分割的问题。
作为一可选实施例，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
本实施例给出了卷积网络的2D解码模块的一种技术方案。2D解码模块包括一个权重分配器和一个跨网络注意力模块，如图2、4所示。如前述，卷积网络设置跨网络注意力模块是为了对卷积网络输出的局部特征和Transformer网络输出的全局特征进行有效融合，为了获得最好的融合效果，设置权重分配器对两个不同网络的输出动态分配权重系数，然后进行加权求和。在实际应用中，固定卷积网络输出的权重系数为1，只相对调整Transformer网络输出的权重系数β的大小。β的大小通过模型训练得到，是一个0～1之间的数。另外，两个不同网络提取的特征在卷积网络的解码部分进行特征融合时，为了保证特征点的一一对应，在融合前对Transformer网络提取的特征进行像素采样，使两个网络提取的特征达到像素级别的对应。
作为一可选实施例，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
本实施例给出了跨网络注意力模块的一种技术方案。如图4所示，跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块，两个模块从通道和空间位置两方面分别进行注意力分析，两方面的分析结果(两个模块的输出)最后通过卷积融合在一起得到跨网络注意力模块的输出结果，实现了卷积网络和Transformer网络输出特征的互补。下面分别对这两个模块的技术原理进行说明。
双通路融合通道注意力模块包括两个分支(通路)，两个分支进行的运算过程几乎完全相同，所不同的是一个分支先对输入的特征F进行全局平均池化(GlobalAveragePooling)，而另一个分支对先输入的特征F进行全局最大池化(Global Max Pooling)。池化(Pooling)在卷积运算中的主要目的是通过减少运算参数降低计算量，当然要以丢失一定的信息为代价。全局平均池化和全局最大池化虽然都要丢失信息，但侧重点不同。全局平均池化主要用于希望所有图像信息都有所贡献的场景，比如在图像处理中采用平均池化可以保留背景信息。全局最大池化主要为了减少无用信息的影响，比如网络浅层常常用到最大池化，因为开始几层对图像而言包含较多的无关信息；在图像处理中采用最大池化提取纹理特征。同时，最大池化可以降低特征的维度，同时提取更好的、具有更强烈的语义信息的特征。双通路融合通道注意力模块设置采用不同池化方法的两个分支，最后对两个分支的处理结果进行拼接和卷积运算，能够融合两种不同池化方法的优点。
空间全局位置注意力模块通道使用Transformer的特征的位置关系指导卷积分支，生成空间位置关系的权重输出。特征F通过两个卷积操作分别得到特征FS1、FS2，这里卷积操作可以看成一个映射函数，相当于一个点映射成一个向量，可以看成是计算一个点的特征。FS2通过softmax激活函数后与FS1相乘得到特征FS3，FS3就是空间位置重要关系的权重图。之后FS3与F相加得到加权后的空间全局注意力特征FS。
作为一可选实施例，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
本实施例给出了肌瘤诊断模块基于患者临床信息进行临床决策的一种技术方案。如图2所示，肌瘤诊断模块除了包括一个肌瘤类型判别模块外，还包括一个临床决策分类网络。肌瘤类型判别模块根据输入的分割结果输出肌瘤类别及大小，临床决策分类网络根据肌瘤类别、大小及患者临床信息进行决策，输出最终的临床决策，包括期待治疗、药物治疗或者手术治疗等。所述患者临床信息主要包括患者年龄、有无生育需求及有无症状等。
图5为本发明实施例一种基于深度学习的子宫肌瘤诊断装置的组成示意图，所述装置包括：
特征提取模块11，用于将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
肌瘤分割模块12，用于将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
肌瘤诊断模块13，用于将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
作为一可选实施例，所述卷积网络包括4个3D编码模块和4个2D解码模块。
作为一可选实施例，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
作为一可选实施例，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
作为一可选实施例，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的子宫肌瘤诊断方法，其特征在于，包括以下步骤：
将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
2.根据权利要求1所述的基于深度学习的子宫肌瘤诊断方法，其特征在于，所述卷积网络包括4个3D编码模块和4个2D解码模块。
3.根据权利要求2所述的基于深度学习的子宫肌瘤诊断方法，其特征在于，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
4.根据权利要求3所述的基于深度学习的子宫肌瘤诊断方法，其特征在于，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
5.根据权利要求1所述的基于深度学习的子宫肌瘤诊断方法，其特征在于，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
6.一种基于深度学习的子宫肌瘤诊断装置，其特征在于，包括：
特征提取模块，用于将从患者MRI中随机切割的3D patch输入卷积网络提取局部特征，将与所述3D patch中间几层对应的连续完整切片输入Transformer网络提取全局特征；
肌瘤分割模块，用于将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
肌瘤诊断模块，用于将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
7.根据权利要求6所述的基于深度学习的子宫肌瘤诊断装置，其特征在于，所述卷积网络包括4个3D编码模块和4个2D解码模块。
8.根据权利要求7所述的基于深度学习的子宫肌瘤诊断装置，其特征在于，每个2D解码模块包括一个权重分配器和一个跨网络注意力模块。
9.根据权利要求8所述的基于深度学习的子宫肌瘤诊断装置，其特征在于，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征F进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fa，Fa与F相乘得到特征FA；第二分支对输入的特征F进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征Fm，Fm与F相乘得到特征FM；FA与FM拼接后通过卷积操作融合得到FO；空间全局位置注意力模块首先对输入特征F进行两个卷积操作分别得到FS1、FS2，FS2经激活函数后与FS1相乘得到FS3，FS3是空间位置重要性关系的权重图，然后FS3与F相加得到加权后的空间全局注意力特征FS；双通路融合通道注意力模块的输出FO与空间全局位置注意力模块的输出FS融合得到跨网络注意力模块的输出FR。
10.根据权利要求6所述的基于深度学习的子宫肌瘤诊断装置，其特征在于，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111261990.0A CN113951866A (zh) | 2021-10-28 | 2021-10-28 | 一种基于深度学习的子宫肌瘤诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111261990.0A CN113951866A (zh) | 2021-10-28 | 2021-10-28 | 一种基于深度学习的子宫肌瘤诊断方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113951866A true CN113951866A (zh) | 2022-01-21 |
Family
ID=79468121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111261990.0A Pending CN113951866A (zh) | 2021-10-28 | 2021-10-28 | 一种基于深度学习的子宫肌瘤诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113951866A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862881A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种基于pet-ct的跨模态注意力肿瘤分割方法、系统 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN112862784A (zh) * | 2021-02-08 | 2021-05-28 | 杭州深睿博联科技有限公司 | 基于非局部注意力机制的多期相融合器官分割方法及装置 |
| CN113239981A (zh) * | 2021-04-23 | 2021-08-10 | 中国科学院大学 | 局部特征耦合全局表征的图像分类方法 |
| CN113269724A (zh) * | 2021-04-28 | 2021-08-17 | 西安交通大学 | 一种细粒度癌症亚型分类方法 |
| CN113537243A (zh) * | 2021-07-23 | 2021-10-22 | 广东工业大学 | 一种基于se模块和自注意力机制网络的图像分类方法 |
-
2021
- 2021-10-28 CN CN202111261990.0A patent/CN113951866A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN112862784A (zh) * | 2021-02-08 | 2021-05-28 | 杭州深睿博联科技有限公司 | 基于非局部注意力机制的多期相融合器官分割方法及装置 |
| CN113239981A (zh) * | 2021-04-23 | 2021-08-10 | 中国科学院大学 | 局部特征耦合全局表征的图像分类方法 |
| CN113269724A (zh) * | 2021-04-28 | 2021-08-17 | 西安交通大学 | 一种细粒度癌症亚型分类方法 |
| CN113537243A (zh) * | 2021-07-23 | 2021-10-22 | 广东工业大学 | 一种基于se模块和自注意力机制网络的图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHUN-FU CHEN, QUANFU FAN, RAMESWAR PANDA: "CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification", SEMANTICSCHOLAR, 27 March 2021 (2021-03-27), pages 347 - 356 * |
| 毛丽;李秀丽: "基于深度学习和CT影像的新型冠状病毒肺炎病灶分割", 集成技术, 15 November 2020 (2020-11-15), pages 40 - 47 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862881A (zh) * | 2022-07-11 | 2022-08-05 | 四川大学 | 一种基于pet-ct的跨模态注意力肿瘤分割方法、系统 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
| CN116616792B (zh) * | 2023-07-21 | 2023-12-01 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113951866A (zh) | 一种基于深度学习的子宫肌瘤诊断方法及装置 | |
| CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| CN111368849B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109636805A (zh) | 一种基于分类先验的宫颈图像病变区域分割装置及方法 | |
| Xie et al. | Computer-aided diagnosis for fetal brain ultrasound images using deep convolutional neural networks | |
| Zhou et al. | LAEDNet: a lightweight attention encoder–decoder network for ultrasound medical image segmentation | |
| Hou et al. | 1D CNN-based intracranial aneurysms detection in 3D TOF-MRA | |
| Li et al. | AttentionNet: Learning where to focus via attention mechanism for anatomical segmentation of whole breast ultrasound images | |
| CN115018863A (zh) | 基于深度学习的图像分割方法及装置 | |
| Zhao et al. | Transfsm: Fetal anatomy segmentation and biometric measurement in ultrasound images using a hybrid transformer | |
| Goudarzi et al. | Segmentation of arm ultrasound images in breast cancer-related lymphedema: A database and deep learning algorithm | |
| Chen et al. | BAGNet: bidirectional aware guidance network for malignant breast lesions segmentation | |
| Cui et al. | Automatic Segmentation of Kidney Volume Using Multi-Module Hybrid Based U-Shape in Polycystic Kidney Disease | |
| CN113139627B (zh) | 纵隔肿物识别方法、系统及装置 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN115147404A (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
| Tu et al. | Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning | |
| Zhang et al. | Research on brain glioma segmentation algorithm | |
| CN115222675A (zh) | 一种基于深度学习的子宫肌瘤自动分型方法及装置 | |
| Ahmed et al. | Detection of uterine fibroids in medical images using deep neural networks | |
| Lee et al. | Placental MRI segmentation based on multi-receptive field and mixed attention separation mechanism | |
| Radhi et al. | An automatic segmentation of breast ultrasound images using U-Net model | |
| Zhang et al. | A Weakly Supervised-Guided Soft Attention Network for Classification of Intracranial Hemorrhage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |