CN116758102A - 一种基于CNN与Transformer的超声图像分割方法 - Google Patents

一种基于CNN与Transformer的超声图像分割方法 Download PDF

Info

Publication number
CN116758102A
CN116758102A CN202310921204.8A CN202310921204A CN116758102A CN 116758102 A CN116758102 A CN 116758102A CN 202310921204 A CN202310921204 A CN 202310921204A CN 116758102 A CN116758102 A CN 116758102A
Authority
CN
China
Prior art keywords
image
encoder
layer
ultrasonic image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310921204.8A
Other languages
English (en)
Inventor
宋艳涛
路云里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202310921204.8A priority Critical patent/CN116758102A/zh
Publication of CN116758102A publication Critical patent/CN116758102A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于CNN与Transformer的超声图像分割方法,属于医学图像分割技术领域。解决超声图像分割精度低、鲁棒性不强的问题。技术方案:获取原始超声图像;将原始超声图像通过图像Unet编码器获取特征图;将原始超声图像通过图像SwinT编码器获取特征图进行输入图像序列化在随后的Swin‑Transformer块中;对两个通道的特征图进行特征融合经过Swin‑T编码器与U‑Net编码器进行特征提取后,得到了不同尺度的的特征,将不同层级不同模块的特征进行深度融合;将得到逐层的特征与得到的融合底层特征与解码器结合与U‑Net编码器模块对应层次所提取的特征进行拼接与双层卷积,批归一化与激活操作,得到分割结果。本发明具有超声图像分割精度高、鲁棒性强等优点。

Description

一种基于CNN与Transformer的超声图像分割方法
技术领域
本发明属于医学影像分割技术领域,具体涉及一种基于CNN与Transformer的超声图像分割方法。
背景技术
超声影像是一种利用超声设备发射超声波并接收人体反射信号,经过处理后得到人体内部器官图像的技术,它具有无创伤、无放射、便捷、低成本等优势。超声影像在医学影像中占据了很大的比例,约占医学影像设备总保有量的74.44%,在心脏病学、妇产科、肿瘤学、神经科等领域有着广泛的应用,对于疾病的诊断和治疗起着关键的作用。然而,由于超声影像的特点,如低对比度、噪声干扰以及疾病在形态、大小和位置上的多样性,使得从超声图像中准确地提取出感兴趣的区域仍然是一个难题。目前超声影像的识别与分割主要依赖于经验丰富的医生,因此开发一种能够自动分割超声图像的算法具有很大的实用价值和现实意义。
目前主流的医学影像分割方法主要包括基于阈值的分割、基于区域的分割、基于边缘的分割以及基于深度学习的分割四大类。
其中,基于阈值的分割方法是一种简单而有效的方法,它根据图像中像素的灰度值或颜色值来划分图像,但是对于图像中灰度值或颜色值不均匀或存在噪声的情况,效果较差;
基于区域的分割方法是一种根据图像中像素之间的相似性或连通性来划分图像的方法,它可以处理图像中灰度值或颜色值不均匀或存在噪声的情况,但是对于图像中存在复杂背景或目标边界不清晰的情况,效果较差;
基于边缘的分割方法是一种根据图像中目标与背景之间的灰度值或颜色值变化来检测目标边界的方法,它可以处理图像中存在复杂背景或目标边界不清晰的情况,但是对于图像中存在噪声或目标边界不连续的情况,效果较差;
基于深度学习的分割方法是一种利用深度神经网络来学习图像中目标与背景之间的特征表示,并根据特征表示来预测每个像素属于目标还是背景的方法,其中卷积神经网络被广泛应用于医学图像分割,但是卷积神经网络对于图像中的噪声、伪影、低对比度等因素非常敏感,这些因素会影响卷积神经网络提取图像特征的能力,从而降低分割的精度和鲁棒性。
发明内容
本发明的目的是为解决上述现有技术中存在的超声图像分割精度低、对噪声、伪影、低对比度等因素非常敏感的问题,而提供一种基于CNN与Transformer的超声图像分割方法。
为实现上述目的,本发明所采用的技术方案是:将传统卷积操作和自注意力机制相结合,充分利用两者在提取特征和捕捉全局依赖方面的优势,从而提出了一种基于CNN与Transformer的超声图像分割方法。
其中:包括以下步骤:
(1)获取超声图像;
其中,所述原始图像序列获取方法:通过医学超声影像设备来获得一张医学图像X,具有H×W的空间分辨率和C个通道。
(2)将原始超声图像通过图像Unet编码器获取特征图;
在U-Net编码器中,编码器由多个卷积层和池化层组成,用于提取图像的特征。图像送入编码器中后,每经过一个池化层,图像的分辨率就会减半,特征的通道数就会加倍。编码器的输出是一个低分辨率高通道数的特征图。
编码器的作用是逐层提取图像特征,其结构分为4个阶段,每个阶段包含两个3×3卷积、批归一化与激活和一个以2×2最大池化实现的下采样层。每经过一个阶段,输出特征图尺度缩小一半,通道维度加倍。在经过U-net编码器进行特征提取后,特征向量的维度变为H/16×W/16×1024。
(3)将原始超声图像通过图像SwinT编码器获取特征图进行输入图像序列化,补丁分割会通过卷积操作将输入图像X分解为大小为P×P的N个图像块并将其展平为序列
之后在线性嵌入层会通过卷积操作对做线性变换,将其映射到维度为C的空间中去。
在随后的Swin-Transformer块中,包含窗口自注意力和滑动窗口自注意力两个模块,通过这两个模块可以得到:
其中与xl表示第l层窗口自注意力模块和多层感知机模块的输出,/>与xl+1为l+1层滑动窗口自注意力模块与多层感知机模块的输出,LN为层归一化。经过四阶段堆叠的SwinT模块,最终得到了超声图像的特征图。
(4)对步骤(2)(3)两个通道的特征图进行特征融合经过Swin-T编码器与U-Net编码器进行特征提取后,得到了两个的特征图,通过GDFF模块将两个途径所得到的特征进行深度融合。该模块的具体公式如下:
Fconv=DC(TP(FSwin-T)) (5)
Ffuse=G(Convcat(Fconv,FU-net)) (6)
其中DC表示两层卷积,批量归一化以及激活,TP表示转置卷积模块,G表示门控机制,xsw与xu分别为Swin-T编码器与U-Net编码器所提取出的不同尺度的特征;
(5)将步骤(2)得到逐层的特征与步骤(4)得到的融合底层特征与解码器结合,在解码过程中,首先将门控卷积特征融合模块所提取出的特征与经过上采样的Swin-T编码器所提取到的特征,通过转置卷积进行×2上采样将特征维度转换为与U-Net编码器模块对应层次所提取的特征进行拼接与双层卷积,批归一化与激活操作。在得到本层级的输出之后,下一层解码器会再次将上一层的特征与Swin-T编码器进行上采样操作,再次与对应层次的U-Net编码器模块进行拼接并卷积。这样在之后的三个阶段中,就会分别得到维度为/>以及H×W×64的特征向量,之后在经过两次3×3卷积,得到最后维度为H×W×1的分割预测结果。
本发明是一种基于深度学习的超声图像分割方法,能够有效地识别和提取超声图像中的感兴趣区域,如胎儿、胎盘、肿瘤等。与现有的基于阈值、边缘、区域生长等技术相比,本发明具有以下优点:(1)超声图像分割精度高,能够准确地划分出目标区域的边界,避免了过分割或欠分割的问题;(2)鲁棒性强,能够适应不同的超声图像质量、噪声、对比度等因素的变化,保证了分割结果的稳定性和一致性;(3)计算效率高,利用深度学习模型的并行计算能力,能够快速地处理大量的超声图像数据,满足临床应用的需求。
附图说明
图1是本发明一种基于CNN与Transformer的超声图像分割方法的流程图。
图2是本发明GDFF特征融合方法的流程图。
具体实施方式
如图1、图2所示,本实施一种基于CNN与Transformer的超声图像分割方法,包括以下步骤:
(1)获取超声图像;
其中,所述原始图像序列获取方法:通过医学超声影像设备来获得一张医学图像X,具有H×W的空间分辨率和C个通道。
(2)将原始超声图像通过图像Unet编码器获取特征图;
在U-Net编码器中,编码器由多个卷积层和池化层组成,用于提取图像的特征。图像送入编码器中后,每经过一个池化层,图像的分辨率就会减半,特征的通道数就会加倍。编码器的输出是一个低分辨率高通道数的特征图。
编码器的作用是逐层提取图像特征,其结构分为4个阶段,每个阶段包含两个3×3卷积、批归一化与激活和一个以2×2最大池化实现的下采样层。每经过一个阶段,输出特征图尺度缩小一半,通道维度加倍。在经过U-net编码器进行特征提取后,特征向量的维度变为H/16×W/16×1024。
(3)将原始超声图像通过图像SwinT编码器获取特征图进行输入图像序列化,补丁分割会通过卷积操作将输入图像X分解为大小为P×P的N个图像块并将其展平为序列
之后在线性嵌入层会通过卷积操作对做线性变换,将其映射到维度为C的空间中去。
在随后的Swin-Transformer块中,包含窗口自注意力和滑动窗口自注意力两个模块,通过这两个模块可以得到:
其中与xl表示第l层窗口自注意力模块和多层感知机模块的输出,/>与xl+1为l+1层滑动窗口自注意力模块与多层感知机模块的输出,LN为层归一化。经过四阶段堆叠的SwinT模块,最终得到了超声图像的特征图。
(4)对步骤(2)(3)两个通道的特征图进行特征融合经过Swin-T编码器与U-Net编码器进行特征提取后,得到了两个的特征图,通过GDFF模块将两个途径所得到的特征进行深度融合。该模块的具体公式如下:
Fconv=DC(TP(FSwin-T)) (5)
Ffuse=G(Concat(Fconv,FU-net)) (6)
其中DC表示两层卷积,批量归一化以及激活,TP表示转置卷积模块,G表示门控机制,xsw与xu分别为Swin-T编码器与U-Net编码器所提取出的不同尺度的特征;
(5)将步骤(2)得到逐层的特征与步骤(4)得到的融合底层特征与解码器结合,在解码过程中,首先将门控卷积特征融合模块所提取出的特征与经过上采样的Swin-T编码器所提取到的特征,通过转置卷积进行×2上采样将特征维度转换为与U-Net编码器模块对应层次所提取的特征进行拼接与双层卷积,批归一化与激活操作。在得到本层级的输出之后,下一层解码器会再次将上一层的特征与Swin-T编码器进行上采样操作,再次与对应层次的U-Net编码器模块进行拼接并卷积。这样在之后的三个阶段中,就会分别得到维度为/>以及H×W×64的特征向量,之后在经过两次3×3卷积,得到最后维度为H×W×1的分割预测结果。

Claims (1)

1.一种基于CNN与Transformer的超声图像分割方法,其特征是:包括以下步骤:
(1)获取超声图像;
其中,所述原始图像序列获取方法:通过医学超声影像设备来获得一张医学图像X,具有H×W的空间分辨率和C个通道;
(2)将原始超声图像通过图像Unet编码器获取特征图;
在U-Net编码器中,编码器由多个卷积层和池化层组成,用于提取图像的特征;图像送入编码器中后,每经过一个池化层,图像的分辨率就会减半,特征的通道数就会加倍;编码器的输出是一个低分辨率高通道数的特征图;
(3)将原始超声图像通过图像SwinT编码器获取特征图进行输入图像序列化在随后的Swin-Transformer块中,包含窗口自注意力和滑动窗口自注意力两个模块,通过这两个模块可以得到:
其中与xl表示第l层窗口自注意力模块和多层感知机模块的输出,/>与xl+1为l+1层滑动窗口自注意力模块与多层感知机模块的输出,LN为层归一化。经过四阶段堆叠的SwinT模块,最终得到了超声图像的特征图;
(4)对步骤(2)(3)两个通道的特征图进行特征融合经过Swin-T编码器与U-Net编码器进行特征提取后,得到了不同尺度的的特征,通过GDFF模块将不同层级不同模块的特征进行深度融合,GDFF模块公式如下:
Fconv=DC(TP(Fswin-T)) (5)
Ffuse=G(Concat(Fconv,FU-net)) (6)
其中DC表示两层卷积,批量归一化以及激活,TP表示转置卷积模块,G表示门控机制,xsw与xu分别为Swin-T编码器与U-Net编码器所提取出的不同尺度的特征;
(5)将步骤(2)得到逐层的特征与步骤(4)得到的融合底层特征与解码器结合与U-Net编码器模块对应层次所提取的特征进行拼接与双层卷积,批归一化与激活操作。在得到本层级的输出之后,下一层解码器会再次将上一层的特征与Swin-T编码器进行上采样操作,再次与对应层次的U-Net编码器模块进行拼接并卷积,之后在经过两次3×3卷积,得到结果。
CN202310921204.8A 2023-07-26 2023-07-26 一种基于CNN与Transformer的超声图像分割方法 Pending CN116758102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310921204.8A CN116758102A (zh) 2023-07-26 2023-07-26 一种基于CNN与Transformer的超声图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310921204.8A CN116758102A (zh) 2023-07-26 2023-07-26 一种基于CNN与Transformer的超声图像分割方法

Publications (1)

Publication Number Publication Date
CN116758102A true CN116758102A (zh) 2023-09-15

Family

ID=87953382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310921204.8A Pending CN116758102A (zh) 2023-07-26 2023-07-26 一种基于CNN与Transformer的超声图像分割方法

Country Status (1)

Country Link
CN (1) CN116758102A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975656A (zh) * 2023-09-22 2023-10-31 唐山师范学院 基于声发射信号的智能损伤检测识别方法及系统
CN117152441A (zh) * 2023-10-19 2023-12-01 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975656A (zh) * 2023-09-22 2023-10-31 唐山师范学院 基于声发射信号的智能损伤检测识别方法及系统
CN116975656B (zh) * 2023-09-22 2023-12-12 唐山师范学院 基于声发射信号的智能损伤检测识别方法及系统
CN117152441A (zh) * 2023-10-19 2023-12-01 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法
CN117152441B (zh) * 2023-10-19 2024-05-07 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法

Similar Documents

Publication Publication Date Title
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN116758102A (zh) 一种基于CNN与Transformer的超声图像分割方法
CN109685768B (zh) 基于肺部ct序列的肺结节自动检测方法及系统
CN109389585B (zh) 一种基于全卷积神经网络的脑组织提取方法
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN114092439A (zh) 一种多器官实例分割方法及系统
CN111915691B (zh) 基于神经网络的图像处理系统、方法、终端、及介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN110992352A (zh) 基于卷积神经网络的婴儿头围ct图像自动测量方法
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
CN114092332A (zh) 一种头部三维mri超分辨率重建方法
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN117132595A (zh) 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统
CN116468732A (zh) 基于深度学习的肺部ct影像分割方法及成像方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN113989718A (zh) 面向雷达信号热图的人体目标检测方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination