CN117422715A - 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 - Google Patents
一种基于全局信息的乳腺超声肿瘤病变区域检测方法 Download PDFInfo
- Publication number
- CN117422715A CN117422715A CN202311740818.2A CN202311740818A CN117422715A CN 117422715 A CN117422715 A CN 117422715A CN 202311740818 A CN202311740818 A CN 202311740818A CN 117422715 A CN117422715 A CN 117422715A
- Authority
- CN
- China
- Prior art keywords
- module
- feature map
- cbs
- input
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 37
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 34
- 230000003902 lesion Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims description 29
- 238000002604 ultrasonography Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 239000010419 fine particle Substances 0.000 claims description 3
- 230000003211 malignant effect Effects 0.000 claims description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 9
- 230000003993 interaction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005728 strengthening Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种基于全局信息的乳腺超声肿瘤病变区域检测方法，属于医学图像领域，包括：步骤S1、获取标注图像数据集；步骤S2、构建作为目标检测模型的卷积神经网络：backbone部分采用由上至下依次布置的特征提取模块和坐标注意力模块，特征提取模块包括CBS模块以及交替模块，交替模块输出高维特征图，坐标注意力模块对该高维特征图的进行全局编码，得到全局信息特征图；neck部分采用相互融合的FPN网络和PANET网络，得到多个维度特征图；head部分采用TSCODE模块，CBS模块输出的低维特征图和多个维度特征图作为TSCODE模块的多层输入特征图，输出基于全局信息预测的图像。本发明实现对乳腺超声肿瘤图像中存在误检漏检问题的优化，提高检测的识别率和准确性。
Description
技术领域
本发明涉及医学图像领域，特别涉及一种基于全局信息的乳腺超声肿瘤病变区域检测方法。
背景技术
乳腺超声筛查是提高乳腺癌患者存活率的有效手段之一。然而，由于乳腺超声图像存在散斑噪声、对比度低等问题，同时诊断过程中耗时且易受主观性的影响，易导致漏诊和误诊问题。基于计算机技术的乳腺超声肿瘤辅助诊断系统具有客观性强、可重复、工作效率高等优点，在乳腺癌临床诊疗中具有重要的意义和应用价值。
近年来，基于深度学习的乳腺CAD研究有了较大进展。但由于乳腺超声图像背景灰度值与病变区特征区分度小，容易忽略形状小的肿瘤，且难以分辨灰度相似组织的差异和成像时腺体重叠的现象，导致对乳腺超声肿瘤图像检测的不准确。
发明内容
本发明提出一种基于全局信息的乳腺超声肿瘤病变区域检测方法，实现对乳腺超声肿瘤图像中存在误检漏检问题的优化，提高模型对重叠目标的注意力，从全局信息获取乳腺超声肿瘤病变区域，提高检测的识别率和准确性。
本发明通过以下技术方案实现：
一种基于全局信息的乳腺超声肿瘤病变区域检测方法，包括如下步骤：
步骤S1、获取乳腺超声肿瘤图像集，对图像集预处理得到初始数据集，标注出初始数据集中乳腺超声肿瘤良恶性类别以及位置，生成标注图像数据集；
步骤S2、构建作为目标检测模型的卷积神经网络，将标注图像数据集作为目标检测模型的训练样本；
卷积神经网络的backbone部分采用由上至下依次布置的特征提取模块和坐标注意力模块，特征提取模块包括由上至下依次布置的CBS模块和交替模块，CBS模块包括至少一层CBS结构，交替模块包括交替布置的C3HB结构和CBS结构，CBS模块输出低维特征图，交替模块输出高维特征图，坐标注意力模块对该高维特征图的水平和垂直两个方向的信息进行全局编码，得到全局信息特征图；
卷积神经网络的neck部分采用相互融合的FPN网络和PANET网络，PANET网络自下而上对全局信息特征图进行上采样，通过FPN网络自下而上将PANET网络的输出与交替模块输出的高维特征图融合得到多个维度特征图；
卷积神经网路的head部分采用TSCODE模块，CBS模块输出的低维特征图和多个维度特征图作为TSCODE模块的多层输入特征图，TSCODE模块包括多层TSCODE结构，TSCODE结构包括分类分支和定位分支，分类分支的输入为相邻两层输入特征图，定位分支的输入为相邻三层输入特征图，以实现多尺度特征融合多个维度特征图，并输出基于全局信息预测的图像。
进一步的，所述步骤S1中，所述预处理包括去除乳腺超声肿瘤图像的标注并增强图像对比度。
进一步的，所述步骤S2中，所述特征提取模块包括三个由上至下依次布置的交替模块，位于上层的交替模块包括由上至下依次布置的C3HB结构、CBS结构和C3HB结构，位于中层和下层的两个交替模块均包括由上至下依次布置的CBS结构和C3HB结构，位于下层的交替模块的C3HB结构的输出作为坐标注意力模块输入，所述CBS模块包括由上至下依次布置的两层CBS结构，下层CBS结构的输出作为上层交替模块的上层C3HB结构的输入。
进一步的，所述步骤S2中，所述backbone部分还包括快速空间金字塔池化结构，其输入为坐标注意力模块的输出。
进一步的，所述步骤S2中，所述坐标注意力模块对交替模块输出的高维特征图的水平和垂直两个方向的信息进行全局编码的过程包括：
步骤S211、对输入的特征图使用自适应池化操作分别沿水平坐标方向和垂直坐标方向对每个通道进行池化，两个方向的变换产生水平方向感知特征图和垂直方向感知特征图；
步骤S212、对水平方向感知特征图和垂直方向感知特征图拼接并进行卷积后经过BN层和非线性激活函数；
步骤S213、对经步骤S2122后的特征图进行分割得到水平特征图和垂直特征图，并分别进行卷积后再分别进入Sigmoid函数，生成在水平和垂直方向的注意力权重值；
步骤S214、将输入的特征图与经过注意力权重加权的特征图相乘，得到坐标注意力模块输出的全局信息特征图。
进一步的，所述C3HB结构对其输入的特征图进行两路处理，一路经过CBS结构和HorBlock结构进行处理，另一路通过CBS结构，将两路输出拼接作为下一层的输入。
进一步的，所述步骤S2中neck部分实现步骤包括：
步骤S221、所述全局信息特征图作为FPN网络的输入，该输入依次经过CBS结构和上采样后与中层交替模块的输出匹配后进行维度拼接，拼接结果再依次通过C3HB结构和CBS结构后完成特征融合；
步骤S222、将步骤S221输出的特征图继续进行上采样后与上层交替模块的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第二层输入特征图；
步骤S223、将步骤S222输出的特征图经过CBS结构后与步骤S221的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第三层输入特征图；
步骤S224、将步骤S223输出的特征图经过CBS结构后与步骤S221中全局信息特征图经过CBS结构的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第四层输入特征图；
步骤S225、将步骤S224的输出依次经过CBS结构和C3HB结构后作为TSCODE模块的第五层输入特征图。
进一步的，所述步骤S2中，所述backbone的CBS结构输出的低维特征图作为TSCODE模块的第一层输入特征图。
进一步的，所述TSCODE模块包括五层TSCODE结构，各TSCODE结构的分类分支采用SCE结构，其输入为第l层输入特征图与第l+1层输入特征图，各TSCODE结构的定位分支采用DPE结构，其输入为第l层输入特征图、第l-1层输入特征图和第l+1层输入特征图，其中，l的取值范围为[1,5]。
进一步的，所述HorBlock结构由层归一化分别与gnConv结构、多层感知机构建分层残差连接实现细颗粒特征融合。
本发明具有如下有益效果：
1、本发明的backbone部分包括交替布置的C3HB结构和CBS结构，进一步增强特征融合能力，并在更细粒度的层面实现信息集成，从而提高对乳腺肿瘤病变区域特征的提取，并且网络可以有效地减少在信息集成过程中梯度信息重复的可能性；在backbone主干网络中嵌入坐标注意力模块，强化位置信息的传播，引导网络聚焦于病灶区域，增强对乳腺肿瘤病变区域特有的位置信息的关注，加强乳腺病变区域远程位置依赖，提高对乳腺肿瘤位置特征的感知能力；head部分采用TSCODE结构，以便选择更适合解决特定任务的语义上下文，对于分类分支，利用相邻两层输入特征图，以实现高效准确的分类，对于定位分支，通常需要更多的物体周围边界信息，利用相邻三层输入特征图进行融合，以便高级特征和低级特征之间进行充分的信息交换，提高乳腺超声肿瘤图像的检测能力。
附图说明
下面结合附图对本发明做进一步详细说明。
图1为本发明的流程图。
图2为本发明的目标检测模型的结构示意图。
图3为本发明的坐标注意力模块的结构视图。
图4为本发明的HorBlock结构的结构示意图。
图5为本发明的gnconv结构的结构示意图。
图6为本发明的TSCODE结构的结构示意图。
具体实施方式
如图1所示，基于全局信息的乳腺超声肿瘤病变区域检测方法包括如下步骤：
步骤S1、获取乳腺超声肿瘤图像集，对图像集预处理得到初始数据集，标注出初始数据集中乳腺超声肿瘤良恶性类别以及位置，生成标注图像数据集；
其中，预处理包括去除乳腺超声肿瘤图像四周的标注信息并增强图像对比度，该标注信息为乳腺超声肿瘤图像上本身存在的说明信息，如患者姓名年龄信息等，在对图像处理之前需要将其去除，以避免对后续处理产生干扰，增强对比度的计算公式为，其中，/>为原始图像像素点的值，/>为对应增强处理后的像素值，/>表示对数函数，常数C用于使变换后的图像的灰度动态范围符合要求。
步骤S2、构建作为目标检测模型的卷积神经网络，将标注图像数据集作为目标检测模型的训练样本；
如图2所示，卷积神经网络的backbone部分采用由上至下依次布置的特征提取模块、坐标注意力模块（CA）和快速空间金字塔池化结构（SPPF），特征提取模块包括由上至下依次布置的CBS模块和交替模块，CBS模块包括至少一层CBS结构，交替模块包括交替布置的C3HB结构和CBS结构，CBS模块输出低维特征图，交替模块对训练样本逐层提取特征信息，输出高维特征图，坐标注意力模块对该高维特征图的水平和垂直两个方向的信息进行全局编码，得到全局信息特征图，强化位置信息的传播，引导网络聚焦于病灶区域，提高对乳腺肿瘤位置特征的感知能力；采用SPPF结构能够在不同尺寸上对特征信息进行提取，通过缩小图像尺寸并加深图像维度，进一步增强特征融合能力；
更具体地，在本实施例中，CBS模块包括由上至下依次布置的两层CBS结构，特征提取模块则包括由上至下依次布置的两层CBS结构和三层交替模块，位于下层的CBS结构输出低维特征图，该低维特征图作为head部分TSCODE模块的第一层输入特征图，位于上层的交替模块包括由上至下依次布置的C3HB结构、CBS结构和C3HB结构，位于中层和下层的两个交替模块均包括由上至下依次布置的CBS结构和C3HB结构，位于下层的交替模块的C3HB结构的输出作为坐标注意力模块输入，位于下层的CBS结构的输出作为上层交替模块的上层C3HB结构的输入。CBS结构用于提取训练样本的特征信息，C3HB结构用于通过跨阶层结构，加强对特征的提取与特征融合能力，C3HB结构与CBS结构交替布置，能够在提取特征信息的基础上，进一步增强特征融合能力，并在更细粒度的层面实现信息集成；
C3HB结构对其输入的特征图进行两路处理，一路经过CBS结构和HorBlock结构进行处理，另一路通过CBS结构，将两路输出拼接作为下一层的输入，这不仅能够在更细粒度上表示多尺度特征，同时增加块内感受野，使得网络能够更好地适应病变区域不同形状大小。
如图4所示，HorBlock结构由层归一化（Layer Norm）分别与gnConv结构、多层感知机（multilayer perceptron,MLP）构建分层残差连接实现细颗粒特征融合。
如图5所示，gnConv结构引入对不同空间位置的高阶交互，能够提高对乳腺肿瘤病变区域细粒度特征的提取，增加了每个网络层的感受野，具体过程如下：
首先，使用得到一组投影特征P0和/>：
其次，递归地执行门控卷积：，其中将输出按1/α缩放以稳定训练，/>为一组深度卷积层，gk用于按不同顺序匹配维度。
最后，我们将最后一个递归步骤qn的输出馈送到投影层，得到/>的结果。由递归公式/>可以看出/>实现了n阶空间相互作用，通过n步递归，特征可以与周围的空间进行更深层次的交互，以大大提升对乳腺肿瘤病变区域细粒度特征的提取，缓解病变区域形状大小不一导致的难以检测的问题。为了简化并提高效率，使用f函数对特征的串联进行深度卷积和设置合适的通道维度/>，以减少单独计算卷积的重复运算和提高计算效率，使得网络在处理高阶交互时可以更高效地运行，进一步提升局部和全局空间信息交互。
为了确保高阶交互不会引入太多的计算开销，我们将每个阶的通道维度设置为，/>。
如图3所示，坐标注意力模块对交替模块输出的高维特征图的水平和垂直两个方向的信息进行全局编码，以增强对乳腺肿瘤病变区域特有的位置信息的关注，增强乳腺病变区域远程位置依赖，该过程包括：
步骤S211、对输入的交替模块输出的高维特征图使用自适应池化操作分别沿水平坐标方向和垂直坐标方向对每个通道进行池化，两个方向的变换产生水平方向感知特征图和垂直方向感知特征图；
步骤S212、对水平方向感知特征图和垂直方向感知特征图拼接并进行卷积，即同时在水平和垂直方向对特征图进行关注，然后经过BN层和非线性激活函数；
步骤S213、对经步骤S212后的特征图进行分割得到水平特征图和垂直特征图，并分别进行卷积后再分别进入Sigmoid函数，生成在水平和垂直方向的注意力权重值；
步骤S214、将输入的高维特征图与经过注意力权重加权的特征图相乘，得到坐标注意力模块输出的全局信息特征图。
卷积神经网络的neck部分采用相互融合的FPN网络（特征金字塔网络）和PANET网络（路径聚合网络），PANET网络自下而上对全局信息特征图进行上采样，通过FPN网络自下而上将PANET网络的输出与交替模块输出的高维特征图融合得到多个维度特征图；
具体地，实现步骤包括：
步骤S221、全局信息特征图经SPPF结构后作为FPN网络的输入，该输入依次经过CBS结构和上采样后与中层交替模块的输出匹配后进行维度拼接，拼接结果再依次通过C3HB结构和CBS结构后完成特征融合；
步骤S222、将步骤S221输出的特征图继续进行上采样后与上层交替模块的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第二层输入特征图；
步骤S223、将步骤S222输出的特征图经过CBS结构后与步骤S221的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第三层输入特征图；
步骤S224、将步骤S223输出的特征图经过CBS结构后与步骤S221中全局信息特征图经过CBS结构的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第四层输入特征图；
步骤S225、将步骤S224的输出依次经过CBS结构和C3HB结构，缩小空间尺度，增大维度数量，作为TSCODE模块的第五层输入特征图。
多个维度特征图即包括第二至第五输入特征图，包括有低维特征图、中维特征图和高维特征图。
卷积神经网路的head部分采用TSCODE模块，CBS结构输出的低维特征图和多个维度特征图作为TSCODE模块的多层输入特征图，TSCODE模块包括五层TSCODE结构，TSCODE结构包括分类分支和定位分支，各TSCODE结构的分类分支采用SCE结构，其输入为第l层（Pl）输入特征图与第l+1层（Pl+1）输入特征图，各TSCODE结构的定位分支采用DPE结构，其输入为第l层输入特征图、第l-1层（Pl-1）输入特征图和第l+1层输入特征图，其中，l的取值范围为[1,5]。
具体地，如图6所示的现有技术中，将TSCODE解耦成两个任务的特征编码，和作为任务特定的输入特征传入到具有不同语义上下文的特征图在两个分支SCE结构和DPE结构中，以便选择更适合解决特定任务的语义上下文，等式为：
，
其中，和/>是分类和定位分支。/>和/>是用于分类和定位的特征投影函数，而/>和/>是两个分支中解码特征为分类得分和边界框位置的最终层，L为损失，Lcls为分类损失，Lloc为定位损失，c为类标签，β为边界框，λ为权重。
SCE结构主要利用来自两个层级Pl和Pl+1的特征图生成语义丰富的特征图用于分类。首先将Pl缩小2倍，再与Pl+1进行连接生成最终的，
其中和/>表示连接和共享下采样卷积层。注意/>位于Pl的1/2分辨率上。然后将/>传递给/>来预测分类得分。通过这种方式，我们不仅可以利用显著特征的稀疏性（来自Pl），还可以从更高金字塔层级（来自Pl+1）的丰富语义上下文中获益。这有助于更有效地推断物体类别，特别是对于那些无纹理的物体或遭受严重遮挡的物体；
DPE结构主要接受来自三个层级即Pl-1、Pl和Pl+1的特征图，以实现准确定位。其中Pl-1提供了更多的细节和边缘特征，而Pl+1则提供了更全面的物体视角，为其提供包含更多边缘信息的高分辨率特征图，以更精确地回归物体边界。
其中，表示上采样，/>是另一个共享的下采样卷积层。具体地说，我们使用C2，P3和P4计算Gloc3，因为通过FPN计算P2会导致巨大的计算成本。随后，/>进一步基于/>对第l个金字塔层级中的边界框进行预测。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。
Claims (10)
1.一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：包括如下步骤：
步骤S1、获取乳腺超声肿瘤图像集，对图像集预处理得到初始数据集，标注出初始数据集中乳腺超声肿瘤良恶性类别以及位置，生成标注图像数据集；
步骤S2、构建作为目标检测模型的卷积神经网络，将标注图像数据集作为目标检测模型的训练样本；
卷积神经网络的backbone部分采用由上至下依次布置的特征提取模块和坐标注意力模块，特征提取模块包括由上至下依次布置的CBS模块和交替模块，CBS模块包括至少一层CBS结构，交替模块包括交替布置的C3HB结构和CBS结构，CBS模块输出低维特征图，交替模块输出高维特征图，坐标注意力模块对该高维特征图的水平和垂直两个方向的信息进行全局编码，得到全局信息特征图；
卷积神经网络的neck部分采用相互融合的FPN网络和PANET网络，PANET网络自下而上对全局信息特征图进行上采样，通过FPN网络自下而上将PANET网络的输出与交替模块输出的高维特征图融合得到多个维度特征图；
卷积神经网路的head部分采用TSCODE模块，CBS模块输出的低维特征图和多个维度特征图作为TSCODE模块的多层输入特征图，TSCODE模块包括多层TSCODE结构，TSCODE结构包括分类分支和定位分支，分类分支的输入为相邻两层输入特征图，定位分支的输入为相邻三层输入特征图，以实现多尺度特征融合多个维度特征图，并输出基于全局信息预测的图像。
2.根据权利要求1所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S1中，所述预处理包括去除乳腺超声肿瘤图像的标注并增强图像对比度。
3.根据权利要求1所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S2中，所述特征提取模块包括三个由上至下依次布置的交替模块，位于上层的交替模块包括由上至下依次布置的C3HB结构、CBS结构和C3HB结构，位于中层和下层的两个交替模块均包括由上至下依次布置的CBS结构和C3HB结构，位于下层的交替模块的C3HB结构的输出作为坐标注意力模块输入，所述CBS模块包括由上至下依次布置的两层CBS结构，下层CBS结构的输出作为上层交替模块的上层C3HB结构的输入。
4.根据权利要求3所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S2中，所述backbone部分还包括快速空间金字塔池化结构，其输入为坐标注意力模块的输出。
5.根据权利要求1或2或3或4所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S2中，所述坐标注意力模块对交替模块输出的高维特征图的水平和垂直两个方向的信息进行全局编码的过程包括：
步骤S211、对输入的特征图使用自适应池化操作分别沿水平坐标方向和垂直坐标方向对每个通道进行池化，两个方向的变换产生水平方向感知特征图和垂直方向感知特征图；
步骤S212、对水平方向感知特征图和垂直方向感知特征图拼接并进行卷积后经过BN层和非线性激活函数；
步骤S213、对经步骤S2122后的特征图进行分割得到水平特征图和垂直特征图，并分别进行卷积后再分别进入Sigmoid函数，生成在水平和垂直方向的注意力权重值；
步骤S214、将输入的特征图与经过注意力权重加权的特征图相乘，得到坐标注意力模块输出的全局信息特征图。
6.根据权利要求1或2或3或4所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述C3HB结构对其输入的特征图进行两路处理，一路经过CBS结构和HorBlock结构进行处理，另一路通过CBS结构，将两路输出拼接作为下一层的输入。
7.根据权利要求3或4所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S2中neck部分实现步骤包括：
步骤S221、所述全局信息特征图作为FPN网络的输入，该输入依次经过CBS结构和上采样后与中层交替模块的输出匹配后进行维度拼接，拼接结果再依次通过C3HB结构和CBS结构后完成特征融合；
步骤S222、将步骤S221输出的特征图继续进行上采样后与上层交替模块的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第二层输入特征图；
步骤S223、将步骤S222输出的特征图经过CBS结构后与步骤S221的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第三层输入特征图；
步骤S224、将步骤S223输出的特征图经过CBS结构后与步骤S221中全局信息特征图经过CBS结构的输出匹配后进行维度拼接，拼接结果再通过C3HB结构完成特征融合，融合结果作为TSCODE模块的第四层输入特征图；
步骤S225、将步骤S224的输出依次经过CBS结构和C3HB结构后作为TSCODE模块的第五层输入特征图。
8.根据权利要求7所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述步骤S2中，所述backbone的CBS结构输出的低维特征图作为TSCODE模块的第一层输入特征图。
9.根据权利要求8所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述TSCODE模块包括五层TSCODE结构，各TSCODE结构的分类分支采用SCE结构，其输入为第l层输入特征图与第l+1层输入特征图，各TSCODE结构的定位分支采用DPE结构，其输入为第l层输入特征图、第l-1层输入特征图和第l+1层输入特征图，其中，l的取值范围为[1,5]。
10.根据权利要求6所述的一种基于全局信息的乳腺超声肿瘤病变区域检测方法，其特征在于：所述HorBlock结构由层归一化分别与gnConv结构、多层感知机构建分层残差连接实现细颗粒特征融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311740818.2A CN117422715B (zh) | 2023-12-18 | 2023-12-18 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311740818.2A CN117422715B (zh) | 2023-12-18 | 2023-12-18 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422715A true CN117422715A (zh) | 2024-01-19 |
| CN117422715B CN117422715B (zh) | 2024-03-12 |
Family
ID=89525152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311740818.2A Active CN117422715B (zh) | 2023-12-18 | 2023-12-18 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422715B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974672A (zh) * | 2024-04-02 | 2024-05-03 | 华侨大学 | 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 |
| CN118334349A (zh) * | 2024-05-15 | 2024-07-12 | 佛山市第一人民医院 | 一种医学图像分割方法及系统 |
| CN118397066A (zh) * | 2024-06-21 | 2024-07-26 | 天津御锦人工智能医疗科技有限公司 | 基于超声内镜的病变浸润深度评估系统、方法和存储介质 |
| CN118587217A (zh) * | 2024-08-06 | 2024-09-03 | 华侨大学 | 基于特征相关性的骨肉瘤ct图像病变区域检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187268A (zh) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | 基于目标检测和语义分割融合的障碍物检测方法 |
| CN116524226A (zh) * | 2023-02-22 | 2023-08-01 | 太原理工大学 | 一种基于深度学习的乳腺癌病理图像分类装置及方法 |
| CN116758464A (zh) * | 2023-07-03 | 2023-09-15 | 国网江苏省电力有限公司镇江供电分公司 | 基于深度视觉的耐张绝缘子线路环境场景识别方法 |
| CN116977880A (zh) * | 2023-08-25 | 2023-10-31 | 内蒙古农业大学 | 一种基于无人机图像的草地鼠洞检测方法 |
| WO2023221954A1 (zh) * | 2022-05-19 | 2023-11-23 | 浙江大学 | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 |
-
2023
- 2023-12-18 CN CN202311740818.2A patent/CN117422715B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187268A (zh) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | 基于目标检测和语义分割融合的障碍物检测方法 |
| WO2023221954A1 (zh) * | 2022-05-19 | 2023-11-23 | 浙江大学 | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 |
| CN116524226A (zh) * | 2023-02-22 | 2023-08-01 | 太原理工大学 | 一种基于深度学习的乳腺癌病理图像分类装置及方法 |
| CN116758464A (zh) * | 2023-07-03 | 2023-09-15 | 国网江苏省电力有限公司镇江供电分公司 | 基于深度视觉的耐张绝缘子线路环境场景识别方法 |
| CN116977880A (zh) * | 2023-08-25 | 2023-10-31 | 内蒙古农业大学 | 一种基于无人机图像的草地鼠洞检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974672A (zh) * | 2024-04-02 | 2024-05-03 | 华侨大学 | 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 |
| CN117974672B (zh) * | 2024-04-02 | 2024-06-18 | 华侨大学 | 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 |
| CN118334349A (zh) * | 2024-05-15 | 2024-07-12 | 佛山市第一人民医院 | 一种医学图像分割方法及系统 |
| CN118397066A (zh) * | 2024-06-21 | 2024-07-26 | 天津御锦人工智能医疗科技有限公司 | 基于超声内镜的病变浸润深度评估系统、方法和存储介质 |
| CN118587217A (zh) * | 2024-08-06 | 2024-09-03 | 华侨大学 | 基于特征相关性的骨肉瘤ct图像病变区域检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422715B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117422715B (zh) | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 | |
| EP3480786A1 (en) | Medical image object detection with dense feature pyramid network architecture in machine learning | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN109447065A (zh) | 一种乳腺影像识别的方法及装置 | |
| CN109523521A (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| CN111310622A (zh) | 一种面向水下机器人智能作业的鱼群目标识别方法 | |
| CN116935044B (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
| CN113223005A (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| Zhao et al. | D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism | |
| CN114170232A (zh) | 基于Transformer的X线胸片自动诊断与新冠感染区分割方法 | |
| Zhang et al. | Attention-guided feature extraction and multiscale feature fusion 3d resnet for automated pulmonary nodule detection | |
| Pan et al. | Computer-aided tuberculosis diagnosis with attribute reasoning assistance | |
| Pavithra et al. | An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19 | |
| CN116777893B (zh) | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 | |
| CN116993703A (zh) | 一种基于深度学习的乳腺cem图像病灶识别系统及设备 | |
| Huang et al. | Efficient click-based interactive segmentation for medical image with improved Plain-ViT | |
| Hao et al. | CACDU-Net: A novel DoubleU-Net based semantic segmentation model for skin lesions detection in images | |
| Raina et al. | Slim u-net: Efficient anatomical feature preserving u-net architecture for ultrasound image segmentation | |
| Liu et al. | A segmentation model of lung parenchyma in chest CT based on ResUnet | |
| Tuba et al. | Lung Tumor Segmentation and Detection using U-Net with Dilated Convolutions | |
| Shoaib et al. | COVID-19 Lungs CT Scan Lesion Segmentation | |
| Yu et al. | Deep learning-based fully automated detection and segmentation of breast mass | |
| Zhao et al. | Research on automatic detection algorithm of pulmonary nodules based on deep learning | |
| CN108648187A (zh) | 一种基于深度特征袋的分类方法 | |
| CN117392137B (zh) | 一种颅内动脉瘤图像检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |