CN114998303A - 特征提取能力强的小肠间质瘤检测方法 - Google Patents
特征提取能力强的小肠间质瘤检测方法 Download PDFInfo
- Publication number
- CN114998303A CN114998303A CN202210754215.7A CN202210754215A CN114998303A CN 114998303 A CN114998303 A CN 114998303A CN 202210754215 A CN202210754215 A CN 202210754215A CN 114998303 A CN114998303 A CN 114998303A
- Authority
- CN
- China
- Prior art keywords
- detection
- model
- feature
- feature extraction
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 title claims abstract description 46
- 210000000813 small intestine Anatomy 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 230000000968 intestinal effect Effects 0.000 claims abstract description 36
- 230000035945 sensitivity Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000002474 experimental method Methods 0.000 claims description 55
- 230000004927 fusion Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 18
- 101001030591 Homo sapiens Mitochondrial ubiquitin ligase activator of NFKB 1 Proteins 0.000 claims description 16
- 102100038531 Mitochondrial ubiquitin ligase activator of NFKB 1 Human genes 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 5
- 238000002679 ablation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000006872 improvement Effects 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了特征提取能力强的小肠间质瘤检测方法，通过模型的Backbone及Neck部分采用了3DMFNet，能够利用影像序列中存在的空间关联和约束信息，进一步丰富特征信息，增强了网络对于多尺度病灶目标的特征提取能力，明显提高了模型对小肠间质瘤检测的灵敏度，且为了降低模型的假阳率，在模型中添加了一条分割分支作为对等网络，利用精确的像素级标注给小肠间质瘤检测提供良好的辅助监督信号，语义分割分支使用框级标注初始化伪掩码并在迭代过程中通过图模型进行优化，在保证灵敏度的同时，大大降低了模型的假阳率，总的来说，小肠间质瘤检测模型能够在低假阳率的条件下，实现对小肠间质瘤的有效检测。
Description
技术领域
本发明涉及小肠间质瘤检测方法技术领域，具体为特征提取能力强的小肠间质瘤检测方法。
背景技术
小肠间质瘤(SIST)、SIST是原发于人体小肠部位的一种潜在恶性肿瘤，缺乏特异性临床表现，目前，在影像学中对SIST的诊断主要取决于医生丰富的临床经验，该方式效率低且受主观因素影响大，近年来，深度学习技术在医疗辅助诊断领域中发挥着重要作用，有效提升了病灶筛查的效率和准确率，然而，现有方法在SIST检测任务中的应用仍存在特征提取弱及融合不充分、假阳率高问题。
发明内容
本发明的目的在于提供特征提取能力强的小肠间质瘤检测方法，以解决上述背景技术中提出的特征提取弱及融合不充分、假阳率高的问题。
为实现上述目的，本发明提供如下技术方案：特征提取能力强的小肠间质瘤检测方法，包括如下步骤：
A、首先随机选取200例患者中的2900张切片作为训练集，30例患者中的412张切片作为验证集，30例患者中的424张切片作为测试集，并将训练集、验证集以及测试集汇总成样本数据集，然后经过3DMFNET处理成检测分支和弱监督分割辅助分支；
B、样本数据集经过3DMF Net处理时，使用的3DMF Net作为Backbone和Neck部分，且使用Faster RCNN作为Head部分，并添加了一个额外的语义分割分支作为对等网络，为检测任务提供互补信息，在语义分割辅助分支中，3DMF Net输出大小为1024×16×16的2D特征图，经过如FCN中相同的反卷积操作完成上采样，得到和输入切片相同尺寸的特征图，再通过Softmax层进行处理得到网络预测的二分类结果，Softmax层能够输出每个像素属于病灶和背景的概率，进而实现图像分割效果；
C、然后将分割结果和检测结果进行融合成最终检测结果，且在早期阶段，维度是的3D特征图通过堆叠操作生成的2D特征图，为了在特征融合前对特征图中的通道和空间进行关注，优先考虑任务相关信息并减弱无关信号，3D上下文特征融合模块引入了SimAM方法作为通道-空间注意力机制，且SimAM基于神经科学理论，以不增加额外参数的方式，直接从当前神经元中估计出通道和空间的完整三维权重，对原有特征图进行加权生成加权特征图，随后，3DFB和3DFN以不同的方式对其进行处理；
D、接着3DFB主要关注Backbone特征提取过程中的3D上下文特征融合。为了不影响主干网络后续阶段的特征提取，3DFB在融合上下文信息时，不改变特征的原始维度，再通过MC通道的1×1逐通道卷积操作，之后又通过组转换模块group transform module、GTM生成M个特征图，然后3DFN再通过C通道的1×1卷积改变加权特征图通道维度，压缩并融合特征图为C*H丿*W丿，接着GTM将2D特征以M组通道为C的卷积层进行1×1逐点卷积，融合所有相邻特征，最终得到的3D特征图，以适用于后续主干网络的特征提取任务；
E、再使用SLIC算法来生成超像素，超像素可以将原始图像中具有相似纹理、灰度的相邻像素聚合为有一定视觉意义的不规则像素块，随后，再联合这些具有低水平外观线索的原子性区域和当前掩模概率，使用边界框信息作为约束，在迭代过程中逐步细化伪掩码，即可建立小肠间质瘤的检测模型；
F、最后实施三项实验对小肠间质瘤的检测模型中的3DMF Net作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性进行探究、3DFB和3DFN在3D上下文特征融合方式上的优越性进行验证以及小肠环境中假阳性检测结果产生的影响进行探究。
优选的，所述在步骤A中，将样本数据集以50％的概率对切片进行水平翻转或左右翻转，同时将切片边缘的黑色背景进行裁剪，且每个批次包含8个训练样本，每个样本由3张三通道图像进行3D上下文融合，再使用SGD优化器对模型进行12个epoch的迭代训练，且基础学习率为0.001，学习动量为0.9，权重衰减为0.0001，使用warm up线性学习策略调整学习率，在第8个epoch和第11个epoch后分别缩减为原来的1/10。模型采用PyTorch实现，在两张型号为NVIDIA TITAN RTX的显卡上进行，每张为24GB显存。
优选的，所述在步骤A中，检测分支和弱监督分割辅助分支进行多任务学习，并使用更精确的像素级监督信号对检测分支进行辅助，其整体损失函数如下公式所示：
其中，
为Faster RCNN中的检测分支损失函数，系数β＝0.95用于平衡检测和分割的贡献。
优选的，所述在步骤B中，为了评价预测结果并进一步优化网络，语义分割辅助分支的损失函数如下公式所示：
其中，M(·)代表语义分割分支，
代表伪分割掩码标签，公式中平衡系数ρ取值为0.3。
优选的，所述在步骤E中，将切片中与当前伪分割掩码重叠或相邻的超像素映射为一个带权无向图G＝<V，E>，V和E分别是节点和边的集合，将病灶区域的节点和背景区域的节点进行分割，考虑到当前伪掩模中的所有超像素，对其进行二进制标签处理，再细化原有的二进制伪分割掩码，然后将其作为监督信号，在下一个epoch中参与网络的训练，该分支的分割预测结果将与检测结果通过WBF算法进行融合以提供准确的输出。
优选的，所述在步骤F中，探究3DMFNet作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性时，实验一分别在多种模型框架下进行了对比实验，包括FasterRCNN、RetinaNet、MaskRCNN和CenterNet，其中，FasterRCNN是经典的两阶段检测方法，RetinaNet是先进的基于锚框的单阶段检测方法，MaskRCNN是改进的两阶段检测方法，CenterNet是具有代表性的Anchor-Free检测方法，以上方法均为通用自然图像中常见的目标检测方法，为了保证实验的广泛性，本实验也在3DCE_Att和MULAN中进行了对比实验，3DCE_Att和MULAN是病灶检测任务中先进的两阶段检测方法，具有与本文方法不同的3D上下文特征融合策略，在实验设置方面，本实验使用ResNet-101或DenseNet-121网络作为所需对比检测器的Backbone部分，使用FPN或*FPN作为Neck部分，*FPN代表仅使用FPN中FinestLevel上的特征图。
优选的，所述在步骤F中，验证3DFB和3DFN在3D上下文特征融合方式上的优越性时，实验二将其与之前的3D上下文融合方法进行了多方面的对比实验，本实验在MULAN检测框架下进行，MULAN原始主干网络和特征提取网络分别为DenseNet-121和*FPN，本次实验共设置了四类对照组：1、没有上下文切片的融合；2、仅在通道上对3张上下文切片进行简单融合；3、使用文献中的3DContextFusion方法在Backbone和Neck的最后阶段对多张上下文切片的特征进行融合；4、使用本文所提出方法3DFB和3DFN在Backbone和Neck的不同阶段对多张上下文切片的特征进行融合。
优选的，所述在步骤F中，探究小肠环境中假阳性检测结果产生的影响时，进行了本次消融实验，实验结果如表4.2所示，其中3D代表3DMFNet，S代表弱监督语义分割辅助分支，G代表基于图方法的弱监督标签优化方法，为了体现各分支及策略影响模型假阳性预测结果的程度，表格中不仅给出了模型在不同假阳性情况下的敏感度，而且展示了模型在以置信度阈值为0.5时，每张切片中平均出现假阳性预测结果的数量，我们统计置信度大于0.5且不与真实标签重叠的检测框数量FPs，计算
N为样本的总数量。
与现有技术相比，本发明的有益效果是：
本发明中，通过模型的Backbone及Neck部分采用了3DMFNet，能够利用影像序列中存在的空间关联和约束信息，进一步丰富特征信息，增强了网络对于多尺度病灶目标的特征提取能力，明显提高了模型对小肠间质瘤检测的灵敏度，且为了降低模型的假阳率，在模型中添加了一条分割分支作为对等网络，利用精确的像素级标注给小肠间质瘤检测提供良好的辅助监督信号，语义分割分支使用框级标注初始化伪掩码并在迭代过程中通过图模型进行优化，在保证灵敏度的同时，大大降低了模型的假阳率，总的来说，小肠间质瘤检测模型能够在低假阳率的条件下，实现对小肠间质瘤的有效检测。
附图说明
图1为本发明的小肠间质瘤检测模型图；
图2为本发明的多尺度特征融合网络图；
图3为本发明的特征融合模块图；
图4为本发明3DMF Net在不同模型框架下的对比实验结果数据表；
图5为本发明特征融合方法在MULAN中的对比实验结果数据表；
图6为本发明小肠间质瘤检测模型S-AD消融实验结果数据表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-图6，本发明提供技术方案：特征提取能力强的小肠间质瘤检测方法，包括如下步骤：
A、首先随机选取200例患者中的2900张切片作为训练集，30例患者中的412张切片作为验证集，30例患者中的424张切片作为测试集，并将训练集、验证集以及测试集汇总成样本数据集，然后经过3DMFNET处理成检测分支和弱监督分割辅助分支；
B、样本数据集经过3DMF Net处理时，使用的3DMF Net作为Backbone和Neck部分，且使用Faster RCNN作为Head部分，并添加了一个额外的语义分割分支作为对等网络，为检测任务提供互补信息，在语义分割辅助分支中，3DMF Net输出大小为1024×16×16的2D特征图，经过如FCN中相同的反卷积操作完成上采样，得到和输入切片相同尺寸的特征图，再通过Softmax层进行处理得到网络预测的二分类结果，Softmax层能够输出每个像素属于病灶和背景的概率，进而实现图像分割效果；
C、然后将分割结果和检测结果进行融合成最终检测结果，且在早期阶段，维度是的3D特征图通过堆叠操作生成的2D特征图，为了在特征融合前对特征图中的通道和空间进行关注，优先考虑任务相关信息并减弱无关信号，3D上下文特征融合模块引入了SimAM方法作为通道-空间注意力机制，且SimAM基于神经科学理论，以不增加额外参数的方式，直接从当前神经元中估计出通道和空间的完整三维权重，对原有特征图进行加权生成加权特征图，随后，3DFB和3DFN以不同的方式对其进行处理；
D、接着3DFB主要关注Backbone特征提取过程中的3D上下文特征融合。为了不影响主干网络后续阶段的特征提取，3DFB在融合上下文信息时，不改变特征的原始维度，再通过MC通道的1×1逐通道卷积操作，之后又通过组转换模块group transform module、GTM生成M个特征图，然后3DFN再通过C通道的1×1卷积改变加权特征图通道维度，压缩并融合特征图为C*H丿*W丿，接着GTM将2D特征以M组通道为C的卷积层进行1×1逐点卷积，融合所有相邻特征，最终得到的3D特征图，以适用于后续主干网络的特征提取任务；
E、再使用SLIC算法来生成超像素，超像素可以将原始图像中具有相似纹理、灰度的相邻像素聚合为有一定视觉意义的不规则像素块，随后，再联合这些具有低水平外观线索的原子性区域和当前掩模概率，使用边界框信息作为约束，在迭代过程中逐步细化伪掩码，即可建立小肠间质瘤的检测模型；
F、最后实施三项实验对小肠间质瘤的检测模型中的3DMF Net作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性进行探究、3DFB和3DFN在3D上下文特征融合方式上的优越性进行验证以及小肠环境中假阳性检测结果产生的影响进行探究，通过模型的Backbone及Neck部分采用了3DMFNet，能够利用影像序列中存在的空间关联和约束信息，进一步丰富特征信息，增强了网络对于多尺度病灶目标的特征提取能力，明显提高了模型对小肠间质瘤检测的灵敏度，且为了降低模型的假阳率，在模型中添加了一条分割分支作为对等网络，利用精确的像素级标注给小肠间质瘤检测提供良好的辅助监督信号，语义分割分支使用框级标注初始化伪掩码并在迭代过程中通过图模型进行优化，在保证灵敏度的同时，大大降低了模型的假阳率，总的来说，小肠间质瘤检测模型能够在低假阳率的条件下，实现对小肠间质瘤的有效检测。
实施例2
请参阅图1-图6，本发明提供技术方案：特征提取能力强的小肠间质瘤检测方法，包括如下步骤：
A、首先随机选取200例患者中的2900张切片作为训练集，30例患者中的412张切片作为验证集，30例患者中的424张切片作为测试集，并将训练集、验证集以及测试集汇总成样本数据集，将样本数据集以50％的概率对切片进行水平翻转或左右翻转，同时将切片边缘的黑色背景进行裁剪，且每个批次包含8个训练样本，每个样本由3张三通道图像进行3D上下文融合，再使用SGD优化器对模型进行12个epoch的迭代训练，且基础学习率为0.001，学习动量为0.9，权重衰减为0.0001，使用warm up线性学习策略调整学习率，在第8个epoch和第11个epoch后分别缩减为原来的1/10。模型采用PyTorch实现，在两张型号为NVIDIATITAN RTX的显卡上进行，每张为24GB显存，然后经过3DMFNET处理成检测分支和弱监督分割辅助分支，检测分支和弱监督分割辅助分支进行多任务学习，并使用更精确的像素级监督信号对检测分支进行辅助，其整体损失函数如下公式所示：
其中，
为Faster RCNN中的检测分支损失函数，系数β＝0.95用于平衡检测和分割的贡献；
B、样本数据集经过3DMF Net处理时，使用的3DMF Net作为Backbone和Neck部分，且使用Faster RCNN作为Head部分，并添加了一个额外的语义分割分支作为对等网络，为检测任务提供互补信息，在语义分割辅助分支中，3DMF Net输出大小为1024×16×16的2D特征图，经过如FCN中相同的反卷积操作完成上采样，得到和输入切片相同尺寸的特征图，再通过Softmax层进行处理得到网络预测的二分类结果，Softmax层能够输出每个像素属于病灶和背景的概率，进而实现图像分割效果，为了评价预测结果并进一步优化网络，语义分割辅助分支的损失函数如下公式所示：
其中，M(·)代表语义分割分支，
代表伪分割掩码标签，公式中平衡系数ρ取值为0.3；
C、然后将分割结果和检测结果进行融合成最终检测结果，且在早期阶段，维度是的3D特征图通过堆叠操作生成的2D特征图，为了在特征融合前对特征图中的通道和空间进行关注，优先考虑任务相关信息并减弱无关信号，3D上下文特征融合模块引入了SimAM方法作为通道-空间注意力机制，且SimAM基于神经科学理论，以不增加额外参数的方式，直接从当前神经元中估计出通道和空间的完整三维权重，对原有特征图进行加权生成加权特征图，随后，3DFB和3DFN以不同的方式对其进行处理；
D、接着3DFB主要关注Backbone特征提取过程中的3D上下文特征融合。为了不影响主干网络后续阶段的特征提取，3DFB在融合上下文信息时，不改变特征的原始维度，再通过MC通道的1×1逐通道卷积操作，之后又通过组转换模块group transform module、GTM生成M个特征图，然后3DFN再通过C通道的1×1卷积改变加权特征图通道维度，压缩并融合特征图为C*H丿*W丿，接着GTM将2D特征以M组通道为C的卷积层进行1×1逐点卷积，融合所有相邻特征，最终得到的3D特征图，以适用于后续主干网络的特征提取任务；
E、再使用SLIC算法来生成超像素，超像素可以将原始图像中具有相似纹理、灰度的相邻像素聚合为有一定视觉意义的不规则像素块，随后，再联合这些具有低水平外观线索的原子性区域和当前掩模概率，使用边界框信息作为约束，在迭代过程中逐步细化伪掩码，将切片中与当前伪分割掩码重叠或相邻的超像素映射为一个带权无向图G＝<V，E>，V和E分别是节点和边的集合，将病灶区域的节点和背景区域的节点进行分割，考虑到当前伪掩模中的所有超像素，对其进行二进制标签处理，再细化原有的二进制伪分割掩码，然后将其作为监督信号，在下一个epoch中参与网络的训练，该分支的分割预测结果将与检测结果通过WBF算法进行融合以提供准确的输出，即可建立小肠间质瘤的检测模型；
F、最后实施三项实验对小肠间质瘤的检测模型中的3DMF Net作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性进行探究、3DFB和3DFN在3D上下文特征融合方式上的优越性进行验证以及小肠环境中假阳性检测结果产生的影响进行探究，探究3DMFNet作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性时，实验一分别在多种模型框架下进行了对比实验，包括FasterRCNN、RetinaNet、MaskRCNN和CenterNet，其中，FasterRCNN是经典的两阶段检测方法，RetinaNet是先进的基于锚框的单阶段检测方法，MaskRCNN是改进的两阶段检测方法，CenterNet是具有代表性的Anchor-Free检测方法，以上方法均为通用自然图像中常见的目标检测方法，为了保证实验的广泛性，本实验也在3DCE_Att和MULAN中进行了对比实验，3DCE_Att和MULAN是病灶检测任务中先进的两阶段检测方法，具有与本文方法不同的3D上下文特征融合策略，在实验设置方面，本实验使用ResNet-101或DenseNet-121网络作为所需对比检测器的Backbone部分，使用FPN或*FPN作为Neck部分，*FPN代表仅使用FPN中FinestLevel上的特征图，验证3DFB和3DFN在3D上下文特征融合方式上的优越性时，实验二将其与之前的3D上下文融合方法进行了多方面的对比实验，本实验在MULAN检测框架下进行，MULAN原始主干网络和特征提取网络分别为DenseNet-121和*FPN，本次实验共设置了四类对照组：1、没有上下文切片的融合；2、仅在通道上对3张上下文切片进行简单融合；3、使用文献中的3DContextFusion方法在Backbone和Neck的最后阶段对多张上下文切片的特征进行融合；4、使用本文所提出方法3DFB和3DFN在Backbone和Neck的不同阶段对多张上下文切片的特征进行融合，探究小肠环境中假阳性检测结果产生的影响时，进行了本次消融实验，实验结果如表4.2所示，其中3D代表3DMFNet，S代表弱监督语义分割辅助分支，G代表基于图方法的弱监督标签优化方法，为了体现各分支及策略影响模型假阳性预测结果的程度，表格中不仅给出了模型在不同假阳性情况下的敏感度，而且展示了模型在以置信度阈值为0.5时，每张切片中平均出现假阳性预测结果的数量，我们统计置信度大于0.5且不与真实标签重叠的检测框数量FPs，计算
N为样本的总数量，通过模型的Backbone及Neck部分采用了3DMFNet，能够利用影像序列中存在的空间关联和约束信息，进一步丰富特征信息，增强了网络对于多尺度病灶目标的特征提取能力，明显提高了模型对小肠间质瘤检测的灵敏度，且为了降低模型的假阳率，在模型中添加了一条分割分支作为对等网络，利用精确的像素级标注给小肠间质瘤检测提供良好的辅助监督信号，语义分割分支使用框级标注初始化伪掩码并在迭代过程中通过图模型进行优化，在保证灵敏度的同时，大大降低了模型的假阳率，总的来说，小肠间质瘤检测模型能够在低假阳率的条件下，实现对小肠间质瘤的有效检测。
三项实验分析：
实验一：从表4中的实验数据可以看出，3DMFNet在不同程度上提高了检测模型的性能，无论对于两阶段检测方法还是对于单阶段检测方法，使用3DMFNet作为模型的特征提取及融合网络均明显提高了模型的灵敏度，然而对于Anchor-Free的检测方法，3DMFNet仅具有略微的效果，可能原因在于，小肠间质瘤检测任务中，切片的背景像素范围远远大于病灶像素范围，正负样本极端不平衡，Anchor-Free方法缺乏Anchor的先验分布，容易导致模型训练困难，造成检测结果不稳定，实验数据显示，在RJH260数据集上，双阶段检测方法的性能普遍优于单阶段检测方法，基于锚框的检测方法性能普遍优于无锚的检测方法，另一方面，加入FPN特征融合策略，使模型具有了捕获病灶多尺度特征的能力，能够明显提升模型的灵敏度，使用DenseNet-121网络结构相较于使用ResNet-101网络结构，更紧密的卷积神经网络使模型能够获得更高的灵敏度，通过FasterRCNN实验中第2组和第3组对比实验，以及RetinaNet实验中的前两组对比实验结果可知，在该数据集下，仅使用FPN的FinestLevel能够在简化模型计算流程的同时保证灵敏度，值得注意的是，由3DCE_Att和MULAN中的实验结果比较可知，相较于3DCE_Att和MULAN中的3D上下文特征融合方式，3DMFNet在3D上下文特征融合方式中的改进使模型获得了更先进的性能，总的来说，使用本文所提出3DMFNet网络改进MULAN检测方法能够在RJH260数据集中达到最佳性能，在允许所有切片中平均出现[0.5、1、2、4、8]假阳性数量的标准下，其灵敏度分别为[78.76％、86.41％、91.26％、94.66％、98.06％]，相比于没有3D上下文特征融合能力也不包含多尺度结构的代表性方法FasterRCNN，其灵敏度分别提升了[15.26％、15.16％、12.55％、12.42％、14.95％]，相比于具有3D上下文特征提取能力也具有多尺度特征提取能力的其他代表性方法MULAN，其灵敏度分别提升了[2.27％、2.43％、2.43％、1.21％、2.19％]；
实验二：由表5中第0组和第1组对比实验可知，不使用3D上下文特征融合策略，仅在通道上对上下文切片进行融合时，模型性能有所提高，证明了使用3D上下文信息能够为模型带来丰富的病灶特征信息，通过2～4组的对比实验可知，3DContextFusion方法仅在最后阶段融合多张切片的上下文信息，在一定程度上提升了模型的灵敏度，但随着切片数量的增加，模型性能的提升出现了饱和迹象，可能原因在于过多的切片数量提供的上下文信息有限，不能很好地帮助模型提取病灶语义特征，在第5组实验中，由于CNN在初始阶段还没有学习到良好的2D语义特征，这时融合3D上下文的效果较差，因此我们使用3DFB在除C1外的多个特征阶段C2、C3、C4使用3DFB融合3D上下文特征，并在最后一层使用3DFN将特征融合并压缩为2D特征，其余层与FPN的横向连接中依旧使用3DContextFusion方法进行2D特征的转换，通过与第2组实验结果比较，证明了使用3DFB和3DFN在多个阶段进行3D上下文融合为模型所带来的提升显著优于3DContextFusion方法，通过第5组和第6组实验结果的比较，我们发现在C2、C3、C4中使用3DFB和在C2、C4中使用3DFB效果十分相近，因此在C2～C4与FPN的横向连接L2～L4中也尝试使用3DFN，如第7组实验结果所示，模型性能得到了进一步的提升，出现这种改善的原因，可能是3DFN在FPN中的使用补偿了3D上下文信息流动过程中造成的损失，通过7～9组实验可知，在Backbone网络的C2和C4中使用3DFB，在C2～C5与FPN的横向连接L2～L5中使用3DFN，能够充分提取病灶的3D上下文特征，提升网络对小肠间质瘤的检测灵敏度，值得注意的是，通过8～9组与3～4组的实验对比，我们发现使用这种组合方式来融合3D上下文特征，还在一定程度上缓解了随着切片数量增加模型性能提升出现饱和的情况；
实验三：从表6中的实验结果来看，弱监督语义分割辅助分支使用了更纯净的像素级标注进行监督，同时没有基于锚框的所有复杂超参数，将语义分割分支预测结果与检测分支预测结果进行融合，明显降低了模型在小肠间质瘤切片中产生的假阳性率，值得注意的是，基于分割思想进行检测的全卷积网络CenterNet模型，在置信度为0.5的阈值下的平均假阳数量只有2.21，进一步证实了联合分割与检测方法在降低假阳率方面的有效性，另一方面，实验发现基于3D上下文特征融合策略的3DCE_ATT、MULAN以及3DMFNet等方法相比传统检测模型，会在一定程度上增加模型的假阳性结果数量，总的来说，小肠间质瘤检测网络进一步提升了模型的检测性能，在置信度为0.5的阈值下，得到每张切片的平均假阳性数量为4.28，其在相同假阳情况下的灵敏度，分别为[86.02％、90.89％、92.93％、93.94％、95.08％]。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.特征提取能力强的小肠间质瘤检测方法，其特征在于：包括如下步骤：
A、首先随机选取200例患者中的2900张切片作为训练集，30例患者中的412张切片作为验证集，30例患者中的424张切片作为测试集，并将训练集、验证集以及测试集汇总成样本数据集，然后经过3DMFNET处理成检测分支和弱监督分割辅助分支；
B、样本数据集经过3DMF Net处理时，使用的3DMF Net作为Backbone和Neck部分，且使用Faster RCNN作为Head部分，并添加了一个额外的语义分割分支作为对等网络，为检测任务提供互补信息，在语义分割辅助分支中，3DMF Net输出大小为1024×16×16的2D特征图，经过如FCN中相同的反卷积操作完成上采样，得到和输入切片相同尺寸的特征图，再通过Softmax层进行处理得到网络预测的二分类结果，Softmax层能够输出每个像素属于病灶和背景的概率，进而实现图像分割效果；
C、然后将分割结果和检测结果进行融合成最终检测结果，且在早期阶段，维度是的3D特征图通过堆叠操作生成的2D特征图，为了在特征融合前对特征图中的通道和空间进行关注，优先考虑任务相关信息并减弱无关信号，3D上下文特征融合模块引入了SimAM方法作为通道-空间注意力机制，且SimAM基于神经科学理论，以不增加额外参数的方式，直接从当前神经元中估计出通道和空间的完整三维权重，对原有特征图进行加权生成加权特征图，随后，3DFB和3DFN以不同的方式对其进行处理；
D、接着3DFB主要关注Backbone特征提取过程中的3D上下文特征融合。为了不影响主干网络后续阶段的特征提取，3DFB在融合上下文信息时，不改变特征的原始维度，再通过MC通道的1×1逐通道卷积操作，之后又通过组转换模块group transform module、GTM生成M个特征图，然后3DFN再通过C通道的1×1卷积改变加权特征图通道维度，压缩并融合特征图为C*H丿*W丿，接着GTM将2D特征以M组通道为C的卷积层进行1×1逐点卷积，融合所有相邻特征，最终得到的3D特征图，以适用于后续主干网络的特征提取任务；
E、再使用SLIC算法来生成超像素，超像素可以将原始图像中具有相似纹理、灰度的相邻像素聚合为有一定视觉意义的不规则像素块，随后，再联合这些具有低水平外观线索的原子性区域和当前掩模概率，使用边界框信息作为约束，在迭代过程中逐步细化伪掩码，即可建立小肠间质瘤的检测模型；
F、最后实施三项实验对小肠间质瘤的检测模型中的3DMF Net作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性进行探究、3DFB和3DFN在3D上下文特征融合方式上的优越性进行验证以及小肠环境中假阳性检测结果产生的影响进行探究。
2.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤A中，将样本数据集以50％的概率对切片进行水平翻转或左右翻转，同时将切片边缘的黑色背景进行裁剪，且每个批次包含8个训练样本，每个样本由3张三通道图像进行3D上下文融合，再使用SGD优化器对模型进行12个epoch的迭代训练，且基础学习率为0.001，学习动量为0.9，权重衰减为0.0001，使用warm up线性学习策略调整学习率，在第8个epoch和第11个epoch后分别缩减为原来的1/10。模型采用PyTorch实现，在两张型号为NVIDIA TITANRTX的显卡上进行，每张为24GB显存。
3.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤A中，检测分支和弱监督分割辅助分支进行多任务学习，并使用更精确的像素级监督信号对检测分支进行辅助，其整体损失函数如下公式所示：
其中，
为Faster RCNN中的检测分支损失函数，系数β＝0.95用于平衡检测和分割的贡献。
4.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤B中，为了评价预测结果并进一步优化网络，语义分割辅助分支的损失函数如下公式所示：
其中，M(·)代表语义分割分支，
代表伪分割掩码标签，公式中平衡系数ρ取值为0.3。
5.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤E中，将切片中与当前伪分割掩码重叠或相邻的超像素映射为一个带权无向图G＝<V，E>，V和E分别是节点和边的集合，将病灶区域的节点和背景区域的节点进行分割，考虑到当前伪掩模中的所有超像素，对其进行二进制标签处理，再细化原有的二进制伪分割掩码，然后将其作为监督信号，在下一个epoch中参与网络的训练，该分支的分割预测结果将与检测结果通过WBF算法进行融合以提供准确的输出，
6.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤F中，探究3DMFNet作为病灶特征提取网络和特征融合网络在相关模型方法中的有效性时，实验一分别在多种模型框架下进行了对比实验，包括FasterRCNN、RetinaNet、MaskRCNN和CenterNet，其中，FasterRCNN是经典的两阶段检测方法，RetinaNet是先进的基于锚框的单阶段检测方法，MaskRCNN是改进的两阶段检测方法，CenterNet是具有代表性的Anchor-Free检测方法，以上方法均为通用自然图像中常见的目标检测方法，为了保证实验的广泛性，本实验也在3DCE_Att和MULAN中进行了对比实验，3DCE_Att和MULAN是病灶检测任务中先进的两阶段检测方法，具有与本文方法不同的3D上下文特征融合策略，在实验设置方面，本实验使用ResNet-101或DenseNet-121网络作为所需对比检测器的Backbone部分，使用FPN或*FPN作为Neck部分，*FPN代表仅使用FPN中FinestLevel上的特征图。
7.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤F中，验证3DFB和3DFN在3D上下文特征融合方式上的优越性时，实验二将其与之前的3D上下文融合方法进行了多方面的对比实验，本实验在MULAN检测框架下进行，MULAN原始主干网络和特征提取网络分别为DenseNet-121和*FPN，本次实验共设置了四类对照组：1、没有上下文切片的融合；2、仅在通道上对3张上下文切片进行简单融合；3、使用文献中的3DContextFusion方法在Backbone和Neck的最后阶段对多张上下文切片的特征进行融合；4、使用本文所提出方法3DFB和3DFN在Backbone和Neck的不同阶段对多张上下文切片的特征进行融合；
8.根据权利要求1所述的特征提取能力强的小肠间质瘤检测方法，其特征在于：所述在步骤F中，探究小肠环境中假阳性检测结果产生的影响时，进行了本次消融实验，实验结果如表4.2所示，其中3D代表3DMFNet，S代表弱监督语义分割辅助分支，G代表基于图方法的弱监督标签优化方法，为了体现各分支及策略影响模型假阳性预测结果的程度，表格中不仅给出了模型在不同假阳性情况下的敏感度，而且展示了模型在以置信度阈值为0.5时，每张切片中平均出现假阳性预测结果的数量，我们统计置信度大于0.5且不与真实标签重叠的检测框数量FPs，计算
N为样本的总数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754215.7A CN114998303A (zh) | 2022-06-30 | 2022-06-30 | 特征提取能力强的小肠间质瘤检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754215.7A CN114998303A (zh) | 2022-06-30 | 2022-06-30 | 特征提取能力强的小肠间质瘤检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114998303A true CN114998303A (zh) | 2022-09-02 |
Family
ID=83019077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210754215.7A Withdrawn CN114998303A (zh) | 2022-06-30 | 2022-06-30 | 特征提取能力强的小肠间质瘤检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998303A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239962A (zh) * | 2022-09-22 | 2022-10-25 | 珠海横琴圣澳云智科技有限公司 | 基于深层大感受野空间注意力的目标分割方法和装置 |
| CN116894842A (zh) * | 2023-09-08 | 2023-10-17 | 南方医科大学南方医院 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
| CN117132870A (zh) * | 2023-10-25 | 2023-11-28 | 西南石油大学 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
-
2022
- 2022-06-30 CN CN202210754215.7A patent/CN114998303A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239962A (zh) * | 2022-09-22 | 2022-10-25 | 珠海横琴圣澳云智科技有限公司 | 基于深层大感受野空间注意力的目标分割方法和装置 |
| CN115239962B (zh) * | 2022-09-22 | 2022-12-16 | 珠海横琴圣澳云智科技有限公司 | 基于深层大感受野空间注意力的目标分割方法和装置 |
| CN116894842A (zh) * | 2023-09-08 | 2023-10-17 | 南方医科大学南方医院 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
| CN116894842B (zh) * | 2023-09-08 | 2023-12-22 | 南方医科大学南方医院 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
| CN117132870A (zh) * | 2023-10-25 | 2023-11-28 | 西南石油大学 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
| CN117132870B (zh) * | 2023-10-25 | 2024-01-26 | 西南石油大学 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114998303A (zh) | 特征提取能力强的小肠间质瘤检测方法 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109815919B (zh) | 一种人群计数方法、网络、系统和电子设备 | |
| CN110969124A (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
| CN114219943B (zh) | 一种基于深度学习的ct图像危及器官分割系统 | |
| CN112699786B (zh) | 一种基于空间增强模块的视频行为识别方法及系统 | |
| CN110580704A (zh) | 基于卷积神经网络的et细胞图像自动分割方法及系统 | |
| CN108629753A (zh) | 一种基于循环神经网络的人脸图像恢复方法及装置 | |
| US11935213B2 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN116935044B (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
| CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| Qiu et al. | Residual dense attention networks for COVID-19 computed tomography images super resolution | |
| Dong et al. | Semi-supervised domain alignment learning for single image dehazing | |
| CN115293986A (zh) | 一种多时相遥感图像云区重建方法 | |
| Zhang et al. | Attention-guided feature extraction and multiscale feature fusion 3d resnet for automated pulmonary nodule detection | |
| CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、系统 | |
| CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
| CN113780193A (zh) | 基于rcnn的牛群目标检测方法及设备 | |
| CN111881803B (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| CN111612764B (zh) | 一种新冠肺炎磨玻璃病灶造影解析方法、系统及存储介质 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN115760810B (zh) | 医学图像分割装置、方法及计算机可读存储介质 | |
| Qin et al. | Multi-scale feedback feature refinement u-net for medical image segmentation | |
| CN114821714A (zh) | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220902 |
|
| WW01 | Invention patent application withdrawn after publication |