CN116309806A - 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 - Google Patents
一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 Download PDFInfo
- Publication number
- CN116309806A CN116309806A CN202310307360.5A CN202310307360A CN116309806A CN 116309806 A CN116309806 A CN 116309806A CN 202310307360 A CN202310307360 A CN 202310307360A CN 116309806 A CN116309806 A CN 116309806A
- Authority
- CN
- China
- Prior art keywords
- thyroid
- feature
- csai
- region
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000008901 benefit Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000000586 desensitisation Methods 0.000 abstract 1
- 230000004807 localization Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 208000024799 Thyroid disease Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 208000021510 thyroid gland disease Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于CSAI‑GridRCNN的甲状腺超声图像感兴趣区域定位方法，首先利用数据增强方法预处理训练图像样本并构建训练数据集，结合KNNMatting算法对数据进行脱敏处理；然后在GridRCNN模型的特征提取层与目标检测层间引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互，建立CSAI‑GridRCNN甲状腺感兴趣区域定位模型；最后以预测值与真实值之间的误差构建损失函数，迭代更新模型权重参数使得损失函数收敛，获得CSAI‑GridRCNN模型并用于甲状腺感兴趣区域定位。本发明考虑了GridRCNN特征提取网络跨尺度特征传输过程中信息丢失及交互效率低下，构建了基于CSAI‑GridRCNN的甲状腺超声图像感兴趣区域定位模型，提高了甲状腺感兴趣区域定位的准确性。
Description
技术领域
本发明涉及一种感兴趣区域定位方法，属于机器视觉与医学图像处理交叉领域，尤其涉及一种基于跨尺度注意力交互Grid RCNN(Cross-scale Attention InteractionImproved Grid Region-based Convolutional Neural Network，CSAI-Grid RCNN)的甲状腺超声图像感兴趣区域定位方法。
背景技术
二维超声是甲状腺疾病临床诊断的主要检查手段，甲状腺超声图像感兴趣区域定位是诊断甲状腺疾病的重要步骤。建立并训练高质量的甲状腺感兴趣区域定位模型，能够提取更丰富、有效的甲状腺及其周围组织特征，提高甲状腺疾病诊断的准确性。
在临床诊断中医生通常依据病理知识手工定位甲状腺超声图像感兴趣区域，增加了医生的工作负担，并且感兴趣区域的准确定位依赖于医生主观认知和临床经验。超声图像中甲状腺区域与周边组织特征差异较小且边界模糊致使手工定位感兴趣区域较困难。深度卷积神经网络因具有良好的特征提取和表达能力被应用于医学图像目标分类和检测任务，其中的Grid RCNN(Grid Region-based Convolutional Neural Network)算法具有目标检测准确性高，扩展性好等优点，广泛应用于感兴趣区域的定位。然而，Grid RCNN特征提取部分使用传统的残差神经网络(Residual Neural Network，ResNet)和特征金字塔(Feature Pyramid Network，FPN)，未能充分捕捉到真实甲状腺和其他周围组织表征的丰富语义信息。同时，在进行特征融合前对特征图通道进行压缩，丢失了重要的通道信息，影响了感兴趣区域定位的准确性。
因此，本发明充分考虑了Grid RCNN特征提取过程中跨尺度特征交互不充分和通道压缩带来的数据丢失问题，对Grid RCNN网络特征融合路径进行改进，引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互，构建了基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型，提高了定位准确性。
发明内容
本发明以提高模型感兴趣区域定位准确性为目的；首先采用数据增强方法对训练样本进行预处理并构建训练数据集，结合KNN Matting算法对数据进行脱敏处理，去除冗余信息提高后续定位准确性；然后在Grid RCNN模型的特征提取网络引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互，计算相同层级特征的自注意力得分，跨尺度交互通道注意力和空间注意力，通过收集分布的多级全局上下文通道信息来提取判别特征，在传统金字塔特征逐层相加前使用内容感知采样和通道重新加权来融合相邻级别的特征；最后构建损失函数，训练深度卷积网络模型直至损失函数收敛，进而利用所训练的定位模型定位甲状腺超声图像的感兴趣区域。基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位流程如图1所示。
本发明采用的技术方案为一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法，该方法具体包括以下步骤：
步骤一：通过KNN Matting算法对患者信息进行脱敏处理，构建甲状腺灰阶图像数据集，按设定批次加载通过色彩空间变换数据增强后的训练数据集，设置深度学习框架中的在线数据增强参数实现训练数据流进行二次数据增强；
步骤二：构建基于跨尺度注意力交互特征融合的特征网络，连接至ResNet101骨干网络，利用基于跨尺度注意力交互特征融合网络提取甲状腺超声图像特征；
步骤三：构建基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型，初始化Grid RCNN检测器，利用对位置信息更加敏感的全卷积网络来实现目标定位框的精确修正，借助卷积层生成的热图来确定初始的网格点，并通过网格点确定锚框边界位置；
步骤四：根据步骤一得到的训练数据集，训练步骤三构建的区域建议网络，得到建议区域，将输入图像划分网格，生成锚框，通过卷积操作对选框回归进行预测，得到分类概率及边界框，根据预测值与真实值间误差构建损失函数，训练步骤三中定位模型至损失函数收敛；
步骤五：输入测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络，采用非极大值抑制对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标，得到定位结果。
具体而言，步骤一包括如下步骤：
采用KNN Matting算法对甲状腺超声图像进行预处理，裁剪边框去除患者隐私数据同时减少输入网络的冗余信息进而提高定位准确性；利用非局部原理，对像素i与其相近特征像素进行加权求和，权重由核函数K(i,j)得到，则像素i对应代表前景色所占比重的因子α的期望值E(αi)可表示为
其中，h1、h2为超声图像前景背景调节参数；
是中心加权高斯函数加权后的范数；X(i)及X(j)表示由像素i、j及周边信息计算获取的特征向量；di,j表示i与j像素之间的欧式距离。
结合手工标注求解共轭梯度矩阵分割得到前景区域，根据灰阶超声图像数据对象特点采用随机伽玛校正、高斯平滑和直方图均衡化三种颜色空间变换方法进行离线数据增强。设原图有O＝p(x,y)，x及y为像素位置坐标索引，进行色彩空间变换增强后的图像为O′，伽玛校正对像素亮度及对比度进行非线性变换
O′＝Oγ (4)
上式代表伽玛编码值为γ的伽玛校正，调整图像灰度值的分布。对于高斯平滑
O′(x,y,σ)＝G(x,y,σ)*O(x,y) (5)
其中，σ为该点运算对应的高斯核函数的标准差；*为卷积运算。
采用限制对比度的自适应直方图均衡(Contrast Limited Adaptive histogramequalization，CLAHE)，通过限制直方图的增益来避免过度增强图像的噪声
其中，
为像素分块及重分配后得到的数据，利用函数R(O)对每组分块进行像素重分配，对超出直方图增益限制的部分进行裁剪，并将裁剪后像素重新组合；Q(·)为原图直方图的概率密度的累积分布函数。
步骤二包括如下步骤：
利用三重注意力模块(Triplet Attention Module，TAM)对骨干网络输出的n个层级特征图[F0,F1,…,Fn]作为输入，对于第i层特征Fi对应张量x∈C×H×W，x1及x2分别为x沿H轴及W轴逆时针旋转90°所得张量。而后通过整合最大池化与平均池化的Z-pool池化层压缩得到
及/>
对x进行通道池化获得x3，对于TAM有
其中，output为TAM模块的运算结果；δ表示sigmoid激活函数；φ1、φ2、φ3分别表示三条支路中卷积核尺寸为7*7的二维卷积运算；Avg表示三条支路输出的均值。
在所构建的CSAI中，同尺度注意力机制交互可以表示为
其中，Ci为TAM模块第i层的输出特征；Fi表示第i层特征；Fi1和Fi2分别表示该层特征沿H和W轴逆时针旋转所得特征；
和/>
分别为三条分支当中计算得到的注意力权重。TAM模块计算流程如图2所示。
对于跨尺度通道注意力交互模块的构建，获取各个尺度特征所包含的不同的语义信息来优化各层级的特征，该模块可表示为
Cn′+1＝deconv(Cn+1) (11)
其中，GAP表示全局池化；deconv、conv分别为反卷积和卷积运算；δ为获取通道权值的sigmoid函数。
高层级特征
与下层特征Ci∈(C,H,W)进行交互时采用3*3的反卷积获得相同的尺寸及通道数，而后通过全集池化及卷积计算获取通道维度的注意力权重，与下层特征相乘后与自身进行逐元素间融合，得到Ci及Ci+1跨尺度通道注意力交互输出Pni。
针对固定层级特征完成与其余尺度特征的交互后得到[Pi0,Pi1,…,Pin]，采取拼接计算对上述结果进行加权拼接
Pi c＝conv(ψ(Pi1,Pi2,…,Pin)) (13)
其中，Pi c是加权后的中间特征；ψ表示拼接运算，串接1*1卷积进行降维调整至原始通道数。跨尺度通道注意力交互原理图如图3所示。
跨尺度空间注意力交互模块部分以特征金字塔网络为基础，在上采样部分引入CARAFE结合空间注意力，对具有相同通道数相邻层级中间特征
逐次进行空间层面的注意力加权计算，将通过最大池化下采样的Pi与上层特征Pi+1拼接并进行通道压缩得到P(i,i+1)，通道数为cm。根据合并特征内容生成重组内核，归一化后得到尺寸为
的上采样核Wl′，与P(i,i+1)重新组合运算
Wl′＝ψ(P(i,i+1),kencoder) (14)
其中，kencoder表示生成上采用核的卷积核尺寸；ψ及φ分别为核预测模块和上下文重组模块。
完成上采样后计算空间注意力权重，通过点乘形式分配给上采样输出
和原始下层特征Pi，以元素相加方式合并，借助超参数α、β调节融合过程
其中，Ms代表空间注意力权重；为张量间点乘运算；Oi为CSAI特征网络第i层级的输出。跨尺度空间注意力交互原理图如图4所示。
步骤三包括如下步骤：
网格预测支路采用全卷积网络，选用3×3个网格点排列在预选框中，利用8个3*3的膨胀卷积扩大感受野后，采用2个2*2的反卷积层获得9个尺度为wo×ho的热图，在每组热图上利用sigmoid函数进行计算得到引导网格点进行修正的概率图。将概率图坐标为(Hx,Hy)的像素点映射至原始特征图中的(Ix,Iy)
其中，(Px,Py)是输入特征中预选框左上角坐标索引；(wp,hp)为预选框的宽高；(wo,ho)为输出概率图的宽高；根据原始特征图网格点坐标确定边界框B＝(xl,yu,xr,yb)，xl,yu,xr,yb表示坐标框边缘信息；gj为第j对应坐标(xj,yj)的网格点。
对于尺寸为N×N的特征图，计算得到B与网格点的集合
其中，Ei为包含第i条边缘网格点gj索引位置的集合；pj为在热图中计算得到的预测概率值；Fi为第i个网格点对应的特征图，与修正该特征网格点位置提供信息的特征Fj进行融合。融合方式可表示为
其中，Fi′为融合后的特征图；θ表示映射函数，由3个堆叠的5*5卷积层组成；Si表示由第i个网格点临近点构成的集合。
GridRCNN检测头选框修正流程如图5所示。基于上述的GridRCNN检测头结合步骤二CSAI特征提取网络构建甲状腺感兴趣区域定位网络。
步骤四包括如下步骤：
训练步骤三所构建的基于CSAI-Grid RCNN的甲状腺感兴趣区域定位模型，其对预测对象位置进行学习。对于区域建议网络，采用Smooth L1 Loss作为损失函数引导建议框的修正
其中，x为建议框与目标框的数值差。采用交叉熵损失作为GridRCNN检测头中选框微调的损失函数，训练深度卷积神经网络直至损失函数收敛，如图6所示。获得基于CSAI-GridRCNN的甲状腺感兴趣区域定位模型。
步骤五包括如下步骤：
输入临床真实采集的甲状腺灰阶超声图像作为测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络。设定不同IOU阈值IoUthreshold，选取0.5及0.75，采用非极大值抑制方法对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标作为结果输出。
本发明的优点：充分考虑了特征融合过程信息交互受限及通道压缩导致的信息丢失，改进了GridRCNN网络中采用的卷积层特征交互方式，解耦空间及通道注意力，引导网络关注重要区域，强化特征传播；引入空间金字塔池化模块汇聚多尺度局部区域特征，实现对各层特征信息的有效融合，丰富了各层特征的语义和像素级信息；构建了基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位模型，提高了感兴趣区域定位的准确性。
附图说明
图1是本发明所述的一种基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位流程。
图2是TAM三重注意力模块计算流程。
图3是CSAI特征提取网络跨尺度通道注意力交互原理图。
图4是CSAI特征提取网络跨尺度空间注意力交互原理图。
图5是GridRCNN检测头选框修正流程图。
图6是基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位方法计算损失函数和迭代更新网络权重的流程图。
图7是具体实施方式中基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型在CEUS-IDP甲状腺灰阶超声数据集上的图像目标检测结果。
具体实施方式
下面结合实例及附图对本发明作进一步的描述，需要说明的是，实施例并不限定本发明要求保护的范围。
实施例
实施例采用CEUS-IDP数据集，由某三甲医院自2020年10月至2021年8月23日收集的超声造影数据处理得到，采用Philips iU22超声诊断仪结合L21-5超声探头，经两位超声科专家采集获取，包含169个良性病例和331个恶性病例共1000张超声图像样本，采用labelimg(COCO数据集标注工具)为样本图像中的甲状腺区域绘制锚框进行标注，并生成JSON格式的标注文件；训练数据集图像800副，验证数据集图像100副，测试数据集图像100副。
实施例配置为Ubuntu 18.04系统Pycharm IDE集成开发环境，硬件配置为Intel(R)Xeon(R)Gold 52173.00GHz CPU，内存64GB；GPU为双块Nvidia RTX 2080Ti显示处理器，每块显存为12.00GB。采用Pytorch深度学习框架与MMCV深度学习算法库，实验代码均基于python 3.7语言编程实现。
将本发明应用到上述CEUS-IDP数据集图像目标检测中，具体步骤如下：
步骤一：采用色彩空间变换方法对训练样本进行数据增强；对训练图像随机进行伽玛校正，伽玛编码值γ随机在范围[0.45,2]内进行选取，调整图像的灰度值分布情况；对训练图像进行高斯平滑处理，高斯核函数的标准差设定范围为σ∈[0,3.0]；采用CLAHE抑制图像噪声并增强灰阶超声图像的对比度，其中限制裁剪直方图的阈值的参数设定为4.0。
步骤二：将训练图像统一至224×224像素尺寸，输入基于CSAI特征网络的甲状腺超声图像感兴趣区域定位模型。首先对输入数据进行归一化并转化为张量，对于均值参数mean取[123.675，116.28，103.53]，均值std取[58.395，57.12，57.375]。
骨干网络ResNet101四个不同stage输出四个层级的特征，尺度分别为200×272×256、100×136×512、50×68×1024及25×34×2048。上述特征组成的元组输入TAM自注意力模块进行自注意力加权得到的特征列表与骨干网络输出相同，在经过跨尺度通道注意力交互模块后通道维度统一为256，利用卷积添置额外层后输入至跨尺度空间注意力交互模块，其中权重调节参数α＝0.2、β＝0.2，最终特征网络输出特征尺寸为200×272×256、100×136×256、50×68×256、25×34×256及13×17×256。
通过回归预测每个包含目标真实位置中心的网格预测四个可能的预测目标框，设置接受该边界框包含目标的交并比阈值IoUthreshold＝0.5。
步骤三：分批次输入训练样本，批次大小为4，训练过程采用自适应动量调整(Adaptive Moment Estimation，Adam)算法根据设定的损失函数迭代更新网络节点权值。采用余弦退火策略和周期性重设调整训练过程学习率，初始学习率lr设置为2e-3，同时为防止初始学习率偏大导致模型陷入局部最优，采用warmup预热策略，线性调整学习率至第5个epoch达到初始lr。训练计划为1x时，训练采用65个epoch。
步骤四：输入临床真实采集的甲状腺灰阶超声图像作为测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络；设定不同IOU阈值IoUthreshold，选取0.5及0.75；采用非极大值抑制方法对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标作为结果输出。基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域模型定位结果如图7所示。
上述步骤为本发明在CEUS-IDP数据集上进行模型训练和感兴趣区域定位的具体应用，为了验证本发明的有效性，将所提出的基于跨尺度注意力交互特征网络与当前目标检测即感兴趣区域得领域先进且广泛应用的特征金字塔网络进行对比。利用不同IoU阈值下的平均准确度(Average Precision，AP)作为性能评价指标，分别选取IoU阈值为0.5、0.75的平均准确度AP50、AP75评价基于CSAI-Grid RCNN甲状腺感兴趣区域定位算法的性能。CEUS-IDP测试数据集的目标检测结果如表1所示。
表1基于CSAI特征网络甲状腺感兴趣区域定位算法在CEUS-IDP测试集上的定位结果
由表1可知，在PASCALVOC 2007测试数据集上自建的甲状腺灰阶超声联合数据集上感兴趣区域定位的AP50＝0.927，AP75＝0.474，在同等实验条件下相较于基础FPN取得了的15.14％的AP提升，同时在较高的IoU阈值约束条件下模型的定位能力增强更为显著，AP75相较于基准FPN有24.41％的提升，比AP50的提升高出约四倍，表明跨尺度注意力交互特征网络更注重于细微预测框的调整，在更为严苛的条件下进一步细化预测框对真实感兴趣区域的检测，说明本文提出的CSAI特征提取网络在甲状腺灰阶图像上针对感兴趣区域的定位任务上综合性能优于上述特征网络方法。
在上述实验条件下测试各模块独立及组合对定位模型的性能提升情况，结果如表2所示。
表2各模块在甲状腺灰阶超声联合数据集上的消融实验结果
由实验结果可知，结果表明构成跨尺度注意力交互特征网络的每个模块均对定位模型的性能提升做出了不同程度的贡献，三种模块组合相较于基线实现了15.01％的AP50提升。
将所提出的CSAI模块集成至Grid RCNN检测器当中与目前SOTA的目标检测及感兴趣区域定位模型在CEUS-IDP测试数据集上进行对比实验，定位结果如表3所示。
表3CSAI-GridRCNN及其他先进方法在CEUS-IDP数据集上的感兴趣区域定位结果
(续表3)
实验结果表明基于CSAI-Grid RCNN的甲状腺感兴趣区域定位算法在CEUS-IDP测试数据集上实现了最好的效果，相较于二阶段Faster RCNN模型的AP50提升3.92％，相较于一阶段YOLOv3模型提升了4.04％的AP50，定位准确性有了较明显的提升。
上述实验结果表明：采用本发明所述方法提出的基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法合理、有效，提高了甲状腺感兴趣区域定位的准确性。
Claims (6)
1.一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法，其特征在于：该方法包括以下步骤：
步骤一：通过KNN Matting算法对患者信息进行脱敏处理，构建甲状腺灰阶图像数据集，按设定批次加载通过色彩空间变换数据增强后的训练数据集，设置深度学习框架中的在线数据增强参数实现训练数据流进行二次数据增强；
步骤二：构建基于跨尺度注意力交互特征融合的特征网络，连接至ResNet101骨干网络，利用基于跨尺度注意力交互特征融合网络提取甲状腺超声图像特征；
步骤三：构建基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型，初始化Grid RCNN检测器，利用对位置信息更加敏感的全卷积网络来实现目标定位框的精确修正，利用卷积层生成的热图来确定初始的网格点，并通过网格点确定锚框边界位置；
步骤四：根据步骤一得到的训练数据集，训练步骤三构建的区域建议网络，得到建议区域，将输入图像划分网格，生成锚框，通过卷积操作对选框回归进行预测，得到分类概率及边界框，根据预测值与真实值间误差构建损失函数，训练步骤三中定位模型至损失函数收敛；
步骤五：输入测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络，采用非极大值抑制对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标，得到定位结果。
2.根据权利要求1所述的一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法，其特征在于：步骤一包括如下步骤，
采用KNN Matting算法对甲状腺超声图像进行预处理，裁剪边框去除患者隐私数据同时减少输入网络的冗余信息进而提高定位准确性；利用非局部原理，对像素i与其相近特征像素进行加权求和，权重由核函数K(i,j)得到，则像素i对应代表前景色所占比重的因子α的期望值E(αi)可表示为
其中，h1、h2为超声图像前景背景调节参数；
是中心加权高斯函数加权后的范数；X(i)及X(j)表示由像素i、j及周边信息计算获取的特征向量；di,j表示i与j像素之间的欧式距离；
结合手工标注求解共轭梯度矩阵分割得到前景区域，根据灰阶超声图像数据对象特点采用随机伽玛校正、高斯平滑和直方图均衡化三种颜色空间变换方法进行离线数据增强；设原图有O＝p(x,y)，x及y为像素位置坐标索引，进行色彩空间变换增强后的图像为O′，伽玛校正对像素亮度及对比度进行非线性变换
O′＝Oγ (4)
上式代表伽玛编码值为γ的伽玛校正，调整图像灰度值的分布；对于高斯平滑
O′(x,y,σ)＝G(x,y,σ)*O(x,y) (5)
其中，σ为该点运算对应的高斯核函数的标准差；*为卷积运算；
采用限制对比度的自适应直方图均衡，通过限制直方图的增益来避免过度增强图像的噪声
其中，
为像素分块及重分配后得到的数据，利用函数R(O)对每组分块进行像素重分配，对超出直方图增益限制的部分进行裁剪，并将裁剪后像素重新组合；Q(·)为原图直方图的概率密度的累积分布函数。
3.根据权利要求1所诉的一种基于CSAI-GridRCNN的甲状腺感兴趣区域定位方法，其特征在于：步骤二包括如下步骤，
利用三重注意力模块对骨干网络输出的n个层级特征图[F0,F1,…,Fn]作为输入，对于第i层特征Fi对应张量x∈C×H×W，x1及x2分别为x沿H轴及W轴逆时针旋转90°所得张量；而后通过整合最大池化与平均池化的Z-pool池化层压缩得到
及/>
对x进行通道池化获得x3，对于TAM有
其中，output为TAM模块的运算结果；δ表示sigmoid激活函数；φ1、φ2、φ3分别表示三条支路中卷积核尺寸为7*7的二维卷积运算；Avg表示三条支路输出的均值；
在所构建的CSAI中，同尺度注意力机制交互可以表示为
其中，Ci为TAM模块第i层的输出特征；Fi表示第i层特征；Fi1和Fi2分别表示该层特征沿H和W轴逆时针旋转所得特征；
和/>
分别为三条分支当中计算得到的注意力权重；
对于跨尺度通道注意力交互模块的构建，获取各个尺度特征所包含的不同的语义信息来优化各层级的特征，该模块可表示为
C′n+1＝deconv(Cn+1) (11)
其中，GAP表示全局池化；deconv、conv分别为反卷积和卷积运算；δ为获取通道权值的sigmoid函数；
高层级特征
与下层特征Ci∈(C,H,W)进行交互时采用3*3的反卷积获得相同的尺寸及通道数，而后通过全集池化及卷积计算获取通道维度的注意力权重，与下层特征相乘后与自身进行逐元素间融合，得到Ci及Ci+1跨尺度通道注意力交互输出Pni；
针对固定层级特征完成与其余尺度特征的交互后得到[Pi0,Pi1,…,Pin]，采取拼接计算对上述结果进行加权拼接
其中，pi c是加权后的中间特征；ψ表示拼接运算，串接1*1卷积进行降维调整至原始通道数；
跨尺度空间注意力交互模块部分以特征金字塔网络为基础，在上采样部分引入CARAFE结合空间注意力，对具有相同通道数相邻层级中间特征
逐次进行空间层面的注意力加权计算，将通过最大池化下采样的Pi与上层特征Pi+1拼接并进行通道压缩得到P(i,i+1)，通道数为cm；根据合并特征内容生成重组内核，归一化后得到尺寸为/>
的上采样核Wl′，与P(i,i+1)重新组合运算
Wl′＝ψ(P(i,i+1),kencoder) (14)
其中，kencoder表示生成上采用核的卷积核尺寸；ψ及φ分别为核预测模块和上下文重组模块；
完成上采样后计算空间注意力权重，通过点乘形式分配给上采样输出
和原始下层特征Pi，以元素相加方式合并，借助超参数α、β调节融合过程
其中，Ms代表空间注意力权重；为张量间点乘运算；Oi为CSAI特征网络第i层级的输出。
4.根据权利要求1所诉的一种基于CSAI特征网络的甲状腺感兴趣区域定位方法，其特征在于：步骤三包括如下步骤，
网格预测支路采用全卷积网络，选用3×3个网格点排列在预选框中，利用8个3*3的膨胀卷积扩大感受野后，采用2个2*2的反卷积层获得9个尺度为wo×ho的热图，在每组热图上利用sigmoid函数进行计算得到引导网格点进行修正的概率图；将概率图坐标为(Hx,Hy)的像素点映射至原始特征图中的(Ix,Iy)
其中，(Px,Py)是输入特征中预选框左上角坐标索引；(wp,hp)为预选框的宽高；(wo,ho)为输出概率图的宽高；根据原始特征图网格点坐标确定边界框B＝(xl,yu,xr,yb)，xl,yu,xr,yb表示坐标框边缘信息；gj为第j对应坐标(xj,yj)的网格点；
对于尺寸为N×N的特征图，计算得到B与网格点的集合
其中，Ei为包含第i条边缘网格点gj索引位置的集合；pj为在热图中计算得到的预测概率值；Fi为第i个网格点对应的特征图，与修正该特征网格点位置提供信息的特征Fj进行融合；融合方式可表示为
其中，Fi′为融合后的特征图；θ表示映射函数，由3个堆叠的5*5卷积层组成；Si表示由第i个网格点临近点构成的集合；
基于上述的Grid RCNN检测头结合步骤二CSAI特征网络构建甲状腺感兴趣区域定位网络。
5.根据权利要求1所诉的一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法，其特征在于：步骤四包括如下步骤，
训练步骤三所构建的基于CSAI-Grid RCNN的甲状腺感兴趣区域模型，其对预测对象位置进行学习；对于区域建议网络，采用Smooth L1 Loss作为损失函数引导建议框的修正
其中，x为建议框与目标框的数值差；采用交叉熵损失作为GridRCNN检测头中选框微调的损失函数，训练深度卷积神经网络直至损失函数收敛，获得基于CSAI特征网络的甲状腺感兴趣区域定位模型。
6.根据权利要求1所诉的一种基于CSAI-GridRCNN的甲状腺感兴趣区域定位方法，其特征在于：步骤五包括如下步骤，
输入临床真实采集的甲状腺灰阶超声图像作为测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络；设定不同IOU阈值IoUthreshold，选取0.5及0.75，采用非极大值抑制方法对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标作为结果输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310307360.5A CN116309806A (zh) | 2023-03-27 | 2023-03-27 | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310307360.5A CN116309806A (zh) | 2023-03-27 | 2023-03-27 | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309806A true CN116309806A (zh) | 2023-06-23 |
Family
ID=86801240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310307360.5A Pending CN116309806A (zh) | 2023-03-27 | 2023-03-27 | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309806A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542049A (zh) * | 2024-01-09 | 2024-02-09 | 吉林建筑大学 | 基于深度学习的图像识别方法及系统 |
| CN117953349A (zh) * | 2024-03-22 | 2024-04-30 | 广东海洋大学 | 一种中药材的病虫害检测方法、装置、设备及存储介质 |
-
2023
- 2023-03-27 CN CN202310307360.5A patent/CN116309806A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542049A (zh) * | 2024-01-09 | 2024-02-09 | 吉林建筑大学 | 基于深度学习的图像识别方法及系统 |
| CN117542049B (zh) * | 2024-01-09 | 2024-03-26 | 吉林建筑大学 | 基于深度学习的图像识别方法及系统 |
| CN117953349A (zh) * | 2024-03-22 | 2024-04-30 | 广东海洋大学 | 一种中药材的病虫害检测方法、装置、设备及存储介质 |
| CN117953349B (zh) * | 2024-03-22 | 2024-06-11 | 广东海洋大学 | 一种中药材的病虫害检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
| CN113516659B (zh) | 一种基于深度学习的医学影像自动分割方法 | |
| CN110998602A (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
| CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN111383759A (zh) | 一种肺炎自动诊断系统 | |
| CN112036298A (zh) | 一种基于双段区块卷积神经网络的细胞检测方法 | |
| CN114638800A (zh) | 一种基于改进Faster-RCNN的头影标记点定位方法 | |
| CN115439423B (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
| CN115937113B (zh) | 一种皮肤病超声图像多病种识别方法、设备及存储介质 | |
| CN112330640A (zh) | 医学图像中结节区域的分割方法、装置及设备 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| CN115018780B (zh) | 一种融合全局推理和mlp架构的甲状腺结节分割方法 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| CN111126424A (zh) | 一种基于卷积神经网络的超声图像分类方法 | |
| CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
| CN111640126A (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| Baldeon-Calisto et al. | Deepsit: Deeply supervised framework for image translation on breast cancer analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |