CN116309806A - 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 - Google Patents

一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 Download PDF

Info

Publication number
CN116309806A
CN116309806A CN202310307360.5A CN202310307360A CN116309806A CN 116309806 A CN116309806 A CN 116309806A CN 202310307360 A CN202310307360 A CN 202310307360A CN 116309806 A CN116309806 A CN 116309806A
Authority
CN
China
Prior art keywords
thyroid
feature
csai
region
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310307360.5A
Other languages
English (en)
Inventor
张波
田艳
王建林
罗亦铭
马姣姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
China Japan Friendship Hospital
Original Assignee
Beijing University of Chemical Technology
China Japan Friendship Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology, China Japan Friendship Hospital filed Critical Beijing University of Chemical Technology
Priority to CN202310307360.5A priority Critical patent/CN116309806A/zh
Publication of CN116309806A publication Critical patent/CN116309806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于CSAI‑GridRCNN的甲状腺超声图像感兴趣区域定位方法,首先利用数据增强方法预处理训练图像样本并构建训练数据集,结合KNNMatting算法对数据进行脱敏处理;然后在GridRCNN模型的特征提取层与目标检测层间引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互,建立CSAI‑GridRCNN甲状腺感兴趣区域定位模型;最后以预测值与真实值之间的误差构建损失函数,迭代更新模型权重参数使得损失函数收敛,获得CSAI‑GridRCNN模型并用于甲状腺感兴趣区域定位。本发明考虑了GridRCNN特征提取网络跨尺度特征传输过程中信息丢失及交互效率低下,构建了基于CSAI‑GridRCNN的甲状腺超声图像感兴趣区域定位模型,提高了甲状腺感兴趣区域定位的准确性。

Description

一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位 方法
技术领域
本发明涉及一种感兴趣区域定位方法,属于机器视觉与医学图像处理交叉领域,尤其涉及一种基于跨尺度注意力交互Grid RCNN(Cross-scale Attention InteractionImproved Grid Region-based Convolutional Neural Network,CSAI-Grid RCNN)的甲状腺超声图像感兴趣区域定位方法。
背景技术
二维超声是甲状腺疾病临床诊断的主要检查手段,甲状腺超声图像感兴趣区域定位是诊断甲状腺疾病的重要步骤。建立并训练高质量的甲状腺感兴趣区域定位模型,能够提取更丰富、有效的甲状腺及其周围组织特征,提高甲状腺疾病诊断的准确性。
在临床诊断中医生通常依据病理知识手工定位甲状腺超声图像感兴趣区域,增加了医生的工作负担,并且感兴趣区域的准确定位依赖于医生主观认知和临床经验。超声图像中甲状腺区域与周边组织特征差异较小且边界模糊致使手工定位感兴趣区域较困难。深度卷积神经网络因具有良好的特征提取和表达能力被应用于医学图像目标分类和检测任务,其中的Grid RCNN(Grid Region-based Convolutional Neural Network)算法具有目标检测准确性高,扩展性好等优点,广泛应用于感兴趣区域的定位。然而,Grid RCNN特征提取部分使用传统的残差神经网络(Residual Neural Network,ResNet)和特征金字塔(Feature Pyramid Network,FPN),未能充分捕捉到真实甲状腺和其他周围组织表征的丰富语义信息。同时,在进行特征融合前对特征图通道进行压缩,丢失了重要的通道信息,影响了感兴趣区域定位的准确性。
因此,本发明充分考虑了Grid RCNN特征提取过程中跨尺度特征交互不充分和通道压缩带来的数据丢失问题,对Grid RCNN网络特征融合路径进行改进,引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互,构建了基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型,提高了定位准确性。
发明内容
本发明以提高模型感兴趣区域定位准确性为目的;首先采用数据增强方法对训练样本进行预处理并构建训练数据集,结合KNN Matting算法对数据进行脱敏处理,去除冗余信息提高后续定位准确性;然后在Grid RCNN模型的特征提取网络引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互,计算相同层级特征的自注意力得分,跨尺度交互通道注意力和空间注意力,通过收集分布的多级全局上下文通道信息来提取判别特征,在传统金字塔特征逐层相加前使用内容感知采样和通道重新加权来融合相邻级别的特征;最后构建损失函数,训练深度卷积网络模型直至损失函数收敛,进而利用所训练的定位模型定位甲状腺超声图像的感兴趣区域。基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位流程如图1所示。
本发明采用的技术方案为一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法,该方法具体包括以下步骤:
步骤一:通过KNN Matting算法对患者信息进行脱敏处理,构建甲状腺灰阶图像数据集,按设定批次加载通过色彩空间变换数据增强后的训练数据集,设置深度学习框架中的在线数据增强参数实现训练数据流进行二次数据增强;
步骤二:构建基于跨尺度注意力交互特征融合的特征网络,连接至ResNet101骨干网络,利用基于跨尺度注意力交互特征融合网络提取甲状腺超声图像特征;
步骤三:构建基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型,初始化Grid RCNN检测器,利用对位置信息更加敏感的全卷积网络来实现目标定位框的精确修正,借助卷积层生成的热图来确定初始的网格点,并通过网格点确定锚框边界位置;
步骤四:根据步骤一得到的训练数据集,训练步骤三构建的区域建议网络,得到建议区域,将输入图像划分网格,生成锚框,通过卷积操作对选框回归进行预测,得到分类概率及边界框,根据预测值与真实值间误差构建损失函数,训练步骤三中定位模型至损失函数收敛;
步骤五:输入测试样本,加载训练完成的甲状腺超声图像感兴趣区域定位网络,采用非极大值抑制对概率最大的预测目标进行选择,最终获取甲状腺感兴趣区域的位置坐标,得到定位结果。
具体而言,步骤一包括如下步骤:
采用KNN Matting算法对甲状腺超声图像进行预处理,裁剪边框去除患者隐私数据同时减少输入网络的冗余信息进而提高定位准确性;利用非局部原理,对像素i与其相近特征像素进行加权求和,权重由核函数K(i,j)得到,则像素i对应代表前景色所占比重的因子α的期望值E(αi)可表示为
Figure BDA0004147291630000031
Figure BDA0004147291630000032
Figure BDA0004147291630000033
其中,h1、h2为超声图像前景背景调节参数;
Figure BDA0004147291630000034
是中心加权高斯函数加权后的范数;X(i)及X(j)表示由像素i、j及周边信息计算获取的特征向量;di,j表示i与j像素之间的欧式距离。
结合手工标注求解共轭梯度矩阵分割得到前景区域,根据灰阶超声图像数据对象特点采用随机伽玛校正、高斯平滑和直方图均衡化三种颜色空间变换方法进行离线数据增强。设原图有O=p(x,y),x及y为像素位置坐标索引,进行色彩空间变换增强后的图像为O′,伽玛校正对像素亮度及对比度进行非线性变换
O′=Oγ (4)
上式代表伽玛编码值为γ的伽玛校正,调整图像灰度值的分布。对于高斯平滑
O′(x,y,σ)=G(x,y,σ)*O(x,y) (5)
Figure BDA0004147291630000035
其中,σ为该点运算对应的高斯核函数的标准差;*为卷积运算。
采用限制对比度的自适应直方图均衡(Contrast Limited Adaptive histogramequalization,CLAHE),通过限制直方图的增益来避免过度增强图像的噪声
Figure BDA0004147291630000036
Figure BDA0004147291630000037
其中,
Figure BDA0004147291630000041
为像素分块及重分配后得到的数据,利用函数R(O)对每组分块进行像素重分配,对超出直方图增益限制的部分进行裁剪,并将裁剪后像素重新组合;Q(·)为原图直方图的概率密度的累积分布函数。
步骤二包括如下步骤:
利用三重注意力模块(Triplet Attention Module,TAM)对骨干网络输出的n个层级特征图[F0,F1,…,Fn]作为输入,对于第i层特征Fi对应张量x∈C×H×W,x1及x2分别为x沿H轴及W轴逆时针旋转90°所得张量。而后通过整合最大池化与平均池化的Z-pool池化层压缩得到
Figure BDA0004147291630000042
及/>
Figure BDA0004147291630000043
对x进行通道池化获得x3,对于TAM有
Figure BDA0004147291630000044
其中,output为TAM模块的运算结果;δ表示sigmoid激活函数;φ1、φ2、φ3分别表示三条支路中卷积核尺寸为7*7的二维卷积运算;Avg表示三条支路输出的均值。
在所构建的CSAI中,同尺度注意力机制交互可以表示为
Figure BDA0004147291630000045
其中,Ci为TAM模块第i层的输出特征;Fi表示第i层特征;Fi1和Fi2分别表示该层特征沿H和W轴逆时针旋转所得特征;
Figure BDA0004147291630000046
和/>
Figure BDA0004147291630000047
分别为三条分支当中计算得到的注意力权重。TAM模块计算流程如图2所示。
对于跨尺度通道注意力交互模块的构建,获取各个尺度特征所包含的不同的语义信息来优化各层级的特征,该模块可表示为
Cn+1=deconv(Cn+1) (11)
Figure BDA0004147291630000048
其中,GAP表示全局池化;deconv、conv分别为反卷积和卷积运算;δ为获取通道权值的sigmoid函数。
高层级特征
Figure BDA0004147291630000051
与下层特征Ci(C,H,W)进行交互时采用3*3的反卷积获得相同的尺寸及通道数,而后通过全集池化及卷积计算获取通道维度的注意力权重,与下层特征相乘后与自身进行逐元素间融合,得到Ci及Ci+1跨尺度通道注意力交互输出Pni
针对固定层级特征完成与其余尺度特征的交互后得到[Pi0,Pi1,…,Pin],采取拼接计算对上述结果进行加权拼接
Pi c=conv(ψ(Pi1,Pi2,…,Pin)) (13)
其中,Pi c是加权后的中间特征;ψ表示拼接运算,串接1*1卷积进行降维调整至原始通道数。跨尺度通道注意力交互原理图如图3所示。
跨尺度空间注意力交互模块部分以特征金字塔网络为基础,在上采样部分引入CARAFE结合空间注意力,对具有相同通道数相邻层级中间特征
Figure BDA0004147291630000052
逐次进行空间层面的注意力加权计算,将通过最大池化下采样的Pi与上层特征Pi+1拼接并进行通道压缩得到P(i,i+1),通道数为cm。根据合并特征内容生成重组内核,归一化后得到尺寸为
Figure BDA0004147291630000053
的上采样核Wl′,与P(i,i+1)重新组合运算
Wl′=ψ(P(i,i+1),kencoder) (14)
Figure BDA0004147291630000054
其中,kencoder表示生成上采用核的卷积核尺寸;ψ及φ分别为核预测模块和上下文重组模块。
完成上采样后计算空间注意力权重,通过点乘形式分配给上采样输出
Figure BDA0004147291630000055
和原始下层特征Pi,以元素相加方式合并,借助超参数α、β调节融合过程
Figure BDA0004147291630000056
其中,Ms代表空间注意力权重;为张量间点乘运算;Oi为CSAI特征网络第i层级的输出。跨尺度空间注意力交互原理图如图4所示。
步骤三包括如下步骤:
网格预测支路采用全卷积网络,选用3×3个网格点排列在预选框中,利用8个3*3的膨胀卷积扩大感受野后,采用2个2*2的反卷积层获得9个尺度为wo×ho的热图,在每组热图上利用sigmoid函数进行计算得到引导网格点进行修正的概率图。将概率图坐标为(Hx,Hy)的像素点映射至原始特征图中的(Ix,Iy)
Figure BDA0004147291630000061
其中,(Px,Py)是输入特征中预选框左上角坐标索引;(wp,hp)为预选框的宽高;(wo,ho)为输出概率图的宽高;根据原始特征图网格点坐标确定边界框B=(xl,yu,xr,yb),xl,yu,xr,yb表示坐标框边缘信息;gj为第j对应坐标(xj,yj)的网格点。
对于尺寸为N×N的特征图,计算得到B与网格点的集合
Figure BDA0004147291630000062
其中,Ei为包含第i条边缘网格点gj索引位置的集合;pj为在热图中计算得到的预测概率值;Fi为第i个网格点对应的特征图,与修正该特征网格点位置提供信息的特征Fj进行融合。融合方式可表示为
Figure BDA0004147291630000063
其中,Fi′为融合后的特征图;θ表示映射函数,由3个堆叠的5*5卷积层组成;Si表示由第i个网格点临近点构成的集合。
GridRCNN检测头选框修正流程如图5所示。基于上述的GridRCNN检测头结合步骤二CSAI特征提取网络构建甲状腺感兴趣区域定位网络。
步骤四包括如下步骤:
训练步骤三所构建的基于CSAI-Grid RCNN的甲状腺感兴趣区域定位模型,其对预测对象位置进行学习。对于区域建议网络,采用Smooth L1 Loss作为损失函数引导建议框的修正
Figure BDA0004147291630000071
其中,x为建议框与目标框的数值差。采用交叉熵损失作为GridRCNN检测头中选框微调的损失函数,训练深度卷积神经网络直至损失函数收敛,如图6所示。获得基于CSAI-GridRCNN的甲状腺感兴趣区域定位模型。
步骤五包括如下步骤:
输入临床真实采集的甲状腺灰阶超声图像作为测试样本,加载训练完成的甲状腺超声图像感兴趣区域定位网络。设定不同IOU阈值IoUthreshold,选取0.5及0.75,采用非极大值抑制方法对概率最大的预测目标进行选择,最终获取甲状腺感兴趣区域的位置坐标作为结果输出。
本发明的优点:充分考虑了特征融合过程信息交互受限及通道压缩导致的信息丢失,改进了GridRCNN网络中采用的卷积层特征交互方式,解耦空间及通道注意力,引导网络关注重要区域,强化特征传播;引入空间金字塔池化模块汇聚多尺度局部区域特征,实现对各层特征信息的有效融合,丰富了各层特征的语义和像素级信息;构建了基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位模型,提高了感兴趣区域定位的准确性。
附图说明
图1是本发明所述的一种基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位流程。
图2是TAM三重注意力模块计算流程。
图3是CSAI特征提取网络跨尺度通道注意力交互原理图。
图4是CSAI特征提取网络跨尺度空间注意力交互原理图。
图5是GridRCNN检测头选框修正流程图。
图6是基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位方法计算损失函数和迭代更新网络权重的流程图。
图7是具体实施方式中基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型在CEUS-IDP甲状腺灰阶超声数据集上的图像目标检测结果。
具体实施方式
下面结合实例及附图对本发明作进一步的描述,需要说明的是,实施例并不限定本发明要求保护的范围。
实施例
实施例采用CEUS-IDP数据集,由某三甲医院自2020年10月至2021年8月23日收集的超声造影数据处理得到,采用Philips iU22超声诊断仪结合L21-5超声探头,经两位超声科专家采集获取,包含169个良性病例和331个恶性病例共1000张超声图像样本,采用labelimg(COCO数据集标注工具)为样本图像中的甲状腺区域绘制锚框进行标注,并生成JSON格式的标注文件;训练数据集图像800副,验证数据集图像100副,测试数据集图像100副。
实施例配置为Ubuntu 18.04系统Pycharm IDE集成开发环境,硬件配置为Intel(R)Xeon(R)Gold 52173.00GHz CPU,内存64GB;GPU为双块Nvidia RTX 2080Ti显示处理器,每块显存为12.00GB。采用Pytorch深度学习框架与MMCV深度学习算法库,实验代码均基于python 3.7语言编程实现。
将本发明应用到上述CEUS-IDP数据集图像目标检测中,具体步骤如下:
步骤一:采用色彩空间变换方法对训练样本进行数据增强;对训练图像随机进行伽玛校正,伽玛编码值γ随机在范围[0.45,2]内进行选取,调整图像的灰度值分布情况;对训练图像进行高斯平滑处理,高斯核函数的标准差设定范围为σ∈[0,3.0];采用CLAHE抑制图像噪声并增强灰阶超声图像的对比度,其中限制裁剪直方图的阈值的参数设定为4.0。
步骤二:将训练图像统一至224×224像素尺寸,输入基于CSAI特征网络的甲状腺超声图像感兴趣区域定位模型。首先对输入数据进行归一化并转化为张量,对于均值参数mean取[123.675,116.28,103.53],均值std取[58.395,57.12,57.375]。
骨干网络ResNet101四个不同stage输出四个层级的特征,尺度分别为200×272×256、100×136×512、50×68×1024及25×34×2048。上述特征组成的元组输入TAM自注意力模块进行自注意力加权得到的特征列表与骨干网络输出相同,在经过跨尺度通道注意力交互模块后通道维度统一为256,利用卷积添置额外层后输入至跨尺度空间注意力交互模块,其中权重调节参数α=0.2、β=0.2,最终特征网络输出特征尺寸为200×272×256、100×136×256、50×68×256、25×34×256及13×17×256。
通过回归预测每个包含目标真实位置中心的网格预测四个可能的预测目标框,设置接受该边界框包含目标的交并比阈值IoUthreshold=0.5。
步骤三:分批次输入训练样本,批次大小为4,训练过程采用自适应动量调整(Adaptive Moment Estimation,Adam)算法根据设定的损失函数迭代更新网络节点权值。采用余弦退火策略和周期性重设调整训练过程学习率,初始学习率lr设置为2e-3,同时为防止初始学习率偏大导致模型陷入局部最优,采用warmup预热策略,线性调整学习率至第5个epoch达到初始lr。训练计划为1x时,训练采用65个epoch。
步骤四:输入临床真实采集的甲状腺灰阶超声图像作为测试样本,加载训练完成的甲状腺超声图像感兴趣区域定位网络;设定不同IOU阈值IoUthreshold,选取0.5及0.75;采用非极大值抑制方法对概率最大的预测目标进行选择,最终获取甲状腺感兴趣区域的位置坐标作为结果输出。基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域模型定位结果如图7所示。
上述步骤为本发明在CEUS-IDP数据集上进行模型训练和感兴趣区域定位的具体应用,为了验证本发明的有效性,将所提出的基于跨尺度注意力交互特征网络与当前目标检测即感兴趣区域得领域先进且广泛应用的特征金字塔网络进行对比。利用不同IoU阈值下的平均准确度(Average Precision,AP)作为性能评价指标,分别选取IoU阈值为0.5、0.75的平均准确度AP50、AP75评价基于CSAI-Grid RCNN甲状腺感兴趣区域定位算法的性能。CEUS-IDP测试数据集的目标检测结果如表1所示。
表1基于CSAI特征网络甲状腺感兴趣区域定位算法在CEUS-IDP测试集上的定位结果
Figure BDA0004147291630000091
Figure BDA0004147291630000101
由表1可知,在PASCALVOC 2007测试数据集上自建的甲状腺灰阶超声联合数据集上感兴趣区域定位的AP50=0.927,AP75=0.474,在同等实验条件下相较于基础FPN取得了的15.14%的AP提升,同时在较高的IoU阈值约束条件下模型的定位能力增强更为显著,AP75相较于基准FPN有24.41%的提升,比AP50的提升高出约四倍,表明跨尺度注意力交互特征网络更注重于细微预测框的调整,在更为严苛的条件下进一步细化预测框对真实感兴趣区域的检测,说明本文提出的CSAI特征提取网络在甲状腺灰阶图像上针对感兴趣区域的定位任务上综合性能优于上述特征网络方法。
在上述实验条件下测试各模块独立及组合对定位模型的性能提升情况,结果如表2所示。
表2各模块在甲状腺灰阶超声联合数据集上的消融实验结果
Figure BDA0004147291630000102
由实验结果可知,结果表明构成跨尺度注意力交互特征网络的每个模块均对定位模型的性能提升做出了不同程度的贡献,三种模块组合相较于基线实现了15.01%的AP50提升。
将所提出的CSAI模块集成至Grid RCNN检测器当中与目前SOTA的目标检测及感兴趣区域定位模型在CEUS-IDP测试数据集上进行对比实验,定位结果如表3所示。
表3CSAI-GridRCNN及其他先进方法在CEUS-IDP数据集上的感兴趣区域定位结果
Figure BDA0004147291630000111
(续表3)
Figure BDA0004147291630000112
实验结果表明基于CSAI-Grid RCNN的甲状腺感兴趣区域定位算法在CEUS-IDP测试数据集上实现了最好的效果,相较于二阶段Faster RCNN模型的AP50提升3.92%,相较于一阶段YOLOv3模型提升了4.04%的AP50,定位准确性有了较明显的提升。
上述实验结果表明:采用本发明所述方法提出的基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法合理、有效,提高了甲状腺感兴趣区域定位的准确性。

Claims (6)

1.一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法,其特征在于:该方法包括以下步骤:
步骤一:通过KNN Matting算法对患者信息进行脱敏处理,构建甲状腺灰阶图像数据集,按设定批次加载通过色彩空间变换数据增强后的训练数据集,设置深度学习框架中的在线数据增强参数实现训练数据流进行二次数据增强;
步骤二:构建基于跨尺度注意力交互特征融合的特征网络,连接至ResNet101骨干网络,利用基于跨尺度注意力交互特征融合网络提取甲状腺超声图像特征;
步骤三:构建基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位模型,初始化Grid RCNN检测器,利用对位置信息更加敏感的全卷积网络来实现目标定位框的精确修正,利用卷积层生成的热图来确定初始的网格点,并通过网格点确定锚框边界位置;
步骤四:根据步骤一得到的训练数据集,训练步骤三构建的区域建议网络,得到建议区域,将输入图像划分网格,生成锚框,通过卷积操作对选框回归进行预测,得到分类概率及边界框,根据预测值与真实值间误差构建损失函数,训练步骤三中定位模型至损失函数收敛;
步骤五:输入测试样本,加载训练完成的甲状腺超声图像感兴趣区域定位网络,采用非极大值抑制对概率最大的预测目标进行选择,最终获取甲状腺感兴趣区域的位置坐标,得到定位结果。
2.根据权利要求1所述的一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法,其特征在于:步骤一包括如下步骤,
采用KNN Matting算法对甲状腺超声图像进行预处理,裁剪边框去除患者隐私数据同时减少输入网络的冗余信息进而提高定位准确性;利用非局部原理,对像素i与其相近特征像素进行加权求和,权重由核函数K(i,j)得到,则像素i对应代表前景色所占比重的因子α的期望值E(αi)可表示为
Figure FDA0004147291600000011
Figure FDA0004147291600000012
Figure FDA0004147291600000021
其中,h1、h2为超声图像前景背景调节参数;
Figure FDA0004147291600000022
是中心加权高斯函数加权后的范数;X(i)及X(j)表示由像素i、j及周边信息计算获取的特征向量;di,j表示i与j像素之间的欧式距离;
结合手工标注求解共轭梯度矩阵分割得到前景区域,根据灰阶超声图像数据对象特点采用随机伽玛校正、高斯平滑和直方图均衡化三种颜色空间变换方法进行离线数据增强;设原图有O=p(x,y),x及y为像素位置坐标索引,进行色彩空间变换增强后的图像为O′,伽玛校正对像素亮度及对比度进行非线性变换
O′=Oγ (4)
上式代表伽玛编码值为γ的伽玛校正,调整图像灰度值的分布;对于高斯平滑
O′(x,y,σ)=G(x,y,σ)*O(x,y) (5)
Figure FDA0004147291600000023
其中,σ为该点运算对应的高斯核函数的标准差;*为卷积运算;
采用限制对比度的自适应直方图均衡,通过限制直方图的增益来避免过度增强图像的噪声
Figure FDA0004147291600000024
Figure FDA0004147291600000025
其中,
Figure FDA0004147291600000026
为像素分块及重分配后得到的数据,利用函数R(O)对每组分块进行像素重分配,对超出直方图增益限制的部分进行裁剪,并将裁剪后像素重新组合;Q(·)为原图直方图的概率密度的累积分布函数。
3.根据权利要求1所诉的一种基于CSAI-GridRCNN的甲状腺感兴趣区域定位方法,其特征在于:步骤二包括如下步骤,
利用三重注意力模块对骨干网络输出的n个层级特征图[F0,F1,…,Fn]作为输入,对于第i层特征Fi对应张量x∈C×H×W,x1及x2分别为x沿H轴及W轴逆时针旋转90°所得张量;而后通过整合最大池化与平均池化的Z-pool池化层压缩得到
Figure FDA0004147291600000031
及/>
Figure FDA0004147291600000032
对x进行通道池化获得x3,对于TAM有
Figure FDA0004147291600000033
其中,output为TAM模块的运算结果;δ表示sigmoid激活函数;φ1、φ2、φ3分别表示三条支路中卷积核尺寸为7*7的二维卷积运算;Avg表示三条支路输出的均值;
在所构建的CSAI中,同尺度注意力机制交互可以表示为
Figure FDA0004147291600000034
其中,Ci为TAM模块第i层的输出特征;Fi表示第i层特征;Fi1和Fi2分别表示该层特征沿H和W轴逆时针旋转所得特征;
Figure FDA0004147291600000035
和/>
Figure FDA0004147291600000036
分别为三条分支当中计算得到的注意力权重;
对于跨尺度通道注意力交互模块的构建,获取各个尺度特征所包含的不同的语义信息来优化各层级的特征,该模块可表示为
C′n+1=deconv(Cn+1) (11)
Figure FDA0004147291600000037
其中,GAP表示全局池化;deconv、conv分别为反卷积和卷积运算;δ为获取通道权值的sigmoid函数;
高层级特征
Figure FDA0004147291600000038
与下层特征Ci(C,H,W)进行交互时采用3*3的反卷积获得相同的尺寸及通道数,而后通过全集池化及卷积计算获取通道维度的注意力权重,与下层特征相乘后与自身进行逐元素间融合,得到Ci及Ci+1跨尺度通道注意力交互输出Pni
针对固定层级特征完成与其余尺度特征的交互后得到[Pi0,Pi1,…,Pin],采取拼接计算对上述结果进行加权拼接
Figure FDA0004147291600000039
其中,pi c是加权后的中间特征;ψ表示拼接运算,串接1*1卷积进行降维调整至原始通道数;
跨尺度空间注意力交互模块部分以特征金字塔网络为基础,在上采样部分引入CARAFE结合空间注意力,对具有相同通道数相邻层级中间特征
Figure FDA0004147291600000042
逐次进行空间层面的注意力加权计算,将通过最大池化下采样的Pi与上层特征Pi+1拼接并进行通道压缩得到P(i,i+1),通道数为cm;根据合并特征内容生成重组内核,归一化后得到尺寸为/>
Figure FDA0004147291600000043
的上采样核Wl′,与P(i,i+1)重新组合运算
Wl′=ψ(P(i,i+1),kencoder) (14)
Figure FDA0004147291600000044
其中,kencoder表示生成上采用核的卷积核尺寸;ψ及φ分别为核预测模块和上下文重组模块;
完成上采样后计算空间注意力权重,通过点乘形式分配给上采样输出
Figure FDA0004147291600000046
和原始下层特征Pi,以元素相加方式合并,借助超参数α、β调节融合过程
Figure FDA0004147291600000045
其中,Ms代表空间注意力权重;为张量间点乘运算;Oi为CSAI特征网络第i层级的输出。
4.根据权利要求1所诉的一种基于CSAI特征网络的甲状腺感兴趣区域定位方法,其特征在于:步骤三包括如下步骤,
网格预测支路采用全卷积网络,选用3×3个网格点排列在预选框中,利用8个3*3的膨胀卷积扩大感受野后,采用2个2*2的反卷积层获得9个尺度为wo×ho的热图,在每组热图上利用sigmoid函数进行计算得到引导网格点进行修正的概率图;将概率图坐标为(Hx,Hy)的像素点映射至原始特征图中的(Ix,Iy)
Figure FDA0004147291600000051
其中,(Px,Py)是输入特征中预选框左上角坐标索引;(wp,hp)为预选框的宽高;(wo,ho)为输出概率图的宽高;根据原始特征图网格点坐标确定边界框B=(xl,yu,xr,yb),xl,yu,xr,yb表示坐标框边缘信息;gj为第j对应坐标(xj,yj)的网格点;
对于尺寸为N×N的特征图,计算得到B与网格点的集合
Figure FDA0004147291600000052
其中,Ei为包含第i条边缘网格点gj索引位置的集合;pj为在热图中计算得到的预测概率值;Fi为第i个网格点对应的特征图,与修正该特征网格点位置提供信息的特征Fj进行融合;融合方式可表示为
Figure FDA0004147291600000053
其中,Fi′为融合后的特征图;θ表示映射函数,由3个堆叠的5*5卷积层组成;Si表示由第i个网格点临近点构成的集合;
基于上述的Grid RCNN检测头结合步骤二CSAI特征网络构建甲状腺感兴趣区域定位网络。
5.根据权利要求1所诉的一种基于CSAI-Grid RCNN的甲状腺感兴趣区域定位方法,其特征在于:步骤四包括如下步骤,
训练步骤三所构建的基于CSAI-Grid RCNN的甲状腺感兴趣区域模型,其对预测对象位置进行学习;对于区域建议网络,采用Smooth L1 Loss作为损失函数引导建议框的修正
Figure FDA0004147291600000061
其中,x为建议框与目标框的数值差;采用交叉熵损失作为GridRCNN检测头中选框微调的损失函数,训练深度卷积神经网络直至损失函数收敛,获得基于CSAI特征网络的甲状腺感兴趣区域定位模型。
6.根据权利要求1所诉的一种基于CSAI-GridRCNN的甲状腺感兴趣区域定位方法,其特征在于:步骤五包括如下步骤,
输入临床真实采集的甲状腺灰阶超声图像作为测试样本,加载训练完成的甲状腺超声图像感兴趣区域定位网络;设定不同IOU阈值IoUthreshold,选取0.5及0.75,采用非极大值抑制方法对概率最大的预测目标进行选择,最终获取甲状腺感兴趣区域的位置坐标作为结果输出。
CN202310307360.5A 2023-03-27 2023-03-27 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 Pending CN116309806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310307360.5A CN116309806A (zh) 2023-03-27 2023-03-27 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310307360.5A CN116309806A (zh) 2023-03-27 2023-03-27 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法

Publications (1)

Publication Number Publication Date
CN116309806A true CN116309806A (zh) 2023-06-23

Family

ID=86801240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310307360.5A Pending CN116309806A (zh) 2023-03-27 2023-03-27 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法

Country Status (1)

Country Link
CN (1) CN116309806A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542049A (zh) * 2024-01-09 2024-02-09 吉林建筑大学 基于深度学习的图像识别方法及系统
CN117953349A (zh) * 2024-03-22 2024-04-30 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542049A (zh) * 2024-01-09 2024-02-09 吉林建筑大学 基于深度学习的图像识别方法及系统
CN117542049B (zh) * 2024-01-09 2024-03-26 吉林建筑大学 基于深度学习的图像识别方法及系统
CN117953349A (zh) * 2024-03-22 2024-04-30 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质
CN117953349B (zh) * 2024-03-22 2024-06-11 广东海洋大学 一种中药材的病虫害检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
CN110998602A (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN111383759A (zh) 一种肺炎自动诊断系统
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN114638800A (zh) 一种基于改进Faster-RCNN的头影标记点定位方法
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN115937113B (zh) 一种皮肤病超声图像多病种识别方法、设备及存储介质
CN112330640A (zh) 医学图像中结节区域的分割方法、装置及设备
CN116542924A (zh) 一种前列腺病灶区域检测方法、装置及存储介质
CN115018780B (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN111126424A (zh) 一种基于卷积神经网络的超声图像分类方法
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN111640126A (zh) 基于医学影像的人工智能诊断辅助方法
Baldeon-Calisto et al. Deepsit: Deeply supervised framework for image translation on breast cancer analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination