CN114897779B - 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 - Google Patents

基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 Download PDF

Info

Publication number
CN114897779B
CN114897779B CN202210378225.5A CN202210378225A CN114897779B CN 114897779 B CN114897779 B CN 114897779B CN 202210378225 A CN202210378225 A CN 202210378225A CN 114897779 B CN114897779 B CN 114897779B
Authority
CN
China
Prior art keywords
feature
features
attention
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210378225.5A
Other languages
English (en)
Other versions
CN114897779A (zh
Inventor
钟隆祺
张见威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210378225.5A priority Critical patent/CN114897779B/zh
Publication of CN114897779A publication Critical patent/CN114897779A/zh
Application granted granted Critical
Publication of CN114897779B publication Critical patent/CN114897779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了基于融合注意力的宫颈细胞学图像异常区域定位方法及装置，方法包括：获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征；构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，采用联合注意力的共享检测头与目标框质量评估方法，对多层级特征进行坐标回归和分类；采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。本发明能够快速定位宫颈细胞图像的异常区域，作为临床的辅助诊断方式，可极大减少临床医生的工作量。

Description

基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
技术领域
本发明属于图像处理的技术领域，具体涉及一种基于融合注意力的宫颈细胞学图像异常区域定位方法及装置。
背景技术
目标检测是计算机视觉常见的研究课题，旨在找出图像中的感兴趣物体，确定这些物体的位置。对于宫颈脱落细胞中的异常细胞定位，由于单个玻片中存在数千个细胞，部分细胞重叠在一起，背景中还掺杂了部分杂质和白细胞，因此对所有细胞进行分割的算法难度较大，时间成本高。正常细胞核与异常细胞核的轮廓形状、纹理基本一致，对载有宫颈细胞的玻片进行异常定位也会有较大难度，这是宫颈细胞异常定位的难点之一。
目标检测的方法，可分为传统的检测算法，基于深度学习的目标检测算法，传统检测与深度学习相结合的目标检测算法。传统方法通常对整幅图像进行分割，再利用HOG或SIFT特征进行分类，但传统方法由于特征提取能力不足，过于依赖人工特征，导致泛化能力较低，同时，需要大量的计算。而基于深度学习的方法中，基于双阶段目标检测算法虽有较好的精度，但网络参数量过大，训练较慢，不满足实时性要，基于单阶段目标检测的算法，满足实时性要求，但仍存在误框、检测目标置信度低、召回率不够高等问题。基于单阶段目标检测的算法进行改进，能够极大提高其性能。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于融合注意力的宫颈细胞学图像异常区域定位方法及装置，提高宫颈异常筛查的准确率，可用于实际临床筛查辅助系统。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供了一种基于融合注意力的宫颈细胞学图像异常区域定位方法，包括下述步骤：
获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对对目标框坐标进行回归；
采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
作为优选的技术方案，所述预处理具体为：
对原始宫颈细胞学图像进行旋转、翻转和亮度变换，得到部分增广数据集，将所述部分增广数据集作为图像测试集；
使用去错切的马赛克数据增强方法，分别对原始宫颈细胞学图像进行旋转、翻转和亮度变化处理，将处理后的图像和对应的原始宫颈细胞学图像进行拼接，拼接后的新图像大小与原始宫颈细胞学图像相同，得到去错切的马赛克数据增广数据集，将所述马赛克数据增广数据集作为图像训练集。
作为优选的技术方案，所述采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征，具体为：
所述残差神经网络包含五个残差块，每个残差块均为BottleNeck结构，由1×1卷积f1、3×3卷积f2、1×1卷积f3以及跳跃连接组成，每个残差块学习的恒等映射为：
H(x)＝f3(f2(f1(x)))
F(x)＝H(x)+x
其中，H(x)表示无跳跃连接时残差块的输出，F(x)表示通过跳跃连接学习到的特征，x表示原始特征；
输出图像的三层粗特征C3，C4，C5，C3，C4，C5表示残差神经网络提取的不同层级的特征；C3为最低层特征。
作为优选的技术方案，所述构建多尺度特征融合模型具体为：
对残差神经网络输出的粗特征图Ck进行组平均池化，得到形状为[B，C，1，1]的通道特征权重gp：
其中，B为批大小，C为通道大小，为粗特征图Ck上第(i，j)位置处的值，H为特征图的长度，W为特征图的宽度；
将通道特征权重gp传入线性整流函数ReLU中，其具体表达式为max(0，gp)；再将通道特征权重馈入一层全连接层和一个sigmoid激活函数σ，乘以粗特征图Ck，最后得到无通道信息衰减的通道注意力特征Csq_k，其计算表达式为：
Csq_k＝Ck*σ(max(0，gp))
对得到的通道注意力特征Csq_3，Csq_4，Csq_5进行1×1卷积，得到待融合的特征f3(Csq_3)，f3(Csq_4)，f3(Csq_5)；
输出不同层级的特征F3，F4，F5，F6，F7，其中，F5层特征由原始粗特征C5计算通道注意力，再进行一层卷积得到Csq_5，卷积核尺寸为1×1，其计算表达式为；
F5＝f5(Csq_5)
对于F3层、F4层特征，分别根据其原始粗特征C3、C4计算通道注意力，再进行一层卷积分别得到Csq_3、Csq_4，卷积核尺寸为1×1；再对高层特征F4、F5进行上采样，其中插值方式为最邻近插值，并将它们分别与对应的通道注意力特征Csq_s、Csq_4求和，计算F3层、F4层特征的具体表达式为：
Fi＝fi(Csq_i)+S(Fi+1)，i＝3,4
对于高维特征F6、F7，分别由F5和F6进行3×3卷积计算得到，计算F6、F7的具体表达式为：
Fi＝fi(Fi-1)，i＝6,7
其中f6，f7为3×3卷积。
作为优选的技术方案，所述联合注意力的共享检测头与目标框质量评估方法，具体为：
计算残差卷积特征，计算残差卷积特征的结构由四层残差卷积块组成，每个残差卷积块由一层卷积层、跳跃连接、组归一化操作组成，其中卷积核尺寸为3×3，卷积前后的通道数保持不变，均为256；组归一化过程为，原特征通道数为C，将每个批次特征图的通道分成G组，每组有C/G个通道，再对分组后的通道求均值和标准差，并在组内对每个特征值进行归一化，均值、标准差与归一化后的特征值的具体计算表达式为：
其中xnchw为组内某一点的特征值，H为特征图的宽度，W为特征图的长度，为归一化后的特征；
在最后一个残差卷积块之后，计算空间注意力，给定输入x，输出空间注意力y的计算表达式为：
mq＝fq(x)
mk＝fk(x)
mv＝fv(x)
其中，fq、fk、fv分别表示三层1×1卷积；
对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵S，其计算表达式为
S＝F*σ(max(0，gp))
根据特征点的预测值对目标框进行分类，对获取到的特征进行softmax分类，计算每个特征点对应的目标区域属于第k类的概率
其中，(i，j)分别为该特征点的横、纵坐标，为特征向量矩阵S的第k个分量，表示对特征向量里的c个分量进行求和，c是分类的类别数；
对目标框进行质量评估，设计指标q用于评定目标框的质量，q表示从预测框中心到真实框的相对距离，给定预测框的特征点到真实框4边距离l*，r*，t*，b*，目标框的质量q定义为：
其中q∈(0，1)，则特征图上i，j处对应的目标框预测质量分数为与真实质量分数/>之间的二维交叉熵损失为：
其中i是特征点的横坐标，j是特征点的纵坐标，σ为sigmoid激活函数，Npos为命中异常区域的目标框总数，在训练过程中，目标框质量评估loss是总loss的一部分，在测试过程中，预测的质量分数乘以相应的分类分数，得到目标的最终分数，在训练和预测过程中，质量低或与真实框没有重叠的边界框将被丢弃；
对目标框坐标进行回归，给定特征点到预测框4边距离l*，r*，t*，b*，特征点到真实框到4边的距离l，r，t，b，令则回归损失函数为：
其中i是特征点的横坐标，j是特征点的纵坐标，Npos为命中异常区域的目标框总数；
训练网络的总Loss设计，总损失由分类损失Lcls、质量评估损失Lq和回归损失Lreg组成，总损失函数计算表达式为：
L＝Lcls+Lq+Lreg。
作为优选的技术方案，在训练过程中，根据softmax分类结果，计算分类loss，设计loss的形式为focal loss，其计算表达式如下：
其中，Lcls为分类损失函数，wk为权重衰减系数，为预测概率/>和真实标签/>之间的交叉熵，Npos为命中异常区域的预测框总数，α，γ为超参数，用于控制正负样本的loss贡献比例。
作为优选的技术方案，采用iog作为判断目标框是否命中异常区域的指标，并以此作为计算AP值的依据，具体为：
判断预测框是否命中目标的指标为iog，物理含义为预测框与真实框重叠区域面积I(pred，gt)与真实框面积Agt的比值，具体表达式为：
通过非极大值抑制控制预测框的数量，对预测框进行置信度排序，若预测框的iog≥0.5，则判定为该预测框命中异常区域，对于完整的异常区域定位过程，所依赖的精确率与召回率定义如下：
根据网络预测的置信度预测目标框是为异常区域，若目标框的置信度p＞0.5，则认为网络预测其命中异常区域，否则，认为其未命中异常区域，其中，TP表示预测为异常区域，真实也为异常区域的目标框数量，FP表示预测为异常区域，实际为正常区域的目标框数量，FN表示预测为正常区域，实际也为正常区域的目标框数量；
利用AP值，即精确率、召回率曲线下面积，衡量异常定位方法的有效性，AP值的范围为[0，1]，AP值越高，对应方法越有效。
本发明另一方面提供了一种基于融合注意力的宫颈细胞学图像异常区域定位系统，包括预处理模块、特征提取模块、多尺度特征融合模型构建模块、回归与分类模块以及判断模块；
所述预处理模块，用于获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对对目标框坐标进行回归；
所述判断模块，用于采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
本发明又一方面提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于融合注意力的宫颈细胞学图像异常区域定位方法。
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于融合注意力的宫颈细胞学图像异常区域定位方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明针对宫颈细胞图像，能够快速定位异常区域，作为临床的辅助诊断方式，能够极大减少临床医生的工作量，能够直接在此基础上进行进一步的异常区域处理。
(2)本发明使用旋转、翻转、亮度变换以及去错切的马赛克数据增强方法，对原显微镜下观察到的宫颈细胞涂片图像数据集进行增广解决宫颈细胞学图像样本较少时易出现的过拟合问题。
(3)本发明提出了多尺度特征融合模型，结合低维特征和高维特征的优点，得到表达能力更加丰富的多层级特征。
(4)本发明提出联合空间和通道注意力的共享检测头，与目标框质量评估方法，能够判断目标框的质量，训练性能更强的网络，提升异常区域定位的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于融合注意力的宫颈细胞学图像异常区域定位方法的流程图。
图2(a)、图2(b)分别为本发明实施例中含错切的马赛克数据增强与去错切的马赛克数据增强效果图。
图3为本发明实施例中残差网络提取图像粗特征的过程示意图。
图4为本发明实施例中输出多层级特征的过程示意图。
图5为本发明实施例中计算无通道信息衰减的通道注意力的过程示意图。
图6为本发明实施例中共享检测头的结构示意图。
图7为本发明实施例中空间注意力的计算过程示意图。
图8为本发明另一实施例基于融合注意力的宫颈细胞学图像异常区域定位系统的结构示意图。
图9为本发明另一实施例电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参阅图1，本实施例基于融合注意力的宫颈细胞学图像异常区域定位方法，包括下述步骤：
S1、使用旋转、翻转、亮度变换以及去错切的马赛克数据增强方法，对原显微镜下观察到的宫颈细胞涂片图像数据集进行增广，得到用于训练的图像数据集。
进一步的，本实施例中，宫颈细胞学图像数据集来自显微镜下观察到的宫颈脱落细胞涂片图像，请参阅图2(a)、图2(b)。为避免训练时可能出现的过拟合现象，本实施例采取了旋转、亮度变化等数据增广方式，将所述部分增广数据集作为图像测试集；此外，还提出了一种去错切的马赛克数据增强方法，具体实施方式为：对原图像进行旋转(其中旋转角度为90度、180度或270度)、翻转和亮度变换，再把三种变换后的图片和一张未经处理的图片进行拼接，形成一张新的图片，将所述马赛克数据增广数据集作为图像训练集。和原马赛克数据增强方式相比，不改变图像与细胞的几何外形，也无需对空白部分进行填补，更适应宫颈细胞学图像的实际应用场景。
S2、采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征。
本实施例中，使用ResNet50作为主干特征提取网络。ResNet是深度残差神经网络，请参阅图3，它由残差块(Res block)组成，我们使用ResNet50的Res block3、Res block4和Res block5三个残差块的输出特征C3，C4，C5作为宫颈细胞学图像的粗特征。图3，ResNet的残差块为Bottleneck结构，每个残差块由三层卷积层和一个跳跃连接组成，其中第一层和第三层卷积核的尺寸为1×1，中间层卷积核的尺寸为3×3，在每一层卷积层之后，使用ReLU激活函数，为训练提供非线性。无恒等映射时，Resblock的输出为H(x)，通过学习恒等映射，最差情况下学习结果为F(x)＝x，避免了深度神经网络的性能退化问题。恒等映射的具体表达式为：
H(x)＝f3(f2(f1(x)))
F(x)＝H(x)+x
其中，H(x)表示无跳跃连接时残差块的输出，F(x)表示通过跳跃连接学习到的特征，x表示原始特征。
S3、构建多尺度特征融合模型，对粗特征计算通道注意力，融合低维注意力特征和高维注意力特征，并以特征金字塔结构输出多层级的特征。
进一步的，上述步骤S3具体为：
S31、无通道信息衰减的通道注意力特征提取。为更好地扩展低级特征的感受野，使用一个通道注意力的特征提取模块，其结构请参阅图5，通过学习不同通道的不同权重来增强重要通道并削弱不重要通道。
残差神经网络的输入是一个具有多通道形状的张量，从不同的通道中提取不同特征的权重，为了更好地增强重要通道并削弱不重要的通道，我们采用了无通道信息衰减的压缩激活网络。与原压缩激活网络相比，无通道信息衰减的压缩激活网络仅使用一层全连接层，没有通道数量衰减的过程，将保持更完整的通道信息。如图4，给定ResNet原始粗特征Ck(k＝3,4,5)，我们进行组平均池化，得到通道特征权重gp，其大小为[B，C，1,1](B表示批大小，C表示通道大小)，接着将gp传入线性整流函数ReLU中，其具体表达式为max(0，gp)；再将通道特征权重馈入一层全连接层和一个sigmoid激活函数σ，乘以原始特征Ck，最后得到无通道信息衰减的通道注意力特征Csq_k，其计算表达式为：
Csq_k＝Ck*σ(max(0，gp))
其中为特征图Ck上第(i，j)位置处的值，H为特征图的长度，W为特征图的宽度。
S32、融合通道特征和空间特征进行多级预测。将通道级别的注意力特征模块与空间特征模块连接，并利用特征金字塔架构的输出融合后的特征。基于特征金字塔模型，我们设计了一个多级预测模块，结合了无通道信息衰减的注意力低层特征和高层特征。
在特征金字塔结构中，F5层特征由原始粗特征C5计算通道注意力，再进行一层卷积得到Csq_5，卷积核尺寸为1×1，卷积前的特征通道数为2048，卷积后的特征通道数为256；
对于F3层、F4层特征，分别根据其原始粗特征C3、C4计算通道注意力，再进行一层卷积分别得到Csq_3、Csq_4，卷积核尺寸为1×1，卷积前的特征通道数分别为512，1024，卷积后的特征通道数均为256。再对高层特征F4、F5进行上采样，其中插值方式为最邻近插值，并将它们分别与对应的通道注意力特征Csq_3、Csq_4求和，得到最终的F3层、F4层特征。
对于高维特征F6、F7，分别由F5和F6进行3×3卷积计算得到。
具体地，输入通道注意力Csq_3、Csq_4、Csq_5时，多级融合特征Fi可以表示为：
其中，Fi表示多级预测的第i层，S表示基于最近邻的上采样，f3，f4，f5表示1×1卷积，f6和f7表示3×3卷积。
S4、设计联合注意力的共享检测头对融合后的特征进行回归和分类，使用focalloss损失函数训练整个检测网络。
进一步的，特征融合后，特征金字塔结构输出5个层级的特征，多层级的特征被馈送到共享检测头中执行分类和回归预测框。在共享检测头中，结合残差空间注意力和通道注意力，将提升网络的定位目标框的准确性。基于融合注意力的共享检测头结构如图6示，此结构共有两个分支，两个分支结构相同的部分为4层残差卷积层、1个空间注意力计算模块、1一个通道注意力计算模块；其中，4层残差卷积层通过残差连接的方式，提升网络的检测准确率，设计残差注意力模块用于代替卷积层，可克服全卷积网络的缺陷并提升共享检测头在单阶段目标检测中的性能，因为仅包含卷积操作的检测头用于定位异常区域时，检测效率和计算效率都不够高；紧接着残差注意力模块的为无通道信息衰减的通道注意力，如图5，其结构与步骤S31所述一致。上分支的尾端由两个子分支构成，分别用于目标框的分类和目标框的质量评估；下分支对目标框的坐标进行回归。具体结构如下：
S41、计算残差注意力。计算残差注意力由四每个残差卷积块由一层卷积层、跳跃连接、组归一化操作组成，其中卷积核尺寸为3×3，卷积前后的通道数保持不变，均为256。组归一化过程为，原特征通道数为C，将每个批次特征图的通道分成G组，每组有C/G个通道，再对分组后的通道求均值和标准差，并在组内对每个特征值进行归一化，均值、标准差与归一化后的特征值的具体计算表达式为：
其中xnchw为组内某一点的特征值，H为特征图的宽度，W为特征图的长度.
在最后一个残差卷积块之后，计算空间注意力。如图7所示，具体过程为，对于输入x，分别通过三个1×1卷积计算得到查询矩阵mq，键矩阵mk，值矩阵mv，再将mq与mk的转置相乘得到计算/>再与值矩阵mv相乘，最后输入x相加，得到空间注意力S。给定输入x，输出y的计算表达式为：
mq＝fq(x)
mk＝fk(x)
mv＝fv(x)
其中，fq、fk、fv分别表示三层1×1卷积。
S42、计算通道注意力，得到用于回归和分类的特征向量矩阵S。此结构与3.2节计算通道注意力的结构一致。
S43、对获取到的特征进行softmax分类，计算每个特征点对应的目标区域属于第k类的概率
其中，(i，j)分别为该特征点的横、纵坐标，为特征向量矩阵S的第k个分量，表示对特征向量里的c个分量进行求和，c是分类的类别数。
在训练过程中，根据softmax分类结果，计算分类loss，为解决正负样本不平衡问题，设计loss的形式为focal loss，其计算表达式如下：
其中，Lcls为分类损失函数，wk为权重衰减系数，为预测概率/>和真实标签/>之间的交叉熵，Npos为命中异常区域的预测框总数，α，γ为超参数，用于控制正负样本的loss贡献比例。
S44、目标框质量评价。本实施例设计一个指标q用于评定目标框的质量。q表示从预测框中心到真实框的相对距离。给定预测框的特征点到真实框4边距离l*，r*，t*，b*，目标框的质量q可以定义为：
其中q∈[0,1]，则特征图上(i，j)处对应的目标框预测质量分数为与真实质量分数/>之间的二维交叉熵损失为：
其中，i是特征点的横坐标，j是特征点的纵坐标，σ为sigmoid激活函数，Npos为命中异常区域的目标框总数，在训练过程中，目标框质量评估loss是总loss的一部分，在测试过程中，预测的质量分数乘以相应的分类分数，得到目标的最终分数。在训练和预测过程中，质量低或与真实框没有重叠的边界框将被丢弃。
S45、目标框坐标回归。
给定特征点到预测框4边距离l*，r*，t*，b*，特征点到真实框到4边的距离l，r，t，b，令 则回归损失函数为：
其中i是特征点的横坐标，j是特征点的纵坐标，Npos为命中异常区域的目标框总数
S46、总Loss设计
损失函数，总损失由分类损失Lcls、质量评估损失Lq和回归损失Lreg组成。总损失函数计算表达式为：
L＝Lcls+Lq+Lreg
S5、在测试阶段，对检测头的输出进行非极大值抑制处理，得到排序后的置信度，再计算AP值和在宫颈细胞学图像上描绘目标框。
本实例侧重于定位异常区域，更关注预测框与真实框重叠区域占真实框面积的比值。判断预测框是否命中目标的指标为iog，物理含义为预测框与真实框重叠区域面积I(pred,gt)与真实框面积Agt的比值，具体表达式为：
通过非极大值抑制控制预测框的数量，对预测框进行置信度排序，若预测框的iog≥0.5为该预测框命中异常区域。并将该目标框描绘在宫颈细胞学图像上。对于完整的异常区域定位过程，所依赖的精确率与召回率定义如下：
根据网络预测的置信度预测目标框是为异常区域，若目标框的置信度p＞0.5，则认为网络预测其命中异常区域，否则，认为其未命中异常区域。其中，TP表示预测为异常区域，真实也为异常区域的目标框数量，FP表示预测为异常区域，实际为正常区域的目标框数量，FN表示预测为正常区域，实际也为正常区域的目标框数量。
利用AP值即精确率、召回率曲线下面积，衡量异常定位方法的有效性,AP值的范围为[0，1]，AP值越高，对应方法越有效。
更进一步的，本申请使用四折交叉验证的方式，对网络框架进行训练和测试。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于融合注意力的宫颈细胞学图像异常区域定位方法相同的思想，本发明还提供了基于融合注意力的宫颈细胞学图像异常区域定位系统，该系统可用于执行上述基于融合注意力的宫颈细胞学图像异常区域定位方法。为了便于说明，基于融合注意力的宫颈细胞学图像异常区域定位系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图8，在本申请的另一个实施例中，提供了一种基于融合注意力的宫颈细胞学图像异常区域定位系统100，该系统包括：包括预处理模块101、特征提取模块102、多尺度特征融合模型构建模块103、回归与分类模块104以及判断模块105；
所述预处理模块101，用于获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，
所述特征提取模块102，用于采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征；
所述多尺度特征融合模型构建模块103，用于构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；
所述回归与分类模块104，用于采用联合注意力的共享检测头对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对对目标框坐标进行回归；
所述判断模块105，用于采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
需要说明的是，本发明的基于融合注意力的宫颈细胞学图像异常区域定位系统与本发明的基于融合注意力的宫颈细胞学图像异常区域定位方法一一对应，在上述基于融合注意力的宫颈细胞学图像异常区域定位方法的实施例阐述的技术特征及其有益效果均适用于基于融合注意力的宫颈细胞学图像异常区域定位的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于融合注意力的宫颈细胞学图像异常区域定位系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于融合注意力的宫颈细胞学图像异常区域定位系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图9，在一个实施例中，提供了一种实现基于融合注意力的宫颈细胞学图像异常区域定位方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如异常区域定位程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如异常区域定位程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图9仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图9示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的异常区域定位程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指特征金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对对目标框坐标进行回归；
采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，包括下述步骤：
获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对目标框坐标进行回归；所述联合注意力的共享检测头与目标框质量评估方法，具体为：
计算残差卷积特征，计算残差卷积特征的结构由四层残差卷积块组成，每个残差卷积块由一层卷积层、跳跃连接、组归一化操作组成，其中卷积核尺寸为3×3，卷积前后的通道数保持不变，均为256；组归一化过程为，原特征通道数为C，将每个批次特征图的通道分成G组，每组有C/G个通道，再对分组后的通道求均值和标准差，并在组内对每个特征值进行归一化，均值、标准差与归一化后的特征值的具体计算表达式为：
其中xnchw为组内某一点的特征值，H为特征图的宽度，W为特征图的长度，为归一化后的特征；
在最后一个残差卷积块之后，计算空间注意力，给定输入x，输出空间注意力y的计算表达式为：
mq＝fq(x)
mk＝fk(x)
mv＝fv(x)
其中，fq、fk、fv分别表示三层1×1卷积；
对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵S，其计算表达式为
S＝F*σ(max(0，gp))
根据特征点的预测值对目标框进行分类，对获取到的特征进行softmax分类，计算每个特征点对应的目标区域属于第k类的概率
其中，(i，j)分别为该特征点的横、纵坐标，为特征向量矩阵S的第k个分量，/>表示对特征向量里的c个分量进行求和，c是分类的类别数；
对目标框进行质量评估，设计指标q用于评定目标框的质量，q表示从预测框中心到真实框的相对距离，给定预测框的特征点到真实框4边距离l*，r*，t*，b*，目标框的质量q定义为：
其中q∈(0，1)，则特征图上i，j处对应的目标框预测质量分数为与真实质量分数之间的二维交叉熵损失为：
其中i是特征点的横坐标，j是特征点的纵坐标，σ为sigmoid激活函数，Npos为命中异常区域的目标框总数，在训练过程中，目标框质量评估loss是总loss的一部分，在测试过程中，预测的质量分数乘以相应的分类分数，得到目标的最终分数，在训练和预测过程中，质量低或与真实框没有重叠的边界框将被丢弃；
对目标框坐标进行回归，给定特征点到预测框4边距离l*，r*，t*，b*，特征点到真实框到4边的距离l，r,t，b，令则回归损失函数为：
其中i是特征点的横坐标，j是特征点的纵坐标，Npos为命中异常区域的目标框总数；
训练网络的总Loss设计，总损失由分类损失Lcls、质量评估损失Lq和回归损失Lreg组成，总损失函数计算表达式为：
L＝Lcls+LQ+Lreg；
采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
2.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，所述预处理具体为：
对原始宫颈细胞学图像进行旋转、翻转和亮度变换，得到部分增广数据集，将所述部分增广数据集作为图像测试集；
使用去错切的马赛克数据增强方法，分别对原始宫颈细胞学图像进行旋转、翻转和亮度变化处理，将处理后的图像和对应的原始宫颈细胞学图像进行拼接，拼接后的新图像大小与原始宫颈细胞学图像相同，得到去错切的马赛克数据增广数据集，将所述马赛克数据增广数据集作为图像训练集。
3.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，所述采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征，具体为：
所述残差神经网络包含五个残差块，每个残差块均为BottleNeck结构，由1×1卷积f1、3×3卷积f2、1×1卷积f3以及跳跃连接组成，每个残差块学习的恒等映射为：
H(x)＝f3(f2(f1(x)))
F(x)＝H(x)+x
其中，H(x)表示无跳跃连接时残差块的输出，F(x)表示通过跳跃连接学习到的特征，x表示原始特征；
输出图像的三层粗特征C3，C4，C5，C3，C4，C5表示残差神经网络提取的不同层级的特征；C3为最低层特征。
4.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，所述构建多尺度特征融合模型具体为：
对残差神经网络输出的粗特征图Ck进行组平均池化，得到形状为[B，C，1,1]的通道特征权重gp：
其中，B为批大小，C为通道大小，为粗特征图Ck上第(i，j)位置处的值，H为特征图的长度，W为特征图的宽度；
将通道特征权重gp传入线性整流函数ReLU中，其具体表达式为max(0，gp)；再将通道特征权重馈入一层全连接层和一个sigmoid激活函数σ，乘以粗特征图Ck，最后得到无通道信息衰减的通道注意力特征Csq_k，其计算表达式为：
Csq_k＝Ck*σ(max(0，gp))
对得到的通道注意力特征Csq_3，Csq_4，Csq_5进行1×1卷积，得到待融合的特征f3(Csq_3)，f3(Csq_4)，f3(Csq_5)；
输出不同层级的特征F3，F4，F5，F6，F7，其中，F5层特征由原始粗特征C5计算通道注意力，再进行一层卷积得到Csq_5，卷积核尺寸为1×1，其计算表达式为；
对于F3层、F4层特征，分别根据其原始粗特征C3、C4计算通道注意力，再进行一层卷积分别得到Csq_3、Csq_4，卷积核尺寸为1×1；再对高层特征F4、F5进行上采样，其中插值方式为最邻近插值，并将它们分别与对应的通道注意力特征Csq_3、Csq_4求和，计算Fs层、F4层特征的具体表达式为：
对于高维特征F6、F7，分别由F5和F6进行3×3卷积计算得到，计算F6、F7的具体表达式为：
Fi＝fi(Fi-1)，i＝6,7
其中f6，f7为3×3卷积。
5.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，在训练过程中，根据softmax分类结果，计算分类loss，设计loss的形式为focalloss，其计算表达式如下：
其中，Lcls为分类损失函数，wk为权重衰减系数，为预测概率/>和真实标签/>之间的交叉熵，Npos为命中异常区域的预测框总数，α，γ为超参数，用于控制正负样本的loss贡献比例。
6.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，采用iog作为判断目标框是否命中异常区域的指标，并以此作为计算AP值的依据，具体为：
判断预测框是否命中目标的指标为iog，物理含义为预测框与真实框重叠区域面积I(pred，gt)与真实框面积Agt的比值，具体表达式为：
通过非极大值抑制控制预测框的数量，对预测框进行置信度排序，若预测框的iog≥0.5，则判定为该预测框命中异常区域，对于完整的异常区域定位过程，所依赖的精确率与召回率定义如下：
根据网络预测的置信度预测目标框是为异常区域，若目标框的置信度p＞0.5，则认为网络预测其命中异常区域，否则，认为其未命中异常区域，其中，TP表示预测为异常区域，真实也为异常区域的目标框数量，FP表示预测为异常区域，实际为正常区域的目标框数量，FN表示预测为正常区域，实际也为正常区域的目标框数量；
利用AP值，即精确率、召回率曲线下面积，衡量异常定位方法的有效性，AP值的范围为[0，1]，AP值越高，对应方法越有效。
7.基于融合注意力的宫颈细胞学图像异常区域定位系统，其特征在于，包括预处理模块、特征提取模块、多尺度特征融合模型构建模块、回归与分类模块以及判断模块；
所述预处理模块，用于获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；
采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；
构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；
采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对目标框坐标进行回归；所述联合注意力的共享检测头与目标框质量评估方法，具体为：
计算残差卷积特征，计算残差卷积特征的结构由四层残差卷积块组成，每个残差卷积块由一层卷积层、跳跃连接、组归一化操作组成，其中卷积核尺寸为3×3，卷积前后的通道数保持不变，均为256；组归一化过程为，原特征通道数为C，将每个批次特征图的通道分成G组，每组有C/G个通道，再对分组后的通道求均值和标准差，并在组内对每个特征值进行归一化，均值、标准差与归一化后的特征值的具体计算表达式为：
其中xnchw为组内某一点的特征值，H为特征图的宽度，W为特征图的长度，为归一化后的特征；
在最后一个残差卷积块之后，计算空间注意力，给定输入x，输出空间注意力y的计算表达式为：
mq＝fq(x)
mk＝fk(x)
mv＝fv(x)
其中，fq、fk、fv分别表示三层1×1卷积；
对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵S，其计算表达式为
S＝F*σ(max(0，gp))
根据特征点的预测值对目标框进行分类，对获取到的特征进行softmax分类，计算每个特征点对应的目标区域属于第k类的概率
其中，(i，j)分别为该特征点的横、纵坐标，为特征向量矩阵S的第k个分量，/>表示对特征向量里的c个分量进行求和，c是分类的类别数；
对目标框进行质量评估，设计指标q用于评定目标框的质量，q表示从预测框中心到真实框的相对距离，给定预测框的特征点到真实框4边距离l*，r*，t*，b*，目标框的质量q定义为：
其中q∈(0，1)，则特征图上i，j处对应的目标框预测质量分数为与真实质量分数之间的二维交叉熵损失为：
其中i是特征点的横坐标，j是特征点的纵坐标，σ为sigmoid激活函数，Npos为命中异常区域的目标框总数，在训练过程中，目标框质量评估loss是总loss的一部分，在测试过程中，预测的质量分数乘以相应的分类分数，得到目标的最终分数，在训练和预测过程中，质量低或与真实框没有重叠的边界框将被丢弃；
对目标框坐标进行回归，给定特征点到预测框4边距离l*，r*，t*，b*，特征点到真实框到4边的距离l，r,t，b，令则回归损失函数为：
其中i是特征点的横坐标，j是特征点的纵坐标，Npos为命中异常区域的目标框总数；
训练网络的总Loss设计，总损失由分类损失Lcls、质量评估损失Lq和回归损失Lreg组成，总损失函数计算表达式为：
L＝Lcls+Lq+Lreg；
所述判断模块，用于采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任意一项所述的基于融合注意力的宫颈细胞学图像异常区域定位方法。
9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的基于融合注意力的宫颈细胞学图像异常区域定位方法。
CN202210378225.5A 2022-04-12 2022-04-12 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 Active CN114897779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210378225.5A CN114897779B (zh) 2022-04-12 2022-04-12 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210378225.5A CN114897779B (zh) 2022-04-12 2022-04-12 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置

Publications (2)

Publication Number Publication Date
CN114897779A CN114897779A (zh) 2022-08-12
CN114897779B true CN114897779B (zh) 2024-04-23

Family

ID=82716586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210378225.5A Active CN114897779B (zh) 2022-04-12 2022-04-12 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置

Country Status (1)

Country Link
CN (1) CN114897779B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272342B (zh) * 2022-09-29 2023-02-17 深圳大学 基于明场图像的细胞分化程度评估方法、存储介质及系统
CN115690556B (zh) * 2022-11-08 2023-06-27 河北北方学院附属第一医院 一种基于多模态影像学特征的图像识别方法及系统
CN115908298B (zh) * 2022-11-10 2023-10-10 苏州慧维智能医疗科技有限公司 内窥镜图像中息肉的目标预测方法、模型及存储介质
CN116452912B (zh) * 2023-03-28 2024-04-05 浙江大学 训练方法、目标检测方法、介质及电子设备
CN116843956A (zh) * 2023-06-14 2023-10-03 长江大学 一种宫颈病理图像异常细胞识别方法、系统及存储介质
CN116805532A (zh) * 2023-06-28 2023-09-26 河北大学 一种感染性肾结石的网络评估方法
CN117690128B (zh) * 2024-02-04 2024-05-03 武汉互创联合科技有限公司 胚胎细胞多核目标检测系统、方法和计算机可读存储介质
CN117808815B (zh) * 2024-03-01 2024-04-26 北京阿迈特医疗器械有限公司 植、介入性管状器械的外壁质量检测方法及装置
CN117894002A (zh) * 2024-03-18 2024-04-16 杭州像素元科技有限公司 一种危险物小目标检测模型的构建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765374A (zh) * 2018-04-27 2018-11-06 华南理工大学 一种宫颈涂片图像中异常核区域筛查的方法
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
WO2021243783A1 (zh) * 2020-05-31 2021-12-09 浙江大学 一种提取b超图像显著纹理特征的方法及其应用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765374A (zh) * 2018-04-27 2018-11-06 华南理工大学 一种宫颈涂片图像中异常核区域筛查的方法
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
WO2021243783A1 (zh) * 2020-05-31 2021-12-09 浙江大学 一种提取b超图像显著纹理特征的方法及其应用
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合空间注意力机制的行车障碍预测网络;雷俊锋;贺睿;肖进胜;;光学精密工程;20200814(08);第229-239页 *

Also Published As

Publication number Publication date
CN114897779A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
WO2017215622A1 (zh) 物体分割方法及装置、计算设备
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN112529146B (zh) 神经网络模型训练的方法和装置
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
CN112508863A (zh) 一种基于rgb图像和msr图像双通道的目标检测方法
CN116524356A (zh) 一种矿石图像小样本目标检测方法及系统
CN115661771A (zh) 一种基于不均匀锚的车道线边沿实时检测方法和系统
CN115273131A (zh) 基于双通路特征融合的动物识别方法
CN114821098A (zh) 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法
CN113989671A (zh) 基于语义感知与动态图卷积的遥感场景分类方法及系统
Wu et al. Fish Target Detection in Underwater Blurred Scenes Based on Improved YOLOv5
CN117523205B (zh) 少样本ki67多类别细胞核的分割识别方法
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN117690128B (zh) 胚胎细胞多核目标检测系统、方法和计算机可读存储介质
CN113449611B (zh) 一种基于yolo网络压缩算法的安全帽识别智能监控系统
Chen et al. Image distillation based screening for x-ray crystallography diffraction images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant