CN113222044B - 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法 - Google Patents

一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法 Download PDF

Info

Publication number
CN113222044B
CN113222044B CN202110573771.XA CN202110573771A CN113222044B CN 113222044 B CN113222044 B CN 113222044B CN 202110573771 A CN202110573771 A CN 202110573771A CN 113222044 B CN113222044 B CN 113222044B
Authority
CN
China
Prior art keywords
attention
ternary
scale
association fusion
scale association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110573771.XA
Other languages
English (en)
Other versions
CN113222044A (zh
Inventor
史骏
黄薇
唐昆铭
吴坤
郑利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110573771.XA priority Critical patent/CN113222044B/zh
Publication of CN113222044A publication Critical patent/CN113222044A/zh
Application granted granted Critical
Publication of CN113222044B publication Critical patent/CN113222044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：步骤S1、采集训练样本图像数据；步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；步骤S3、构建尺度关联融合层；步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络。该基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率。

Description

一种基于三元注意力和尺度关联融合的宫颈液基细胞分类 方法
技术领域
本发明属于数字图像处理与医学交叉技术领域，具体涉及一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法。
背景技术
宫颈细胞分类在宫颈癌早期筛查中具有重要的临床意义。目前宫颈癌细胞学的诊断主要依据病理医生在显微镜下人工阅片进行，但目前我国病理科自动化程度低，诊断时间长，超负荷的工作量严重地影响了病理诊断的质量，降低了筛查的准确性，漏诊误诊现象时有发生。因此，需要一种数字化的宫颈细胞分类方法，辅助病理医生进行宫颈细胞的分类，减轻病理医生的阅片负担，提高病理医生的诊断精度。
发明内容
本发明的目的就在于为了解决上述问题而提供一种结构简单，设计合理的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法。
本发明通过以下技术方案来实现上述目的：
一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：
步骤S1、采集训练样本图像数据；
步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；
步骤S3、构建尺度关联融合层；
步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络；
步骤S5、将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整所述基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别所述训练样本图像数据的分类器；
步骤S6、将待测样本图像数据输入分类器并获取分类结果。
作为本发明的进一步优化方案，所述训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据。
作为本发明的进一步优化方案，所述尺度关联融合层的构建包括以下具体步骤：
1)、将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；
2)、将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；
3)、将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；
4)、将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射。
作为本发明的进一步优化方案，基于三元注意力模块和尺度关联融合层的深度网络搭建过程包括以下具体步骤：
1)、将50层的残差网络每个阶段中的3*3卷积替换为多头自注意层，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；
2)、将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；
3)、将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；
4)、将上述相加的结果输入到Softmax分类器，获得一个9维向量。作为本发明的进一步优化方案，所述带权重的交叉熵损失函数为：
Figure BDA0003083513630000032
Figure BDA0003083513630000031
其中，w(i)为样本第i类的损失权重，p(xi)为样本xi的真实类别，q(xi)为样本xi的预测类别，n为样本总数，ci为第i类的样本数目。
本发明的有益效果在于：
1)本发明取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率；
2)本发明结合大量标注宫颈细胞图像数据，构建了一个能够对9类宫颈细胞图像进行分类的分类模型，可对未阅宫颈细胞图像进行分类，有利于减轻病理医生的阅片负担，同时本发明方法分类精度高，适合在工程实践当中应用，具有广阔的应用价值与市场前景。
附图说明
图1是本发明的流程框架图；
图2是本发明的宫颈细胞训练样本图。
具体实施方式
下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
实施例1
如图1所示，一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：
步骤S1、采集训练样本图像数据；训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据；
步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；注意力机制使得模型对输入数据或特征图上的不同部分对应的专注度不同，能够忽略无关信息而关注重点信息，使用注意力机制，能够对数据的特征进行更有效的学习，提高宫颈细胞分类的精度。
步骤S3、构建尺度关联融合层；尺度关联融合层的构建包括以下具体步骤：
1)、将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；
2)、将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；
3)、将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；
4)、将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射。
步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络；基于三元注意力模块和尺度关联融合层的深度网络搭建过程包括以下具体步骤：
1)、将50层的残差网络(Resnet)每个阶段中的3*3卷积替换为多头自注意层(Multi-Head Self-Attention，MHSA)，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；
2)、将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；
3)、将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；
4)、将上述相加的结果输入到Softmax分类器，获得一个9维向量。
步骤S5、将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别训练样本图像数据的分类器；其中，带权重的交叉熵损失函数为：
Figure BDA0003083513630000062
Figure BDA0003083513630000061
其中，w(i)为样本第i类的损失权重，p(xi)为样本xi的真实类别，q(xi)为样本xi的预测类别，n为样本总数，ci为第i类的样本数目。
步骤S6、将待测样本图像数据输入分类器并获取分类结果，可预测未识别的样本图像的类别，具体为输入样本图像，加载上述步骤S5得到优化后的基于三元注意力和尺度关联融合的深度网络的网络结构与权重参数，将图像输入至上述深度网络中得到分类结果。
本发明取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率，并结合大量标注宫颈细胞图像数据，构建了一个能够对九类宫颈细胞图像进行分类的分类模型，可对未阅宫颈细胞图像进行分类，有利于减轻病理医生的阅片负担，分类精度高，可有效的减少病理医生对宫颈细胞分类的工作强度，适合在工程实践当中应用，具有广阔的应用价值与市场前景。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (1)

1.一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于，包括以下步骤：
步骤S1.采集训练样本图像数据，其中，所述训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据；
步骤S2.构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；
步骤S3.构建尺度关联融合层，具体为：
1)将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；
2)将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；
3)将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；
4)将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射；
步骤S4.搭建基于三元注意力模块和尺度关联融合层的深度网络，具体为：
1)将50层的残差网络每个阶段中的3*3卷积替换为多头自注意层，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；
2)将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；
3)将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；
4)将上述相加的结果输入到Softmax分类器，获得一个9维向量；
步骤S5.将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整所述基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别所述训练样本图像数据的分类器；
其中，所述带权重的交叉熵损失函数为：
Figure FDF0000015541500000021
Figure FDF0000015541500000022
其中，w(i)为样本第i类的损失权重，p(xi)为样本xi的真实类别，q(xi)为样本xi的预测类别，n为样本总数，ci为第i类的样本数目；
步骤S6.将待测样本图像数据输入分类器并获取分类结果。
CN202110573771.XA 2021-05-25 2021-05-25 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法 Active CN113222044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110573771.XA CN113222044B (zh) 2021-05-25 2021-05-25 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573771.XA CN113222044B (zh) 2021-05-25 2021-05-25 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法

Publications (2)

Publication Number Publication Date
CN113222044A CN113222044A (zh) 2021-08-06
CN113222044B true CN113222044B (zh) 2022-03-08

Family

ID=77098472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573771.XA Active CN113222044B (zh) 2021-05-25 2021-05-25 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法

Country Status (1)

Country Link
CN (1) CN113222044B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134019A (ko) * 2015-05-14 2016-11-23 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CA3138679A1 (en) * 2019-04-30 2020-11-05 The Trustees Of Dartmouth College System and method for attention-based classification of high-resolution microscopy images
WO2020236993A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
WO2020236764A1 (en) * 2019-05-20 2020-11-26 Flir Commercial Systems, Inc. Neural network and classifier selection systems and methods
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112668584A (zh) * 2020-12-24 2021-04-16 山东大学 一种基于视觉注意力和多尺度卷积神经网络的空调外机画像智能检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894490A (zh) * 2015-11-05 2016-08-24 广西师范大学 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
CN109447976B (zh) * 2018-11-01 2020-07-07 电子科技大学 一种基于人工智能的医学图像分割方法及系统
CN109871798B (zh) * 2019-02-01 2021-06-29 浙江大学 一种基于卷积神经网络的遥感影像建筑物提取方法
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN109948691B (zh) * 2019-03-14 2022-02-18 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置
CN110009050A (zh) * 2019-04-10 2019-07-12 杭州智团信息技术有限公司 一种细胞的分类方法及装置
CN109871909B (zh) * 2019-04-16 2021-10-01 京东方科技集团股份有限公司 图像识别方法及装置
CN110163102A (zh) * 2019-04-18 2019-08-23 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于卷积神经网络的宫颈细胞图像分类识别方法
CN111046967A (zh) * 2019-12-18 2020-04-21 江苏科技大学 一种基于卷积神经网络和注意力机制的水下图像分类方法
CN111274903B (zh) * 2020-01-15 2022-12-06 合肥工业大学 一种基于图卷积神经网络的宫颈细胞图像分类方法
CN111401436B (zh) * 2020-03-13 2023-04-18 中国科学院地理科学与资源研究所 一种融合网络和双通道注意力机制的街景图像分割方法
CN112684427B (zh) * 2020-12-15 2024-05-17 南京理工大学 基于串行二次强化训练的雷达目标识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134019A (ko) * 2015-05-14 2016-11-23 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CA3138679A1 (en) * 2019-04-30 2020-11-05 The Trustees Of Dartmouth College System and method for attention-based classification of high-resolution microscopy images
WO2020236764A1 (en) * 2019-05-20 2020-11-26 Flir Commercial Systems, Inc. Neural network and classifier selection systems and methods
WO2020236993A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112668584A (zh) * 2020-12-24 2021-04-16 山东大学 一种基于视觉注意力和多尺度卷积神经网络的空调外机画像智能检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Channel-Attention-Based DenseNet Network for Remote Sensing Image Scene Classification;Tong, W等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;20200715;第13卷;第4121-4132页 *
基于反馈注意力机制和上下文融合的非模式实例分割;董俊杰等;《智能系统学报》;20210507;第801-810页 *

Also Published As

Publication number Publication date
CN113222044A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113191215B (zh) 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN108346145B (zh) 一种病理切片中非常规细胞的识别方法
CN111274903B (zh) 一种基于图卷积神经网络的宫颈细胞图像分类方法
WO2023284340A1 (zh) 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法
CN109993236A (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN113378791B (zh) 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN113743353A (zh) 空间、通道和尺度注意力融合学习的宫颈细胞分类方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN112819063B (zh) 一种基于改进的Focal损失函数的图像识别方法
CN113222044B (zh) 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法
CN114399763A (zh) 一种单样本与小样本微体古生物化石图像识别方法及系统
CN113724195A (zh) 基于免疫荧光图像的蛋白质的定量分析模型和建立方法
Ye et al. [Retracted] Application of CNN Algorithm Based on Chaotic Recursive Diagonal Model in Medical Image Processing
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN117198535A (zh) 一种基于临床数据的急性生理慢性健康评估方法及系统
US20230223099A1 (en) Predicting method of cell deconvolution based on a convolutional neural network
CN113436115A (zh) 一种基于深度无监督学习的图像阴影检测方法
CN113961818A (zh) 一种基于长短期兴趣与社会影响力的群体需求预测方法
Jiang et al. Medical Knowledge Guided Intra-Specimen Reference Network for Cervical Cell Classification
CN112466389A (zh) 一种基于机器学习算法获取肿瘤标记物的方法和系统
CN116452910B (zh) 基于图神经网络的scRNA-seq数据特征表示和细胞类型识别方法
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法
Yin Research on Community Risk Prediction Model and Management Based on Deep Learning
CN117275650A (zh) 基于机器学习的生化免疫检验报告智能审核方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant