CN113378796A - 一种基于上下文建模的宫颈细胞全切片分类方法 - Google Patents

一种基于上下文建模的宫颈细胞全切片分类方法 Download PDF

Info

Publication number
CN113378796A
CN113378796A CN202110794172.0A CN202110794172A CN113378796A CN 113378796 A CN113378796 A CN 113378796A CN 202110794172 A CN202110794172 A CN 202110794172A CN 113378796 A CN113378796 A CN 113378796A
Authority
CN
China
Prior art keywords
full
cell
network
block
cervical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110794172.0A
Other languages
English (en)
Other versions
CN113378796B (zh
Inventor
刘波
史骏
唐昆铭
束童
祝新宇
罗庭辉
张元�
郑利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110794172.0A priority Critical patent/CN113378796B/zh
Publication of CN113378796A publication Critical patent/CN113378796A/zh
Application granted granted Critical
Publication of CN113378796B publication Critical patent/CN113378796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于上下文建模的宫颈细胞全切片分类方法，包括：1.获取T类宫颈细胞全切片样本；2.构造基于Faster Rcnn网络的细胞检测和特征提取模块，对宫颈细胞全切片样本进行细胞检测和特征提取，对固定大小的细胞核图像提取特征，得到不同类型细胞全切片中的细胞核图像的特征序列；3.搭建双向长短期记忆网络和注意力机制融合的上下文建模模块；4.搭建宫颈细胞全切片分类器；5.进行宫颈细胞全切片的分类预测。本发明通过对输入的不同宫颈细胞全切片中的细胞核图像进行特征提取后的信息进行更加有效的学习，完成对多种不同宫颈细胞全切片的准确分类，能够有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。

Description

一种基于上下文建模的宫颈细胞全切片分类方法
技术领域
本发明涉及数字图像处理技术领域，特别涉及图像分类技术，具体涉及一种基于上下文建模的宫颈细胞病理全切片分类方法。
背景技术
传统的病理图像分析是通过病理医生在显微镜下进行人工阅片来完成的，这一环节需要有着丰富临床经验的医生对大量组织病理学的切片图像进行分析，然而医生每天的阅片数量十分庞大，阅片时间长，医生可能会因为超负荷的工作量、主观情绪的影响严重影响病理切片分析的正确率，这给病理切片分析的发展带来了很大的阻碍。若是能够提升宫颈细胞全切片分类的自动化进程，利用计算机辅助阅片，将给病理切片分析带来新的发展思路。
近年来，深度学习的出现引起了计算机视觉领域的广泛关注，并开始将其应用于各种视觉任务，并取得了显著的效果。目前，基于深度学习的宫颈细胞分类方法大多只采用简单的网络模型对细胞图像特征进行提取和学习，在预测的准确度上还有很大的提升空间。
发明内容
本发明为克服现有技术的不足之处，提出一种基于上下文建模的宫颈细胞全切片分类方法，以期能够更好地学习和提取全切片中的细胞图像特征，从而能提高分类的效率和准确率，并有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于上下文建模的宫颈细胞全切片的分类方法的特点是按如下步骤进行：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure BDA0003161997380000011
Figure BDA0003161997380000012
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；
采用非重叠分割方式将第k个全切片
Figure BDA0003161997380000013
分割成多个图像块，得到分块集合记为
Figure BDA0003161997380000014
Figure BDA0003161997380000015
表示第k个全切片
Figure BDA0003161997380000016
的第n个分块图像；Nk表示第k个全切片
Figure BDA0003161997380000017
的总块数；
步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；
将所述第n个分块图像
Figure BDA0003161997380000021
输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure BDA0003161997380000022
步骤2.1.2、所述区域提取网络在所述特征图
Figure BDA0003161997380000023
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图
Figure BDA0003161997380000024
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure BDA0003161997380000025
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure BDA0003161997380000026
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure BDA0003161997380000027
Figure BDA0003161997380000028
表示第k个全切片
Figure BDA0003161997380000029
的第n个分块图像
Figure BDA00031619973800000210
的特征图
Figure BDA00031619973800000211
中第j个细胞核特征图；Jt,k,n表示特征图
Figure BDA00031619973800000212
的细胞核特征图总数；
将所述第j个细胞核特征图
Figure BDA00031619973800000213
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure BDA00031619973800000214
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure BDA00031619973800000215
步骤3、构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制融模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、所述双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure BDA0003161997380000031
进行特征学习；
将第j个细胞核特征向量
Figure BDA0003161997380000032
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure BDA0003161997380000033
和后向LSTM的隐状态输出为
Figure BDA0003161997380000034
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure BDA0003161997380000035
从而得到a时刻的隐状态集合
Figure BDA0003161997380000036
步骤3.2、所述注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure BDA0003161997380000037
注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure BDA0003161997380000038
从而得到注意力特征序列
Figure BDA0003161997380000039
将所述输入注意力特征向量
Figure BDA00031619973800000310
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure BDA00031619973800000311
的权重
Figure BDA00031619973800000312
从而得到权重集合
Figure BDA00031619973800000313
Figure BDA00031619973800000314
式(1)中，
Figure BDA00031619973800000315
表示输入注意力特征向量
Figure BDA00031619973800000316
的转置，V′表示矩阵数乘
Figure BDA00031619973800000317
的转置，d表示超参数，T表示细胞类别数；tanh()表示正切曲线函数；
步骤3.3、所述融合模块将所述隐状态集合
Figure BDA00031619973800000318
和所述权重集合
Figure BDA00031619973800000319
结合起来并输入至tanh激活函数中得到特征融合信息序列Rn t,k；再将特征融合信息序列Rn t,k序列输入一个全连接层中，从而得到第n个分块图像
Figure BDA00031619973800000320
的分类结果；
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure BDA00031619973800000321
式(2)中，
Figure BDA00031619973800000322
表示第k个全切片
Figure BDA00031619973800000323
是第t类的真值得分，
Figure BDA00031619973800000324
表示融合模块输出的第k个全切片
Figure BDA0003161997380000041
是第t类的预测概率得分；
将所述训练样本中各个全切片的所有图像块输入所述细胞检测和提取网络以及上下文建模网络进行训练，并通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器，用于实现宫颈细胞全切片的分类结果。
与已有技术相比，本发明的有益效果体现在：
1、本发明与传统的细胞级分类方法不同，构建了一种全切片级别的细胞分类方法，将不同类型细胞全切片进行细胞检测与细胞特征提取训练，能够有效对细胞全切片进行分类，从而有效降低了当前宫颈细胞分类方法对于细胞级别的标注代价。
2、本发明通过构建双向长短期记忆网络(Bi-LSTM)和注意力机制融合的上下文建模网络，双向长短期记忆网络(Bi-LSTM)对提取到的图片特征进行深入的学习与建模，使模型能够充分利用历史信息以及当前输入，挖掘wsi上下文信息，提高了分类的准确性和精度；增加了注意力机制，能够减少无效信息的影响，提高看分类任务的精度。
3、本发明通过使用一种基于深度学习的宫颈细胞全切片分类方法对宫颈细胞全切片进行分类，能够加快对宫颈细胞全切片分类的自动化进程，并能辅助病理医生进行辅助阅片，有助于减轻病理医生的负担，同时由于计算机自动化筛查诊疗成本较低，有利于解决医疗资源分布不均的问题，可以让辅助阅片覆盖社区、乡村的基层医院，从而对提高病理医生的阅片效率有着意义深远的影响。
附图说明
图1为本发明的方法流程图；
图2为本发明双向长短期记忆网络(Bi-LSTM)和上下文建模模块图。
具体实施方式
本实施例中，一种基于上下文建模的宫颈细胞病理全切片分类方法，主要是利用Faster-Rcnn网络进行全切片中细胞的检测和细胞核图像单元特征的提取，并利用双向长短期记忆网络(Bi-LSTM)加注意力机制进行全切片图像特征的建模，进行特征的学习，并通过宫颈细胞全切片(wsi)分类器进行宫颈细胞全切片(wsi)的分类预测，如图1所示，具体步骤如下：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure BDA0003161997380000042
Figure BDA0003161997380000043
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；本实施例中，利用不同种类的宫颈细胞全切片图像作为训练和测试的样本，例如不典型鳞状上皮细胞、非典型腺细胞等，每类全切片图像各有300张，所有的数据80％作为训练集，20％作为测试集。
采用非重叠分割方式将第k个全切片
Figure BDA0003161997380000051
分割成多个图像块，得到分块集合记为
Figure BDA0003161997380000052
Figure BDA0003161997380000053
表示第k个全切片
Figure BDA0003161997380000054
的第n个分块图像；Nk表示第k个全切片
Figure BDA0003161997380000055
的总块数；
步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；本实施例中，第一卷积块的卷积核为7×7。
将第n个分块图像
Figure BDA0003161997380000056
输入骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure BDA0003161997380000057
步骤2.1.2、区域提取网络在特征图
Figure BDA0003161997380000058
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、ROI检测网络利用ROI池化层将多个精准候选区域映射到特征图
Figure BDA0003161997380000059
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure BDA00031619973800000510
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure BDA00031619973800000511
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure BDA00031619973800000512
Figure BDA00031619973800000513
表示第k个全切片
Figure BDA00031619973800000514
的第n个分块图像
Figure BDA0003161997380000061
的特征图
Figure BDA0003161997380000062
中第j个细胞核特征图；Jt,k,n表示特征图
Figure BDA0003161997380000063
的细胞核特征图总数；
将第j个细胞核特征图
Figure BDA0003161997380000064
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure BDA0003161997380000065
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure BDA0003161997380000066
步骤3、如图2所示，构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制融模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure BDA0003161997380000067
进行特征学习；
将第j个细胞核特征向量
Figure BDA0003161997380000068
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure BDA0003161997380000069
和后向LSTM的隐状态输出为
Figure BDA00031619973800000610
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure BDA00031619973800000611
从而得到a时刻的隐状态集合
Figure BDA00031619973800000612
步骤3.2、注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure BDA00031619973800000613
注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure BDA00031619973800000614
从而得到注意力特征序列
Figure BDA00031619973800000615
将输入注意力特征向量
Figure BDA00031619973800000616
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure BDA00031619973800000617
的权重Oj t,k,n，从而得到权重集合
Figure BDA00031619973800000618
Figure BDA00031619973800000619
式(1)中，
Figure BDA00031619973800000620
表示
Figure BDA00031619973800000621
的转置，
Figure BDA00031619973800000622
的转置，d表示超参数，T表示细胞类别数；c表示细胞类别数；tanh()表示正切曲线函数；本实例中，细胞类别数c为5。
步骤3.3、融合模块利用式(2)将隐状态集合
Figure BDA0003161997380000071
和权重集合On t,k结合并输入至tanh激活函数中得到特征融合信息序列Rn t,k；再将特征融合信息序列Rn t,k序列输入一个全连接层中，从而得到第n个分块图像
Figure BDA0003161997380000072
的分类结果；
Figure BDA0003161997380000073
式(2)中，
Figure BDA0003161997380000074
表示相加计算；tanh()表示正切曲线函数。本实施例中，最终的分类结果为一个T维的特征向量，代表对应分类类别的预测概率得分。
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure BDA0003161997380000075
式(2)中，
Figure BDA0003161997380000076
表示第k个全切片
Figure BDA0003161997380000077
是第t类的真值得分，
Figure BDA0003161997380000078
表示融合模块输出的第k个全切片
Figure BDA0003161997380000079
是第t类的预测概率得分；
将训练样本中各个全切片的所有图像块输入细胞检测和提取网络以及上下文建模网络进行训练，通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器；
步骤5、宫颈细胞全切片(wsi)的分类预测；
首先对宫颈细胞全切片图像进行固定大小的非重叠图像分块处理，将处理后的分块处理单元输入至基于Faster Rcnn网络的细胞检测网络进行检测，将检测到的细胞核选框区域进行特征提取，得到所有细胞核图像的特征序列，输入至双向长短期记忆网络(Bi-LSTM)和注意力机制融合的上下文建模网络模型对细胞核图像进行预测，加载步骤4中细胞检测和提取网络以及上下文建模网络的网络结构与权重参数，将细胞核图像特征序列输入至上述深度网络中得到分类结果。

Claims (1)

1.一种基于上下文建模的宫颈细胞全切片的分类方法，其特征是按如下步骤进行：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure FDA0003161997370000011
Figure FDA0003161997370000012
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；
采用非重叠分割方式将第k个全切片
Figure FDA0003161997370000013
分割成多个图像块，得到分块集合记为
Figure FDA0003161997370000014
Figure FDA0003161997370000015
表示第k个全切片
Figure FDA0003161997370000016
的第n个分块图像；Nk表示第k个全切片
Figure FDA0003161997370000017
的总块数；
步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；
将所述第n个分块图像
Figure FDA0003161997370000018
输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure FDA0003161997370000019
步骤2.1.2、所述区域提取网络在所述特征图
Figure FDA00031619973700000110
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图
Figure FDA00031619973700000111
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure FDA00031619973700000112
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure FDA00031619973700000113
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure FDA0003161997370000021
Figure FDA0003161997370000022
表示第k个全切片
Figure FDA0003161997370000023
的第n个分块图像
Figure FDA0003161997370000024
的特征图
Figure FDA0003161997370000025
中第j个细胞核特征图；Jt,k,n表示特征图
Figure FDA0003161997370000026
的细胞核特征图总数；
将所述第j个细胞核特征图
Figure FDA0003161997370000027
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure FDA0003161997370000028
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure FDA0003161997370000029
步骤3、构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制融模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、所述双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure FDA00031619973700000210
进行特征学习；
将第j个细胞核特征向量
Figure FDA00031619973700000211
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure FDA00031619973700000212
和后向LSTM的隐状态输出为
Figure FDA00031619973700000213
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure FDA00031619973700000214
从而得到a时刻的隐状态集合
Figure FDA00031619973700000215
步骤3.2、所述注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure FDA00031619973700000216
注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure FDA00031619973700000217
从而得到注意力特征序列
Figure FDA00031619973700000218
将所述输入注意力特征向量
Figure FDA00031619973700000219
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure FDA00031619973700000220
的权重
Figure FDA00031619973700000221
从而得到权重集合
Figure FDA00031619973700000222
Figure FDA00031619973700000223
式(1)中，
Figure FDA00031619973700000224
表示输入注意力特征向量
Figure FDA00031619973700000225
的转置，V′表示矩阵数乘
Figure FDA0003161997370000031
的转置，d表示超参数，T表示细胞类别数；tanh()表示正切曲线函数；
步骤3.3、所述融合模块将所述隐状态集合
Figure FDA0003161997370000032
和所述权重集合
Figure FDA0003161997370000033
结合起来并输入至tanh激活函数中得到特征融合信息序列
Figure FDA0003161997370000034
再将特征融合信息序列
Figure FDA0003161997370000035
序列输入一个全连接层中，从而得到第n个分块图像
Figure FDA0003161997370000036
的分类结果；
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure FDA0003161997370000037
式(2)中，
Figure FDA0003161997370000038
表示第k个全切片
Figure FDA0003161997370000039
是第t类的真值得分，
Figure FDA00031619973700000310
表示融合模块输出的第k个全切片
Figure FDA00031619973700000311
是第t类的预测概率得分；
将所述训练样本中各个全切片的所有图像块输入所述细胞检测和提取网络以及上下文建模网络进行训练，并通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器，用于实现宫颈细胞全切片的分类结果。
CN202110794172.0A 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法 Active CN113378796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110794172.0A CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110794172.0A CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Publications (2)

Publication Number Publication Date
CN113378796A true CN113378796A (zh) 2021-09-10
CN113378796B CN113378796B (zh) 2022-08-19

Family

ID=77582023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110794172.0A Active CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Country Status (1)

Country Link
CN (1) CN113378796B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037702A (zh) * 2022-01-10 2022-02-11 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN114581429A (zh) * 2022-03-14 2022-06-03 中南大学 一种基于区域关系的宫颈细胞检测方法及成像方法
CN114627123A (zh) * 2022-05-16 2022-06-14 湖南工商大学 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN117649660A (zh) * 2024-01-29 2024-03-05 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018157381A1 (zh) * 2017-03-03 2018-09-07 深圳大学 病理切片图像智能分类方法及装置
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
WO2020219165A1 (en) * 2019-04-25 2020-10-29 Nantomics, Llc Weakly supervised learning with whole slide images
CN112200793A (zh) * 2020-10-21 2021-01-08 湖南国科智瞳科技有限公司 数字病理切片质量的实时监控方法及系统、计算机设备
WO2021035097A1 (en) * 2019-08-21 2021-02-25 Fountain Therapeutics, Inc. Cell age classification and drug screening

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018157381A1 (zh) * 2017-03-03 2018-09-07 深圳大学 病理切片图像智能分类方法及装置
WO2020219165A1 (en) * 2019-04-25 2020-10-29 Nantomics, Llc Weakly supervised learning with whole slide images
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
WO2021035097A1 (en) * 2019-08-21 2021-02-25 Fountain Therapeutics, Inc. Cell age classification and drug screening
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
CN112200793A (zh) * 2020-10-21 2021-01-08 湖南国科智瞳科技有限公司 数字病理切片质量的实时监控方法及系统、计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SUDHIR SORNAPUDI ET AL: "Feature based Sequential Classifier with Attention Mechanism", 《ARXIV:2007.11392》 *
SUVIDHA TRIPATHI ET AL: "An end-to-end breast tumour classification model using context-based patch modelling – A BiLSTM approach for image classification", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *
何君婷: "基于卷积神经网络和迁移学习的宫颈细胞学图像异常区域检测", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *
王浩等: "基于多层上下文卷积神经网络的目标检测算法", 《模式识别与人工智能》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037702A (zh) * 2022-01-10 2022-02-11 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN114037702B (zh) * 2022-01-10 2022-05-17 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN114581429A (zh) * 2022-03-14 2022-06-03 中南大学 一种基于区域关系的宫颈细胞检测方法及成像方法
CN114581429B (zh) * 2022-03-14 2024-04-19 中南大学 一种基于区域关系的宫颈细胞检测方法及成像方法
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN114627123A (zh) * 2022-05-16 2022-06-14 湖南工商大学 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN117649660A (zh) * 2024-01-29 2024-03-05 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端
CN117649660B (zh) * 2024-01-29 2024-04-19 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端

Also Published As

Publication number Publication date
CN113378796B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN113378796B (zh) 一种基于上下文建模的宫颈细胞全切片分类方法
CN108830209B (zh) 基于生成对抗网络的遥感图像道路提取方法
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN110728224A (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN109086799A (zh) 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110490242B (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN111736125B (zh) 基于注意力机制和双向堆叠循环神经网络的雷达目标识别方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN105989336A (zh) 基于带权重的解卷积深度网络学习的场景识别方法
CN112507904B (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
EP4075325A1 (en) Method and system for the classification of histopathological images based on multiple instance learning
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
WO2024060416A1 (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN112633257A (zh) 基于改良卷积神经网络的马铃薯病害识别方法
CN113378791A (zh) 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN112819821A (zh) 一种细胞核图像检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114818579B (zh) 基于一维卷积长短期记忆网络的模拟电路故障诊断方法
CN114530222A (zh) 一种基于多组学和影像数据融合的癌症患者分类系统
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN113743353A (zh) 空间、通道和尺度注意力融合学习的宫颈细胞分类方法
CN110853021B (zh) 一种病理鳞状上皮细胞的检测分类模型的构建
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant