CN114638823A - 基于注意力机制序列模型的全切片图像分类方法及装置 - Google Patents

基于注意力机制序列模型的全切片图像分类方法及装置 Download PDF

Info

Publication number
CN114638823A
CN114638823A CN202210489820.6A CN202210489820A CN114638823A CN 114638823 A CN114638823 A CN 114638823A CN 202210489820 A CN202210489820 A CN 202210489820A CN 114638823 A CN114638823 A CN 114638823A
Authority
CN
China
Prior art keywords
sub
image feature
full
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210489820.6A
Other languages
English (en)
Other versions
CN114638823B (zh
Inventor
冯嘉豪
林真
汪进
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Severson Guangzhou Medical Technology Service Co ltd
Original Assignee
Severson Guangzhou Medical Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Severson Guangzhou Medical Technology Service Co ltd filed Critical Severson Guangzhou Medical Technology Service Co ltd
Priority to CN202210489820.6A priority Critical patent/CN114638823B/zh
Publication of CN114638823A publication Critical patent/CN114638823A/zh
Application granted granted Critical
Publication of CN114638823B publication Critical patent/CN114638823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

本申请涉及计算机视觉技术领域，提供了一种基于注意力机制序列模型的全切片图像分类方法及装置。本申请采用具有高维度特点的图像特征样本对模型进行训练，能够有效提高全切片图像分类结果的准确性。该方法包括：将全切片图像分割成多个子图像；将所述多个子图像输入至图像特征提取模块，得到第一子图像特征向量；将多个第一子图像特征向量序列化输入至序列注意力计算模块，得到多个第一子图像特征向量对应的短期状态，并针对每一第一子图像特征向量对应的短期状态，基于注意力机制得到第二子图像特征向量；对多个第二子图像特征向量进行求和，得到第三子图像特征向量；将所述第三子图像特征向量传递至全连接分类模块，得到各分类类别的置信度。

Description

基于注意力机制序列模型的全切片图像分类方法及装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于注意力机制序列模型的全切片图像分类方法及装置。
背景技术
随着计算机视觉技术领域的发展，出现了基于计算机视觉技术的图像分析处理技术。其中，将该技术应用于全切片图像分类，不仅能够提高进行全切片图像分类的效率，还能有效减轻检验人员的工作量。
目前，全切片图像分类技术的分类模块需要通过人为选择的图像特征样本进行训练，而人为选择的图像特征样本往往具有主观性较强且维度较低的特点，这导致了采用现有技术获取的全切片图像分类结果的准确性有待提高。
发明内容
基于此，有必要针对上述技术问题，提供一种基于注意力机制序列模型的全切片图像分类方法及装置。
第一方面，本申请提供了一种基于注意力机制序列模型的全切片图像分类方法，所述基于注意力机制序列模型配置有图像特征提取模块、序列注意力计算模块和全连接分类模块；所述方法包括：
将全切片图像分割成多个全切片子图像；
将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；
将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；
对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；
将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
第二方面，本申请还提供了一种基于注意力机制序列模型的全切片图像分类装置，所述基于注意力机制序列模型配置有图像特征提取模块，序列注意力计算模块和全连接分类模块；所述装置包括：
图像分割单元，将全切片图像分割成多个全切片子图像；
特征提取单元，将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；
特征加权单元，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；
特征求和单元，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；
结果输出单元，将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将全切片图像分割成多个全切片子图像；将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
将全切片图像分割成多个全切片子图像；将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
上述基于注意力机制序列模型的全切片图像分类方法及装置，首先，将全切片图像分割成多个全切片子图像。然后，将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量。接着，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量。之后，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量。最后，将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。该方案采用由深度学习模型提取的具有高维度特点的图像特征样本对分类模块进行训练，不仅能够避免人为选择的图像特征样本主观性较强、可能遗漏重要特征信息的问题，还能有效提高全切片图像分类结果的准确性。
附图说明
图1为一个实施例中基于注意力机制序列模型的全切片图像分类方法的流程示意图；
图2为一个实施例中构建并运用图像分类损失函数的方式的流程示意图；
图3为一个实施例中获取多个第一子图像特征向量各自对应的短期状态的方式的流程示意图；
图4为一个实施例中获取第一子图像特征向量对应的第二子图像特征向量的方式的流程示意图；
图5为一个实施例中基于注意力机制序列模型的全切片图像分类装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的基于注意力机制序列模型的全切片图像分类方法，基于注意力机制序列模型配置有图像特征提取模块、序列注意力计算模块和全连接分类模块；可以应用于服务器执行。其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图1所示，提供了一种基于注意力机制序列模型的全切片图像分类方法，基于注意力机制序列模型配置有图像特征提取模块、序列注意力计算模块和全连接分类模块；以该方法应用于服务器为例进行说明，包括以下步骤：
步骤S101，将全切片图像分割成多个全切片子图像。
本步骤中，全切片可以是组织全切片或细胞全切片，细胞可以是类间差异较小的细胞，例如宫颈细胞；全切片图像可以是尺寸较大的数字图像，例如细胞病理全切片数字图像；分割成的多个全切片子图像需要符合预设全切片子图像尺寸，预设全切片子图像尺寸可以是任意图像尺寸，例如1024*1024像素；多个全切片子图像的尺寸可以是完全相同的。因此，在明确了全切片图像可针对的细胞类型、适用的图像尺寸及全切片子图像的尺寸要求的前提下，全切片图像可以是宫颈细胞病理全切片数字图像，多个全切片子图像可以是由宫颈细胞病理全切片数字图像分割而来的宫颈细胞病理全切片数字图像的多个尺寸完全相同的子图像。
步骤S102，将多个全切片子图像输入至预训练好的图像特征提取模块，得到图像特征提取模块输出的与多个全切片子图像各自对应的第一子图像特征向量。
本步骤中，预训练好的图像特征提取模块可以是预训练好的卷积神经网络模型CNN；在训练图像特征提取模块的过程中，可以采用对图像特征样本序列进行乱序操作的方式，实现图像特征样本增广，从而降低图像特征样本数据过拟合的风险；训练图像特征提取模块采用的优化器可以是RAdam优化器；图像特征提取模块输出的与多个全切片子图像各自对应的第一子图像特征向量是指由图像特征提取模块输出的与多个全切片子图像得到的数量一致且一一对应的第一子图像特征向量；第一子图像特征向量可以是由图像特征提取模块输出的具有高维度特点的子图像特征向量；第一子图像特征向量的长度可以是与输入至预训练好的图像特征提取模块的多个全切片子图像的尺寸相关联的任意值，例如，当全切片子图像的尺寸为1024*1024像素时，预训练好的图像特征提取模块输出的第一子图像特征向量长度可以是2048。
步骤S103，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到序列注意力计算模块生成的多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到序列注意力计算模块输出的第二子图像特征向量。
本步骤中，序列注意力计算模块可以由加入了注意力机制的Bi-LSTM模型构成；序列注意力计算模块生成的多个第一子图像特征向量各自对应的短期状态是指由序列注意力计算模块生成的与多个第一子图像特征向量的数量一致且一一对应的具有短期记忆功能的隐藏状态；基于注意力机制得到序列注意力计算模块输出的第二子图像特征向量是指基于注意力机制对第一子图像特征向量进行加权处理，从而得到第二子图像特征向量。
步骤S104，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量。
本步骤中，多个第二子图像特征向量与第三子图像特征向量之间存在对应关系。
步骤S105，将第三子图像特征向量传递至全连接分类模块，得到全连接分类模块输出的各分类类别的置信度。
本步骤中，全连接分类模块输出的各分类类别的置信度，是指由多个第二子图像特征向量在全连接分类模块中进行分类，从而得到的各分类类别的置信度。
上述基于注意力机制序列模型的全切片图像分类方法，首先，将全切片图像分割成多个全切片子图像。然后，将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量。接着，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量。之后，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量。最后，将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。该方案采用由深度学习模型提取的具有高维度特点的图像特征样本对分类模块进行训练，不仅能够避免人为选择的图像特征样本主观性较强、可能遗漏重要特征信息的问题，还能有效提高全切片图像分类结果的准确性。
对于根据全切片子图像的各分类类别的置信度调整参数的方式，在一个实施例中，上述方法还包括：
利用各分类类别的置信度，调整序列注意力计算模块及全连接分类模块的参数。
其中，全连接分类模块可以由具有分类功能的全连接层构成；调整序列注意力计算模块及全连接分类模块的参数可以使得序列注意力计算模块及全连接分类模块具有更高的鲁棒性、更好的泛化能力及更佳的表现效果；调整序列注意力计算模块的参数的过程，也可以称作是对序列注意力计算模块进行训练的过程；在对序列注意力计算模块进行训练的过程中，可以采用RAdam优化器，并将该模块的初始学习率设为0.001，batch size设为128，最大迭代次数设为700个epoch，最大序列长度设为2500。
上述实施例通过调整序列注意力计算模块及全连接分类模块的参数的方式，使得调整序列注意力计算模块及全连接分类模块的鲁棒性、泛化能力及表现效果均有所提升，经参数调整后的调整序列注意力计算模块及全连接分类模块能够更有效地提高全切片图像分类结果的准确性。
对于构建并运用图像分类损失函数的方式，在一个实施例中，如图2所示，上述方法还包括：
步骤S201，根据各分类类别的置信度与预期图像分类的交叉熵，构建得到图像分类损失函数。
本步骤中，各分类类别的置信度是指多个全切片子图像的图像分类结果中的各个图像分类类别的置信度；各分类类别的置信度可以根据多个全切片子图像的图像分类结果与预期图像分类结果进行计算；当针对类间差异较小的细胞全切片或组织全切片图像进行分类时，图像分类损失函数的构建原理可以是通过一个目标与类别一一对应的矩阵，获取当前样本在某一目标下对应的k个类别的惩罚值权重，并根据惩罚值权重计算模型的损失；采用上述原理构建的损失函数，可以使得模型在学习的过程中，重点学习类间主要的差异，忽略类间不明确的差异，从而减少模型在学习的过程中的噪声，提升模型的鲁棒性与泛化能力。
例如，
Figure 580883DEST_PATH_IMAGE002
，其中，
Figure 294761DEST_PATH_IMAGE004
为第i个类别的预测概率，
Figure 808919DEST_PATH_IMAGE006
为真 实标签为j的第i个类别的权重，
Figure 866DEST_PATH_IMAGE008
为防止梯度爆炸的超参。
进一步的，在对加入注意力机制的Bi-LSTM模型进行训练的过程中，采用RAdam优 化器，并将该模型的初始学习率为0.001，batch size设为128，最大迭代次数设为700个 epoch，最大序列长度设为2500，则该模型的损失函数可以是
Figure 815238DEST_PATH_IMAGE010
， 其中，
Figure 372122DEST_PATH_IMAGE012
代表该模型对于第i个样本在k类别输出的概率值，
Figure 435893DEST_PATH_IMAGE014
代表第i个样本其目标对应 的k类别对应的惩罚值。
步骤S202，根据图像分类损失函数的运算结果，基于反向传播法调整序列注意力计算模块及全连接分类模块的参数。
本步骤中，图像分类损失函数的运算结果是指由图像分类损失函数计算得到的模型损失结果。
上述实施例通过根据各图像分类类别的置信度与预期图像分类的交叉熵构建得到了图像分类损失函数，该损失函数不仅能够减少模型在学习的过程中的噪声，还能提供调整序列注意力计算模块及全连接分类模块的参数的合理依据。
对于获取多个第一子图像特征向量各自对应的短期状态的方式，在一个实施例中，如图3所示，上述步骤S103具体包括：
步骤S301，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块的对应子模块；其中，序列注意力计算模块的对应子模块的数量与多个第一子图像特征向量的数量相对应。
例如，若第一子图像特征向量的数量为1200，则序列注意力计算模块的对应子模块的数量也应当为1200。
步骤S302，通过序列注意力计算模块的各个对应子模块分别获取多个第一子图像特征向量各自对应的短期状态。
本步骤中，在明确了序列注意力计算模块的对应子模块的数量与多个第一子图像特征向量的数量相对应的前提下，多个第一子图像特征向量各自对应的短期状态，是指与序列注意力计算模块的对应子模块的数量一致的第一子图像特征向量各自对应的短期状态。
上述实施例通过在序列注意力计算模块中设置数量与第一子图像特征向量的数量相对应的子模块的方式，保证了由序列注意力计算模块的对应子模块输出的第一子图像特征向量各自对应的短期状态的数据一致性。
对于获取第一子图像特征向量对应的第二子图像特征向量的方式，在一个实施例中，如图4所示，上述步骤S103具体包括：
步骤S401，根据其对应短期状态，得到权重计算特征向量。
本步骤中，第一子图像特征向量对应的短期状态与权重计算特征向量之间存在对应关系。
步骤S402，根据权重计算特征向量及预设注意力值计算公式，得到第二子图像特征向量；其中，第二子图像特征向量由序列注意力计算模块输出。
本步骤中，预设注意力值计算公式可以根据权重计算特征向量来确定。
例如，若权重计算特征向量分别为Q，K，V，则注意力值计算公式可以是：
Figure 369214DEST_PATH_IMAGE016
Figure 38092DEST_PATH_IMAGE018
其中，i表示输出节点的编号。
其中，dk为向量的维度，为了保持梯度的稳定，使用
Figure 828194DEST_PATH_IMAGE020
对权重计算特征向量Q，K， T进行归一化处理。注意力权重是通过常用的点积的相似度函数计算权重计算特征向量Q和 K的注意力权重而得到的，而其相似度反映了V值（即模态）的重要程度，根据注意力权重对 权重计算特征向量Q，K，V进行加权处理，即可获取根据注意力权重对第一子图像特征向量 进行加权处理后得到的第二子图像特征向量。
上述实施例通过注意力机制，获取对第一子图像特征向量进行加权处理后得到的第二子图像特征向量，不仅可以使得模型能够重点关注影响其分类结果准确性的特征向量，并忽略无用的特征向量，还能提升模型的表现效果。
对于分割全切片图像的方式，在一个实施例中，上述步骤S101具体包括：
通过滑动窗口的形式，将全切片图像按照预设尺寸分割成多个全切片子图像。
其中，预设尺寸可以是能够通过滑动窗口的形式进行分割的任意图片尺寸。
上述实施例通过滑动窗口的形式将全切片图像高效地分割为多个全切片子图像，为后续根据多个全切片子图像进行特征提取与图像分类奠定了基础。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于注意力机制序列模型的全切片图像分类方法的基于注意力机制序列模型的全切片图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于注意力机制序列模型的全切片图像分类装置实施例中的具体限定可以参见上文中对于基于注意力机制序列模型的全切片图像分类方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种基于注意力机制序列模型的全切片图像分类装置，基于注意力机制序列模型配置有图像特征提取模块，序列注意力计算模块和全连接分类模块；该装置500包括：
图像分割单元501，将全切片图像分割成多个全切片子图像；
特征提取单元502，将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；
特征加权单元503，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；
特征求和单元504，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；
结果输出单元505，将多个第二子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
在一个实施例中，上述装置500还包括：参数调整单元，用于利用所述各分类类别的置信度，调整所述序列注意力计算模块及所述全连接分类模块的参数。
在一个实施例中，参数调整单元，用于根据所述各分类类别的置信度与预期图像分类的交叉熵，构建得到图像分类损失函数；根据所述图像分类损失函数的运算结果，基于反向传播法调整所述序列注意力计算模块及所述全连接分类模块的参数。
在一个实施例中，特征加权单元503，用于将所述多个第一子图像特征向量以序列形式输入至所述序列注意力计算模块的对应子模块；其中，所述序列注意力计算模块的对应子模块的数量与所述多个第一子图像特征向量的数量相对应；通过所述序列注意力计算模块的各个对应子模块分别获取所述多个第一子图像特征向量各自对应的短期状态。
在一个实施例中，特征加权单元503，根据其对应短期状态，得到权重计算特征向量；根据所述权重计算特征向量及预设注意力值计算公式，得到所述第二子图像特征向量；其中，所述第二子图像特征向量由所述序列注意力计算模块输出。
在一个实施例中，图像分割单元501，用于通过滑动窗口的形式，将所述全切片图像按照预设尺寸分割成所述多个全切片子图像。
上述基于注意力机制序列模型的全切片图像分类装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储全切片图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于注意力机制序列模型的全切片图像分类方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于注意力机制序列模型的全切片图像分类方法，其特征在于，所述基于注意力机制序列模型配置有图像特征提取模块、序列注意力计算模块和全连接分类模块；所述方法包括：
将全切片图像分割成多个全切片子图像；
将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；
将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；
对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；
将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述各分类类别的置信度，调整所述序列注意力计算模块及所述全连接分类模块的参数。
3.根据权利要求2所述的方法，其特征在于，利用所述各分类类别的置信度，调整所述序列注意力计算模块及所述全连接分类模块的参数，包括：
根据所述各分类类别的置信度与预期图像分类的交叉熵，构建得到图像分类损失函数；
根据所述图像分类损失函数的运算结果，基于反向传播法调整所述序列注意力计算模块及所述全连接分类模块的参数。
4.根据权利要求1所述的方法，其特征在于，所述将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，包括：
将所述多个第一子图像特征向量以序列形式输入至所述序列注意力计算模块的对应子模块；其中，所述序列注意力计算模块的对应子模块的数量与所述多个第一子图像特征向量的数量相对应；
通过所述序列注意力计算模块的各个对应子模块分别获取所述多个第一子图像特征向量各自对应的短期状态。
5.根据权利要求1所述的方法，其特征在于，所述根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量，包括：
根据其对应短期状态，得到权重计算特征向量；
根据所述权重计算特征向量及预设注意力值计算公式，得到所述第二子图像特征向量；其中，所述第二子图像特征向量由所述序列注意力计算模块输出。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述将全切片图像分割成多个全切片子图像，包括：
通过滑动窗口的形式，将所述全切片图像按照预设尺寸分割成所述多个全切片子图像。
7.一种基于注意力机制序列模型的全切片图像分类装置，其特征在于，所述基于注意力机制序列模型配置有图像特征提取模块、序列注意力计算模块和全连接分类模块；所述装置包括：
图像分割单元，将全切片图像分割成多个全切片子图像；
特征提取单元，将所述多个全切片子图像输入至预训练好的图像特征提取模块，得到所述图像特征提取模块输出的与所述多个全切片子图像各自对应的第一子图像特征向量；
特征加权单元，将多个第一子图像特征向量以序列形式输入至序列注意力计算模块，得到所述序列注意力计算模块生成的所述多个第一子图像特征向量各自对应的短期状态，并针对每一第一子图像特征向量，根据其对应短期状态，基于注意力机制得到所述序列注意力计算模块输出的第二子图像特征向量；
特征求和单元，对多个第二子图像特征向量进行求和处理，得到第三子图像特征向量；
结果输出单元，将所述第三子图像特征向量传递至全连接分类模块，得到所述全连接分类模块输出的各分类类别的置信度。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210489820.6A 2022-05-07 2022-05-07 基于注意力机制序列模型的全切片图像分类方法及装置 Active CN114638823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210489820.6A CN114638823B (zh) 2022-05-07 2022-05-07 基于注意力机制序列模型的全切片图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210489820.6A CN114638823B (zh) 2022-05-07 2022-05-07 基于注意力机制序列模型的全切片图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN114638823A true CN114638823A (zh) 2022-06-17
CN114638823B CN114638823B (zh) 2022-08-12

Family

ID=81952990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210489820.6A Active CN114638823B (zh) 2022-05-07 2022-05-07 基于注意力机制序列模型的全切片图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN114638823B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
US20200410671A1 (en) * 2019-06-28 2020-12-31 Shandong University Of Science And Technology Ct lymph node detection system based on spatial-temporal recurrent attention mechanism
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN113378796A (zh) * 2021-07-14 2021-09-10 合肥工业大学 一种基于上下文建模的宫颈细胞全切片分类方法
CN114332040A (zh) * 2021-12-30 2022-04-12 华中科技大学协和深圳医院 一种基于多模态的甲状腺肿瘤图像分类方法及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
US20200410671A1 (en) * 2019-06-28 2020-12-31 Shandong University Of Science And Technology Ct lymph node detection system based on spatial-temporal recurrent attention mechanism
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN113378796A (zh) * 2021-07-14 2021-09-10 合肥工业大学 一种基于上下文建模的宫颈细胞全切片分类方法
CN114332040A (zh) * 2021-12-30 2022-04-12 华中科技大学协和深圳医院 一种基于多模态的甲状腺肿瘤图像分类方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娅楠等: "多模态融合下长时程肺部病灶良恶性预测方法", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116188834B (zh) * 2022-12-08 2023-10-20 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置

Also Published As

Publication number Publication date
CN114638823B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US10699194B2 (en) System and method for mimicking a neural network without access to the original training dataset or the target model
EP3711000B1 (en) Regularized neural network architecture search
EP4163831A1 (en) Neural network distillation method and device
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
US11907854B2 (en) System and method for mimicking a neural network without access to the original training dataset or the target model
CN112115998B (zh) 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN113626610A (zh) 知识图谱嵌入方法、装置、计算机设备和存储介质
Liu et al. EACP: An effective automatic channel pruning for neural networks
CN114638823B (zh) 基于注意力机制序列模型的全切片图像分类方法及装置
Zhang et al. Learning from few samples with memory network
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
WO2022223052A1 (zh) 加速器、计算机系统和方法
CN114821248B (zh) 面向点云理解的数据主动筛选标注方法和装置
CN110009091B (zh) 学习网络在等价类空间中的优化
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN116383441A (zh) 社群检测方法、装置、计算机设备和存储介质
CN116191398A (zh) 负荷预测方法、装置、计算机设备和存储介质
CN116090504A (zh) 图神经网络模型训练方法及装置、分类方法、计算设备
Tang et al. Training Compact DNNs with ℓ1/2 Regularization
Song et al. Deep continual hashing for real-world multi-label image retrieval
US20240161245A1 (en) Image optimization
CN116737607B (zh) 样本数据缓存方法、系统、计算机设备和存储介质
CN115601550B (zh) 模型确定方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant