CN111931931A - 一种针对病理全场图像的深度神经网络训练方法、装置 - Google Patents

一种针对病理全场图像的深度神经网络训练方法、装置 Download PDF

Info

Publication number
CN111931931A
CN111931931A CN202011046038.4A CN202011046038A CN111931931A CN 111931931 A CN111931931 A CN 111931931A CN 202011046038 A CN202011046038 A CN 202011046038A CN 111931931 A CN111931931 A CN 111931931A
Authority
CN
China
Prior art keywords
neural network
network model
training
sample set
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011046038.4A
Other languages
English (en)
Other versions
CN111931931B (zh
Inventor
崔灿
惠文丽
杜家文
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202011046038.4A priority Critical patent/CN111931931B/zh
Publication of CN111931931A publication Critical patent/CN111931931A/zh
Application granted granted Critical
Publication of CN111931931B publication Critical patent/CN111931931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种针对病理全场图像的深度神经网络训练方法、装置。所述方法包括：对多个具有全片级标注的病理全场图像分别进行裁切，获得由多个小图片的特征数据构成第一样本集；将所述第一样本集输入初始神经网络模型，得到所述第一样本集中每个所述小图片的输出概率向量；在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像分类的最终神经网络模型。采用本案可解决病理全场图像的分类模型像素级标注样本少的问题。

Description

一种针对病理全场图像的深度神经网络训练方法、装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种针对病理全场图像的深度神经网络训练方法、装置。
背景技术
随着近些年的技术发展，基于机器学习的病理全场图像辅助诊断分析已经变得越来越重要。人工诊断病理全场图像是一个十分繁琐和耗时的过程，一张病理全场图像通常包含数十万个细胞，病理医生在诊断过程中需要从这些细胞中寻找病变细胞才能对该病例做出最终诊断，这一过程不仅耗时而且容易造成漏检。在我国病理医生的缺口达数十万，人工智能辅助诊断不仅可以节省病理医生的时间、提升医生们的工作效率，而且可以降低人工诊断过程中漏检以及主观性带来的负面影响。
病理全场图像是一种超大格式的图像文件，往往包含数以十亿计的像素。受限于现有的硬件水平限制，这样的大图像是无法输入到神经网络中做端到端预测的，目前较为主流的做法是将病理全场图像切裁成若干相同大小的小图片，然后再根据这些局部ROI（region of interest，感兴趣区域）的特征进行融合，最终做出对全片的诊断。这种做法需要医生进行两阶段的标注：首先，医生需要对裁切的小图片进行标注（像素级别标注）；其次，医生还需要给出全场图的判读结果。以宫颈液基细胞筛查诊断为例，标注一张这样的全场图，首先医生需要在每张裁切过的小图片上标出阳性癌变细胞作为像素级别标注，除此之外医生还需要给出这张全场图的最终判读结论。值得注意的是，不是病理全场图上存在阳性癌变细胞就可以判病理全场图为阳性，病理全场图往往需要根据阳性癌变细胞的严重程度，以及阳性癌变细胞占总体细胞的比例来判读确定是否为阳性。
尽管，近年来人工智能辅助病理全场图像分析取得了突破性的发展，然而，目前国内几乎还没有可以大规模落地的相关产品。究其原因，主要是因为标注数据的稀缺导致训练出的模型缺乏泛化性和鲁棒性，无法适应不同来源的病理全场图像。传统的有监督学习方法需要大量良好标注的数据进行训练，然而病理图像的标注是极其困难的，首先病理图像需要病理领域的专家进行标注，这是一个非常昂贵且耗时的过程。此外，在临床诊断中是不需要标注像素级别的数据的，医生只会对全场图像给出一个总的诊断意见，这样的标签是无法用来训练端到端输出的神经网络模型的。
总之，现有的基于机器学习的病理全场图像辅助诊断分析由于缺乏像素级别的标注，而无法训练出能够进行有效病理判断的神经网络模型。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决标注级样本少的一种针对病理全场图像的深度神经网络训练方法、装置。
一种针对病理全场图像的深度神经网络训练方法，所述方法包括：
对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，在对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集之前，包括：将像素级别标注的病理图像样本集分为训练样本集和验证样本集；将所述训练样本集输入原始神经网络模型进行训练，获得训练神经网络模型；在验证样本集输入所述训练神经网络模型中，计算得到的损失值不再变化时，将所述训练神经网络模型确定为初始神经网络模型。
在其中一个实施例中，所述将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量，包括：将所述第一样本集输入初始神经网络模型预存分类，获得模型输出结果；将所述模型输出结果经过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量。
在其中一个实施例中，所述针对病理全场图像的深度神经网络训练方法，还包括：根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数；所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型，包括：将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，所述根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数，包括：根据所述第一样本集的每个所述小图片的输出概率向量计算多分类任务的交叉熵损失函数；对所述交叉熵损失函数进行求导，计算得到所述小图片的梯度模长；计算所述第一样本集的每个所述小图片的梯度模长的统计分布；将所述梯度模长的取值均分为多个区域，并统计每个区域内的样本个数；计算所述样本个数与所述区间的长度之比，得到所述小图片的梯度密度；计算所述梯度密度的倒数和所述第一样本集的样本个数之积，得到所述小图片的第一加权因子；根据所述小图片的梯度模长计算所述小图片的第二加权因子；根据所述第一加权因子、第二加权因子、交叉熵损失函数和所述样本个数，构建损失函数。
在其中一个实施例中，所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像进行分类的最终神经网络模型，包括：将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集；根据所述混合训练集对所述初始神经网络模型进行训练，获得待优化神经网络模型；重复根据所述混合训练集输入所述待优化神经网络模型，并将所述待优化神经网络模型的输出通过Softmax函数计算，得到所述混合训练集中每个所述小图片的输出概率向量，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集，将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，根据所述混合训练集对所述待优化神经网络模型进行训练，获得下一待优化神经网络模型的步骤，直到所述弱监督数据集的前后两次标签不再明显变化，将所述待优化神经网络模型确定为用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，所述弱监督数据集的前后两次标签不再明显变化，包括：根据上一混合训练集中每个所述小图片的输出概率向量与当前混合训练集中每个所述小图片的输出概率向量之差的绝对值的平均值，获得当前的平均绝对误差；判断当前的平均绝对误差是否大于或等于上一迭代训练的平均迭代误差；如果当前的平均绝对误差大于或等于上一迭代训练的平均迭代误差，则表示所述弱监督数据集的前后两次标签不再明显变化。
一种针对病理全场图像的深度神经网络训练装置，所述装置包括：
裁切模块，用于对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
输出概率向量计算模块，用于将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
弱监督数据集构建模块，用于在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
训练模块，用于将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类最终神经网络模型。
上述针对病理全场图像的深度神经网络训练方法、装置、计算机设备和存储介质，通过具有全片级标注的病理全场图像进行裁切和对小图片进行输出概率向量处理，在得到所述的从病理全场图裁切下来的所有小图片的输出概率向量后，保留其中输出概率向量中最大值大于预设值的样本，使用小图片对应的全场图标签对保留下的输出概率向量进行加权得到最终的概率向量，根据所述的概率向量作为伪标签，其对应的所述小图片作为输入样本，构建弱监督数据集，通过弱监督数据集和像素级别标注的病理图像样本集混合获得混合训练集，实现像素级别标注的用于训练模型的图像数量要求，保证了训练样本的数量，以实现用于对病理全场图像上ROI进行分类的最终神经网络模型的训练，使得最终神经网络模型具有鲁棒性和泛化性。
附图说明
图1为一个实施例中针对病理全场图像的深度神经网络训练方法的应用环境图；
图2为一个实施例中针对病理全场图像的深度神经网络训练方法的流程示意图；
图3为一个具体实施例中病理全场图像的深度神经网络训练方法的流程示意图；
图4为一个实施例中梯度模长的统计分布图；
图5为一个实施例中针对病理全场图像的深度神经网络训练装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的针对病理全场图像的深度神经网络训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102输入具有全片级标注的病理全场图像，服务器104从终端获取具有全片级标注的病理全场图像，服务器104对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数；将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像上的ROI（Region ofInterest，感兴趣区域）进行分类的最终神经网络模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种针对病理全场图像的深度神经网络训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S110，对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集。
其中，全片级标注为病理医生对病理全场图像整体做的标注，虽然病理全场图像 上像素级别的标注是十分稀少且珍贵的，但是病理全场图像和全片级标注（即病理全场图 像的总的诊断结论）是相对容易取得的。对病理全场图像采用均匀裁切的方式，获得的小图 片的大小相同，小图片的特征数据包括亮度、灰度、饱和度以及图片中细胞或组织的形状、 结构和纹理形态等。例如，全场图的第一样本集包括N个具有全片级标注的病理全场图像， 全场图的第一样本集包括病理全场图像的编号和标签，表示为：
Figure 976632DEST_PATH_IMAGE001
，其中，Xi 为病理全场图像的编号，Yi为病理全场图像的标签，N为正整数，N的大小根据样本数量的需 要确定，病理全场图像的标签由病理医生确定。将所有的全场图样本进行裁切，切分成M（M 为正整数）个大小相同的小图片，这些小图片构成了无标签的第一样本集
Figure 103333DEST_PATH_IMAGE002
。
S120，将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到。
其中，第一样本集中的图像数据输入初始神经网络模型获得预测分类数据，将预 设分类数据通过Softmax函数激活，得到所述第一样本集中每个所述小图片xi的输出概率 向量。例如，将无标签的第一样本集中第i个样本xi输入到神经网络模型
Figure 120967DEST_PATH_IMAGE003
中进行 分类，将模型的输出经过Softmax函数的激活，可以得到对于样本xi，模型对其的输出概率 向量为
Figure 677851DEST_PATH_IMAGE004
，其中Softmax函数的公式为：
Figure 616988DEST_PATH_IMAGE005
其中，C表示多分类任务的类别，对于多分类任务，对于样本xi，其输出概率向量为
Figure 284729DEST_PATH_IMAGE006
，每个样本xi都有对应的输出概率向量，输出概率向 量中的每一项代表该样本为各个类别的概率，由此得到了无标签的第一样本集
Figure 156871DEST_PATH_IMAGE002
中所有样本对应的输出概率向量
Figure 884655DEST_PATH_IMAGE007
。
S130，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集。
其中，每个所述病理全场图像裁切成多个小图片，每个小图片具有对应的输出概 率向量，所述的输出概率向量是一个长度为C的向量，包含C个类别的输出概率，选出其中最 大的概率值，并判断最大的输出概率值是否大于预设值，在最大的输出概率大于预设值时， 将样本xi作为输入图像，输出概率向量
Figure 576668DEST_PATH_IMAGE008
作为真标签加入到弱监督数据集。
其中，在得到所述的从病理全场图裁切下来的所有小图片的输出概率向量后，保留其中输出概率向量中最大值大于预设值的样本，使用小图片对应的全场图标签对保留下的输出概率向量进行加权得到最终的概率向量，根据所述的概率向量作为伪标签，其对应的所述小图片作为输入样本，构建弱监督数据集。
例如，病理全场图像划分M个小图像，M为正整数，计算得到每个小图片的输出概率 向量
Figure 516942DEST_PATH_IMAGE006
；在所述输出概率向量中最大值大于预设值时， 将该输出概率向量作为标签与其相应的小图片作为输入样本加入到弱监督数据集中，即：
Figure 978010DEST_PATH_IMAGE009
其中，pick_threshold为预设值，根据模型的精度需要确定，输出概率向量中最大值大 于预设值时，将该输出概率向量作为标签，其相应的小图片作为输入样本加入到弱监督数 据集中，假设有m个满足上述条件的样本，则自动构建的弱监督数据集为
Figure 345538DEST_PATH_IMAGE010
。 基于阳性全场图切片上阳性细胞多，阴性全场图切片上阳性细胞少，阴性细胞多等先验知 识，对所述自动构建的弱监督训练集
Figure 990758DEST_PATH_IMAGE010
的标签按全场图的标签进一步进行 加权，加权的公式为:
Figure 302DEST_PATH_IMAGE011
其中α 表示加权的权重，公式表示小图片xi是从全场图Xj 上截取的，所以其标签由模 型的输出概率矩阵以及全场图Xj 的标签Yj经加权计算得到，于是最终得到的弱监督数据集 为
Figure 581456DEST_PATH_IMAGE012
。
S140，将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI（Region of Interest，感兴趣区域）进行分类的最终神经网络模型。
其中，混合训练集不仅包括像素级别标注的病理图像样本集，还包括弱监督数据集，弱监督数据集是大量从病理全场图数据集中切裁出来的没有人工标注标签的小图片，其弱监督标签根据神经网络预测的概率向量矩阵和全场图的标签进行加权计算得到的。最终神经网络模型可用于对病理全场图像上ROI进行准确的分类。
上述针对病理全场图像的深度神经网络训练方法中，通过具有全片级标注的病理全场图像进行裁切和对小图片进行输出概率向量处理，在得到所述的从病理全场图裁切下来的所有小图片的输出概率向量后，保留其中输出概率向量中最大值大于预设值的样本。使用小图片对应的全场图标签对保留下的输出概率向量进行加权得到最终的概率向量，根据所述的概率向量作为伪标签，其对应的所述小图片作为输入样本，构建弱监督数据集，通过弱监督数据集和像素级别标注的病理图像样本集混合获得混合训练集，实现像素级别标注的用于训练模型的图像数量要求，保证了训练样本的数量，以实现用于对病理全场图像中ROI进行分类的最终神经网络模型的训练，使得最终神经网络模型具有鲁棒性和泛化性。
在其中一个实施例中，在对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集之前，包括：将像素级别标注的病理图像样本集分为训练样本集和验证样本集；将所述训练样本集输入原始神经网络模型进行训练，获得训练神经网络模型；在验证样本集输入所述训练神经网络模型中，计算得到的损失值不再变化时，将所述训练神经网络模型确定为初始神经网络模型。
其中，N个像素级别标注的病理图像样本集
Figure 385464DEST_PATH_IMAGE013
训练原始神经网络模 型
Figure 583227DEST_PATH_IMAGE014
，首先将病理图像样本集划分为训练集和验证集，神经网络和损失函数的可以 根据具体项目需要来进行选择和定义。拿宫颈液基细胞分类为例，由于涉及到细胞类内差 异较大，类间差异较小以及样本类别极度不均衡等情况，使用ResNeSt-50作为原始神经网 络模型，使用Focal Loss作为损失函数可以较为有效地训练针对宫颈液细胞的分类器。使 用训练集对原始神经网络模型进行训练，待神经网络在验证集上的损失值不再明显降低， 即可停止训练过程。
在其中一个实施例中，所述将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量，包括：将所述第一样本集输入初始神经网络模型预存分类，获得模型输出结果；将所述模型输出结果经过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量。
其中，模型输出结果为模型的分类结果，将分类结果输入经过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量。其中Softmax函数的公式为：
Figure 130883DEST_PATH_IMAGE015
其中，C表示多分类任务的类别，对于多分类任务，对于样本xi，其输出概率向量为
Figure 363282DEST_PATH_IMAGE006
，每个样本xi都有对应的输出概率向量。
在其中一个实施例中，所述针对病理全场图像的深度神经网络训练方法，还包括：根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数。所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像进行分类的最终神经网络模型，包括：将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像进行分类的最终神经网络模型。
其中，所述预设样本集从所述第一样本集，所述预设样本集可包括第一样本集全部样本，所述预设样本集也可为所述第一样本集中的部分样本组成。
其中，对应M类标签的多分类任务，首先定义带有标签噪声的预设样本集一共有N 个样本，样本集由
Figure 338191DEST_PATH_IMAGE016
来表示；其中xi表示数据集中第i个病理全场图像样本， 而yi表示第i个病理全场图像样本的标签；其中，M为正整数。对样本xi计算对应的输出概率 向量
Figure 23250DEST_PATH_IMAGE017
，并根据输出概率向量计算交叉熵损失函数，对交叉熵 损失函数求导得到梯度模长；所述梯度密度为对所述梯度模长划分的多个区域的每个区域 的样本密度，所述区域中样本数量越多，梯度密度越大。
在其中一个实施例中，所述根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数，包括：根据所述第一样本集的每个所述小图片的输出概率向量计算多分类任务的交叉熵损失函数；对所述交叉熵损失函数进行求导，计算得到所述小图片的梯度模长；计算所述第一样本集的每个所述小图片的梯度模长的统计分布；将所述梯度模长的取值均分为多个区域，并统计每个区域内的样本个数；计算所述样本个数与所述区间的长度之比，得到所述小图片的梯度密度；计算所述梯度密度的倒数和所述第一样本集的样本个数之积，得到所述小图片的第一加权因子；根据所述小图片的梯度模长计算所述小图片的第二加权因子；根据所述第一加权因子、第二加权因子、交叉熵损失函数和所述样本个数，构建损失函数。
具体的，对应M类标签的多分类任务，首先定义带有标签噪声的预设样本集一共有 N个样本，样本集由
Figure 577859DEST_PATH_IMAGE018
来表示，其中xi表示数据集中第i个病理全场图像样本， 而
Figure 399185DEST_PATH_IMAGE019
表示第i个病理全场图像样本的标签，定义本实施例中的初始神经网络模 型为
Figure 810575DEST_PATH_IMAGE014
，将样本xi输入到初始神经网络模型
Figure 982930DEST_PATH_IMAGE014
中可以得到预测概率为
Figure 869459DEST_PATH_IMAGE020
，由 于涉及到多分类任务，输出概率
Figure 810870DEST_PATH_IMAGE017
。
对于多分类任务的交叉熵损失函数为：
Figure 127582DEST_PATH_IMAGE021
其中，k表示标签的值；
求lCE对
Figure 724917DEST_PATH_IMAGE022
的梯度（导数）可得：
Figure 418066DEST_PATH_IMAGE023
根据
Figure 213984DEST_PATH_IMAGE017
可以推算第j个输出对第i个输入的偏导数可以 定义为：
Figure 232755DEST_PATH_IMAGE024
其中当i=j时可得：
Figure 114124DEST_PATH_IMAGE025
于是有：
Figure 548647DEST_PATH_IMAGE026
而当
Figure 464651DEST_PATH_IMAGE027
时可得：
Figure 388744DEST_PATH_IMAGE028
于是有：
Figure 757409DEST_PATH_IMAGE029
将上述结果带入：
Figure 995623DEST_PATH_IMAGE030
由此可以定义一个梯度模长为
Figure 497624DEST_PATH_IMAGE031
，由于
Figure 858198DEST_PATH_IMAGE032
且y=0 或1 ，故而g∈（0， 1）。梯度模长越小，表示该样本越是易分的，相反的，如果梯度模长约接近于1，说明该样本 越可能是标签错误的样本。对于一个已经训练收敛的初始神经网络模型，将含有标签噪声 的数据集输入到深度神经网络模型
Figure 714159DEST_PATH_IMAGE014
可以得到梯度模长的分布如图4所示。由图可 见，绝大多数的样本位于图像的左侧且这些样本为易分样本，在绝对数量的优势之下，这些 样本产生的梯度会对模型训练产生显著的影响；而位于图标右侧也有大量的样本，这些样 本的梯度模长较大，这些样本可能存在大量的标签噪声，本身的噪声就大的梯度模长在数 量的加持下，会对模型训练产生非常负面的影响，基于上述观察，本实施例中的损失函数会 尽量弱化样本数量对梯度的干扰且减弱梯度模长很小（易分样本）和梯度模长很大（噪声标 签样本）对训练的影响。首先，引入梯度密度的概念，将梯度模长的取值范围划分为ε个区 域，接着分别统计落于各个区域内的样本个数，对于一个梯度模长为g的样本，它的梯度密 度就定义为落于它的梯度模长所在区间的总样本数量Rind（g）除以区间的长度
Figure 756064DEST_PATH_IMAGE033
，梯度模 长可表示为：
Figure 584343DEST_PATH_IMAGE034
。
对于某一区间有大量的样本，则其梯度密度较大，而在有较少样本的区间，其梯度密度则较小，为了弱化某一区间大量样本对模型训练的干扰，本发明使用梯度密度的倒数对样本产生的损失值进行加权，加权因子为：
Figure 584660DEST_PATH_IMAGE035
其中，N为本批次训练样本中的样本数量。其次为了进一步降低位于图表左侧和右侧易分样本和标签噪声样本所产生的梯度，这里定义第二个加权因子：
Figure 600020DEST_PATH_IMAGE036
其中，μ为梯度学习中心，gi为样本的梯度模长，如果gi越接近μ，则其梯度对模型训练 影响越大，相反的，如果gi越远离μ，则其对模型训练影响越小。σ为标准差，其计算公式为：
Figure 255736DEST_PATH_IMAGE037
；其中，为当前训练批次的样本数。
综合上述定义的两个加权因子，可以得到损失函数的计算公式为：
Figure 735259DEST_PATH_IMAGE038
。
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练 集Dmix以及损失函数l 训练初始神经网络模型
Figure 172057DEST_PATH_IMAGE039
，迭代训练所有数据后最终的神 经网络模型记为
Figure 737030DEST_PATH_IMAGE040
。
在其中一个实施例中，所述在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集，包括：将从病理全场图上截取的小图片输入到神经网络模型，其中输出概率向量中最大值大于预设值时，将该输出概率向量作为标签，其相应的小图片作为输入样本加入到弱监督数据集中来构建弱监督数据集；其中，所述最大的所述输出概率向量为所述初始弱监督数据集的标签；对所述初始弱监督数据的标签按照所述病理全场图像的标签进行加权，获得弱监督数据集的标签，并根据所述弱监督数据集的标签构建弱监督数据集。
具体的，小图片构成了无标签的样本集
Figure 651897DEST_PATH_IMAGE041
，将模型的输出经过Softmax 函数的激活，可以得到对于样本xi，模型对其的输出概率向量为
Figure 251505DEST_PATH_IMAGE006
，每个样本xi都有对应的输出概率向量，输出概率向 量中的每一项代表该样本为各个类别的概率，由此得到了无标签的第一样本集
Figure 124783DEST_PATH_IMAGE041
中所有样本对应的输出概率向量
Figure 380315DEST_PATH_IMAGE042
。在所述输出概率向量中最 大值大于预设值时，将该输出概率向量作为标签，其相应的小图片作为输入样本加入到弱 监督数据集中，假设有m个满足上述条件的样本，则自动构建的弱监督数据集为
Figure 98873DEST_PATH_IMAGE043
，其中，m个样本满足上述条件，m为正整数。定义标签而不使用独热（one- hot encoding）标签的原因是为了降低模型对生成标签的过度置信以及提升模型的泛化 性。尽管样本集
Figure 552988DEST_PATH_IMAGE041
中的样本均是无像素级别标注的，其来源的全场图标签是 已知的，基于阳性切片上阳性细胞多，阴性切片上阳性细胞少，阴性细胞多等假设，对自动 构建的初始监督数据集
Figure 331588DEST_PATH_IMAGE043
的标签进一步按全场图标签进行加权，加权的 公式为：
Figure 871154DEST_PATH_IMAGE011
其中，α 表示加权的比例，加权的公式表示小图片xi是从全场图Xj 上截取的，所以其 标签由输出概率向量
Figure 190140DEST_PATH_IMAGE020
与病理全场图的标签Yj经加权计算得到，于是得到的弱监督数据集 为
Figure 699094DEST_PATH_IMAGE012
。
在其中一个实施例中，如图3所示，所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像进行分类的最终神经网络模型，包括：将所述弱监督数据集D_g和所述像素级别标注的病理图像样本集D_m（人工标注样本）混合获得混合训练集D_mix；根据所述混合训练集D_mix对所述初始神经网络模型进行训练，获得待优化神经网络模型；重复根据所述混合训练集D_mix输入所述待优化神经网络模型，并将所述待优化神经网络模型的输出通过Softmax函数计算，得到所述混合训练集中每个所述小图片的输出概率向量，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集D_g，将所述弱监督数据集D_g和所述像素级别标注的病理图像样本集D_m（人工标注样本）混合获得混合训练集D_mix，根据所述混合训练集D_mix对所述待优化神经网络模型进行训练，获得下一待优化神经网络模型的步骤，直到所述弱监督数据集的前后两次标签不再明显变化，将所述待优化神经网络模型确定为用于对病理全场图像进行分类的最终神经网络模型。
在其中一个实施例中，所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像进行分类的最终神经网络模型，包括：将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集；根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得待优化神经网络模型；重复根据所述混合训练集输入所述待优化神经网络模型，并将所述待优化神经网络模型的输出通过Softmax函数计算，得到所述混合训练集中每个所述小图片的输出概率向量，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集，并根据所述混合训练集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数，将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，根据所述混合训练集和所述损失函数对所述待优化神经网络模型进行训练，获得下一待优化神经网络模型的步骤，直到所述弱监督数据集的前后两次标签不再明显变化，将所述待优化神经网络模型确定为用于对病理全场图像进行分类的最终神经网络模型。
在其中一个实施例中，所述弱监督数据集的前后两次标签不再明显变化，包括：根据上一混合训练集中每个所述小图片的输出概率向量与当前混合训练集中每个所述小图片的输出概率向量之差的绝对值的平均值，获得当前的平均绝对误差；判断当前的平均绝对误差是否大于或等于上一迭代训练的平均迭代误差；如果当前的平均绝对误差大于或等于上一迭代训练的平均迭代误差，则表示所述弱监督数据集的前后两次标签不再明显变化。
具体的，定义此次迭代的次数为e，使用上一次迭代出的待优化神经网络模型
Figure 648595DEST_PATH_IMAGE044
，对步骤S120中小图片构成了无标签的样本集
Figure 206616DEST_PATH_IMAGE045
进行预测，计算 得到每个小图片的输出概率向量
Figure 532555DEST_PATH_IMAGE006
；病理全场图像的 预测概率向量
Figure 695683DEST_PATH_IMAGE046
，在所述病理全场图像中最大的所述输出概率向量大于预设值 时，根据每个样本的最大输出概率向量生成新的弱监督训练集
Figure 816085DEST_PATH_IMAGE047
，再混入像素级别标注的病理图像样本集Dm形成新的混 合训练集Dmix_e ，对待优化神经网络模型进行训练，生成本次迭代的新待优化神经网络模型 模型
Figure 330243DEST_PATH_IMAGE048
。重复上述标签生成，以及待优化神经网络模型训练步骤，直到生成的弱监 督训练集前后两次标签不再明显变化。观察标签变化程度是通过求L1范数来实现的，其公 式为：
Figure 194294DEST_PATH_IMAGE049
此公式表示前后两次迭代生成的弱监督数据集的标签分布的平均绝对误差。如果此误差不再减小，说明模型前后两次迭代训练的效果以及趋于稳定，训练已经完成。
应该理解的是，虽然图2流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种针对病理全场图像的深度神经网络训练装置，包括：裁切模块210、输出概率向量计算模块220、弱监督数据集构建模块230和训练模块240，其中：
裁切模块210，用于对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集。
输出概率向量计算模块220，用于将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到。
弱监督数据集构建模块230，用于在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集。训练模块240，用于将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，所述针对病理全场图像的深度神经网络训练装置，还包括：样本分类模块，用于将像素级别标注的病理图像样本集分为训练样本集和验证样本集；所述训练模块240，还用于将所述训练样本集输入原始神经网络模型进行训练，获得训练神经网络模型；损失值计算模块，用于在验证样本集输入所述训练神经网络模型中，计算得到的损失值不再变化时，将所述训练神经网络模型确定为初始神经网络模型。
在其中一个实施例中，所述输出概率向量计算包括：输入单元，用于将所述第一样本集输入初始神经网络模型预存分类，获得模型输出结果；函数计算单元，用于将所述模型输出结果经过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量。
在其中一个实施例中，所述针对病理全场图像的深度神经网络训练装置，还包括：损失函数计算模块，用于根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数。所述训练模块，还用于将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，所述损失函数计算模块，包括：交叉熵损失函数计算单元，用于根据所述第一样本集的每个所述小图片的输出概率向量计算多分类任务的交叉熵损失函数；求导单元，用于对所述交叉熵损失函数进行求导，计算得到所述小图片的梯度模长；统计分布计算单元，用于计算所述第一样本集的每个所述小图片的梯度模长的统计分布；区域划分单元，用于将所述梯度模长的取值均分为多个区域，并统计每个区域内的样本个数；梯度密度计算单元，用于计算所述样本个数与所述区间的长度之比，得到所述小图片的梯度密度；第一加权因子计算单元，用于计算所述梯度密度的倒数和所述第一样本集的样本个数之积，得到所述小图片的第一加权因子；第二加权因子计算单元，用于根据所述小图片的梯度模长计算所述小图片的第二加权因子；损失函数构建单元，用于根据所述第一加权因子、第二加权因子、交叉熵损失函数和所述样本个数，构建损失函数。
在其中一个实施例中，所述训练模块包括：混合单元，用于将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集；待优化神经网络模型获取单元，用于根据所述混合训练集对所述初始神经网络模型进行训练，获得待优化神经网络模型；循环单元，用于重复根据所述混合训练集输入所述待优化神经网络模型，并将所述待优化神经网络模型的输出通过Softmax函数计算，得到所述混合训练集中每个所述小图片的输出概率向量，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集，将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，根据所述混合训练集对所述待优化神经网络模型进行训练，获得下一待优化神经网络模型的步骤，直到所述弱监督数据集的前后两次标签不再明显变化，将所述待优化神经网络模型确定为用于对病理全场图像上ROI进行分类的最终神经网络模型。
在其中一个实施例中，述弱监督数据集的前后两次标签不再明显变化，包括：根据上一混合训练集中每个所述小图片的输出概率向量与当前混合训练集中每个所述小图片的输出概率向量之差的绝对值的平均值，获得当前的平均绝对误差；判断当前的平均绝对误差是否大于或等于上一迭代训练的平均迭代误差；如果当前的平均绝对误差大于或等于上一迭代训练的平均迭代误差，则表示所述弱监督数据集的前后两次标签不再明显变化。
关于针对病理全场图像的深度神经网络训练装置的具体限定可以参见上文中对于针对病理全场图像的深度神经网络训练方法的限定，在此不再赘述。上述针对病理全场图像的深度神经网络训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种针对病理全场图像的深度神经网络训练方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种针对病理全场图像的深度神经网络训练方法，其特征在于，所述方法包括：
对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
2.根据权利要求1所述的方法，其特征在于，在对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集之前，包括：
将像素级别标注的病理图像样本集分为训练样本集和验证样本集；
将所述训练样本集输入原始神经网络模型进行训练，获得训练神经网络模型；
在验证样本集输入所述训练神经网络模型中，计算得到的损失值不再变化时，将所述训练神经网络模型确定为初始神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量，包括：
将所述第一样本集输入初始神经网络模型预存分类，获得模型输出结果；
将所述模型输出结果经过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量。
4.根据权利要求1所述的方法，其特征在于，还包括：根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数；
所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型，包括：
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集和所述损失函数对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
5.根据权利要求1所述的方法，其特征在于，所述根据预设样本集的每个所述小图片的输出概率向量计算梯度模长和梯度密度，并根据所述梯度模长和梯度密度计算损失函数，包括：
根据所述第一样本集的每个所述小图片的输出概率向量计算多分类任务的交叉熵损失函数；
对所述交叉熵损失函数进行求导，计算得到所述小图片的梯度模长；
计算所述第一样本集的每个所述小图片的梯度模长的统计分布；
将所述梯度模长的取值均分为多个区域，并统计每个区域内的样本个数；
计算所述样本个数与所述区间的长度之比，得到所述小图片的梯度密度；
计算所述梯度密度的倒数和所述第一样本集的样本个数之积，得到所述小图片的第一加权因子；
根据所述小图片的梯度模长计算所述小图片的第二加权因子；
根据所述第一加权因子、第二加权因子、交叉熵损失函数和所述样本个数，构建损失函数。
6.根据权利要求1所述的方法，其特征在于，所述将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型，包括：
将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集；
根据所述混合训练集对所述初始神经网络模型进行训练，获得待优化神经网络模型；
重复根据所述混合训练集输入所述待优化神经网络模型，并将所述待优化神经网络模型的输出通过Softmax函数计算，得到所述混合训练集中每个所述小图片的输出概率向量，在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集，将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，根据所述混合训练集对所述待优化神经网络模型进行训练，获得下一待优化神经网络模型的步骤，直到所述弱监督数据集的前后两次标签不再明显变化，将所述待优化神经网络模型确定为用于对病理全场图像上ROI进行分类的最终神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述弱监督数据集的前后两次标签不再明显变化，包括：
根据上一混合训练集中每个所述小图片的输出概率向量与当前混合训练集中每个所述小图片的输出概率向量之差的绝对值的平均值，获得当前的平均绝对误差；
判断当前的平均绝对误差是否大于或等于上一迭代训练的平均迭代误差；
如果当前的平均绝对误差大于或等于上一迭代训练的平均迭代误差，则表示所述弱监督数据集的前后两次标签不再明显变化。
8.一种针对病理全场图像的深度神经网络训练装置，其特征在于，所述装置包括：
裁切模块，用于对多个具有全片级标注的病理全场图像分别进行裁切，获得多个大小相同的小图片，所述小图片的特征数据构成第一样本集；
输出概率向量计算模块，用于将所述第一样本集输入初始神经网络模型，并将所述初始神经网络模型的输出通过Softmax函数计算，得到所述第一样本集中每个所述小图片的输出概率向量；其中，所述初始神经网络模型通过像素级别标注的病理图像样本集训练得到；
弱监督数据集构建模块，用于在所述病理全场图像中最大的所述输出概率向量大于预设值时，根据最大的所述输出概率向量对应的所述小图片构建弱监督数据集；
训练模块，用于将所述弱监督数据集和所述像素级别标注的病理图像样本集混合获得混合训练集，并根据所述混合训练集对所述初始神经网络模型进行训练，获得用于对病理全场图像上ROI进行分类的最终神经网络模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011046038.4A 2020-09-29 2020-09-29 一种针对病理全场图像的深度神经网络训练方法、装置 Active CN111931931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046038.4A CN111931931B (zh) 2020-09-29 2020-09-29 一种针对病理全场图像的深度神经网络训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046038.4A CN111931931B (zh) 2020-09-29 2020-09-29 一种针对病理全场图像的深度神经网络训练方法、装置

Publications (2)

Publication Number Publication Date
CN111931931A true CN111931931A (zh) 2020-11-13
CN111931931B CN111931931B (zh) 2021-03-30

Family

ID=73334756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046038.4A Active CN111931931B (zh) 2020-09-29 2020-09-29 一种针对病理全场图像的深度神经网络训练方法、装置

Country Status (1)

Country Link
CN (1) CN111931931B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784903A (zh) * 2021-01-26 2021-05-11 上海明略人工智能(集团)有限公司 用于目标识别模型训练的方法、装置及设备
CN113065646A (zh) * 2021-05-14 2021-07-02 杭州迪英加科技有限公司 一种能够实现ki67病理图像神经网络模型泛化性能的方法
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器
CN113822904A (zh) * 2021-09-03 2021-12-21 上海爱乐慕健康科技有限公司 一种图像标注装置、方法及可读存储介质
CN113902670A (zh) * 2021-08-31 2022-01-07 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN114140465A (zh) * 2021-01-20 2022-03-04 赛维森(广州)医疗科技服务有限公司 基于宫颈细胞切片图像的自适应的学习方法和学习系统
TWI795787B (zh) * 2021-05-24 2023-03-11 鴻海精密工業股份有限公司 自編碼器的訓練方法、細胞數量檢測方法及相關設備
CN116484905A (zh) * 2023-06-20 2023-07-25 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法
CN116524297A (zh) * 2023-04-28 2023-08-01 迈杰转化医学研究(苏州)有限公司 一种基于专家反馈的弱监督学习训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533067A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 基于深度学习的边框回归的端到端弱监督目标检测方法
CN111626989A (zh) * 2020-05-06 2020-09-04 杭州迪英加科技有限公司 针对缺失标注的病理图像的高精度检测网络训练方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533067A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 基于深度学习的边框回归的端到端弱监督目标检测方法
CN111626989A (zh) * 2020-05-06 2020-09-04 杭州迪英加科技有限公司 针对缺失标注的病理图像的高精度检测网络训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CV-DEEPLEARNING: "半监督学习实战——标注数据和伪标签数据混合训练", 《CSDN博客》 *
赵一丁等: "基于分类与回归混合模型的人脸年龄估计方法", 《计算机应用》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140465A (zh) * 2021-01-20 2022-03-04 赛维森(广州)医疗科技服务有限公司 基于宫颈细胞切片图像的自适应的学习方法和学习系统
CN114140465B (zh) * 2021-01-20 2023-01-10 赛维森(广州)医疗科技服务有限公司 基于宫颈细胞切片图像的自适应的学习方法和学习系统
CN112784903B (zh) * 2021-01-26 2023-12-12 上海明略人工智能(集团)有限公司 用于目标识别模型训练的方法、装置及设备
CN112784903A (zh) * 2021-01-26 2021-05-11 上海明略人工智能(集团)有限公司 用于目标识别模型训练的方法、装置及设备
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113139930B (zh) * 2021-03-17 2022-07-15 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113065646A (zh) * 2021-05-14 2021-07-02 杭州迪英加科技有限公司 一种能够实现ki67病理图像神经网络模型泛化性能的方法
TWI795787B (zh) * 2021-05-24 2023-03-11 鴻海精密工業股份有限公司 自編碼器的訓練方法、細胞數量檢測方法及相關設備
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器
CN113902670A (zh) * 2021-08-31 2022-01-07 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN113822904A (zh) * 2021-09-03 2021-12-21 上海爱乐慕健康科技有限公司 一种图像标注装置、方法及可读存储介质
CN113822904B (zh) * 2021-09-03 2023-08-08 上海爱乐慕健康科技有限公司 一种图像标注装置、方法及可读存储介质
CN116524297A (zh) * 2023-04-28 2023-08-01 迈杰转化医学研究(苏州)有限公司 一种基于专家反馈的弱监督学习训练方法
CN116524297B (zh) * 2023-04-28 2024-02-13 迈杰转化医学研究(苏州)有限公司 一种基于专家反馈的弱监督学习训练方法
CN116484905B (zh) * 2023-06-20 2023-08-29 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法
CN116484905A (zh) * 2023-06-20 2023-07-25 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法

Also Published As

Publication number Publication date
CN111931931B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN111931931B (zh) 一种针对病理全场图像的深度神经网络训练方法、装置
CN112163634B (zh) 实例分割模型样本筛选方法、装置、计算机设备及介质
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN114155365B (zh) 模型训练方法、图像处理方法及相关装置
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111192678B (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
Cai et al. Improving sampling-based image matting with cooperative coevolution differential evolution algorithm
CN114676777A (zh) 一种基于孪生网络的自监督学习细粒度图像分类方法
CN114898357B (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN110889437A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114037678A (zh) 一种基于深度学习的尿液有形成分检测方法及装置
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN115082840A (zh) 基于数据组合和通道相关性的动作视频分类方法和装置
CN114677578A (zh) 确定训练样本数据的方法和装置
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统
CN114170625A (zh) 一种上下文感知、噪声鲁棒的行人搜索方法
CN113850207B (zh) 基于人工智能的微表情分类方法、装置、电子设备及介质
CN112183299B (zh) 行人属性预测方法、装置、电子设备及存储介质
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN118053161A (zh) 卡面信息识别方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant