CN111414930A - 深度学习模型训练方法及装置、电子设备及存储介质 - Google Patents
深度学习模型训练方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111414930A CN111414930A CN201910013188.6A CN201910013188A CN111414930A CN 111414930 A CN111414930 A CN 111414930A CN 201910013188 A CN201910013188 A CN 201910013188A CN 111414930 A CN111414930 A CN 111414930A
- Authority
- CN
- China
- Prior art keywords
- data
- labeled
- training
- model
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013136 deep learning model Methods 0.000 title claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
Abstract
本发明实施例公开了一种深度学习模型训练方法及装置、电子设备及存储介质。所述深度学习模型训练方法包括：利用第一模型进行待标注数据进行分类，获得分类参数；根据所述分类参数，确定所述待标注数据的难分指标；根据所述难分指标，从所述待标注数据中选择训练数据；利用所述训练数据对所述第一模型进行优化训练，获得训练后的第二模型。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种深度学习模型训练方法及装置、 电子设备及存储介质。
背景技术
深度学习模型是利用训练数据进行训练，得到模型参数之后，利用训练好 的模型进行数据的自动分析，该数据分析包括但不限于数据分类和/或数据打标 等。但是训练数据的获得，可能需要能够进行标注。一般深度学习模型需要适 量的训练数据，若训练数据不足，则训练得到的深度学习模型的识别准确度不 够，若训练数据过多，训练得到的深度学习模型的识别准确度并不会进一步上 升，但是大量的训练数据又需要花费大量的人力、物力和/或财力来获得，显然 会导致资源的浪费。
发明内容
本发明实施例期望提供一种深度学习模型训练方法及装置、电子设备及存 储介质。
本发明的技术方案是这样实现的：
一种深度学习模型训练方法，包括：
利用第一模型进行待标注数据进行分类，获得分类参数；
根据所述分类参数，确定所述待标注数据的难分指标；
根据所述难分指标，从所述待标注数据中选择训练数据；
利用所述训练数据对所述第一模型进行优化训练，获得训练后的第二模型。
基于上述方案，所述根据所述分类参数，确定所述待标注数据的难分指标， 包括以下至少之一：
根据所述分类参数，确定所述待标注数据的信息熵；
根据所述待标注数据不同类的分类参数，确定所述待标注数据的多样性。
基于上述方案，所述根据所述分类参数，确定所述待标注数据的难分指标， 还包括：
结合所述信息熵和所述多样性，生成所述难分指标。
基于上述方案，所述根据所述难分指标，从所述待标注数据中选择训练数 据，包括：
对所述难分指标进行排序；
根据排序的序号及所述难分指标，确定排序梯度；
根据排序梯度和所述梯度阈值确定出分割位置；
基于所述分割位置及排序的结果，从所述待标注数据选择所述训练数据。
基于上述方案，所述基于所述分割位置及排序的结果，从所述待标注数据 选择所述训练数据，还包括：
确定样本上限值；
确定基于分割位置确定的备选样本数量是否大于样本上限值Smax；
若备选样本数量不大于Smax，确定所有备选样本为所述训练数据。
基于上述方案，所述基于所述分割位置及排序的结果，从所述待标注数据 选择所述训练数据，还包括：
若所述备选样本数量大于所述样本上限，选择难分指标较大的Smax个所述 备选样本作为所述训练数据。
基于上述方案，所述方法还包括：
根据测试数据的难分指标和/或所述测试数据所对应标注结果的不一致性， 确定损失函数参数；
利用所述损失函数参数，及所述第二模型对所述测试数据的分类参数，确 定测试数据的损失值；
根据所述损失值，确定继续或停止模型训练。
基于上述方案，所述方法还包括：
根据一个所述测试数据的标注者数目及标注结果所对应的分类数目，确定 所述不一致性。
一种深度学习模型训练装置，包括：
获得模块，用于利用第一模型进行待标注数据进行分类，获得分类参数；
确定模块，用于根据所述分类参数，确定所述待标注数据的难分指标；
选择模块，用于根据所述难分指标，从所述待标注数据中选择训练数据；
第二获得模块，用于利用所述训练数据对所述第一模型进行优化训练，获 得训练后的第二模型。
一种电子设备，包括：
存储器，
处理器，与所述存储器连接，用于通过存储在所述存储器上的计算机可执 行指令，实现前述一个或多个技术方案提供的深度学习模型训练方法。
一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所 述计算机可执行指令，被执行后能够实现前述一个或多个技术方案提供的深度 学习模型训练方。
本实施例提供的技术方案，会利用需要进一步优化训练的第一模型对待标 注数据进行分类，得到分类参数；基于分类参数确定出难分指标，然后基于难 分指标容易第一模型分类比较难的一部分待标注数据，选择出来作为训练数据， 用于第一模型的后续优化训练，如此，无需对所有待标注数据进行标注，减少 了需要标注的数据量，从而减少因为标注数据导致的人力、财力和物力的消耗； 与此同时，基于难分指标选择训练数据，去除了对第一模型优化训练没有贡献 的一部分数据，从而减少了因为这一部分数据的引入，导致第一模型的优化训 练的效率的降低。
附图说明
图1为本发明实施例提供的第一种深度学习模型训练方法的流程示意图；
图2为本发明实施例提供的第二种深度学习模型训练方法的流程示意图；
图3为本发明实施例提供的一种标注者对同一个待标注数据的标注差异示 意图；
图4为本发明实施例提供的一种深度学习模型训练装置的结构示意图；
图5为本发明实施例提供的一种难分指标和样本量的关系曲线的示意图；
图6为本发明实施例提供的第三种深度学习模型训练方法的流程示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐 述。
如图1所示，本实施例提供一种深度学习模型训练方法，包括：
步骤S110：利用第一模型进行待标注数据进行分类，获得分类参数；
步骤S120：根据所述分类参数，确定所述待标注数据的难分指标；
步骤S130：根据所述难分指标，从所述待标注数据中选择训练数据；
步骤S140：利用所述训练数据对所述第一模型进行优化训练，获得训练后 的第二模型。
本实施例提供的深度学习模型训练方法，可以应用于各种深度学习模型的 训练过程中，例如，可以用于对神经网络的训练中，也可以用于基于向量机的 深度学习模型中。
在本实施例中，所述第一模型可为完成了初步训练的模型，或者已经进行 了一次或多次的优化训练的需要进一步优化的模型。对于未进行过一次优化的 深度学习模型，则第一模型需要具有一定初步的分类能力。例如，所述第一模 型可为对图像的分类模型，则可以利用当前图像网络等算法完成了初步训练的 模型。例如，以词向量模型为例，可以利用当前的方法完成了较为初级的训练。 例如，对于一个需要准确度需要达到A的深度学习模型。
在本实施例中，利用待进一步优化训练的第一模型，对待标注数据进行分 类。该待标注数据进行分类的过程中，可能输出的是某一个待标注数据归属于 某一个类别的分类概率等评价指标。这些评价指标将作为所述分类参数。在另 一些实施例中，所述分类参数还可包括：第一模型将摸一个待标注数据归属到 摸一个类之后，同时输出置信度；该置信度也可以作为所述分类参数的一种。
在本实施例中，会根据参数确定待标注数据的难分指标。该难分指标是基 于第一模型而言的，难分指标越大，则表示第一模型对该标注数据的分类越不 确定；或者，难分指标越大，则表示第一模型对该待标注数据的分类难度越大。
假设所述第一模型为二分类模型，且输出的分类参数为分类概率，分类概 率的取值范围为0到1之间，分类概率为0.5时，第一模型可能将该待标注数 据划分到任意一个类的错误率都很高。即在二分类模型中，若第一模型给出的 分类概率为0.5，则该待标注数据的难分指标是最高的。进一步假设，在分类过 程中，0到0.3为类1；0.7到1.0之间为类2；而分类概率值为0.4到0.7之间 的待标注样本，对于第一模型来说就是分类难度的很大的待标注数据。
再例如，第一模型是多分类模型，将某一个待标注数据分为某一个类，可 以结合该待标注数据在各个类上的类分类概率，综合得到该待标注数据的最终 分类的置信度。若置信度越高，则表示该待标注数据被分到正确的类别的概率 越高。在本实施例中，还可以根据置信度确定所述难分指标。所述置信度越低， 表示难分指标越高。即分类参数中的置信度与难分指标负相关。该多分类模型 可为：三分类、四分类等各种分类模型。
在一些实施例中，所述步骤S120可包括：直接根据分类参数与难分指标之 间的映射关系表，得到所述难分指标。在另一些实施例中，所述步骤S120还可 以分类参数作为因变量，输入到难分指标的计算函数中，得到所述难分指标。
所述步骤S130包括：根据难分指标，选择出优化训练所述第一模型的训练 数据。在本实施例中，可以选择出难分指标大于难分指标阈值的若干个待标注 数据作为样本，继续对第一模型进行优化训练。当然基于难分指标阈值选择第 一模型优化训练是一种可选方式，具体实现有很多种方式，不局限于上述任意 一种。
基于难分指标从待标注数据中选择训练数据，选择的是待标注数据中的部 分数据，针对于当前第一模型就能够很准确进行分类的待标注数据，就不再作 为训练数据进行第一模型的优化训练。
在本实施例中，由于选择对第一模型进行优化训练的训练数据，是第一模 型暂时无法或难以区分的待标注数据，故对第一模型而言，用这些数据进行训 练，可以有利于第一模型的迅速收敛，从而提升所述第一模型的训练速率。而 选择出的待标注数据作为样本，即便由人工进行标注，相对于由人工对所有标 注数据而言，减少了人工所需要标注的待标注数据，从而大大的减少了人工标 注量。
在一些实施例中，所述步骤S120可包括以下至少之一：
根据所述分类参数，确定所述待标注数据的信息熵；
根据所述待标注数据不同类的分类参数，确定所述待标注数据的多样性。
在一些实施例中，信息熵是一种表征信息混乱度的参数，在本实施例中， 可以基于分类参数计算每一个待标注数据的信息熵。该信息熵直接就可以作为 所述难分指标。
所述信息熵的计算可以采用如下公式至少之一：
其中，ei为待标注数据i的信息熵；
为待标注数据i进行了第j次之后被 归属到第k类的概率值或置信度值；m为待标注数据i的总扩增次数；y为待标 注数据的总类别数。待标注数据的扩增可为：待标注数据的数据变形。例如， 以图片为例，待标注数据的扩增可包括：图片的颜色变换和/或图片中特定图形 的位置空间变换。
在另一些实施例中，多样性表征的待标注数据之间的多样性，该多样性可 以直接作为所述难分指标的一种。
以下提供计算所述多样性的可选函数；
其中，di为待标注数据i的多样性。
在本发明实施例中，所述
为待标注数据i进行了第l次之后被归属到第k 类的概率值或置信度值；
为待标注数据i进行了第j次之后被归属到第k类的 概率值或置信度值；m为待标注数据i的总扩增次数；y为待标注数据的总类别 数；
在一些实施例中，为了进一步提升难分指标指示对于第一模型而言的难分 程度，所述步骤S120还包括：
结合所述信息熵和所述多样性，生成所述难分指标。
在一些实施例中，对所述信息熵和所述多样性进行加权求和，得到所述难 分指标；例如，Ai＝λ1ei+λ2di；其中，Ai为待标注数据i的难分指标；λ1为信息 熵的权重；λ2为多样性的权重。λ1和λ2为预先确定的值，例如，预先确定的经 验值。在一些实施例中，λ1和λ2可相等；则此时，所述难分指标为所述信息熵 和多样性的均值。
在一些实施例中，如图2所示，所述步骤S130可包括：
步骤S131：对所述难分指标进行排序；
步骤S132：根据排序的序号及难分指标，确定排序梯度；
步骤S133：根据排序梯度和所述梯度阈值确定出分割位置；
步骤S134：基于所述分割位置及排序的结果，从所述待标注数据选择所述 训练数据。
在本实施例中由于一个待标注数据的难分指标越大，则表示第一模型对该 待标注数据的区分难度越大。在本实施例中，对所述待标注数据的难分指标的 排序可包括：从大到小的排序，也可以包括从小到大的排序。
在步骤S132中，以难分指标及该难分指标的排序所在的序号，得到排序梯 度，例如，对难分指标及序号进行微分计算，得到所述排序梯度。若排序为： 按照难分指标从大到小排序，根据排序梯度与梯度阈值的比较，确定出排序中 的分割位置，然后选择分割位置之前的全部或部分难分指标所对应的待标注数 据为所述训练数据。若排序为：按照难分指标从小到大排序，根据排序梯度与 梯度阈值的比较，确定分割位置之后，选择分割位置之后的全部或部分难分指 标所对应的待标注数据为所述训练数据。
在一些实施例中，所述选择排序梯度大于梯度阈值的待标注数据为所述训 练数据，还包括：
确定样本上限值；
确定所述排序梯度大于所述梯度阈值的待标注数据的数量是否大于样本上 限值Smax；
若备选样本数量不大于Smax，确定所有备选样本为所述训练数据。
进一步地，在一些实施例中，所述方法还包括：
若所述备选样本数量大于所述样本上限，选择难分指标较大的Smax个所述 备选样本作为所述训练数据。
在一些实施例中，每次优化训练都设置有了训练数据的最大数量，即所述 样本上限。所述备选样本数量为基于分割位置确定的备选样本的数量。例如， 基于分割位置，选择难分指标加大的N个待标注数据为备选样本。在本实施例 中，还设置了样本上限值，若N不大于样本上限值，例如，N小于或等于样本 上限值，则直接将所有的备选样本作为训练数据进行标注之后，用于第一模型 的优化训练。若N大于样本上限值，则会导致第一模型优化训练的需要标注的 样本增多，在本实施例中，则会仅选择备选样本中部分进行第一模型的优化训 练。
在一些实施例中，所述步骤S130选择的训练数据全部作为模型训练的样本 数据，在另一些实施例中，所述训练数据可包括：样本数据和测试数据。样本 数据，用于对第一模型进行训练；测试数据，用于对利用样本数据完成优化训 练之后的模型进行测试；通过测试数据的测试，获得测试结果之后，可以根据 测试结果确定是否需要继续优化训练第一模型。
在一些实施例中，所述方法还包括：
根据测试数据的难分指标和/或所述测试数据所对应标注结果的不一致性， 确定损失函数参数；
利用所述损失函数参数，及所述第二模型对所述测试数据的分类参数，确 定测试数据的损失值；
根据所述损失值，确定继续或停止模型训练。
模型进行一定数据量的训练之后，会需要利用测试数据进行训练成果的检 测。将测试数据输入到训练后的模型中，获取模型输出的结果，将模型数据的 结果和测试数据自身对应的标注结果进行比对，计算训练之后模型对测试数据 分类的损失值。一般损失值越大，表示模型对测试数据的分类结果越不准确。
在本实施例中，会考虑到难分指标对模型训练的影响程度，此处，所述测 试数据的难分指标的确定方式可以参见前述待标注数据的确定方式，此处就不 再重复了。
在本实施例中，可以单独基于难分指标或不一致性，确定所述损失函数值， 也可以同时基于难分指标及不一致性得到所述损失函数值。以下提供几种同时 基于难分指标和损失函数值的可选函数关系；
wi＝μ1ei+μ2di+μ3ci
wi＝μ1ei+μ3ci
wi＝μ2di+μ3ci
wi为用于计算上述损失值的测试数据i的权值；ei为测试数据i的信息熵；di为测试数据i的多样性；ci为测试数据i的不一致性。μ1为ei的权重；μ2为di的 权重；μ3为ci的权重。此处，μ1、μ2及μ3可为预设值。
在一些实施例中，所述方法还包括：
根据一个所述测试数据的标注者数目及标注结果所对应的分类数目，确定 所述不一致性。
确定所述不一致性的方式有多种，例如，可以直接结余标注者数目和分类 数目的比值来确定，假设S1个标注者，S1个标注者将测试数据划分到了S2类， 所述不一致性可为：S2/S1。在例如，若标注者将某一个待标注数据标注到某一 个类之后，还给出了划分到该类的置信度，则可以同时结合、标注数据、分类 数目及各个分类的置信度确定所述不一致性；例如，所述不一致性可为：(S2/S1) 与被划分到各个类的置信度的均值或方差的乘积。
本示例提供的不一致性，还可以用如下函数关系来计算：
其中，C为一个测试数据的不一致性；n为一个标注者数目；m为一个测试 数据的分类数目；nk为
在本实施例中，会基于所述损失函数参数，该损失函数参数可为用于损失 函数计算的权值或者加权调整因子的。
所述损失值的可以采用如下函数关系：
lossn为n个测试数据的平均损失值，其中，wi为测试数据i的权值；该权值为 前述损失函数参数中的一个。ln,i为测试数据i的损失值。
如图3所示，不同的标注者或者标注设备，对同一个待标注数据的标注结 果可能是不一样的，这种不一样可以由不一致性来体现。如此，结合不一致性 和/或难分指标来计算损失值，可以对于极个别的辨识度真的很低的数据，可以 降低其导致的模型优化训练反复不必要的训练，从而及时停止模型不必要的训 练。图3中一个横排表示一个标注者，一个纵轴对应于一个待标注数据，一个 方格的灰度值为一个标注者对一待标注数据的标注结果。显然一个待标注数据， 即便是作为人的标注者也会给出不同的标注结果。为了体现这种标注的差异性， 在本实施例中，引入了不一致性，用于衡量损失值。
如图4所示，本实施例提供一种深度学习模型训练装置，包括：
获得模块110，用于利用第一模型进行待标注数据进行分类，获得分类参 数；
确定模块120，用于根据所述分类参数，确定所述待标注数据的难分指标；
选择模块130，用于根据所述难分指标，从所述待标注数据中选择训练数 据；
训练模块140，用于利用所述训练数据对所述第一模型进行优化训练，获 得训练后的第二模型。
在一些实施例中，所述获得模块110、确定模块120、选择模块130及训练 模块140可为程序模块，所述程序模块被处理器执行后，能够实现上述各个模 块的功能。
在一些实施例中，所述获得模块110、确定模块120、选择模块130及训练 模块140可为软硬结合模块，所述软硬结合模块可包括：可编程阵列，例如， 复杂可编程阵列或现场可编程阵列。
在还有一些实施例中，所述获得模块110、确定模块120、选择模块130及 训练模块140可为纯硬件模块，该纯硬件模块包括但不限于专用集成电路。
在一些实施例中，所述确定模块120，具体用于执行以下至少之一：
根据所述分类参数，确定所述待标注数据的信息熵；
根据所述待标注数据不同类的分类参数，确定所述待标注数据的多样性。
在一些实施例中，所述确定模块120，还用于结合所述信息熵和所述多样 性，生成所述难分指标。
在一些实施例中，所述选择模块130，具体用于对所述难分指标进行排序； 根据排序的序号及所述难分指标，确定排序梯度；根据排序梯度和所述梯度阈 值确定出分割位置；基于所述分割位置及排序的结果，从所述待标注数据选择 所述训练数据。
在一些实施例中，所述选择模块130，还具体用于确定样本上限值；确定 基于分割位置确定的备选样本数量是否大于样本上限值Smax；若备选样本数量 不大于Smax，确定所有备选样本为所述训练数据。
在一些实施例中，所述选择模块130，还用于若所述备选样本数量大于所 述样本上限，选择难分指标较大的Smax个所述备选样本作为所述训练数据。
在一些实施例中，所述装置还包括：
损失函数参数模块，用于根据测试数据的难分指标和/或所述测试数据所对 应标注结果的不一致性，确定损失函数参数；
损失值模块，用于利用所述损失函数参数，及所述第二模型对所述测试数 据的分类参数，确定测试数据的损失值；
所述训练模块140，还用于根据所述损失值，确定继续或停止模型训练。
在一些实施例中，所述装置还包括：
不一致性模块，用于根据一个所述测试数据的标注者数目及标注结果所对 应的分类数目，确定所述不一致性。
本实施例还提供一种电子设备，包括：
存储器，
处理器，与所述存储器连接，用于通过执行所述存储器存储的计算机可执 行指令，实现前述一个或多个技术方案提供的深度模型训练方法，例如，可执 行图1、图2及图6所示的深度模型训练方法。
所述处理器可以通过各种类型的总线，与所述存储器连接，所述总线包括 但不限于集成电路总线和/或外设连接总线。
本实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机 可执行指令；所述计算机可执行指令被执行后，能够前述一个或多个技术方案 提供的深度模型训练方法，例如，可执行图1、图2及图6所示的深度模型训 练方法中的一个或多个。该计算机存储介质可为非瞬间存储介质。
以下结合上述实施例提供几个示例：
示例1：
结合任意实施例，以医学了领域的图像标注为例进行说明，本示例提出 一种基于主动学习的医学图像标注和训练的方法，包括：
首先采用ImageNet预训练的深度学习模型去自主选择需要标注的数据，
定义指标多样性(diversity)和信息熵(entropy)来判断一幅图片是否 是需要标注的数据；
用筛选出的数据在预训练模型的基础上微调/优化(finetuning)，得到 一个新模型；
用新模型再次对剩余的数据计算diversity和entropy，并迭代训练，直 到模型准确性不再上升。
在训练的过程中，提出一种医生标注不一致性指标，将该指标结合多样 性和信息熵，计算每个训练样本的损失函数的权重，提高模型对难分样本的 区分能力。
深度学习的输出是属于某一类的分类概率(0到1)，该分类概率可以 用于进行样本的标注。
一个很直观的方式是：
用信息熵(entropy)来刻画信息量，把那些预测值模棱两可的样本挑 出来，以二分类模型而言，就是预测值越靠近0.5，对应样本的信息量越大。
另一个比较直观的方式是：
用多样性(diversity)来刻画已标注数据(labeled data)和未标注数据(unlabeled data)的相似性。
在本示例中利用上述两个指标来训练深度学习模型时，需要选择样本， 样本选择可以采用如下函数关系；
entropy：
Diversity
最后以一定的比例加在一起得到总的指标值。
Ai＝λ1ei+λ2di
在进行难分数据筛选时，可选择固定样本量或采用总样本的预定比例 值，例如总样本的10％，然而在迭代中发现，刚开始时为了有一个比较好的 初始模型，需要的样本量比较多，后续每次迭代，需要的样量会越来越少。
发现每次的对所有待标注的样本进行难分指标计算时，对难分指标进行 倒序排序，有如下图5所示曲线：图5难分指标和样本量的关系曲线。
本示例提出一种样本量计算方法：
对难分指标A进行倒序排序，此处的，倒序排序为：对难分指标进行从 大到小的排序；
对排序后的A计算梯度
其中，r为倒序排序后的序号；
对dA做中值滤波得到dA'＝median(dA)；
设置梯度阈值thre，找到位置l使得dA'l＞＝thre。
设置每次迭代样本量上限Smax，例如Smax＝Stotal*10％；Stotal为待标注的总 图片数；
如果，l＞Smax:
本次迭代样本量
否则，本次迭代样本量S＝l。
医生标注时发现，对于大多数比较简单的图片，医生标注时的一致性比 较高，但是对于部分比较难的图片，医生标注时的一致性就会有所下降；也 就是说样本难分程度和医生标注的不一致性是正相关的。
图3表示的可为不同医生对于医学图像标注的不一致性，横轴表示不同 医生；纵轴为不同图片。
这里定义一个不一致性(inconsistency)指标，用于衡量一幅图片医生 标注时的一致性：
假设共有n名医生进行标注，对同一幅图片，共给出m个不同标签，每 个标签的标注数量分别为则有：
c为不一致性；m为不一致性；nk为图片被标注为第k的个数。
通过图4的曲线也可以看出来，每幅图片的难分指标是不一样的；再结 合前面的难分指标(例如，diversity和/或entropy)，就可以定义一个在深 度神经网络训练时的权重w；
wi＝λ1ei+λ2di+λ3
在训练时，假设在第n次迭代时，第i幅图片的损失(loss)为ln,i，那么 定义本次迭代的平均lossn为：
若所述平均lossn的取值小于损失阈值时，可以停止模型优化训练，或者， 达到最大训练次数之后停止优化训练。
本示例提出一种基于主动学习的医学图像的标注和训练方法。在筛选待 标注数据的过程中，定义一种难分指标，每次迭代的过程中，对所有待标注 样本的难分指标进行倒序排序，对排序后的指标计算梯度，并设置梯度阈值， 用于计算每次迭代需要的样本量。在训练的过程中，定义一种医生标注的不 一致性，将不一致性结合难分指标作为训练时损失函数的权重，用于提高模 型对难分样本的区分能力。
本示例提出一种样本量计算方法，通过该方案计算每次迭代所需标注的 样本量，能够进一步减少样本标注的工作量。
筛选样本量的指标只用于筛选样本量，本示例通过将难分指标结合到训 练时的损失函数中，能够进一步提高模型对于难分样本的区分度，进而提高 难分样本分类的准确性。
本示例通过定义一个标注不一致性指标，并将该指标结合到训练时的损 失函数中，能够在上述基础上再次提高模型对难分样本的区分度。
示例2：
如图6所示，本示例提供一种深度模型训练方法，包括：
确定预训练模型；
确定待标注数据m的难分指标，该难分指标包括但不限于：多样性及信息 熵；
判断是否第一次迭代，若是进行基于难分指标的倒序排序，并选择样本阈 值thre；若是，进行难分指标的倒序排序，计算难分指标的拐点位置1；判断基 于位置1得到的样本数量是否大于样本阈值；
若判断出基于位置1得到的样本数量不大于样本阈值，则样本数量为进行 模型优化的样本数量；
若判断出基于位置1得到的训练数据量大于样本阈值，选择等于样本阈值 样本数量；
待标注样本集；
获取待标注样本集的标注结果；
确定标注一致性；
根据难分指标及标注一致性，确定权重；
利用标注好的样本集进行模型训练，得到深度模型；
由医生等能够对训练数据进行标注的人员，从待标注数据中选择10％进行 训练数据标注，标注之后作为测试数据；
利用测试数据对深度学习模型的准确度进行评估。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法， 可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分 方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特 征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、 或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通 信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作 为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方， 也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部 单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块 中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集 成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用 硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、 随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种 可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种深度学习模型训练方法，特征在于，包括：
利用第一模型进行待标注数据进行分类，获得分类参数；
根据所述分类参数，确定所述待标注数据的难分指标；
根据所述难分指标，从所述待标注数据中选择训练数据；
利用所述训练数据对所述第一模型进行优化训练，获得训练后的第二模型。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述分类参数，确定所述待标注数据的难分指标，包括以下至少之一：
根据所述分类参数，确定所述待标注数据的信息熵；
根据所述待标注数据不同类的分类参数，确定所述待标注数据的多样性。
3.根据权利要求2所述的方法，其特征在于，所述根据所述分类参数，确定所述待标注数据的难分指标，还包括：
结合所述信息熵和所述多样性，生成所述难分指标。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述难分指标，从所述待标注数据中选择训练数据，包括：
对所述难分指标进行排序；
根据排序的序号及所述难分指标，确定排序梯度；
根据排序梯度和所述梯度阈值确定出分割位置；
基于所述分割位置及排序的结果，从所述待标注数据选择所述训练数据。
5.根据权利要求4所述的方法，其特征在于，所述基于所述分割位置及排序的结果，从所述待标注数据选择所述训练数据，还包括：
确定样本上限值；
确定基于分割位置确定的备选样本数量是否大于样本上限值Smax；
若备选样本数量不大于Smax，确定所有备选样本为所述训练数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述分割位置及排序的结果，从所述待标注数据选择所述训练数据，还包括：
若所述备选样本数量大于所述样本上限，选择难分指标较大的Smax个所述备选样本作为所述训练数据。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
根据测试数据的难分指标和/或所述测试数据所对应标注结果的不一致性，确定损失函数参数；
利用所述损失函数参数，及所述第二模型对所述测试数据的分类参数，确定测试数据的损失值；
根据所述损失值，确定继续或停止模型训练。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据一个所述测试数据的标注者数目及标注结果所对应的分类数目，确定所述不一致性。
9.一种深度学习模型训练装置，其特征在于，包括：
获得模块，用于利用第一模型进行待标注数据进行分类，获得分类参数；
确定模块，用于根据所述分类参数，确定所述待标注数据的难分指标；
选择模块，用于根据所述难分指标，从所述待标注数据中选择训练数据；
第二获得模块，用于利用所述训练数据对所述第一模型进行优化训练，获得训练后的第二模型。
10.一种电子设备，其特征在于，包括：
存储器，
处理器，与所述存储器连接，用于通过存储在所述存储器上的计算机可执行指令，实现权利要求1至8任一项提供的方法。
11.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令，被执行后能够实现权利要求1至8任一项提供的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013188.6A CN111414930B (zh) | 2019-01-07 | 2019-01-07 | 深度学习模型训练方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013188.6A CN111414930B (zh) | 2019-01-07 | 2019-01-07 | 深度学习模型训练方法及装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414930A true CN111414930A (zh) | 2020-07-14 |
| CN111414930B CN111414930B (zh) | 2023-10-27 |
Family
ID=71490786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910013188.6A Active CN111414930B (zh) | 2019-01-07 | 2019-01-07 | 深度学习模型训练方法及装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414930B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580734A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 目标检测模型训练方法、系统、终端设备及存储介质 |
| CN113487617A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229267B (zh) * | 2016-12-29 | 2020-10-16 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN108062394A (zh) * | 2017-12-18 | 2018-05-22 | 北京中关村科金技术有限公司 | 一种数据集的标注方法及相关装置 |
| CN108416370B (zh) * | 2018-02-07 | 2022-03-22 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
| CN108564066B (zh) * | 2018-04-28 | 2020-11-27 | 国信优易数据股份有限公司 | 一种人物识别模型训练方法以及人物识别方法 |
-
2019
- 2019-01-07 CN CN201910013188.6A patent/CN111414930B/zh active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580734A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 目标检测模型训练方法、系统、终端设备及存储介质 |
| CN112580734B (zh) * | 2020-12-25 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 目标检测模型训练方法、系统、终端设备及存储介质 |
| CN113487617A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111414930B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106803247B (zh) | 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法 | |
| WO2020164282A1 (zh) | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 | |
| CN110472082B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN109858476B (zh) | 标签的扩充方法和电子设备 | |
| JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
| JP6897749B2 (ja) | 学習方法、学習システム、および学習プログラム | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN112163530B (zh) | 基于特征增强和样本选择的ssd小目标检测方法 | |
| CN115393351B (zh) | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 | |
| CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN110458600A (zh) | 画像模型训练方法、装置、计算机设备及存储介质 | |
| Shoohi et al. | DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN. | |
| CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
| CN117315379B (zh) | 面向深度学习的医学影像分类模型公平性评估方法及装置 | |
| CN113192028A (zh) | 人脸图像的质量评价方法、装置、电子设备及存储介质 | |
| GB2604706A (en) | System and method for diagnosing small bowel cleanliness | |
| CN109101984A (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN116110058A (zh) | 一种基于手写数字识别的虚拟人交互方法及系统 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN111612099A (zh) | 基于局部排序差值细化模式的纹理图像分类方法及系统 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 | |
| US11448634B2 (en) | Analysis apparatus, stratum age estimation apparatus, analysis method, stratum age estimation method, and program | |
| CN115730152A (zh) | 基于用户画像分析的大数据处理方法及大数据处理系统 | |
| CN112132239B (zh) | 一种训练方法、装置、设备和存储介质 | |
| JP2016062249A (ja) | 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |