CN111382757A - 深度学习分类算法中动态调节训练样本的方法及终端设备 - Google Patents

深度学习分类算法中动态调节训练样本的方法及终端设备 Download PDF

Info

Publication number
CN111382757A
CN111382757A CN201811624786.9A CN201811624786A CN111382757A CN 111382757 A CN111382757 A CN 111382757A CN 201811624786 A CN201811624786 A CN 201811624786A CN 111382757 A CN111382757 A CN 111382757A
Authority
CN
China
Prior art keywords
training
training set
preset
deep learning
learning classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811624786.9A
Other languages
English (en)
Other versions
CN111382757B (zh
Inventor
熊友军
罗沛鹏
廖洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201811624786.9A priority Critical patent/CN111382757B/zh
Publication of CN111382757A publication Critical patent/CN111382757A/zh
Application granted granted Critical
Publication of CN111382757B publication Critical patent/CN111382757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度学习分类算法中动态调节训练样本的方法及终端设备：获取第一训练集、验证集和测试集；通过第一训练集对模型进行训练，每完成一次迭代，通过验证集获取模型的精度，若完成第一预设次数的迭代且模型的精度大于等于第一预设精度，或若完成第二预设次数的迭代，则将验证集中的语料添加至第一训练集，得到第二训练集；通过第二训练集对模型进行训练，每完成一次迭代，通过训练集获取模型的精度，若模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过第二训练集完成第四预设次数的迭代，则通过测试集获得模型所对应的评价指数。本发明通过将测试集参与到建立模型的过程中，实现了语料的全覆盖。

Description

深度学习分类算法中动态调节训练样本的方法及终端设备
技术领域
本发明属于计算机技术领域，尤其涉及一种深度学习分类算法中动态调节训练样本的方法及终端设备。
背景技术
随着机器学习、深度学习技术的成熟与计算机运算能力的提升，深度学习技术在工程界用的越来越广泛。以往，学术界为了保证模型的泛化能力，往往将训练的语料分为训练集、验证集、测试集，测试集是不会用于训练的，用于评估模型的效果，这样就会有很多在测试集中的语料特征没有被提取到。
然而，在实际工程运用时，对于已有的语料，往往都是人为整理出来的且在工程和产品中必不可少的，因此，现有深度学习分类算法存在语料覆盖不全面的问题。
发明内容
有鉴于此，本发明实施例提供了一种深度学习分类算法中动态调节训练样本的方法及终端设备，以解决现有技术深度学习分类算法中语料覆盖不全面的问题。
本发明实施例的第一方面提供了一种深度学习分类算法中动态调节训练样本的方法，包括：
获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
本发明提供了一种深度学习分类算法中动态调节训练样本的方法及终端设备，通过预设语料集建立第一训练集、验证集和测试集，并通过第一训练集对模型进行训练，通过验证集对模型进行验证，当模型的精度满足预设条件或通过第一训练集对模型进行训练达到预设迭代次数后，将验证集中的语料添加至第一测试集，对模型进行增量训练，并由测试集对模型进行验证，获得模型所对应的第一评价指数，此时，技术人员可以根据第一评价指数对模型进行进一步的参数调整，从而使得训练集进入模型建立的过程中，实现了语料的全覆盖。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种深度学习分类算法中动态调节训练样本的方法的流程示意图；
图2为本发明实施例提供的另一种深度学习分类算法中动态调节训练样本的方法的流程示意图；
图3为本发明实施例提供的一种深度学习分类算法中动态调节训练样本的装置的结构框图；
图4为本发明实施例提供的一种深度学习分类算法中动态调节训练样本的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供了一种深度学习分类算法中动态调节训练样本的方法。
结合图1，该方法包括：
S101，获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集。
一般的，将预设的语料集分为独立三部分：训练集、验证集和测试集。在本发明实施例中，将获得的预设语料集划分为第一训练集、验证集和测试集。可选的，第一训练集、验证集和测试集中语料数量的比例为6:2:2。
训练集是用来训练参数的，一般是用来梯度下降的，验证集是在每次迭代完成后，用来验证当前模型的准确率，并根据验证集的验证结果调整和控制模型的复杂参数，测试集用来测试最终确定的模型的相关性能。
S102，通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集。
在本发明实施例中，在通过第一训练集对深度学习分类模型进行训练之前，建立如下几个参数：
参数1、第一预设次数的迭代：通过第一训练集对深度学习分类模型进行训练的最小迭代次数；
参数2、第一预设精度：通过第一训练集对深度学习分类模型进行训练的最小精度；
参数3、第二预设次数的迭代：通过第一训练集对深度学习分类模型进行训练的最大次数，达到第二预设迭代次数后，即使深度学习分类模型没有达到第一预设精度，也停止通过第一训练集对深度学习分类模型的训练；
第二预设次数大于第一预设次数。
在本发明实施例中，通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，即模型同时满足参数1和参数2，或者模型满足参数3时，达到通过第一训练集对深度学习分类模型进行训练的终止条件，停止继续通过第一预设训练集对模型的训练，完成对模型的第一次训练。
第一次训练结束后，将验证集中的语料添加至第一训练集，得到第二训练集，通过第二训练集对模型进行训练，即进行第一次增量训练。
S103，通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
在本发明实施例中，在通过第一训练集对深度学习分类模型进行训练之前，建立如下几个参数：
参数4、第二预设精度：通过第二训练集对深度学习分类模型进行训练的最小精度阈值；
参数5、第三预设次数的迭代：模型在连续的多次迭代过程中都满足参数4的迭代次数统计值；
参数6、触发结束训练模型的最大迭代次数。
在本发明实施例中，通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，即模型同时满足参数4和参数5，或模型满足参数6时，通过所述测试集获得所述深度学习分类模型所对应的第一评价指数
此时，由测试集充当验证集的角色，通过训练集获得所述深度学习分类模型所对应的第一评价指数。由于验证集实际上参与了调整和控制模型的复杂参数，相当于测试集也参与了模型参数的建立过程，即相当于训练集也参与了模型的训练过程，实现了语料的全覆盖。
本发明提供了一种深度学习分类算法中动态调节训练样本的方法，通过预设语料集建立第一训练集、验证集和测试集，并通过第一训练集对模型进行训练，通过验证集对模型进行验证，当模型的精度满足预设条件或通过第一训练集对模型进行训练达到预设迭代次数后，将验证集中的语料添加至第一测试集，对模型进行增量训练，并由测试集对模型进行验证，获得模型所对应的第一评价指数，此时，技术人员可以根据第一评价指数对模型进行进一步的参数调整，从而使得训练集进入模型建立的过程中，实现了语料的全覆盖。
为进一步达到在在训练深度学习分类模型的过程中语料全覆盖的技术效果，获取深度学习分类模型对新预料的预测能力和泛化能力，在图1所对应的实施例之后，结合图2，本发明实施例提供了一种深度学习分类算法中动态调节训练样本的方法，该方法包括：
S201，将所述测试集中的语料添加至所述第二训练集，得到第三训练集。
当完成对模型的第一次增量训练，即完成通过第二训练集对模型的训练后，将验证集中的语料添加至第二训练集，得到第三训练集，通过第三训练集对模型进行训练，即进行第二次增量训练。
S202，通过所述第三训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述第三训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于所述第二预设精度，或若通过所述第三训练集完成第四预设次数的迭代，则通过所述第三训练集获得所述深度学习分类模型所对应的第二评价指数。
在本发明实施例中，将未参与梯度下降训练过程的测试集添加至训练集，此时对于模型而言，测试集相当于未知的新预料，通过将测试集加入训练集对模型进行训练，不但进一步提高了语料的覆盖范围，且此时，通过第三训练集获取的模型的第二评价指数能够代表模型对未知语料的评价值，可以用于表示模型的预测能力和泛化能力。
可选的，通过测试集获得的深度学习分类模型所对应的第一评价指数，或通过第三训练集获得的深度分类模型所对应的第二评价指数，包括但不限于该深度学习分类模型的准确率P、召回率R和F1值，其中，
Figure BDA0001927743300000071
具体的，准确率和召回率都高时，F1值也会高，F1值在1时达到最佳值，最差为0。F1值是评价深度学习分类模型的量度。
进一步的，为保证第一训练集、测试集和验证集尽可能拥有相同的特征，本发明实施还提供了一种对预设语料集进行分组，以获取第一训练集、测试集和验证集的方法，该方法包括：获取所述语料集所包含的多个类型的语料；针对所述多个类型的语料中的任一类型的语料，统计所述类型的语料的数量；若所述语料集中第一类型的语料的数量最大，且存在第二类型的语料的数量与所述第一类型的语料的数量的比值小于预设比值，则复制所述第二类型的语料，以使得所述第二类型的语料的数量与所述第一类型的语料的数量的比值大于等于所述预设比值。
如该预设比值为10％，预设语料集中语料数量最多的一种类型的语料包含10000条语料，此时这种类型的语料的类型可称为第一类型，且预设语料集中包含至少一种类型的语料的数量不足1000条，即不足语料数量最多的这类语料数量的10％，此时这种类型的语料可称为第二类型，此时，为避免第二类型的语料数量太少，影响对模型的训练质量，在本发明实施例中通过复制第二类型的语料使第二类型的语料的数量与第一类型的语料的数量的比值大于该预设比值。
进一步的，为进一步保证第一训练集、验证集和测试集中各类语料的均匀分布，使得第一训练集、测试集和验证集尽可能拥有相同的特征，本发明实施还提供了一种均匀取样的方法，该方法还包括：
针对所述语料集中的任一类型的语料，通过随机抽取的方式将所述类型的语料按照预设比例A:B:C划分为三份，并将比例A所对应的语料放入所述第一训练集，将比例B所对应的语料放入所述验证集，将比例C所对应的语料放入所述测试集，其中，A所对应的值为第一预设值、B所对应的值为第二预设值、C所对应的值为第三预设值。
即，如第一训练集、验证集和训练集中语料的数量的比值为A:B:C，可选的，假设A:B:C为6:2:2，此时，针对语料集中的任一类型的语料，都按照6：2:2的比例分为三份，将比值6所对应的一份语料放入第一训练集，将比值2所对应的一份语料放入验证集，将另一比值2所对应一份语料放入测试集，此时，通过这种方法，能够保证任一种类型的语料在第一训练集、验证集和测试集中的比值都为6:2:2，从而使得第一训练集、验证集和从测试集中尽可能拥有相同的特征。
进一步的，在通过训练集对模型进行训练的过程中，通常会将训练集中的样本分成多个批次对模型进行训练，每个批次中样本的数量相同，此时需要确定每个批次的批尺寸，批尺寸用于表示每个批次中样本或语料的数量。
在本发明实施例中，针对第一训练集至第三训练集中的任一训练集，通过预设的批尺寸将训练集分为多份，按照预设顺序输入深度学习分类模型，最后一份语料训练完成后，即完成对模型的一次迭代，再从第一份开始按照预设顺序输入深度学习分类模型，进行第二次迭代。
采用批量训练的方法，批尺寸的大小如果太高，则消耗过多计算性能，批尺寸太小，则会消耗过多的训练时长，因此，在本发明实施例中，提供两种动态调整训练集中批尺寸大小的方法，以提高训练效率。
第一种方法：获取所述语料集中语料的总数量N，并计算N与第四预设值的比值M；若M小于第五预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第五预设值；若M大于等于所述第五预设值且小于第六预设值时，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为M；若M大于等于第六预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第六预设值。
例如，令第四预设值＝50，第五预设值＝50，第六预设值＝5000；
则M＝N/50，若M＜50，则令第一训练集至第三训练集的批尺寸batchsize＝50，若50≤M＜5000，则令第一训练集至第三训练集的批尺寸batchsize＝M，若M≥5000，则令第一训练集至第三训练集的批尺寸batchsize＝5000。
第二种方法：针对所述第一训练集、所述第二训练集和所述第三训练集中的任一训练集，获取所述训练集中语料的总数量D，并计算D与第四预设值的比值E，若E小于第五预设值，所述的批尺寸为所述第五预设值，若E大于等于所述第五预设值且小于第六预设值时，则所述训练集的批尺寸为E，若E大于等于第六预设值，则所述训练集的批尺寸为所述第六预设值。
例如，令第四预设值＝50，第五预设值＝50，第六预设值＝5000；
针对第一训练集至第三训练集中的任一训练集，该训练集中语料总数量为D，则E＝D/50，若E＜50，则该训练集的批尺寸batchsize＝50，若50≤E＜5000，则该训练集的批尺寸batchsize＝E，若E≥5000，则令该训练集的批尺寸batchsize＝5000。
本发明实施例提供了一种深度学习分类算法中动态调节训练样本的方法，将未参与梯度下降训练过程的测试集添加至训练集，此时对于模型而言，测试集相当于未知的新预料，通过将测试集加入训练集对模型进行训练，不但进一步提高了语料的覆盖范围，且此时，通过第三训练集获取的模型的第二评价指数能够代表模型对未知语料的评价值，可以用于表示模型的预测能力和泛化能力。
图3为本发明实施例提供的一种深度学习分类算法中动态调节训练样本的装置示意图，结合图3，该装置包括：语料集获取单元31、训练单元32和评价单元33；
所述语料集获取单元31，用于获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
所述训练单元32，用于通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
所述训练单元32还用于，通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则所述评价单元33通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
进一步的，所述训练单元32还用于：将所述测试集中的语料添加至所述第二训练集，得到第三训练集；通过所述第三训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述第三训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于所述第二预设精度，或若通过所述第三训练集完成第四预设次数的迭代，则所述评价单元33通过所述第三训练集获得所述深度学习分类模型所对应的第二评价指数。
进一步的，所述第一评价指数或所述第二评价指数包括所述深度学习分类模型的准确率P、召回率R和F1值，其中，
Figure BDA0001927743300000111
进一步的，所述语料集获取单元31用于：
获取所述语料集所包含的多个类型的语料；
针对所述多个类型的语料中的任一类型的语料，统计所述类型的语料的数量；
若所述语料集中第一类型的语料的数量最大，且存在第二类型的语料的数量与所述第一类型的语料的数量的比值小于预设比值，则复制所述第二类型的语料，以使得所述第二类型的语料的数量与所述第一类型的语料的数量的比值大于等于所述预设比值。
进一步的，所述语料集获取单元31用于：
针对所述语料集中的任一类型的语料，通过随机抽取的方式将所述类型的语料按照预设比例A:B:C划分为三份，并将比例A所对应的语料放入所述第一训练集，将比例B所对应的语料放入所述验证集，将比例C所对应的语料放入所述测试集，其中，A所对应的值为第一预设值、B所对应的值为第二预设值、C所对应的值为第三预设值。
进一步的，所述语料集获取单元31还用于：
获取所述语料集中语料的总数量N，并计算N与第四预设值的比值M；
若M小于第五预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第五预设值；
若M大于等于所述第五预设值且小于第六预设值时，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为M；
若M大于等于第六预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第六预设值。
进一步的，所述语料集获取单元31还用于：
针对所述第一训练集、所述第二训练集和所述第三训练集中的任一训练集，获取所述训练集中语料的总数量D，并计算D与第四预设值的比值E，若E小于第五预设值，所述的批尺寸为所述第五预设值，若E大于等于所述第五预设值且小于第六预设值时，则所述训练集的批尺寸为E，若E大于等于第六预设值，则所述训练集的批尺寸为所述第六预设值。
本发明提供了一种深度学习分类算法中动态调节训练样本的装置，该装置通过预设语料集建立第一训练集、验证集和测试集，并通过第一训练集对模型进行训练，通过验证集对模型进行验证，当模型的精度满足预设条件或通过第一训练集对模型进行训练达到预设迭代次数后，将验证集中的语料添加至第一测试集，对模型进行增量训练，并由测试集对模型进行验证，获得模型所对应的第一评价指数，此时，技术人员可以根据第一评价指数对模型进行进一步的参数调整，从而使得训练集进入模型建立的过程中，实现了语料的全覆盖。
图4为本发明实施例提供的一种终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如深度学习分类算法中动态调节训练样本的程序。所述处理器40执行所述计算机程序42时实现上述各个深度学习分类算法中动态调节训练样本的方法实施例中的步骤，例如图1所示的步骤101至103，或图2所示的步骤201至202。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块31至33的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述深度学习分类算法中动态调节训练样本的方法的步骤。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度学习分类算法中动态调节训练样本的方法，其特征在于，该方法包括：
获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
2.根据权利要求1所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，在得到所述深度学习分类模型所对应的第一评价指数之后，该方法还包括：
将所述测试集中的语料添加至所述第二训练集，得到第三训练集；
通过所述第三训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述第三训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于所述第二预设精度，或若通过所述第三训练集完成第四预设次数的迭代，则通过所述第三训练集获得所述深度学习分类模型所对应的第二评价指数。
3.根据权利要求1或2所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，所述第一评价指数或所述第二评价指数包括所述深度学习分类模型的准确率P、召回率R和F1值，其中，
Figure FDA0001927743290000021
4.根据权利要求1或2所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，所述通过所述预设语料集获取第一训练集、验证集和测试集包括：
获取所述语料集所包含的多个类型的语料；
针对所述多个类型的语料中的任一类型的语料，统计所述类型的语料的数量；
若所述语料集中第一类型的语料的数量最大，且存在第二类型的语料的数量与所述第一类型的语料的数量的比值小于预设比值，则复制所述第二类型的语料，以使得所述第二类型的语料的数量与所述第一类型的语料的数量的比值大于等于所述预设比值。
5.根据权利要求4所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，该方法还包括：
针对所述语料集中的任一类型的语料，通过随机抽取的方式将所述类型的语料按照预设比例A:B:C划分为三份，并将比例A所对应的语料放入所述第一训练集，将比例B所对应的语料放入所述验证集，将比例C所对应的语料放入所述测试集，其中，A所对应的值为第一预设值、B所对应的值为第二预设值、C所对应的值为第三预设值。
6.根据权利要求2所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，该方法还包括：
获取所述语料集中语料的总数量N，并计算N与第四预设值的比值M；
若M小于第五预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第五预设值；
若M大于等于所述第五预设值且小于第六预设值时，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为M；
若M大于等于第六预设值，则所述第一训练集、所述第二训练集和所述第三训练集的批尺寸为所述第六预设值。
7.根据权利要求2所述的深度学习分类算法中动态调节训练样本的方法，其特征在于，该方法还包括：
针对所述第一训练集、所述第二训练集和所述第三训练集中的任一训练集，获取所述训练集中语料的总数量D，并计算D与第四预设值的比值E，若E小于第五预设值，所述的批尺寸为所述第五预设值，若E大于等于所述第五预设值且小于第六预设值时，则所述训练集的批尺寸为E，若E大于等于第六预设值，则所述训练集的批尺寸为所述第六预设值。
8.一种深度学习分类算法中动态调节训练样本的装置，其特征在于，该装置包括：语料集获取单元、训练单元和评价单元；
所述语料集获取单元，用于获取预设语料集，并通过所述预设语料集获取第一训练集、验证集和测试集；
所述训练单元，用于通过所述第一训练集对深度学习分类模型进行训练，每完成一次迭代，通过所述验证集获取所述深度学习分类模型的精度，若通过所述第一训练集完成第一预设次数的迭代且所述深度学习分类模型的精度大于等于第一预设精度，或若通过所述第一训练集完成第二预设次数的迭代，则将所述验证集中的语料添加至所述第一训练集，得到第二训练集；
所述训练单元还用于，通过所述第二训练集对所述深度学习分类模型进行训练，每完成一次迭代，通过所述训练集获取所述深度学习分类模型的精度，若所述深度学习分类模型的精度在连续第三预设次数的迭代过程中都高于第二预设精度，或若通过所述第二训练集完成第四预设次数的迭代，则所述评价单元通过所述测试集获得所述深度学习分类模型所对应的第一评价指数。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
10.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
CN201811624786.9A 2018-12-28 2018-12-28 深度学习分类算法中动态调节训练样本的方法及终端设备 Active CN111382757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811624786.9A CN111382757B (zh) 2018-12-28 2018-12-28 深度学习分类算法中动态调节训练样本的方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811624786.9A CN111382757B (zh) 2018-12-28 2018-12-28 深度学习分类算法中动态调节训练样本的方法及终端设备

Publications (2)

Publication Number Publication Date
CN111382757A true CN111382757A (zh) 2020-07-07
CN111382757B CN111382757B (zh) 2023-09-08

Family

ID=71218016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811624786.9A Active CN111382757B (zh) 2018-12-28 2018-12-28 深度学习分类算法中动态调节训练样本的方法及终端设备

Country Status (1)

Country Link
CN (1) CN111382757B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648430A (zh) * 2024-01-30 2024-03-05 南京大经中医药信息技术有限公司 对话式大语言模型监督训练评价系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944122A (zh) * 2010-09-17 2011-01-12 浙江工商大学 一种融合增量学习的支持向量机多类分类方法
US20160259994A1 (en) * 2015-03-04 2016-09-08 Accenture Global Service Limited Digital image processing using convolutional neural networks
CN108898222A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种自动调节网络模型超参数的方法和装置
CN109086790A (zh) * 2018-06-19 2018-12-25 歌尔股份有限公司 一种分类模型的迭代方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944122A (zh) * 2010-09-17 2011-01-12 浙江工商大学 一种融合增量学习的支持向量机多类分类方法
US20160259994A1 (en) * 2015-03-04 2016-09-08 Accenture Global Service Limited Digital image processing using convolutional neural networks
CN109086790A (zh) * 2018-06-19 2018-12-25 歌尔股份有限公司 一种分类模型的迭代方法、装置及电子设备
CN108898222A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种自动调节网络模型超参数的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648430A (zh) * 2024-01-30 2024-03-05 南京大经中医药信息技术有限公司 对话式大语言模型监督训练评价系统
CN117648430B (zh) * 2024-01-30 2024-04-16 南京大经中医药信息技术有限公司 对话式大语言模型监督训练评价系统

Also Published As

Publication number Publication date
CN111382757B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
WO2019205325A1 (zh) 确定用户风险等级的方法、终端设备及计算机可读存储介质
WO2019018375A1 (en) NEURONAL ARCHITECTURE RESEARCH FOR CONVOLUTION NEURAL NETWORKS
CN108388509B (zh) 一种软件测试方法、计算机可读存储介质及终端设备
CN108833458B (zh) 一种应用推荐方法、装置、介质及设备
CN109271380B (zh) 一种数据表海量数据校验方法及终端设备
CN109426655B (zh) 数据分析方法、装置、电子设备及计算机可读存储介质
CN111967573A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN112613543A (zh) 增强策略验证方法、装置、电子设备及存储介质
CN107590460A (zh) 人脸分类方法、装置及智能终端
CN115205736A (zh) 视频数据的识别方法和装置、电子设备和存储介质
CN111382757B (zh) 深度学习分类算法中动态调节训练样本的方法及终端设备
CN109190757B (zh) 任务处理方法、装置、设备及计算机可读存储介质
CN114547917A (zh) 仿真预测方法、装置、设备及存储介质
CN112333246B (zh) 一种ABtest实验方法、装置、智能终端及存储介质
CN113761026A (zh) 基于条件互信息的特征选择方法、装置、设备和存储介质
CN116166967B (zh) 基于元学习与残差网络的数据处理方法、设备和存储介质
CN111160614B (zh) 资源转移预测模型的训练方法、装置及计算设备
CN109344877B (zh) 一种样本数据处理方法、样本数据处理装置及电子设备
CN110866043A (zh) 数据预处理方法及装置、存储介质、终端
CN115203556A (zh) 一种评分预测模型训练方法、装置、电子设备及存储介质
CN113139563A (zh) 一种图像分类模型的优化方法及装置
CN112541514A (zh) 事件发布方法、服务器、终端及存储介质
CN114021623A (zh) 一种异常样本确定方法、装置、设备及介质
CN109086984B (zh) 平台生命周期的评估方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant