CN110717515A - 模型训练方法、装置及电子设备 - Google Patents
模型训练方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110717515A CN110717515A CN201910843967.9A CN201910843967A CN110717515A CN 110717515 A CN110717515 A CN 110717515A CN 201910843967 A CN201910843967 A CN 201910843967A CN 110717515 A CN110717515 A CN 110717515A
- Authority
- CN
- China
- Prior art keywords
- training
- subset
- target
- sample
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 542
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005070 sampling Methods 0.000 claims abstract description 115
- 238000010801 machine learning Methods 0.000 claims abstract description 47
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 7
- 239000002699 waste material Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模型训练方法、装置和电子设备。其中，所述方法包括：将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。解决了现有的模型训练方法样本均衡性不足，收敛速度较慢，且容易浪费存储空间的技术问题。取得了提高样本均衡性以及模型收敛速度同时节省存储空间的有益效果。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种模型训练方法、装置及电子设备。
背景技术
在相关技术中，为了对数据进行区分，往往通过机器学习的方法得到区分模型，而为了进行机器学习，需要先构建样本训练集，进而可以基于样本训练集进行机器学习。实际构建样本训练集时，由于原始样本的量较大，需要对原始样本进行抽样，并基于抽样得到的样本构建样本训练集。然而在机器学习领域经常遇到类别不均衡的问题，即数据集中每个类别的样本数量不一致。通过类别严重不均衡的数据集训练得到的模型的性能往往不理想，为了解决这个问题，通常需要对样本量较多的类别进行欠采样，对样本量不足的类别进行过采样。
目前常用的解决方案有进行off-line(离线)的过采样，通常会在训练模型前对样本量不足的类别进行过采样后制作一个新的数据集；还有一种方案是进行基于epoch(训练轮次)的重采样，训练模型时，在每个epoch开始之前根据每个类别的权重对数据集进行重采样获取到数据集总数个样本进行训练。
但是，off-line的过采样会占用较大的存储空间，而且每次更换过采样方法后都需要重新制作数据集；基于epoch的重采样方案中，每个epoch的样本是固定的，无法根据模型的收敛情况及时调整采样权重，导致模型训练过程中的样本均衡性不足，且模型收敛速度较慢的问题。
发明内容
本发明提供一种模型训练方法、装置及电子设备，以部分或全部解决现有技术中模型训练过程相关的上述问题。
依据本发明第一方面，提供了一种模型训练方法，包括：
将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
根据本发明的第二方面，提供了一种模型训练装置，包括：
训练样本划分模块，用于将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
训练样本采样模块，用于设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
训练样本增强模块，用于设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
根据本发明的第三方面，提供了一种电子设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述的模型训练方法。
根据本发明的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述的模型训练方法。
根据本发明的模型训练方法，可以将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。由此解决了现有的模型训练方法样本均衡性不足，收敛速度较慢，且容易浪费存储空间的技术问题。取得了提高样本均衡性以及模型收敛速度同时节省存储空间的有益效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例的一种模型训练方法的步骤流程图之一；
图2示出了根据本发明实施例的一种模型训练方法的步骤流程图之二；
图3示出了根据本发明实施例的一种模型训练装置的结构示意图之一；以及
图4示出了根据本发明实施例的一种模型训练装置的结构示意图之二。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
详细介绍本发明实施例提供的一种模型训练方法。
参照图1，示出了本发明实施例中一种模型训练方法的步骤流程图。
步骤110，将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同。
如前述，在实际应用中，由于原始样本的量较大，需要对原始样本进行抽样，并基于抽样得到的样本构建样本训练集。然而在机器学习领域经常遇到类别不均衡的问题，即在当前抽取的数据集中每个类别的样本数量不一致，从而导致每次训练样本不均衡导致训练效果不佳。
因此在本发明实施例中，为了提高模型训练效果，可以将训练样本划分为多个训练子集，而且，每个训练子集中包含的训练样本的类别相同。
具体的，可以将同一类别下的训练样本划分到一个训练子集，或者也可以将同一类别下的训练样本划分为多个训练子集，对此本发明实施例不加以限定。但是，优选地，为了方便抽取同一类别下的训练样本，可以将同一类别下的训练样本划分到一个训练子集。
例如，假设当前用以训练目标机器学习模型的训练样本中包含N类，那么则可以将全部的训练样本划分为N个训练子集，且每个训练子集中包含的训练样本的类别相同。
其中，训练样本的类别可以根据训练样本的属性、目标机器学习模型的训练需求等确定。例如，训练样本的类别可以只包含正样本类别和负样本类别；或者，也可以包括不同训练需求下的正样本类别和负样本类别，等等。
例如，假设训练样本的类别只包含正样本类别和负样本类别，那么则可以将全部的训练样本划分为2个训练子集，且一个训练子集中包含训练样本中的全部正样本，另一个训练子集中包含训练样本中的全部负样本。
步骤120，设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本。
在实际应用中，可以预先构建包含多个训练样本的训练集合，并通过训练集合中的训练样本训练机器学习模型，但是一般而言，机器学习模型的输入端每次能接收的输入数据量是有限制的，也即Batch Size(批大小)将决定机器学习模型一次训练所输入的训练样本数目，Batch Size将影响到模型的优化程度和速度。在本发明实施例中，可以根据需求预先设置并调整待训练的目标机器学习模型的Batch Size。那么在训练目标机器学习模型时，则需要以Batch Size为单位，从训练样本中采样得到每一次训练的目标训练样本。
那么，在本发明实施例中，为了提高每次抽样得到的目标训练样本的均衡性，提高目标机器学习模型的训练效果，在将训练样本划分为多个训练子集之后，则可以设置每个训练子集的采样权重w，进而根据每个训练子集的采样权重w，从每个训练子集中采样得到本次训练的目标训练样本。
其中，每个训练子集的采样权重w可以根据需求进行预先设置，对此本发明实施例不加以限定。而且，在模型训练过程中，每个训练子集的采样权重w是可更新的。
例如，假设某一训练子集A1的采样权重为w，所有训练子集的采样权重的和值为S，那么在采样本次训练的目标训练样本时，该训练子集中有训练样本被选中的概率为w/S，进而则可以确定每个训练子集中的每个训练样本被选中的概率。例如，如果训练子集A1中包含N1个训练样本，那么则可以得到训练子集A1中的每个训练样本被选中的概率为w/(S*N1)。
在确定每个训练子集中的每个训练样本被选中的概率之后，则可以从训练子集中采样得到本次训练的目标训练样本；或者，在本发明实施例中，也可以先根据每个训练子集的采样权重w，确定本次训练的目标训练样本的样本来源，也即确定本次从哪些训练子集中抽取目标训练样本，进而从样本来源对应的训练子集中随机或者是按照其他策略选取本次训练所需的目标训练样本。当然，在本发明实施例中，也可以根据每个训练子集的采样权重w，按照其他预设策略，从训练子集中采样得到本次训练的目标训练样本，对此本发明实施例不加以限定。
步骤130，设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
在本发明实施例中，为了提高目标机器学习模型的训练效果，可以进一步对当前抽取得到的目标训练样本进行数据增强，而且考虑到不同类别下的训练样本数量可能并不完全一致，因此为了尽可能提高训练样本的均衡性，可以设置分别针对每个训练子集设置数据增强概率系数k，并且在训练过程中可以调整每个训练子集的数据增强概率系数k。
在抽样得到本次本次训练的目标训练样本之后，则可以根据各个目标训练样本所属训练子集的数据增强概率系数k，对目标训练样本进行数据增强，并以增强的目标训练样本训练目标机器学习模型。
例如，假设本次训练的目标训练样本中包括从训练子集A1中采样得到的训练样本a1、a2，从训练子集A2中采样得到的训练样本b1、b2、b3和b4，且当前训练子集A1的数据增强概率系数为0.5，训练子集A2的数据增强概率系数为0.25，那么训练子集A1中每个训练样本都可以进行一次随机判断是否进行数据增强，且每个训练样本都有50％的概率被数据增强，最终的结果是可能2个训练样本都数据增强，也可能只有1个被数据增强，也可能都没有被数据增强。同样的，训练子集A2中的b1、b2、b3和b4这4个训练样本中的每个训练样本被数据增强的概率0.25。
而且，在本发明实施例中，为了保证本次训练的目标训练样本的Batch Size稳定性，可以数据增强后得到的训练样本替换数据增强前的训练样本。例如，假设对于上述的a1进行数据增强后，得到新的训练样本a3，那么则可以将目标训练样本中的a1替换为a3。
当然，在本发明实施例中，根据需求也可以在本次训练的目标训练样本中保留数据增强前的训练样本，并将数据增强后得到的训练样本加入目标训练样本中，对此本发明实施例不加以限定。例如，对于上述的a1进行数据增强后，得到新的训练样本a3，那么则可以将a3也作为本次训练的目标训练样本。
其中，数据增强(Data Augmentation)，是指对(有限)训练数据通过某种变换操作，从而生成新数据的过程。
以训练样本为图像为例，不同的任务背景下，可以通过图像的几何变换，使用以下一种或多种组合进行数据增强。
旋转/反射变换(Rotation/reflection)：随机旋转图像一定角度，改变图像内容的朝向；
翻转变换(flip)：沿着水平或者垂直方向翻转图像；
缩放变换(zoom)：按照一定的比例放大或者缩小图像；
平移变换(shift)：在图像平面上对图像以一定方式进行平移，可以采用随机或人为定义的方式指定平移范围和平移步长,沿水平或竖直方向进行平移，改变图像内容的位置；
尺度变换(scale):对图像按照指定的尺度因子,进行放大或缩小；或者参照SIFT(Scale-invariant feature transform，尺度不变特征变换)特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间，改变图像内容的大小或模糊程度；
对比度变换(contrast)：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变，对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，增加光照变化；
噪声扰动(noise)：对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；等等。
而如果训练样本为文档，也可以通过对训练样本中的字符进行替换，从而得到数据增强后的训练样本。例如，将文档中的“我”替换为“我们”、“你”、“你们”、“他们”，等等。
在本发明实施例中，可以根据根据需求设置数据增强的具体方式，对此本发明实施例不加以限定。
根据本发明的模型训练方法，可以将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。由此取得了提高样本均衡性以及模型收敛速度，同时节省存储空间的有益效果。
实施例二
详细介绍本发明实施例提供的一种模型训练方法。
参照图2，示出了本发明实施例中一种模型训练方法的步骤流程图。
步骤210，将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同。
步骤220，设置所述训练子集的采样权重w，并根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集。
在本发明实施例中，为了方便快速获取得到本次训练的目标训练样本，可以先确定用于选取本次训练的各个目标训练样本的目标训练子集。具体的则可以设置每个训练子集的采样权重w，进而根据每个训练子集的采样权重w，获取用以选取本次训练各个训练样本的目标训练子集。
如前述，在本发明实施例中，每个训练子集的采样权重w是可以更新的，那么在每次训练时，确定用以选取本次训练的各个训练样本的目标训练子集时，可以按照当前的采样权重从高到低的顺序，选择目标训练子集。
例如，假设目标机器学习模型的batchsize为10，那么则可以按照各个训练子集的采样权重w从高到低的顺序，选择10个目标训练子集，进而可以从每个目标训练子集抽样得到一个目标训练样本。而如果训练子集的总数量小于10，那么则可以选取全部的训练子集作为目标训练子集；或者，也可以按照各个训练子集的采样权重w从高到低的顺序，选择小于10个目标训练子集，并且在抽取目标训练样本时，可以从部分目标训练子集中抽取多个目标训练样本；等等。
具体的目标训练子集的获取策略，以及目标训练子集与采样权重w之间的对应关系可以根据需求进行预先设置，而且在训练过程中也可以根据需求进行调整，对此本发明实施例不加以限定。
可选地，在本发明实施例中，所述步骤220进一步可以包括：
子步骤221，设置所述训练子集的采样权重w，并设置所述训练子集的命中概率为p，其中，所述训练子集的所述采样权重为w，所有的所述训练子集的所述采用权重之和为S，且p＝w/S。
子步骤222，根据所述训练子集的所述命中概率p，获取所述目标训练子集。
在本发明实施例中，为了更快速地选定目标训练子集，可以设置训练子集的命中概率为p，其中，训练子集的采样权重为w，所有的训练子集的采用权重之和为S，则可以设置相应训练子集的命中概率为p＝w/S。
进而则可以根据每个训练子集的命中概率p，获取目标训练子集。此时，也可以按照每个训练子集的命中概率p从高到底的顺序，抽取目标训练子集。具体的目标训练子集的获取策略可以根据需求进行预先设置，对此本发明实施例不加以限定。
步骤230，从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。
在确定了目标训练子集之后，则可以进一步从目标训练子集中随机选取训练样本，得到目标训练样本。
如前述，如果目标训练样本的数量与目标机器学习模型的batchsize一致，那么可以从每个目标训练子集中随机选取一个训练样本，作为目标训练样本；而如果目标训练样本的数量小于目标机器学习模型的batchsize，那么则可以从部分或者全部目标训练样本中随机选取多个训练样本，以使得最终选取得到的目标训练样本的数量与目标机器学习模型的batchsize一致。当然，在本发明实施例中，选取的目标训练样本的数量也可以小于目标机器学习模型的batchsize，对此本发明实施例不加以限定。
例如，假设当前获取的目标训练子集包括前述的训练子集A1、训练子集A2，且A1的命中概率大于A2的命中概率，如果目标机器学习模型的batchsize为3，那么此时则可以从训练子集A1中随机选取2个训练样本作为目标训练样本，同时从训练子集A2中随机选取1个训练样本作为目标训练样本；或者，也可以从训练子集A1和A2中分别随机选取1个训练样本作为目标训练样本；或者，也可以从训练子集A1中随机选取1个训练样本作为目标训练样本，同时从训练子集A2中随机选取2个训练样本作为目标训练样本；等等。
步骤240，设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
步骤250，根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。
在本发明实施例中，为了实时调整训练过程中的样本类别均衡性，可以在每次训练完成后或者是以一定时间间隔为周期，根据当前训练后的目标机器学习模型针对每个类别的模型参数，调整每个训练子集的采样权重w和数据增强概率系数k。
例如，如果本次训练完成后，目标机器学习模型针对类别一的模型参数使得对类别一下的训练样本收敛速度较快，那么则可以相应地调低类别一所对应的训练子集的采样权重w和所述数据增强概率系数k；而如果类别二的模型参数使得对类别二下的训练样本收敛速度较慢，那么则可以相应调高类别二所对应的训练子集的采样权重w和所述数据增强概率系数k；等等。具体的根据模型参数对采样权重w和所述数据增强概率系数k的调整策略可以根据需求进行预先设置，对此本发明实施例不加以限定。
另外，在本发明实施例中，也可以通过预先构建的不同类别下的测试样本，获取当前训练得到的目标机器学习模型针对每个类别的预测准确率，进而根据针对每个类别的预测准确率，调整相应类别对应的训练子集的采样权重w和数据增强概率系数k。具体的，如果当前训练得到的目标机器学习模型针对类别三的预测准确率较高，则可以相应降低类别三所对应的训练子集的采样权重w和所述数据增强概率系数k；而如果前训练得到的目标机器学习模型针对类别四的预测准确率较低，则可以相应提高类别三所对应的训练子集的采样权重w和所述数据增强概率系数k。具体的根据每个类别的预测准确率对采样权重w和所述数据增强概率系数k的调整策略也可以根据需求进行预先设置，对此本发明实施例不加以限定。
而且，在本发明实施例中，本步骤可以在每次针对目标机器学习模型完成一次训练之后执行，也可以一定时间间隔为周期执行，或者按照其他方式执行，具体的可以根据需求进行预先设置，对此本发明实施例不加以限定。
进一步地，在本发明实施例中，可以优选地根据所述目标机器学习模型针对每个类别的预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。而将目标机器学习模型针对每个类别的模型参数作为补充调整每个训练子集的所述采样权重和所述数据增强概率系数。
可选地，在本发明实施例中，所述采样权重w的初始取值与所述增强概率系数k的初始取值，均与所述训练子集中包含的训练样本数量成反比。
一般而言，在构建训练样本时，如果某一类别下的训练样本较多，一般而言该类别下的训练样本被选中的概率则相应较大，因此在本发明实施例中，为了提高模型训练过程中各类别下的训练样本的均衡性，可以设置采样权重w的初始取值与增强概率系数k的初始取值，均与相应的训练子集中包含的训练样本数量成反比，从而可以平衡不同类别下的训练样本被选中的概率，进而提高模型训练过程中的训练样本类别均衡性，以及最终训练得到的模型的准确性。
其中，训练子集的采样权重w的初始取值与相应训练子集中包含的训练样本数量之间的反比权重，以及训练子集的增强概率系数k的初始取值与相应训练子集中包含的训练样本数量之间的反比权重均可以根据需求进行预先设置，对此本发明实施例不加以限定。
在本发明实施例中，通过根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集；以及从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。并且，设置所述训练子集的命中概率为p，其中，所述训练子集的所述采样权重为w，所有的所述训练子集的所述采用权重之和为S，且p＝w/S；以及根据所述训练子集的所述命中概率，获取所述目标训练子集。从而进一步提高目标训练子集的获取效率以及样本类别均衡性。
而且，在本发明实施例中，还可以根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。进而通过调整采样权重和数据增强概率系数以提高训练过程中的样本类别均衡性。
另外，在本发明实施例中，通过设置采样权重w的初始取值，以及增强概率系数k的初始取值，均与训练子集中包含的训练样本数量成反比。从而可以提高初始训练时训练样本的类别均衡性。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
详细介绍本发明实施例提供的一种模型训练装置。
参照图3，示出了本发明实施例中一种模型训练装置的结构示意图。
训练样本划分模块310，用于将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
训练样本采样模块320，用于设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
训练样本增强模块330，用于设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
根据本发明的模型训练方法，可以将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。由此解决了现有的模型训练方法样本均衡性不足，收敛速度较慢，且容易浪费存储空间的技术问题。取得了提高样本均衡性以及模型收敛速度同时节省存储空间的有益效果。
实施例四
详细介绍本发明实施例提供的一种模型训练装置。
参照图4，示出了本发明实施例中一种模型训练装置的结构示意图。
训练样本划分模块410，用于将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
训练样本采样模块420，用于设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
其中，在本发明实施例中，所述训练样本采样模块420，进一步可以包括：
训练子集选定子模块421，用于设置所述训练子集的采样权重w，并根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集；以及
训练样本采样子模块422，用于从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。
可选地，在本发明实施例中，所述训练子集选定子模块421，进一步可以包括：
命中概率获取单元，用于设置所述训练子集的采样权重w，并设置所述训练子集的命中概率为p，其中，所述训练子集的所述采样权重为w，所有的所述训练子集的所述采用权重之和为S，且p＝w/S；以及
训练子集选定单元，用于根据所述训练子集的所述命中概率，获取所述目标训练子集。
训练样本增强模块430，用于设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
权重系数优化模块440，用于根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。
可选地，在本发明实施例中，所述采样权重的初始取值，以及所述增强概率系数的初始取值，均与所述训练子集中包含的训练样本数量成反比。
在本发明实施例中，通过根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集；以及从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。并且，设置所述训练子集的命中概率为p，其中，所述训练子集的所述采样权重为w，所有的所述训练子集的所述采用权重之和为S，且p＝w/S；以及根据所述训练子集的所述命中概率，获取所述目标训练子集。从而进一步提高目标训练子集的获取效率以及样本类别均衡性。
而且，在本发明实施例中，还可以根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。进而通过调整采样权重和数据增强概率系数以提高训练过程中的样本类别均衡性。
另外，在本发明实施例中，通过设置采样权重w的初始取值，以及增强概率系数k的初始取值，均与训练子集中包含的训练样本数量成反比。从而可以提高初始训练时训练样本的类别均衡性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本发明实施例中还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现前述的任意一种模型训练方法。
在本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述的任意一种模型训练方法的步骤。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的模型训练设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种模型训练方法，其特征在于，包括：
将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
2.根据权利要求1所述的方法，其特征在于，所述设置所述训练子集的采样权重w，根据所述采样权重w从所述训练子集中采样得到目标训练样本的步骤，包括：
设置所述训练子集的采样权重w，并根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集；以及
从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。
3.根据权利要求2所述的方法，其特征在于，所述设置所述训练子集的采样权重w，并根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集的步骤，包括：
设置所述训练子集的采样权重w，并设置所述训练子集的命中概率p，其中，所有的所述训练子集的所述采用权重之和为S，且p＝w/S；以及
根据所述训练子集的所述命中概率p，获取所述目标训练子集。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述采样权重w的初始取值，以及所述增强概率系数k的初始取值，均与所述训练子集中包含的训练样本数量成反比。
6.一种模型训练装置，其特征在于，包括：
训练样本划分模块，用于将训练样本划分为多个训练子集；其中，每个训练子集中包含的所述训练样本的类别相同；
训练样本采样模块，用于设置所述训练子集的采样权重w，并根据所述采样权重w从所述训练子集中采样得到目标训练样本；以及
训练样本增强模块，用于设置所述训练子集的数据增强概率系数k，并根据所述数据增强概率系数k对所述目标训练样本进行数据增强，并以增强的目标训练样本来训练目标机器学习模型。
7.根据权利要求6所述的装置，其特征在于，所述训练样本采样模块，包括：
训练子集选定子模块，用于设置所述训练子集的采样权重w，并根据所述训练子集的所述采样权重w，获取用以选取本次训练各个训练样本的目标训练子集；以及
训练样本采样子模块，用于从所述目标训练子集中随机选取所述训练样本，得到所述目标训练样本。
8.根据权利要求7所述的装置，其特征在于，所述训练子集选定子模块，包括：
命中概率获取单元，用于设置所述训练子集的采样权重w，并设置所述训练子集的命中概率为p，其中，所述训练子集的所述采样权重为w，所有的所述训练子集的所述采用权重之和为S，且p＝w/S；以及
训练子集选定单元，用于根据所述训练子集的所述命中概率p，获取所述目标训练子集。
9.根据权利要求6所述的装置，其特征在于，还包括：
权重系数优化模块，用于根据所述目标机器学习模型针对每个类别的模型参数和/或预测准确率，调整所述训练子集的所述采样权重w和所述数据增强概率系数k。
10.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中的任一项所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843967.9A CN110717515A (zh) | 2019-09-06 | 2019-09-06 | 模型训练方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843967.9A CN110717515A (zh) | 2019-09-06 | 2019-09-06 | 模型训练方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717515A true CN110717515A (zh) | 2020-01-21 |
Family
ID=69210357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910843967.9A Pending CN110717515A (zh) | 2019-09-06 | 2019-09-06 | 模型训练方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717515A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582375A (zh) * | 2020-05-09 | 2020-08-25 | 北京百度网讯科技有限公司 | 数据增强策略搜索方法、装置、设备以及存储介质 |
| CN112001182A (zh) * | 2020-07-20 | 2020-11-27 | 北京百度网讯科技有限公司 | 多语言语义表示模型的训练方法、装置、设备及存储介质 |
| CN112116560A (zh) * | 2020-08-20 | 2020-12-22 | 华南理工大学 | 一种焊接图像缺陷识别方法、装置、存储介质及设备 |
| CN113420792A (zh) * | 2021-06-03 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 图像模型的训练方法、电子设备、路侧设备及云控平台 |
| CN114282581A (zh) * | 2021-01-29 | 2022-04-05 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0524502A2 (en) * | 1991-07-22 | 1993-01-27 | Bayer Corporation | Immunoassay for free analyte |
| CN107368892A (zh) * | 2017-06-07 | 2017-11-21 | 无锡小天鹅股份有限公司 | 基于机器学习的模型训练方法和装置 |
| CN107578071A (zh) * | 2017-10-13 | 2018-01-12 | 北京工业大学 | 基于Epoch的解决数据不均衡方法 |
| CN108280462A (zh) * | 2017-12-11 | 2018-07-13 | 北京三快在线科技有限公司 | 一种模型训练方法及装置，电子设备 |
| CN109902722A (zh) * | 2019-01-28 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 分类器、神经网络模型训练方法、数据处理设备及介质 |
| CN110163261A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技（深圳）有限公司 | 不平衡数据分类模型训练方法、装置、设备及存储介质 |
-
2019
- 2019-09-06 CN CN201910843967.9A patent/CN110717515A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0524502A2 (en) * | 1991-07-22 | 1993-01-27 | Bayer Corporation | Immunoassay for free analyte |
| CN107368892A (zh) * | 2017-06-07 | 2017-11-21 | 无锡小天鹅股份有限公司 | 基于机器学习的模型训练方法和装置 |
| CN107578071A (zh) * | 2017-10-13 | 2018-01-12 | 北京工业大学 | 基于Epoch的解决数据不均衡方法 |
| CN108280462A (zh) * | 2017-12-11 | 2018-07-13 | 北京三快在线科技有限公司 | 一种模型训练方法及装置，电子设备 |
| CN109902722A (zh) * | 2019-01-28 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 分类器、神经网络模型训练方法、数据处理设备及介质 |
| CN110163261A (zh) * | 2019-04-28 | 2019-08-23 | 平安科技（深圳）有限公司 | 不平衡数据分类模型训练方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 王涛等: "基于语义分割技术的任意方向文字识别", 《应用科技》 * |
| 薛丽霞等: "基于深度特征融合的中低分辨率车型识别", 《计算机工程》 * |
| 雷健: "人工智能在水环境检测的关键技术研究与工程实践", 《价值工程》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582375A (zh) * | 2020-05-09 | 2020-08-25 | 北京百度网讯科技有限公司 | 数据增强策略搜索方法、装置、设备以及存储介质 |
| CN112001182A (zh) * | 2020-07-20 | 2020-11-27 | 北京百度网讯科技有限公司 | 多语言语义表示模型的训练方法、装置、设备及存储介质 |
| CN112001182B (zh) * | 2020-07-20 | 2024-02-13 | 北京百度网讯科技有限公司 | 多语言语义表示模型的训练方法、装置、设备及存储介质 |
| CN112116560A (zh) * | 2020-08-20 | 2020-12-22 | 华南理工大学 | 一种焊接图像缺陷识别方法、装置、存储介质及设备 |
| CN112116560B (zh) * | 2020-08-20 | 2023-09-26 | 华南理工大学 | 一种焊接图像缺陷识别方法、装置、存储介质及设备 |
| CN114282581A (zh) * | 2021-01-29 | 2022-04-05 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
| CN114282581B (zh) * | 2021-01-29 | 2023-10-13 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
| CN113420792A (zh) * | 2021-06-03 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 图像模型的训练方法、电子设备、路侧设备及云控平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717515A (zh) | 模型训练方法、装置及电子设备 | |
| CN109784372B (zh) | 一种基于卷积神经网络的目标分类方法 | |
| US10600171B2 (en) | Image-blending via alignment or photometric adjustments computed by a neural network | |
| CN109035260A (zh) | 一种天空区域分割方法、装置和卷积神经网络 | |
| CN109859152B (zh) | 模型生成方法、图像增强方法、装置及计算机可读存储介质 | |
| JP2022505293A (ja) | 出力のアップスケーリングにおけるシャープネス及びディテールの調整 | |
| CN113505854B (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
| CN110675334A (zh) | 一种图像增强方法及装置 | |
| CN110866872A (zh) | 一种路面裂缝图片预处理智能选择方法、装置及电子设备 | |
| CN111899185A (zh) | 图像降噪模型的训练方法、装置、电子设备和存储介质 | |
| CN109726195A (zh) | 一种数据增强方法及装置 | |
| CN107194414A (zh) | 一种基于局部敏感哈希的svm快速增量学习算法 | |
| Zhong et al. | Deep attentional guided image filtering | |
| US20160027152A1 (en) | Scalable Massive Parallelization of Overlapping Patch Aggregation | |
| CN111178153A (zh) | 一种交通标志检测方法及系统 | |
| CN113361537B (zh) | 基于通道注意力的图像语义分割方法及装置 | |
| CN105282399B (zh) | 基于数字电路和稀疏点配准的零延迟电子稳像方法 | |
| CN110187816A (zh) | 漫画类型电子书的自动翻页方法、计算设备及存储介质 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN111047569B (zh) | 图像处理方法及装置 | |
| CN110363733B (zh) | 一种混合图像生成方法及装置 | |
| Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
| CN113284081A (zh) | 深度图超分辨率优化方法、装置、处理设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |