CN110889457B - 样本图像分类训练方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种样本图像分类训练方法、装置、计算机设备和存储介质。所述方法包括：获取视频流数据，所述视频流数据包括多帧图像；利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；计算多个不同类别样本图像集的样本比例数据，得到对应的第一样本比例数据集；当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；根据新增样本图像集对所述样本图像集进行更新；根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集；对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。采用本方法能够解决学习样本不平衡问题。

Description

样本图像分类训练方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种样本图像分类训练方法、装置、计算机设备和存储介质。

背景技术

随着机器学习和深度学习技术的发展，越来越多的用户使用深度学习技术对图像进行检测。在人工智能领域中,机器学习和深度学习需要通过学习大量的样本案例,改善机器判断的精准度。尤其在机器视觉领域的特定图像分类中,需要把图片对应的分类标记出来,对图像分类的样本进行大量的训练，从而使得训练模型具备可以同时识别多种分类图片的能力。特别在实际训练过程中，图像样本的准备阶段起着至关重要的作用。

然而，在目前样本图像分类训练方式中，采用随机抽取的方法，随机抽取随机条目的数据进行复制，再将上述随机抽取的数据加入到原始样本中，极易造成训练模型过拟合的问题，存在学习样本不平衡的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决学习样本不平衡问题的样本图像分类训练方法、装置、计算机设备和存储介质。

一种样本图像分类训练方法，所述方法包括：

获取视频流数据，所述视频流数据包括多帧图像；

利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

根据所述新增样本图像集对所述样本图像集进行更新；

根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集；

对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

在其中一个实施例中，所述当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集，包括：

对所述多个不同类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像；

对所述原样本图像的亮度和对比度进行随机调整，得到新增样本图像。

在其中一个实施例中，所述根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集，包括：

计算所述更新后的样本图像集对应的样本比例数据，得到对应的第二样本比例数据集；

当所述第二样本比例数据大于预设自定义阈值时，对所述第二样本比例数据对应的样本图像集进行裁剪，将裁剪后的样本图像集标记为自定义样本图像集；

当所述第二样本比例数据小于预设自定义阈值时，则将所述第二样本比例数据对应的样本图像集标记为自定义样本图像集。

在其中一个实施例中，所述当所述第二样本比例数据大于预设自定义阈值时，对所述第二样本比例数据对应的样本图像集进行裁剪之前，所述方法还包括：

获取所述更新后的样本图像集中最小样本数量，将所述最小样本数量标记为标准单位量；

将剩余样本图像集的样本数量，按照所述标准单位量进行等分，得到对应的多个标准单位量样本图像集。

在其中一个实施例中，所述对所述自定义样本图像集进行训练，包括：

从每个自定义样本图像集中获取对应的标准单位量样本图像集；

加载所述分类识别模型对所述标准单位量样本图像集进行训练，当检测到训练的样本图像集对应的损失值满足预设损失值阈值时，则对所述样本图像集进行裁剪，对裁剪后的样本图像集继续进行训练。

在其中一个实施例中，所述加载所述分类识别模型对所述标准单位量样本图像集进行训练，包括：

根据排列组合原理依次对所述自定义样本图像集对应的标准单位量样本图像集进行训练。

在其中一个实施例中，所述对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件之后，所述方法还包括：

通过修改所述分类识别模型中的损失函数，向所述分类识别模型添加图像样本数量比例权重，对所述分类识别模型进行优化；

利用优化后的分类识别模型对更新后的样本图像集进行重新训练，得到训练后的分类识别模型。

一种样本图像分类训练装置，所述装置包括：

获取模块，用于获取视频流数据，所述视频流数据包括多帧图像；

筛选模块，用于利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算模块，用于计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

增强处理模块，用于当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

更新模块，用于根据所述新增样本图像集对所述样本图像集进行更新；

调整模块，用于根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集；

训练模块，用于对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取视频流数据，所述视频流数据包括多帧图像；

利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

根据所述新增样本图像集对所述样本图像集进行更新；

根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集；

对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取视频流数据，所述视频流数据包括多帧图像；

利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

根据所述新增样本图像集对所述样本图像集进行更新；

根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集；

对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

上述图像分类的样本测试方法、装置、计算机设备和存储介质，通过获取视频流数据，视频流数据包括多帧图像。利用分类识别模型对多帧图像进行筛选，得到多个不同类别的样本图像集。计算多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集。当第一样本比例数据满足第一阈值条件时，对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集，根据新增样本图像集对样本图像集进行更新。根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集，对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。相对于传统的样本图像分类训练方式，通过结合下采样和上采样的方式，对少数类样本增强和对多数类样本减弱合理融合，达到平衡样本库中类间样本数量的同时，也不影响神经网络的学习训练质量，即根据样本库中类间样本数量关系，采用动态的处理方案解决样本不平衡的问题，同时不会出现欠拟合和过拟合的问题。

附图说明

图1为一个实施例中样本图像分类训练方法的应用场景图；

图2为一个实施例中样本图像分类训练方法的流程示意图；

图3为一个实施例中根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集步骤的流程示意图；

图4为一个实施例中样本图像分类训练装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的样本图像分类训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102可以通过向服务器104发送请求，从服务器104获取对应的视频流数据。具体的，终端102向服务器104发送数据获取请求，以使得服务器104根据接收到的数据获取请求，查询对应的视频流数据，将对应的视频流数据按序传输至终端102，其中，视频流数据包括多帧图像。进一步的，终端102利用分类识别模型对多帧图像进行筛选，得到多个不同类别的样本图像集。终端102计算多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集。当终端102检测到第一样本比例数据满足第一阈值条件时，终端102对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集。终端102根据新增样本图像集对样本图像集进行更新，终端102根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集。终端102对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种样本图像分类训练方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤202，获取视频流数据，视频流数据包括多帧图像。

服务器中存储有大量的视频流数据，终端可以从服务器中获取视频流数据，并对获取的视频流数据进行视频解码，得到具有统一图片格式的多帧图像。服务器也可以直接将存储的视频流数据按序传输至终端。具体的，终端根据用户的不同需求，向服务器发送数据获取请求，以使得服务器根据接受到的数据获取请求，查询对应的视频流数据，将对应的视频流数据按序传输至终端。其中，视频流数据包括按序排列的多帧图像，视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。

步骤204，利用分类识别模型对多帧图像进行筛选，得到多个不同类别的样本图像集。

终端接收到服务器传输的视频流数据后，终端利用分类识别模型对视频流数据中的多帧图像进行筛选，得到多个不同类别的样本图像集。具体的，终端利用分类识别模型对获取到的视频流数据中的多帧图像进行元素识别，终端可以根据预先设置的标注条件对多帧图像的元素类别进行筛选，得到每帧图像所对应的一个或多个元素类别，不同元素类别的多帧图片构成不同类别的样本图像集，其中，元素类别可以采用数字、字母、字符中的一种或多种组合。

步骤206，计算多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集。

终端根据获取到的多个不同类别的样本图像集，调用计算模块对每个类别样本图像集进行比例数据计算，得到对应的第一样本比例数据集。具体的，终端可以根据实验测试结果预先设置第一标准样本数量阈值，调用计算模块对每个类别样本图像集的图像数量进行计算，得到每个类别样本图像集对应的样本图像数量值，终端再计算每个样本图像数量值与预置的第一标准样本数量阈值之间的比率，得到对应的第一样本比例数据集。

步骤208，当第一样本比例数据满足第一阈值条件时，对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集。

终端根据获取的第一样本比例数据集，利用配置工具遍历扫描，当终端检测到其中的第一样本比例数据满足预设的第一标准样本数量阈值时，终端对该第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集。其中，对样本图像集进行增强处理的方式可以包括旋转、镜像、模糊、锐化、遮挡处理以及亮度、对比度的随机调整等。

步骤210，根据新增样本图像集对样本图像集进行更新。

终端根据得到的新增样本图像集，对原有样本图像集进行更新。具体的，终端可以将新增的不同类别的样本图像集添加到原有样本图像集中，构成更新后的样本图像集。

步骤212，根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集。

步骤214，对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

终端根据预设的自定义阈值，计算更新后的每类样本图像集的样本数量与标准样本数量阈值的比率，得到对应的比例数据集。终端根据上述比例数据集与预设自定义阈值的大小关系，对更新后的样本图像集进行剪裁，使得更新后的样本图像集达到平衡，将达到平衡的样本图像集标记为自定义样本图像集。终端对上述得到的多个自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。其中，该损失值可以根据样本图像集达到理想状态时的标准损失值大小进行调整。

本实施例中，通过获取视频流数据，视频流数据包括多帧图像。利用分类识别模型对多帧图像进行筛选，得到多个不同类别的样本图像集。计算多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集。当第一样本比例数据满足第一阈值条件时，对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集，根据新增样本图像集对样本图像集进行更新。根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集，对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。相对于传统的样本图像分类训练方式，通过结合下采样和上采样的方式，对少数类样本增强和对多数类样本减弱合理融合，达到平衡样本库中类间样本数量的同时，也不影响神经网络的学习训练质量，即根据样本库中类间样本数量关系，采用动态的处理方案解决样本不平衡的问题，同时不会出现欠拟合和过拟合的问题。

在一个实施例中，当第一样本比例数据满足第一阈值条件时，对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集的步骤，包括：

对多个不同类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像。

对原样本图像的亮度和对比度进行随机调整，得到新增样本图像。

终端根据获取的第一比例数据集，利用配置工具遍历扫描，当终端检测到其中的第一样本比例数据满足预设的第一阈值条件时，终端对该第一样本比例数据对应的样本图像集进行增强处理。具体的，终端对多个不同类别的样本图像集中的图像进行随机抽取，得到随机抽取的原图像。终端可以预先设置最大对比度阈值m1以及最大偏置阈值m2，终端随机产生10以内的随机数n，将其转换为百分比数值p＝n/100，根据下述调整公式：

g(x)＝af(x)+b (1)

其中：f(x)为源图像；g(x)为输出图像；a为增益值，用于设置图像对比度；b为偏置值，用于调整图像亮度。

终端根据下述公式进行计算：

a＝m1*p/100 (2)

b＝m2*p (3)

终端将计算得到的a，b代入公式(1)中，即得到亮度和对比度随机调整后的新增样本图像。通过对图像亮度和对比度的随机处理，即对图像亮度和对比度随机性增强，从而提高了样本的丰富度，有助于提高神经网络的鲁棒性。

终端还可以对原样本图像进行颜色空间转换，得到对应的RGB的灰度样本图像。同时，终端对原样本图像的R、B、G三个通道像素进行拆分，得到拆分后的新增样本图像。即终端可以将一张RGB原样本图像进行增强处理后得到4张新增样本图像。终端可以对原样本图像进行随机旋转，旋转角度可以根据预设值为15°、-15°和30°进行对应的旋转处理，得到对应的3张新增样本图像。终端可以对原样本图像进行镜像处理，包括水平镜像处理和垂直镜像处理。例如终端可以对原样本图像进行水平镜像处理，得到水平镜像后的1张新增样本图像。终端可以对原样本图像进行模糊、锐化处理，得到模糊、锐化后的新增样本图像。终端还可以对原样本图像进行随机遮挡处理，得到随机遮挡后的新增样本图像。例如终端可以将原样本图像按照4*4均匀划分为16个图像单元，随机遮挡16个图像单元中的1个或2个图像单元，即得到随机遮挡后的新增样本图像。由此使得通过对缺少样本数量的类样本进行增强处理，采用上采样方法从颜色、纹理、遮挡、像素等多方面进行增强处理，从而提高样本的多样性和鲁棒性，使得训练识别模型能够更好的学习样本图像特征。

在一个实施例中，根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集的步骤，如图3所示，包括：

步骤302，计算更新后的样本图像集对应的样本比例数据，得到对应的第二样本比例数据集。

步骤304，当第二样本比例数据大于预设自定义阈值时，对第二样本比例数据对应的样本图像集进行裁剪，将裁剪后的样本图像集标记为自定义样本图像集。

步骤306，当第二样本比例数据小于预设自定义阈值时，则将第二样本比例数据对应的样本图像集标记为自定义样本图像集。

终端根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集。具体的，终端调用计算模块对更新后的每类样本图像集的样本数量进行计算，得到多个更新后的样本图像集对应的样本数量集，终端根据更新后的样本数量集进行算术平均值计算，得到标准样本数量阈值。进一步的，终端计算每类更新后的样本图像集的样本数量与标准样本数量阈值的比率，得到对应的第二样本比例数据集。当终端检测到其中的第二样本比例数据大于预设自定义阈值时，终端则对第二样本比例数据对应的样本图像集进行裁剪，终端将裁剪后的样本图像集标记为自定义样本图像集。例如终端可将自定义阈值设为1.2，当第二样本比例数据小于预设自定义阈值1.2时，终端将第二样本比例数据对应的样本图像集标记为自定义样本图像集。当终端检测到第二样本比例数据大于预设自定义阈值1.2时，则终端对第二样本比例数据对应的样本图像集进行裁剪，当剪裁到该样本图像集对应的裁剪上限阈值时，则停止剪裁，并将裁剪后的样本图像集标记为自定义样本图像集。例如该样本图像集的样本数量为n，则终端预设对应的裁剪上限阈值可以为0.25n。通过动态调整更新后的样本图像集，裁剪多数类样本中易学习的样本来达到图像数据平衡的目的。由此使得既不会过多流失多数样本类的图像数据特征，同时也可以对多数类样本进行适当裁剪。

在其中一个实施例中，当第二样本比例数据大于预设自定义阈值时，对第二样本比例数据对应的样本图像集进行裁剪的步骤，包括：

获取更新后的样本图像集中最小样本数量，将最小样本数量标记为标准单位量。

将剩余样本图像集的样本数量，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。

当终端检测到第二样本比例数据大于预设自定义阈值时，对第二样本比例数据对应的样本图像集进行裁剪。具体的，终端获取更新后的样本图像集中最小样本数量，将该最小样本数量标记为标准单位量。终端将剩余的每个样本图像集，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。例如，若更新后的样本图像集中的一个类样本图像集的样本数量为Nm，终端计算上述样本数量Nm与标准单位量Ns的倍数关系，即Nm/Ns＝m，其中m四舍五入取整，则终端将样本数量Nm对应的样本图像集均分为m个标准单位量样本图像集，多个不同类别的样本图像集经过裁剪处理后，得到对应的多个自定义样本图像集。例如样本库中有3个类样本图像集，第一个类样本图像集有10张样本图像，第二个类样本图像集有21张样本图像，第三个类样本图像集有38张样本图像。终端获取到更新后的样本图像集中最小样本数量为第一个类样本图像集的样本量，即Ns＝10标记为标准单位量。进一步的，终端按照标准单位量Ns对第二个类样本图像集进行等分，即第二个类样本图像集被等分为2个标准单位量样本图像集Ns(10)和Ns(11)，则终端将Ns(10)标准单位量样本图像集作为训练样本，剩余的Ns(11)标准单位量样本图像集作为测试样本。终端按照标准单位量Ns对第三个类样本图像集进行等分，即第三个类样本图像集被等分为4个标准单位量样本图像集Ns(10)、Ns(10)、Ns(10)和Ns(8)，则终端将Ns(10)标准单位量样本图像集作为训练样本，剩余的3个Ns(10)、Ns(10)和Ns(8)标准单位量样本图像集作为测试样本。由此使得通过利用K折交叉验证的方法，将更新后的样本图像集等分为多个标准单位量样本图像集，实现了每次迭代过程中每个样本只有一次被划入训练集或测试集的机会，解决了样本不平衡的情况下导致的模型学习效果差的问题,同时不会出现欠拟合和过拟合的问题。

在一个实施例中，对自定义样本图像集进行训练的步骤，包括：

从每个自定义样本图像集中获取对应的标准单位量样本图像集。

加载分类识别模型对标准单位量样本图像集进行训练，当检测到训练的样本图像集对应的损失值满足预设损失值阈值时，则对样本图像集进行裁剪，对裁剪后的样本图像集继续进行训练。

终端可以根据K折交叉验证方法对每个自定义样本图像集对应的标准单位量样本图像集进行组合训练，直至所确定的损失值达到训练停止条件。具体的，终端从上述得到的多个自定义样本图像集中，获取对应的标准单位量样本图像集，终端加载分类识别模型对标准单位量样本图像集进行训练，当终端检测到当前正在训练的样本图像集对应的损失值满足样本平衡条件时，则对该样本图像集进行裁剪，即裁剪掉多数类样本中易学习的样本，对剩余的未达到平衡的样本图像集继续进行训练，直至所确定的损失值达到训练停止条件。由此使得图像样本数据达到平衡，不会出现欠拟合和过拟合的问题。

在其中一个实施例中，加载分类识别模型对标准单位量样本图像集进行训练的步骤，包括：

根据排列组合原理依次对自定义样本图像集对应的标准单位量样本图像集进行训练。

终端加载分类识别模型对标准单位量样本图像集进行训练时，终端根据排列组合原理依次对自定义样本图像集对应的标准单位量样本图像集进行训练，若其中一个自定义样本图像集的类样本有多个，则终端可以利用K折交叉验证的方法，终端可将其中一个类样本作为训练样本，将剩余类样本作为测试样本。例如现有3个类别的自定义样本图像集，第1个类样本图像集对应的标准单位量图像集为(Ns11，Ns12，Ns13)，第2个类样本图像集对应的标准单位量图像集为(Ns21，Ns22)，第3个类样本图像集对应的标准单位量图像集为(Ns31)，则终端根据排列组合原理依次进行下列组合训练。终端根据第一训练集(Ns11，Ns21，Ns31)，对测试集(Ns12，Ns13，Ns22)进行训练。终端根据第二训练集(Ns11，Ns22，Ns31)，对测试集(Ns12，Ns13，Ns21)进行训练。终端根据第三训练集(Ns12，Ns21，Ns31)，对测试集(Ns11，Ns13，Ns22)进行训练。终端根据第四训练集(Ns12，Ns22，Ns31)，对测试集(Ns11，Ns13，Ns21)进行训练。终端根据第五训练集(Ns13，Ns21，Ns31)，对测试集(Ns11，Ns12，Ns22)进行训练。终端根据第六训练集(Ns13，Ns22，Ns31)，对测试集为(Ns11，Ns12，Ns21)进行训练。由此使得分类识别模型可以对类间样本图像集按照标准单位量样本图像集排列组合进行训练，可有效处理多样本裁剪问题。

在一个实施例中，对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件之后，方法还包括：

通过修改分类识别模型中的损失函数，向分类识别模型添加图像样本数量比例权重，对分类识别模型进行优化。

利用优化后的分类识别模型对更新后的样本图像集进行重新训练，得到训练后的分类识别模型。

终端通过加载分类识别模型对标准单位量样本图像集进行训练，直至所确定的损失值达到训练停止条件。具体的，终端可以分别计算每个类样本图像集的损失函数值，终端根据上述计算得到的每个类样本图像集对应的损失函数值，修改分类识别模型中的损失函数值，向分类识别模型添加每个类别图像样本数量的比例权重，对分类识别模型进行优化。终端利用优化后的分类识别模型对更新后的样本图像集进行重新训练，得到训练后的分类识别模型，由此使得在非平衡样本图像集的分类问题中，通过向分类识别模型添加每个类别图像样本数量的比例权重，提高少数类样本图像集的分类准确率，从而使得训练后的分类识别模型可以进行精确的图像分类识别。

应该理解的是，虽然图1-3流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种样本图像分类训练装置，包括：获取模块402、筛选模块404、计算模块406、增强处理模块408、更新模块410和调整模块412，其中：

获取模块402，用于获取视频流数据，视频流数据包括多帧图像。

筛选模块404，用于利用分类识别模型对多帧图像进行筛选，得到多个不同类别的样本图像集。

计算模块406，用于计算多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集。

增强处理模块408，用于当第一样本比例数据满足第一阈值条件时，对第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集。

更新模块410，用于根据新增样本图像集对样本图像集进行更新。

调整模块412，用于根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集。

训练模块414，用于对自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

在一个实施例中，该装置还包括：抽取模块。

抽取模块用于对多个不同类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像，增强处理模块408还用于对原样本图像的亮度和对比度进行随机调整，得到新增样本图像。

在一个实施例中，该装置还包括：裁剪模块和标记模块。

计算模块406还用于计算更新后的样本图像集对应的样本比例数据，得到对应的第二样本比例数据集；裁剪模块用于当第二样本比例数据大于预设自定义阈值时，对第二样本比例数据对应的样本图像集进行裁剪，标记模块用于将裁剪后的样本图像集标记为自定义样本图像集；标记模块还用于当第二样本比例数据小于预设自定义阈值时，则将第二样本比例数据对应的样本图像集标记为自定义样本图像集。

在一个实施例中，该装置还包括：等分模块。

获取模块402还用于获取更新后的样本图像集中最小样本数量，将最小样本数量标记为标准单位量；等分模块用于将剩余样本图像集的样本数量，按照标准单位量进行等分，得到对应的多个标准单位量样本图像集。

在一个实施例中，该装置还包括：加载模块。

获取模块402还用于从每个自定义样本图像集中获取对应的标准单位量样本图像集；加载模块用于加载分类识别模型对标准单位量样本图像集进行训练，当检测到训练的样本图像集对应的损失值满足预设损失值阈值时，则对样本图像集进行裁剪，训练模块414还用于对裁剪后的样本图像集继续进行训练。

在一个实施例中，训练模块414还用于根据排列组合原理依次对自定义样本图像集对应的标准单位量样本图像集进行训练。

在一个实施例中，该装置还包括：优化模块。

优化模块用于通过修改分类识别模型中的损失函数，向分类识别模型添加图像样本数量比例权重，对分类识别模型进行优化；训练模块414还用于利用优化后的分类识别模型对更新后的样本图像集进行重新训练，得到训练后的分类识别模型。

关于样本图像分类训练装置的具体限定可以参见上文中对于样本图像分类训练方法的限定，在此不再赘述。上述样本图像分类训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种样本图像分类训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各个方法实施例的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种样本图像分类训练方法，所述方法包括：

获取视频流数据，所述视频流数据包括多帧图像；

利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

根据所述新增样本图像集对所述样本图像集进行更新；

根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集，包括：

计算所述更新后的样本图像集对应的样本比例数据，得到对应的第二样本比例数据集；

当所述第二样本比例数据大于预设自定义阈值时，对所述第二样本比例数据对应的样本图像集的样本数量进行裁剪，将裁剪后的样本图像集标记为自定义样本图像集；

当所述第二样本比例数据小于预设自定义阈值时，则将所述第二样本比例数据对应的样本图像集标记为自定义样本图像集；

对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

2.根据权利要求1所述的方法，其特征在于，所述当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集，包括：

对所述多个不同类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像；

对所述原样本图像的亮度和对比度进行随机调整，得到新增样本图像。

3.根据权利要求1所述的方法，其特征在于，所述当所述第二样本比例数据大于预设自定义阈值时，对所述第二样本比例数据对应的样本图像集进行裁剪之前，所述方法还包括：

获取所述更新后的样本图像集中最小样本数量，将所述最小样本数量标记为标准单位量；

将剩余样本图像集的样本数量，按照所述标准单位量进行等分，得到对应的多个标准单位量样本图像集。

4.根据权利要求3所述的方法，其特征在于，所述对所述自定义样本图像集进行训练包括：

从每个自定义样本图像集中获取对应的标准单位量样本图像集；

加载所述分类识别模型对所述标准单位量样本图像集进行训练，当检测到训练的样本图像集对应的损失值满足预设损失值阈值时，则对所述样本图像集的样本数量进行裁剪，对裁剪后的样本图像集继续进行训练。

5.根据权利要求4所述的方法，其特征在于，所述加载所述分类识别模型对所述标准单位量样本图像集进行训练，包括：

根据排列组合原理依次对所述自定义样本图像集对应的标准单位量样本图像集进行训练。

6.根据权利要求1所述的方法，其特征在于，所述对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件之后，所述方法还包括：

通过修改所述分类识别模型中的损失函数，向所述分类识别模型添加图像样本数量比例权重，对所述分类识别模型进行优化；

利用优化后的分类识别模型对更新后的样本图像集进行重新训练，得到训练后的分类识别模型。

7.一种样本图像分类训练装置，其特征在于，所述装置包括：

获取模块，用于获取视频流数据，所述视频流数据包括多帧图像；

筛选模块，用于利用分类识别模型对所述多帧图像进行筛选，得到多个不同类别的样本图像集；

计算模块，用于计算所述多个不同类别的样本图像集对应的样本比例数据，得到对应的第一样本比例数据集；

增强处理模块，用于当所述第一样本比例数据满足第一阈值条件时，对所述第一样本比例数据对应的样本图像集进行增强处理，得到新增样本图像集；

更新模块，用于根据所述新增样本图像集对所述样本图像集进行更新；

调整模块，用于根据预设自定义阈值，动态调整更新后的样本图像集，得到多个自定义样本图像集，包括：计算所述更新后的样本图像集对应的样本比例数据，得到对应的第二样本比例数据集；当所述第二样本比例数据大于预设自定义阈值时，对所述第二样本比例数据对应的样本图像集的样本数量进行裁剪，将裁剪后的样本图像集标记为自定义样本图像集；当所述第二样本比例数据小于预设自定义阈值时，则将所述第二样本比例数据对应的样本图像集标记为自定义样本图像集；

训练模块，用于对所述自定义样本图像集进行训练，直至所确定的损失值达到训练停止条件。

8.根据权利要求7所述的样本图像分类训练装置，其特征在于，所述装置还包括：

抽取模块，用于对所述多个不同类别的样本图像集中的样本图像进行随机抽取，得到随机抽取的原样本图像；所述调整模块还用于对所述原样本图像的亮度和对比度进行随机调整，得到新增样本图像。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images