CN111950644A - 模型的训练样本选择方法、装置及计算机设备 - Google Patents

Abstract

本发明提供了一种模型的训练样本选择方法、装置及计算机设备，涉及人工智能技术领域，包括；确定训练好的模型对于各个目标类别的识别能力值；获取标签文件，所述标签文件包括多张带有类别标签的图像；针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。以此可以降低训练样本的数量，提升训练样本的质量，从而提升训练的效率以及训练得到的模型的准确率。

Description

模型的训练样本选择方法、装置及计算机设备

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种模型的训练样本选择方法、装置及计算机设备。

背景技术

深度学习近年来快速发展，在图像识别、目标检测等领域表现出惊人的准确性，在视觉伺服领域使用越来越广泛。深度学习需要大量的训练集进行训练，虽然现在有很多开源的深度学习数据集可以用来训练网络模型，但是对于一个特定的视觉伺服系统，需要检测的图像并不是一些常见的物体，比如本发明的方法用于的视觉伺服系统，其需要检测的物体是某特殊设备上的一个电源插口，这时候需要我们自己采集图像作为训练集。

训练集的大小直接影响深度学习的性能，训练集太小将导致深度学习过拟合，这意味着这个深度学习模型仅适用于其训练使用的训练集，对于实际运行时采集到的新的图像将不起作用。每张训练使用的训练集图片都需要打上标签，我们模拟系统实际运行时的情景采集图像，之后人工给图像打上标签，对于庞大的训练集，人工打标签耗费大量时间，另外训练集过大又影响着训练的效率。自己采集的训练集一定会存在大量重复的或者极容易检测的图片，当神经网络训练到一定程度时，对于这种图像检测准确率已经非常高了，再用这种图像训练对检测准确率的提升作用不大。

发明内容

本发明的目的在于提供一种模型的训练样本选择方法、装置及计算机设备，以缓解了现有技术中存在的训练效率低的技术问题。

第一方面，本发明实施例提供的一种模型的训练样本选择方法。包括：

确定训练好的模型对于各个目标类别的识别能力值；

获取标签文件，所述标签文件包括多张带有类别标签的图像；

针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；

基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

在一些可选的实现中，所述识别能力值与所述贡献度负相关。

在一些可选的实现中，所述识别能力值为MAP值。

在一些可选的实现中，获取标签文件的步骤，包括：

针对所述标签文件中的每张图像，统计所述图像中包括的类别标签种类的数量，以及每种类别标签的数量。

在一些可选的实现中，所述图像携带的类别标签的种类与所述贡献度正相关；所述图像携带的类别标签的数量与所述贡献度正相关。

在一些可选的实现中，所述标签文件来自于开源标签数据集，也可以为通过标记得到的标签数据集。

在一些可选的实现中，还包括：

将剔除后的标签文件作为训练样本对所述模型进行训练。

第二方面，提供了一种模型的训练样本选择装置。包括：

第一确定模块，用于确定训练好的模型对于各个目标类别的识别能力值；

获取模块，用于获取标签文件，所述标签文件包括多张带有类别标签的图像；

第二确定模块，用于针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；

筛选模块，用于基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及摄像头；存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。

本发明提供的一种模型的训练样本选择方法、装置及计算机设备；通过确定训练好的模型对于各个目标类别的识别能力值；获取标签文件，所述标签文件包括多张带有类别标签的图像；针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。以此可以降低训练样本的数量，提升训练样本的质量，从而提升训练的效率以及训练得到的模型的准确率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种模型的训练样本选择方法流程示意图；

图2为本申请实施例提供的一种模型的训练样本选择方法的一个示例；

图3为本申请实施例提供的一种模型的训练样本选择装置结构示意图；

图4为本申请实施例提供的一种计算机设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种模型的训练样本选择方法流程示意图。其中，该方法应用于计算机设备，该方法包括：

S110，确定训练好的模型对于各个目标类别的识别能力值；

该识别能力可以是指识别目标类别的准确率或者覆盖率等等，该识别能力值可以为MAP(mean average precision，平均精度)值。结合现有训练好的模型中每个目标类别的MAP值，该MAP值反映模型对目标类别的学习能力，例如现有模型对车的MAP值很高，而一张图像中全部是车，则可以认为贡献度较低。

S120，获取标签文件，标签文件包括多张带有类别标签的图像；

该标签文件来自于开源标签数据集，或者通过人工标记、自动标记等方式生成的标签文件。

针对标签文件中的每张图像，统计图像中包括的类别标签种类的数量，以及每种类别标签的数量。其中，每个标签对应有包围盒参数和类别参数，根据该包围盒参数可以确定其所属的图像，根据其类别参数可以确定其所属的类别。

标签文件可以包括类别和每个类别的数量，可以对图像中的类别和数量进行统计，建立柱状图；例如该类别可以包括汽车、公交车、卡车、行人等，而一个图像中只有一辆车，可以认为这张图像不值得学习，贡献度较低。

S130，针对每张图像，根据图像携带的所有类别标签，以及图像携带的类别标签对应的识别能力值，确定图像的贡献度；

其中，该识别能力值与该贡献度可以为负相关。如果存在种类以及数量，则该图像携带的类别标签的种类与贡献度正相关；图像携带的类别标签的数量与贡献度正相关。换句话说，图像中携带的标签数量越多，标签的种类越多，该图像可学习的价值也就越高。

S140，基于各个图像的贡献度对标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

将剔除后的标签文件作为训练样本对模型进行训练。该训练样本可以用于对于初始模型进行训练，也可以是在模型不断优化的过程中，增加到该模型的训练样本中。

通过本发明实施例可以降低训练样本的数量，提升训练样本的质量，从而提升训练的效率以及训练得到的模型的准确率。

作为一个示例，如图2所示，该方法可以包括如下步骤：

S210，获取第一标签文件，该第一标签文件包括多张带有类别标签的图像；

S220，针对每张图像，根据图像携带的所有类别标签，以及预先确定的类别标签对应的第一识别能力值，确定图像的贡献度。

该第一识别能力值可以根据其他训练好的模型确定得到。

S230，基于各个图像的贡献度对第一标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

S240，基于剔除后的第一标签文件，对初始模型进行训练，得到训练好的模型。

可以周期性执行如下步骤：

S250，确定训练好的模型对于各个目标类别的第二识别能力值；

S260，获取第二标签文件，该第二标签文件包括多张带有类别标签的图像；

S270，针对每张图像，根据图像携带的所有类别标签，以及预先确定的类别标签对应的第二识别能力值，确定图像的贡献度。

S280，基于各个图像的贡献度对第二标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

S290，基于剔除后的第二标签文件，对训练好的模型进行训练，得到优化后的模型。

图3为本发明实施例提供的一种模型的训练样本选择装置结构示意图。如图3所示，该装置应用于计算机设备；该装置包括：

第一确定模块301，用于确定训练好的模型对于各个目标类别的识别能力值；

获取模块302，用于获取标签文件，所述标签文件包括多张带有类别标签的图像；

第二确定模块303，用于针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；

筛选模块304，用于基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

在一些实施例中，所述识别能力值与所述贡献度负相关。

在一些实施例中，所述识别能力值为MAP值。

在一些实施例中，获取标签文件的步骤，包括：

针对所述标签文件中的每张图像，统计所述图像中包括的类别标签种类的数量，以及每种类别标签的数量。

在一些实施例中，所述图像携带的类别标签的种类与所述贡献度负相关；所述图像携带的类别标签的数量与所述贡献度负相关。

在一些实施例中，所述标签文件来自于开源标签数据集。

在一些实施例中，还包括，训练模块，用于：

将剔除后的标签文件作为训练样本对所述模型进行训练。

本申请实施例提供的模型的训练样本选择装置，与上述实施例提供的模型的训练样本选择方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图4所示，本申请实施例提供的一种计算机设备700，包括：处理器701、存储器702和总线，存储器702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述模型的训练样本选择方法、装置及计算机设备方法的步骤。

具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述模型的训练样本选择方法。

对应于上述模型的训练样本选择方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述模型的训练样本选择方法、装置及计算机设备方法的步骤。

本申请实施例所提供的模型的训练样本选择方法、装置及计算机设备装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种模型的训练样本选择方法，其特征在于，包括：

确定训练好的模型对于各个目标类别的识别能力值；

获取标签文件，所述标签文件包括多张带有类别标签的图像；

针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；

基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

2.根据权利要求1所述的方法，其特征在于，所述识别能力值为MAP值。

3.根据权利要求1所述的方法，其特征在于，获取标签文件的步骤，包括：

针对所述标签文件中的每张图像，统计所述图像中包括的类别标签种类的数量，以及每种类别标签的数量。

4.根据权利要求3所述的方法，其特征在于，所述图像携带的类别标签的种类与所述贡献度正相关；所述图像携带的类别标签的数量与所述贡献度正相关。

5.根据权利要求4所述的方法，其特征在于，所述识别能力值与所述贡献度负相关。

6.根据权利要求1所述的方法，其特征在于，还包括：

将剔除后的标签文件作为训练样本对所述模型进行训练。

7.一种模型的训练样本选择装置，其特征在于，包括：

第一确定模块，用于确定训练好的模型对于各个目标类别的识别能力值；

获取模块，用于获取标签文件，所述标签文件包括多张带有类别标签的图像；

第二确定模块，用于针对每张图像，根据所述图像携带的所有类别标签，以及所述图像携带的类别标签对应的所述识别能力值，确定所述图像的贡献度；

筛选模块，用于基于各个所述图像的贡献度对所述标签文件中的图像进行筛选，剔除贡献度低于阈值的图像。

8.根据权利要求7所述的装置，其特征在于，所述识别能力值与所述贡献度负相关。

9.一种计算机设备，其特征在于，包括存储器以及处理器；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。

Images