CN112906805A - 图像训练样本筛选和任务模型训练方法、装置及电子设备 - Google Patents

图像训练样本筛选和任务模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN112906805A
CN112906805A CN202110234576.4A CN202110234576A CN112906805A CN 112906805 A CN112906805 A CN 112906805A CN 202110234576 A CN202110234576 A CN 202110234576A CN 112906805 A CN112906805 A CN 112906805A
Authority
CN
China
Prior art keywords
image
images
training
recommended
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110234576.4A
Other languages
English (en)
Inventor
陈鹏
张迪
石仕伟
吴昌建
张玉全
曹海潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110234576.4A priority Critical patent/CN112906805A/zh
Publication of CN112906805A publication Critical patent/CN112906805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像训练样本筛选和任务模型训练方法、装置及电子设备，通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。

Description

图像训练样本筛选和任务模型训练方法、装置及电子设备
技术领域
本申请涉及机器学习技术领域，特别是涉及一种图像训练样本筛选和任务模型训练方法、装置及电子设备。
背景技术
随着人工智能技术的不断发展，大量采用有监督学习训练方式的深度学习算法得到了非常广泛的应用。采用有监督学习训练方式的深度学习算法指的是，利用大量已标定的图像训练样本对神经网络模型进行训练，得到可以完成指定任务的任务模型，利用该任务模型可对输入的图像执行指定任务，例如，对图像进行目标检测、分类识别等。
任务模型的性能与训练过程有着非常紧密的关联，图像训练样本越多，利用这些图像训练样本训练得到的任务模型的性能就越好，在具体实施时，首先需要标定工作人员对采集的初始图像进行标定，才可得到图像训练样本。然而，海量的初始图像一般是从互联网或者采集设备上随机获取的，有些初始图像无法避免地会伴随着较多的噪声及大量的内容冗余，如果标定工作人员对采集的所有初始图像都进行人工标定，势必会造成大量的人力资源浪费。
并且，即便标定工作人员对所有初始图像都进行了人工标定，但是由于有些图像训练样本携带有噪声和内容冗余，这些噪声和内容冗余必定会影响任务模型的训练精度，导致训练得到的任务模型性能较差。
发明内容
本申请实施例的目的在于提供一种图像训练样本筛选和任务模型训练方法、装置及电子设备，以提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。具体技术方案如下：
第一方面，本申请实施例提供了一种图像训练样本筛选方法，该方法包括：
获取待筛选图像集；
提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别；
根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在客户端上对推荐图像进行人工标定；
获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性；
筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
可选的，获取待筛选图像集的步骤，包括：
获取客户端上传的初始图像集；
对初始图像集中的各初始图像进行图像分析，得到各初始图像的分析结果；
根据各初始图像的分析结果，确定可丢弃的初始图像，并将可丢弃的初始图像的图像信息以提示消息的方式发送至客户端，以提示用户在客户端上选择是否丢弃可丢弃的初始图像；
获取客户端发送的选择结果；
若选择结果为丢弃可丢弃的初始图像，则确定初始图像集中除可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；
若选择结果为保留可丢弃的初始图像，则确定初始图像集为待筛选图像集；
若选择结果为丢弃部分可丢弃的初始图像，则确定初始图像集中除上述部分可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
可选的，提取待筛选图像集中各图像的图像特征的步骤，包括：
在接收到客户端发送的标定启动指令时，提取待筛选图像集中各图像的图像特征，其中，标定启动指令为用户在客户端上选择启动标定操作时产生。
可选的，根据各图像的图像特征，确定各图像的类别的步骤，包括：
根据各图像的图像特征，基于预设的聚类算法，将图像特征相似的图像聚为一类，得到各图像的类别。
可选的，获得人工标定后的各推荐图像的步骤，包括：
在接收到客户端发送的模型训练启动指令时，获取客户端发送的人工标定后的各推荐图像，其中，模型训练启动指令为用户在客户端上选择启动模型训练操作时产生。
可选的，根据各推荐图像的标定信息，计算各推荐图像的不确定性的步骤，包括：
获取一个已训练的任务模型；
针对任一推荐图像，将该推荐图像输入所述已训练的任务模型，得到该推荐图像的预测信息；
针对任一推荐图像，计算该推荐图像的预测信息与标定信息的相似度，并根据相似度确定该推荐图像的不确定性。
可选的，在筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本的步骤之后，该方法还包括：
将所有图像训练样本划分为训练集和验证集，其中，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证。
第二方面，本申请实施例提供了一种任务模型训练方法，该方法包括：
获取图像训练样本，其中，图像训练样本基于本申请实施例第一方面所提供的方法得到；
利用图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，神经网络模型为预先选择的可实现指定任务的神经网络模型。
可选的，获取图像训练样本的步骤，包括：
获取训练集和验证集，其中，训练集和验证集为对所有图像训练样本划分得到；
利用图像训练样本，对神经网络模型进行训练，得到训练后的任务模型的步骤，包括：
将训练集中的图像训练样本输入神经网络模型，得到模型输出；
将模型输出与图像训练样本的标注信息进行比较，得到损失值；
若损失值大于预设阈值，则调整神经网络模型的模型参数，并返回执行将训练集中的图像训练样本输入神经网络模型，得到模型输出的步骤，直至损失值不大于预设阈值或者循环次数达到上限，则停止训练，确定当前的神经网络模型为训练后的任务模型；
将验证集中的图像训练样本输入任务模型，得到任务执行结果；
对任务执行结果进行分析，得到任务模型的性能。
第三方面，本申请实施例提供了一种图像训练样本筛选装置，该装置包括：
标定图像主动挑选模块，用于获取待筛选图像集；提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别；根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在客户端上对推荐图像进行人工标定；
图像训练样本主动挑选模块，用于获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性；筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
可选的，该装置还包括：图像分析模块和图像集确定模块；
图像分析模块，用于获取客户端上传的初始图像集；对初始图像集中的各初始图像进行图像分析，得到各初始图像的分析结果；根据各初始图像的分析结果，确定可丢弃的初始图像，并将可丢弃的初始图像的图像信息以提示消息的方式发送至客户端，以提示用户在客户端上选择是否丢弃可丢弃的初始图像；
图像集确定模块，用于获取客户端发送的选择结果；若选择结果为丢弃可丢弃的初始图像，则确定初始图像集中除可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；若选择结果为保留可丢弃的初始图像，则确定初始图像集为待筛选图像集；若选择结果为丢弃部分可丢弃的初始图像，则确定初始图像集中除上述部分可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
可选的，标定图像主动挑选模块，具体用于在接收到客户端发送的标定启动指令时，提取待筛选图像集中各图像的图像特征，其中，标定启动指令为用户在客户端上选择启动标定操作时产生。
可选的，标定图像主动挑选模块，具体用于根据各图像的图像特征，基于预设的聚类算法，将图像特征相似的图像聚为一类，得到各图像的类别。
可选的，图像训练样本主动挑选模块，具体用于在接收到客户端发送的模型训练启动指令时，获取客户端发送的人工标定后的各推荐图像，其中，模型训练启动指令为用户在客户端上选择启动模型训练操作时产生。
可选的，图像训练样本主动挑选模块，具体用于获取一个已训练的任务模型；针对任一推荐图像，将该推荐图像输入所述已训练的任务模型，得到该推荐图像的预测信息；针对任一推荐图像，计算该推荐图像的预测信息与标定信息的相似度，并根据相似度确定该推荐图像的不确定性。
可选的，图像训练样本主动挑选模块，还用于将所有图像训练样本划分为训练集和验证集，其中，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证。
第四方面，本申请实施例提供了一种任务模型训练装置，该装置包括：
获取模块，用于获取图像训练样本，其中，图像训练样本基于本申请实施例第一方面所提供的方法得到；
模型自动训练模块，用于利用图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，神经网络模型为预先选择的可实现指定任务的神经网络模型。
可选的，该装置还包括：模型评测模块；
获取模块，具体用于获取训练集和验证集，其中，训练集和验证集为对所有图像训练样本划分得到；模型自动训练模块，具体用于将训练集中的图像训练样本输入神经网络模型，得到模型输出；将模型输出与图像训练样本的标注信息进行比较，得到损失值；若损失值大于预设阈值，则调整神经网络模型的模型参数，并返回执行将训练集中的图像训练样本输入神经网络模型，得到模型输出的步骤，直至损失值不大于预设阈值或者循环次数达到上限，则停止训练，确定当前的神经网络模型为训练后的任务模型；
模型评测模块，用于将验证集中的图像训练样本输入任务模型，得到任务执行结果；对任务执行结果进行分析，得到任务模型的性能。
第五方面，本申请实施例提供了一种电子设备，包括处理器和存储器；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的计算机程序时，实现本申请实施例第一方面或者第二方面所提供的方法。
第六方面，本申请实施例提供了一种机器可读存储介质，机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面或者第二方面所提供的方法。
第七方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例第一方面或者第二方面所提供的方法。
本申请实施例提供的一种图像训练样本筛选和任务模型训练方法、装置及电子设备，获取待筛选图像集，提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别，根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，由用户在客户端上对推荐图像进行人工标定，获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性，筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例的图像训练样本筛选方法的流程示意图；
图2为本申请实施例的任务模型训练方法的流程示意图；
图3为本申请实施例的从图像训练样本筛选到任务模型训练、应用的完整方案的流程示意图；
图4为本申请实施例的图像训练样本筛选装置的结构示意图；
图5为本申请实施例的任务模型训练装置的结构示意图；
图6为本申请实施例的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了提升任务模型的训练精度，进一步提升训练得到的任务模型的性能，本申请实施例提供了一种图像训练样本筛选和任务模型训练方法、装置及电子设备。下面，首先对本申请实施例所提供的图像训练样本筛选方法进行介绍。
本申请实施例所提供的图像训练样本筛选方法的执行主体可以为具有图像收集、图像处理等功能的电子设备。实现本申请实施例所提供的图像训练样本筛选方法的方式可以为设置于上述执行主体中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示，本申请实施例所提供的一种图像训练样本筛选方法，可以包括如下步骤。
S101，获取待筛选图像集。
S102，提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别。
S103，根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在客户端上对推荐图像进行人工标定。
S104，获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性。
S105，筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
应用本申请实施例，获取待筛选图像集，提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别，根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，由用户在客户端上对推荐图像进行人工标定，获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性，筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。
待筛选图像集中包括海量的图像，这些图像都是未标定的，并且这些图像都是用户手动上传的，或者从互联网上获取的，当然，这些图像也可以是经过初筛的图像。
在本申请的一种实现方式中，S101具体可以为：获取客户端上传的初始图像集；对初始图像集中的各初始图像进行图像分析，得到各初始图像的分析结果；根据各初始图像的分析结果，确定可丢弃的初始图像，并将可丢弃的初始图像的图像信息以提示消息的方式发送至客户端，以提示用户在客户端上选择是否丢弃可丢弃的初始图像；获取客户端发送的选择结果；若选择结果为丢弃可丢弃的初始图像，则确定初始图像集中除可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；若选择结果为保留可丢弃的初始图像，则确定初始图像集为待筛选图像集；若选择结果为丢弃部分可丢弃的初始图像，则确定初始图像集中除上述部分可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
用户可以在客户端上手动上传初始图像集，初始图像集中包括海量的初始图像，这些初始图像都是未标定的图像，上传完毕后，电子设备自动启动图像分析，对初始图像集中的各初始图像进行图像分析，可以得到图像是否重复、图像质量优劣等分析结果。具体的分析方式可以是采用传统的图像内容分析方式分析图像内容、采用传统的图像清晰度分析方式分析图像质量等。根据各初始图像的分析结果，可以确定出那些内容重复、低质量的初始图像为可丢弃的初始图像，然后将这些可丢弃的初始图像的图像信息以提示消息的方式发送给客户端，图像信息包括图像的标识、可丢弃的原因等。具体可以将这些可丢弃的初始图像的图像信息列成一个列表，然后将该列表和提示消息一起发送至客户端，由客户端在交互界面上显示该列表，对列表进行可视化展示，用户看到该列表后，能够知道哪些图像内容重复、哪些图像质量低，从而可以决定是否丢弃这些图像。用户在点击丢弃按键后，客户端会将用户的选择结果发送至电子设备。电子设备根据选择结果，获知选择结果为丢弃可丢弃的初始图像时，可确定初始图像集中除可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；电子设备根据选择结果，获知选择结果为保留可丢弃的初始图像，可确定初始图像集就是待筛选图像集。在一种实现方式中，用户还可以对需要丢弃的图像进行选择，即选择丢弃一部分可丢弃的初始图像，该情况下，电子设备获知用户选择丢弃哪一部分可丢弃的初始图像，则可确定初始图像集中除上述部分可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
当然，在具体实施时，电子设备在根据各初始图像的分析结果，可以确定出那些内容重复、低质量的初始图像为可丢弃的初始图像后，可以自行决定是否丢弃这些可丢弃的初始图像。
通过图像分析，确定出内容重复、低质量的初始图像为可丢弃的初始图像，可以选择丢弃这些可丢弃的初始图像，能够达到初始图像初筛的目的。
在获取到待筛选图像集后，对待筛选图像集中的各图像进行特征提取操作，经过对各图像进行特征分析，或者利用深度神经网络，可以提取出各图像的图像特征。图像特征是指能够体现图像属性的特征，例如颜色特征(包括亮度、色度、对比度)、深度学习特征等。所提取的图像特征可以是全局的图像特征，也可以是局部的图像特征，这里不做具体限定。
具体的，颜色特征的提取步骤可以包括：将图像进行分块，然后进行亮度、色度、对比度等颜色特征的提取，对提取的颜色特征进行编码，生成颜色特征的特征向量。深度学习特征的提取步骤可以包括：将图像输入预先选择的深度学习网络，经过多轮次的训练，获得中间层输出的特征。
根据各图像的图像特征，可以确定各图像的类别，这里所提及的类别与图像的图像特征有关，例如可以为高亮度类别、低亮度类别、高色度类别、底色度类别、高对比度类别、低对比度类别等，每个类别都对应有预设的图像特征取值范围，则根据各图像的图像特征，能够确定出各图像的类别。
在本申请实施例的一种实现方式中，根据各图像的图像特征，确定各图像的类别的步骤，具体可以为：根据各图像的图像特征，基于预设的聚类算法，将图像特征相似的图像聚为一类，得到各图像的类别
其中，预设的聚类算法可以为K-means(K均值)聚类算法，首先计算图像两两之间的特征相似度，针对每个图像，相似度从大到小排序，累计一定比例(如前15％)的相似度；然后对图像进行随机采样，采样K个图像，作为聚类初始点，采样概率基于各个图像的累计相似度归一化得到，相似度越高，采样概率就越高；接着，循环执行相似度计算、聚类中心更新的操作，直至满足截止条件，如：达到最大迭代次数，不再重新分类。
在本申请实施例的一种实现方式中，提取待筛选图像集中各图像的图像特征的步骤，具体可以为：在接收到客户端发送的标定启动指令时，提取待筛选图像集中各图像的图像特征，其中，标定启动指令为用户在客户端上选择启动标定操作时产生。
本申请实施例中，可以提供人机交互功能，也就是说，客户端提供有可由用户选择的标定启动按键，用户在选择启动标定操作，即用户点击标定启动按键后，客户端会产生一个标定启动指令，客户端将标定启动指令发送至电子设备，电子设备在接收到标定启动指令时，会启动图像筛选操作，也就是开始执行提取待筛选图像集中各图像的图像特征的步骤。
在得到待筛选图像集中的各图像都属于哪个类别之后，为了聚焦图像训练样本的多样性，电子设备可以从每一类图像中选择预设数量的图像作为推荐图像，针对每一类图像可以设置不同的预设数量，也可以设置相同的预设数量，这里不做具体限定。这样可以多个属于不同类型的图像，有的图像亮度高、有的图像亮度低、有的图像色度高、有的图像色度低、有的图像对比度高、有的图像对比度低，这样可以保证筛选出来的推荐图像的多样性。在筛选出推荐图像后，可以将推荐图像反馈至客户端，由客户端展示给用户，用户知道需要对哪些图像进行人工标定，可以在客户端上直接进行人工标定。当然用户在进行人工标定时，可以对所有的推荐图像进行人工标定，也可以选择部分推荐图像进行人工标定，这里不做具体限定。
用户对推荐图像进行人工标定的标定方式，具体可以由图像类型、任务类型等决定，用户可以随时修改、保存标定结果，或者中途退出。一般情况下，用户进行人工标定的过程中，可以进行多轮次的标定，每一轮标定只标定一定数量的推荐图像，在一轮标定完毕后，用户可以决定是否继续进入下一轮标定。
在用户标定结束之后，电子设备可以通过主动获取或者被动接收的方式，获得人工标定后的各推荐图像。
在获得人工标定后的各推荐图像后，可以根据各推荐图像的标定信息，计算各推荐图像的不确定性。不确定性指的是针对某一图像，利用任务模型得到的该图像的预测信息与标定信息的差异大小，如果差异越大，则说明不确定性越高。
因此，在本申请实施例的一种实现方式中，所述根据各推荐图像的标定信息，计算各推荐图像的不确定性的步骤，具体可以为：获取一个已训练的任务模型；针对任一推荐图像，将该推荐图像输入所述已训练的任务模型，得到该推荐图像的预测信息；针对任一推荐图像，计算该推荐图像的预测信息与标定信息的相似度，并根据相似度确定该推荐图像的不确定性。
在本申请实施例中，获取一个已训练的任务模型，然后将已经进行人工标定的推荐图像输入该任务模型，即可得到推荐图像的预测信息，计算预测信息与标定信息的相似度，两个信息越相近，则相似度越高，最后根据相似度可以确定出推荐图像的不确定性，相似度越低，则不确定性越高。
在本申请实施例的一种实现方式中，获得人工标定后的各推荐图像的步骤，具体可以为：在接收到客户端发送的模型训练启动指令时，获取客户端发送的人工标定后的各推荐图像，其中，模型训练启动指令为用户在客户端上选择启动模型训练操作时产生。
本申请实施例中，可以提供人机交互功能，也就是说，客户端提供有可由用户选择的模型训练启动按键，用户在选择启动模型训练操作，即用户点击模型训练启动按键后，客户端会产生一个模型训练启动指令，客户端将模型训练启动指令发送至电子设备，电子设备在接收到模型训练启动指令时，会启动图像训练样本的主动筛选，也就是开始执行获得人工标定后的各推荐图像的步骤。
在计算得到各推荐图像的不确定性后，可以基于各推荐图像的不确定性，进行图像筛选，筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，图像的不确定性体现了图像类别或者图像中目标的信息量，我们也称之为信息熵，图像的不确定性越大，则说明该图像的信息越丰富，越难对该图像进行学习。为了提升任务模型的训练精度，进一步提升任务模型的性能，选作图像训练样本的图像中应包含尽可能多的信息，因此，应当筛选出不确定性大于预设阈值的推荐图像作为图像训练样本。
在本申请实施例的一种实现方式中，在S105之后，该方法还可以包括如下步骤：
将所有图像训练样本划分为训练集和验证集，其中，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证。
为了实现任务模型的训练、验证操作，可以将所有图像训练样本划分为训练集和验证集，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证。具体的划分方式可以为随机划分，或者按比例划分，这里不做具体限定。
本申请实施例还提供了一种任务模型训练方法。本申请实施例所提供的任务模型训练方法的执行主体可以为具有数据处理功能的电子设备。实现本申请实施例所提供的任务模型训练方法的方式可以为设置于上述执行主体中的软件、硬件电路和逻辑电路中的至少一种。
如图2所示，本申请实施例所提供的一种任务模型训练方法，可以包括如下步骤。
S201，获取图像训练样本。
其中，图像训练样本基于上述图像训练样本筛选方法得到，详见图1所示实施例，这里不再赘述。
S202，利用图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，神经网络模型为预先选择的可实现指定任务的神经网络模型。
应用本申请实施例，由于图像训练样本是通过两次筛选得到的，即通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。并且，由于图像训练样本的数量相较于初始图像集中的图像数量明显减少，能够缩短任务模型训练的时长。
在本申请实施例的一种实现方式中，S201具体可以为：获取训练集和验证集，其中，训练集和验证集为对所有图像训练样本划分得到。
相应的，S202具体可以为：将训练集中的图像训练样本输入神经网络模型，得到模型输出；将模型输出与图像训练样本的标注信息进行比较，得到损失值；若损失值大于预设阈值，则调整神经网络模型的模型参数，并返回执行将训练集中的图像训练样本输入神经网络模型，得到模型输出的步骤，直至损失值不大于预设阈值或者循环次数达到上限，则停止训练，确定当前的神经网络模型为训练后的任务模型；将验证集中的图像训练样本输入任务模型，得到任务执行结果；对任务执行结果进行分析，得到所述任务模型的性能。
如图1所示实施例，为了实现任务模型的训练、验证操作，可以将所有图像训练样本划分为训练集和验证集，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证，则电子设备实际获取到的是训练集和验证集。在实际训练时，将训练集中的一个图像训练样本输入神经网络模型，得到模型输出，将模型输出与图像训练样本的标注信息进行比较，得到损失值，若损失值大于预设阈值，则调整神经网络模型的模型参数，然后重新将训练集中一个图像训练样本输入神经网络模型，再得到损失值，再调整模型参数，以此往复，经过多次的迭代训练，在达到停止训练的条件时，即损失值不大于预设阈值或者循环次数达到上限，则停止训练，得到了最终的任务模型。
然后将验证集中的图像训练样本输入任务模型，得到任务执行结果，例如图像分类结果、目标检测结果等，由于验证集中的图像训练样本也是带有标定的图像，可以将任务执行结果与标定信息进行比较，得到任务执行结果与标定信息相同、相似、差异很大等分析结果，基于这些分析结果可以得到任务模型的性能。
在本申请实施例的一种实现方式中，在对任务执行结果进行分析，得到任务模型的性能的步骤之后，该方法还可以包括如下步骤：将任务模型的性能发送至客户端进行展示。
在得到任务模型的性能之后，可以将任务模型的性能发送至客户端，客户端提供有人机交互界面，则客户端可以在人机交互界面上展示出任务模型的性能，这样，用户可以直观的看到筛选出的图像训练样本对任务模型性能的影响。在发送任务模型的性能的同时，还可以在本地更新任务模型的模型参数。
用户在客户端看到任务模型的性能后，如果任务模型的性能可以达到用户的要求，用户即可启动任务模型应用，选择在实际场景中使用训练好的任务模型。
执行图1所示方法的电子设备和执行图2所示方法的电子设备可以为同一个电子设备，也可以为两个不同的电子设备，这里不作具体限定。
综上，本申请实施例提供了一个从图像训练样本筛选到任务模型训练、应用的完整方案，具体流程如图3所示，主要包括图像分析、图像主动挑选、样本标定、模型训练验证和模型应用五个步骤。
用户经客户端手动上传图像集后，电子设备首先进行图像分析，筛选重复图像、低质量图像，并将分析结果反馈给客户端，由客户端以列表的显示方式可视化分析结果，列表中记录有重复图像、低质量图像的图像信息。由用户决定是否保留列表中的图像，用户在做完决定后，可选择是否启动图像标定操作，如果用户选择启动图像标定，即点击启动标定按键，则客户端会向电子设备发送标定启动指令，电子设备识别出用户启动了标定操作，会自动启动标定图像的主动挑选，如果电子设备在一定时长内都未接收到标定启动指令，识别出用户并未启动标定操作，则会退出执行。自动启动标定图像的主动挑选，具体过程是提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别，根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，客户端以列表的显示方式可视化推荐图像。
用户在客户端上对推荐图像进行人工标定，具体由图像类型、任务类型等决定标定形式，用户可修改、保存标定结果或者中途退出。标定完毕后，用户决定是否进行下一轮标定，如果进入则继续标定，否则决定是否启动模型训练。
如果用户决定启动模型训练，即点击启动模型训练按键，则客户端会向电子设备发送模型训练启动指令，电子设备识别出用户启动了模型训练操作，会自动启动图像训练样本的主动挑选，如果电子设备在一定时长内都未接收到模型训练启动指令，识别出用户并未启动模型训练操作，则会退出执行。自动启动图像训练样本的主动挑选，具体过程是根据各推荐图像的标定信息，计算各推荐图像的不确定性，筛选出不确定性大于预设阈值的图像作为图像训练样本，并将图像训练样本划分为训练集和验证集。
启动模型自动训练，将训练集中的一个图像训练样本输入神经网络模型，得到模型输出，将模型输出与图像训练样本的标注信息进行比较，得到损失值，若损失值大于预设阈值，则调整神经网络模型的模型参数，然后重新将训练集中一个图像训练样本输入神经网络模型，再得到损失值，再调整模型参数，以此往复，经过多次的迭代训练，在达到停止训练的条件时，即损失值不大于预设阈值或者循环次数达到上限，则停止训练，得到了最终的任务模型。然后将验证集中的图像训练样本输入任务模型，得到任务执行结果，例如图像分类结果、目标检测结果等，由于验证集中的图像训练样本也是带有标定的图像，可以将任务执行结果与标定信息进行比较，得到任务执行结果与标定信息相同、相似、差异很大等分析结果，基于这些分析结果可以得到任务模型的性能。
在得到任务模型的性能之后，以测试报告的形式将任务模型的性能发送至客户端，客户端提供有人机交互界面，在人机交互界面上展示出任务模型的性能。用户在客户端看到任务模型的性能后，如果任务模型的性能可以达到用户的要求，用户即可启动任务模型应用，选择在实际场景中使用训练好的任务模型。
相应于图1所示的方法实施例，本申请实施例提供了一种图像训练样本筛选装置，如图4所示，该装置包括：
标定图像主动挑选模块410，用于获取待筛选图像集；提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别；根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在客户端上对推荐图像进行人工标定；
图像训练样本主动挑选模块420，用于获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性；筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
可选的，该装置还可以包括图像分析模块和图像集确定模块；
图像分析模块，具体用于获取客户端上传的初始图像集；对初始图像集中的各初始图像进行图像分析，得到各初始图像的分析结果；根据各初始图像的分析结果，确定可丢弃的初始图像，并将可丢弃的初始图像的图像信息以提示消息的方式发送至客户端，以提示用户在客户端上选择是否丢弃可丢弃的初始图像；
图像集确定模块，具体用于获取客户端发送的选择结果；若选择结果为丢弃可丢弃的初始图像，则确定初始图像集中除可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；若选择结果为保留可丢弃的初始图像，则确定初始图像集为待筛选图像集；若选择结果为丢弃部分可丢弃的初始图像，则确定初始图像集中除上述部分可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
可选的，标定图像主动挑选模块410，具体可以用于在接收到客户端发送的标定启动指令时，提取待筛选图像集中各图像的图像特征，其中，标定启动指令为用户在客户端上选择启动标定操作时产生。
可选的，标定图像主动挑选模块410，具体可以用于根据各图像的图像特征，基于预设的聚类算法，将图像特征相似的图像聚为一类，得到各图像的类别。
可选的，图像训练样本主动挑选模块420，具体可以用于在接收到客户端发送的模型训练启动指令时，获取客户端发送的人工标定后的各推荐图像，其中，模型训练启动指令为用户在客户端上选择启动模型训练操作时产生。
可选的，图像训练样本主动挑选模块420，具体可以用于获取一个已训练的任务模型；针对任一推荐图像，将该推荐图像输入所述已训练的任务模型，得到该推荐图像的预测信息；针对任一推荐图像，计算该推荐图像的预测信息与标定信息的相似度，并根据相似度确定该推荐图像的不确定性。
可选的，图像训练样本主动挑选模块420，还可以用于将所有图像训练样本划分为训练集和验证集，其中，训练集中的图像训练样本用于对任务模型进行训练，验证集中的图像训练样本用于对完成训练的任务模型进行验证。
应用本申请实施例，获取待筛选图像集，提取待筛选图像集中各图像的图像特征，并根据各图像的图像特征，确定各图像的类别，根据各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，由用户在客户端上对推荐图像进行人工标定，获得人工标定后的各推荐图像，并根据各推荐图像的标定信息，计算各推荐图像的不确定性，筛选各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。
相应于图1所示的方法实施例，本申请实施例提供了一种任务模型训练装置，如图5所示，该装置可以包括：
获取模块510，用于获取图像训练样本。
其中，图像训练样本基于上述图像训练样本筛选方法得到。
模型自动训练模块520，用于利用图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，神经网络模型为预先选择的可实现指定任务的神经网络模型。
可选的，该装置还可以包括：模型评测模块；
获取模块510，具体可以用于获取训练集和验证集，其中，训练集和验证集为对所有图像训练样本划分得到；
模型自动训练模块520，具体可以用于将训练集中的图像训练样本输入神经网络模型，得到模型输出；将模型输出与图像训练样本的标注信息进行比较，得到损失值；若损失值大于预设阈值，则调整神经网络模型的模型参数，并返回执行将训练集中的图像训练样本输入神经网络模型，得到模型输出的步骤，直至损失值不大于预设阈值或者循环次数达到上限，则停止训练，确定当前的神经网络模型为训练后的任务模型；
模型评测模块，用于将验证集中的图像训练样本输入任务模型，得到任务执行结果；对任务执行结果进行分析，得到任务模型的性能。
可选的，模型评测模块，还可以用于将任务模型的性能发送至客户端进行展示。
应用本申请实施例，由于图像训练样本是通过两次筛选得到的，即通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。并且，由于图像训练样本的数量相较于初始图像集中的图像数量明显减少，能够缩短任务模型训练的时长。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601和存储器602；其中，存储器602，用于存放计算机程序；处理器601，用于执行存储器602上所存放的计算机程序时，实现上述图像训练样本筛选方法或者任务模型训练方法。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理单元)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，上述处理器通过读取存储器中存储的计算机程序，并通过运行计算机程序，能够实现：通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。
另外本申请实施例还提供了一种机器可读存储介质，该机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述图像训练样本筛选方法或者任务模型训练方法。
本实施例中，计算机可读存储介质存储有在运行时执行本申请实施例所提供的图像训练样本筛选方法或者任务模型训练方法的计算机程序，因此能够实现：通过提取图像集中各图像的图像特征，确定出各图像的类别，然后在每一类图像中选择预设数量的图像作为推荐图像，在对待筛选图像集进行筛选的同时，保证了筛选出的推荐图像的多样性，在对各推荐图像进行人工标定后，根据各推荐图像的标定信息，计算各推荐图像的不确定性，最终筛选出各推荐图像中不确定性大于预设阈值的图像作为图像训练样本，经过两次筛选，筛选出的图像训练样本不仅具有多样性，且不确定性较高，属于更难学习的图像训练样本，基于这些图像训练样本对任务模型进行训练，能够有效提升任务模型的训练精度，进一步提升训练得到的任务模型的性能。
本申请实施例提供的又一实施例中，还了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图像训练样本筛选方法或者任务模型训练方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
对于图像训练样本筛选装置、任务模型训练装置、电子设备、机器可读存储介质及计算机程序产品实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图像训练样本筛选装置、任务模型训练装置、电子设备、机器可读存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种图像训练样本筛选方法，其特征在于，所述方法包括：
获取待筛选图像集；
提取所述待筛选图像集中各图像的图像特征，并根据所述各图像的图像特征，确定所述各图像的类别；
根据所述各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在所述客户端上对所述推荐图像进行人工标定；
获得人工标定后的各推荐图像，并根据所述各推荐图像的标定信息，计算所述各推荐图像的不确定性；
筛选所述各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
2.根据权利要求1所述的方法，其特征在于，所述获取待筛选图像集的步骤，包括：
获取客户端上传的初始图像集；
对所述初始图像集中的各初始图像进行图像分析，得到所述各初始图像的分析结果；
根据所述各初始图像的分析结果，确定可丢弃的初始图像，并将所述可丢弃的初始图像的图像信息以提示消息的方式发送至所述客户端，以提示用户在所述客户端上选择是否丢弃所述可丢弃的初始图像；
获取所述客户端发送的选择结果；
若所述选择结果为丢弃所述可丢弃的初始图像，则确定所述初始图像集中除所述可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集；
若所述选择结果为保留所述可丢弃的初始图像，则确定所述初始图像集为待筛选图像集；
若所述选择结果为丢弃部分所述可丢弃的初始图像，则确定所述初始图像集中除所述部分所述可丢弃的初始图像以外剩余的初始图像组成的图像集为待筛选图像集。
3.根据权利要求1所述的方法，其特征在于，所述提取所述待筛选图像集中各图像的图像特征的步骤，包括：
在接收到客户端发送的标定启动指令时，提取所述待筛选图像集中各图像的图像特征，其中，所述标定启动指令为用户在所述客户端上选择启动标定操作时产生。
4.根据权利要求1所述的方法，其特征在于，所述根据所述各图像的图像特征，确定所述各图像的类别的步骤，包括：
根据所述各图像的图像特征，基于预设的聚类算法，将图像特征相似的图像聚为一类，得到所述各图像的类别。
5.根据权利要求1所述的方法，其特征在于，所述获得人工标定后的各推荐图像的步骤，包括：
在接收到客户端发送的模型训练启动指令时，获取客户端发送的人工标定后的各推荐图像，其中，所述模型训练启动指令为用户在所述客户端上选择启动模型训练操作时产生。
6.根据权利要求1所述的方法，其特征在于，所述根据所述各推荐图像的标定信息，计算所述各推荐图像的不确定性的步骤，包括：
获取一个已训练的任务模型；
针对任一推荐图像，将该推荐图像输入所述已训练的任务模型，得到该推荐图像的预测信息；
针对任一推荐图像，计算该推荐图像的预测信息与标定信息的相似度，并根据相似度确定该推荐图像的不确定性。
7.根据权利要求1所述的方法，其特征在于，在所述筛选所述各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本的步骤之后，所述方法还包括：
将所有图像训练样本划分为训练集和验证集，其中，所述训练集中的图像训练样本用于对任务模型进行训练，所述验证集中的图像训练样本用于对完成训练的任务模型进行验证。
8.一种任务模型训练方法，其特征在于，所述方法包括：
获取图像训练样本，其中，所述图像训练样本基于权利要求1-6中任一项所述的方法得到；
利用所述图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，所述神经网络模型为预先选择的可实现指定任务的神经网络模型。
9.根据权利要求8所述的方法，其特征在于，所述获取图像训练样本的步骤，包括：
获取训练集和验证集，其中，所述训练集和所述验证集为对所有图像训练样本划分得到；
所述利用所述图像训练样本，对神经网络模型进行训练，得到训练后的任务模型的步骤，包括：
将所述训练集中的图像训练样本输入神经网络模型，得到模型输出；
将所述模型输出与所述图像训练样本的标注信息进行比较，得到损失值；
若所述损失值大于预设阈值，则调整所述神经网络模型的模型参数，并返回执行所述将所述训练集中的图像训练样本输入神经网络模型，得到模型输出的步骤，直至所述损失值不大于所述预设阈值或者循环次数达到上限，则停止训练，确定当前的神经网络模型为训练后的任务模型；
将所述验证集中的图像训练样本输入所述任务模型，得到任务执行结果；
对所述任务执行结果进行分析，得到所述任务模型的性能。
10.一种图像训练样本筛选装置，其特征在于，所述装置包括：
标定图像主动挑选模块，用于获取待筛选图像集；提取所述待筛选图像集中各图像的图像特征，并根据所述各图像的图像特征，确定所述各图像的类别；根据所述各图像的类别，从每一类图像中选择预设数量的图像，作为推荐图像反馈至客户端，以使用户在所述客户端上对所述推荐图像进行人工标定；
图像训练样本主动挑选模块，用于获得人工标定后的各推荐图像，并根据所述各推荐图像的标定信息，计算所述各推荐图像的不确定性；筛选所述各推荐图像中不确定性大于预设阈值的图像，作为图像训练样本。
11.一种任务模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取图像训练样本，其中，所述图像训练样本基于权利要求1-6中任一项所述的方法得到；
模型自动训练模块，用于利用所述图像训练样本，对神经网络模型进行训练，得到训练后的任务模型，其中，所述神经网络模型为预先选择的可实现指定任务的神经网络模型。
12.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一项所述的方法或者权利要求8-9任一项所述的方法。
13.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法或者权利要求8-9任一项所述的方法。
CN202110234576.4A 2021-03-03 2021-03-03 图像训练样本筛选和任务模型训练方法、装置及电子设备 Pending CN112906805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110234576.4A CN112906805A (zh) 2021-03-03 2021-03-03 图像训练样本筛选和任务模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110234576.4A CN112906805A (zh) 2021-03-03 2021-03-03 图像训练样本筛选和任务模型训练方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112906805A true CN112906805A (zh) 2021-06-04

Family

ID=76107504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110234576.4A Pending CN112906805A (zh) 2021-03-03 2021-03-03 图像训练样本筛选和任务模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112906805A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151518A1 (en) * 2018-09-17 2020-05-14 Purdue Research Foundation Regularized multi-metric active learning system for image classification
CN111539443A (zh) * 2020-01-22 2020-08-14 北京小米松果电子有限公司 一种图像识别模型训练方法及装置、存储介质
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111832613A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151518A1 (en) * 2018-09-17 2020-05-14 Purdue Research Foundation Regularized multi-metric active learning system for image classification
CN111539443A (zh) * 2020-01-22 2020-08-14 北京小米松果电子有限公司 一种图像识别模型训练方法及装置、存储介质
CN111832613A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质
CN113634876B (zh) * 2021-10-18 2021-12-28 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN108804619B (zh) 兴趣偏好预测方法、装置、计算机设备及存储介质
CN109344908B (zh) 用于生成模型的方法和装置
CN110909205B (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
EP4060607A1 (en) Information processing device, information processing method, and program
CN110856037B (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN108536784B (zh) 评论信息情感分析方法、装置、计算机存储介质和服务器
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
CN112765400B (zh) 兴趣标签的权重更新方法、内容推荐方法、装置及设备
CN105487970B (zh) 一种界面展示方法及装置
CN110458875B (zh) 异常点对的检测方法、图像拼接方法、相应装置及设备
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN108470194A (zh) 一种特征筛选方法及装置
CN112906805A (zh) 图像训练样本筛选和任务模型训练方法、装置及电子设备
CN109740621B (zh) 一种视频分类方法、装置及设备
CN113420165B (zh) 二分类模型的训练、多媒体数据的分类方法及装置
CN112434717A (zh) 一种模型训练方法及装置
Kusa et al. Vombat: A tool for visualising evaluation measure behaviour in high-recall search tasks
CN111309706A (zh) 模型训练方法、装置、可读存储介质及电子设备
CN111190801A (zh) 推荐系统测试方法、装置及电子设备
CN111597383A (zh) 一种视频热度级别预测方法及装置
CN110852384A (zh) 医学影像质量检测方法、装置和存储介质
CN113127720A (zh) 一种热搜词确定方法及装置
CN114155412A (zh) 深度学习模型迭代方法、装置、设备及存储介质
CN116450632B (zh) 地理样本数据质量评估方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination