CN113344086B - 人机回圈方法、装置、系统、电子设备和存储介质 - Google Patents

人机回圈方法、装置、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN113344086B
CN113344086B CN202110667457.8A CN202110667457A CN113344086B CN 113344086 B CN113344086 B CN 113344086B CN 202110667457 A CN202110667457 A CN 202110667457A CN 113344086 B CN113344086 B CN 113344086B
Authority
CN
China
Prior art keywords
target object
target
type
neural network
mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110667457.8A
Other languages
English (en)
Other versions
CN113344086A (zh
Inventor
林成龙
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110667457.8A priority Critical patent/CN113344086B/zh
Publication of CN113344086A publication Critical patent/CN113344086A/zh
Priority to PCT/CN2021/119968 priority patent/WO2022262141A1/zh
Application granted granted Critical
Publication of CN113344086B publication Critical patent/CN113344086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Abstract

本申请公开了人机回圈方法、装置、系统、电子设备和存储介质，其中，人机回圈方法包括：获取待处理图像；通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；利用训练数据集对至少一个神经网络进行再训练。上述方案，能够通过至少一个神经网络对待处理图像进行应用时，将待处理图像作为训练数据再次对至少一个神经网络进行训练，从而提高至少一个神经网络的应用效果。

Description

人机回圈方法、装置、系统、电子设备和存储介质
技术领域
本申请涉及人机回圈的技术领域，特别是涉及人机回圈方法、装置、系统、电子设备和存储介质。
背景技术
以深度学习为代表的人工智能技术，对数据的依赖非常明显，这也是人脸识别、语音识别、自然语言理解等技术能够快速取得突破的原因，因为这些领域已经存在大量的有学术界和工业界贡献的优质数据。
在更多实际应用领域，诸如垃圾检测、城市烟火告警、河道漂浮物检测等，却因为缺乏足够的数据，从而导致相关领域的人工智能技术进展较为迟缓。
发明内容
本申请提供一种人机回圈方法及装置、电子设备和存储介质。
本申请提供了一种人机回圈方法，包括：获取待处理图像；通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；利用训练数据集对至少一个神经网络进行再训练。
上述方案，先通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；再响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；最后利用训练数据集对至少一个神经网络进行再训练，从而通过挖掘后的目标对象提升至少一个神经网络的检测准确率，提高至少一个神经网络的可靠性。本实施例还利用训练数据集对至少一个神经网络进行再训练，从而利用至少一个神经网络推理过程中所获取的目标对象对至少一个神经网络进行再训练，从而实现至少一个神经网络的迭代升级，进而进一步提升至少一个神经网络的性能与检测效率。
其中，通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果的步骤包括：通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，确定各目标对象的初始类型，以得到预测结果；响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤包括：响应于存在初始类型的置信度小于预设阈值的目标对象，分别对各类型的目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象；利用各类型的标准特征向量对需要挖掘的目标对象进行挖掘，以确定需要挖掘的目标对象的类型，得到挖掘结果。
因此，基于置信度进行排序，依次获取前设定数量的目标对象，从而在保证一定挖掘数量的同时，提高目标对象各类型的可靠性，加速至少一个神经网络的训练效率和提高样本数据的可靠性。
其中，依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象的步骤包括：获取各类型的目标对象的需求比例；基于需求比例，以及置信度不小于预设阈值的各类型的目标对象的数量，确定从置信度小于预设阈值的目标对象中需要挖掘的各类型目标对象的设定数量。
因此，基于需求比例，以及置信度不小于置信度阈值的各类型的目标对象的数量从置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量，并基于需要挖掘的各类型目标对象的数量，利用各类型的标准特征向量对各目标对象进行挖掘，从而在一定程度上保证样本数据的丰富度，提高本次模型再训练的效率。
其中，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤之后还包括：判断各目标对象是否已被挖掘；如果目标对象未被挖掘，则接收人工对未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果；基于人工确定挖掘结果的目标对象构建训练数据集的第二部分。
因此，通过人工对未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果，从而进一步扩大训练数据集的丰富度，提高至少一个神经网络的训练效果。
其中，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤还包括：利用各类型的标准特征向量通过聚类方法对各目标对象进行挖掘。
因此，利用各类型的标准特征向量通过聚类方法对各目标对象进行挖掘，从而提高挖掘效率和可靠性。
其中，通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果的步骤还包括：通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，确定各目标对象为各个类型的置信度；将各个目标对象的置信度最大的类型确定为各个目标对象的初始类型，以得到预测结果；响应于存在初始类型的置信度不小于预设阈值的目标对象，将初始类型确定为目标对象的类型；基于初始类型确定类型的目标对象构建训练数据集的第三部分。
因此，将各个目标对象的概率最大的类型确定为各个目标对象的初始类型，从而提高各目标对象的初始类型的可靠性。
其中，利用训练数据集对至少一个神经网络进行再训练的步骤包括：对训练数据集进行目标对象的检测，以将训练数据集划分为存在目标对象的正样本图片以及不存在目标对象的负样本图片；判断正样本图片与负样本图片之间的第一数量比例是否为第一设定比例；如果正样本图片与负样本图片之间的第一数量比例不为第一设定比例，则通过重采样或/和部分随机采样的方法调整正样本图片或负样本图片的数量，以使正样本图片与负样本图片之间的第一数量比例为第一设定比例；基于第一设定比例的正样本图片与负样本图片对至少一个神经网络进行再训练。
因此，通过将正样本图片与负样本图片之间的第一数量比例调整为第一设定比例从而减少正样本图片与负样本图片之间不均衡的现象发生。
其中，利用训练数据集对至少一个神经网络进行再训练的步骤还包括：判断确定类型的目标对象的各类型之间的第二数量比例是否为第二设定比例；如果目标对象的各类型的第二数量比例不为设定比例，则通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第二数量比例为第二设定比例；通过第二设定比例的不同类型的目标对象对至少一个神经网络进行再训练。
因此，通过将确定类型的目标对象的各类型之间的第二数量比例调整为第二设定比例，减少各类型之间不均衡的现象发生。
其中，获取到待处理图像的步骤之前包括：获取到原始训练样本，其中，原始训练样本为已标注目标对象类型的样本；判断不同类型的目标对象的第三数量比例是否为第三设定比例；如果不同类型的目标对象的第三数量比例不为第三设定比例，通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第三数量比例为第三设定比例；通过第三设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。
因此，通过将原始训练样本中不同类型的目标对象的第三数量比例调整为第三设定比例以均衡至少一个神经网络对各类型的训练样本，使得至少一个神经网络的训练更加全面。
本申请还提供了一种人机回圈装置，人机回圈装置包括：获取模块，用于获取待处理图像；推理模块，用于通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；挖掘模块，用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；训练模块，用于利用训练数据集对至少一个神经网络进行再训练。
本申请还提供了一种人机回圈系统，包括推理平台，用于获取待处理图像以及通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；标注平台，用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；训练平台，用于利用训练数据集对至少一个神经网络进行再训练。
本申请还提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述人机回圈方法。
本申请还提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上人机回圈方法。
上述方案，先通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；再响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；最后利用训练数据集对至少一个神经网络进行再训练，从而通过挖掘后的目标对象提升至少一个神经网络的检测准确率，提高至少一个神经网络的可靠性。本实施例还利用训练数据集对至少一个神经网络进行再训练，从而利用至少一个神经网络推理过程中所获取的目标对象对至少一个神经网络进行再训练，从而实现至少一个神经网络的迭代升级，进而进一步提升至少一个神经网络的性能与检测效率。
附图说明
图1是本申请人机回圈方法一实施例的流程示意图；
图2是本申请人机回圈方法另一实施例的流程示意图；
图3是图2实施例中至少一个神经网络获取方式一实施例的流程示意图；
图4是图2实施例的人机回圈方法一实施方式的流程示意图；
图5是本申请人机回圈装置一实施例的框架示意图；
图6是本申请人机回圈系统一实施例的框架示意图；
图7是本申请人机回圈系统另一实施例的框架示意图；
图8是本申请电子设备一实施例的框架示意图；
图9为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，可以存在三种关系，例如，A和/或B，可以：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般前后关联对象是一种“或”的关系。此外，本文中的“多”两个或者多于两个。
请参阅图1，图1是本申请人机回圈方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S11：获取待处理图像。
而本实施例的待处理图像与目标任务相对应。在一个具体的应用场景中，当目标任务为垃圾分类检测时，待处理图像为垃圾图像。在另一个具体的应用场景中，当目标任务为城市烟火检测时，待处理图像为城市烟火图像。在另一个具体的应用场景中，当目标任务为河道漂浮物检测时，待处理图像为河道图像。至少一个神经网络的具体对象与领域在此不做限定。
本步骤中，先获取到待处理图像，其中，待处理图像是至少一个神经网络进行应用后。在应用环境中获取到的图像。在一个具体的应用场景中，当至少一个神经网络为河道漂浮物检测模型时，将河道漂浮物检测模型应用于某条河道的环境检测后，待处理图像为应用河道漂浮物检测模型后基于该河道所拍摄的图片。
步骤S12：通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果。
本实施例的至少一个神经网络可以应用于多种领域，对待处理图像进行推理预测，得到预测结果。也就是本实施例的执行目标任务所对应的神经网络至少为一个，例如当目标任务为人脸识别任务时，用于执行该任务的神经网络至少为两个，即至少包括用于检测人脸的神经网络和用于识别人脸的神经网络；或当目标任务为时车牌识别任务时，用于执行该任务的神经网络至少为三个，即至少包括用于车辆识别的神经网络、用于车牌识别的神经网络以及用于文字识别的神经网络，等等，具体的神经网络的类型和数量根据具体的目标任务的类型进行设置，本实施例在此不做限制。
获取到待处理图像后，通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，以得到各目标对象的预测结果。其中，目标对象为待处理图像上的目标物，其由至少一个神经网络的应用对象而定。其中，本实施例的推理过程基于目标任务的具体任务进行设置，例如：当目标任务用于检测时，推理过程为检测目标对象；当目标任务用于检测和识别时，推理过程为检测并识别目标对象。
步骤S13：响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分。
获取各目标对象的预测结果后，响应于各目标对象中存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对置信度小于预设阈值的目标对象进行挖掘，来确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分。预设阈值为置信度的阈值，具体大小可以基于实际应用进行设置，再次不做限定。
其中，预测结果的置信度小于预设阈值的目标对象，即无法依靠置信度判断出目标对象的预测结果，则通过标准特征向量对置信度小于预设阈值的目标对象进行挖掘，从而确定目标对象的挖掘结果。
而本实施例的第一部分为训练数据集的至少一部分，具体可以为部分或全部。在一个具体的应用场景中，训练数据集可以只包括本步骤的挖掘结果。在另一个具体的应用场景中，训练数据集可以包括本步骤的挖掘结果和获得至少一个神经网络前所使用的训练数据。训练数据集的全部组成在此不做限定。
步骤S14：利用训练数据集对至少一个神经网络进行再训练。
利用训练数据集对至少一个神经网络进行再训练，从而能利用挖掘的目标对象对至少一个神经网络进行迭代升级，从而使至少一个神经网络的应用效果得到进一步提升。
通过上述方法，本实施例的人机回圈方法先通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；再响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；最后利用训练数据集对至少一个神经网络进行再训练，从而通过挖掘后的目标对象提升至少一个神经网络的检测准确率，提高至少一个神经网络的可靠性。本实施例还利用训练数据集对至少一个神经网络进行再训练，从而利用至少一个神经网络推理过程中所获取的目标对象对至少一个神经网络进行再训练，从而实现至少一个神经网络的迭代升级，进而进一步提升至少一个神经网络的性能与检测效率。
请参阅图2，图2是本申请人机回圈方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S21：获取待处理图像。
对至少一个神经网络进行部署应用，在至少一个神经网络的推理过程中，获取到待处理图像。当待处理图像的获取数量达到设定值时，即开启至少一个神经网络的升级迭代步骤，而当待处理图像的获取数量没有达到设定值时，本实施例的至少一个神经网络只输出待处理图像的检测结果。其中，设定值可以基于实际应用而定，在此不做限定。
本步骤与上述实施例的步骤S11相同，具体请参阅前文，在此不再赘述。
在本实施例中，将以至少一个神经网络应用于目标对象的类型确定的场景进行说明，当至少一个神经网络应用于其他方面时，执行步骤与本实施例类似。
步骤S22：通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，确定各目标对象的初始类型。
本实施例的至少一个神经网络可以为深度学习网络模型，具体地可以利用卷积神经网络、递归升级网络等网络结构构建而成的复合网络框架。也可以为单独深度学习网络为模板构建的网络模型，在此不做限定。
先通过至少一个神经网络对待处理图像进行目标对象的检测推理，从而判断待处理图像上是否存在目标对象。如果待处理图像上不存在目标对象，则对该类待处理图像不进行后续检测。如果待处理图像上存在目标对象，则进一步通过至少一个神经网络对存在目标对象的待处理图像中的各目标对象进行特征提取。其中，当一张待处理图像上存在目标对象时，其图片上可能存在不止一个目标对象。在一个具体的应用场景中，当待处理图像为垃圾图片时，垃圾图片上的垃圾可能存在有多个。
通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，得到各目标对象的特征向量，并通过特征向量确定各目标对象为各个类型的置信度。其中各个类型是至少一个神经网络的检测目标对象所需要划分的类型。各个类型的概率之和为1，即在本步骤中会确定目标对象的类型属于每个类型的概率。在一个具体的应用场景中，当检测场景为垃圾检测时，而垃圾类型共有5个时，则会获取到目标对象属于这5个垃圾类型的5个概率，这5个概率之和为1。
在获得了各目标对象为各个类型的置信度后，将各个目标对象的置信度最大的类型确定为各个目标对象的初始类型。在一个具体的应用场景中，在垃圾检测中，某个目标对象属于各类型的概率分别为：瓶子：30％、纸张：5％、塑料板：20％、盒子：41％以及棍子：4％，则将最大的概率41％所对应的盒子类型确定为该目标对象的初始类型。
其中，初始类型则为各目标对象的各划分类别，其基于实际应用中的划分标准而定，在此不做限定。在一个具体的应用场景中，当至少一个神经网络为河道漂浮物检测模型时，待处理图像中的目标对象即为河道漂浮物。当河道漂浮物的划分标准为固液划分时，各目标对象的初始类型可以为液态或固态。
目标对象的初始类型可以不是目标对象最终所确定的类型。在一个具体的应用场景中，可以通过至少一个神经网络检测目标对象与各类型之间的置信度，各类型之间的置信度相加等于1，从而将置信度最大的类型作为目标对象的初始类型。在另一个具体的应用场景中，也可以将目标对象的特征与各类型之间的特征进行比对，将与目标对象的特征最为相似的类型作为目标对象的初始类型。在此不再限定。
在一个具体的应用场景中，可以通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，并利用提取到的特征确定目标对象与各类型之间的置信度。在一个具体的应用场景中，当判断河道漂浮物的初始类型时，先获取到的类型置信度可以为液态：30％，固态：70％。
步骤S23：响应于存在初始类型的置信度小于预设阈值的目标对象，获取各类型的目标对象的需求比例，基于需求比例，以及置信度不小于预设阈值的各类型的目标对象的数量，确定从置信度小于预设阈值的目标对象中需要挖掘的各类型目标对象的设定数量。
判断各目标对象的初始类型所对应的置信度是否小于置信度阈值。如果存在初始类型的置信度小于预设阈值的目标对象，则先获取到各类型的目标对象的需求比例，并基于需求比例，以及置信度不小于置信度阈值的各类型的目标对象的数量，确定从置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量。
其中，需求比例可以根据实际应用的需求进行设置。例如，当目标对象的类型共有3种时，每种类型的需求比例可以为1:1:1。具体的需求比例在此不做限定。
而由于每次实际应用中所获取置信度不小于置信度阈值的各类型的目标对象的数量不定，因此，对置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量由需求比例与置信度不小于置信度阈值的各类型的目标对象的数量共同确定。在一个具体的应用场景中，当类型种类为两种，而需求比例为1比1，置信度不小于置信度阈值的各类型的目标对象中两类型之间的数量200和100时，则可以在置信度小于置信度阈值的目标对象中对应挖掘100和200的两类型的目标对象的数量，使得最终所得到的两类型之间的数量比例为需求比例。
其中确定了置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量后，并将该数量作为各类型的设定数量。
步骤S24：分别对各类型的目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列，依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象。
获取了各类型的设定数量后分别对各类型的目标对象的置信度和/或信息熵进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象。
步骤S25：利用各类型的标准特征向量对需要挖掘的目标对象进行挖掘，以确定需要挖掘的目标对象的类型，得到挖掘结果。
当确定了需要进行特征挖掘的目标对象后，可以利用各类型的标准特征向量通过聚类方法对各目标对象进行挖掘。其中，聚类方法可以为k-means算法、k-medoids算法、k-median算法、k-center算法或其他聚类算法等，在此不做限定。
在一个具体的应用场景中，可以通过各类型的标准特征向量对各目标对象的类型进行比对判断，根据各目标对象的特征向量与各类型的标准特征向量之间的相似度确定目标对象的类型，将与目标对象特征向量相似度最高的标准特征向量所对应的类型作为该目标对象的类型，从而完成该目标对象的挖掘，重复上述过程，直到挖掘够各类型设定数量的目标对象或耗尽所有目标对象，从而得到挖掘结果。
在一个具体的应用场景中，当至少一个神经网络通过上述方式确定了待处理图像中目标对象的类型之后，至少一个神经网络将目标对象的类型进行输出，从而完成至少一个神经网络的实际应用作业。
步骤S26：判断各目标对象是否已被挖掘。
判断置信度小于预设阈值的各目标对象是否已被挖掘，也就是判断置信度小于预设阈值的各目标对象是否通过步骤S25进行挖掘。如果目标对象未被挖掘，则执行步骤S27，如果目标对象被挖掘，则执行步骤S28。
步骤S27：接收人工对未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果，基于人工确定挖掘结果的目标对象构建训练数据集的第二部分。
如果置信度小于预设阈值的目标对象中存在目标对象未进行挖掘，也就是各类型的目标对象中存在排序序列前设定数量以外的目标对象，接收人工对上述未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果，并基于人工确定挖掘结果的目标对象构建训练数据集的第二部分。
步骤S28：基于挖掘结果构建训练数据集的第一部分。
如果置信度小于预设阈值的目标对象中存在目标对象进行了挖掘，确定了上述目标对象的挖掘结果，则基于上述目标对象的挖掘结果构建训练数据集的第一部分。
步骤S29：响应于存在初始类型的置信度不小于预设阈值的目标对象，将初始类型确定为目标对象的类型，基于初始类型确定类型的目标对象构建训练数据集的第三部分。
通过至少一个神经网络对待处理图像中的各目标对象进行特征提取后，响应于存在初始类型的置信度不小于预设阈值的目标对象，将初始类型确定为目标对象的类型，基于初始类型确定为类型的目标对象构建训练数据集的第三部分。其中，本步骤在步骤S22-步骤S30之间执行即可，本实施例不对其具体执行顺序作限定。
将目标对象中置信度最大的类型确定为初始类型，并判断初始类型的置信度是否小于置信度阈值。在一个具体的应用场景中，当目标对象属于某类型的置信度最大，且为95％，则判断置信度95％是否小于置信度阈值80％。其中，置信度阈值可以根据实际情况进行设置，例如：70％、80％或65％等，在此不做限定。
步骤S30：利用训练数据集对至少一个神经网络进行再训练。
利用训练数据集对至少一个神经网络进行再训练，其中，本实施例的训练数据集至少包括基于所挖掘结果构建训练数据集的第一部分、基于人工确定挖掘结果的目标对象构建训练数据集的第二部分以及基于初始类型确定类型的目标对象构建训练数据集的第三部分。在其他实施例中，训练数据集还可以包括至少一个神经网络的原始数据和基于所挖掘结果构建训练数据集的第一部分、基于人工确定挖掘结果的目标对象构建训练数据集的第二部分以及基于初始类型确定类型的目标对象构建训练数据集的第三部分。
在一个具体的应用场景中，对待处理图像进行目标对象的检测，以将待处理图像划分为存在目标对象的正样本图片以及不存在目标对象的负样本图片；并判断正样本图片与负样本图片之间的第一数量比例是否为第一设定比例；
如果正样本图片与负样本图片之间的第一数量比例不为第一设定比例，则通过重采样或/和部分随机采样的方法调整正样本图片或负样本图片的数量，以使正样本图片与负样本图片之间的第一数量比例为第一设定比例；基于第一设定比例的正样本图片与负样本图片对至少一个神经网络进行再训练。
在一个具体的应用场景中，当正负样本图片之间的第一设定比例为1比1时，而正样本图片的数量为10，负样本图片的数量为100，则可以对正样本图片进行重采样，例如采样10次，使得正负样本图片之间的数量比例符合一比一。或对负样本图片进行随机采样，例如10比1的随机采样比例只采样部分负样本图片，使得正负样本图片之间的数量比例符合一比一。
通过上述方法，来改变训练数据中的不均衡现象。
在一个具体的应用场景中，当正负样本图片之间的第一数量比例为第一设定比例之后，还可以对正样本图片之间各类型的图片进行重采样或部分随机采样，使得正样本图片内部均衡。具体地，可以判断确定类型的目标对象的各类型之间的第二数量比例是否为第二设定比例；如果目标对象的各类型的第二数量比例不为设定比例，则通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第二数量比例为第二设定比例；最后通过第二设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。其中，具体地重采样与部分随机采样的方式与前述应用场景中正负样本图片之间的采样方法相同，请参阅前文，在此不再赘述。
请参阅图3，图3是图2实施例中至少一个神经网络获取方式一实施例的流程示意图。
步骤S31：获取到原始训练样本，其中，原始训练样本为已标注目标对象类型的样本。
先获取到原始训练样本，其中，原始训练样本为已经被标注了目标对象类型的样本。其中，在一个具体的应用场景中，可以通过人工标注的方式对样本进行人工标注，从而得到被标注了目标对象，以及各目标对象所属类型的原始训练样本。在另一个具体的应用场景中，也可以通过其他分类模型对样本进行标注，从而得到被标注了目标对象，以及各目标对象所属类型的原始训练样本。原始训练样本的标注方式在此不做限定。
步骤S32：判断不同类型的目标对象的第三数量比例是否为第三设定比例。
判断原始训练样本中各不同类型的目标对象之间的第三数量比例是否为第三设定比例。其中，第三设定比例可以根据实际训练需求进行设定，例如：各类型之间为等比例设定，或按照不同类型的训练难度增加某些类型的设定比例，在此不做限定。
步骤S33：如果不同类型的目标对象的第三数量比例不为第三设定比例，通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第三数量比例为第三设定比例。
当判断出不同类型的目标对象的第三数量比例不为第三设定比例，通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第三数量比例为第三设定比例。
其中，在本步骤中，同样可以将原始训练样本中的正负样本图片之间的比例通过重采样或/和部分随机采样进行调整，再对正样本之间的各类型之间的第三数量比例通过重采样或/和部分随机采样进行调整，使其为第三设定比例，从而满足训练要求。根据上述的两个步骤采样的后的数据可以缓解正负样本图片以及各类型之间的不均衡现象，采样得到训练数据之后可以进行深度学习网络训练，从而得到图2中的至少一个神经网络。
而当不同类型的目标对象的数量比例为第三设定比例，则直接执行步骤S34。
步骤S34：通过第三设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。
通过已满足第三设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。其中，初始网络可以为深度学习网络模型，具体地可以利用卷积神经网络、递归升级网络等网络结构构建而成的复合网络框架。也可以为单独深度学习网络为模板构建的网络模型，在此不做限定。
通过上述方法，本实施例的人机回圈方法先利用原始训练样本对初始网络进行训练得到至少一个神经网络，将至少一个神经网络进行部署，从而在至少一个神经网络的正常应用过程中获取设定值的待处理图像，通过至少一个神经网络对待处理图像进行目标对象的检测和各目标对象的类型确定，从而使用主动学习技术，完成数据挖掘，能够有效筛选数据，降低标注成本，提升数据质量。再将确定了类型的目标对象通过人工进行复核，从而进一步提高目标对象类别的准确率，最后还通过对目标对象进行重采样或部分随机采样，从而采用重采样训练技术，能够缓解正负样本以及各类型之间不均衡现象。利用采样后的目标对象对至少一个神经网络进行训练，从而完成至少一个神经网络的迭代升级，本实施例通过人机回圈的标注方式，打通了至少一个神经网络的推理过程和训练过程，使得模型生产和迭代的全流程更加高效，而今提升至少一个神经网络的性能。当至少一个神经网络的过程中获得设定值的待处理图像，至少一个神经网络就能一直循环迭代更新下去，从而使得至少一个神经网络的性能与检测准确率得到一定程度的循环提升。
请参阅图4，图4是图2实施例的人机回圈方法一实施方式的流程示意图。本实施方式将以至少一个神经网络为河道漂浮物检测模型为例，进行具体说明，具体而言，可以包括如下步骤：
步骤S41：利用原始训练样本对初始网络进行训练，得到河道漂浮物检测模型。
利用原始训练样本对初始网络进行训练。具体地，可以通过人工标注对原始训练样本进行标注，从而得到被准确标注类别的原始训练样本，利用被准确标注类别的原始训练样本对初始网络进行训练，得到河道漂浮物检测模型。
步骤S42：获取待处理图像。
将步骤S41获得的河道漂浮物检测模型应用于河道漂浮物检测场景中，对应用后获取得到的待处理图像进行检测，以确定待处理图像上河道漂浮物的类别。
步骤S43：通过河道漂浮物检测模型对待处理图像进行特征提取，确定各目标对象的类型。
通过河道漂浮物检测模型对待处理图像进行目标对象的检测推理，从而判断待处理图像上是否存在目标对象，即河道漂浮物。如果待处理图像上不存在目标对象，则对该类待处理图像不进行后续检测。
通过河道漂浮物检测模型对待处理图像中的各目标对象进行特征提取，得到各目标对象的特征向量，并通过特征向量确定各目标对象为各个类型的概率。在获得了各目标对象为各个类型的概率后，将各个目标对象的概率最大的类型确定为各个目标对象的初始类型。
如果目标对象的初始类型的置信度不小于置信度阈值时，将目标对象的初始类型确定为该目标对象的最终类型。
步骤S44：将各目标对象的类型进行输出。
将各目标对象的最终类型进行输出，完成河道漂浮物检测模型河道漂浮物的检测。
步骤S45：判断待处理图像的数量是否满足设定值。
判断河道漂浮物检测模型应用后新获取的待处理图像的数量是否满足设定值。其中，设定值可以根据实际应用而定，例如：1000张、2000张等，在此不做限定。
如果不满足则执行步骤S42，以继续获取待处理图像，如果满足，则执行步骤S46。
步骤S46：对待检测图片进行挖掘，以确定目标对象的类型。
判断各目标对象的初始类型所对应的置信度是否小于置信度阈值时。如果目标对象的初始类型小于置信度阈值，则获取各类型的目标对象的需求比例，基于需求比例，以及置信度不小于置信度阈值的各类型的目标对象的数量，确定从置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量。
在确定了设定数量的目标对象的类型后，将设定数量的目标对象与置信度不小于置信度阈值的目标对象进行合并，得到训练数据。
通过人工对置信度小于置信度阈值的目标对象中未被挖掘的各目标对象的类型进行标注确定。从而在一定程度上保证各目标对象的类型的准确性。同时，通过河道漂浮物检测模型对目标对象的类型进行确定以提高对目标对象的检测的全面性并反馈河道漂浮物检测模型的检测准确性。并实现河道漂浮物检测模型训练升级的人机回圈。
步骤S47：对确定类型的目标对象进行采样，得到训练数据。
对待处理图像进行目标对象的检测，以将待处理图像划分为存在目标对象的正样本图片以及不存在目标对象的负样本图片；并判断正样本图片与负样本图片之间的第一数量比例是否为第一设定比例；
如果正样本图片与负样本图片之间的第一数量比例不为第一设定比例，则通过重采样或/和部分随机采样的方法调整正样本图片或负样本图片的数量，以使正样本图片与负样本图片之间的第一数量比例为第一设定比例；基于第一设定比例的正样本图片与负样本图片对河道漂浮物检测模型进行再训练。
在一个具体的应用场景中，当正负样本图片之间的第一数量比例为第一设定比例之后，还可以对正样本图片之间各类型的图片进行重采样或随机采样，使得正样本图片内部均衡。具体地，可以判断确定类型的目标对象的各类型之间的第二数量比例是否为第二设定比例；如果目标对象的各类型的第二数量比例不为设定比例，则通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第二数量比例为第二设定比例；最后通过第二设定比例的不同类型的目标对象对初始网络进行训练，得到河道漂浮物检测模型。其中，具体地重采样与部分随机采样的方式与前述应用场景中正负样本图片之间的采样方法相同，请参阅前文，在此不再赘述。
步骤S48：通过采样后的训练数据对河道漂浮物检测模型进行训练。
通过已满足各设定比例的不同类型的目标对象对河道漂浮物模型进行训练，以对河道漂浮物模型极性升级迭代。
通过上述方式，本实施例的河道漂浮物检测模型先利用原始训练样本对初始网络进行训练得到河道漂浮物检测模型，将河道漂浮物检测模型进行部署，从而在河道漂浮物检测模型的正常应用过程中获取设定值的待处理图像，通过河道漂浮物检测模型对待处理图像进行目标对象的检测和各目标对象的类型确定，从而使用主动学习技术，完成数据挖掘，能够有效筛选数据，降低标注成本，提升数据质量。再通过人工对置信度小于置信度阈值的目标对象中未被挖掘的各目标对象的类型进行标注确定，从而进一步提高目标对象类别的准确率，最后还通过对目标对象进行重采样或部分随机采样，从而采用重采样训练技术，能够缓解正负样本以及各类型之间不均衡现象。利用采样后的目标对象对河道漂浮物检测模型进行训练，从而完成河道漂浮物检测模型的迭代升级，本实施例通过人机回圈的标注方式，打通了河道漂浮物检测模型的推理过程和训练过程，使得模型生产和迭代的全流程更加高效，而今提升河道漂浮物检测模型的性能。当河道漂浮物检测模型的过程中获得设定值的待处理图像，河道漂浮物检测模型就能一直循环迭代更新下去，从而使得河道漂浮物检测模型的性能与检测准确率得到一定程度的循环提升。
请参阅图5，图5是本申请人机回圈装置一实施例的框架示意图。人机回圈装置50包括获取模块51、推理模块52、挖掘模块53和训练模块54，获取模块51用于获取待处理图像；推理模块52用于通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；挖掘模块53响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；训练模块54，用于利用训练数据集对至少一个神经网络进行再训练。
上述方案，先通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；再响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；最后利用训练数据集对至少一个神经网络进行再训练，从而通过挖掘后的目标对象提升至少一个神经网络的检测准确率，提高至少一个神经网络的可靠性。本实施例还利用训练数据集对至少一个神经网络进行再训练，从而利用至少一个神经网络推理过程中所获取的目标对象对至少一个神经网络进行再训练，从而实现至少一个神经网络的迭代升级，进而进一步提升至少一个神经网络的性能与检测效率。
在一些实施例中，通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果的步骤包括：通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，确定各目标对象的初始类型，以得到预测结果；响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤包括：响应于存在初始类型的置信度小于预设阈值的目标对象，分别对各类型的目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象；利用各类型的标准特征向量对需要挖掘的目标对象进行挖掘，以确定需要挖掘的目标对象的类型，得到挖掘结果。
区别于前述实施例，基于置信度进行排序，依次获取前设定数量的目标对象，从而在保证一定挖掘数量的同时，提高目标对象各类型的可靠性，加速至少一个神经网络的训练效率和提高样本数据的可靠性。
在一些实施例中，依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象的步骤包括：获取各类型的目标对象的需求比例；基于需求比例，以及置信度不小于预设阈值的各类型的目标对象的数量，确定从置信度小于预设阈值的目标对象中需要挖掘的各类型目标对象的设定数量。
区别于前述实施例，基于需求比例，以及置信度不小于置信度阈值的各类型的目标对象的数量从置信度小于置信度阈值的目标对象中需要挖掘的各类型目标对象的数量，并基于需要挖掘的各类型目标对象的数量，利用各类型的标准特征向量对各目标对象进行挖掘，从而在一定程度上保证样本数据的丰富度，提高本次模型再训练的效率。
在一些实施例中，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤之后还包括：判断各目标对象是否已被挖掘；如果目标对象未被挖掘，则接收人工对未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果；基于人工确定挖掘结果的目标对象构建训练数据集的第二部分。
区别于前述实施例，通过人工对未被确定类型的目标对象的类型的标注，以通过人工确定目标对象的挖掘结果，从而进一步扩大训练数据集的丰富度，提高至少一个神经网络的训练效果。
在一些实施例中，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果的步骤还包括：利用各类型的标准特征向量通过聚类方法对各目标对象进行挖掘。
区别于前述实施例，利用各类型的标准特征向量通过聚类方法对各目标对象进行挖掘，从而提高挖掘效率和可靠性。
在一些实施例中，通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果的步骤还包括：通过至少一个神经网络对待处理图像中的各目标对象进行特征提取，确定各目标对象为各个类型的置信度；将各个目标对象的置信度最大的类型确定为各个目标对象的初始类型，以得到预测结果；响应于存在初始类型的置信度不小于预设阈值的目标对象，将初始类型确定为目标对象的类型；基于初始类型确定类型的目标对象构建训练数据集的第三部分。
区别于前述实施例，将各个目标对象的概率最大的类型确定为各个目标对象的初始类型，从而提高各目标对象的初始类型的可靠性。
在一些实施例中，利用训练数据集对至少一个神经网络进行再训练的步骤包括：对训练数据集进行目标对象的检测，以将训练数据集划分为存在目标对象的正样本图片以及不存在目标对象的负样本图片；判断正样本图片与负样本图片之间的第一数量比例是否为第一设定比例；如果正样本图片与负样本图片之间的第一数量比例不为第一设定比例，则通过重采样或/和部分随机采样的方法调整正样本图片或负样本图片的数量，以使正样本图片与负样本图片之间的第一数量比例为第一设定比例；基于第一设定比例的正样本图片与负样本图片对至少一个神经网络进行再训练。
区别于前述实施例，通过将正样本图片与负样本图片之间的第一数量比例调整为第一设定比例从而减少正样本图片与负样本图片之间不均衡的现象发生。
在一些实施例中，利用确定类型的目标对象对至少一个神经网络进行再训练的步骤还包括：判断确定类型的目标对象的各类型之间的第二数量比例是否为第二设定比例；如果目标对象的各类型的第二数量比例不为设定比例，则通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第二数量比例为第二设定比例；通过第二设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。
区别于前述实施例，通过将确定类型的目标对象的各类型之间的第二数量比例调整为第二设定比例，减少各类型之间不均衡的现象发生。
在一些实施例中，获取到待处理图像的步骤之前包括：获取到原始训练样本，其中，原始训练样本为已标注目标对象类型的样本；判断不同类型的目标对象的第三数量比例是否为第三设定比例；如果不同类型的目标对象的第三数量比例不为第三设定比例，通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使不同类型的目标对象的第三数量比例为第三设定比例；通过第三设定比例的不同类型的目标对象对初始网络进行训练，得到至少一个神经网络。
区别于前述实施例，通过将原始训练样本中不同类型的目标对象的第三数量比例调整为第三设定比例以均衡至少一个神经网络对各类型的训练样本，使得至少一个神经网络的训练更加全面。
请参阅图6，图6是本申请人机回圈系统一实施例的框架示意图。
人机回圈系统60包括相互通信连接的推理平台63、标注平台61以及训练平台62。其中，推理平台63用于获取待处理图像以及通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果；标注平台61，用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；训练平台62用于利用训练数据集对至少一个神经网络进行再训练。
上述方案，能够通过至少一个神经网络对待处理图像进行应用时，将待处理图像作为训练数据再次对至少一个神经网络进行训练，从而提高至少一个神经网络的应用效果。
请参阅图7，图7是本申请人机回圈系统另一实施例的框架示意图。
人机回圈系统70包括图形化界面GUI71、业务层72、平台层73、调度层74以及硬件层75。图形化界面GUI71是指采用图形方式显示的计算机操作用户界面，用于接收用户操作。业务层72包括资源中心、用户中心以及权限中心，资源中心用于管理系统资源，用户中心用于管理用户信息，权限中心用于管理权限。
平台层73包括标注平台、训练平台以及推理平台。平台层73用于实现上述任一实施例的人机回圈方法。在一个具体的应用场景中，推理平台可用于获取待处理图像以及通过目标任务对应的至少一个神经网络对待处理图像中的各目标对象进行推理，得到各目标对象的预测结果标注平台可以用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对目标对象进行挖掘，确定目标对象的挖掘结果，以基于挖掘结果构建训练数据集的第一部分；训练平台可以利用训练数据集对至少一个神经网络进行再训练。
调度层74用于对人机回圈系统70进行调度，本实施例中可以采用kubernetes调度机制进行调度。硬件层75包括CPU、GPU、NAS。通过上述硬件来实现人机回圈系统70的应用实现。
上述方案，能够通过至少一个神经网络对待处理图像进行应用时，将待处理图像作为训练数据再次对至少一个神经网络进行训练，从而提高至少一个神经网络的应用效果。
请参阅图8，图8是本申请电子设备一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一人机回圈方法实施例的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一人机回圈方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
上述方案，能够提高至少一个神经网络的性能和准确性。
请参阅图9，图9为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一人机回圈方法实施例的步骤。
上述方案，能够提高至少一个神经网络的性能和准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种人机回圈方法，其特征在于，包括：
获取待处理图像；
通过目标任务对应的至少一个神经网络对所述待处理图像中的各目标对象进行推理，得到所述各目标对象的预测结果；
响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果，以基于所述挖掘结果构建训练数据集的第一部分；
利用所述训练数据集对所述至少一个神经网络进行再训练；
其中，所述利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果的步骤包括：
分别对各类型的所述目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象；利用各类型的标准特征向量对所述需要挖掘的目标对象进行挖掘，以确定所述需要挖掘的目标对象的类型，得到所述挖掘结果。
2.根据权利要求1所述的人机回圈方法，其特征在于，所述通过目标任务对应的至少一个神经网络对所述待处理图像中的各目标对象进行推理，得到所述各目标对象的预测结果的步骤包括：
通过所述至少一个神经网络对所述待处理图像中的各目标对象进行特征提取，确定所述各目标对象的初始类型，以得到所述预测结果。
3.根据权利要求1所述的人机回圈方法，其特征在于，所述依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象的步骤包括：
获取各类型的目标对象的需求比例；
基于所述需求比例，以及置信度不小于所述预设阈值的各类型的目标对象的数量，确定从置信度小于所述预设阈值的目标对象中需要挖掘的各类型目标对象的设定数量。
4.根据权利要求1所述的人机回圈方法，其特征在于，所述利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果的步骤之后还包括：
判断所述各目标对象是否已被挖掘；
如果所述目标对象未被挖掘，则接收人工对未被确定类型的目标对象的类型的标注，以通过人工确定所述目标对象的挖掘结果；
基于人工确定挖掘结果的目标对象构建训练数据集的第二部分。
5.根据权利要求1所述的人机回圈方法，其特征在于，所述利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果的步骤还包括：
利用各类型的标准特征向量通过聚类方法对所述各目标对象进行挖掘。
6.根据权利要求1所述的人机回圈方法，其特征在于，所述通过目标任务对应的至少一个神经网络对所述待处理图像中的各目标对象进行推理，得到所述各目标对象的预测结果的步骤还包括：
通过所述至少一个神经网络对所述待处理图像中的各目标对象进行特征提取，确定所述各目标对象为各个类型的置信度；将各个目标对象的置信度最大的类型确定为所述各个目标对象的初始类型，以得到所述预测结果；
响应于存在初始类型的置信度不小于预设阈值的目标对象，将所述初始类型确定为所述目标对象的类型；
基于所述初始类型确定类型的目标对象构建训练数据集的第三部分。
7.根据权利要求1-6任一项所述的人机回圈方法，其特征在于，所述利用所述训练数据集对所述至少一个神经网络进行再训练的步骤包括：
对所述训练数据集进行目标对象的检测，以将所述训练数据集划分为存在所述目标对象的正样本图片以及不存在所述目标对象的负样本图片；
判断所述正样本图片与所述负样本图片之间的第一数量比例是否为第一设定比例；
如果所述正样本图片与所述负样本图片之间的第一数量比例不为第一设定比例，则通过重采样或/和部分随机采样的方法调整所述正样本图片或所述负样本图片的数量，以使所述正样本图片与所述负样本图片之间的第一数量比例为所述第一设定比例；
基于所述第一设定比例的所述正样本图片与所述负样本图片对所述至少一个神经网络进行再训练。
8.根据权利要求1-6任一项所述的人机回圈方法，其特征在于，所述利用所述训练数据集对所述至少一个神经网络进行再训练的步骤还包括：
判断确定类型的目标对象的各类型之间的第二数量比例是否为第二设定比例；
如果所述目标对象的各类型的第二数量比例不为所述设定比例，则通过重采样或/和部分随机采样的方法调整不同类型的目标对象的数量，以使所述不同类型的目标对象的第二数量比例为所述第二设定比例；
通过所述第二设定比例的所述不同类型的目标对象对所述至少一个神经网络进行再训练。
9.根据权利要求1-6任一项所述的人机回圈方法，其特征在于，所述获取到待处理图像的步骤之前包括：
获取到原始训练样本，其中，所述原始训练样本为已标注目标对象类型的样本；
判断不同类型的目标对象的第三数量比例是否为第三设定比例；
如果所述不同类型的目标对象的第三数量比例不为所述第三设定比例，通过重采样或/和部分随机采样的方法调整所述不同类型的目标对象的数量，以使所述不同类型的目标对象的第三数量比例为所述第三设定比例；
通过所述第三设定比例的所述不同类型的目标对象对初始网络进行训练，得到所述至少一个神经网络。
10.一种人机回圈装置，其特征在于，所述人机回圈装置包括：
获取模块，用于获取待处理图像；
推理模块，用于通过目标任务对应的至少一个神经网络对所述待处理图像中的各目标对象进行推理，得到所述各目标对象的预测结果；
挖掘模块，用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果，以基于所述挖掘结果构建训练数据集的第一部分；
训练模块，用于利用所述训练数据集对所述至少一个神经网络进行再训练；
其中，所述利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果的步骤包括：
分别对各类型的所述目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象；利用各类型的标准特征向量对所述需要挖掘的目标对象进行挖掘，以确定所述需要挖掘的目标对象的类型，得到所述挖掘结果。
11.一种人机回圈系统，其特征在于，所述人机回圈系统包括：
推理平台，用于获取待处理图像以及通过目标任务对应的至少一个神经网络对所述待处理图像中的各目标对象进行推理，得到所述各目标对象的预测结果；
标注平台，用于响应于存在预测结果的置信度小于预设阈值的目标对象，利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果，以基于所述挖掘结果构建训练数据集的第一部分；
训练平台，用于利用所述训练数据集对所述至少一个神经网络进行再训练；
其中，所述利用标准特征向量对所述目标对象进行挖掘，确定所述目标对象的挖掘结果的步骤包括：
分别对各类型的所述目标对象的置信度进行降序排序，得到每个类型的目标对象的排序序列；依次从每个排序序列中获取前设定数量的目标对象，并确定为需要挖掘的目标对象；利用各类型的标准特征向量对所述需要挖掘的目标对象进行挖掘，以确定所述需要挖掘的目标对象的类型，得到所述挖掘结果。
12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的人机回圈方法。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的人机回圈方法。
CN202110667457.8A 2021-06-16 2021-06-16 人机回圈方法、装置、系统、电子设备和存储介质 Active CN113344086B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110667457.8A CN113344086B (zh) 2021-06-16 2021-06-16 人机回圈方法、装置、系统、电子设备和存储介质
PCT/CN2021/119968 WO2022262141A1 (zh) 2021-06-16 2021-09-23 人机回圈方法、装置、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110667457.8A CN113344086B (zh) 2021-06-16 2021-06-16 人机回圈方法、装置、系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113344086A CN113344086A (zh) 2021-09-03
CN113344086B true CN113344086B (zh) 2022-07-01

Family

ID=77476070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110667457.8A Active CN113344086B (zh) 2021-06-16 2021-06-16 人机回圈方法、装置、系统、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113344086B (zh)
WO (1) WO2022262141A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344086B (zh) * 2021-06-16 2022-07-01 深圳市商汤科技有限公司 人机回圈方法、装置、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN110023962A (zh) * 2016-12-22 2019-07-16 英特尔公司 人类体验到机器人和其他自主机器的高效传递
CN110709864A (zh) * 2017-08-30 2020-01-17 谷歌有限责任公司 人机回环交互式模型训练
CN110968718A (zh) * 2019-11-19 2020-04-07 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437726B1 (en) * 2000-11-30 2002-08-20 Caterpillar Inc. Method and apparatus for determining the location of underground objects during a digging operation
US11081232B2 (en) * 2018-05-23 2021-08-03 Roche Diabetes Care, Inc. Medical device data management configuration systems and methods of use
US11328125B2 (en) * 2019-05-14 2022-05-10 Korea University Research And Business Foundation Method and server for text classification using multi-task learning
CN112464930A (zh) * 2019-09-09 2021-03-09 华为技术有限公司 目标检测网络构建方法、目标检测方法、装置和存储介质
CN111027605A (zh) * 2019-11-28 2020-04-17 北京影谱科技股份有限公司 基于深度学习的细粒度图像识别方法和装置
CN111832613B (zh) * 2020-06-03 2022-03-15 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN113344086B (zh) * 2021-06-16 2022-07-01 深圳市商汤科技有限公司 人机回圈方法、装置、系统、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110023962A (zh) * 2016-12-22 2019-07-16 英特尔公司 人类体验到机器人和其他自主机器的高效传递
CN110709864A (zh) * 2017-08-30 2020-01-17 谷歌有限责任公司 人机回环交互式模型训练
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN110968718A (zh) * 2019-11-19 2020-04-07 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
领域自适应目标识别综述;唐宋等;《中兴通讯技术》;20170717;第23卷(第4期);第25-31页 *

Also Published As

Publication number Publication date
WO2022262141A1 (zh) 2022-12-22
CN113344086A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN111738251B (zh) 一种融合语言模型的光学字符识别方法、装置和电子设备
KR102170199B1 (ko) 비교 세트를 사용한 입력 예시들 분류
US20200004815A1 (en) Text entity detection and recognition from images
US20220245824A1 (en) Iteratively refining segmentation masks
CN108509975B (zh) 一种异常在线聚类方法及装置，电子设备
CN115129848B (zh) 一种视觉问答任务的处理方法、装置、设备和介质
CN111914076B (zh) 一种基于人机对话的用户画像构建方法、系统、终端及存储介质
CN108304376B (zh) 文本向量的确定方法、装置、存储介质及电子装置
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN112016553A (zh) 光学字符识别（ocr）系统、自动ocr更正系统、方法
CN113850162A (zh) 一种视频审核方法、装置及电子设备
CN115658955B (zh) 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统
CN113344086B (zh) 人机回圈方法、装置、系统、电子设备和存储介质
KR20210149530A (ko) 이미지 분류 모델 학습 방법 및 이를 수행하기 위한 장치
CN112966088A (zh) 未知意图的识别方法、装置、设备及存储介质
CN112906800B (zh) 基于图像组自适应的协同显著性检测方法
CN114626335A (zh) 文字生成方法、网络训练方法、装置、设备及存储介质
US9378466B2 (en) Data reduction in nearest neighbor classification
CN115914772A (zh) 视频合成方法、装置、电子设备及存储介质
CN115631502A (zh) 文字识别方法、装置、模型训练方法、电子设备及介质
CN115082761A (zh) 模型产生装置及方法
JP2020052935A (ja) 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム
CN114708470A (zh) 违规图片的识别方法、介质和计算设备
CN114241253A (zh) 违规内容识别的模型训练方法、系统、服务器及存储介质
CN113342981A (zh) 一种基于机器学习的需求文档分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051351

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cui Lei

Inventor after: Lin Chenglong

Inventor before: Lin Chenglong

Inventor before: Cui Lei