CN112686300B - 一种数据处理方法、装置及设备 - Google Patents

一种数据处理方法、装置及设备 Download PDF

Info

Publication number
CN112686300B
CN112686300B CN202011593830.1A CN202011593830A CN112686300B CN 112686300 B CN112686300 B CN 112686300B CN 202011593830 A CN202011593830 A CN 202011593830A CN 112686300 B CN112686300 B CN 112686300B
Authority
CN
China
Prior art keywords
model
baseline model
training data
initial baseline
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011593830.1A
Other languages
English (en)
Other versions
CN112686300A (zh
Inventor
谭拢
朱艺璇
童俊艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011593830.1A priority Critical patent/CN112686300B/zh
Publication of CN112686300A publication Critical patent/CN112686300A/zh
Application granted granted Critical
Publication of CN112686300B publication Critical patent/CN112686300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种数据处理方法、装置及设备,该方法包括:基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从基线模型集合中选取至少两个基线模型作为初始基线模型;针对每一初始基线模型,将训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型。通过本申请的技术方案,能够自动化选择适配的目标基线模型。

Description

一种数据处理方法、装置及设备
技术领域
本申请涉及人工智能技术领域,尤其涉及一种数据处理方法、装置及设备。
背景技术
机器学习是实现人工智能的一种途径,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计,使计算机能够自动地从数据中学习规律,并利用规律对未知数据进行预测。
机器学习已经有了十分广泛的应用,如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。
随着机器学习技术的不断发展,机器学习应用越来越广泛,为了适应大量机器学习应用,通常会配置大量基线模型作为预训练模型。在采用机器学习实现人工智能处理时,可以从大量基线模型中选择一个基线模型,并基于训练数据对该基线模型进行训练,从而训练出数据处理模型,并将该数据处理模型部署到终端设备,以使终端设备基于该数据处理模型实现数据处理。
但是,应该如何从大量基线模型中选择一个基线模型,目前并没有合理的选择方式,如果选择的基线模型与训练数据不匹配,则基于该基线模型训练出的数据处理模型的性能会比较低,无法达到预期效果,用户使用体验较差。
发明内容
本申请提供一种数据处理方法,所述方法包括:
基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
针对每一初始基线模型,将所述训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,该目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理。
示例性的,所述基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型,包括:针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合;
获取已存储的各基线模型的第二特征向量集合;
确定所述第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
在一种可能的实施方式中,所述训练数据包括训练图像,且所述训练图像对应有标注信息,所述确定该训练数据对应的特征向量,包括:
基于所述训练图像对应的标注信息从所述训练图像中截取目标框子图像;将目标框子图像输入至目标神经网络模型得到目标框子图像对应的特征向量,将目标框子图像对应的特征向量确定为该训练图像对应的特征向量;或者,
将所述训练图像输入至目标神经网络模型得到该训练图像对应的特征向量。
在一种可能的实施方式中,所述依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,包括:
若训练数据对应的模型标签与该训练数据对应的用户标签匹配,则确定该训练数据对应的用户标签的预测值为第一取值,所述第一取值表示预测正确;
若训练数据对应的模型标签与该训练数据对应的用户标签不匹配,则确定该训练数据对应的用户标签的预测值为第二取值,所述第二取值表示预测错误。
在一种可能的实施方式中,所述依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度,包括:
针对各个用户标签,依据各训练数据对应的用户标签的预测值,统计该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量;
基于该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量,确定该初始基线模型与该用户标签的预测准确度。
示例性的,所述基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,包括:
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;
将用户标签数量最多的初始基线模型选取为所述目标基线模型。
示例性的,所述基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,包括:
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;
基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为所述目标基线模型;
其中,目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。
本申请提供一种数据处理装置,所述装置包括:选取模块,用于基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
确定模块,用于针对每一初始基线模型,将训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
获取模块,用于基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型;其中,所述目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,所述数据处理模型用于实现数据处理。
示例性的,所述获取模块基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型时具体用于:针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;将用户标签数量最多的初始基线模型选取为所述目标基线模型;或者,
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为所述目标基线模型;其中,目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。
本申请提供一种数据处理设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
针对每一初始基线模型,将所述训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,该目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理。
由以上技术方案可见,本申请实施例中,可以基于训练数据集中各训练数据的特性(如各训练数据的特征数据以及各训练数据的用户标签等),从基线模型集合中选取目标基线模型,并使用训练数据集对目标基线模型进行训练以得到数据处理模型,继而使用数据处理模型实现数据处理。上述方式能够从大量基线模型中选择一个与训练数据集匹配的基线模型作为目标基线模型,自动化选择适配的目标基线模型,并对目标基线模型进行增量学习,训练出性能比较高的数据处理模型,可以达到预期效果,使得数据处理模型获得更好的泛化性能,提升数据处理模型的泛化性能,用户的使用体验比较好。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的数据处理方法的流程示意图;
图2是本申请一种实施方式中的数据处理方法的流程示意图;
图3是本申请一种实施方式中的数据处理方法的流程示意图;
图4是本申请一种实施方式中的系统结构示意图;
图5是本申请一种实施方式中的领域初筛模块的结构示意图;
图6是本申请一种实施方式中的领域选择模块的结构示意图;
图7是本申请一种实施方式中的数据处理装置的结构示意图;
图8是本申请一种实施方式中的数据处理设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请的技术方案之前,先介绍与本申请实施例有关的概念。
机器学习:机器学习是实现人工智能的一种途径,用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类,是一种使用数学模型对真实世界中的特定问题进行建模,以解决该领域内相似问题的过程。神经网络是深度学习的实现方式,为了方便描述,本文以神经网络为例,介绍神经网络的结构和功能,对于机器学习的其它子类,与神经网络的结构和功能类似。
神经网络:神经网络可以包括但不限于卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等,神经网络的结构单元可以包括但不限于卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等,对此不做限制。
在实际应用中,可以根据不同需求,将一个或多个卷积层,一个或多个池化层,一个或多个激励层,以及一个或多个全连接层进行组合构建神经网络。
在卷积层中,通过使用卷积核对输入数据特征进行卷积运算,使输入数据特征增强,该卷积核可以是m*n大小的矩阵,卷积层的输入数据特征与卷积核进行卷积,可以得到卷积层的输出数据特征,卷积运算实际是一个滤波过程。
在池化层中,通过对输入数据特征(如卷积层的输出)进行取最大值、取最小值、取平均值等操作,从而利用局部相关性的原理,对输入数据特征进行子抽样,减少处理量,并保持特征不变性,池化层运算实际是一个降采样过程。
在激励层中,可以使用激活函数(如非线性函数)对输入数据特征进行映射,从而引入非线性因素,使得神经网络通过非线性的组合增强表达能力。该激活函数可以包括但不限于ReLU(Rectified Linear Units,整流线性单元)函数,该ReLU函数用于将小于0的特征置0,而大于0的特征保持不变。
在全连接层中,用于将输入给本全连接层的所有数据特征进行全连接处理,从而得到一个特征向量,且该特征向量中可以包括多个数据特征。
基线模型:基线模型也可以称为领域模型,是指某类别或者某类场景上的模型,反映了某种专有类别的数据域。基线模型可以是基于机器学习技术得到的模型,后续以神经网络(如卷积神经网络)的基线模型为例。在神经网络的训练过程中,可以利用训练数据训练神经网络内各神经网络参数,如卷积层参数、池化层参数、激励层参数、全连接层参数等,对此不做限制。通过训练神经网络内各神经网络参数,可以使神经网络拟合出输入和输出的映射关系。
在神经网络训练完成后,已经完成训练的神经网络就是神经网络的基线模型,本文简称为基线模型。可以将基线模型部署到各终端设备,以使各终端设备基于该基线模型实现人工智能处理,如人脸识别、人体识别、车辆识别等。比如说,针对人脸识别来说,可以将包括人脸的图像输入给基线模型,基线模型对该图像进行人工智能处理,而人工智能处理结果就是人脸识别结果。
基线模型的增量学习:从新样本中学习新的知识,并可保留大部分先前学到的知识的方法。
基线模型的泛化性能:基线模型对于未知数据(测试集)的判别能力。
基线模型集合:为了适应大量机器学习应用,通常会配置大量基线模型作为预训练模型,而基线模型集合就是包括大量基线模型的集合。比如说,文件存储服务器可以包括基线模型仓库,由基线模型仓库存储基线模型集合。
基线模型的模型标签:基线模型用于实现目标识别,而基线模型的识别结果可以为模型标签,该模型标签的取值用于表示目标对象的识别结果,在实际应用中,该模型标签可以为空,即基线模型未得到目标对象的识别结果。
比如说,基线模型用于实现人脸识别时,基线模型的识别结果为目标对象是人脸或者目标对象不是人脸,即,模型标签用于表示目标对象是人脸或者目标对象不是人脸。又例如,基线模型用于实现车辆识别时,基线模型具有3个识别结果,识别结果1为目标对象是车辆或者目标对象不是车辆,识别结果2为目标对象是白色车或者目标对象不是白色车,识别结果3为目标对象的车牌标识,即,基线模型会输出3个模型标签,模型标签1用于表示目标对象是车辆或者目标对象不是车辆,模型标签2用于表示目标对象是白色车或者目标对象不是白色车,模型标签2用于表示目标对象的车牌标识。
训练数据集中的训练数据:训练数据集中可以包括至少一个训练数据,该训练数据可以是训练图像,也可以是其它类型的数据,对此不做限制。
每个训练数据具有标注信息,该标注信息可以至少包括用户标签和目标框坐标(如矩形框的左上角坐标、矩形框的宽度和高度,或者,矩形框的左上角坐标、右上角坐标、左下角坐标和右下角坐标),对此标注信息不做限制。
例如,在使用训练图像1对用于实现人脸识别的基线模型进行训练时,训练图像1的标注信息可以包括用户标签1和目标框坐标1,基于目标框坐标1可以从训练图像1中截取出目标框子图像,该目标框子图像可以包括目标对象,且用户标签1用于表示该目标对象是人脸或者目标对象不是人脸。
又例如,在使用训练图像1对用于实现车辆识别的基线模型进行训练时,训练图像1的标注信息可以包括用户标签1和目标框坐标1,用户标签2和目标框坐标2,用户标签3和目标框坐标3。其中,基于目标框坐标1可以从训练图像1中截取出目标框子图像1,该目标框子图像1可以包括目标对象,且该用户标签1用于表示目标对象是车辆或者目标对象不是车辆。基于目标框坐标2可以从训练图像1中截取出目标框子图像2,该目标框子图像2可以包括目标对象,且该用户标签2用于表示目标对象是白色车或者目标对象不是白色车。基于目标框坐标3可以从训练图像1中截取出目标框子图像3,该目标框子图像3可以包括目标对象,且该用户标签3用于表示目标对象的车牌标识。
在相关技术中,可以获取训练数据集,并使用训练数据集对基线模型进行增量学习,将增量学习后的基线模型部署到终端设备,但是,增量学习后的基线模型的泛化能力不足,在训练数据集以外的数据上性能下降较多,无法满足实际场景的需求。例如,虽然增量学习可以保留先前学到的知识,但增量学习的有效性依赖于基线模型与训练数据集的正确关联匹配,如果选出的基线模型与训练数据集不匹配,则基于该基线模型进行增量学习时,性能就会比较低。
针对上述发现,本申请实施例中,可以基于训练数据集中各训练数据的特性(如各训练数据的特征数据和各训练数据的用户标签等),从基线模型集合中选取目标基线模型,并使用训练数据集对目标基线模型进行训练以得到数据处理模型,能够从大量基线模型中选择一个与训练数据集匹配的基线模型作为目标基线模型,自动化选择适配的目标基线模型,并对目标基线模型进行增量学习,使得数据处理模型获得更好的泛化性能,提升数据处理模型的泛化性能。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
参见图1所示,为本申请实施例的数据处理方法的流程图,该方法包括:
步骤101,基于训练数据集中各训练数据的特征数据(该特征数据也可以称为特征分布)和基线模型集合中各基线模型的特征数据,从基线模型集合中选取至少两个基线模型作为初始基线模型,即,初始基线模型的数量为至少两个。
比如说,可以基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从基线模型集合中选取出与训练数据集关联性较高的基线模型,将选取出的基线模型作为初始基线模型,也就是说,训练数据集中各训练数据的特征数据和初始基线模型的特征数据的关联性较高。
示例性的,参见图2所示,可以采用如下步骤选取初始基线模型:
步骤1011,针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合。
示例性的,针对训练数据集中每一训练数据,该训练数据可以包括训练图像,且该训练图像可以对应有标注信息,该标注信息可以至少包括用户标签和目标框坐标。基于此,确定该训练数据对应的特征向量,可以包括:基于该训练图像对应的标注信息从该训练图像中截取目标框子图像,并将该目标框子图像输入至目标神经网络模型得到该目标框子图像对应的特征向量,并将该目标框子图像对应的特征向量确定为该训练图像对应的特征向量。
比如说,训练图像1的标注信息可以包括目标框坐标1,如矩形框的左上角坐标、矩形框的宽度和高度等,基于目标框坐标1可以从该训练图像1中截取出目标框子图像,并将该目标框子图像输入至目标神经网络模型。
在步骤101之前,可以预先配置目标神经网络模型,该目标神经网络模型是预先训练的神经网络模型(如卷积神经网络模型等),对此目标神经网络模型的类型不做限制。目标神经网络模型的作用是输出目标框子图像对应的特征向量,也就是说,在将目标框子图像输入至目标神经网络模型后,目标神经网络模型可以输入与该目标框子图像对应的特征向量,该特征向量用于表示目标框子图像的特征,对此目标神经网络模型的实现过程不做限制。
综上所述,在将训练图像中的目标框子图像输入至该目标神经网络模型后,该目标神经网络模型可以输出与该目标框子图像对应的特征向量(如512维向量、256维向量等),该特征向量就是该训练图像对应的特征向量。
针对训练数据集中每一训练数据,采用上述方式可以得到该训练数据对应的特征向量,然后,将所有训练数据对应的特征向量组合在一起,可以得到第一特征向量集合,即第一特征向量集合包括每个训练数据对应的特征向量。
在另一种可能的实施方式中,针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,可以包括:将该训练数据输入至目标神经网络模型得到该训练图像对应的特征向量。将所有训练数据对应的特征向量组合在一起,得到第一特征向量集合,第一特征向量集合包括每个训练数据对应的特征向量。
步骤1012,获取已存储的各基线模型的第二特征向量集合。
示例性的,在步骤101之前,针对基线模型集合中的每个基线模型,可以基于样本数据集训练得到该基线模型,为了与上述训练数据集进行区分,将用于训练基线模型的数据集记为样本数据集,将样本数据集中的数据记为样本数据。在训练得到该基线模型的基础上,针对样本数据集中的样本数据,该样本数据可以包括样本图像,且该样本图像对应有标注信息(如目标框坐标),可以基于该样本图像对应的标注信息从该样本图像中截取目标框子图像,并将该目标框子图像输入至目标神经网络模型(与步骤1011中的目标神经网络模型相同),由目标神经网络模型输出与该目标框子图像对应的特征向量(如512维向量、256维向量等),该特征向量就是该样本图像对应的特征向量。
针对样本数据集中的部分或者全部样本数据,采用上述方式可以得到该样本数据对应的特征向量,并将这些样本数据对应的特征向量组合在一起,得到该基线模型的第二特征向量集合,即第二特征向量集合包括这些样本数据对应的特征向量。然后,存储该基线模型的第二特征向量集合,比如说,文件存储服务器可以包括基线特征底库,由基线特征底库存储第二特征向量集合。
在另一种可能的实施方式中,针对样本数据集中的部分或者全部样本数据,将该样本数据输入至目标神经网络模型得到该样本图像对应的特征向量。将所有样本数据对应的特征向量组合在一起,得到第二特征向量集合。
综上所述,在步骤101之前,可以存储基线模型集合中的每个基线模型的第二特征向量集合,这样,在步骤1012中,针对该基线模型集合中的每个基线模型,就可以获取到已存储的该基线模型的第二特征向量集合。
步骤1013,确定第一特征向量集合与每个基线模型的第二特征向量集合的相似度,按照相似度从大到小的顺序选取至少两个基线模型作为初始基线模型。
示例性的,基于基线模型集合中的每个基线模型的第二特征向量集合,可以确定第一特征向量集合与该第二特征向量集合之间的相似度,如余弦相似度等,对此确定方式不做限制,只要能够得到两个特征向量集合的相似度即可。
在得到第一特征向量集合与每个基线模型的第二特征向量集合的相似度后,可以按照相似度从大到小的顺序对所有基线模型进行排序,并选取排序靠前的M个基线模型作为初始基线模型;或者,可以按照相似度从小到大的顺序对所有基线模型进行排序,并选取排序靠后的M个基线模型作为初始基线模型。M可以为大于或者等于2的正整数。当然,上述方式只是两个示例,对此不做限制,只要能够选取相似度大的M个基线模型作为初始基线模型即可。
步骤102,针对每一初始基线模型,将训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度。
在从基线模型集合中选取至少两个基线模型作为初始基线模型后,针对每一初始基线模型,可以确定该初始基线模型与各个用户标签的预测准确度,即该初始基线模型针对各个用户标签的预测准确度。比如说,假设训练数据集中的所有训练数据对应用户标签1和用户标签2,且选取出初始基线模型1和初始基线模型2,则需要确定初始基线模型1针对用户标签1的预测准确度,确定初始基线模型1针对用户标签2的预测准确度,确定初始基线模型2针对用户标签1的预测准确度,确定初始基线模型2针对用户标签2的预测准确度。
在一种可能的实施方式中,针对每一初始基线模型,参见图3所示,可以采用如下步骤确定该初始基线模型与各个用户标签的预测准确度。
步骤1021,将训练数据集中每一训练数据输入至初始基线模型,由该初始基线模型输出该训练数据对应的模型标签,模型标签的数量可以为至少一个。当然,在实际应用中,初始基线模型输出的模型标签也可以为空。
示例性的,初始基线模型用于实现目标识别,且初始基线模型的识别结果可以为模型标签。比如说,初始基线模型用于实现人脸识别时,在将训练数据集中的训练数据输入至初始基线模型后,该初始基线模型可以输出一个模型标签,该模型标签用于表示目标对象是人脸或者目标对象不是人脸。又例如,初始基线模型用于实现车辆识别时,在将训练数据集中的训练数据输入至初始基线模型后,该初始基线模型可以输出三个模型标签,模型标签1用于表示目标对象是车辆或者目标对象不是车辆,模型标签2用于表示目标对象是白色车或者目标对象不是白色车,模型标签2用于表示目标对象的车牌标识。又例如,初始基线模型用于实现人脸识别时,在将训练数据集中的训练数据输入至初始基线模型后,该初始基线模型输出的模型标签可以为空,表示初始基线模型未识别出目标对象是人脸或者目标对象不是人脸,即没有得到识别结果。
综上所述,针对训练数据集中的每一训练数据,在将该训练数据输入至初始基线模型后,该初始基线模型就可以输出该训练数据对应的模型标签,也就是说,可以得到训练数据集中的每一训练数据对应的模型标签。
步骤1022,针对训练数据集中每一训练数据,依据该训练数据对应的模型标签确定该训练数据对应的用户标签的预测值,该预测值用于表示预测正确或者预测错误。例如,通过第一取值表示预测正确,通过第二取值表示预测错误。
示例性的,若该训练数据对应的模型标签与该训练数据对应的用户标签匹配,则确定该训练数据对应的用户标签的预测值为第一取值,第一取值表示预测正确;若训练数据对应的模型标签与该训练数据对应的用户标签不匹配,则确定该训练数据对应的用户标签的预测值为第二取值,第二取值表示预测错误。
针对训练数据集中的每个训练数据,该训练数据具有标注信息,该标注信息包括用户标签和目标框坐标,用户标签的数量为至少一个。比如说,训练数据对应用户标签1,用户标签1用于表示目标对象是人脸或者目标对象不是人脸。又例如,训练数据对应用户标签1、用户标签2和用户标签3,用户标签1用于表示目标对象是车辆或者目标对象不是车辆,用户标签2用于表示目标对象是白色车或者目标对象不是白色车,用户标签3用于表示目标对象的车牌标识。
综上所述,针对训练数据集中的每个训练数据,可以获知该训练数据对应的模型标签和该训练数据对应的用户标签,然后,可以基于该训练数据对应的模型标签和该训练数据对应的用户标签,确定该用户标签的预测值。
比如说,假设该训练数据对应模型标签1、模型标签2和模型标签3,该训练数据对应用户标签1和用户标签2,在此基础上,若模型标签1、模型标签2和模型标签3中的任意一个模型标签与用户标签1匹配,则可以确定模型标签与用户标签1匹配,即用户标签1的预测值为第一取值。若模型标签1、模型标签2和模型标签3中的所有模型标签与用户标签1均不匹配,则可以确定模型标签与用户标签1不匹配,即用户标签1的预测值为第二取值。同理,若模型标签1、模型标签2和模型标签3中的任意一个模型标签与用户标签2匹配,则可以确定模型标签与用户标签2匹配,即用户标签2的预测值为第一取值。若模型标签1、模型标签2和模型标签3中的所有模型标签与用户标签2均不匹配,则可以确定模型标签与用户标签2不匹配,即用户标签2的预测值为第二取值。
其中,模型标签与用户标签匹配是指,模型标签的取值与用户标签的取值表示的目标对象相同。比如说,若模型标签的取值表示目标对象是人脸,且用户标签的取值表示目标对象是人脸,则模型标签与用户标签匹配。又例如,若模型标签的取值表示目标对象是人脸,而用户标签的取值表示目标对象不是人脸,则模型标签与用户标签不匹配。又例如,若模型标签的取值表示目标对象不是人脸,而用户标签的取值表示目标对象是车辆,则模型标签与用户标签不匹配。又例如,若模型标签的取值表示车牌标识是1234,而用户标签的取值表示车牌标识是1234,则模型标签与用户标签匹配,以此类推。
示例性的,若模型标签为空,则说明模型标签与用户标签不匹配。
综上所述,针对训练数据集中的每个训练数据,可以确定该训练数据对应的每个用户标签的预测值,该预测值可以为第一取值或者第二取值。
比如说,训练数据1对应用户标签1和用户标签2,用户标签1的预测值为第一取值,用户标签2的预测值为第二取值。训练数据2对应用户标签1和用户标签3,用户标签1的预测值为第一取值,用户标签3的预测值为第一取值。训练数据3对应用户标签1和用户标签2,用户标签1的预测值为第二取值,用户标签2的预测值为第二取值。训练数据4对应用户标签2,用户标签2的预测值为第一取值,以此类推,对各训练数据对应的用户标签的预测值不做限制。
步骤1023,依据训练数据集中的各训练数据对应的用户标签的预测值,确定该初始基线模型与各个用户标签的预测准确度,即预测准确程度。
示例性的,在得到训练数据集中的各训练数据对应的用户标签的预测值后,就可以基于用户标签的预测值确定初始基线模型与各个用户标签的预测准确度。
在一种可能的实施方式中,可以配置用户标签的预测值与用户标签的预测准确度的函数关系,基于该函数关系,在得到训练数据集中的各训练数据对应的用户标签的预测值后,针对各个用户标签,可以将该用户标签的预测值代入该函数关系,得到该用户标签的预测准确度,即初始基线模型与该用户标签的预测准确度。在该方式中,该函数关系可以任意配置,对此函数关系的内容不做限制,只要与用户标签的预测值和用户标签的预测准确度有关即可。
在另一种可能的实施方式中,针对各个用户标签,依据各训练数据对应的用户标签的预测值,统计该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量;基于该用户标签的预测值为第一取值的数量(记为第一数量)和该用户标签的预测值为第二取值的数量(记为第二数量),确定该初始基线模型与该用户标签的预测准确度,即该初始基线模型针对该用户标签的预测准确度。
示例性的,针对训练数据集中的每个训练数据,可以确定该训练数据对应的每个用户标签的预测值,因此,针对训练数据集对应的所有用户标签,可以依据各训练数据对应的用户标签的预测值,统计出各用户标签的预测值为第一取值的第一数量和各用户标签的预测值为第二取值的第二数量。比如说,假设训练数据集对应用户标签1、用户标签2和用户标签3,若训练数据1对应的用户标签1的预测值为第一取值,用户标签2的预测值为第二取值,则将用户标签1的第一数量加1,将用户标签2的第二数量加1。若训练数据2对应的用户标签1的预测值为第一取值,用户标签3的预测值为第一取值,则将用户标签1的第一数量加1,将用户标签3的第一数量加1,以此类推。在对训练数据集中的每个训练数据进行上述处理后,就可以统计出用户标签1的第一数量和第二数量,用户标签2的第一数量和第二数量,用户标签3的第一数量和第二数量。基于此,可以确定初始基线模型与用户标签1的预测准确度,初始基线模型与用户标签2的预测准确度,初始基线模型与用户标签3的预测准确度。
当然,上述只是确定初始基线模型与用户标签的预测准确度的两个示例,对此不做限制,只要能够得到初始基线模型与用户标签的预测准确度即可。
综上所述,通过对训练数据进行前向推理(即将训练数据输入至初始基线模型),就可以得到该训练数据对应的模型标签,并将模型标签与用户标签进行匹配,得到用户标签的预测值,然后基于用户标签的预测值确定初始基线模型与用户标签的预测准确度(也可以称为匹配程度),即得到性能指标。
针对每一初始基线模型进行上述处理后,可以得到初始基线模型与各用户标签的预测准确度,继而得到各个初始基线模型与各个用户标签的预测准确度。
步骤103,基于各个初始基线模型与各个用户标签的预测准确度,从所有初始基线模型中选取一个初始基线模型作为目标基线模型。
示例性的,在得到目标基线模型后,该目标基线模型被用于基于上述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理。
比如说,在得到目标基线模型后,可以基于上述训练数据集对该目标基线模型进行训练(如增量学习),对此训练过程不做限制,得到训练后的目标基线模型,为了区分方便,将训练后的目标基线模型称为数据处理模型。
在得到数据处理模型后,可以将数据处理模型部署到终端设备,由终端设备基于数据处理模型实现数据处理(即人工智能处理)。例如,若数据处理模型用于实现车辆识别,则将数据提供给数据处理模型,由数据处理模型对数据进行处理,得到车辆识别结果,如目标对象是车辆或者不是车辆的识别结果。
当然,上述只是基于数据处理模型进行数据处理的示例,对此不做限制。
在一种可能的实施方式中,基于各个初始基线模型与各个用户标签的预测准确度,可以采用如下方式从所有初始基线模型中选取目标基线模型。
方式1、针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;将用户标签数量最多的初始基线模型选取为目标基线模型。
比如说,针对初始基线模型1,假设初始基线模型1与用户标签1的预测准确度11大于预设阈值(根据经验配置,是位于0与1之间的数值,如0.5、0.6、0.7等),初始基线模型1与用户标签2的预测准确度12大于预设阈值,初始基线模型1与用户标签3的预测准确度13大于预设阈值,则初始基线模型1对应的用户标签数量为3。针对初始基线模型2,假设初始基线模型2与用户标签1的预测准确度21大于预设阈值,初始基线模型2与用户标签2的预测准确度22大于预设阈值,初始基线模型2与用户标签3的预测准确度23不大于预设阈值,则初始基线模型2对应的用户标签数量为2。综上所述,用户标签数量最多的初始基线模型为初始基线模型1,将初始基线模型1作为目标基线模型。
方式2、针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;目标预测准确度可以为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。然后,基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为目标基线模型。
比如说,针对初始基线模型1,确定初始基线模型1与用户标签1的预测准确度11、初始基线模型1与用户标签2的预测准确度12、初始基线模型1与用户标签3的预测准确度13中的最大值,若预测准确度12为最大值,则将预测准确度12作为目标预测准确度。针对初始基线模型2,确定初始基线模型2与用户标签1的预测准确度21、初始基线模型2与用户标签2的预测准确度22、初始基线模型2与用户标签3的预测准确度23中的最大值,若预测准确度21为最大值,则将预测准确度21作为目标预测准确度。显然,若预测准确度21大于预测准确度12,则可以将初始基线模型2作为目标基线模型。若预测准确度21小于预测准确度12,则可以将初始基线模型1作为目标基线模型。
又例如,针对初始基线模型1,确定预测准确度11、预测准确度12和预测准确度13的平均值,将该平均值作为初始基线模型1的目标预测准确度。针对初始基线模型2,确定预测准确度21、预测准确度22和预测准确度23的平均值,将该平均值作为初始基线模型2的目标预测准确度。显然,若初始基线模型2的目标预测准确度大于初始基线模型1的目标预测准确度,则可以将初始基线模型2作为目标基线模型。若初始基线模型2的目标预测准确度小于初始基线模型1的目标预测准确度,则可以将初始基线模型1作为目标基线模型。
方式3、针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量。若存在一个初始基线模型对应的用户标签数量为最多,则将用户标签数量最多的初始基线模型选取为目标基线模型。若存在至少两个初始基线模型对应的用户标签数量均为最多,则将所述至少两个初始基线模型作为候选基线模型。
针对各个候选基线模型,基于该候选基线模型与各个用户标签的预测准确度,确定该候选基线模型对应的目标预测准确度;目标预测准确度可以为候选基线模型对应的所有预测准确度中的最大值,或者,候选基线模型对应的所有预测准确度的平均值。然后,基于各个候选基线模型对应的目标预测准确度,将最大的目标预测准确度对应的候选基线模型选取为目标基线模型。
方式4、针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或初始基线模型对应的所有预测准确度的平均值。若存在一个初始基线模型对应的目标预测准确度为最大,则将目标预测准确度最大的初始基线模型选取为目标基线模型。若存在至少两个初始基线模型对应的目标预测准确度均为最大,则将所述至少两个初始基线模型作为候选基线模型。针对各个候选基线模型,基于该候选基线模型与各个用户标签的预测准确度,确定该候选基线模型对应的预测准确度大于预设阈值的用户标签数量;将用户标签数量最多的候选基线模型选取为目标基线模型。
在一种可能的实施方式中,在上述方式1-方式4中,若初始基线模型与所有用户标签的预测准确度均不大于预设阈值,则不将该初始基线模型选取为目标基线模型。若每个初始基线模型与所有用户标签的预测准确度均不大于预设阈值,则可以将默认基线模型(即预配置的默认基线模型)选取为目标基线模型,该默认基线模型为采用通用大规模数据预训练的基线模型,对此不做限制。
示例性的,在将默认基线模型选取为目标基线模型时,可以基于训练数据集对目标基线模型进行迁移学习,得到数据处理模型。在将基线模型集合中的基线模型选取为目标基线模型时,可以基于训练数据集对目标基线模型进行增量学习,得到数据处理模型。当然,上述方式只是示例,对此不做限制。
示例性的,上述方式1-方式4只是几个示例,对此目标基线模型的选取方式不做限制,只要能够基于预测准确度选取出目标基线模型即可。
示例性的,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,可以基于训练数据集中各训练数据的特性(如各训练数据的特征数据和各训练数据的用户标签等),从基线模型集合中选取目标基线模型,并使用训练数据集对目标基线模型进行训练以得到数据处理模型,继而使用数据处理模型实现数据处理。上述方式能够从大量基线模型中选择一个与训练数据集匹配的基线模型作为目标基线模型,自动化选择适配的目标基线模型,并对目标基线模型进行增量学习,训练出性能比较高的数据处理模型,可以达到预期效果,使得数据处理模型获得更好的泛化性能,提升数据处理模型的泛化性能,用户的使用体验比较好。利用基线模型与增量学习技术可以有效缓解少量样本训练时的过拟合问题,提升模型泛化性能。模型仓库以基线模型文件形式进行存储,可有效隔离专用的基础数据。
以下结合具体应用场景,对本申请实施例的上述数据处理方法进行说明。
参见图4所示,为本实施例的系统结构示意图,该系统可以包括领域初筛模块41、领域选择模块42、模型训练模块43。领域初筛模块41根据训练数据集的特征分布,从基线模型集合中选取至少两个基线模型作为初始基线模型,并将初始基线模型输出给领域选择模块42。领域选择模块42基于领域初筛模块41输出的初始基线模型,对训练数据进行前向推理和性能评测,根据性能结果,将初始基线模型的模型标签与训练数据的用户标签进行匹配,得到初始基线模型与各个用户标签的预测准确度,并基于各个初始基线模型与各个用户标签的预测准确度,从所有初始基线模型中选取目标基线模型,并将目标基线模型输出的模型训练模块43。模型训练模块43基于领域选择模块42输出的目标基线模型,自动选择训练方式,对该目标基线模型进行训练。
参见图4所示,领域模型仓库用于提供基线模型集合,该基线模型集合包括多个基线模型。领域特征底库用于提供基线模型对应的特征向量集合。
参见图5所示,为领域初筛模块41的结构示意图,领域初筛模块41可以包括目标内容获取单元411、特征映射单元412和领域匹配单元413。目标内容获取单元411基于训练图像对应的标注信息从该训练图像中截取目标框子图像,并将目标框子图像输出给特征映射单元412。特征映射单元412使用目标神经网络模型,将目标框子图像映射成特征向量,并将特征向量输出给领域匹配单元413。领域匹配单元413将所有目标框子图像的特征向量组成第一特征向量集合,并确定第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
领域选择模块42将初始基线模型在训练数据集上进行前向推理,通过评测推理性能,判断训练数据的用户标签和初始基线模型的模型标签之间的匹配程度,通过比较预设阈值,输出目标基线模型。参见图6所示,为领域选择模块42的结构示意图,领域选择模块42可以包括前向推理单元421、性能评测单元422和领域选择单元423。前向推理单元421对训练数据集进行预处理,使用初始基线模型对训练数据集中的训练数据进行前向推理,得到训练数据对应的模型标签。性能评测单元422依次对每个训练数据的模型标签和每个训练数据的用户标签进行匹配,计算性能指标(即预测准确度)。领域选择单元423基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,如确定预测准确度大于预设阈值的用户标签数量,将用户标签数量最多的初始基线模型选取为目标基线模型。
在上述实施例中,在选取出目标基线模型后,可以基于训练数据集对目标基线模型进行增量学习,得到训练后的数据处理模型,并将数据处理模型部署到终端设备,由终端设备基于数据处理模型实现数据处理。
在上述实施例中,若领域初筛模块41从基线模型集合中选取初始基线模型时,若未选取出初始基线模型,则可以直接将默认基线模型(即采用通用大规模数据预训练的基线模型)选取为目标基线模型,并基于训练数据集对目标基线模型进行迁移学习,得到训练后的数据处理模型,并将数据处理模型部署到终端设备,由终端设备基于数据处理模型实现数据处理。
在上述实施例中,若领域初筛模块41从基线模型集合中选取初始基线模型时,只选取出一个初始基线模型,可以直接将该初始基线模型作为目标基线模型,基于训练数据集对目标基线模型进行增量学习,得到训练后的数据处理模型。比如说,配置相似度阈值,若第一特征向量集合与基线模型的第二特征向量集合的相似度大于相似度阈值时,才允许将基线模型作为初始基线模型,在这种情况下,可能未选取出初始基线模型,也可能只选取出一个初始基线模型。
基于与上述方法同样的申请构思,本申请实施例中提出一种数据处理装置,参见图7所示,为所述数据处理装置的结构示意图,所述装置可以包括:
选取模块71,用于基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;确定模块72,用于针对每一初始基线模型,将训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;获取模块73,用于基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型;其中,所述目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,所述数据处理模型用于实现数据处理。
示例性的,所述选取模块71具体用于:针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合;获取已存储的各基线模型的第二特征向量集合;确定所述第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
示例性的,所述训练数据包括训练图像,且所述训练图像对应有标注信息,所述选取模块71确定该训练数据对应的特征向量时具体用于:
基于所述训练图像对应的标注信息从所述训练图像中截取目标框子图像;将目标框子图像输入至目标神经网络模型得到目标框子图像对应的特征向量,将目标框子图像对应的特征向量确定为该训练图像对应的特征向量;或者,将所述训练图像输入至目标神经网络模型得到该训练图像对应的特征向量。
示例性的,所述确定模块72依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值时具体用于:
若训练数据对应的模型标签与该训练数据对应的用户标签匹配,则确定该训练数据对应的用户标签的预测值为第一取值,所述第一取值表示预测正确;
若训练数据对应的模型标签与该训练数据对应的用户标签不匹配,则确定该训练数据对应的用户标签的预测值为第二取值,所述第二取值表示预测错误。
示例性的,所述确定模块72依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度时具体用于:
针对各个用户标签,依据各训练数据对应的用户标签的预测值,统计该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量;
基于该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量,确定该初始基线模型与该用户标签的预测准确度。
示例性的,所述获取模块73基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型时具体用于:针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;将用户标签数量最多的初始基线模型选取为所述目标基线模型;或者,
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为所述目标基线模型;其中,目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。
基于与上述方法同样的申请构思,本申请实施例中提出一种数据处理设备,参见图8所示,所述数据处理设备可以包括:处理器81和机器可读存储介质82,所述机器可读存储介质82存储有能够被所述处理器81执行的机器可执行指令;所述处理器81用于执行机器可执行指令,以实现如下步骤:
基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
针对每一初始基线模型,将所述训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,该目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的数据处理方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种数据处理方法,其特征在于,所述方法包括:
基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
针对每一初始基线模型,将所述训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,该目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理;
其中,所述基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型,包括:针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合;
获取已存储的各基线模型的第二特征向量集合;其中,基线模型的第二特征向量集合是基于样本数据集中的各样本数据对应的特征向量得到,且所述样本数据集用于训练得到所述基线模型;
确定所述第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
2.根据权利要求1所述的方法,其特征在于,所述训练数据包括训练图像,且所述训练图像对应有标注信息,所述确定该训练数据对应的特征向量,包括:
基于所述训练图像对应的标注信息从所述训练图像中截取目标框子图像;将目标框子图像输入至目标神经网络模型得到目标框子图像对应的特征向量,将目标框子图像对应的特征向量确定为该训练图像对应的特征向量;或者,
将所述训练图像输入至目标神经网络模型得到该训练图像对应的特征向量。
3.根据权利要求1所述的方法,其特征在于,所述依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,包括:
若训练数据对应的模型标签与该训练数据对应的用户标签匹配,则确定该训练数据对应的用户标签的预测值为第一取值,所述第一取值表示预测正确;
若训练数据对应的模型标签与该训练数据对应的用户标签不匹配,则确定该训练数据对应的用户标签的预测值为第二取值,所述第二取值表示预测错误。
4.根据权利要求3所述的方法,其特征在于,所述依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度,包括:
针对各个用户标签,依据各训练数据对应的用户标签的预测值,统计该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量;
基于该用户标签的预测值为第一取值的数量和该用户标签的预测值为第二取值的数量,确定该初始基线模型与该用户标签的预测准确度。
5.根据权利要求1所述的方法,其特征在于,
所述基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,包括:
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;
将用户标签数量最多的初始基线模型选取为所述目标基线模型。
6.根据权利要求1所述的方法,其特征在于,
所述基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,包括:
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;
基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为所述目标基线模型;
其中,目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。
7.一种数据处理装置,其特征在于,所述装置包括:选取模块,用于基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
确定模块,用于针对每一初始基线模型,将训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
获取模块,用于基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型;其中,所述目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,所述数据处理模型用于实现数据处理;
其中,所述选取模块基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型时具体用于:针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合;获取已存储的各基线模型的第二特征向量集合;其中,基线模型的第二特征向量集合是基于样本数据集中的各样本数据对应的特征向量得到,且所述样本数据集用于训练得到所述基线模型;
确定所述第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
8.根据权利要求7所述的装置,其特征在于,
所述获取模块基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型时具体用于:
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的预测准确度大于预设阈值的用户标签数量;将用户标签数量最多的初始基线模型选取为所述目标基线模型;或者,
针对各个初始基线模型,基于该初始基线模型与各个用户标签的预测准确度,确定该初始基线模型对应的目标预测准确度;基于各个初始基线模型对应的目标预测准确度,将最大的目标预测准确度对应的初始基线模型选取为所述目标基线模型;其中,目标预测准确度为初始基线模型对应的所有预测准确度中的最大值,或者,该初始基线模型对应的所有预测准确度的平均值。
9.一种数据处理设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型;
针对每一初始基线模型,将所述训练数据集中每一训练数据输入至该初始基线模型得到该训练数据对应的模型标签;依据每一训练数据对应的模型标签确定已设置的该训练数据对应的用户标签的预测值,依据各训练数据对应的用户标签的预测值确定该初始基线模型与各个用户标签的预测准确度;
基于各个初始基线模型与各个用户标签的预测准确度从所有初始基线模型中选取一个初始基线模型作为目标基线模型,该目标基线模型被用于基于所述训练数据集进行训练以得到数据处理模型,该数据处理模型用于实现数据处理;
其中,所述基于训练数据集中各训练数据的特征数据和基线模型集合中各基线模型的特征数据,从所述基线模型集合中选取至少两个基线模型作为初始基线模型,包括:针对训练数据集中每一训练数据,确定该训练数据对应的特征向量,并基于各训练数据对应的特征向量确定第一特征向量集合;
获取已存储的各基线模型的第二特征向量集合;其中,基线模型的第二特征向量集合是基于样本数据集中的各样本数据对应的特征向量得到,且所述样本数据集用于训练得到所述基线模型;
确定所述第一特征向量集合与每个基线模型的第二特征向量集合的相似度,并按照相似度从大到小的顺序,选取至少两个基线模型作为初始基线模型。
CN202011593830.1A 2020-12-29 2020-12-29 一种数据处理方法、装置及设备 Active CN112686300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593830.1A CN112686300B (zh) 2020-12-29 2020-12-29 一种数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593830.1A CN112686300B (zh) 2020-12-29 2020-12-29 一种数据处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112686300A CN112686300A (zh) 2021-04-20
CN112686300B true CN112686300B (zh) 2023-09-26

Family

ID=75455076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593830.1A Active CN112686300B (zh) 2020-12-29 2020-12-29 一种数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112686300B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118259A (zh) * 2021-11-19 2022-03-01 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777554A (zh) * 2016-11-29 2017-05-31 哈尔滨工业大学(威海) 基于状态基线的航空发动机气路单元体健康状态评价方法
CN110287324A (zh) * 2019-06-27 2019-09-27 成都冰鉴信息科技有限公司 一种针对粗粒度文本分类的数据动态标注方法及装置
CN110795089A (zh) * 2019-10-29 2020-02-14 中国建设银行股份有限公司 一种代码生成方法、装置、设备和存储介质
CN111783630A (zh) * 2020-06-29 2020-10-16 上海高德威智能交通系统有限公司 一种数据处理方法、装置及设备
CN111783997A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN111783996A (zh) * 2020-06-18 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004012B2 (en) * 2017-11-29 2021-05-11 International Business Machines Corporation Assessment of machine learning performance with limited test data
US10878298B2 (en) * 2019-03-06 2020-12-29 Adobe Inc. Tag-based font recognition by utilizing an implicit font classification attention neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777554A (zh) * 2016-11-29 2017-05-31 哈尔滨工业大学(威海) 基于状态基线的航空发动机气路单元体健康状态评价方法
CN110287324A (zh) * 2019-06-27 2019-09-27 成都冰鉴信息科技有限公司 一种针对粗粒度文本分类的数据动态标注方法及装置
CN110795089A (zh) * 2019-10-29 2020-02-14 中国建设银行股份有限公司 一种代码生成方法、装置、设备和存储介质
CN111783996A (zh) * 2020-06-18 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN111783630A (zh) * 2020-06-29 2020-10-16 上海高德威智能交通系统有限公司 一种数据处理方法、装置及设备
CN111783997A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Also Published As

Publication number Publication date
CN112686300A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
WO2020061489A1 (en) Training neural networks for vehicle re-identification
US9811718B2 (en) Method and a system for face verification
JP2017062781A (ja) 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
He et al. IMORL: Incremental multiple-object recognition and localization
Ghazaei et al. Dealing with ambiguity in robotic grasping via multiple predictions
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
CN112686300B (zh) 一种数据处理方法、装置及设备
CN114168768A (zh) 图像检索方法及相关设备
CN112364828B (zh) 人脸识别方法及金融系统
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
CN112529078A (zh) 一种业务处理方法、装置及设备
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN115527083A (zh) 图像标注方法、装置和电子设备
Visalatchi et al. Intelligent Vision with TensorFlow using Neural Network Algorithms
CN113627522A (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
Senthilselvi et al. An Adaptive, Dynamic and Semantic Approach for Understanding of Sign Language based on Convolution Neural Network.
Johnson et al. Using Ensemble Convolutional Neural Network to Detect Deepfakes Using Periocular Data
CN113762520B (zh) 一种数据处理方法、装置及设备
Baumhauer et al. Bounded logit attention: Learning to explain image classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant