CN114332984B - 训练数据处理方法、装置和存储介质 - Google Patents
训练数据处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN114332984B CN114332984B CN202111477189.XA CN202111477189A CN114332984B CN 114332984 B CN114332984 B CN 114332984B CN 202111477189 A CN202111477189 A CN 202111477189A CN 114332984 B CN114332984 B CN 114332984B
- Authority
- CN
- China
- Prior art keywords
- training
- data
- sample data
- sample
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 439
- 238000003860 storage Methods 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000005070 sampling Methods 0.000 claims abstract description 61
- 230000006870 function Effects 0.000 claims description 90
- 238000012216 screening Methods 0.000 claims description 25
- 238000012163 sequencing technique Methods 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 21
- 238000007476 Maximum Likelihood Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 22
- 238000013473 artificial intelligence Methods 0.000 abstract description 19
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本申请提供了训练数据处理方法、装置和存储介质，涉及人工智能技术领域，可以应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，包括：获取预训练回归模型和初始训练集；利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果；基于初始训练集和第二损失函数，对预训练回归模型进行更新约束训练，得到中间模型，并利用中间模型得到第一差集中各样本数据的预测置信度；基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样；进而利用得到的增量训练集对初始训练集进行更新处理；基于更新的初始训练集进行循环迭代，将满足迭代结束条件时所得到的初始训练集作为目标训练集。本申请有效提高训练数据的有效性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种训练数据处理方法、装置和存储介质。
背景技术
在深度学习方案中需要解决的关键问题是数据的有效性。通常情况下训练数据的积累是基于技术人员对业务的理解和经验对样本数据进行数据标注，该方式凭借技术人员的知识进行标注，易导致训练数据冗余。此外，一般情况下，样本数据中可能存在大量相似较高的数据，基于人工标注的数据会忽略数据的重复性，进而损害训练数据的有效性，影响相关模型的训练效果和应用性能。因此，需要提供一种能够高效筛选有效数据的训练数据处理方法，以解决现有技术中存在的上述问题。
发明内容
本申请提供了一种训练数据处理方法、装置和存储介质，能够高效筛选候选数据集中的有效数据，优化模型训练效果和后续任务的应用效果。
一方面，本申请提供了一种训练数据处理方法，所述方法包括：
获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；
利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；
基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；
利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度；所述预测置信度表征所述样本数据所携带的信息量；
基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集；
利用所述增量训练集对所述初始训练集进行更新处理，得到更新的初始训练集；
基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集。
另一方面提供了一种训练数据处理装置，所述装置包括：
第一获取模块：用于获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；
第二获取模块：利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；
更新约束训练模块：用于基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；
置信度预测处理模块：用于利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度；所述预测置信度表征所述样本数据所携带的信息量；
增量数据采样模块：用于基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集；
训练集更新模块：用于利用所述增量训练集对所述初始训练集进行更新处理，得到更新的初始训练集；
迭代模块：用于基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集。
另一方面提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的训练数据处理方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的训练数据处理方法。
另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的训练数据处理方法。
另一方面提供了一种计算机程序，该计算机程序包括计算机指令，该计算机指令被处理器执行时实现如上述的训练数据处理方法。
另一方面提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令被处理器执行时实现如上述的训练数据处理方法。
本申请提供的训练数据处理方法、装置、设备、存储介质、服务器和计算机程序产品，具有如下技术效果：
本申请的技术方案通过获取预训练回归模型和初始训练集；初始训练集属于候选数据集；利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果；并基于初始训练集和第二损失函数，对预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到预训练回归模型对应的中间模型，第二损失函数为第一损失函数对应的最大似然损失函数；利用中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的预测置信度；预测置信度表征样本数据所携带的信息量；基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样处理，得到增量训练集；然后，利用增量训练集对初始训练集进行更新处理，得到更新的初始训练集；基于更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的更新的初始训练集作为目标训练集。通过上述方案，基于预测置信度和聚类结果进行数据筛选，结合了数据信息量和相似性的因素，能够显著提高目标训练集中数据的有效性和均衡性，进而提高相关训练模型的泛化能够和性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种训练数据处理方法的流程示意图；
图3是本申请实施例提供的另一种训练数据处理方法的流程示意图；
图4是本申请实施例提供的另一种训练数据处理方法的流程示意图；
图5是本申请实施例提供的另一种训练数据处理方法的流程示意图；
图6是本申请实施例提供另一种训练数据处理方法的流程示意图；
图7是本申请实施例提供的另一种训练数据处理方法的流程示意图；
图8是本申请实施例提供一种训练数据处理装置的框架示意图；
图9是本申请实施例提供的一种训练数据处理方法的电子设备的硬件结构框图；
图10是本申请实施例提供的一个区块链系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
置信度：在统计学中，一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数测量值的可信程度范围，即前面所要求的“一定概率”。这个概率被称为置信水平。
信息量：信息量是指信息多少的量度。所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数。
主动学习：学习过程中由学习器挑选未标记样本,并请求外界提供标记信息，其目标是使用尽可能少的查询来取得好的学习性能。
PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。
k均值聚类算法(k-means clustering algorithm)，是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及人工智能的机器学习/深度学习和自然语言处理等技术，具体通过如下实施例进行说明。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以至少包括服务器01和终端02。在实际应用中，终端01、服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体的，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。其中，人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
具体地，上述涉及的服务器可以包括实体设备，可以具体包括有网络通信子模块、处理器和存储器等等，也可以包括运行于实体设备中的软体，可以具体包括有应用程序等。
本申请实施例中，终端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。
本申请实施例中，服务器01可以用于提供训练数据处理服务，以得到目标训练集；还可以提供基于目标训练集的模型训练服务，得到目标回归模型，以及提供目标回归模型的后续任务应用的服务等。具体的，服务器01还可以提供候选数据和模型数据等的存储服务等。终端02可以用于获取候选数据，并将候选数据发送至服务器01，以使服务器01进行训练数据处理。
此外，可以理解的是，图1所示的仅仅是一种训练数据处理方法的应用环境，该应用环境可以包括更多或更少的节点，本申请在此不做限制。
本申请实施例涉及的应用环境，或应用环境中的终端02和服务器01等可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统，该区块链系统可以提供训练数据处理服务和模型训练服务等，还可以为上述各服务提供数据存储功能，例如存储候选数据集、模型配置数据、模型参数数据、以及训练数据处理过程中的行为数据和处理结果等。
参见图10，图10是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端形成，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。
其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新兴应用模式，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营检测等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营检测模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、检测网络情况、检测节点设备健康状态等。平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
以下基于上述应用环境介绍本申请的一种训练数据处理方法，应用于服务器端，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。请参考图2，图2是本申请实施例提供的一种训练数据处理方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，方法可以包括下述步骤。
S201：获取预训练回归模型和初始训练集。
本申请实施例中，预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的。具体的，候选数据集中包括多个样本数据和样本数据对应的标注信息，该候选数据集中的样本数据和标注信息可以是基于人工标注得到的，也可以是现存训练数据库中已有的标注数据。具体的，初始回归模型为用于处理预设回归任务的模型，例如应用于涉及计算机视觉技术的视频图像处理、短视频编辑和视频通话等场景中的回归模型，示例性的，该初始回归模型可以为人脸关键点预测模型等，相应的，预设回归任务为计算机视觉预设回归任务。可以理解的，在初始回归模型为应用于计算机视觉技术场景的情况下，样本数据为样本图像，示例性的，人脸关键点预测模型的候选数据集中包括样本人脸图像和对应的关键点标注信息。具体的，初始训练集属于候选数据集，也就是说初始训练集为候选数据集的子集，是对候选数据集中的样本数据进行数据采样处理得到的。
在实际应用中，请参考图3，获取初始训练集可以包括下述步骤。
S2011：获取候选数据集。
S2012：对候选数据集进行数据随机采样处理，得到初始训练集。
具体的，可以对候选数据集中的多个样本数据进行随机采样处理，得到第三预设数量或预设比例的初始样本数据，基于采集的第三预设数量的初始样本数据和对应的标注信息得到初始训练集。示例性的，第三预设数量可以为1000张，或者预设比例为候选数据集中样本数据的2％。
在实际应用中，候选数据集中包括多个样本数据和样本数据对应的标注信息，相应的，请参考图4，获取预训练回归模型可以包括下述步骤。
S2013：获取初始回归模型。
S2014：以多个样本数据作为初始回归模型的输入，以对应的标注信息作为初始回归模型的期望输出，基于第一损失函数对初始回归模型进行预设回归任务的约束训练，得到预训练回归模型。
具体的，初始回归模型可以是初始构建的回归模型，也可以是现有技术中已有的预训练模型，例如可以为深度残差网络模型(Deep residual network,ResNet)，Mobilenet网络模型和Inception网络模型等，其中，MobileNet模型是谷歌公司在2017年针对移动终端或者嵌入式提出的轻量级模型。具体的，第一损失函数可以为距离回归损失函数，例如为最小绝对值偏差(LAD)损失函数(L1损失函数)或最小平方误差(LSE)损失函数(L2损失函数)等。具体的，可以利用候选数据集中的全量样本数据进行上述初始回归模型的约束训练。
在一些实施例中，第一损失函数为L2损失函数，该第一损失函数的表达式如下述公式所示；其中，L为损失Loss，θ代表模型参数，I代表样本数据，x代表初始回归模型的模型输出，例如模型预测值，x符合概率分布Pθ(x|I)，μ代表样本数据I的标注信息。
在一个实施例中，预设回归任务为人脸关键点的预测任务，初始回归模型为初始关键点预测模型，样本数据为人脸图像，对应的标注信息为关键点标注坐标，第一损失函数为L2损失函数。相应的，上述公式中的I代表人脸图像，x代表初始回归模型输出的关键点坐标预测结果，μ代表人脸图像I的关键点标注坐标。相应的，S2014可以具体为：以候选数据集中的多个人脸图像(可以是全量的人脸图像)作为初始关键点预测模型的输入，以对应的关键点标注坐标作为初始关键点预测模型的期望输出，基于第一损失函数计算模型训练过程中的损失，并基于计算得到的损失调整初始关键点预测模型的模型参数，以对初始关键点预测模型进行人脸关键点的预测任务的约束训练，得到预训练回归模型。
S203：利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果。
本申请实施例中，聚类结果表征候选数据集中的各样本数据所属的聚类类别。可以通过预训练回归模型得到候选数据集中的每个样本数据的样本特征，进而调用预设聚类算法对候选数据集中各样本数据的样本特征进行聚类处理，得到每个样本特征的聚类结果，即得到每个样本数据的聚类结果。通过聚类处理对候选数据集中的样本数据进行分类处理，以将相似的样本数据划分至同一聚类类别。
在实际应用中，请参考图5，S203可以包括下述步骤。
S2031：利用预训练回归模型，对候选数据集中的各样本数据进行特征提取处理，得到候选数据集中的各样本数据的样本特征。
S2032：对各样本数据的样本特征进行特征聚类处理，得到候选数据集中的各样本数据对应的聚类结果。
具体的，利用预训练回归模型对候选数据集中的每个样本数据进行特征提取，得到每个样本数据的样本特征。通常情况下，样本特征为预训练回归模型的倒数第二网络层输出的，如可以是卷积神经网络的倒数第二层。具体的，预设聚类算法可以为k均值聚类算法，或者也可以为基于密度的聚类算法，如《Clustering by fast search and find ofdensity peaks》中的聚类算法，通过可视化密度峰确定聚类类别数量。调用预设的聚类算法，基于样本特征间的特征相似度对样本特征进行聚类处理，以对相似的样本特征进行聚类，得到聚类结果。
具体的，以预训练回归模型为预训练关键点预测模型，样本数据为人脸图像为例，可以通过预训练关键点预测模型提取候选数据集中每张人脸图像的图像特征，并利用基于密度的聚类算法对图像特征进行聚类分析，进而确定每张人脸图像的聚类类别。
S205：基于初始训练集和第二损失函数，对预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到预训练回归模型对应的中间模型。
本申请实施例中，以初始训练集中的各样本数据作为预训练回归模型的输入，以对应的标注信息作为预训练回归模型针对预设回归任务的期望输出，以及以样本数据的预测置信度作为置信度预测的输出，基于第二损失函数对预训练回归模型进行置信度预测和预设回归任务的更新约束训练，得到对应的中间模型。
在实际应用中，样本数据在预设回归任务中对应的真值存在语义模糊等不确定性，以及基于人工的标注信息存在标注误差，该标注误差服从正态分布N(0,σ2)，相应的，概率分布Pθ(x|I)的表达式如下述公式所示。该概率分布表达式即为预设回归任务对应的信息量函数。其中，σ表征预训练回归模型的预测置信度。在一个实施例中，以样本数据为人脸图像为例，σ表征人脸图像的预测置信度。
相应的，第二损失函数为第一损失函数对应的最大似然损失函数。基于最大对数似然概率可得第二损失函数(第一损失函数为L2损失函数)，该第二损失函数的表达式如下述公式所示。
基于前述第一损失函数和第二损失函数的表达式可知，第一损失函数正比于概率视角中的最大似然概率，当σ为1时，第一损失函数和第二损失函数是等价的。具体的，最大似然概率可以是基于多元高斯分布生成的二维正态分布得到的。
具体的，基于上述信息量函数和第二损失函数，从概率学的角度计算距离回归损失，并通过置信度σ表征样本数据所携带的信息量，进而量化评价样本数据所携带的有效信息。可以理解的，预测置信度σ越大，则代表越不置信，样本数据所携带的信息量越高。
通常情况下，针对处理分类任务的深度模型，其对应的损失函数通常是交叉熵函数等能够衡量信息量的函数，即可以基于其自身的损失函数进行样本数据的信息量分析，而回归任务采用的是欧式距离等距离损失函数，本身难以进行信息量的估测，本申请的技术方案通过以概率学角度对回归任务建模，从概率学的角度衡量距离损失，以使回归模型能够进行样本数据的置信度预测，进而将信息量衡量的方法应用于回归任务中。
S207：利用中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的预测置信度。
本申请实施例中，预测置信度表征样本数据所携带的信息量。具体的，第一差集为候选数据集与初始训练集间的差集，通过中间模型对第一差集中的每个样本数据进行置信度预测处理，得到第一差集中每个样本数据的预测置信度。示例性的，若候选数据集中包括50000个样本数据，初始训练集中包括1000个样本数据，则第一差集中包括49000个样本数据。
在一些情况下，将第一差集中的样本数据输入中间模型后，模型的输出为预测坐标(x,y)的均值(μx,μy)和预测置信度的协方差矩阵即中间模型的输出为(μx,μy)，以及σx，vy和vxy。基于该协方差矩阵，既可以得到各样本数据的预测置信度。在模型输出多个置信度的情况下，预测置信度可以为基于模型输出的多个置信度的均值。
S209：基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样处理，得到增量训练集。
通常情况下，样本数据间存在内容相似性，若两样本数据的相似度很高，如样本图像A和样本图像B的图像内容很相似，则其大概率具有相似的信息量并携带有相似度很高的信息，若训练集中存在大量相似样本数据，即代表训练集中存在很多冗余数据，训练数据的多样性较差，基于该训练集训练的模型泛化能力低下，且增加训练成本。
本申请实施例中，根据预测置信度和聚类结果进行数据采样，来得到增量样本数据，进而得到增量训练集，同时引入特征相似性和数据信息量因素，可以有效去除冗余的样本数据，避免筛选出大量重复类似的样本数据，显著提高训练数据的有效性。
在实际应用中，请参考图6，S209可以包括下述步骤。
S2091：基于预测置信度对第一差集中的样本数据进行置信度排序处理，得到置信度排序结果。
S2092：基于置信度排序结果和聚类结果，对第一差集中的样本数据进行不同聚类类别的数据采样处理，得到增量训练集。
可以理解的，可以根据预测置信度由高至低的顺序对第一差集中的样本数据进行排序，也可以根据预测置信度由低至高的顺序进行排序，得到该置信度排序结果。
在一些实施例中，对第一差集中的样本数据，基于置信度排序结果，针对第一差集中的样本数据对应的各聚类类别分别进行均匀的数据采样处理，以得到对应的每种聚类类别的增量样本数据。可以理解的，针对每种聚类类别，都优先选取预测置信度高的样本数据，以作为增量样本数据。
在一个实施例中，S2092可以包括下述步骤。
S20921：基于置信度排序结果，对第一差集中的样本数据进行数据采样处理，得到第一样本集；第一样本集中包括第一预设数量的样本数据。
具体的，根据置信度排序结果，从第一差集中的样本数据筛选出预测置信度最高的第一预设数量的样本数据，若基于由高至低的顺序进行置信度排序，则选取排序靠前的第一预设数量的样本数据，得到第一样本集。示例性的，该第一预设数量可以为1000。
S20922：根据聚类结果确定第一样本集中各样本数据各自所属的目标聚类类别。
具体的，基于前述得到的聚类结果，可以确定第一样本集中每个样本数据所属的目标聚类类别。
S20923：针对各目标聚类类别中的每个目标聚类类别，从第一样本集中筛选出各目标聚类类别各自对应的第二预设数量的样本数据，得到第一样本集对应的增量样本数据。
具体的，基于前述得到的聚类结果，可以确定第一样本集中每个样本数据所属的目标聚类类别，即确定第一样本集对应的各个目标聚类类别，以及每种目标聚类类别在第一样本集中对应的样本数据。从每种目标聚类类别对应的样本数据中筛选出第二预设数量的样本数据，将各目标聚类类别各自对应的第二预设数量的样本数据，作为第一样本集对应的增量样本数据。示例性的，该第二预设数量可以例如为2，若第一样本集的样本数据共有250个目标聚类类别，则第一样本集对应的增量样本数据为500个。
S20924：基于置信度排序结果，对第一差集与第一样本集间的第二差集中的样本数据进行数据采样处理，得到第二样本集；第二样本集中包括第一预设数量的第二样本数据。
具体的，第二差集为第一差集与第一样本集间的差集，示例性的，若候选数据集中包括50000个样本数据，初始训练集中包括1000个样本数据，则第一差集中包括49000个样本数据，若第一预设数量也为1000个，即第一样本集中包括1000个样本数据，则第二差集中包括48000个样本数据。
S20925：针对第二样本集，重复执行上述目标聚类类别的确定步骤和筛选出第二预设数量的样本数据的步骤，得到第二样本集对应的增量样本数据。
S20926：若第一样本集对应的增量样本数据和第二样本集对应的增量样本数据的数据量之和大于等于目标增量，基于第一样本集对应的增量样本数据和第二样本集对应的增量样本数据得到增量训练集。
具体的，对该第二样本集，重新执行步骤S20922和S20923，即根据聚类结果确定第二样本集中各样本数据各自所属的目标聚类类别。并针对各目标聚类类别中的每个目标聚类类别，从第二样本集中筛选出各目标聚类类别各自对应的第二预设数量的样本数据，得到第二样本集对应的增量样本数据。
进一步的，确定第一样本集对应的增量样本数据的数量和第二样本集对应的增量样本数据的数量，若二者的数量之和大于等于目标增量，则可以将第一样本集和第二样本集对应的增量样本数据作为本次迭代所得到的增量训练集。若二者的数量之和小于目标增量，则循环执行步骤S20924和S20925，以基于置信度排序结果，对第三差集中的样本数据进行数据采样处理，得到第三样本集，第三差集为第一差集与第一样本集和第二样本集间的差集，即第一差集减去第一样本集和第二样本集。并针对第二样本集，重复执行S20922和S20923，得到第三样本集对应的增量样本数据，依次类推，至所有得到的增量样本数据的数据量之和大于等于目标增量，结束本次增量数据筛选。其中，目标增量可以与第一预设数量相同，也可以与第一预设数量不同。
示例性的，目标增量为1000，第二数,为2，若第一样本集的样本数据共有250个目标聚类类别，则第一样本集对应的增量样本数据为500个；若第二样本集的样本数据共有300个目标聚类类别，则第二样本集对应的增量样本数据为600个；第一样本集和第二样本集对应的增量样本数据总量为1100个，大于目标增量1000，即满足筛选条件，将这1100个增量样本数据作为增量训练集。若第二样本集的样本数据共有100个目标聚类类别，则第二样本集对应的增量样本数据为200个，第一样本集和第二样本集对应的增量样本数据总量为700个，小于目标增量1000，即未满足筛选条件，重复步骤S20924和S20925，至得到的增量样本数据总量大于等于1000为止。
S211：利用增量训练集对初始训练集进行更新处理，得到更新的初始训练集。
本申请实施例中，将增量训练集中的增量样本数据添加至初始训练集中，得到更新的初始训练集。
S213：基于更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的更新的初始训练集作为目标训练集。
本申请实施例中，在得到更新的初始训练集后，对更新的初始训练集，重复执行前述步骤S205-S211，以重新得到更新的中间模型，更新的第一差集中各样本数据的预测置信度，对更新的第一差集进行再次采样处理得到的增量训练集和再次更新得到的初始训练集。其中，更新的中间模型为基于更新的初始训练集和第二损失函数，对预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练得到的；更新的第一差集为候选数据集与前一次得到的更新的初始训练集间的差集。如此循环迭代，至满足迭代结束条件。将满足迭代结束条件的当前迭代次数中，所得到的更新的初始训练集作为目标训练集。
在一些情况下，迭代结束条件可以为当前迭代次数中得到的更新的中间模型的性能指标大于等于预设性能指标。该预设性能指标可以是预设的，例如模型的预设准确度和预设精确度等；也可以是基于预训练回归模型确定的，如在得到预训练回归模型后，通过验证集对预训练回归模型进行性能验证，以得到预设性能指标。该验证集可以是从候选数据集中随机抽取的，也可以是从其它数据集中得到的。示例性的，若预设性能指标为预设准确度，该预设准确度为80％。则在当前迭代次数中得到的更新的中间模型的准确度大于等于80％的情况下，确定满足迭代结束条件，将当前迭代次数中得到的更新的初始训练集作为目标训练集。
在另一些情况下，迭代结束条件可以为当前迭代次数中得到的更新的初始训练集中的样本数据，在候选数据集的样本数据中的占比，大于等于预设比例。示例性的，该预设比例可以例如为60％，候选集中50000个样本数据，当当前迭代次数中得到的更新的初始训练集中的样本数据量大于等于30000个时，确定满足迭代结束条件。
通过样本数据的迭代筛选，能够去除冗余数据，降低训练集中的重复数据比例，提高训练数据质量和模型训练效率。
基于上述技术方案，可以基于一种预训练回归模型进行候选数据集中的样本数据的处理，以得到目标训练集。在一些情况下，可以基于不止一种回归模型进行样本数据处理，可以基于多种回归模型的结果，进行样本数据处理，得到目标训练集。
在一些实施例中，预训练回归模型包括第一预训练回归模型和第二预训练回归模型，初始训练集包括第一预训练回归模型对应的第一初始训练集和第二预训练回归模型对应的第二初始训练集；相应的，请参考图7，步骤S205可以包括下述步骤。
S2051：基于第一初始训练集和第二损失函数，对第一预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到第一预训练回归模型对应的中间模型。
S2052：基于第二初始训练集和第二损失函数，对第二预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到第二预训练回归模型对应的中间模型。
可以理解的，预训练回归模型可以不止包括第一预训练回归模型和第二预训练回归模型，还可以包括更多不同的预训练回归模型。需要说明的是，各预训练回归模型的获取方式，及其对应的初始训练集的获取方式与前述S201相类似，各预训练回归模型对应的中间模型的获取方式与前述的S205相类似，在此不再赘述。
进一步地，S207可以包括下述步骤。
S2071：利用第一预训练回归模型对应的中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的第一置信度。
S2072：利用第二预训练回归模型对应的中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的第二置信度。
S2073：分别对第一差集中各样本数据的第一置信度和第二置信度进行平均处理，得到第一差集中各样本数据的预测置信度。
需要说明的是，各个不同预训练回归模型，针对第一差集的样本数据的置信度处理与前述S207中相类似。针对同一样本数据，通过多个不同的预训练回归模型得到多个置信度后，对各个置信度进行求平均处理，得到该样本数据的预测置信度。可以理解的，上述求平均处理可以为简单加和平均或加权加和平均。如此，通过多种预训练回归模型对样本数据进行置信度预测，有效提高样本数据信息量估计的准确性，进而确保目标训练集中训练数据的质量。
进一步地，针对前述S203中的聚类处理，可以选取一个预训练回归模型执行该S203，以得到候选数据集中每个样本数据的聚类类别。也可以通过各个预训练回归模型分别针对每个样本数据进行特征提取和聚类处理，也就是说，对于每个样本数据，各个预训练回归模型都会分别确定该样本数据的聚类类别，可以将各个预训练回归模型的聚类类别进行求平均处理，以最终确定每个样本数据的聚类类别。
在一个实施例中，基于PyTorch实现本申请的技术方案，样本数据为人脸图像，预设回归任务为人脸关键点的回归预测，标注信息为关键点标注坐标，候选数据集为U，其中的人脸图像I∈U。通过预训练得到三种预训练回归模型，分别为MobilenetV2模型，InceptionV3模型和ResNet50模型，其损失函数同前述的第二损失函数。模型的输出为预测坐标(x,y)的均值(μx,μy)和预测置信度的协方差矩阵即输出为(μx,μy)，以及σx，σy和σxy。
在实际情况下，分别对上述三种模型的最后一层全连接FC层进行修改，将其最后一层FC层的通道数目(out_channel)修改为5*p，其中p为需要回归的关键点的数量，即模型所需输出的回归量，5是指每个关键点的输出维度，即分别为μx，μy，σx，σy和σxy。
相应的，利用上述每种预训练回归模型分别进行置信度预测，对于每张人脸图像，针对每个关键点可以得到多个置信度结果，对其进行平均处理，得到每个关键点的平均置信度，然后对各个关键点的平均置信度再次求平均处理，得到该样本数据的初始置信度。或者，也可以是针对每个关键点可以得到多个置信度结果，取其中最大的置信度，得到一个关键点的最大置信度，然后对各个关键点的最大置信度进行求平均处理，得到该样本数据的初始置信度。可以理解的，上述三种模型，会分别输出该样本数据的三个初始置信度，对该三个初始置信度再次进行求平均处理，得到该样本数据最终的预测置信度。根据该预测置信度进行候选数据集中人脸图像的置信度排序，以表征其信息量排序。
基于上述部分或全部实施方式，本申请实施例中，在步骤S213之后，方法还可以包括步骤S215：基于目标训练集和第一损失函数，对预训练回归模型进行预设回归任务的约束训练，得到目标回归模型。
具体的，上述约束训练与前述的S2014相类似，在此不再赘述。通过筛选得到的目标训练集进一步对预训练回归模型进行训练，得到的目标回归模型。通过少量的有效样本数据即能够得到性能指标优异和具有强泛化能力的目标回归模。
请参考下表一，表一为前述的人脸关键点预测的实施例得到的统计结果，通过三种模型数据处理方案，分别得到各自的目标回归模型，第一种为随机筛选，第二种为本申请的数据处理方案，第三种为全量数据方案。基于该表一中的数据可知，在目标回归模型的性能指标相类似的情况下，基于本申请的技术方案仅需全量数据的约62.7％，随机筛选方案中数据量的71.6％，其中，NME表征目标回归模型输出的各关键点预测坐标和对应真值间的归一化平方差。
可见，基于本申请的技术方案有效缩减了模型训练量和训练效率，且通过均衡分类的有效数据进行训练能够提高模型收敛速度，提高模型泛化能力。
表一
| 模型方案 | NME | 数据量 |
| 随机筛选 | 0.0391 | 122628 |
| 本申请方案 | 0.0391 | 87790 |
| 全量数据 | 0.0390 | 14w |
基于上述部分或全部实施方式，本申请实施例中，在S215之后，方法还可以包括未标注数据的筛选步骤。具体可以包括：获取未标注数据集；利用得到的目标置信度预测模型对未标注数据集中的未标注样本数据进行特征提取处理和置信度预测，得到每个未标注样本数据的样本特征和置信度结果；目标置信度预测模型为最后一次迭代获得的中间模型。利用预设的聚类算法对未标注样本数据的样本特征进行特征聚类处理，得到未标注样本数据的聚类结果；基于未标注样本数据的聚类结果和置信度结果对应的置信度排序，从未标注数据集中筛选出待标注数据，得到待标注数据集。其中，置信度排序的获取方式与前文相类似，在此不再赘述。
如此，通过得到的目标置信度预测模型能够对未标注数据进行提前筛选，以去除冗余数据，降低数据标注成本，提高训练数据质量。
本申请实施例还提供了一种训练数据处理装置800，如图8所示，图8示出了本申请实施例提供的一种训练数据处理装置的结构示意图，装置可以包括下述模块。
第一获取模块10：用于获取预训练回归模型和初始训练集；预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；初始训练集属于候选数据集。
第二获取模块20：利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果；聚类结果表征候选数据集中的各样本数据所属的聚类类别。
更新约束训练模块30：用于基于初始训练集和第二损失函数，对预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到预训练回归模型对应的中间模型；第二损失函数为第一损失函数对应的最大似然损失函数。
置信度预测处理模块40：用于利用中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的预测置信度；预测置信度表征样本数据所携带的信息量。
增量数据采样模块50：用于基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样处理，得到增量训练集。
训练集更新模块60：用于利用增量训练集对初始训练集进行更新处理，得到更新的初始训练集。
迭代模块70：用于基于更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的更新的初始训练集作为目标训练集。
在一些实施例中，第二获取模块20可以包括下述子模块。
特征提取子模块：用于利用预训练回归模型，对候选数据集中的各样本数据进行特征提取处理，得到候选数据集中的各样本数据的样本特征。
聚类处理子模块：用于对各样本数据的样本特征进行特征聚类处理，得到候选数据集中的各样本数据对应的聚类结果。
在一些实施例中，增量数据采样模块50可以包括下述子模块。
置信度排序子模块：用于基于预测置信度对第一差集中的样本数据进行置信度排序处理，得到置信度排序结果。
数据采样子模块：用于基于置信度排序结果和聚类结果，对第一差集中的样本数据进行不同聚类类别的数据采样处理，得到增量训练集。
在一些实施例中，数据采样子模块可以包括下述单元。
第一数据采样单元：用于基于置信度排序结果，对第一差集中的样本数据进行数据采样处理，得到第一样本集；第一样本集中包括第一预设数量的样本数据。
聚类类别确定单元：用于根据聚类结果确定第一样本集中各样本数据各自所属的目标聚类类别。
样本数据筛选单元：用于针对各目标聚类类别中的每个目标聚类类别，从第一样本集中筛选出各目标聚类类别各自对应的第二预设数量的样本数据，得到第一样本集对应的增量样本数据。
第二数据采样单元：用于基于置信度排序结果，对第一差集与第一样本集间的第二差集中的样本数据进行数据采样处理，得到第二样本集；第二样本集中包括第一预设数量的第二样本数据。
循环执行单元：用于针对第二样本集，重复执行上述目标聚类类别的确定步骤和筛选出第二预设数量的样本数据的步骤，得到第二样本集对应的增量样本数据。以及用于若第一样本集对应的增量样本数据和第二样本集对应的增量样本数据的数据量之和大于等于目标增量，基于第一样本集对应的增量样本数据和第二样本集对应的增量样本数据得到增量训练集。
在一些实施例中，预训练回归模型包括第一预训练回归模型和第二预训练回归模型，初始训练集包括第一预训练回归模型对应的第一初始训练集和第二预训练回归模型对应的第二初始训练集。相应的，更新约束训练模块30可以包括下述子模块。
第一更新约束训练子模块：用于基于第一初始训练集和第二损失函数，对第一预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到第一预训练回归模型对应的中间模型。
第二更新约束训练子模块：用于基于第二初始训练集和第二损失函数，对第二预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到第二预训练回归模型对应的中间模型。
相应的，置信度预测处理模块40包括下述子模块。
第一置信度预测子模块：用于利用第一预训练回归模型对应的中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的第一置信度。
第二置信度预测子模块：用于利用第二预训练回归模型对应的中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的第二置信度。
置信度平均处理子模块：用于分别对第一差集中各样本数据的第一置信度和第二置信度进行平均处理，得到第一差集中各样本数据的预测置信度。
在一些实施例中，第一获取模块10可以包括下述子模块。
候选数据集获取子模块：用于获取候选数据集。
随机采样子模块：用于对候选数据集进行数据随机采样处理，得到初始训练集。
在一些实施例中，候选数据集中包括多个样本数据和样本数据对应的标注信息，第一获取模块10可以包括下述子模块。
初始回归模型获取子模块：用于获取初始回归模型。
初始回归模型训练子模块：用于以多个样本数据作为初始回归模型的输入，以对应的标注信息作为初始回归模型的期望输出，基于第一损失函数对初始回归模型进行预设回归任务的约束训练，得到预训练回归模型。
在一些实施例中，方法还包括回归模型训练模块：用于在基于更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的更新的初始训练集作为目标训练集之后，基于目标训练集和第一损失函数，对预训练回归模型进行预设回归任务的约束训练，得到目标回归模型。
需要说明的是，上述装置实施例与方法实施例基于相同的实施方式。
本申请实施例提供了一种训练数据处理设备，该识别设备可以为终端或服务器，该训练数据处理设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的训练数据处理方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图9是本申请实施例提供的一种训练数据处理方法的电子设备的硬件结构框图。如图9所示，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，存储介质可设置于电子设备之中以保存用于实现方法实施例中一种训练数据处理方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的训练数据处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
由上述本申请提供的训练数据处理方法、装置、设备、服务器、终端存储介质和程序产品的实施例可见，本申请的技术方案通过获取预训练回归模型和初始训练集；初始训练集属于候选数据集；利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果；并基于初始训练集和第二损失函数，对预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到预训练回归模型对应的中间模型，第二损失函数为第一损失函数对应的最大似然损失函数；利用中间模型，对候选数据集与初始训练集的第一差集中的样本数据，进行置信度预测处理，得到第一差集中各样本数据的预测置信度；预测置信度表征样本数据所携带的信息量；基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样处理，得到增量训练集；然后，利用增量训练集对初始训练集进行更新处理，得到更新的初始训练集；基于更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的更新的初始训练集作为目标训练集。通过上述方案，基于预测置信度和聚类结果进行数据筛选，结合了数据信息量和相似性的因素，能够显著提高目标训练集中数据的有效性和均衡性，进而提高相关训练模型的泛化能够和性能。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (20)
1.一种训练数据处理方法，其特征在于，所述方法包括：
获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；
利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；在所述初始回归模型为应用于计算机视觉技术场景的情况下，所述样本数据为样本图像；
基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；
利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度；所述预测置信度表征所述样本数据所携带的信息量；
基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集；
利用所述增量训练集对所述初始训练集进行更新处理，得到更新的初始训练集；
基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集。
2.根据权利要求1所述的方法，其特征在于，所述利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果包括：
利用所述预训练回归模型，对所述候选数据集中的各样本数据进行特征提取处理，得到所述候选数据集中的各样本数据的样本特征；
对所述各样本数据的样本特征进行特征聚类处理，得到所述候选数据集中的各样本数据对应的聚类结果。
3.根据权利要求1所述的方法，其特征在于，所述基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集包括：
基于所述预测置信度对所述第一差集中的样本数据进行置信度排序处理，得到置信度排序结果；
基于所述置信度排序结果和所述聚类结果，对所述第一差集中的样本数据进行不同聚类类别的数据采样处理，得到所述增量训练集。
4.根据权利要求3所述的方法，其特征在于，所述基于所述置信度排序结果和所述聚类结果，对所述第一差集中的样本数据进行不同聚类类别的数据采样处理，得到所述增量训练集包括：
基于所述置信度排序结果，对所述第一差集中的样本数据进行数据采样处理，得到第一样本集；所述第一样本集中包括第一预设数量的样本数据；
根据所述聚类结果确定所述第一样本集中各样本数据各自所属的目标聚类类别；
针对各目标聚类类别中的每个目标聚类类别，从所述第一样本集中筛选出各目标聚类类别各自对应的第二预设数量的样本数据，得到所述第一样本集对应的增量样本数据；
基于所述置信度排序结果，对所述第一差集与所述第一样本集间的第二差集中的样本数据进行数据采样处理，得到第二样本集；所述第二样本集中包括第一预设数量的第二样本数据；
针对所述第二样本集，重复执行上述目标聚类类别的确定步骤和所述筛选出第二预设数量的样本数据的步骤，得到所述第二样本集对应的增量样本数据；
若所述第一样本集对应的增量样本数据和所述第二样本集对应的增量样本数据的数据量之和大于等于目标增量，基于所述第一样本集对应的增量样本数据和所述第二样本集对应的增量样本数据得到所述增量训练集。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述预训练回归模型包括第一预训练回归模型和第二预训练回归模型，所述初始训练集包括所述第一预训练回归模型对应的第一初始训练集和所述第二预训练回归模型对应的第二初始训练集；
所述基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型包括：
基于所述第一初始训练集和第二损失函数，对所述第一预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述第一预训练回归模型对应的中间模型；
基于所述第二初始训练集和第二损失函数，对所述第二预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述第二预训练回归模型对应的中间模型；
所述利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度包括：
利用所述第一预训练回归模型对应的中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的第一置信度；
利用所述第二预训练回归模型对应的中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的第二置信度；
分别对所述第一差集中各样本数据的第一置信度和第二置信度进行平均处理，得到所述第一差集中各样本数据的预测置信度。
6.根据权利要求1-4中任一项所述的方法，其特征在于，获取初始训练集包括：
获取所述候选数据集；
对所述候选数据集进行数据随机采样处理，得到所述初始训练集。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述候选数据集中包括多个样本数据和样本数据对应的标注信息，所述获取预训练回归模型包括：
获取所述初始回归模型；
以所述多个样本数据作为所述初始回归模型的输入，以对应的标注信息作为所述初始回归模型的期望输出，基于第一损失函数对所述初始回归模型进行所述预设回归任务的约束训练，得到所述预训练回归模型。
8.根据权利要求1-4中任一项所述的方法，其特征在于，在所述基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集之后，所述方法还包括：
基于所述目标训练集和所述第一损失函数，对所述预训练回归模型进行预设回归任务的约束训练，得到目标回归模型。
9.一种训练数据处理装置，其特征在于，所述装置包括：
第一获取模块：用于获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；
第二获取模块：利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；在所述初始回归模型为应用于计算机视觉技术场景的情况下，所述样本数据为样本图像；
更新约束训练模块：用于基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；
置信度预测处理模块：用于利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度；所述预测置信度表征所述样本数据所携带的信息量；
增量数据采样模块：用于基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集；
训练集更新模块：用于利用所述增量训练集对所述初始训练集进行更新处理，得到更新的初始训练集；
迭代模块：用于基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集。
10.根据权利要求9所述的装置，其特征在于，所述第二获取模块包括：
特征提取子模块：用于利用所述预训练回归模型，对所述候选数据集中的各样本数据进行特征提取处理，得到所述候选数据集中的各样本数据的样本特征；
聚类处理子模块：用于对所述各样本数据的样本特征进行特征聚类处理，得到所述候选数据集中的各样本数据对应的聚类结果。
11.根据权利要求9所述的装置，其特征在于，所述增量数据采样模块包括：
置信度排序子模块：用于基于所述预测置信度对所述第一差集中的样本数据进行置信度排序处理，得到置信度排序结果；
数据采样子模块：用于基于所述置信度排序结果和所述聚类结果，对所述第一差集中的样本数据进行不同聚类类别的数据采样处理，得到所述增量训练集。
12.根据权利要求11所述的装置，其特征在于，所述数据采样子模块包括：
第一数据采样单元：用于基于所述置信度排序结果，对所述第一差集中的样本数据进行数据采样处理，得到第一样本集；所述第一样本集中包括第一预设数量的样本数据；
聚类类别确定单元：用于根据所述聚类结果确定所述第一样本集中各样本数据各自所属的目标聚类类别；
样本数据筛选单元：用于针对各目标聚类类别中的每个目标聚类类别，从所述第一样本集中筛选出各目标聚类类别各自对应的第二预设数量的样本数据，得到所述第一样本集对应的增量样本数据；
第二数据采样单元：用于基于所述置信度排序结果，对所述第一差集与所述第一样本集间的第二差集中的样本数据进行数据采样处理，得到第二样本集；所述第二样本集中包括第一预设数量的第二样本数据；
循环执行单元：用于针对所述第二样本集，重复执行上述目标聚类类别的确定步骤和所述筛选出第二预设数量的样本数据的步骤，得到所述第二样本集对应的增量样本数据；以及，用于若所述第一样本集对应的增量样本数据和所述第二样本集对应的增量样本数据的数据量之和大于等于目标增量，基于所述第一样本集对应的增量样本数据和所述第二样本集对应的增量样本数据得到所述增量训练集。
13.根据权利要求9-12中任一项所述的装置，其特征在于，所述预训练回归模型包括第一预训练回归模型和第二预训练回归模型，所述初始训练集包括所述第一预训练回归模型对应的第一初始训练集和所述第二预训练回归模型对应的第二初始训练集；所述更新约束训练模块包括：
第一更新约束训练子模块：用于基于所述第一初始训练集和第二损失函数，对所述第一预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述第一预训练回归模型对应的中间模型；
第二更新约束训练子模块：用于基于所述第二初始训练集和第二损失函数，对所述第二预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述第二预训练回归模型对应的中间模型；
所述置信度预测处理模块包括；
第一置信度预测子模块：用于利用所述第一预训练回归模型对应的中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的第一置信度；
第二置信度预测子模块：用于利用所述第二预训练回归模型对应的中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的第二置信度；
置信度平均处理子模块：用于分别对所述第一差集中各样本数据的第一置信度和第二置信度进行平均处理，得到所述第一差集中各样本数据的预测置信度。
14.根据权利要求9-12中任一项所述的装置，其特征在于，所述第一获取模块包括：
候选数据集获取子模块：用于获取所述候选数据集；
随机采样子模块：用于对所述候选数据集进行数据随机采样处理，得到所述初始训练集。
15.根据权利要求9-12中任一项所述的装置，其特征在于，所述候选数据集中包括多个样本数据和样本数据对应的标注信息，所述第一获取模块包括：
初始回归模型获取子模块：用于获取所述初始回归模型；
初始回归模型训练子模块：用于以所述多个样本数据作为所述初始回归模型的输入，以对应的标注信息作为所述初始回归模型的期望输出，基于第一损失函数对所述初始回归模型进行所述预设回归任务的约束训练，得到所述预训练回归模型。
16.根据权利要求9-12中任一项所述的装置，其特征在于，所述装置还包括回归模型训练模块：用于在所述基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集之后，基于所述目标训练集和所述第一损失函数，对所述预训练回归模型进行预设回归任务的约束训练，得到目标回归模型。
17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任一项所述的训练数据处理方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1-8中任一项所述的训练数据处理方法。
19.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-8中任一项所述的训练数据处理方法。
20.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-8中任一项所述的训练数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111477189.XA CN114332984B (zh) | 2021-12-06 | 2021-12-06 | 训练数据处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111477189.XA CN114332984B (zh) | 2021-12-06 | 2021-12-06 | 训练数据处理方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332984A CN114332984A (zh) | 2022-04-12 |
| CN114332984B true CN114332984B (zh) | 2024-04-12 |
Family
ID=81049035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111477189.XA Active CN114332984B (zh) | 2021-12-06 | 2021-12-06 | 训练数据处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332984B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115470910A (zh) * | 2022-10-20 | 2022-12-13 | 晞德软件(北京)有限公司 | 基于贝叶斯优化及K-center采样的自动调参方法 |
| CN116189063B (zh) * | 2023-04-24 | 2023-07-18 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
| CN117349670B (zh) * | 2023-10-25 | 2024-04-12 | 杭州汇健科技有限公司 | 一种肿瘤检测模型训练系统、方法、设备及存储介质 |
| CN117226599B (zh) * | 2023-11-10 | 2024-01-30 | 上海诺倬力机电科技有限公司 | 数控机床热误差预测方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018170864A1 (zh) * | 2017-03-20 | 2018-09-27 | 成都通甲优博科技有限责任公司 | 一种人脸识别跟踪方法 |
| CN113033631A (zh) * | 2021-03-09 | 2021-06-25 | 北京百度网讯科技有限公司 | 一种模型的增量训练方法和装置 |
| CN113095346A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 数据标注的方法以及数据标注的装置 |
| CN113408566A (zh) * | 2020-11-17 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 目标检测方法及相关设备 |
| CN113420849A (zh) * | 2021-08-25 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 基于主动学习的模型在线增量训练方法、设备及介质 |
| CN113705769A (zh) * | 2021-05-17 | 2021-11-26 | 华为技术有限公司 | 一种神经网络训练方法以及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200265301A1 (en) * | 2019-02-15 | 2020-08-20 | Microsoft Technology Licensing, Llc | Incremental training of machine learning tools |
-
2021
- 2021-12-06 CN CN202111477189.XA patent/CN114332984B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018170864A1 (zh) * | 2017-03-20 | 2018-09-27 | 成都通甲优博科技有限责任公司 | 一种人脸识别跟踪方法 |
| CN113095346A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 数据标注的方法以及数据标注的装置 |
| CN113408566A (zh) * | 2020-11-17 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 目标检测方法及相关设备 |
| CN113033631A (zh) * | 2021-03-09 | 2021-06-25 | 北京百度网讯科技有限公司 | 一种模型的增量训练方法和装置 |
| CN113705769A (zh) * | 2021-05-17 | 2021-11-26 | 华为技术有限公司 | 一种神经网络训练方法以及装置 |
| CN113420849A (zh) * | 2021-08-25 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 基于主动学习的模型在线增量训练方法、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| Incremental Deep Neural Network Learning using Classification Confidence Thresholding;Justin Leo and Jugal Kalita;《arXiv:2106.11437v1 》;第1-10页 * |
| 一种基于主动学习的集成协同训练算法;谢伙生;刘敏;;山东大学学报(工学版)(第03期);第5-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332984A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332984B (zh) | 训练数据处理方法、装置和存储介质 | |
| CN111932386B (zh) | 用户账号确定方法及装置、信息推送方法及装置、电子设备 | |
| CN113761261A (zh) | 图像检索方法、装置、计算机可读介质及电子设备 | |
| CN108647800B (zh) | 一种基于节点嵌入的在线社交网络用户缺失属性预测方法 | |
| CN113298197B (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
| CN111382190A (zh) | 一种基于智能的对象推荐方法、装置和存储介质 | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN111368926A (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
| CN110046297A (zh) | 运维违规操作的识别方法、装置和存储介质 | |
| WO2023020214A1 (zh) | 检索模型的训练和检索方法、装置、设备及介质 | |
| CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN113570391A (zh) | 基于人工智能的社群划分方法、装置、设备及存储介质 | |
| CN114004364A (zh) | 采样优化方法、装置、电子设备及存储介质 | |
| CN111191059B (zh) | 图像处理方法、装置、计算机存储介质及电子设备 | |
| CN113705247B (zh) | 主题模型效果评估方法、装置、设备、存储介质和产品 | |
| Yang et al. | An academic social network friend recommendation algorithm based on decision tree | |
| CN116958020A (zh) | 异常图像检测方法、模型训练方法、装置、设备和介质 | |
| CN115131058A (zh) | 账号识别方法、装置、设备及存储介质 | |
| CN113822412A (zh) | 一种图节点标注方法、装置、设备及存储介质 | |
| CN114528973A (zh) | 业务处理模型的生成方法、业务处理方法和装置 | |
| CN113468604A (zh) | 基于人工智能的大数据隐私信息解析方法及系统 | |
| Siniosoglou et al. | Unsupervised Bias Evaluation of DNNs in non-IID Federated Learning Through Latent micro-Manifolds | |
| Rong et al. | Exploring network behavior using cluster analysis | |
| CN115204436A (zh) | 检测业务指标异常原因的方法、装置、设备及介质 | |
| CN113010772A (zh) | 一种数据处理方法、相关设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |