CN111667003B - 数据清洗方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请实施例公开了数据清洗方法、装置、设备以及存储介质，涉及人工智能、深度学习和图像处理技术领域。该方法的一具体实施方式包括：获取目标任务的训练数据集；构建脏数据的搜索空间；在搜索空间中搜索脏数据样本；从搜索空间和训练数据集中删除脏数据样本。该实施方式通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。

Description

数据清洗方法、装置、设备以及存储介质

技术领域

本申请实施例涉及计算机技术领域，具体涉及人工智能、深度学习和图像处理技术领域，尤其涉及数据清洗方法、装置、设备以及存储介质。

背景技术

深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，训练数据对模型的性能和效果有着非常重要的影响。通常，深度神经网络的训练过程中的训练数据会影响模型的收敛速度和精度。而训练数据集中通常会存在一些低质量的训练数据，即脏数据样本。脏数据样本不仅会影响模型的精度，还会影响模型的最终阈值。为了对脏数据样本的错误标注达到区分能力，往往会产生极端的阈值，从而严重影响模型的性能。因此，对于存在脏数据样本的训练数据集，通常需要花费高昂的成本来对训练数据集进行人工清洗。

发明内容

本申请实施例提出了数据清洗方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种数据清洗方法，包括：获取目标任务的训练数据集；构建脏数据的搜索空间；在搜索空间中搜索脏数据样本；从搜索空间和训练数据集中删除脏数据样本。

第二方面，本申请实施例提出了一种数据清洗装置，包括：获取模块，被配置成获取目标任务的训练数据集；构建模块，被配置成构建脏数据的搜索空间；搜索模块，被配置成在搜索空间中搜索脏数据样本；删除模块，被配置成从搜索空间和训练数据集中删除脏数据样本。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。

本申请实施例提供的数据清洗方法、装置、设备以及存储介质，首先获取目标任务的训练数据集；之后构建脏数据的搜索空间；然后在搜索空间中搜索脏数据样本；最后从搜索空间和训练数据集中删除脏数据样本。通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。此外，在训练数据集是图像集的情况下，该方法还可以应用于图像处理技术领域，通过自动搜索的方式对图像集进行清洗，以过滤噪声较大的图像。进一步地，利用清洗后的图像集训练模型，能够提升模型的效果。

从搜索空间中搜索脏数据样本，能够快速地确定出训练数据集中较可能的脏数据样本。无需对训练数据集中的所有训练数据集进行评估，使得执行该方法的硬件减少了在数据清洗过程中的运算量，提高了硬件的处理速度。进而，降低了数据清洗对硬件环境的要求，使得该方法能够适配于更低的硬件配置的任务执行端设备，并且能够确保数据清洗的精准度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的数据清洗方法的一个实施例的流程图；

图3是根据本申请的数据清洗方法的又一个实施例的流程图；

图4是可以实现本申请实施例的数据清洗方法的场景图；

图5是根据本申请的数据清洗装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的数据清洗方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的数据清洗方法或数据清洗装置的实施例的示例性系统架构100。

如图1所示，系统架构100中可以包括存储设备101、网络102和服务器103。网络102用以在存储设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

存储设备101可以通过网络102与服务器103交互，以接收或发送消息等。存储设备101中可以提供目标任务的训练数据集，包括但不限于数据库、用户终端等等。

服务器103可以是具有模型计算能力的独立服务器，也可以是具有计算能力的处理模块。例如，服务器103可以是模型服务器。模型服务器可以对从存储设备101获取到的训练数据集等数据进行分析等处理，并根据处理结果(例如脏数据样本)对训练数据集进行数据清洗。

需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的数据清洗方法一般由服务器103执行，相应地，数据清洗装置一般设置于服务器103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，其示出了根据本申请的数据清洗方法的一个实施例的流程200。该数据清洗方法包括以下步骤：

步骤201，获取目标任务的训练数据集。

在本实施例中，数据生成方法的执行主体(例如图1所示的服务器103)可以获取目标任务的训练数据集。

其中，目标任务可以是任意特定任务，例如，人体检测人任务、人脸识别任务、目标跟踪任务等等。通常，利用特定的训练数据集可以训练出特定的模型，来执行特定的任务。例如，利用标注人体位置的训练数据集可以训练出人体检测模型，人体检测模型可以执行人体检测任务。

其中，目标任务的训练数据集可以包括通过传统方式收集的训练数据。以训练数据是图像为例，传统方式可以包括但不限于利用摄像头采集、从网络下载等方式。而通过传统方式获取的训练数据集中通常会存在一些脏数据样本。由于模型训练过程中的训练数据对模型的收敛速度和精度至关重要，若利用存在脏数据样本的训练数据集训练模型，训练出的模型的精度较低，且会产生极端阈值。

步骤202，构建脏数据的搜索空间。

在本实施例中，上述执行主体可以构建脏数据的搜索空间。

通常，上述执行主体可以基于预设的搜索空间设计规则来构建脏数据的搜索空间。其中，预设的搜索空间设计规则可以用于指导构建适用于本申请确定脏数据样本的搜索空间。为实现这一目的，搜索空间中至少应包括多个候选脏数据样本，这是能够确定脏数据样本的基础。在常规情况下，搜索空间中可以包括所有的候选脏数据样本。应当理解的是，搜索空间设计规则可以表现为以文字和字符的组合，也可以直接为便于计算机识别和调用的代码，此处不做具体限定。

步骤203，在搜索空间中搜索脏数据样本。

在本实施例中，上述执行主体可以在搜索空间中搜索脏数据样本。

其中，在搜索空间中搜索出的脏数据样本通常是候选脏数据样本中最可能的脏数据样本。在自动搜索过程中，在搜索空间中得到一个候选脏数据样本，然后利用模型对该候选脏数据样本进行评估。随后，将评估结果回传给搜索空间，在搜索空间中得到另一个候选脏数据样本，继续进行评估。如此反复进行直至得到最可能的脏数据样本。

步骤204，从搜索空间和训练数据集中删除脏数据样本。

在本实施例中，上述执行主体可以从搜索空间和训练数据集中删除脏数据样本。这样，不仅完成了对训练数据集的清洗，还使得搜索空间随着模型的迭代而动态更新。此外，利用数据清洗后的训练数据集训练目标任务模型，能够提升目标任务模型的精度。

本申请实施例提供的数据清洗方法，首先获取目标任务的训练数据集；之后构建脏数据的搜索空间；然后在搜索空间中搜索脏数据样本；最后从搜索空间和训练数据集中删除脏数据样本。通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。此外，在训练数据集是图像集的情况下，该方法还可以应用于图像处理技术领域，通过自动搜索的方式对图像集进行清洗，以过滤噪声较大的图像。进一步地，利用清洗后的图像集训练模型，能够提升模型的效果。

从搜索空间中搜索脏数据样本，能够快速地确定出训练数据集中较可能的脏数据样本。无需对训练数据集中的所有训练数据集进行评估，使得执行该方法的硬件减少了在数据清洗过程中的运算量，提高了硬件的处理速度。进而，降低了数据清洗对硬件环境的要求，使得该方法能够适配于更低的硬件配置的任务执行端设备，并且能够确保数据清洗的精准度。

进一步参考图3，其示出了根据本申请的数据清洗方法的又一个实施例的流程300。该数据清洗方法包括以下步骤：

步骤301，获取目标任务的训练数据集和模型结构。

在本实施例中，数据清洗方法的执行主体(例如图1所示的服务器103)可以获取目标任务的训练数据集和模型结构。

需要说明的是，目标任务的模型结构可以是为了完成目标任务而创建的多个相互关联和相互作用的网络层，包括但不限于输入层、卷积层、池化层、输出层等等。

步骤302，构建脏数据的搜索空间。

在本实施例中，步骤302具体操作已在图2所示的实施例中步骤202进行了详细的介绍，在此不再赘述。

步骤303，根据搜索空间初始化脏数据样本生成器。

在本实施例中，上述执行主体可以根据搜索空间初始化脏数据样本生成器。其中，搜索空间中的脏数据样本生成器可以用于生成候选脏数据样本。

通常，脏数据样本生成器中的参数可以用一些不同的小随机数进行初始化。小随机数可以用来保证脏数据样本生成器不会因权值过大而进入饱和状态，从而导致训练失败，不同随机数可以用来保证脏数据样本生成器正常地学习。

步骤304，根据脏数据样本生成器生成候选脏数据样本。

在本实施例中，上述执行主体可以根据脏数据样本生成器生成候选脏数据样本。

步骤305，根据搜索空间初始化训练样本生成器。

在本实施例中，上述执行主体可以根据搜索空间初始化训练样本生成器。其中，搜索空间中的训练样本生成器可以用于生成训练样本。

通常，训练样本生成器中的参数可以用一些不同的小随机数进行初始化。小随机数可以用来保证训练样本生成器不会因权值过大而进入饱和状态，从而导致训练失败，不同随机数可以用来保证训练样本生成器正常地学习。

步骤306，根据训练样本生成器生成训练样本。

在本实施例中，上述执行主体可以根据训练样本生成器生成训练样本。

步骤307，利用训练样本对模型结构进行训练，得到目标任务模型。

在本实施例中，上述执行主体可以利用训练样本对模型结构进行训练，得到目标任务模型。

通常，上述执行主体可以利用训练样本对模型结构进行训练，并在训练过程中不断更新模型结构的参数，直至模型收敛，即可得到目标任务模型。

步骤308，利用目标任务模型对候选脏数据样本进行评估，确定脏数据样本。

在本实施例中，上述执行主体可以利用目标任务模型对候选脏数据样本进行评估，确定脏数据样本。

通常，通过评估候选脏数据样本对目标任务模型的精度的影响，能够确定该候选脏数据样本是否是脏数据样本。为了便于理解，下面提供一种评估候选脏数据样本的方法，具体地：

首先，获取目标任务的测试数据集。

需要说明的是，目标任务的测试数据集也可以是通过传统方式收集的测试数据。

之后，将候选脏数据样本和训练样本按比例混合，得到混合样本集合。

而后，对于混合样本集合中的每个混合样本，评估去掉该混合样本的目标任务模型对于测试数据集的精度影响，以及评估的精度影响，更新脏数据样本生成器。

需要说明的是，为了加快搜索速度，也可以在收敛的特定阶段用训练的损失近似代替精度影响。

然后，记录脏数据样本生成器和精度影响一致的候选脏数据样本。

最后，从一致的候选脏数据样本中确定脏数据样本。

通常，上述执行主体可以将至少部分一致的候选脏数据样本确定为脏数据样本。例如，上述执行主体可以确定一致的候选脏数据样本记录次数是否小于预设记录次数。若小于预设记录次数，返回继续执行步骤304。即，根据更新的脏数据样本生成器再次生成候选脏数据样本，并继续记录脏数据样本生成器和精度影响一致的候选脏数据样本。若不小于预设记录次数，将一致的候选脏数据样本确定为脏数据样本。其中，一致的候选脏数据样本记录次数越多，该候选脏数据样本是脏数据样本的可能性就越大。因此预设记录次数可以是根据对数据清洗的实际需求来确定。通过设置合理的预设记录次数，从而确保训练数据集的干净程度，进而确保利用清洗后的训练数据集训练出的目标任务模型的精度。

步骤309，从搜索空间和训练数据集中删除脏数据样本。

在本实施例中，步骤309具体操作已在图2所示的实施例中步骤204进行了详细的介绍，在此不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的数据清洗方法的流程300突出了自动搜索步骤。由此，本实施例描述的方案增强了清洗训练数据与目标任务之间的关联性，通过评估每个候选脏数据样本对训练目标任务模型的影响来确定脏数据样本，提升了确定出的脏数据样本的准确度，进而提升了利用清洗后的训练数据集训练出的目标任务模型的准确度。

为了便于理解，下面提供可以实现本申请实施例的数据清洗方法的场景，具体如图4所示：

步骤401，获取人脸识别任务的训练样本图像集、测试样本图像集和模型结构。

步骤402，构建脏数据的搜索空间。

步骤403，根据搜索空间初始化脏数据样本生成器。

步骤404，根据脏数据样本生成器生成候选脏数据样本。

步骤405，根据搜索空间初始化训练样本生成器。

步骤406，根据训练样本生成器生成训练样本。

步骤407，利用训练样本对模型结构进行训练，得到人脸识别模型。

步骤408，将候选脏数据样本和训练样本按比例混合，得到混合样本集合。

步骤409，对于混合样本集合中的每个混合样本，评估去掉该混合样本的人脸识别模型对于测试样本图像集的精度影响，以及评估的精度影响，更新脏数据样本生成器，并利用更新后的脏数据样本生成器再次生成候选脏数据样本。

步骤410，记录脏数据样本生成器和精度影响一致的候选脏数据样本，直至一致的候选脏数据样本记录次数达到5次，将该候选脏数据样本确定为脏数据样本从搜索空间和训练样本图像集中删除。

步骤411，利用删除脏数据样本的训练样本图像集对人脸识别任务的模型结构进行训练，得到最终的人脸识别模型。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种数据清洗装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的数据清洗装置500可以包括：获取模块501、构建模块502、搜索模块503和删除模块504。其中，获取模块501，被配置成获取目标任务的训练数据集；构建模块502，被配置成构建脏数据的搜索空间；搜索模块503，被配置成在搜索空间中搜索脏数据样本；删除模块504，被配置成从搜索空间和训练数据集中删除脏数据样本。

在本实施例中，数据清洗装置500中：获取模块501、构建模块502、搜索模块503和删除模块504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，搜索模块503包括：初始化子模块(图中未示出)，被配置成根据搜索空间初始化脏数据样本生成器；生成子模块(图中未示出)，被配置成根据脏数据样本生成器生成候选脏数据样本；确定子模块(图中未示出)，被配置成从候选脏数据样本中确定脏数据样本。

在本实施例的一些可选的实现方式中，确定子模块包括：获取单元(图中未示出)，被配置成获取目标任务的模型结构；初始化单元(图中未示出)，被配置成根据搜索空间初始化训练样本生成器；生成单元(图中未示出)，被配置成根据训练样本生成器生成训练样本；训练单元(图中未示出)，被配置成利用训练样本对模型结构进行训练，得到目标任务模型；确定单元(图中未示出)，被配置成利用目标任务模型对候选脏数据样本进行评估，确定脏数据样本。

在本实施例的一些可选的实现方式中，确定单元包括：获取子单元(图中未示出)，被配置成获取目标任务的测试数据集；混合子单元(图中未示出)，被配置成将候选脏数据样本和训练样本按比例混合，得到混合样本集合；更新子单元(图中未示出)，被配置成对于混合样本集合中的每个混合样本，评估去掉该混合样本的目标任务模型对于测试数据集的精度影响，以及评估的精度影响，更新脏数据样本生成器；记录子单元(图中未示出)，被配置成记录脏数据样本生成器和精度影响一致的候选脏数据样本；确定子单元(图中未示出)，被配置成从一致的候选脏数据样本中确定脏数据样本。

在本实施例的一些可选的实现方式中，确定子单元进一步被配置成：若一致的候选脏数据样本记录次数小于预设记录次数，根据脏数据样本生成器再次生成候选脏数据样本；若一致的候选脏数据样本记录次数不小于预设记录次数，将一致的候选脏数据样本确定为脏数据样本。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例数据清洗方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据清洗方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据清洗方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据清洗方法对应的程序指令/模块(例如，附图5所示的获取模块501、构建模块502、搜索模块503和删除模块504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据清洗方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据清洗方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据清洗方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据清洗方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与数据清洗方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的技术方案，首先获取目标任务的训练数据集；之后构建脏数据的搜索空间；然后在搜索空间中搜索脏数据样本；最后从搜索空间和训练数据集中删除脏数据样本。通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种数据清洗方法，包括：

获取目标任务的训练数据集；

构建脏数据的搜索空间，其中，基于预设的搜索空间设计规则构建所述搜索空间，所述搜索空间设计规则为便于计算机识别和调用的代码；

在所述搜索空间中搜索脏数据样本，其中，在自动搜索过程中，在所述搜索空间中得到候选脏数据样本，利用模型对所述候选脏数据样本进行评估，将所述候选脏数据样本的评估结果回传给所述搜索空间，如此反复进行直至得到所述脏数据样本；

从所述搜索空间和所述训练数据集中删除所述脏数据样本；

其中，所述在所述搜索空间中搜索脏数据样本，包括：

根据所述搜索空间初始化脏数据样本生成器，其中，所述脏数据样本生成器中的参数用不同的小随机数进行初始化；

根据所述脏数据样本生成器生成候选脏数据样本；

从所述候选脏数据样本中确定所述脏数据样本。

2.根据权利要求1所述的方法，其中，所述从所述候选脏数据样本中确定所述脏数据样本，包括：

获取所述目标任务的模型结构；

根据所述搜索空间初始化训练样本生成器；

根据所述训练样本生成器生成训练样本；

利用所述训练样本对所述模型结构进行训练，得到目标任务模型；

利用所述目标任务模型对所述候选脏数据样本进行评估，确定脏数据样本。

3.根据权利要求2所述的方法，其中，所述利用所述目标任务模型对所述候选脏数据样本进行评估，确定脏数据样本，包括：

获取所述目标任务的测试数据集；

将所述候选脏数据样本和所述训练样本按比例混合，得到混合样本集合；

对于所述混合样本集合中的每个混合样本，评估去掉该混合样本的目标任务模型对于所述测试数据集的精度影响，以及评估的精度影响，更新所述脏数据样本生成器；

记录所述脏数据样本生成器和所述精度影响一致的候选脏数据样本；

从所述一致的候选脏数据样本中确定脏数据样本。

4.根据权利要求3所述的方法，其中，所述从所述一致的候选脏数据样本中确定脏数据样本，包括：

若所述一致的候选脏数据样本记录次数小于预设记录次数，根据更新的脏数据样本生成器再次生成候选脏数据样本；

若所述一致的候选脏数据样本记录次数不小于所述预设记录次数，将所述一致的候选脏数据样本确定为脏数据样本。

5.一种数据清洗装置，包括：

获取模块，被配置成获取目标任务的训练数据集；

构建模块，被配置成构建脏数据的搜索空间，其中，基于预设的搜索空间设计规则构建所述搜索空间，所述搜索空间设计规则为便于计算机识别和调用的代码；

搜索模块，被配置成在所述搜索空间中搜索脏数据样本，其中，在自动搜索过程中，在所述搜索空间中得到候选脏数据样本，利用模型对所述候选脏数据样本进行评估，将所述候选脏数据样本的评估结果回传给所述搜索空间，如此反复进行直至得到所述脏数据样本；

删除模块，被配置成从所述搜索空间和所述训练数据集中删除所述脏数据样本；

其中，所述搜索模块包括：

初始化子模块，被配置成根据所述搜索空间初始化脏数据样本生成器，其中，所述脏数据样本生成器中的参数用不同的小随机数进行初始化；

生成子模块，被配置成根据所述脏数据样本生成器生成候选脏数据样本；

确定子模块，被配置成从所述候选脏数据样本中确定所述脏数据样本。

6.根据权利要求5所述的装置，其中，所述确定子模块包括：

获取单元，被配置成获取所述目标任务的模型结构；

初始化单元，被配置成根据所述搜索空间初始化训练样本生成器；

生成单元，被配置成根据所述训练样本生成器生成训练样本；

训练单元，被配置成利用所述训练样本对所述模型结构进行训练，得到目标任务模型；

确定单元，被配置成利用所述目标任务模型对所述候选脏数据样本进行评估，确定脏数据样本。

7.根据权利要求6所述的装置，其中，所述确定单元包括：

获取子单元，被配置成获取所述目标任务的测试数据集；

混合子单元，被配置成将所述候选脏数据样本和所述训练样本按比例混合，得到混合样本集合；

更新子单元，被配置成对于所述混合样本集合中的每个混合样本，评估去掉该混合样本的目标任务模型对于所述测试数据集的精度影响，以及评估的精度影响，更新所述脏数据样本生成器；

记录子单元，被配置成记录所述脏数据样本生成器和所述精度影响一致的候选脏数据样本；

确定子单元，被配置成从所述一致的候选脏数据样本中确定脏数据样本。

8.根据权利要求7所述的装置，其中，所述确定子单元进一步被配置成：

若所述一致的候选脏数据样本记录次数小于预设记录次数，根据更新的脏数据样本生成器再次生成候选脏数据样本；

若所述一致的候选脏数据样本记录次数不小于所述预设记录次数，将所述一致的候选脏数据样本确定为脏数据样本。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。