CN112560976A - 数据处理方法及装置、电子设备和存储介质 - Google Patents

Abstract

本实施例公开了一种数据处理方法及装置、电子设备和存储介质，该方法包括：获取待标注数据集中大于或等于第一预设数量的第一数据集，第一数据集的样本数据具有标注信息；使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络；基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

Description

数据处理方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉处理技术，尤其涉及一种图像处理方法、装置、电子设备和计算机存储介质。

背景技术

在相关技术中，训练数据的准备是神经网络训练的必备过程，会直接影响到训练完成的神经网络的精度及应用效果。在相关技术中，准备的训练数据会存在较多的无效或冗余数据，训练数据的利用率较低。

发明内容

本公开实施例期望提供数据处理的技术方案。

本公开实施例提供了一种数据处理方法，所述方法包括：

获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；

使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；

基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；

显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；

在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

在一些实施例中，所述至少一个样本数据的初始状态为未标注状态；

所述方法还包括：

在得到所述至少一个样本数据的最终标注信息后，在所述至少一个样本数据对应的缩略图中，将所述至少一个样本数据的状态更新为已标注状态。

在一些实施例中，所述方法还包括：

在接收到第二指令的情况下，对所述至少一个样本数据的初始标注信息进行无效化处理；所述第二指令用于指示所述至少一个样本数据的初始标注信息为错误信息。

在一些实施例中，所述对所述至少一个样本数据的初始标注信息进行无效化处理，包括：

清除所述至少一个样本数据的初始标注信息；和/或，将所述至少一个样本数据的初始标注信息确定为无效数据。

在一些实施例中，所述方法还包括：

在接收到第三指令的情况下，对所述至少一个样本数据的初始标注信息进行隐藏处理；所述第三指令用于指示隐藏所述至少一个样本数据的初始标注信息。

在一些实施例中，所述使用所述第一数据集对神经网络进行训练，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第二预设数量的情况下，使用所述第一数据集对神经网络进行训练。

在一些实施例中，所述基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第三预设数量的N倍的情况下，将所述待标注数据集中除所述第一数据集以外的数据集分为多个数据集，基于所述训练完成的神经网络分别对所述多个数据集进行处理；其中，N为大于或等于2的整数，所述多个数据集中每个数据集的个数小于或等于第三预设数量。

本公开实施例还提供了一种数据处理装置，所述装置包括获取模块、训练模块、第一处理模块、显示模块和第二处理模块；其中，

获取模块，用于获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；

训练模块，用于使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；

第一处理模块，用于基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；

显示模块，用于显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；

第二处理模块，用于在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

在一些实施例中，所述至少一个样本数据的初始状态为未标注状态；

所述第二处理模块，还用于在得到所述至少一个样本数据的最终标注信息后，在所述至少一个样本数据对应的缩略图中，将所述至少一个样本数据的状态更新为已标注状态。

在一些实施例中，所述第二处理模块，还用于在接收到第二指令的情况下，对所述至少一个样本数据的初始标注信息进行无效化处理；所述第二指令用于指示所述至少一个样本数据的初始标注信息为错误信息。

在一些实施例中，所述第二处理模块，用于对所述至少一个样本数据的初始标注信息进行无效化处理，包括：

清除所述至少一个样本数据的初始标注信息；和/或，将所述至少一个样本数据的初始标注信息确定为无效数据。

在一些实施例中，所述第二处理模块，还用于在接收到第三指令的情况下，对所述至少一个样本数据的初始标注信息进行隐藏处理；所述第三指令用于指示隐藏所述至少一个样本数据的初始标注信息。

在一些实施例中，所述训练模块，用于使用所述第一数据集对神经网络进行训练，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第二预设数量的情况下，使用所述第一数据集对神经网络进行训练。

在一些实施例中，所述第一处理模块，用于基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第三预设数量的N倍的情况下，将所述待标注数据集中除所述第一数据集以外的数据集分为多个数据集，基于所述训练完成的神经网络分别对所述多个数据集进行处理；其中，N为大于或等于2的整数，所述多个数据集中每个数据集的个数小于或等于第三预设数量。

本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行上述任意一种方法。

本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种方法。

本公开实施例提出的数据处理方法及装置、电子设备和存储介质中，获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。如此，在本公开实施例中，可以基于第一指令，对神经网络自动得出的样本数据的标注信息进行复核确认，有利于滤除其它样本数据的初始标注信息中无效或冗余的数据，从而有利于提升训练数据的质量和利用率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例的一种数据处理方法的流程图；

图2为本公开实施例的另一种数据处理方法的流程图；

图3为本公开实施例中标注界面的一个示意图；

图4为本公开实施例中半自动标注过程结束在一个标注界面的示意图；

图5为本公开实施例中半自动标注过程结束在另一个标注界面的示意图；

图6为本公开实施例的数据处理装置的组成结构示意图；

图7为本公开实施例的电子设备的结构示意图。

具体实施方式

以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。

需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。

例如，本公开实施例提供的数据处理方法包含了一系列的步骤，但是本公开实施例提供的数据处理方法不限于所记载的步骤，同样地，本公开实施例提供的数据处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本公开实施例可以应用于电子设备中，该电子设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等。

电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在相关技术中，为了实现神经网络的训练，准备的训练数据会存在较多的无效或冗余数据，训练数据的利用率较低；并且，用户在准备用于神经网络训练的训练数据时，需要人工手动对进行标签及检测框等的标注，如果训练数据数量较大，需要花费大量时间及人力。

针对上述技术问题，在本公开的一些实施例中，提出了一种数据处理方法，本公开实施例可以应用于任何需要进行数据标注的场景中。

图1为本公开实施例的一种数据处理方法的流程图，如图1所示，该流程可以包括：

步骤101：获取待标注数据集中大于或等于第一预设数量的第一数据集，第一数据集的样本数据具有标注信息。

本公开实施例中，待标注数据集由多个样本数据组成；在一些实施例中，待标注数据集可以是公共数据集，或者，待标注数据集可以是实际采集的数据；例如，待标注数据集为利用图像采集设备采集的多个样本图像数据，图像采集设备可以是摄像机等设备。

本公开的一些实施例中，待标注数据集可以表示一组样本数据或多组样本数据；第一数据集可以是待标注数据集中的部分样本数据；在一种实施方式中，待标注数据集表示一组样本数据，第一数据集可以表示一组样本数据的部分样本数据；在一种实施方式中，待标注数据集表示多组样本数据，第一数据集可以表示上述多组样本数据的至少一组样本数据。

本公开实施例中，标注信息可以包括文字标签信息、检测框信息或其它信息，例如，对于进行目标检测的神经网络，样本数据的标注信息可以包括检测框和目标类别信息；对于进行人脸识别的神经网络，样本数据的标注信息可以是人脸的身份信息。

在本公开的一些实施例中，用户可以通过与电子设备的人机交互，对第一数据集的样本数据进行手动标注，电子设备可以接收用户的标注信息，从而得到第一数据集的样本数据的标注信息；在一种实施方式中，用户可以按照预先设定的顺序对第一数据集的样本数据进行依次标注，例如，用户在对一个样本图像进行标注后，可以通过点击保存按钮向电子设备输入保存指令，电子设备在收到保存指令后，可以保存该样本图像，另外，电子设备还可以控制显示界面显示下一个样本图像，以便于用户进行手动标注。

在本公开的一些实施例中，在未对第一数据集的样本数据进行手动标注之前，样本数据的状态为未标注状态，在对第一数据集的样本数据进行手动标注之后，可以将样本数据的状态更改为已标注状态；在一种实施方式中，用户在对第一数据集的样本数据进行手动标注之后，电子设备可以接收到用户的标注信息，从而可以将样本数据的状态更改为已标注状态。

在一些其它的实施例中，用户在对第一数据集的样本数据进行手动标注时，如果确定某个样本数据为无效数据，则可以将对应的样本数据标记为无效数据；示例性地，用户可以通过点击“无效数据”按钮，向电子设备输入标记无效数据的指令，电子设备可以在接收到标记无效数据的指令，将对应的样本数据标记为无效数据。

作为一种实施方式，用户按照顺序对待标注数据集中的样本数据进行手动标注时，可以持续统计待标注数据集中已标注的样本数据的个数，在待标注数据集中已标注的样本数据的个数大于或等于第一预设数量的情况下，可以确定出第一数据集，以进行后续神经网络的训练。

作为一种实施方式，在上述待标注数据集中已标注的样本数据的个数小于第一预设数量的情况下，并不对神经网络进行训练，而是等待待标注数据集中已标注的样本数据的个数达到第一预设数量。

作为一种实施方式，第一预设数量为可配置项，可以是经验性设置的数据，例如，第一预设数量可以是100、500、600等。

可以看出，本公开实施例在已标注的样本数据的个数大于或等于第一预设数量时，基于已标注的样本数据进行神经网络的训练，而用于神经网络训练的已标注的样本数据越多，则越有利于提升神经网络的处理精度，即可以提升神经网络得出的初始标注信息的准确性和质量；

步骤102：使用第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，神经网络用于对样本数据进行标注。

本公开的一些实施例中，神经网络可以是基于深度学习模型的神经网络；深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

在本公开的一些实施例中，可以将第一数据集的样本数据输入至神经网络中，利用神经网络对样本数据进行处理，得到样本数据的处理结果；根据样本数据的处理结果和样本数据的标注信息调整神经网络的参数，直至神经网络满足训练结束条件，得到训练完成的神经网络；这里，在每次调整神经网络的参数后，可以判断神经网络是否满足训练结束条件，如果不满足训练结束条件，则继续对神经网络的参数进行下一次调整，并基于参数调整后的神经网络重新对样本数据进行处理；如果满足，则将参数调整后的神经网络作为训练完成的神经网络。

在一种实施方式中，神经网络为用于进行目标识别的神经网络，样本数据为图像数据，样本数据的标注信息为目标类别信息，则可以将样本数据输入至神经网络中，得到样本数据的处理结果，样本数据的处理结果表示基于神经网络得出的目标类别信息；然后，可以根据样本数据的处理结果和样本数据的标注信息调整神经网络的参数，直至神经网络满足训练结束条件，得到训练完成的神经网络；可以看出，利用训练完成的神经网络可以对其它样本数据处理，可以得出目标类别信息，可以将其它样本数据的目标类别信息作为其它样本数据的标注信息。

在一种实施方式中，训练结束条件可以根据实际情况进行设置，例如，上述训练结束条件可以是调整神经网络的网络参数的次数等于设定迭代次数，也可以是调整参数后的神经网络的损失函数达到收敛条件。这里，设定迭代次数表示调整神经网络的网络参数的次数的最大值，设定迭代次数为大于1的整数；收敛条件可以是调整参数后的神经网络的损失函数的值小于设定损失，设定损失可以根据实际应用需求预先设置。需要说明的是，上述仅仅是对训练结束条件进行了示例性说明，本公开实施例的训练结束条件并不局限于此。

在一种实施方式中，在获取第一数据集后，可以生成提示信息，提示信息用于提示对神经网络进行训练；在接收到神经网络的训练指令后，根据第一数据集的标注信息，对神经网络进行训练。

这里，提示信息可以是文字提示信息、声音提示信息或其它种类的提示信息；本公开的一些实施例中，电子设备在生成提示信息后，用户可以通过点击“半自动标注”按钮，向电子设备输入训练指令；电子设备在接收的训练指令后，可以执行步骤102至步骤105。

可以看出，本公开实施例中，可以在接收到训练指令后，启动神经网络的训练过程，有利于在合适的时机下启动神经网络的训练过程。

步骤103：基于训练完成的神经网络对待标注数据集中除第一数据集以外的数据集进行处理，得到待标注数据集中除第一数据集以外的数据集的初始标注信息。

本公开实施例中，待标注数据集中除第一数据集以外的数据集的样本数据的个数可以是一个，也可以是多个。

在一种实施方式中，待标注数据集包括多组样本数据，第一数据集包括每组样本数据的部分样本数据。可以看出，本公开实施例可以针对每组样本数据，在首先获取部分样本数据的标注信息的基础上，训练神经网络，并利用训练完成的神经网络得到每组样本数据的初始标注信息，也就是说，本公开实施例可以针对每组样本数据训练用于进行数据自动标注的神经网络，有利于提升每组样本数据的数据标注精度。

步骤104：显示待标注数据集中除第一数据集以外的数据集的至少一个样本数据的初始标注信息。

本公开实施例中，在得到上述至少一个样本数据的初始标注信息后，可以通过显示界面显示上述至少一个样本数据的初始标注信息；在一些实施例中，可以在显示界面显示标注框，在标注框内显示上述至少一个样本数据的初始标注信息。

步骤105：在接收到第一指令的情况下，根据第一指令，得到至少一个样本数据的最终标注信息；第一指令用于指示至少一个样本数据的初始标注信息为正确信息。

本公开的一些实施例中，用户可以通过人机交互方式向电子设备输入第一指令，电子设备在接收到第一指令的情况下，可以执行步骤105。

在本公开的一些实施例中，电子设备在接收到第一指令的情况下，可以将上述至少一个样本数据的初始标注信息作为最终标注信息。

在本公开的一些实施例中，对于上述至少一个样本数据中的每个样本数据，用户可以通过点击保存按钮向电子设备输入第一指令，电子设备在收到第一指令后，可以将对应的样本数据的初始标注信息作为最终标注信息，并保存对应的样本数据的最终标注信息；另外，电子设备还可以控制显示界面显示下一个样本数据，以便于用户确认下一个样本数据的初始标注信息。

在实际应用中，步骤101、步骤102、步骤103和步骤105可以利用电子设备中的处理器实现，步骤104可以利用电子设备中的处理器并结合显示器实现；上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal ProcessingDevice，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。

可以看出，在本公开实施例中，可以基于第一指令，对神经网络自动得出的样本数据的标注信息进行复核确认，有利于滤除其它样本数据的初始标注信息中无效或冗余的数据，从而有利于提升训练数据的质量和利用率。

进一步地，本公开实施例可以利用预先标注部分样本数据的基础上，训练得到能够实现自动数据标注的神经网络，可以加速训练数据的准备过程，提升数据集的数据标注效率；在需要对大量数据进行标注的场景中，应用本公开实施例的数据处理方法，可以加速数据标注过程，实现大量数据的快速标注。

本公开的一些实施例中，上述至少一个样本数据的初始状态为未标注状态，即，在基于训练完成的神经网络对待标注数据集中除第一数据集以外的数据集进行处理前，待标注数据集中除第一数据集以外的数据集的样本数据的状态为未标注状态。

相应地，在得到上述至少一个样本数据的最终标注信息后，可以在上述至少一个样本数据对应的缩略图中，将上述至少一个样本数据的状态更新为已标注状态。

可以看出，通过上述至少一个样本数据的状态标记，可以直观展示至少一个样本数据的状态，有利于根据上述至少一个样本数据的状态进行后续处理，例如，在上述至少一个样本数据的状态为已标注状态时，可以通过显示上述至少一个样本数据的状态，以提示用户无需对相应的样本数据进行标注。

本公开的一些实施例中，在接收到第二指令的情况下，可以对上述至少一个样本数据的初始标注信息进行无效化处理；第二指令用于指示上述至少一个样本数据的初始标注信息为错误信息。

本公开的一些实施例中，用户可以通过人机交互方式向电子设备输入第二指令，电子设备在接收到第二指令的情况下，可以对上述至少一个样本数据的初始标注信息进行无效化处理。

本公开的一些实施例中，对上述至少一个样本数据的初始标注信息进行无效化处理的实现方式可以是，清除上述至少一个样本数据的初始标注信息；和/或，将上述至少一个样本数据的初始标注信息确定为无效数据。

在本公开的一些实施例中，对于上述至少一个样本数据的每个样本数据，用户可以通过点击“清除标注”按钮，向电子设备输入第二指令，电子设备在收到第二指令后，可以将对应的样本数据的初始标注信息进行清除；作为一种实现方式，在将对应的样本数据的初始标注信息进行清除后，用户可以对样本数据进行手动标注。

在本公开的一些实施例中，对于上述至少一个样本数据的每个样本数据，，用户可以通过点击“无效数据”按钮，向电子设备输入第二指令，电子设备在收到第二指令后，可以将对应的样本数据的初始标注信息标记为无效数据。

可以理解地，本公开实施例中，基于第二指令，可以滤除上述至少一个样本数据的初始标注信息中无效数据，或者，可以清除上述至少一个样本数据的初始标注信息中不正确的数据，从而有利于提升训练数据的质量和利用率。

在本公开的一些实施例中，可以在接收到第三指令的情况下，对上述至少一个样本数据的初始标注信息进行隐藏处理；第三指令用于指示隐藏至少一个样本数据的初始标注信息。

作为一种实施方式，用户可以通过人机交互方式向电子设备输入第三指令，电子设备在接收到第三指令的情况下，可以对上述至少一个样本数据的初始标注信息进行隐藏处理。

作为一种实施方式，对于上述至少一个样本数据的每个样本数据，用户可以通过点击“隐藏标签”按钮，向电子设备输入第三指令，电子设备在收到第三指令后，可以将对应的样本数据的初始标注信息进行隐藏。

可以理解地，在样本数据的初始标注信息与样本数据重叠显示的情况下，通过对样本数据的初始标注信息的隐藏处理，有利于对样本数据进行无遮挡的观察，提升对样本数据的初始标注信息的复核准确性；例如，在样本数据为图像时，图像的标注信息与图像的部分区域重叠，在将图像的标注信息隐藏处理后，有利于对图像进行准确地观察，可以提升对图像的初始标注信息的复核准确性。

在本公开的一些实施例中，上述使用第一数据集对神经网络进行训练，可以包括：在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第二预设数量的情况下，使用第一数据集对神经网络进行训练。

作为一种实施方式，第二预设数量为可配置项，可以是经验性设置的数据，例如，第二预设数量可以是200、600、700等。

可以看出，本公开实施例可以在获取手动标注的第一数据集后，可以确定剩余未标注的样本数据，在剩余未标注的样本数据大于或等于第二预设数量时，可以认为剩余未标注的样本数据较多，进而，本公开实施例可以实现对较多的样本数据的自动标注，可以加速训练数据的准备过程，提升数据集的数据标注效率。

在本公开的一些实施例中，在待标注数据集中除第一数据集以外的数据集的数量大于或等于第三预设数量的N倍的情况下，可以将待标注数据集中除第一数据集以外的数据集分为多个数据集，基于训练完成的神经网络分别对多个数据集进行处理；其中，N为大于或等于2的整数，多个数据集中每个数据集的个数小于或等于第三预设数量。

作为一种实施方式，第三预设数量为可配置项，可以是经验性设置的数据，例如，第三预设数量可以是100、150、200等。

作为一种实施方式，多个数据集中任意两个数据集可以是数量相同的数据集，也可以是数量不同的数据集。

示例性地，第三预设数量为100，待标注数据集中除第一数据集以外的数据集的数量为540，则可以将待标注数据集中除第一数据集以外的数据集分为数据集1至数据集6，数据集1至数据集6的样本数据个数均为90，即数据集1至数据集6的样本数据个数均小于100；这样，可以基于训练完成的神经网络分别对数据集1至数据集6进行处理。

示例性地，第三预设数量为100，待标注数据集中除第一数据集以外的数据集的数量为540，则可以将待标注数据集中除第一数据集以外的数据集分为数据集1至数据集7，数据集1的样本数据个数为60，数据集2的样本数据个数为80，数据集3的样本数据个数为65，数据集4的样本数据个数为85，数据集5的样本数据个数为70，数据集6的样本数据个数为90，数据集7的样本数据个数为90，可以看出，数据集1至数据集7的样本数据个数均小于100；这样，本公开实施例可以基于训练完成的神经网络分别对数据集1至数据集7进行处理。

可以看出，本公开实施例可以在获取手动标注的第一数据集后，在确定剩余未标注的数据集较多时，通过将剩余未标注的数据集进行划分，然后基于训练完成的神经网络分别对划分得出的多个数据集进行处理，这样可以提高剩余未标注的数据集的数据标注效率。

下面通过另一个实施例对本公开的数据处理方法进行示例性说明。

图2为本公开实施例的另一种数据处理方法的流程图，如图2所示，该流程可以包括：

步骤201：对样本数据进行手动标注。

在本公开实施例中，电子设备可以将获取的待标注数据集的样本数据显示，然后，用户可以对待标注数据集的部分样本数据进行手动标注。

在一些实施例中，电子设备可以通过标注界面显示待标注数据集的样本数据，这里，当待标注数据集的样本数据较多时，可以通过滚动显示的方式在标注界面显示待标注数据集的部分样本数据。

参照图3，待标注数据集的样本数据为待标注的图片，待标注数据集的待标注的图片的数量为1000，当前标注的图片为1000张图片中的第80张图片，图3中显示有部分图片的缩略图和当前待标注图片的原图；图3中，实线框表示可以选中的按钮，虚线框表示不可选中的按钮，用户手动标注一张图片后，可以通过点击“保存”按钮，使电子设备保存图片和图片标注信息；用户手动标注一张图片后，也可以通过点击“保存并下一张”按钮，使电子设备在保存图片和图片标注信息的同时，显示下一张待标注图片的原图；用户可以通过点击“清除标注”按钮，向电子设备输入清除数据指令，电子设备在收到该清除数据指令后，可以将对应的待标注图片的标注信息清除；用户可以通过点击“无效数据”按钮，向电子设备输入无效数据指令，电子设备在收到该无效数据指令后，可以将对应的待标注图片标记为无效数据；用户可以通过点击“上一张”按钮，使电子设备显示上一张已标注的图片。

在本公开的一些实施例中，第一预设数量为100，参照图3，由于当前手动标注的图片的数量小于100，则不能启动后续神经网络的训练过程；图3中显示有提示信息“当前人工标注量较少，请在人工标注量达到预设阈值后，启动半自动标注”，并且，“半自动标注”按钮处于不可选中状态；这里，人工标注量表示待标注数据集中当前已经手动标注的图片的数量，半自动标注表示基于步骤102至步骤103对其它样本数据进行标注的过程。

步骤202：在手动标注的样本数据的数量达到第一预设数量时，启动半自动标注过程。

在本公开的一些实施例中，待标注数据集可以包括多组样本数据，电子设备在获取到多组样本数据中的每组样本数据后，可以对每组样本数据中已手动标注的样本数据的数量进行实时判断，在每组样本数据中已手动标注的样本数据的数量达到第一预设数量后，可以提示用户启动半自动标注过程；在每组样本数据中已手动标注的样本数据的数量未达到第一预设数量时，可以继续判断每组样本数据中已手动标注的样本数据的数量与第一预设数量的大小关系，

在一些实施例中，在每组样本数据中已手动标注的样本数据的数量达到第一预设数量后，可以将“半自动标注”按钮切换为可选中状态，用户可以通过点击“半自动标注”按钮，启动半自动标注过程。

在一些实施例中，可以将当前状态为已标注的图片数量减去上一次启动半自动标注后得出的已标注的图片数量，得出本次手动标注过程中已标注的图片数量。即，如果对一个数据集中的样本数据已经进行了半自动标注，则可以确定本次标注过程中新增的已标注的样本数据的数据量。

步骤203：利用手动标注的样本数据训练神经网络。

本步骤的实现方式已经在前述实施例记载的内容中作出说明，这里不再赘述。

步骤204：基于训练完成的神经网络对待标注数据集中除第一数据集以外的数据集进行处理，得到待标注数据集中除第一数据集以外的数据集的初始标注信息。

在一些实施例中，在得到待标注数据集中除第一数据集以外的数据集的初始标注信息后，可以将待标注数据集中除第一数据集以外的数据集的初始标注信息和待标注数据集中除第一数据集以外的数据集进行关联保存，例如，在待标注数据集中除第一数据集以外的数据集的样本数据为图片时，可以将图片的初始标注信息和图片进行关联保存。

步骤205：显示待标注数据集中除第一数据集以外的数据集的至少一个样本数据的初始标注信息；在接收到第一指令的情况下，根据第一指令，得到至少一个样本数据的最终标注信息。

本公开实施例中，在上述半自动标注过程结束后，可以通过显示界面显示半自动标注过程已结束的提示信息；之后，可以在标注界面显示通过半自动标注过程得到的标注信息；在一些实施例中，在半自动标注过程结束后，上述其它样本数据的状态仍然为未标注状态，在基于步骤105进行确认后，可以将它样本数据的状态更改为已标注状态

图4为本公开实施例中半自动标注过程结束在一个标注界面的示意图，参照图4，待标注数据集的待标注的图片的数量为1000，当前需要复核确认的图片为1000张图片中的第535张图片，图4中显示有部分图片的缩略图和当前待标注图片的原图；图4中“保存”按钮、“保存并下一张”按钮、“清除标注”按钮、“无效数据”按钮和“上一张”按钮与图3相同，这里不再赘述。

图5为本公开实施例中半自动标注过程结束在另一个标注界面的示意图，待标注数据集的待标注的图片的数量为187，当前需要复核确认的图片为187张图片中的第105张图片，图5中显示有部分图片的缩略图和当前待标注图片的原图；图5中“保存”按钮、“保存并下一张”按钮、“清除标注”按钮、“无效数据”按钮和“上一张”按钮与图3相同；参照图5，用户可以点击“隐藏标签”按钮，向电子设备输入第三指令，电子设备在收到第三指令后，可以将对应的样本数据的初始标注信息进行隐藏。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

在前述实施例提出的数据处理方法的基础上，本公开实施例提出了一种数据处理装置。

图6为本公开实施例的数据处理装置的组成结构示意图，如图6所示，该装置可以包括获取模块601、训练模块602、第一处理模块603、显示模块604和第二处理模块605；其中，

获取模块601，用于获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；

训练模块602，用于使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；

第一处理模块603，用于基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；

显示模块604，用于显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；

第二处理模块605，用于在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

在一些实施例中，所述至少一个样本数据的初始状态为未标注状态；

所述第二处理模块605，还用于在得到所述至少一个样本数据的最终标注信息后，在所述至少一个样本数据对应的缩略图中，将所述至少一个样本数据的状态更新为已标注状态。

在一些实施例中，所述第二处理模块605，还用于在接收到第二指令的情况下，对所述至少一个样本数据的初始标注信息进行无效化处理；所述第二指令用于指示所述至少一个样本数据的初始标注信息为错误信息。

在一些实施例中，所述第二处理模块605，用于对所述至少一个样本数据的初始标注信息进行无效化处理，包括：

清除所述至少一个样本数据的初始标注信息；和/或，将所述至少一个样本数据的初始标注信息确定为无效数据。

在一些实施例中，所述第二处理模块605，还用于在接收到第三指令的情况下，对所述至少一个样本数据的初始标注信息进行隐藏处理；所述第三指令用于指示隐藏所述至少一个样本数据的初始标注信息。

在一些实施例中，所述训练模块602，用于使用所述第一数据集对神经网络进行训练，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第二预设数量的情况下，使用所述第一数据集对神经网络进行训练。

在一些实施例中，所述第一处理模块603，用于基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第三预设数量的N倍的情况下，将所述待标注数据集中除所述第一数据集以外的数据集分为多个数据集，基于所述训练完成的神经网络分别对所述多个数据集进行处理；其中，N为大于或等于2的整数，所述多个数据集中每个数据集的个数小于或等于第三预设数量。

实际应用中，获取模块601、训练模块602、第一处理模块603和第二处理模块605可以利用电子设备中的处理器实现，显示模块604可以利用电子设备中的处理器并结合显示器实现；上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

具体来讲，本实施例中的一种数据处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种数据处理方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种数据处理方法。

基于前述实施例相同的技术构思，参见图7，其示出了本公开实施例提供的一种电子设备70，可以包括：存储器701和处理器702；其中，

所述存储器701，用于存储计算机程序和数据；

所述处理器702，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种数据处理方法。

在实际应用中，上述存储器701可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器702提供指令和数据。

上述处理器702可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；

使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；

基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；

显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；

在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

2.根据权利要求1所述的方法，其特征在于，所述至少一个样本数据的初始状态为未标注状态；

所述方法还包括：

在得到所述至少一个样本数据的最终标注信息后，在所述至少一个样本数据对应的缩略图中，将所述至少一个样本数据的状态更新为已标注状态。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

在接收到第二指令的情况下，对所述至少一个样本数据的初始标注信息进行无效化处理；所述第二指令用于指示所述至少一个样本数据的初始标注信息为错误信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述至少一个样本数据的初始标注信息进行无效化处理，包括：

清除所述至少一个样本数据的初始标注信息；和/或，将所述至少一个样本数据的初始标注信息确定为无效数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到第三指令的情况下，对所述至少一个样本数据的初始标注信息进行隐藏处理；所述第三指令用于指示隐藏所述至少一个样本数据的初始标注信息。

6.根据权利要求1所述的方法，其特征在于，所述使用所述第一数据集对神经网络进行训练，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第二预设数量的情况下，使用所述第一数据集对神经网络进行训练。

7.根据权利要求1所述的方法，其特征在于，所述基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，包括：

在所述待标注数据集中除所述第一数据集以外的数据集的数量大于或等于第三预设数量的N倍的情况下，将所述待标注数据集中除所述第一数据集以外的数据集分为多个数据集，基于所述训练完成的神经网络分别对所述多个数据集进行处理；其中，N为大于或等于2的整数，所述多个数据集中每个数据集的个数小于或等于第三预设数量。

8.一种数据处理装置，其特征在于，所述装置包括获取模块、训练模块、第一处理模块、显示模块和第二处理模块；其中，

获取模块，用于获取待标注数据集中大于或等于第一预设数量的第一数据集，所述第一数据集的样本数据具有标注信息；

训练模块，用于使用所述第一数据集对神经网络进行训练，得到训练完成的神经网络，其中，所述神经网络用于对样本数据进行标注；

第一处理模块，用于基于所述训练完成的神经网络对待标注数据集中除所述第一数据集以外的数据集进行处理，得到待标注数据集中除所述第一数据集以外的数据集的初始标注信息；

显示模块，用于显示所述待标注数据集中除所述第一数据集以外的数据集的至少一个样本数据的初始标注信息；

第二处理模块，用于在接收到第一指令的情况下，根据所述第一指令，得到所述至少一个样本数据的最终标注信息；所述第一指令用于指示所述至少一个样本数据的初始标注信息为正确信息。

9.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行权利要求1至7任一项所述的方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

Images