CN110688504B - 图像数据管理方法、装置、系统、设备及介质 - Google Patents

Abstract

本公开提供了一种图像数据管理方法，包括：获得采集的第一图像数据；基于第一图像数据的类别将第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及第二图像数据与标注数据之间的索引关系；基于第二图像数据的类别，将第二图像数据和标注数据存储在相应的逻辑分区中，并将索引关系与逻辑分区信息存储在数据关系索引池；以及响应于接收到数据复用请求，基于数据复用请求的任务类型查找索引关系，基于索引关系加载第二图像数据和标注数据，形成数据集。本公开还提供了一种图像数据管理装置、系统、电子设备和介质。

Description

图像数据管理方法、装置、系统、设备及介质

技术领域

本公开涉及图像管理技术领域，尤其涉及一种图像数据管理方法、装置、系统、设备及介质。

背景技术

模式识别领域，尤其是基于人工智能的图像识别领域涉及大量模型训练及优化场景，需要根据不同任务目标构建特定图像数据集，以对识别模型进行训练、优化评估等操作。图像数据集构建工作占用较大时间花费，通常分为数据收集、数据清洗、数据标注、数据集结构组织等步骤。

目前图像数据集构建工作大多基于人工方式，即根据目标任务所需数据类型与内容，指派专员以人工方式收集数据，而后对所收集数据进行筛选、清洗、标准等一系列操作最终组建目标图像数据集。由于大多特定数据分散、质量不高，获取难度与成本十分巨大。模式识别任务根据识别目标与涵盖范围不同，通常会形成具有特定性的、各自独立的专属数据集，如人脸识别任务需求的人脸图像数据集、建筑识别任务需求的东亚建筑物图像数据集等。由于数据集之间缺乏统一的公用与管理方式，各独立任务会根据自身目标从零建立一套专属的图像数据集，这使得数据之间形成天然壁垒、无法形成复用性，任务之间细微差别便需要重新定制专属数据集。即造成了大量重复性消耗，又出现了数据集独立、分散、各自为政的现状。

发明内容

本公开的一个方面提供了一种图像数据管理方法，包括：获得采集的第一图像数据；基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系；基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将所述索引关系与逻辑分区信息存储在数据关系索引池；以及响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

可选地，所述获得采集的第一图像数据包括：创建图像数据采集任务；将所述图像数据采集任务分解为多个采集子任务；将所述多个采集子任务分发到多个数据采集终端；接收采集子任务的采集结果，所述采集结果包括多个第三图像数据；以及从所述第三图像数据中确定满足筛选规则的第一图像数据。

可选地，所述基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中包括：确定原始数据存储池中是否存在与所述第一图像数据的类别对应的第一逻辑分区；若原始数据存储池中存在与所述第一图像数据的类别对应的第一逻辑分区，则将所述第一图像数据存储在所述第一逻辑分区；若所述原始数据存储池中不存在与所述第一图像数据的类别对应的第一逻辑分区，则建立所述第一逻辑分区，并将所述第一图像数据存储在所述第一逻辑分区。

可选地，所述对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系包括：创建图像数据预处理任务；将所述图像数据预处理任务分解为多个预处理子任务；基于所述预处理子任务，从所述原始数据存储池中确定部分第一图像数据作为待处理数据；对所述待处理数据执行数据清洗，得到第二图像数据；对所述第二图像数据进行数据标注，得到针对所述第二图像数据的标注数据以及所述第二图像数据与标注数据之间的索引关系。

本公开的另一个方面提供了一种图像数据管理装置，包括获得模块、第一存储模块、预处理模块、第二存储模块以及复用模块。获得模块，用于获得采集的第一图像数据。第一存储模块，用于基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中。预处理模块，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系。第二存储模块，用于基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将所述索引关系与逻辑分区信息存储在数据关系索引池。复用模块，用于响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

可选地，所述获得模块包括：第一创建子模块，用于创建图像数据采集任务；第一分解子模块，用于将所述图像数据采集任务分解为多个采集子任务；分发子模块，用于将所述多个采集子任务分发到多个数据采集终端；接收子模块，用于接收采集子任务的采集结果，所述采集结果包括多个第三图像数据；以及筛选子模块，用于从所述第三图像数据中确定满足筛选规则的第一图像数据。

可选地，所述第一存储模块包括：分区确定子模块，用于确定原始数据存储池中是否存在与所述第一图像数据的类别对应的第一逻辑分区；第一存储子模块，用于若原始数据存储池中存在与所述第一图像数据的类别对应的第一逻辑分区，则将所述第一图像数据存储在所述第一逻辑分区；第二存储子模块，用于若所述原始数据存储池中不存在与所述第一图像数据的类别对应的第一逻辑分区，则建立所述第一逻辑分区，并将所述第一图像数据存储在所述第一逻辑分区。

可选地，所述预处理模块包括：第二创建子模块，用于创建图像数据预处理任务；第二分解子模块，用于将所述图像数据预处理任务分解为多个预处理子任务；确定子模块，用于基于所述预处理子任务，从所述原始数据存储池中确定部分第一图像数据作为待处理数据；清洗子模块，用于对所述待处理数据执行数据清洗，得到第二图像数据；标注子模块，用于对所述第二图像数据进行数据标注，得到针对所述第二图像数据的标注数据以及所述第二图像数据与标注数据之间的索引关系。

本公开的另一个方面提供了一种电子设备，包括处理器以及存储器，存储器上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行上述的方法。

本公开的另一个方面提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行如上所述的方法。

本公开的另一个方面提供了一种图像数据管理系统，包括：原始数据存储池，用于获得采集的第一图像数据，基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；数据预处理子平台，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系；数据与索引池，包括图像数据池、标注数据池以及数据关系索引池，用于基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，并将所述索引关系与逻辑分区信息存储在数据关系索引池；以及数据复用子平台，用于响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

本公开实施例的方法通过对采集的图像数据进行统一的数据清洗、数据标注并将数据清洗的图像数据与标注数据建立索引，并对数据清洗后的图像数据、标注数据以及其对应的索引关系进行分区存储和统一管理。降低了相近识别任务之间的数据重复性开销，打破数据图像集之间复用壁垒，实现图像数据统一获取、一次标注、灵活设计、多次复用。

附图说明

图1示意性示出了根据本公开实施例的图像数据管理方法的应用场景的示意图；

图2示意性示出了根据本公开实施例的图像数据管理方法的流程图；

图3示意性示出了根据本公开实施例的图像数据管理系统的框图；

图4示意性示出了根据本公开实施例的原始数据存储池的获取采集的第一图像数据的流程图；

图5示意性示出了根据本公开实施例的原始数据存储池的基于第一图像数据的类别将第一图像数据存储在原始数据存储池中的相应的第一逻辑分区的流程图；

图6示意性示出了根据本公开实施例的数据预处理子平台的工作流程图；

图7示意性示出了根据本公开实施例的数据与索引池的基于上述第二图像数据的类别，将该第二图像数据存储在图像数据池中的相应的第二逻辑分区的流程图；

图8示意性示出了根据本公开实施例的数据与索引池的将该标注数据存储在标注数据池中的相应的第三逻辑分区的流程图；

图9示意性示出了根据本公开实施例的图像数据管理装置的框图；

图10示意性示出了根据本公开实施例的获得模块的框图；

图11示意性示出了根据本公开实施例的第一存储模块的框图；

图12示意性示出了根据本公开实施例的预处理模块的框图；以及

图13示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种图像数据管理方法，包括获得采集的第一图像数据；基于上述第一图像数据的类别将该第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及该第二图像数据与标注数据之间的索引关系；基于上述第二图像数据的类别，将上述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将上述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将该索引关系与逻辑分区信息存储在数据关系索引池；以及响应于接收到数据复用请求，基于该数据复用请求的任务类型查找索引关系，基于该索引关系加载第二图像数据和标注数据，形成数据集。

图1示意性示出了根据本公开实施例的图像数据管理方法的应用场景的示意图。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，图像数据管理系统120与图像数据采集平台110连接并进行数据交互。其中，数据采集平台110用于采集图像数据。图像数据管理系统120用于对采集图像数据进行数据清洗、数据标注、建立索引并在接收到数据复用请求时响应该数据复用请求。

图像数据采集平台110用于采集图像得到第一图像数据，包括数据采集终端111以及数据采集子平台112。其中，数据采集终端111可以为外部图像采集设备，例如，照相机、摄像机或具备高清摄像功能的智能手机等。数据采集子平台112用于对图像数据采集任务进行分发管理、对数据采集终端111采集的图像采集结果进行集中收归和初步筛选。例如，对特定图像数据采集任务进行分解生成多个采集子任务，每一采集子任务均具有一唯一标识的ID，并将采集子任务发至数据采集终端111，以使数据采集终端111根据采集子任务执行图像数据采集工作。对数据采集终端111采集的图像数据流进行统一调度管理。并将采集的图像数据按图像格式、像素、尺寸大小等任务过滤标准筛选后按采集子任务ID发送至图像数据管理系统120以进一步得到处理。

图像数据管理系统120包括原始数据存储池121、数据预处理子平台122、数据池与索引池123以及数据复用子平台124。其中，原始数据存储池121用于获得采集的第一图像数据，基于该第一图像数据的类别将该第一图像数据存储在原始数据存储池121中的相应的第一逻辑分区中。例如，该原始数据存储池121可以实现第一图像数据的暂时存储，按照总任务ID进行归类组织与存储，保证同一采集总任务的不同子任务图像数据采集结果集中存储。并可以接收数据预处理子平台122的调用消息，实现数据预处理子平台122的数据调用。

数据预处理子平台122用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及该第二图像数据与标注数据之间的索引关系。例如，该数据预处理子平台122与原始数据存储池121连接，可以按照不同任务对其所存储的对应原始数据进行数据预处理操作。例如，对数据进行数据清洗，可以根据特定图像识别任务类型所对应的清洗规则将噪音数据等从原始数据存储池中剔除。或对数据进行数据标注，可以按照数据预处理子平台122提供的不同图像识别任务接口对图像数据进行标注作业。并将完成清洗的图像数据及其对应的标注数据传送至数据池与索引池123。数据池与索引池123包括图像数据池、标注数据池以及数据关系索引池，用于基于该第二图像数据的类别，将该第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将标注数据存储在标注数据池中的相应的第三逻辑分区中，并将索引关系与逻辑分区信息存储在数据关系索引池。数据复用子平台124，用于响应于接收到数据复用请求，基于该数据复用请求的任务类型查找上述索引关系，基于该索引关系加载第二图像数据和标注数据，形成数据集。

需要说明的是，以下图2和图4～图8所描述的图像数据管理方法例如可以由图像数据管理系统120执行，相应的，以下图9所描述的图像数据管理装置一般可以设置于图像数据管理系统120中。

应该理解，图1中的各个数据采集终端、数据采集子平台、原始数据存储池、数据预处理子平台、数据池与索引池以及数据复用子平台的数目仅仅是示意性的。根据实现需要，可以具有任意数目的数据采集终端、数据采集子平台、原始数据存储池、数据预处理子平台、数据池与索引池以及数据复用子平台。

图2示意性示出了根据本公开实施例的图像数据管理方法的流程图。

如图2所示，该方法可以包括操作S210～S250。

在操作S210，获得采集的第一图像数据。

在操作S220，基于上述第一图像数据的类别将该第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中。

在操作S230，对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及该第二图像数据与标注数据之间的索引关系。

在操作S240，基于上述第二图像数据的类别，将上述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将上述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将该索引关系与逻辑分区信息存储在数据关系索引池。

在操作S250，响应于接收到数据复用请求，基于该数据复用请求的任务类型查找索引关系，基于该索引关系加载第二图像数据和标注数据，形成数据集。

本公开实施例的方法通过对采集的图像数据进行统一的数据清洗、数据标注并将数据清洗的图像数据与标注数据建立索引，并对数据清洗后的图像数据、标注数据以及其对应的索引关系进行分区存储和统一管理。降低了详实识别任务之间的数据重复性开销，打破数据图像集之间复用壁垒，实现图像数据统一获取、一次标注、灵活设计、多次复用。

下面结合图3和图4～图8所示意的实施例对上述方法进行说明。

图3示意性示出了根据本公开实施例的图像数据管理系统300的框图。

请参照图3，该系统300包括原始数据存储池310、数据预处理子平台320、数据与索引池330以及数据复用子平台340。

原始数据存储池310，用于获得采集的第一图像数据，基于该第一图像数据的类别将该第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中。

图4示意性示出了根据本公开实施例的原始数据存储池的获取采集的第一图像数据的流程图。

其中，如图4所示，获得采集的第一图像数据包括操作S410～S450。该获得采集的第一图像数据的方法例如可以由如图1所示的图像数据采集平台110执行，在得到第一图像数据后，可以将第一图像数据存入原始数据存储池121/310中。图像数据采集平台可以包括数据采集终端以及数据采集子平台。其中，数据采集终端可以为外部图像数据采集设备，其为执行图像采集任务的主体。数据采集子平台是本发明系统对特定图像采集需求进行任务创建、任务拆解、任务分发、结果收归的图像数据采集任务管理子平台。

在操作S410，创建图像数据采集任务。例如，数据采集子平台可以根据图像采集需求创建图像数据采集任务。

在操作S420，将该图像数据采集任务分解为多个采集子任务。例如，可以采用数据采集子平台等装置对图像数据采集任务进行分解得到多个独立的采集子任务。还可以为每一采集子任务分配一唯一标识的采集子任务ID。其中，采集子任务可以包括采集目标、采集规则、采集量等需求信息。

在操作S430，将上述多个采集子任务分发到多个数据采集终端，以使数据采集终端执行数据采集作业。例如，数据采集子平台还可以将采集子任务动态分发至数据采集终端设备，以使数据采集终端根据采集子任务采集图像数据。

在操作S440，接收采集子任务的采集结果，该采集结果包括多个第三图像数据。数据采集子平台还可以包括通过接收数据流的方式接收数据采集终端等设备根据采集子任务采集的图像数据，以便对该图像数据进行后续处理，实现对采集子任务作业的统一调度管理。在操作S450，从第三图像数据中确定满足筛选规则的第一图像数据。例如，可以根据图像数据采集需求所定义的数据格式、像素、尺寸大小等筛选条件，对第三图像数据进行筛选，丢弃不合标准的图像数据，得到第一图像数据。并将经过处理后的第一图像数据及其对应的采集任务ID发送至下游设备如原始数据存储池等。

还包括操作S460，判断图像采集任务是否完成，若完成则结束，若未完成，则返回执行操作S440。图5示意性示出了根据本公开实施例的原始数据存储池的基于第一图像数据的类别将第一图像数据存储在原始数据存储池中的相应的第一逻辑分区的流程图。原始数据存储池可以对数据采集子平台采集处理后的第一图像进行暂存为第一图像提供存储支撑，并按采集任务ID进行归类组织与存储，保证同一采集任务的不同采集子任务采集的图像数据进行集中存储。还可以接收下游设备如数据预处理子平台的调用消息，使得其内存储的图像数据可以被进一步调用处理。

如图5所示，基于第一图像数据的类别将第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中包括操作S510～S530。原始数据存储池与数据采集子平台连接，时刻监听数据采集子平台的信息。

在操作S510，确定原始数据存储池中是否存在与该第一图像数据的类别对应的第一逻辑分区。根据采集结果信息判断原始数据存储池中是否包含该采集结果数据类型的逻辑分区，若存在则执行操作S520，若不存在则执行操作S530。

在操作S520，若原始数据存储池中存在与该第一图像数据的类别对应的第一逻辑分区，则将该第一图像数据存储在第一逻辑分区。

在操作S530，若上述原始数据存储池中不存在与第一图像数据的类别对应的第一逻辑分区，则建立第一逻辑分区，并将该第一图像数据存储在该第一逻辑分区。

返回参考图3。数据预处理子平台320，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及该第二图像数据与标注数据之间的索引关系。

图6示意性示出了根据本公开实施例的数据预处理子平台的工作流程图。

如图6所示，该数据预处理子平台320的工作流程可以包括操作S610～S650。

在操作S610，创建图像数据预处理任务。例如，可以根据数据预处理需求创建数据预处理总任务。

在操作S620，将上述图像数据预处理任务分解为多个预处理子任务。将图像数据预处理任务拆分成多个独立的预处理子任务，各预处理子任务独立执行以下操作S630～S640。

在操作S630，基于上述预处理子任务，从该原始数据存储池中确定部分第一图像数据作为待处理数据。例如，可以根据数据预处理子任务的任务信息确定部分第一图像数据作为待处理数据。

在操作S640，对上述待处理数据执行数据清洗，得到第二图像数据。可以根据预设的清洗规则对待处理数据进行数据清洗，得到清洗后的第二图像数据。

在操作S650，对上述第二图像数据进行数据标注，得到针对该第二图像数据的标注数据以及第二图像数据与标注数据之间的索引关系。可以根据预处理子任务定义的数据标准类型与数据标准规则对第二图像数据进行标注。将第二图像数据与经标注后所生成的标注结果文件一一对应，形成图像一标注数据对。将第二图像数据、标注数据以及索引关系发生至下游设备如数据与索引池等。

还包括操作S660，判断预处理任务是否完成，若完成，则结束，若未完成则重新执行步骤S630。

返回参考图3。数据与索引池330，为本公开图像数据的最终存储地址，包括图像数据池、标注数据池以及数据关系索引池，用于基于上述第二图像数据的类别，将该第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将该标注数据存储在标注数据池中的相应的第三逻辑分区中，并将该索引关系与逻辑分区信息存储在数据关系索引池。

图7示意性示出了根据本公开实施例的数据与索引池的基于上述第二图像数据的类别，将该第二图像数据存储在图像数据池中的相应的第二逻辑分区的流程图。

如图7所示，基于上述第二图像数据的类别，将该第二图像数据存储在图像数据池中的相应的第二逻辑分区中包括操作S710～S730。

在操作S710，判断其图像数据池中是否存在与该第二图像数据的类别对应的第二逻辑分区。抽取第二图像数据与其对应的类别信息，根据该类别信息判断图像数据池中是否存在与所抽取的图像数据类别信息多对应的第二逻辑分区，若存在，则执行操作S720，若不存在，则执行操作S730。

在操作S720，若图像数据池中存在与该第二图像数据的类别对应的第二逻辑分区，则将该第二图像数据存储在该第二逻辑分区中。

在操作S730，若图像数据池中不存在与该第二图像数据的类别对应的第二逻辑分区，则建立第二逻辑分区，并将该第二图像数据存储在该第二逻辑分区中。

图8示意性示出了根据本公开实施例的数据与索引池的将该标注数据存储在标注数据池中的相应的第三逻辑分区的流程图。

如图8所示，将该标注数据存储在标注数据池中的相应的第三逻辑分区中包括操作S810～S850。

在操作S810，判断标注数据池中是否存在与该第二图像数据的类别对应的第三逻辑分区。从上述预处理结果中抽取处标注数据及其对应的类别信息，根据标注数据类别信息判断标注数据池中是否存在与该第二图像数据的类别对应的第三逻辑分区，若存在则执行操作S820，若不存在则执行操作S830。

在操作S820，若标注数据池中存在与该第二图像数据的类别对应的第三逻辑分区，则将该标注数据存储在该第三逻辑分区中。

在操作S830，若标注数据池中不存在与该第二图像数据的类别对应的第三逻辑分区，则建立第三逻辑分区，将该标注数据存储在该第三逻辑分区中。

数据与索引池330还可以包括将索引关系与操作S710～S730以及操作S810～S830建立的逻辑分区信息存储在数据关系索引池。从接收到的数据预处理结果中抽取出图像-标注数据对应关系文件也即索引关系，将图像数据与标注数据的索引关系，附加其在图像数据池与标注数据池中分别对应的逻辑分区信息，共同存入数据关系索引池330中，并返回操作S710持续保持对数据预处理结果进行接收与存储处理工作。

返回参考图3。数据复用子平台340，可以针对不同图像识别任务生成定制化数据集的子平台，用于响应于接收到数据复用请求，基于该数据复用请求的任务类型查找索引关系，基于该索引关系加载第二图像数据和标注数据，形成数据集。例如，当数据复用子平台340接收到特定图像识别任务的数据复用需求后，生成数据集定制任务，根据该数据复用请求的任务类型查找数据与索引池330中的数据关系索引池中的索引关系，并定位所需图像数据的存储分区，根据该索引关系从存储分区中加载第二图像数据与标注数据，得到复用的数据集。

基于同一发明构思，本公开实施例还提供了一种图像数据管理装置，下面结合图9对本公开实施例的图像数据管理装置进行介绍。

图9示意性示出了根据本公开实施例的图像数据管理装置900的框图。

如图9所示，图像数据管理装置900包括获得模块910、第一存储模块920、预处理模块930、第二存储模块940以及复用模块950。该图像数据管理装置900可以执行上文参考图2和图4～图8描述的各种方法。

获得模块910例如执行参考上文图2描述的操作S210，用于获得采集的第一图像数据；

第一存储模块920例如执行参考上文图2描述的操作S220，用于基于上述第一图像数据的类别将该第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中。

预处理模块930例如执行参考上文图2描述的操作S230，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及该第二图像数据与标注数据之间的索引关系。

第二存储模块940例如执行参考上文图2描述的操作S240，用于基于上述第二图像数据的类别，将上述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将上述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将该索引关系与逻辑分区信息存储在数据关系索引池。

复用模块950例如执行参考上文图2描述的操作S250，用于响应于接收到数据复用请求，基于该数据复用请求的任务类型查找索引关系，基于该索引关系加载第二图像数据和标注数据，形成数据集。

图10示意性示出了根据本公开实施例的获得模块1000的框图。

如图10所示，获得模块1000包括第一创建子模块1010、第一分解子模块1020、分发子模块1030、接收子模块1040以及筛选子模块1050。该获得模块1000可以执行图4中的描述的方法。

第一创建子模块1010例如执行参考上文图4描述的操作S410，用于创建图像数据采集任务。

第一分解子模块1020例如执行参考上文图4描述的操作S420，用于将上述图像数据采集任务分解为多个采集子任务。

分发子模块1030例如执行参考上文图4描述的操作S430，用于将上述多个采集子任务分发到多个数据采集终端。

接收子模块1040例如执行参考上文图4描述的操作S440，用于接收采集子任务的采集结果，该采集结果包括多个第三图像数据。

筛选子模块1050例如执行参考上文图4描述的操作S450，用于从上述第三图像数据中确定满足筛选规则的第一图像数据。

图11示意性示出了根据本公开实施例的第一存储模块1100的框图。

如图11所示，该第一存储模块1100包括分区确定子模块1110、第一存储子模块1120以及第二存储子模块1130。该第一存储模块1100可以执行图5中描述的方法。

分区确定子模块1110例如执行参考上文图5描述的操作S510，用于确定原始数据存储池中是否存在与该第一图像数据的类别对应的第一逻辑分区。

第一存储子模块1120例如执行参考上文图5描述的操作S520，用于若原始数据存储池中存在与上述第一图像数据的类别对应的第一逻辑分区，则将该第一图像数据存储在第一逻辑分区。

第二存储子模块1130例如执行参考上文图5描述的操作S530，用于若上述原始数据存储池中不存在与该第一图像数据的类别对应的第一逻辑分区，则建立该第一逻辑分区，并将该第一图像数据存储在所述第一逻辑分区。

图12示意性示出了根据本公开实施例的预处理模块1200的框图。

如图12所示，预处理模块1200包括第二创建子模块1210、第二分解子模块1220、确定子模块1230、清洗子模块1240以及标注子模块1250。该预处理模块1200可以执行图6中描述的方法。

第二创建子模块1210例如执行参考上文图6描述的操作S610，用于创建图像数据预处理任务。

第二分解子模块1220例如执行参考上文图6描述的操作S620，用于将上述图像数据预处理任务分解为多个预处理子任务。

确定子模块1230例如执行参考上文图6描述的操作S630，用于基于上述预处理子任务，从原始数据存储池中确定部分第一图像数据作为待处理数据。

清洗子模块1240例如执行参考上文图6描述的操作S640，用于对上述处理数据执行数据清洗，得到第二图像数据。

标注子模块1250例如执行参考上文图6描述的操作S650，用于对上述第二图像数据进行数据标注，得到针对该第二图像数据的标注数据以及第二图像数据与标注数据之间的索引关系。

根据本公开的实施例，获得模块910、第一存储模块920、预处理模块930、第二存储模块940、复用模块950、第一创建子模块1010、第一分解子模块1020、分发子模块1030、接收子模块1040、筛选子模块1050、分区确定子模块1110、第一存储子模块1120、第二存储子模块1130、第二创建子模块1210、第二分解子模块1220、确定子模块1230、清洗子模块1240以及标注子模块1250中的多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获得模块910、第一存储模块920、预处理模块930、第二存储模块940、复用模块950、第一创建子模块1010、第一分解子模块1020、分发子模块1030、接收子模块1040、筛选子模块1050、分区确定子模块1110、第一存储子模块1120、第二存储子模块1130、第二创建子模块1210、第二分解子模块1220、确定子模块1230、清洗子模块1240以及标注子模块1250中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获得模块910、第一存储模块920、预处理模块930、第二存储模块940、复用模块950、第一创建子模块1010、第一分解子模块1020、分发子模块1030、接收子模块1040、筛选子模块1050、分区确定子模块1110、第一存储子模块1120、第二存储子模块1130、第二创建子模块1210、第二分解子模块1220、确定子模块1230、清洗子模块1240以及标注子模块1250中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图13示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图13示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图13所示，根据本公开实施例的计算机系统1300包括处理器1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1008加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM1303中，存储有系统1300操作所需的各种程序和数据。处理器1301、ROM1302以及RAM1303通过总线1004彼此相连。处理器1301通过执行ROM1302和/或RAM1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM1302和RAM1303以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1300还可以包括输入/输出(I/O)接口1305，输入/输出(I/O)接口1305也连接至总线1304。系统1300还可以包括连接至I/O接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM1302和/或RAM1303和/或ROM1302和RAM1303以外的一个或多个存储器。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种图像数据管理方法，包括：

获得采集的第一图像数据；

基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；

对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系；

基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将所述索引关系与逻辑分区信息存储在数据关系索引池；以及

响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

2.根据权利要求1所述的方法，其中，所述获得采集的第一图像数据包括：

创建图像数据采集任务；

将所述图像数据采集任务分解为多个采集子任务；

将所述多个采集子任务分发到多个数据采集终端；

接收采集子任务的采集结果，所述采集结果包括多个第三图像数据；以及

从所述第三图像数据中确定满足筛选规则的第一图像数据。

3.根据权利要求1所述的方法，其中，所述基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中包括：

确定原始数据存储池中是否存在与所述第一图像数据的类别对应的第一逻辑分区；

若原始数据存储池中存在与所述第一图像数据的类别对应的第一逻辑分区，则将所述第一图像数据存储在所述第一逻辑分区；

若所述原始数据存储池中不存在与所述第一图像数据的类别对应的第一逻辑分区，则建立所述第一逻辑分区，并将所述第一图像数据存储在所述第一逻辑分区。

4.根据权利要求1所述的方法，其中，所述对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系包括：

创建图像数据预处理任务；

将所述图像数据预处理任务分解为多个预处理子任务；

基于所述预处理子任务，从所述原始数据存储池中确定部分第一图像数据作为待处理数据；

对所述待处理数据执行数据清洗，得到第二图像数据；

对所述第二图像数据进行数据标注，得到针对所述第二图像数据的标注数据以及所述第二图像数据与标注数据之间的索引关系。

5.一种图像数据管理装置，包括：

获得模块，用于获得采集的第一图像数据；

第一存储模块，用于基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；

预处理模块，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系；

第二存储模块，用于基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，以及将所述索引关系与逻辑分区信息存储在数据关系索引池；以及

复用模块，用于响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

6.根据权利要求5所述的装置，其中，所述获得模块包括：

第一创建子模块，用于创建图像数据采集任务；

第一分解子模块，用于将所述图像数据采集任务分解为多个采集子任务；

分发子模块，用于将所述多个采集子任务分发到多个数据采集终端；

接收子模块，用于接收采集子任务的采集结果，所述采集结果包括多个第三图像数据；以及

筛选子模块，用于从所述第三图像数据中确定满足筛选规则的第一图像数据。

7.根据权利要求5所述的装置，其中，所述第一存储模块包括：

分区确定子模块，用于确定原始数据存储池中是否存在与所述第一图像数据的类别对应的第一逻辑分区；

第一存储子模块，用于若原始数据存储池中存在与所述第一图像数据的类别对应的第一逻辑分区，则将所述第一图像数据存储在所述第一逻辑分区；

第二存储子模块，用于若所述原始数据存储池中不存在与所述第一图像数据的类别对应的第一逻辑分区，则建立所述第一逻辑分区，并将所述第一图像数据存储在所述第一逻辑分区。

8.根据权利要求5所述的装置，其中，所述预处理模块包括：

第二创建子模块，用于创建图像数据预处理任务；

第二分解子模块，用于将所述图像数据预处理任务分解为多个预处理子任务；

确定子模块，用于基于所述预处理子任务，从所述原始数据存储池中确定部分第一图像数据作为待处理数据；

清洗子模块，用于对所述待处理数据执行数据清洗，得到第二图像数据；

标注子模块，用于对所述第二图像数据进行数据标注，得到针对所述第二图像数据的标注数据以及所述第二图像数据与标注数据之间的索引关系。

9.一种电子设备，包括：

处理器；以及

存储器，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～4中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～4中任意一项所述的方法。

11.一种图像数据管理系统，包括：

原始数据存储池，用于获得采集的第一图像数据，基于所述第一图像数据的类别将所述第一图像数据存储在原始数据存储池中的相应的第一逻辑分区中；

数据预处理子平台，用于对至少一个第一逻辑分区的第一图像数据执行数据清洗和数据标注，得到处理后的第二图像数据、标注数据以及所述第二图像数据与标注数据之间的索引关系；

数据与索引池，包括图像数据池、标注数据池以及数据关系索引池，用于基于所述第二图像数据的类别，将所述第二图像数据存储在图像数据池中的相应的第二逻辑分区中，将所述标注数据存储在标注数据池中的相应的第三逻辑分区中，并将所述索引关系与逻辑分区信息存储在数据关系索引池；以及

数据复用子平台，用于响应于接收到数据复用请求，基于所述数据复用请求的任务类型查找所述索引关系，基于所述索引关系加载第二图像数据和标注数据，形成数据集。

Images