CN111104534A - 公开图像训练数据集的整合方法及装置 - Google Patents

Abstract

本发明公开了一种公开图像训练数据集的整合方法及装置，该方法包括：获取多个公开图像训练数据集的资源数据；从所述资源数据中拆解得到图像的相关信息，其中，所述图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息；将与预设标签相同的标签对应的图像的URL信息和标签融合生成资源数据集合，并利用所述资源数据集合生成资源数据库。

Description

公开图像训练数据集的整合方法及装置

技术领域

本发明涉及训练数据集技术领域，更具体地，涉及一种公开图像训练数据集的整合方法、一种公开图像训练数据集的整合装置。

背景技术

随着云计算、大数据等技术的演进，人工智能技术因为硬件的突破和训练数据的爆炸性增长再次迎来了春天。训练数据集的质量和数量直接影响着人工智能模型的精确程度。

现阶段，图像训练数据集是训练数据集使用较为广泛的数据集，例如，适用于所有领域的MSCOCO、ImageNet等图像训练数据集，也有适用于特定领域的图像集，如Food-101、Pic2Recipe等图像训练数据集。

目前，随着图像训练数据集的增多、图像训练数据集内不同领域的数据量的增加，在训练特定领域模型的过程中，大量与该特定领域无关的图像数据被同时下载。在利用与该特定领域无关的图像数据训练模型时，不能方便快捷地实现训练模型的训练、验证和测试。

发明内容

本发明的一个目的是提供一种用于整合公开图像训练数据集的新技术方案。

根据本发明的第一方面，提供了一种公开图像训练数据集的整合方法，包括：

获取多个公开图像训练数据集的资源数据；

从所述资源数据中拆解得到图像的相关信息，其中，所述图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息；

将与预设标签相同的标签对应的图像的URL信息和标签融合生成资源数据集合，并利用所述资源数据集合生成资源数据库。

可选地，所述方法还包括：

检测所述多个公开图像训练数据集是否出现更新资源数据；

在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据；

从所述更新资源数据中拆解得到更新图像的相关信息；

将所述更新图像的相关信息融合到对应的资源数据集合。

可选地，检测所述多个公开图像数据训练集是否出现更新资源数据，包括：

获取各公开图像数据训练集的版本号信息或更新时间信息；

根据所述版本号信息或者所述更新时间信息分别确定各公开图像训练集是否出现更新资源数据。

可选地，所述方法还包括：

在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，其中，所述新的预设标签与图像的标签相同；

将与新的预设标签相同的标签对应的图像的相关信息融合生成资源数据集合。

可选地，所述将与预设标签相同的标签对应的图像的相关信息融合生成资源数据集合，包括：

将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，生成资源数据集合。

根据本发明的第二方面，提供了一种公开图像训练数据集的整合装置，包括：

获取模块，用于获取多个公开图像训练数据集的资源数据；

拆解模块，用于从所述资源数据中拆解得到图像的相关信息，其中，所述图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息；

整合模块，用于将与预设标签相同的标签对应的图像的URL信息和标签整合生成资源数据集合，并利用所述资源数据集合生成资源数据库。

可选地，所述装置还包括：

检测模块，用于检测所述多个公开图像训练数据集是否出现更新资源数据；

所述获取模块进一步用于在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据；

所述拆解模块进一步用于从所述更新资源数据中拆解得到更新图像的相关信息；

所述整合模块进一步用于将所述更新图像的相关信息整合到对应的资源数据集合。

可选地，所述装置还包括：

预设标签生成模块，用于在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，其中，所述新的预设标签与图像的标签相同；

所述整合模块进一步用于将与新的预设标签相同的标签对应的图像的相关信息整合生成资源数据集合。

可选地，所述整合模块进一步用于：将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，生成资源数据集合。

根据本发明的第三方面，提供了一种公开图像训练数据集的整合装置，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据第一方面中任一项所述的方法。

本发明的一个实施例的有益效果在于，实现了将多个公开图像训练数据集的整合，通过整合得到的资源数据库可以直接获取与特定领域相关的图像以作为训练数据，不再获取到与特定领域不相关的图像，这样可以提升训练模型训练和测试的速度和准确性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的公开图像训练数据集的整合方法的处理流程图。

图2是根据本发明一个实施例的公开图像训练数据集的整合装置的结构示意图。

图3是根据本发明一个实施例的公开图像训练数据集的整合装置的硬件结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<方法实施例>

图1是根据本发明一个实施例的公开图像训练数据集的整合方法的处理流程图。

根据图1所示，该公开图像训练数据集的整合方法至少包括以下步骤：

步骤S1100，获取多个公开图像训练数据集的资源数据。

本发明实施例中，资源数据包括图像本身和图像的相关信息。

图像的相关信息至少包括图像的URL(Uniform Resource Locator，统一资源定位符)信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。

图像的标签用于标识图像中目标物体的类型。一个图像的标签并不限于一个。当一个图像显示有多种不同类型的目标物体时，该图像的标签为多个。

例如，某一图像显示有人、狗和羊三类目标物体，那么该图像的标签为人、狗和羊。

步骤S1200，从资源数据中拆解得到图像的相关信息，其中，图像的相关信息至少包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。

步骤S1300，将与预设标签相同的标签对应的各图像的相关信息整合生成资源数据集合，并利用资源数据集合生成资源数据库。

本发明实施例中，预先设定一个标签体系。该标签体系包括多个预设标签。针对每一个预设标签可以生成一个资源数据集合，即预设标签与资源数据集合一一对应。

在本发明的一个实施例中，基于每一个预设标签，将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，得到资源数据集合。

在一个例子中，资源数据集合示例如下，

其中，"url"为图像的URL信息。"label"为图像的标签，该图像的标签为man、dog和sheep。"bbox"为目标物体在图像中的位置信息，"bbox"包括三组数据，该三组数据分别对应man、dog和sheep在图像中的位置信息。"segmentation"为目标物体在图像中的外形轮廓信息，"segmentation"包括三组数据，该三组数据分别对应目标物体在图像中的外形轮廓信息。

以该示例中"bbox"中的第一组数据为例，19.72，13.31分别为目标物体man的左上角的点在图像中的位置信息，20.5，20.5分别为目标物体man的长度和宽度。

以该示例中"segmentation"中的第一组数据为例，(0.23,0.45),...,9.30)为目标物体man在图像中的外形轮廓信息。

该示例仅示出了一个图像的相关信息按照导出规则排列后得到的、具有JSON数据格式的内容。该资源数据集合中其他图像的相关信息也按照该导出规则排列后得到具有JSON数据格式的内容。

在生成资源数据库后，可以通过预设标签在资源数据库中查找到对应的资源数据集合。该资源数据集合包括有与该预设标签对应的图像的相关信息。利用图像的相关信息中的URL信息可以获取图像本身，这些图像可以作为训练样本。

在本发明的一个实施例中，在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签。该新的预设标签与该图像的标签相同。在生成新的预设标签后，将新的预设标签添加至标签体系中。然后，将与新的预设标签相同的标签对应的各图像的相关信息整合生成资源数据集合。这样可以通过图像的标签不断完善预先设定的标签体系。

在本发明的一个实施例中，公开图像数据训练集的资源数据在不断更新，可以利用公开图像数据训练集的更新资源数据对本发明实施例生成的资源数据库进行进一步完善。

本发明实施例中，检测多个公开图像训练数据集是否出现更新资源数据。公开图像训练数据集的整合装置定时获取各公开图像数据训练集的版本号信息或更新时间信息。根据版本号信息或者更新时间信息分别确定各公开图像训练集是否出现更新资源数据。

例如，公开图像训练数据集的整合装置记录各公开图像训练集的最新版本号或者最近一次的更新时间。将其获取的公开图像数据训练集的版本号信息分别与其记录的最新版本号进行比对，或者，将其获取的公开图像数据训练集的更新时间信息分别与其记录的最近一次的更新时间进行比对。如果一致，可以确定该图像数据训练集未更新，如果不一致，可以确定该图像数据训练集已更新。

在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据。从更新资源数据中拆解得到更新图像的相关信息。更新图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。将更新图像的相关信息整合到对应的资源数据集合。例如，将更新图像的相关信息整合到与更新图像的标签相同的预设标签对应的资源数据集合中。

<例子>

本实施例提供了一种公开图像数据训练集的整合方法的具体处理流程，至少包括如下步骤：

步骤S2100，获取多个公开图像训练数据集的资源数据。

步骤S2200，从资源数据中拆解得到图像的相关信息，其中，图像的相关信息至少包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。

步骤S2300，将与预设标签相同的标签对应的各图像的相关信息整合生成资源数据集合。

步骤S2400，在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，将与新的预设标签相同的标签对应的各图像的相关信息整合生成资源数据集合。

步骤S2500，利用资源数据集合生成资源数据库。

步骤S2600，检测多个公开图像训练数据集是否出现更新资源数据。

步骤S2700，在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据。

步骤S2800，从更新资源数据中拆解得到更新图像的相关信息。更新图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。

步骤S2900，将更新图像的相关信息整合到对应的资源数据集合。

<装置实施例>

图2是根据本发明一个实施例的公开图像训练数据集的整合装置的结构示意图。

根据图2所示，公开图像训练数据集的整合装置至少包括获取模块210、拆解模块220和整合模块230。

获取模块210用于获取多个公开图像训练数据集的资源数据。图2示出的公开图像训练数据集的个数是作为一个示例，公开图像训练数据集的个数还可为其他数量。

拆解模块220用于从资源数据中拆解得到图像的相关信息，其中，图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息。

整合模块230用于将与预设标签相同的标签对应的图像的URL信息和标签整合生成资源数据集合，并利用资源数据集合生成资源数据库。

在本发明的一个实施例中，整合模块230进一步用于将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，生成资源数据集合。

在本发明的一个实施例中，公开图像训练数据集的整合装置还包括检测模块。

检测模块用于检测多个公开图像训练数据集是否出现更新资源数据。

获取模块210进一步用于在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据。

拆解模块220进一步用于从更新资源数据中拆解得到更新图像的相关信息。

整合模块230进一步用于将更新图像的相关信息整合到对应的资源数据集合。

本发明实施例中，检测模块进一步用于：获取各公开图像数据训练集的版本号信息或更新时间信息；根据所述版本号信息或者所述更新时间信息分别确定各公开图像训练集是否出现更新资源数据。

在本发明的一个实施例中，公开图像训练数据集的整合装置还包括预设标签生成模块。预设标签生成模块用于在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，其中，新的预设标签与图像的标签相同。整合模块230进一步用于将与新的预设标签相同的标签对应的图像的相关信息整合生成资源数据集合。

图3是根据本发明一个实施例的公开图像训练数据集的整合装置的硬件结构框图。

根据图3所示，公开图像训练数据集的整合装置可以包括存储器310和处理器320。

存储器310例如可以包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。

处理器320可以是移动版处理器，也可以是单片机等。

存储器310用于存储指令，该指令用于控制处理器320进行操作以执行根据图1示出的公开图像训练数据集的整合方法。

本发明可以是装置、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(装置)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种公开图像训练数据集的整合方法，其特征在于，包括：

获取多个公开图像训练数据集的资源数据；

从所述资源数据中拆解得到图像的相关信息，其中，所述图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息；

将与预设标签相同的标签对应的图像的URL信息和标签融合生成资源数据集合，并利用所述资源数据集合生成资源数据库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述多个公开图像训练数据集是否出现更新资源数据；

在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据；

从所述更新资源数据中拆解得到更新图像的相关信息；

将所述更新图像的相关信息融合到对应的资源数据集合。

3.根据权利要求2所述的方法，其特征在于，检测所述多个公开图像数据训练集是否出现更新资源数据，包括：

获取各公开图像数据训练集的版本号信息或更新时间信息；

根据所述版本号信息或者所述更新时间信息确定各公开图像训练集是否出现更新资源数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，其中，所述新的预设标签与图像的标签相同；

将与新的预设标签相同的标签对应的图像的相关信息融合生成资源数据集合。

5.根据权利要求1-4中任一所述的方法，其特征在于，所述将与预设标签相同的标签对应的图像的相关信息融合生成资源数据集合，包括：

将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，生成资源数据集合。

6.一种公开图像训练数据集的整合装置，其特征在于，包括：

获取模块，用于获取多个公开图像训练数据集的资源数据；

拆解模块，用于从所述资源数据中拆解得到图像的相关信息，其中，所述图像的相关信息包括图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息；

整合模块，用于将与预设标签相同的标签对应的图像的URL信息和标签整合生成资源数据集合，并利用所述资源数据集合生成资源数据库。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测所述多个公开图像训练数据集是否出现更新资源数据；

所述获取模块进一步用于在至少一个公开图像训练数据集出现更新资源数据的情况下，获取更新资源数据；

所述拆解模块进一步用于从所述更新资源数据中拆解得到更新图像的相关信息；

所述整合模块进一步用于将所述更新图像的相关信息整合到对应的资源数据集合。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

预设标签生成模块，用于在图像的标签与任一预设标签均不相同的情况下，生成新的预设标签，其中，所述新的预设标签与图像的标签相同；

所述整合模块进一步用于将与新的预设标签相同的标签对应的图像的相关信息整合生成资源数据集合。

9.根据权利要求6-8中任一所述的装置，其特征在于，所述整合模块进一步用于：将与预设标签相同的标签对应的图像的URL信息、图像的标签、目标物体在图像中的位置信息和目标物体在图像中的外形轮廓信息按照导出规则进行排列，生成资源数据集合。

10.一种公开图像训练数据集的整合装置，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5中任一项所述的方法。

Images