CN110147817B - 训练数据集生成方法及装置 - Google Patents

Abstract

本发明公开了一种训练数据集生成方法及装置，该方法包括：抓取网页正文；检测所述正文中是否包含图片；如果是，则获取所述图片；对所述图片进行识别，得到图片文本数据；根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；如果否，则根据所述正文中的文本数据，生成训练数据集。利用本发明，可以提高训练数据的丰富性及完整性。

Description

训练数据集生成方法及装置

技术领域

本发明涉及数据处理领域，具体涉及一种训练数据集生成方法及装置。

背景技术

深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习中最核心的问题之一是训练数据，深度学习需要大量的数据，可以说训练数据的多少对人工智能的智能化程度起着关键性的作用。

在现有技术中，训练数据一般分为两种：图片数据和文本数据，这两种数据各自用于人工智能不同的方向，比如，自然语言处理应用中采用文本数据，而在图像识别应用中通常采用图片数据。训练数据的采集通常是利用爬虫工具从网页中抓取网页数据，而网页中往往同时包含有文本及相关图片，如果只单纯地利用其中的文本数据或图片数据，不仅会造成数据的浪费，而且还会使得训练数据信息缺失，影响模型训练效果。

发明内容

本发明实施例提供一种训练数据集生成方法及装置，以提高训练数据的丰富性及完整性。

为此，本发明提供如下技术方案：

一种训练数据集生成方法，所述方法包括：

抓取网页正文；

检测所述正文中是否包含图片；

如果是，则获取所述图片；

对所述图片进行识别，得到图片文本数据；

根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；

如果否，则根据所述正文中的文本数据，生成训练数据集。

可选地，所述获取所述图片包括：

根据所述正文中包含的图片标签获取所述图片；或者

通过对所述正文所在页面截图获取所述图片。

可选地，所述对所述图片进行识别，得到图片文本数据包括：

对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述对所述图片进行内容识别，得到所述图片对应的描述信息包括：

利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述对所述图片进行识别，得到图片文本数据还包括：

对所述图片中包含的文本信息进行广告信息过滤。

可选地，所述方法还包括：

在对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述对所述图片进行识别包括：

对检测通过的图片进行识别。

可选地，所述对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

可选地，所述方法还包括：

标记所述图片在所述正文中的位置；

在得到所述图片文本数据后，将所述图片文本数据回插到所述正文中标记的图片的位置；

所述根据所述正文中的文本数据及所述图片文本数据，生成训练数据集包括：

依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。

一种训练数据集生成装置，所述装置包括：

网页抓取模块，用于抓取网页正文；

正文检测模块，用于检测所述正文中是否包含图片；

图片获取模块，用于获取所述图片；

图片识别模块，用于对所述图片获取模块获取的图片进行识别，得到图片文本数据；

训练集生成模块，用于在所述正文中包含图片情况下，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；在所述正文中不包含图片的情况下，根据所述正文中的文本数据，生成训练数据集。

可选地，所述图片获取模块，具体用于根据所述正文中包含的图片标签获取所述图片；或者通过对所述正文所在页面截图获取所述图片。

可选地，所述图片识别模块包括：

文字识别单元，用于对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

内容识别单元，用于对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述内容识别单元，具体用于利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述图片识别模块还包括：

信息过滤单元，用于对所述文字识别单元输出的图片中的文本信息进行广告信息过滤。

可选地，所述装置还包括：

图片检测模块，用于在所述图片识别模块对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述图片识别模块对检测通过的图片进行识别。

可选地，所述图片检测模块对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

可选地，所述装置还包括：

位置标记模块，用于标记所述图片在所述正文中的位置；

回插处理模块，用于在所述图片识别模块得到所述图片文本数据后，将所述图片文本数据回插到所述正文中标记的图片的位置；

所述训练集生成模块在所述正文中包含图片标签的情况下，依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。

一种电子设备，包括：一个或多个处理器、存储器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现前面所述的方法。

一种可读存储介质，其上存储有指令，所述指令被执行以实现前面所述的方法。

本发明实施例提供的训练数据集生成方法及装置，在从网页中抓取训练数据时，不仅提取网页正文中的文本数据，而且在网页正文中包含图片的情况下，获取图片，并对所述图片进行识别，得到图片文本数据，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集，从而丰富了训练数据，避免了网页数据的浪费。

进一步地，通过对图片的检测，可以滤除一些不符合要求的图片，比如：涉黄图片、广告图片等，进而提高了图片文本数据的有效性。

进一步地，对图片的位置进行标记，在得到图片文本数据后，将所述图片文本数据回插到所述正文中标记的图片的位置，依次提取所述正文中的文本数据及回插到所述正文中的图片文本数据，得到训练数据集，维护了训练数据的上下文关系，从而使训练数据包含的信息更丰富准确，可以更好地满足人工智能模型对训练数据的要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例训练数据集生成方法的一种流程图；

图2是本发明实施例训练数据集生成方法的另一种流程图；

图3是本发明实施例训练数据集生成装置的一种结构框图；

图4是本发明实施例训练数据集生成装置的另一种结构框图；

图5是本发明实施例训练数据集生成装置的另一种结构框图；

图6是根据一示例性实施例示出的一种用于训练数据集生成方法的装置的框图；

图7是本发明实施例中服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例提供一种训练数据集生成方法及装置，在从网页中抓取训练数据时，不仅提取网页正文中的文本数据，而且在网页正文中包含图片的情况下，获取图片，并对所述图片进行识别，得到图片文本数据，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集。

如图1所示，是本发明实施例训练数据集生成方法的一种流程图，包括以下步骤：

步骤101，抓取网页正文。

由于训练数据往往是针对某一应用领域或应用环境的样本数据，因此，在实际应用中，可以根据需要，利用网络爬虫等工具对特定领域，比如金融、农业、计算机等领域相关的网页进行数据抓取，并且根据网页中的HTML标签来确定正文所在的位置及包含的内容，避免将正文外的无关信息混入训练数据集产生噪声。

步骤102，检测所述正文中是否包含图片；如果是，则执行步骤103；否则执行步骤106。

具体地，可以通过检测所述正文中是否包含图片标签来判断该正文中是否包含图片。图片标签img是引入外部图片到网页中显示的标签，在图片标签img中，通常会包含以下内容：图片路径或图片网址、图片宽度、图片高度、图片描述。

例如，在HTML中body区内有如下内容：

<img src＝"http://www.divcss5.com/css-images/css-logo.gif"width＝"175"height＝"47"alt＝"DIVCSS5的LOGO"/>；

则表明在body区需要插入DIVCSS5的LOGO的图片，该图片的网址为：http://www.divcss5.com/css-images/css-logo.gif。

步骤103，获取所述图片。

比如，可以根据所述正文中包含的图片标签获取所述图片；或者通过对所述正文所在页面截图获取所述图片，也就是说，加载所述正文所在页面，对当前页面进行截图及位置分析等处理，得到所述正文中包含的各图片。

步骤104，对所述图片进行识别，得到图片文本数据。

在实际应用中，可以根据应用需要，对所述图片进行文字识别，比如通过OCR(Optical Character Recognition，光学字符识别)技术，得到所述图片中包含的文字信息；或者对图片进行内容识别，比如，可以利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息，所述图片内容学习模型的建立可以根据应用场景的需要，采集训练样本，通过一些常规的训练方式得到，对此本发明实施例不做限定。

当然，在有些应用环境中，也可以同时对所述图片进行文字识别和内容识别，对此本发明实施例不做限定。

需要说明的是，有时图片提供方出于防伪、版权等的需要，会对相应的图片添加水印。在这种情况下，为了防止图片上的水印对后续识别处理产生干扰，还可以在获取图片后，首先对所述图片进行去水印处理，然后再执行上述步骤104。去水印处理可以采用现有技术，在此不再详细描述。

另外需要说明的是，有时正文中引入的图片可能不止一个，在正文中包含多个图片时，需要依次获取每个图片，执行步骤103至步骤104的操作，以得到各图片对应的文本数据。

步骤105，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集。

步骤106，根据所述正文中的文本数据，生成训练数据集。

需要说明的是，由于网页中的图片内容繁杂、包罗万象，甚至会夹杂一些广告、涉黄等内容的图片，这些图片的相关信息不仅对训练模型没有帮助，还会产生一定的噪声，影响训练模型参数的准确性。因此，在本发明方法另一实施例中，还可以在上述步骤104对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片。相应地，在步骤104中仅对检测通过的图片进行识别。

上述对图片进行检测的过程可以在上述步骤103和步骤104之间进行，也就是说，在获取图片后，对获取得到的图片进行检测；也可以在上述步骤102和步骤103之间进行，比如，调用第三方的API(Application Programming Interface，应用程序编程接口)，将所述图片标签中的地址传送给该接口，根据第三方返回的结果来确定所述图片是否检测通过。

在本发明实施例中，对所述图片的检测可以包括但不限于以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。具体检测方法可以采用现有技术，对此本发明实施例不做限定。

进一步地，在本发明另一实施例中，还可以在对所述图片进行文字识别后，对识别得到的文本信息进行广告信息过滤，即滤除其中的广告信息，避免这些广告信息对最终生成的训练数据集产生干扰。

本发明实施例提供的训练数据集生成方法，在从网页中抓取训练数据时，不仅提取网页正文中的文本数据，而且在网页正文中包含图片的情况下，获取所述图片，并对所述图片进行识别，得到图片文本数据，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集，从而丰富了训练数据，避免了网页数据的浪费。

如图2所示，是本发明实施例训练数据集生成方法的另一种流程图，包括以下步骤：

步骤201，抓取网页正文。

步骤202，检测所述正文中是否包含图片；如果是，则执行步骤203；否则执行步骤207。

步骤203，获取所述图片，并标记所述图片在所述正文中的位置。

步骤204，对所述图片进行识别，得到图片文本数据。

步骤205，将所述图片文本数据回插到所述正文中标记的图片的位置。

需要说明的是，有时正文中引入的图片可能不止一个，在正文中包含多个图片标签时，需要依次获取每个图片，执行步骤103至步骤105的操作，以得到各图片对应的文本数据。

步骤206，依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。

步骤207，根据所述正文中的文本数据，生成训练数据集。

本发明实施例提供的训练数据集生成方法，抓取网页正文，在网页正文中包含图片的情况下，获取图片并对图片的位置进行标记，对所述图片进行识别，得到图片文本数据后将所述图片文本数据回插到所述正文中标记的图片的位置，然后依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。不仅避免了网页数据的浪费，而且维护了训练数据的上下文关系，从而使训练数据包含的信息更丰富准确，可以更好地满足人工智能模型对训练数据的要求。

需要说明的是，在实际应用中，网页正文中除了引入图片，有时还会引入一些网页链接，而且这些链接的网页内容可能与本网页正文内容相关，因此，在本发明方法另一实施例中，还可以检测所述网页正文中是否包含链接信息，如果有，则首先判断该链接是否在当前网页所属网站的域下，如果是，则根据该链接继续抓取该链接对应的网页数据，数据抓取过程与本网页数据的抓取过程相同，在此不再赘述。

比如，当前网页所属网站为www.51testing.com，其该网页的正文中包含以下两个链接：

1)http://www.51testing.com/html/27/n-4457827.html；

2)https://weibo.com/51testing？s＝6cm7D0；

显然，上述第1)个链接地址与当前网页在同一个域名之下，因此，对其对应的网页数据进行抓取，而第2)个链接地址与当前网页不在同一个域名之下，忽略该链接。

当然，为了避免不相关的数据对训练数据集产生干扰，也可以忽略正文中的所有链接，对此本发明实施例不做限定。

相应地，本发明实施例还提供一种训练数据集生成装置，如图3所示，是该装置的一种结构框图。

在该实施例中，所述装置包括以下各模块：

网页抓取模块301，用于抓取网页正文；

正文检测模块302，用于检测所述正文中是否包含图片；

图片获取模块303，用于获取所述图片；

图片识别模块304，用于对所述图片获取模块获取的图片进行识别，得到图片文本数据；

训练集生成模块305，用于在所述正文中包含图片的情况下，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；在所述正文中不包含图片的情况下，根据所述正文中的文本数据，生成训练数据集。

所述正文检测模块302具体可以通过检测所述正文中是否包含图片标签来判断该正文中是否包含图片。

相应地，所述图片获取模块303可以根据所述正文中包含的图片标签获取所述图片；或者通过对所述正文所在页面截图获取所述图片。

所述图片识别模块304可以根据应用需要，对所述图片进行文字识别和/或内容识别。相应地，所述图片识别模块304可以包括：文字识别单元和/或内容识别单元。其中：

所述文字识别单元用于对所述图片进行文字识别，得到所述图片中包含的文本信息，比如可以利用OCR技术对所述图片进行文字识别；

所述内容识别单元用于对所述图片进行内容识别，得到所述图片对应的描述信息，比如可以利用预先建立的图片内容学习模型对所述图片进行内容识别。

进一步地，上述图片识别模块304还可包括信息过滤单元，用于对所述文字识别单元输出的图片中的文本信息进行广告信息过滤，即滤除其中的广告信息，避免这些广告信息对最终生成的训练数据集产生干扰。

需要说明的是，有时正文中引入的图片可能不止一个，在正文中包含多个图片的情况下，所述图片获取模块303需要依次获取每个图片；相应地，所述图片识别模块304需要针对每个图片进行识别处理，得到各图片对应的文本数据。

本发明实施例提供的训练数据集生成装置，在从网页中抓取训练数据时，不仅提取网页正文中的文本数据，而且在网页正文中包含图片的情况下，获取所述图片，并对所述图片进行识别，得到图片文本数据，根据所述正文中的文本数据及所述图片文本数据，生成训练数据集，从而丰富了训练数据，避免了网页数据的浪费。

如图4所示，是本发明实施例训练数据集生成装置的另一种结构框图。

与图3所示实施例的区别在于，在该实施例中，所述训练数据集生成装置还包括：设置在图片获取模块303和图片识别模块304之间的图片检测模块306，用于对所述图片获取模块303获取的图片进行检测，并删除未检测通过的图片。

相应地，在该实施例中，所述图片识别模块304只需对经由图片检测模块306检测通过的图片进行识别。

需要说明的是，所述图片检测模块306对所述图片进行检测包括但不限于以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。具体检测方法可以采用现有技术，对此本发明实施例不做限定。

通过图片检测模块306对图片的检测，可以有效避免一些干扰信息对训练数据集的影响，保证训练数据的有效性。

如图5所示，是本发明实施例训练数据集生成装置的另一种结构框图。

与图3所示实施例的区别在于，在该实施例中，所述装置还包括：

位置标记模块501，用于标记所述图片获取模块303获取的图片在所述正文中的位置；

回插处理模块502，用于在所述图片识别模块304得到所述图片文本数据后，将所述图片文本数据回插到所述正文中标记的图片的位置。

相应地，在该实施例中，所述训练集生成模块305在所述正文中包含图片的情况下，依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。

当然，上述位置标记模块501和回插处理模块502同样适用于图4所示训练数据集生成装置实施例。

本发明实施例提供的训练数据集生成装置，抓取网页正文，在网页正文中包含图片的情况下，获取图片并对图片的位置进行标记，对所述图片进行识别，得到图片文本数据后将所述图片文本数据回插到所述正文中标记的图片的位置，然后依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集。不仅避免了网页数据的浪费，而且维护了训练数据的上下文关系，从而使训练数据包含的信息更丰富准确，可以更好地满足人工智能模型对训练数据的要求。

图6是根据一示例性实施例示出的一种用于训练数据集生成方法的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类别的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述按键误触纠错方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述本发明方法实施例中的全部或部分步骤。

图7是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

显然，上面所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种训练数据集生成方法，其特征在于，所述方法包括：

抓取网页正文；

检测所述正文中是否包含图片；

如果是，则获取所述图片，标记所述图片在所述正文中的位置；

对所述图片进行识别，得到图片文本数据，将所述图片文本数据回插到所述正文中标记的图片的位置；

依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集；

如果否，则根据所述正文中的文本数据，生成训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述获取所述图片包括：

根据所述正文中包含的图片标签获取所述图片；或者

通过对所述正文所在页面截图获取所述图片。

3.根据权利要求1所述的方法，其特征在于，所述对所述图片进行识别，得到图片文本数据包括：

对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

对所述图片进行内容识别，得到所述图片对应的描述信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述图片进行内容识别，得到所述图片对应的描述信息包括：

利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

5.根据权利要求3所述的方法，其特征在于，所述对所述图片进行识别，得到图片文本数据还包括：

对所述图片中包含的文本信息进行广告信息过滤。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述对所述图片进行识别包括：

对检测通过的图片进行识别。

7.根据权利要求6所述的方法，其特征在于，所述对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

8.一种训练数据集生成装置，其特征在于，所述装置包括：

网页抓取模块，用于抓取网页正文；

正文检测模块，用于检测所述正文中是否包含图片；

图片获取模块，用于获取所述图片；

位置标记模块，用于标记所述图片在所述正文中的位置；

图片识别模块，用于对所述图片获取模块获取的图片进行识别，得到图片文本数据；

回插处理模块，用于将所述图片文本数据回插到所述正文中标记的图片的位置；

训练集生成模块，用于在所述正文中包含图片情况下，依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集；在所述正文中不包含图片的情况下，根据所述正文中的文本数据，生成训练数据集。

9.根据权利要求8所述的装置，其特征在于，

所述图片获取模块，具体用于根据所述正文中包含的图片标签获取所述图片；或者通过对所述正文所在页面截图获取所述图片。

10.根据权利要求8所述的装置，其特征在于，所述图片识别模块包括：

文字识别单元，用于对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

内容识别单元，用于对所述图片进行内容识别，得到所述图片对应的描述信息。

11.根据权利要求10所述的装置，其特征在于，

所述内容识别单元，具体用于利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

12.根据权利要求10所述的装置，其特征在于，所述图片识别模块还包括：

信息过滤单元，用于对所述文字识别单元输出的图片中的文本信息进行广告信息过滤。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

图片检测模块，用于在所述图片识别模块对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述图片识别模块对检测通过的图片进行识别。

14.根据权利要求13所述的装置，其特征在于，所述图片检测模块对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

15.一种电子设备，其特征在于，包括：一个或多个处理器、存储器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现如权利要求1至7任一项所述的方法。

16.一种可读存储介质，其上存储有指令，所述指令被执行以实现如权利要求1至7任一项所述的方法。

Images