CN109948033A - 一种垂直领域源数据过滤方法及装置 - Google Patents

Abstract

本发明提供一种垂直领域源数据的过滤方法及装置，先配置过滤流程，过滤流程中包含有匹配规则和过滤模型，在具体过滤时，先进行规则匹配，对于符合规则的源数据，则停止过滤，否则，继续进行模型过滤。通过配置过滤流程，控制整个数据过滤的过程，对于噪声低的源数据则可以通过规则匹配完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。

Description

一种垂直领域源数据过滤方法及装置

技术领域

本发明涉及垂直领域的大数据处理，特别涉及一种垂直领域源数据的过滤方法及装置。

背景技术

随着互联网技术以及数据处理技术的不断发展，大数据处理有了广泛的应用，其利用海量的数据并从中提取出有价值的信息，根据不同的分析目的，这些信息可以进一步用于指导市场营销、进行市场预测或者风险控制等等。

当前行业的划分越来越精细，在不同的垂直领域，例如汽车、服装等特定行业，大数据得到了广泛的应用。在大数据处理过程中，需要爬取海量的网络数据，在爬取时主要通过关键词匹配的方法，将种子目录中包含有关键词的所有数据都爬取下来，这些数据中包含有大量的噪声数据，而噪声数据是后续大数据处理时不需要的数据，这些噪声数据的存在会使得数据的处理变得困难，处理结果的准确性也会受到影响。

因此，需要对源数据进行过滤的步骤，在过滤后，要将噪声数据过滤掉，以使得数据可用，即保证数据过滤的准确率，此外，不能让有效数据流失过多，即保证数据的召回率。目前，主要是通过分类算法将源数据分为噪声数据和非噪声数据，从而将噪声数据过滤掉，然而，爬取的网络数据是复杂的且不规范的，通过分类算法进行过滤，其时间成本高，且难以有对源数据进行有效的清洗，无法保证数据过滤的准确率和召回率。

发明内容

本发明旨在至少解决上述问题之一，提供一种垂直领域源数据的过滤方法，高效过滤数据且保证过滤的准确性和召回率。

为实现上述目的，本发明有如下技术方案：

一种垂直领域源数据的过滤方法，包括：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，

利用所述过滤模型继续对所述源数据进行过滤。

可选地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：

根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，

根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

可选地，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：

根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，

进入判断源数据中是否存在关键词白名单中的词条的步骤中。

可选地，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。

可选地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，则，利用所述过滤模型继续对所述源数据进行过滤，包括：

多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。

可选地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

可选地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

一种垂直领域源数据的过滤装置，包括：

过滤流程配置单元，用于配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

规则匹配单元，用于根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；

模型过滤单元，用于规则匹配单元中不符合所述匹配规则时，利用所述过滤模型继续对所述源数据进行过滤。

可选地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；所述规则匹配单元包括：

关键字白名单匹配单元，用于根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；

黑名单匹配单元，用于在判断源数据中不存在关键词白名单中的词条时，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

可选地，所述匹配规则还包括URL白名单匹配规则；所述规则匹配单元还包括：

URL白名单匹配单元，用于判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止，否则，触发所述关键字白名单匹配单元。

可选地，所述过滤模型包括依次执行的多个子过滤模型；所述模型过滤单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。

可选地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得；所述模型过滤单元包括：多条过滤支路单元，每条过滤支路单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。

可选地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

可选地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任一项所述的垂直领域源数据的过滤方法。

一种处理器，所述处理器用于运行程序，其中所述程序运行时执行上述任一项所述的垂直领域源数据的过滤方法。

本发明实施例提供了一种垂直领域源数据的过滤方法及装置，先配置过滤流程，过滤流程中包含有匹配规则和过滤模型，在具体过滤时，先进行规则匹配，对于符合规则的源数据，则停止过滤，否则，继续进行模型过滤。通过配置过滤流程，控制整个数据过滤的过程，对于噪声低的源数据则可以通过规则匹配完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例一的垂直领域源数据的过滤方法的流程示意图；

图2示出了根据本发明实施例二的垂直领域源数据的过滤方法的流程示意图；

图3示出了根据本发明实施例二的垂直领域源数据的过滤方法中过滤流程的结构示意图；

图4示出了根据本发明实施例的垂直领域源数据的过滤装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

正如背景技术中的描述，在大数据处理过程中，需要爬取海量的网络数据，由于网络数据的复杂性和不规范性，爬取的数据并不能直接用到大数据处理中，需要对这些数据进行过滤，去除噪声数据并保留非噪声数据，使得数据处于可用状态。

本发明实施例提供了一种适用于垂直领域的源数据的过滤方法，包括：配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，利用所述过滤模型继续对所述源数据进行过滤。

垂直领域是至特定的行业领域，例如汽车、服装、金融等特定领域，这些领域具有很强的领域性和适配性，因此，可以根据信源和行业领域的特点灵活配置进行数据过滤的流程，通过配置过滤流程，控制整个数据过滤的过程，在过滤流程中配置有规则匹配和过滤模型，对于噪声低的源数据则通过规则匹配，就可以完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。

在本发明实施例中，源数据来自于大量的网络数据，可以为通过爬虫爬取的网络数据，通常地爬取到的一篇文章为一个源数据，网络数据的信源可以来在于各大网站、微博、微信等等。

过滤流程中包括了依次匹配规则和过滤模型，也就是包含了过滤所需的规则和模型以及执行这些规则和模型的顺序。其中，匹配规则可以包括一个或多个匹配过滤方法的规则，相应地，一种规则对应一个规则匹配的方法；过滤模型可以包括一个或多个模型过滤方法的模型，过滤模型可以为分类或聚类算法模型，相应地，一种规则对应一个规则匹配的方法。具体的，匹配规则可以包括白名单匹配规则、黑名单匹配规则、URL(Uniform ResoureLocator，统一资源定位器)白名单匹配规则等规则中的一种或多种。

白名单关键词匹配规则对应于白名单关键词的规则匹配的方法，该方法是根据白名单中的关键词进行匹配的方法，在白名单中预设有多个词条，这些词条认为是与非噪声数据相关，当源数据中存在白名单中的词条时，则认为符合规则匹配中的规则，源数据为有效数据。

黑名单匹配规则对应于黑名单的规则匹配的方法，该方法是根据黑名单中的词条进行匹配的方法，在黑名单中预设有多个词条，这些词条认为是与噪声数据相关，当源数据中存在黑名单中的词条时，则认为符合规则匹配中的规则，源数据为无效数据。

黑名单和白名单是相对而言，以垂直领域为汽车领域为例进行说明，在汽车领域中有多种车型，通常将车型的名称作为爬虫爬取网络数据时的关键词，这些关键词有的是仅在汽车行业出现的，有的会出现在不同的领域，从而，成为噪声数据。例如上汽大众POLO车型，“POLO”不仅是车型，还可以是其他的产品，例如“POLO衫”、“POLO小狗”、“POLO腕表”、“POLO牛仔裤”等，那么，可以将这些“POLO衫”、“POLO小狗”、“POLO腕表”、“POLO牛仔裤”等词条设置在黑名单中，作为黑名单中的关键词，在黑名单匹配时，若源数据中出现这些关键词，则认为源数据为无效数据，即噪声数据。

而另外一些数据仅会出现在该特定的领域，仍以汽车领域为例，例如福特公司的福克斯车型，“福克斯三厢”、“福克斯两厢”、“福特福克斯车”等词条仅会在汽车领域出现，那么可以将这些“福克斯车三厢”、“福克斯车两厢”、“福特福克斯车”词条设置在白名单中，作为白名单的关键词，在白名单匹配时，若源数据中出现这些关键词，则认为源数据为有效数据，即非噪声数据。此外，白名单中的关键词也可以是非歧义的词条，例如“奔驰CLA”、“别克君越”、“大众Polo”这些词条不会和其他词语混淆，可以作为非歧义词名单存储。

URL白名单匹配规则对应于URL白名单的规则匹配的方法，该方法是根据URL白名单中的URL进行URL匹配的方法，在URL白名单中预设有域名，这些域名几乎都是该领域下的相关内容，来自于这些域名的源数据可以认为是非噪声数据。仍以汽车领域为例，例如汽车之家或汽车之友等论坛中的具体车型子论坛、或者与汽车相关的公众号，这些地方有关具体车型的数据都可以认为是没有噪声的，因此，可以将这些URL设置在URL白名单中，用作URL白名单的匹配，来获得非噪声数据。

在根据过滤流程进行过滤时，首先进行规则匹配的过滤，当存在多个匹配规则时，按照匹配规则依次进行过滤，当符合其中一个匹配规则时，则过滤程序停止；否则继续执行其他匹配规则，若所有的匹配规则都没有匹配成功，则利用过滤模型继续进行过滤。

过滤模型可以包括一个或多个的模型，当利用其中一个模型进行过滤之后，模型输出有效或无效数据的结果，则过滤程序停止，否则继续执行其他的过滤模型，直到过滤流程结束。

为了更好地理解本发明的技术方案和技术效果，以下将结合具体的实施例进行详细的说明。

实施例一

参考图1所示，该实施例提供一种垂直领域源数据的过滤方法，包括以下步骤。

在步骤S101，配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型。

在配置过滤流程时，可以根据信源数据的组成来确定，若信源中包括了专业的论坛，则可以在匹配规则中配置URL白名单匹配规则，并首先执行该规则，可以快速地确定出来自该信源的源数据为有效数据，进一步地，还可以在匹配规则中配置白名单匹配规则和黑名单匹配规则，可以进行大众类的信源数据的匹配。

以汽车领域的车型数据为示例进行说明，爬虫爬取的网络数据为包含车型关键词的文章，车型例如为“POLO”、“福克斯”等经济型家用车，信源包括汽车论坛、微博、微信、新闻以及其他网站等，那么爬取的数据会比较复杂。那么，在设置过滤流程时，优选地，匹配规则中可以包括依次执行的URL白名单匹配规则、白名单匹配规则和黑名单匹配规则。过滤模型可以在分析匹配规则过滤结果之后，再进行设置。

过滤模型可以包括一个或依次执行的多个子过滤模型。子过滤模型可以为通过机器学习方法，训练得到的分类或聚类模型，机器学习方法例如可以采用朴素贝叶斯分类算法。

在步骤S102，根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止。

在该步骤中，对获取该源数据的URL进行匹配，来判断源数据是否为有效数据，即非噪声数据。具体匹配时，在预置的URL白名单中搜索该源数据的URL，若能搜索到，则认为匹配，否则，为不匹配。

在上述示例中，若某一源数据来自于汽车之家，而汽车之家的URL恰好在URL白名单中，则符合匹配规则，直接将该源数据标记为有效数据，同时，过滤流程终止。若另一源数据来源于其他网站，则进入步骤S103，继续进行过滤。

在步骤S103，根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止。

在该步骤中，对源数据进行关键词白名单的匹配，判断源数据中是否出现关键词白名单中的词条。具体匹配时，遍历源数据包含车型关键词出现的位置，判断该位置处的词语或短句是否包含有关键词白名单中的词条，若包含，则认为源数据为有效数据，且过滤流程停止。

在一个示例中，一源数据通过车型“POLO”的关键词爬取获得，而在该源数据中实际为“大众POLO”的相关文章，白名单中存在此“大众POLO”词条，因此，在进行匹配时，可以符合匹配规则，则认为源数据为有效数据，且过滤流程停止。

在一个示例中，一源数据通过车型“POLO”的关键词爬取获得，而在该源数据中实际为“POLO衫”的相关文章，白名单中并不存在此“POLO衫”词条，因此，在进行匹配时，无法符合匹配规则，则进入步骤S104，继续进行过滤。

在步骤S104，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

在该步骤中，对源数据进行黑名单的匹配，判断源数据中是否出现黑名单中的词条。具体匹配时，遍历源数据包含车型关键词出现的位置，判断该位置处的词语或短句是否包含有黑名单中的词条，若包含，则认为源数据为有效数据，且过滤流程停止。

在上述源数据中实际为“POLO衫”的相关文章的示例中，若黑名单中存在此“POLO衫”词条，因此，在进行匹配时，可以符合匹配规则，则认为源数据为有效数据，且过滤流程停止。相反地，若黑名单中并不存在此“POLO衫”词条，在进行匹配时，无法符合匹配规则，则进入步骤S105，继续进行过滤。

在步骤S105，利用所述过滤模型继续对所述源数据进行过滤。

利用过滤模型继续对所述源数据进行过滤，过滤模型可以包括一个或依次执行的多个子过滤模型。在为多个依次执行的子过滤模型时，依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。也就是说，当利用其中一个子过滤模型进行过滤之后，模型输出有效或无效数据的结果，则过滤程序停止，否则继续执行其他的过滤模型，直到过滤流程结束。

在本实施例中，在匹配规则中设置了多种规则，可以通过可靠信源、白名单和黑名单等规则进行匹配，使得源数据可以在规则匹配阶段就得到了匹配，而无需进行模型的过滤，可以更好地提高过滤效率，无法匹配的源数据可以进一步进行模型过滤，保证过滤的准确性和召回率。

实施例二

在本实施例中，过滤模型中包含有多个子分类过滤模型，以下将重点描述与实施例一中不同的部分，相同部分将不再赘述。

参考图2所示，在步骤S201，配置过滤流程，配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型。

同实施例一中的描述，可以根据信源数据的组成来确定过滤流程，匹配规则可以包括一种或多种。

在设置过滤模型时，参考图3所示，匹配规则中可以包括依次执行的URL白名单匹配规则、白名单匹配规则和黑名单匹配规则

在设置过滤模型时，参考图3所示，将过滤模型设置为多条过滤支路20、21，每条过滤支路20、21中包括依次执行的多个子分类过滤模型(A1、A2、A3….A)(B1、B2、B3….B)，每个子分类过滤模型通过不同的样本进行训练而获得。具体的示例中，可以按照信源进行分类，每一条过滤支路20中子分类过滤模型(A1、A2、A3….A)是通过某一信源1的数据样本进行训练获得的，更进一步地，这些子分类过滤模型可以为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。预设领域为垂直领域中的某个领域，依次执行各特定分类模型，最后执行通用分类模型。

仍然以汽车领域为例，爬虫爬取的网络数据为包含车型关键词的文章，车型例如为“POLO”、“福克斯”等多种车型的经济型家用车，信源包括汽车论坛、微博、微信、新闻以及其他网站等，那么爬取的数据会比较复杂。

那么，在设置匹配规则时，同实施例一种的描述，匹配规则中可以包括依次执行的URL白名单匹配规则、白名单匹配规则和黑名单匹配规则。

在设置过滤模型时，按照信源进行分类，分别设置微信信源的子过滤分类模型和微博信源的子过滤分类模型。微信信源的子过滤分类模型是利用来自于微信的样本数据进行样本训练而获得的，各子样本的样本范围各不相同，可以按照车型这些特定关键字分别进行分类训练，例如采用朴素贝叶斯算法进行训练，从而，获得微信信源的过滤支路的各子分类过滤模型，各子分类过滤模型为各车型的分类模型，例如可以为POLO车型的分类模型、福克斯车型的分类模型等；同样地，还可以根据微博样本数据进行样本训练获得微博信源的子过滤分类模型，子过滤分类模型例如可以为POLO车型的分类模型、福克斯车型的分类模型等，特定分类模型可以根据具体需要来设置，数量上没有特别限定。进一步地，还可以根据各种车型来自于论坛、微博、微信、新闻以及其他网站等的样本数据，进行分类训练，获得通用分类模型，通用分类模型为过滤流程中的最后一个子过滤分类模型。

在步骤S202，根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止。

在步骤S203，根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止。

在步骤S204，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

同实施例一中的步骤S102-S104的描述，此处不再赘述。

在步骤S205，多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。

参考图2所示，在规则匹配之后，进行模型过滤，多条过滤支路同时进行源数据的过滤，对于每一条过滤支路，各子分类过滤模型依次执行过滤，由于各子分类过滤模型采用不同的样本进行训练而获得，各模型的精确度以及适用性也各不相同，能够更好地对来自于网络的复杂的数据做到更准确和有效的过滤，而且一旦过滤出结果，则停止过滤程序，保证整个过滤的效率，提高提高过滤效率，进一步保证过滤的准确性和召回率。

在更优的实施例中，各子分类过滤模型依次执行的多个特定分类模型和一个通用分类模型。在进行过滤时，先采用特定分类模型进行过滤，若特定分类模型输出分类结果，即是无效数据或有效数据，那么，过滤流程停止。否则，采用通用分类模型继续进行过滤。特定分类模型具有更强的针对性，先执行特定分类模型，可以更快速准确地过滤出有效数据，而通用分类模型更具有全面性，最后执行可以有效保证过滤的全面性。

在本实施例中，所述过滤模型采用多条过滤支路同时进行过滤，每条过滤支路中的子分类过滤模型通过不同的样本进行训练而获得，这样，各模型的精确度以及适用性也各不相同，有效提高过滤的准确性，将源数据高效彻底地清洗到可用状态。

以上对本发明实施例的过滤方法进行了详细的描述，此外，本发明还提供了相应的垂直领域源数据的过滤装置，参考图4所示，包括：

过滤流程配置单元310，用于配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

规则匹配单元320，用于根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；

模型过滤单元330，用于规则匹配单元中不符合所述匹配规则时，利用所述过滤模型继续对所述源数据进行过滤。

进一步地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；所述规则匹配单元320包括：

关键字白名单匹配单元，用于根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；

黑名单匹配单元，用于在判断源数据中不存在关键词白名单中的词条时，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

进一步地，所述匹配规则还包括URL白名单匹配规则；所述规则匹配单元320还包括：

URL白名单匹配单元，用于判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止，否则，触发所述关键字白名单匹配单元。

进一步地，所述过滤模型包括依次执行的多个子过滤模型；所述模型过滤单元330包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。

进一步地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得；所述模型过滤单元330包括：多条过滤支路单元，每条过滤支路单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。

进一步地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

进一步地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

所述垂直领域源数据的过滤装置包括处理器和存储器，上述的过滤流程配置单元310、规则匹配单元320、模型过滤单元330等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高过滤效率，同时保证过滤的准确性和召回率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，所述程序运行时控制所述存储介质所在设备执行上述的垂直领域源数据的过滤方法。

本发明实施例提供了一种处理器，用于运行程序，其中所述程序运行时执行上述的垂直领域源数据的过滤方法。

本发实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，

利用所述过滤模型继续对所述源数据进行过滤。

进一步地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：

根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，

根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

进一步地，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：

根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，

进入判断源数据中是否存在关键词白名单中的词条的步骤中。

进一步地，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。

进一步地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，则，利用所述过滤模型继续对所述源数据进行过滤，包括：

多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。

进一步地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

进一步地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，

利用所述过滤模型继续对所述源数据进行过滤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种垂直领域源数据的过滤方法，其特征在于，包括：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，

利用所述过滤模型继续对所述源数据进行过滤。

2.根据权利要求1所述的过滤方法，其特征在于，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：

根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，

根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

3.根据权利要求2所述的过滤方法，其特征在于，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：

根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，

进入判断源数据中是否存在关键词白名单中的词条的步骤中。

4.根据权利要求1-3中任一项所述的过滤方法，其特征在于，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。

5.根据权利要求1-3中任一项所述的过滤方法，其特征在于，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，则，利用所述过滤模型继续对所述源数据进行过滤，包括：

多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。

6.根据权利要求5所述的过滤方法，其特征在于，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

7.根据权利要求5所述的过滤方法，其特征在于，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

8.一种垂直领域源数据的过滤装置，其特征在于，包括：

过滤流程配置单元，用于配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

规则匹配单元，用于根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；

模型过滤单元，用于规则匹配单元中不符合所述匹配规则时，利用所述过滤模型继续对所述源数据进行过滤。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-7中任一项所述的垂直领域源数据的过滤方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中所述程序运行时执行如权利要求1-7中任一项所述的垂直领域源数据的过滤方法。