CN106776645A - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，涉及数据处理技术领域，解决了现有数据聚类效率低的问题。本发明的主要技术方案为：首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。本发明主要用于对数据进行聚类。

Description

数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着网络技术的迅速发展，网络中涌现出大量的数据，为使这些数据能够结构化的进行存储，因此需要对这些数据进行聚类，数据聚类是将数据或属性分类到不同的群组，也就是根据数据的内容或属性信息将数据分组到聚类，使得每个聚类中的数据共享共同的特性。通过数据聚类可以有效地执行搜索，这是因为对聚类进行搜索时，搜索到的是这一聚类的数据结果，而不是单独的数据结果，从而通过数据聚类可以减少搜索操作的数目。

目前，通过网站数据中的文本内容的相似度，将网站数据聚合成不同的类别，然后根据网站数据的栏目内容标签对每一个聚得的类别给出对应的栏目标签。但是，由于网站数据中的包含大量的文本内容，因此计算文本内容的相似度需要消耗很长的系统时间；且网站数据的栏目内容标签为不可控的，因此通过网站数据的栏目内容标签很难准确的预知栏目标签的具体内容，从而现有的数据聚类的效率低。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装置。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据处理方法，该方法包括：

获取待聚类网站数据对应的栏目内容标签；

从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据；

将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

另一方面，本发明实施例还提供一种数据处理装置，该装置包括：

获取单元，用于获取待聚类网站数据对应的栏目内容标签；

提取单元，用于从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据；

聚类单元，用于将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明实施例提供的一种数据处理方法及装置，首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。与目前通过网站数据的文本内容对网站进行聚类相比，本发明实施例首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种数据处理方法流程图；

图2为本发明实施例提供的另一种数据处理方法流程图；

图3为本发明实施例提供的一种数据处理装置的组成框图；

图4为本发明实施例提供的另一种数据处理装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明实施例提供了一种数据处理方法，如图1所示，所述方法包括：

S101、获取待聚类网站数据对应的栏目内容标签。

其中，所述栏目内容标签用于表示所述待聚类网站数据的栏目内容，在本发明实施例中，可以通过网络爬虫爬取所述待聚类网站数据的栏目路径，然后从爬取的栏目路径中获取所述栏目内容标签。需要说明的是，所述栏目内容标签是由网站后台管理人员设定的，用于表示待聚类网站数据的概括信息及数据架构信息，因此通过栏目内容标签可以获知待聚类网站数据的主体内容。

S102、从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签。

其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据。对于本发明实施例，所述预置栏目体系可以根据实际数据聚类的需求进行设置，也可以根据网站数据的内容进行设置，还可以根据网站数据的来源进行设置，本发明实施例不做具体限定。所述栏目标签用于表示预置栏目体系中的各个栏目对应的名称，即对数据聚合成不同的类别后，对栏目体系中每一的类别给出精确的类别主题词。例如，根据网站数据的内容设置所述预置栏目体系，所述栏目体系中具体可以包含：财经新闻、民生新闻、军事新闻、政治新闻等栏目标签。

对于本发明实施例，所述预置阈值的大小可以根据实际情况进行设置，也可以由系统默认配置，例如，所述预置阈值具体可以为30％、50％、60％等，本发明实施例不做具体限定。需要说明的是，预置阈值设置的越大，从预置栏目体系的栏目标签中，提取到的与所述栏目内容标签相似度值大于等于预置阈值的栏目标签越少；预置阈值设置的越小，从预置栏目体系的栏目标签中，提取到的与所述栏目内容标签相似度值大于等于预置阈值的栏目标签越多。在本发明实施例中，通过从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，可以确定所述待聚类网站数据在预置栏目体系中对应的栏目标签，从而可在后续步骤中将待聚类网站数据聚类到提取的栏目标签中，进而实现了待聚类网站数据的数据聚类。

S103、将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

在本发明实施例中，若能够从预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，则将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中，从而可实现待聚类网站数据的数据聚类。在本发明实施例中，首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了网站数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。另外，由于本发明实施例是根据栏目内容标签和栏目标签的相似度值确定待聚类网站数据在预置栏目体系中的栏目，预置栏目体系当中的栏目标签是由后台人员设置的，因此栏目标签可以准确的表示出各个栏目类别分别对应的关键词名称，从而提高了获取待聚类网站数据对应的栏目标签的准确率。

需要说明的是，在预置栏目体系的栏目标签中，能够提取到与所述栏目内容标签相似度值大于等于预置阈值的一个或多个栏目标签，当从预置栏目体系中获取到多个栏目标签时，说明待聚类网站数据和预置栏目体系中的多个栏目标签相关联，因此需要将待聚类网站数据分别聚类到这些获取的栏目标签中。例如，获取到待聚类网站数据的栏目内容标签为“经济民生新闻”，而预置栏目体系中的栏目标签有“经济新闻”和“民生新闻”，经过计算“经济民生新闻”和“经济新闻”的相似度值满足预置阈值，“经济民生新闻”和“民生新闻”的相似度值同样也满足预置阈值，因此需要将待聚类网站数据分别聚类到“经济新闻”和“民生新闻”中。

本发明实施例提供的一种数据聚类方法，首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。与目前通过网站数据的文本内容对网站进行聚类相比，本发明实施例首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。

本发明实施例提供了另一种数据处理方法，如图2所示，所述方法包括：

S201、获取待聚类网站数据对应的栏目内容标签。

其中，所述栏目内容标签用于表示所述待聚类网站数据的栏目内容，在本发明实施例中，可以通过网络爬虫爬取所述待聚类网站数据的栏目路径，然后从爬取的栏目路径中获取所述栏目内容标签。需要说明的是，所述栏目内容标签是由网站后台管理人员设定的，用于表示待聚类网站数据的概括信息及数据架构信息，因此通过栏目内容标签可以获知待聚类网站数据的主体内容。

S202、判断是否能够从预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签。

其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据。对于本发明实施例，所述预置栏目体系可以根据实际数据聚类的需求进行设置，也可以根据网站数据的内容进行设置，还可以根据网站数据的来源进行设置，本发明实施例不做具体限定。所述栏目标签用于表示预置栏目体系中的各个栏目对应的名称，即对数据聚合成不同的类别后，对栏目体系中每一的类别给出精确的类别主题词。

对于本发明实施例，所述预置阈值的大小可以根据实际情况进行设置，也可以由系统默认配置，例如，所述预置阈值具体可以为30％、50％、60％等，本发明实施例不做具体限定。需要说明的是，预置阈值设置的越大，从预置栏目体系的栏目标签中，提取到的与所述栏目内容标签相似度值大于等于预置阈值的栏目标签越少；预置阈值设置的越小，从预置栏目体系的栏目标签中，提取到的与所述栏目内容标签相似度值大于等于预置阈值的栏目标签越多。在本发明实施例中，通过从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，可以确定所述待聚类网站数据在预置栏目体系中对应的栏目标签，从而可在后续步骤中将待聚类网站数据聚类到提取的栏目标签中，进而实现了待聚类网站数据的数据聚类。

在本发明实施例中，在步骤S202之后还，所述方法还包括：若能够从预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，则从所述大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签。对于本发明实施例，从所述大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签，可以唯一确定待聚类网站数据在预置栏目体系中对应的栏目标签，从而提高了待聚类网站数据在预置栏目体系中聚类的准确性。

对于本发明实施例，所述预置栏目体系中包含多个层级的栏目标签，所述提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签包括：判断是否能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签；若是，则判断所述大于等于预置阈值的第一预置层级的栏目标签，是否存在对应的第二预置层级的栏目标签；若存在，则判断是否能够从所述第二预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第二预置阈值的栏目标签。其中，预置栏目体系中的层级具有从属关系，如第二层级的栏目标签从属于第一层级的栏目标签，第三层级的栏目标签从属于第二层级的栏目标签。预置栏目体系中的层级可以根据实际数据聚类的需求进行划分，也可以根据用户聚类数据的需求进行划分，本发明实施例不做具体限定。

例如，预置栏目体系中包括两个层级的栏目标签，第一层级中的栏目标签分别为娱乐新闻和体育新闻，第二层级中的栏目标签包括：明星新闻、电影资讯、赛事时报、体育人物。其中，第二层级中的明星新闻和电影资讯从属于第一层级中的娱乐新闻，第二层级中的赛事时报和体育人物从属于第一层级中的体育新闻。若待聚类网页数据对应的栏目内容标签为足球新闻，则首先计算足球新闻和第一层级中的娱乐新闻和体育新闻分别对应的相似度值，然后获取相似度值大于等于第一预置阈值的栏目标签，在本例中获取到的第一层级栏目标签为体育新闻，然后继续分别计算足球新闻和第二层级中的赛事时报和体育人物的相似度值，最后将与足球新闻相似度最高的赛事时报确定为待聚类数据所要聚类的栏目标签。

S203a、若是，则将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

在本发明实施例中，从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签之后，将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中，从而可实现待聚类网站数据的聚类。在本发明实施例中，首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了网站数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。另外，由于本发明实施例是根据栏目内容标签和栏目标签的相似度值确定待聚类网站数据在预置栏目体系中的栏目，预置栏目体系当中的栏目标签是由后台人员设置的，因此栏目标签可以准确的表示出各个栏目类别分别对应的关键词名称，从而提高了获取待聚类网站数据对应的栏目标签的准确率。

对于本发明实施例，若在步骤S202中能够从预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，则从所述大于等于预置阈值的栏目标签中，获取到与所述待聚类网站数据相似度值最高的栏目标签。则步骤S203a包括：将所述待聚类网站数据聚类到所述获取的栏目标签中。对于本发明实施例，从所述大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签，可以唯一确定所述待聚类网站数据在预置栏目体系中对应的栏目标签，从而提高了待聚类网站数据在预置栏目体系中聚类的准确性。

对于本发明实施例，若所述预置栏目体系中包含多个层级的栏目标签，则步骤S203a包括：若从所述第二预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第二预置阈值的栏目标签，则将所述待聚类网站数据聚类到所述相似度值大于等于第二预置阈值的栏目标签中。

S203b、若否，则向客户端发送数据聚类失败指令。

其中，步骤S203b为步骤S203a的并列步骤，所述指令中携带有所述栏目内容标签，进一步地，以使得客户端根据所述栏目内容标签更新预置栏目体系中的栏目标签。在本发明实施例中，若不能够从预置栏目体系的栏目标签中，获取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签，则向客户端发送数据聚类失败指令，所述指令中携带有所述栏目内容标签，以使得客户端根据所述栏目内容标签更新预置栏目体系中的栏目标签。

本发明实施例提供的另一种数据处理方法，首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。与目前通过网站数据的文本内容对网站进行聚类相比，本发明实施例首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。

进一步地，本发明实施例提供一种数据处理装置，如图3所示，所述装置包括：获取单元31、判断单元32、聚类单元33。

获取单元31，用于获取待聚类网站数据对应的栏目内容标签。

提取单元32，用于从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据。

聚类单元33，用于将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

需要说明的是，本发明实施例提供的一种数据处理装置所涉及各功能单元的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明实施例提供的一种数据处理装置，首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。与目前通过网站数据的文本内容对网站进行聚类相比，本发明实施例首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。

进一步地，本发明实施例提供另一种数据处理装置，如图4所示，所述装置包括：获取单元41、提取单元42、聚类单元43。

获取单元41，用于获取待聚类网站数据对应的栏目内容标签。

提取单元42，用于从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据。

聚类单元43，用于将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

所述获取单元41，还用于从所述栏目内容标签相似度值大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签。

所述聚类单元43，具体用于将所述待聚类网站数据聚类到所述获取单元41获取的栏目标签中。

对于本发明实施例，所述预置栏目体系中包含多个层级的栏目标签，所述提取单元42包括：

第一判断模块421，用于判断是否能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签。

第二判断模块422，用于若能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签，则判断所述大于等于预置阈值的第一预置层级的栏目标签，是否存在对应的第二预置层级的栏目标签。

第三判断模块423，用于若存在对应的第二预置层级的栏目标签，则判断是否能够从所述第二预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第二预置阈值的栏目标签。

所述聚类单元43，具体用于将所述待聚类网站数据聚类到所述相似度值大于等于第二预置阈值的栏目标签中。

进一步地，所述装置还包括：

发送单元44，用于当不能从所述预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签时，则向客户端发送数据聚类失败指令，所述指令中携带有所述栏目内容标签，以使得客户端根据所述栏目内容标签更新预置栏目体系中的栏目标签。

需要说明的是，本发明实施例提供的另一种数据处理装置所涉及各功能单元的其他相应描述，可以参考图2所示方法的对应描述，在此不再赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明实施例提供的另一种数据处理装置，首先获取待聚类网站数据对应的栏目内容标签，然后从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据，最后将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。与目前通过网站数据的文本内容对网站进行聚类相比，本发明实施例首先获取网站数据对应的栏目内容标签，然后分别计算栏目内容标签和预置栏目体系中各个栏目标签的相似度值，最后将网站数据聚类到相似度值大于等于预置阈值的栏目标签中，从而实现了数据的聚类，由于本发明实施例是通过计算栏目内容标签和预置栏目体系中的栏目标签的相似度值实现聚类的，且栏目内容标签的数据量远远少于网站数据，因此通过本发明可以提高数据聚类的效率。

所述数据处理装置包括处理器和存储器，上述获取单元、提取单元、聚类单元和发送单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高数据聚类的效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取待聚类网站数据对应的栏目内容标签；从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据；将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取待聚类网站数据对应的栏目内容标签；

从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据；

将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

2.根据权利要求1所述的数据处理方法，其特征在于，所述从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签之后，所述方法包括：

从所述栏目内容标签相似度值大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签。

3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中包括：

将所述待聚类网站数据聚类到所述获取的栏目标签中。

4.根据权利要求3所述的数据处理方法，其特征在于，所述预置栏目体系中包含多个层级的栏目标签，所述提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签包括：

判断是否能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签；

若是，则判断所述大于等于预置阈值的第一预置层级的栏目标签，是否存在对应的第二预置层级的栏目标签；

若存在，则判断是否能够从所述第二预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第二预置阈值的栏目标签。

5.根据权利要求4所述的数据处理方法，其特征在于，所述将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中包括：

将所述待聚类网站数据聚类到所述相似度值大于等于第二预置阈值的栏目标签中。

6.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

当不能从所述预置栏目体系的栏目标签中，提取到与所述栏目内容标签相似度值大于等于预置阈值的栏目标签时，则向客户端发送数据聚类失败指令，所述指令中携带有所述栏目内容标签，以使得客户端根据所述栏目内容标签更新预置栏目体系中的栏目标签。

7.一种数据处理装置，其特征在于，包括：

获取单元，用于获取待聚类网站数据对应的栏目内容标签；

提取单元，用于从预置栏目体系的栏目标签中，提取与所述栏目内容标签相似度值大于等于预置阈值的栏目标签；其中，所述预置栏目体系中保存有多个所述栏目标签，和所述栏目标签分别对应的网站数据；

聚类单元，用于将所述待聚类网站数据聚类到所述大于等于预置阈值的栏目标签中。

8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：

所述获取单元，还用于从所述栏目内容标签相似度值大于等于预置阈值的栏目标签中，获取与所述待聚类网站数据相似度值最高的栏目标签。

9.根据权利要求8所述的数据处理装置，其特征在于，

所述聚类单元，具体用于将所述待聚类网站数据聚类到所述获取单元获取的栏目标签中。

10.根据权利要求9所述的数据处理装置，其特征在于，所述预置栏目体系中包含多个层级的栏目标签，所述提取单元包括：

第一判断模块，用于判断是否能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签；

第二判断模块，用于若能够从第一预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第一预置阈值的栏目标签，则判断所述大于等于预置阈值的第一预置层级的栏目标签，是否存在对应的第二预置层级的栏目标签；

第三判断模块，用于若存在对应的第二预置层级的栏目标签，则判断是否能够从所述第二预置层级的栏目标签中，获取到与所述栏目内容标签相似度值大于等于第二预置阈值的栏目标签。