CN103365868A - 一种数据处理方法和数据处理系统 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法和数据处理系统，该数据处理方法包括：从微博数据中获取作为候选招聘信息的原始数据；对获取到的原始数据进行过滤，以得到作为招聘信息的数据，并对所述过滤后得到的数据建立索引；当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。在本发明中，提高了数据搜索的效率和精确性。

Description

一种数据处理方法和数据处理系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据处理方法和数据处理系统。 

背景技术

随着互联网技术的高速发展，微博业务逐渐兴起并融入到人们的工作生活中。微博业务是一种便利的信息发布方式，通过微博人们可以将信息以网络出版的形式发表和张贴，并可以根据用户群的不同或信息的种类进行分类。微博业务逐渐成为人们工作生活中获取、发布信息的一种主要方式。

微招聘是指企业通过微博来进行招聘，发布招聘信息。求职者通过微博发布求职意向，关注、转发招聘信息。通过微博的传播性，让企业和求职者、求职者和求职者之间可以得到即时便捷的工作沟通和互助，实现职业问题的即时交流、学习、指导，获取职场第一动态，捕捉最新的实时信息。通过现有的微招聘技术，企业/求职者可以及时、高效地发布/搜索招聘信息。

在实现本发明的过程中，发明人发现现有微招聘技术至少存在以下问题：

现有的微招聘技术中存在海量的信息，求职者很难获取到自己想要的招聘信息，同时由于微招聘技术中发布的信息均是各企业自行发布的信息，规范性较差，不便于信息检索。

发明内容

本发明提供一种数据处理的方法和数据处理系统，以提高数据搜索的效率和精确性。

为了达到以上目的，本发明实施例提供了一种数据处理方法，包括：

从微博数据中获取作为候选招聘信息的原始数据；

对获取的到原始数据进行过滤，以得到作为招聘信息的数据，并对所述过滤后得到的数据建立索引；

当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。

本发明实施例还提供一种数据处理系统，包括：

获取模块，用于从微博数据中获取作为候选招聘信息的原始数据；

过滤模块，用于对所述获取模块获取到的原始数据进行过滤，以得到作为招聘信息的数据；

索引建立模块，用于对所述过滤模块过滤后得到的数据建立索引；

处理模块，用于当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行数据搜索，并将搜索到的数据展示给用户。

与现有技术相比，本发明实施例具有以下优点：

通过从微博数据中获取作为候选招聘信息的原始数据，并对获取到的原始数据进行过滤和建立索引，当接收到数据搜索请求时，根据该数据搜索请求以及索引在过滤后得到的数据中进行数据搜索，并将搜索得到的数据展示给用户，一方面，通过对获取到的原始数据进行过滤，提高了数据搜索的效率和精确性；另一方面，通过对过滤后得到的数据建立索引，提高了数据检索的规范性，进一步提高了数据检索的效率。

附图说明

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的技术方案的系统架构示意图；

图3为本发明实施例提供的数据处理方法中数据层的工作流程示意图；

图4为本发明实施例提供的一种近实时搜索方法的流程示意图；

图5为本发明实施例提供的一种索引建立方法的流程示意图；

图6本发明实施例提供的数据处理方法中应用层的工作流程示意图；

图7为本发明实施例提供的一种数据处理方法的流程示意图

图8为本发明实施例提供的一种数据处理系统的结构示意图。

具体实施方式

针对上述现有技术的问题，本发明实施例提供了一种数据处理的技术方案。在该技术方案中，通过从微博数据中获取作为候选招聘信息的原始数据，并对获取到的原始数据进行过滤以得到作为招聘信息的数据，并对该数据建立索引，当接收到数据搜索请求时，根据该数据搜索请求以及索引在过滤后的数据中进行搜索，并将搜索得到的数据展示给用户，一方面，通过对获取到的原始数据进行过滤，提高了数据搜索的效率和精确性；另一方面，通过对过滤后得到的数据进行分类，提高了数据检索的规范性，进一步提高了数据检索的效率。

下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的实施例保护的范围。

其中，为了便于说明，在本发明实施例中均以从微博数据中获取博文，并对获取到的博文进行相应处理，从而进行相应数据搜索为例进行描述。

如图1所示，为本发明实施例提供的一种数据处理方法的流程示意图，可以包括以下步骤：

步骤101、从微博数据中获取作为候选招聘信息的原始数据。

具体的，在本发明实施例中，可以预先设定获取原始数据的关键词，从而根据该关键词获取供用户进行数据搜索的原始数据。该预设的关键词可以是用户标识信息（即种子用户标识信息，对应的微博用户则为种子用户），如知名企业的微博用户名、知名职业中介网站的微博用户名等；还可以是招聘信息中常见的关键词（在本发明实施例中可以称为种子词），如招聘、诚聘、工作职称（如工程师、销售经理）等。

相应地，在该实施例中，确定了种子用户或种子词后，可以根据所确定的种子用户标识信息从各微博数据中获取该种子用户发布的博文，或根据所确定的种子词从各微博数据中获取包含该种子词的博文。

步骤102、对获取到的原始数据进行过滤，以得到作为招聘信息的数据。

具体的，在本发明实施例中，为了提高后续流程中用户搜索招聘信息的效率和精确性，根据预设的种子用户标识信息或种子词从各微博数据获取到原始数据后，还可以利用预设的过滤关键词对获取到的原始数据进行过滤，以过滤掉获取到的博文中属于招聘信息的可能性较小的博文。其中，该过滤关键词可以为简历、工作经验等。

步骤103、对过滤后得到的数据建立索引。

具体的，在本发明实施例中，为了提高数据的规范性，以进一步提高后续流程中用户搜索招聘信息的效率和精确性，还可以对过滤后得到的博文建立索引，以使后续流程中用户进行招聘信息搜索时，针对性更强，进行搜索的数据源的相关性更高。

其中，对过滤后的数据建立索引的过程可以具体包括：以统一的封装格式对过滤后得到的数据进行封装；利用预设的分类关键词对封装后的数据进行分类，并对分类后的数据建立索引。

例如，将过滤后得到的招聘信息封装为统一的格式后，可以对封装后的招聘信息进行分类，如可以将招聘信息分为IT（Information Technology，信息技术）类、经济金融类、建筑土木类、医学医药类以及食品类等，并根据招聘信息的类别分别确定相应的分类关键词，进而利用该分类关键词对过滤后得到的博文进行匹配，以确定各博文的类别。例如，对于IT类招聘信息，对应的分类关键词可以包括：编程、程序设计、C++以及Java等。相应地，可以利用编程、程序设计、C++等分类关键词对过滤后得到的博文进行匹配，匹配成功的博文的类别则确认为IT类，进而根据分类后的数据建立索引。

需要注意的是，对于上述分类后的博文，还可以根据博文中的工作地点、学历要求等信息对上述分类后的博文进行进一步的分类。例如，对于IT类的博文，可以通过获取博文中的工作地点信息将其进一步分类（如分为北京、上海、深圳等），也可以通过获取博文中对学历要求的信息将其进一步分类（如分为中专、大专、本科、硕士、博士等）。

步骤104、当接收到数据搜索请求时，根据该数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。

具体的，在本发明实施例中，用户可以通过在搜索界面输入相应的搜索关键词的方式搜索自己想要的职位的招聘信息。其中，用户还可以在搜索界面选择所要搜索的招聘信息的类别（如IT类、经济金融类等），并在所选择的类别中，进一步通过搜索关键词（如C++工程师、Java工程师等）搜索自己想要的招聘信息。

相应地，当接收到数据搜索请求时，可以获取该数据搜索请求中携带的搜索关键词，并根据该搜索关键词以及索引在过滤后得到的博文中进行搜索，并将搜索得到的博文展示给用户。

其中，为了保证用户搜索到的招聘信息的时效性，根据搜索关键词搜索到博文后，还可以获取搜索到的博文的发布时间，并按照搜索到的博文的发布时间从前到后的顺序对所述搜索到的博文进行排序，并将排序后的博文展示给用户。

需要注意的是，在本发明实施例中，当利用预设的种子用户的标识信息从微博数据中获取到原始数据，并对原始数据进行过滤后，可以统计从微博数据中获取到的该种子用户发布的博文的总数以及过滤后得到的该种子用户发布的博文的总数；根据统计结果确定各种子用户的优先级；其中，过滤后得到的博文的总数越高，对应的种子用户的优先级越高；或，过滤后得到的博文总数占获取到的博文的总数的比例越高，对应的种子用户的优先级越高。当需要获取原始数据时，优先获取优先级较高的种子用户发布的博文。

通过以上描述可以得出，在本发明实施例的技术方案中，通过从微博数据中获取作为候选招聘信息的原始数据，并对获取到的原始数据进行过滤以得到作为招聘信息的数据，并对该数据建立索引，当接收到数据搜索请求时，根据该数据搜索请求以及索引在过滤后得到的数据中进行搜索，并将搜索得到的数据展示给用户，一方面，通过对获取到的原始数据进行过滤，提高了数据搜索的效率和精确性；另一方面，通过对过滤后得到的数据进行分类，提高了数据检索的规范性，进一步提高了数据检索的效率。

下面结合具体的应用场景对本发明实施例提供的技术方案进行更加详细的描述。

如图2所示，为本发明实施例提供的技术方案的系统架构示意图，其主要可以分为三个层次：数据层、应用层和表示层。其中：

数据层：本发明实施例提供的技术方案中，原始数据来源于各微博数据。其中，把各微博中的数据封装成统一的格式（WeiboStatus），利用avro存在磁盘，作为原始数据。数据层对上层提供统一的数据读写服务。

具体的，如图3所示，数据层首先会把种子UID（User Identifier，用户名）注入，然后开始Fetch（抓取）操作，把种子用户发布的博文抓取回来，然后调用过滤器，对数据进行过滤，只会保留可能是招聘信息的博文作为原始数据。在这个过程中，数据层会有一个发现新用户的过程，如果某条招聘信息的博文是由某个用户转发的，那么乐聘会把这条博文的原始用户信息抓取回来，作为下一次抓取的种子UID。

数据层在抓取种子UID的发布的博文时，根据以下策略：数据库中会保存用户发布博文的总数和实际是招聘信息总数的信息，当需要抓取数据时，优先抓取实际是招聘信息总数多或实际是招聘信息总数所占比例大的用户发布的博文。

    同时在数据层中，还提供了近实时抓取功能：白天抓取更新较快、招聘信息较多的用户，晚上抓取更新较慢、招聘信息较少的用户。使用Lucene的近实时搜索技术，使用如下的索引结构、为用户提供较新的结果。近实时搜索的流程示意图如图4所示。

应用层：本发明实施例提供的技术方案中，应用层由4个部分组成：索引模块、搜索模块、过滤器、特征向量库。其中：

1）、索引模块：读取数据层的数据，对数据建立索引，为搜索做准备；

具体的，索引模块会首先从数据层读取原始数据，封装成WeiboStatus，然后用搜索引擎（如Lucene）建立索引。如图5所示，图中几个重要的域解释如下：

TEXT：博文正文

TYPE：所属招聘信息类别

LOCATION：招聘信息中招聘地点

EDUCATION：招聘职位对学历的要求

CREATE_AT：博文的发布时间，这个会在结果排序中用到（提高较新鲜（即已发布时间较短）的博文的得分）。

2）、搜索模块：接受web服务器发送的请求，返回搜索结果给web服务器；

如图6所示，首先，搜索模块，会对用户的请求统一封装为统一的格式如，然后由Query模块返回Lucene能够识别的Query，提交给StatusSearcher模块。在计算相似度时，定义了一个计算相似度的模块（Similarity模块），在以前Lucene计算相似度的基础上，修改了长度较长的博文的得分，同时为了体现微博的及时性，定义了RecencyBoostingQuery模块，它继承于CustomScoreQuery，对那些比较新的博文，得分会有相应的提高，为了方便用户能快速定位自己想要的信息，进一步做了搜索结果的聚类，利用Browser模块把Lucene搜索出来的结果按照学历要求，工作地点进行了聚类，用户只要点击聚类标签，就能快速定位到自己想要的信息。

3）、过滤器：过滤掉招聘无关的信息。通过选取各行业的特征词，对微博消息进行过滤，去掉招聘无关的数据；

4）、特征向量库：对各个不同行业，预定义一些特征词汇，使系统在对博文过滤时更加精确和高效。

表示层：本发明实施例提供的技术方案中，表示层主要为用户提供搜索服务，web服务器接受用户的搜索请求，展现搜索结果。

在该实施例中，首先可以从各大微博获取数据作为原始数据，然后对这些数据做一些初步的过滤，把过滤后的数据存到磁盘中，并对过滤后的数据进行分类；然后，索引器会调用数据层接口，读取数据，对数据进行归类，并建立好索引；最后，通过搜索接口，给用户提供搜索服务。其流程示意图可以如图7所示。

基于相同的技术构思，本发明实施例还提供了一种数据处理系统，可以应用于上述方法流程。

如图8所示，为本发明实施例提供的一种数据处理系统的结构示意图，可以包括：

获取模块41，用于从微博数据中获取作为候选招聘信息的原始数据；

过滤模块42，用于对所述获取模块41获取到的原始数据进行过滤，以得到作为招聘信息的数据；

索引建立模块43，用于对所述过滤模块42过滤后得到的数据建立索引；

处理模块44，用于当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。

其中，所述获取模块42可以具体用于，利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文；或/和，

利用预设的种子词从微博数据中获取包含所述种子词的博文。

其中，当所述从微博数据中获取原始数据具体为利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文时，本发明实施例提供的数据处理系统还包括：

优先级确定模块45，统计从微博数据中获取到的所述种子用户发布的博文的总数以及过滤后得到的该种子用户发布的博文的总数；根据统计结果确定各种子用户的优先级；其中，过滤后得到的博文的总数越高，对应的种子用户的优先级越高；或，过滤后得到的博文总数占获取到的博文的总数的比例越高，对应的种子用户的优先级越高；

相应地，所述获取模块41可以具体用于，当需要获取作为候选招聘信息的原始数据时，优先获取优先级较高的种子用户发布的博文。

其中，所述索引建立模块43可以具体用于，以统一的封装格式对过滤后得到的数据进行封装；利用预设的分类关键词对封装后的数据进行分类，并对分类后的数据建立索引。

其中，所述处理模块44可以具体用于，获取搜索到的博文的发布时间；按照搜索到的博文的发布时间从前到后的顺序对所述搜索到的博文进行排序，并将排序后的博文展示给用户。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

从微博数据中获取作为候选招聘信息的原始数据；

对获取到的原始数据进行过滤，以得到作为招聘信息的数据，并对所述过滤后得到的数据建立索引；

当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。

2.如权利要求1所述的方法，其特征在于，所述从微博数据中获取作为候选招聘信息的原始数据，具体为：

利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文；或/和，

利用预设的种子词从微博数据中获取包含所述种子词的博文。

3.如权利要求2所述的方法，其特征在于，当所述从微博数据中获取作为候选招聘信息的原始数据具体为利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文时，该方法还包括：

统计从微博数据中获取到的所述种子用户发布的博文的总数以及过滤后得到的该种子用户发布的博文的总数；

根据统计结果确定各种子用户的优先级；其中，过滤后得到的博文的总数越高，对应的种子用户的优先级越高；或，过滤后得到的博文总数占获取到的博文的总数的比例越高，对应的种子用户的优先级越高；

当需要获取作为候选招聘信息的原始数据时，优先获取优先级较高的种子用户发布的博文。

4.如权利要求1所述的方法，其特征在于，所述对过滤后得到的数据建立索引，具体为：

以统一的封装格式对过滤后得到的数据进行封装；

利用预设的分类关键词对封装后的数据进行分类，并对分类后的数据建立索引。

5.如权利要求1所述的方法，其特征在于，所述将搜索到的数据展示给用户，具体为：

获取搜索到的博文的发布时间；

按照搜索到的博文的发布时间从前到后的顺序对所述搜索到的博文进行排序，并将排序后的博文展示给用户。

6.一种数据处理系统，其特征在于，包括：

获取模块，用于从微博数据中获取作为候选招聘信息的原始数据；

过滤模块，用于对所述获取模块获取到的原始数据进行过滤，以得到作为招聘信息的数据；

索引建立模块，用于对所述过滤模块过滤后得到的数据建立索引；

处理模块，用于当接收到数据搜索请求时，根据所述数据搜索请求以及索引在所述过滤后得到的数据中进行搜索，并将搜索到的数据展示给用户。

7.如权利要求6所述的数据处理系统，其特征在于，

所述获取模块用于，利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文；或/和，

利用预设的种子词从微博数据中获取包含所述种子词的博文。

8.如权利要求7所述数据处理系统，其特征在于，当所述从微博数据中获取原始数据具体为利用预设的种子用户标识信息从微博数据中获取所述种子用户发布的博文时，该数据处理系统还包括：

优先级确定模块，统计从微博数据中获取到的所述种子用户发布的博文的总数以及过滤后得到的该种子用户发布的博文的总数；根据统计结果确定各种子用户的优先级；其中，过滤后得到的博文的总数越高，对应的种子用户的优先级越高；或，过滤后得到的博文总数占获取到的博文的总数的比例越高，对应的种子用户的优先级越高；

所述获取模块用于，当需要获取作为候选招聘信息的原始数据时，优先获取优先级较高的种子用户发布的博文。

9.如权利要求6所述的数据处理系统，其特征在于，所述索引建立模块用于，以统一的封装格式对过滤后得到的数据进行封装；利用预设的分类关键词对封装后的数据进行分类，并对分类后的数据建立索引。

10.如权利要求6所述的数据处理系统，其特征在于，

所述处理模块用于，获取搜索到的博文的发布时间；按照搜索到的博文的发布时间从前到后的顺序对所述搜索到的博文进行排序，并将排序后的博文展示给用户。

Images