CN103646093A - 搜索引擎数据处理方法和平台 - Google Patents

Abstract

本发明公开了一种搜索引擎数据处理方法和平台。所述搜索引擎数据处理方法包括：通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接；基于设定账户登录各搜索引擎，并采集搜索数据；将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据；将所述目标数据进行统计分析；通过所述设定账户提供统计分析结果。本发明公开的搜索引擎数据处理方法和平台能够针对不同的搜索引擎能够进行统一的数据分析和管理。

Description

搜索引擎数据处理方法和平台

技术领域

本发明实施例涉及计算机数据处理技术，尤其涉及一种搜索引擎数据处理方法和平台。

背景技术

随着人类在互联网上的活动日益增多，互联网技术的蓬勃发展，在市场上出现了多家大型搜索引擎公司为网民提供搜索服务的现象。这使得许多原来只在一家搜索引擎公司投放广告的广告主们有了更多的选择空间，同时也催生了他们需要在多家搜索引擎同时投放广告的现实需求。这些搜索引擎公司都提供了一个广告投放的管理平台或系统供广告主对投放的广告进行管理。搜索引擎公司的广告投放管理平台例如有谷歌公司提供的AdManager平台，百度公司提供的凤巢管理系统，以及奇虎360公司提供的点睛管理后台等。

这些平台或系统为广告主提供了很好的广告投放管理功能，但是他们都存在一个很大的缺陷就是只能管理在自搜索引擎上投放的广告，无法对其他平台的广告进行同步数据，也无法进行数据分析比较。当广告主需要对在不同搜索引擎上投放广告的广告投放效果进行分析时必须登录不同的系统，分别获取数据进行分析，无法对不同平台的投放效果做综合比较和分析，更无法对不同的搜索引擎投放的效果做同步的优化和改进。广告主们在不同搜索引擎上投放的预算和效果是一个分割的，异构的，无联系的状态，无法对投放预算和效果做统一管理和整合优化。

发明内容

本发明提供一种搜索引擎数据处理方法和平台，使得针对不同的搜索引擎能够进行统一的数据分析和管理。

第一方面，本发明实施例提供了搜索引擎数据处理方法，所述方法包括：

通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接；

基于设定账户登录各搜索引擎，并采集搜索数据；

将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据；

将所述目标数据进行统计分析；

通过所述设定账户提供统计分析结果。

第二方面，本发明实施例还提供了搜索引擎数据处理平台，所述平台包括：

连接建立模块，用于通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接；

搜索数据采集模块，用于基于设定账户登录各搜索引擎，并采集搜索数据；

搜索数据转换模块，用于将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据；

目标数据统计分析模块，用于将所述目标数据进行统计分析；

统计分析结果提供模块，用于通过所述设定账户提供统计分析结果。

本发明通过与不同的搜索引擎建立连接，从搜索引擎采集搜索数据，对搜索数据进行格式转换，再对格式转换后的目标数据进行统计分析，提供统计分析结果，实现了对异构搜索引擎平台数据的统一管理。

附图说明

图1是本发明实施例一提供的搜索引擎数据处理方法的流程图；

图2是本发明实施例一提供的搜索引擎数据处理方法的搜索数据采集的流程图；

图3是本发明实施例一提供的搜索引擎数据处理方法的搜索数据转换的流程图；

图4是本发明实施例一提供的搜索引擎数据处理方法的目标数据统计分析的流程图；

图5是本发明实施例二提供的搜索引擎数据处理方法的流程图；

图6是本发明实施例三提供的搜索引擎数据处理装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的搜索引擎数据处理方法的流程图。本实施例提供的搜索引擎数据处理方法可以由搜索引擎数据处理平台来执行，该平台可以包括对搜索引擎数据进行分析的个人电脑、工作站或者服务器。所述搜索引擎数据处理方法具体包括如下步骤：

步骤110、通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接。

所述应用接口是搜索引擎对外提供的用于编程的接口。对所有引擎数据进行分析的搜索引擎数据处理平台通过至少两个搜索引擎各自的应用接口，分别与各搜索引擎建立连接。

具体的，登录搜索引擎的平台可利用OAuth2协议，通过与至少两个搜索引擎之间的应用接口，获取各搜索引擎提供的安全秘钥，所述安全秘钥用于对通过应用接口与对应的搜索引擎交互的数据进行加解密传输。OAuth2协议的实现机制为：在搜索引擎服务器与平台应用建立安全认证契约的情况下，通过用户授权给平台应用后，平台应用对用户在搜索引擎数据进行访问的机制。

步骤120、基于设定账户登录各搜索引擎，并采集搜索数据。

所述设定账户可以是一个或多个，为用户登录各搜索引擎的账户，是保证搜索引擎数据处理平台与搜索引擎服务器之间的通信的安全性，用于通过搜索引擎数据处理平台登录至不同搜索引擎的账户。具体可以预先获取用户的授权码，该授权码可以通过用户的授权，由搜索引擎分配，表明可基于此授权码向第三方的可信服务器提供该用户的数据。在与某个搜索引擎的应用接口建立连接后，获取用户的授权码，输入搜索引擎，搜索引擎可据此完成该用户的账户与平台之间的关联，允许平台获取用户数据。

搜索引擎数据处理平台登录至搜索引擎的服务器后，从搜索引擎服务器采集搜索数据。从搜索引擎服务器采集搜索数据时，搜索引擎数据处理平台采用了Lucene框架。Lucene框架是用java语言编写的全文搜索引擎的框架。搜索引擎数据处理平台利用Lucene框架提供的方法从搜索引擎服务器上采集搜索数据。

搜索引擎数据处理平台从搜索引擎服务器采集搜索数据时，使用了定时定量高性能云间同步技术。定时定量高性能云间同步技术能够实现云计算应用中跨平台的数据同步。而且，定时定量高性能云间同步技术能够以定时或者定量的方式实现与不同搜索引擎平台之间的数据云同步。通过定时定量高性能云间同步技术，搜索引擎数据处理平台能够定时或者定量的从搜索引擎服务器获取搜索数据。

步骤130、将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据。

由于不同的搜索引擎内部使用不同的数据格式标准，所以搜索引擎数据处理平台从不同的搜索引擎平台采集搜索数据后，对从每个搜索引擎采集的搜索数据进行转换，以形成设定格式的目标数据。

从搜索引擎获得的搜索数据有很多种类，包括投放的广告的消费数据，以及投放的广告的转化数据。投放的广告的消费数据是用户浏览搜索引擎服务器投放的广告的浏览、点击行为而产生的数据。而投放的广告的转化数据是用户浏览搜索引擎平台投放的广告的相关数据，例如点击后是否有后续下单、支付操作等，其来源相对于投放的广告的消费数据更加广泛。

在将从每个搜索引擎采集的搜索数据进行转换时，搜索引擎数据处理平台对投放的广告的消费数据以及投放的广告的转化数据进行拼接而形成设定格式的目标数据。

步骤140、将所述目标数据进行统计分析。

将搜索数据转换为目标数据后，对转换后的目标数据进行统计分析。对目标数据的统计分析可以是对消费数据与转化数据之间关联关系的统计分析，也可以是对消费用户的各种属性的统计分析，还可以是对用户的消费时段的统计分析。

步骤150、通过所述设定账户提供统计分析结果。

对目标数据进行统计分析后，通过所述设定账户提供统计分析结果，即在搜索引擎数据处理平台中，用户可以以设定账户进行登录来获得分析结果。对用户来说，可以类似于直接登录搜索引擎。

图2是本发明实施例一提供的搜索引擎数据处理方法的搜索数据采集的流程图。参见图2，优选的，基于设定账户登录各搜索引擎，并采集搜索数据包括：

子步骤121、基于所述设定账户的授权码，通过所述应用接口登录对应的搜索引擎，进行身份验证。

子步骤122、当身份验证通过后，通过所述应用接口从搜索引擎采集所述设定账户对应的搜索数据。

图3是本发明实施例一提供的搜索引擎数据处理方法的搜索数据转换的流程图。参见图3，优选的，将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据包括：

子步骤131、将从每个搜索引擎采集的搜索数据，按照预设属性关系将匹配的属性进行映射，按照设定顺序调整各属性的排列顺序，基于采集的搜索数据计算中间属性的数据。

上述步骤中，每个搜索引擎的搜索数据均基于自身规则进行存储，且各存储项目有自己的属性名称。例如，用户名和账户名，可能实际的属性关系是相同的，但属性名称不同，此时，可以基于预设属性关系将匹配的属性进行映射，例如均统一为账户名来存储。各种搜索数据中可以用表格形式来存储，虽然属性的实质内容一致，但存储顺序往往不一样，例如，可以是，用户名、关键词、点击量、消费数据，也可能存储为用户名、所在计划、所在单元、关键词和点击量。因此，可按照设定顺序调整各属性的排列顺序，使其保持统一，缺少的列或行，可以用空格或默认值来填充。基于采集的搜索数据计算中间属性的数据可以是根据搜索数据中的原始数据进行二次的统计计算，例如，根据每个关键词对应的点击数，计算一组关键词的总点击量等。通过上述操作可实现不同格式搜索数据的转换。

子步骤132、将转换后的搜索数据作为设定格式的目标数据。

图4是本发明实施例一提供的搜索引擎数据处理方法的目标数据统计分析的流程图。参见图4，优选的，将所述目标数据进行统计分析包括：

子步骤141、从所述目标数据中，按照关键词查找关键词对应的消费数据和转化数据；

子步骤142、将查找到的所述消费数据和转化数据进行拼接；

子步骤143、将拼接后的数据进行统计分析。

上述过程中，从有些搜索引擎中采集的消费数据和转化数据可能是独立割裂的，优选是将消费数据和转化数据，基于其中共有的关键词或关键词参数进行拼接，例如，可以设置索引指针进行关联，或存储至同一表格中进行关联等，以便能统一进行分析。

本实施例通过与搜索引擎建立连接，采集搜索数据，对搜索数据进行格式转换，并对目标数据进行统计分析，实现了对不同搜索引擎平台数据的统一管理，方便了跨平台对异构搜索引擎平台数据进行分析。

实施例二

图2是本发明实施例二提供的搜索引擎数据处理方法的流程图。本实施例以上述实施例为基础，进一步的，在将所述目标数据进行统计分析之前，所述搜索引擎数据处理方法还包括：将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储。参见图2，所述搜索引擎数据处理方法包括：

步骤510，通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接。

步骤520，基于设定账户登录各搜索引擎，并采集搜索数据。

步骤530，将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据。

步骤540，将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储。

在本实施例中，对搜索数据进行转换，形成目标数据后，将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储。

具体的，所述纵向坐标属性是目标数据的时间，所述横向坐标属性是目标数据的账户级别。具体的，所述目标数据的时间可以是目标数据的产生月份，也可以是目标数据的产生日期。也就是说，可以按照目标数据的产生月份对目标数据在纵向上进行划分，也可以按照目标数据的产生日期对目标数据在纵向上进行划分。

所述账户级别是预先分配给不同用户账户的优先级级别。例如，将一部分用户账户认定为普通用户账户，而将另外一部分用户账户认定为高级用户账户。这样对于数据的搜索和查询在账户级别可以实现独立性，即各账户之间的数据是互不影响的，是独立的，可以对各个账户进行单独的计算，统计和分析。数据在时间上进行均匀分布可以提高查询的性能和效率，这里的时间具体指的是数据产生的时间。更加适应在对数据进行指定时间范围进行查询分析时的一个快速过滤和读取。

将所述目标数据按照纵向坐标属性和横向坐标属性进行划分是将所述目标数据按照时间属性和账户级别数据进行划分。具体的，可以在数据库中分别建立关于时间属性和账户级别数据的索引，指向所述目标数据。

对目标数据按照时间和账户级别进行划分后，对目标数据进行网格状存储。进行网格状存储的目标数据是按照纵向坐标属性和横向坐标属性组织起来的目标数据。对网格状存储的目标数据进行检索时，由于网格状存储的目标数据已经按照纵向坐标属性和横向坐标属性进行了组织，所以能够提高对其进行检索的检索效率，进而为提高对目标数据进行统计分析的效率提供了基础。

步骤550，将所述目标数据进行统计分析。

步骤560，通过所述设定账户提供统计分析结果。

本实施例通过将搜索数据转换成为目标数据后，将目标数据进行划分及网格状存储，方便了对目标数据的统计分析，提高了对目标数据进行统计分析的效率。

实施例三

图3是本发明实施例二提供的搜索引擎数据处理装置的结构图。参见图3，所述搜索引擎数据处理装置包括：连接建立模块610、搜索数据采集模块620、搜索数据转换模块630、目标数据统计分析模块650以及统计分析结果提供模块660。

所述连接建立模块610用于通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接。

优选的，所述连接建立模块610用于通过与至少两个搜索引擎之间的应用接口，获取各搜索引擎提供的安全秘钥，所述安全秘钥用于对通过应用接口与对应的搜索引擎交互的数据进行加解密传输。

所述搜索数据采集模块620用于基于设定账户登录各搜索引擎，并采集搜索数据。

所述搜索数据转换模块630用于将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据。

所述目标数据统计分析模块650用于将所述目标数据进行统计分析。

所述统计分析结果提供模块660用于通过所述设定账户提供统计分析结果。

优选的，所述搜索数据采集模块620包括：身份验证子模块621以及搜索数据采集子模块622。

所述身份验证子模块621用于基于所述设定账户的授权码，通过所述应用接口登录对应的搜索引擎，进行身份验证。

所述搜索数据采集子模块622用于当身份验证通过后，通过所述应用接口从搜索引擎采集所述设定账户对应的搜索数据。

优选的，所述搜索数据转换模块630包括：数据转换子模块631以及目标数据生成子模块632。

所述数据转换子模块631用于将从每个搜索引擎采集的搜索数据，按照预设属性关系将匹配的属性进行映射，按照设定顺序调整各属性的排列顺序，基于采集的搜索数据计算中间属性的数据。

所述目标数据生成子模块632用于将转换后的搜索数据作为设定格式的目标数据。

优选的，目标数据统计分析模块650包括：数据查找子模块651、数据拼接子模块652以及拼接数据统计分析子模块653。

所述数据查找子模块651用于从所述目标数据中，按照关键词查找关键词对应的消费数据和转化数据。

所述数据拼接子模块652用于将查找到的所述消费数据和转化数据进行拼接。

所述拼接数据统计分析子模块653用于将拼接后的数据进行统计分析。

优选的，所述搜索引擎数据处理装置还包括：网格化存储模块640。所述网格化存储模块640用于将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储，其中，所述纵向坐标属性为时间，横向坐标属性为账户级别。

本实施例通过与搜索引擎建立连接，采集搜索数据，对搜索数据进行格式转换，并对目标数据进行统计分析，实现了对不同搜索引擎平台数据的统一管理，方便了跨平台对搜索引擎平台数据进行分析。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种搜索引擎数据处理方法，其特征在于，包括：

通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接；

基于设定账户登录各搜索引擎，并采集搜索数据；

将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据；

将所述目标数据进行统计分析；

通过所述设定账户提供统计分析结果。

2.根据权利要求1所述的方法，其特征在于，通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接包括：

通过与至少两个搜索引擎之间的应用接口，获取各搜索引擎提供的安全秘钥，所述安全秘钥用于对通过应用接口与对应的搜索引擎交互的数据进行加解密传输。

3.根据权利要求1所述的方法，其特征在于，基于设定账户登录各搜索引擎，并采集搜索数据包括：

基于所述设定账户的授权码，通过所述应用接口登录对应的搜索引擎，进行身份验证；

当身份验证通过后，通过所述应用接口从搜索引擎采集所述设定账户对应的搜索数据。

4.根据权利要求1所述的方法，其特征在于，将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据包括：

将从每个搜索引擎采集的搜索数据，按照预设属性关系将匹配的属性进行映射，按照设定顺序调整各属性的排列顺序，基于采集的搜索数据计算中间属性的数据；

将转换后的搜索数据作为设定格式的目标数据。

5.根据权利要求1所述的方法，其特征在于，将所述目标数据进行统计分析包括：

从所述目标数据中，按照关键词查找关键词对应的消费数据和转化数据；

将查找到的所述消费数据和转化数据进行拼接；

将拼接后的数据进行统计分析。

6.根据权利要求1所述的方法，其特征在于，将所述目标数据进行统计分析之前，还包括：

将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储；

其中，所述纵向坐标属性为时间，横向坐标属性为账户级别。

7.一种搜索引擎数据处理平台，其特征在于，包括：

连接建立模块，用于通过与至少两个搜索引擎之间的应用接口，分别与各搜索引擎建立连接；

搜索数据采集模块，用于基于设定账户登录各搜索引擎，并采集搜索数据；

搜索数据转换模块，用于将从每个搜索引擎采集的搜索数据进行转换，形成设定格式的目标数据；

目标数据统计分析模块，用于将所述目标数据进行统计分析；

统计分析结果提供模块，用于通过所述设定账户提供统计分析结果。

8.根据权利要求7所述的平台，其特征在于，所述连接建立模块具体用于通过与至少两个搜索引擎之间的应用接口，获取各搜索引擎提供的安全秘钥，所述安全秘钥用于对通过应用接口与对应的搜索引擎交互的数据进行加解密传输。

9.根据权利要求7所述的平台，其特征在于，所述搜索数据采集模块包括：

身份验证子模块，用于基于所述设定账户的授权码，通过所述应用接口登录对应的搜索引擎，进行身份验证；

搜索数据采集子模块，用于当身份验证通过后，通过所述应用接口从搜索引擎采集所述设定账户对应的搜索数据；

所述搜索数据转换模块包括：

数据转换子模块，用于将从每个搜索引擎采集的搜索数据，按照预设属性关系将匹配的属性进行映射，按照设定顺序调整各属性的排列顺序，基于采集的搜索数据计算中间属性的数据；

目标数据生成子模块，用于将转换后的搜索数据作为设定格式的目标数据；

目标数据统计分析模块包括：

数据查找子模块，用于从所述目标数据中，按照关键词查找关键词对应的消费数据和转化数据；

数据拼接子模块，用于将查找到的所述消费数据和转化数据进行拼接；

拼接数据统计分析子模块，用于将拼接后的数据进行统计分析。

10.根据权利要求7所述的平台，其特征在于，所述平台还包括：

网格化存储模块，用于将所述目标数据按照纵向坐标属性和横向坐标属性进行划分，且进行网格状存储；

其中，所述纵向坐标属性为时间，横向坐标属性为账户级别。

Images