CN105426422A - 分布式服务的数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种分布式服务的数据处理方法及装置。其中，分布式服务的数据处理方法包括：在第一服务器执行以下步骤：获取用户的网络访问请求；从所述网络访问请求提取所述用户的第一网络行为数据；从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息；将所述用户的第一网络行为数据分别发送给所述第二服务器。本发明实施例的分布式服务的数据处理方法及装置，实现了自动、快速地发送用户的网络行为数据给存储有用户的网络行为数据的服务器，避免了无效传输，降低了数据维护成本。

Description

分布式服务的数据处理方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种分布式服务的数据处理方法及装置。

背景技术

搜索引擎的重要作用之一就是为广大网民提供信息检索服务。通常，在用户提交搜索请求之后，服务入口会将搜索请求传送到最近的机房服务器。然而，由于运营商等原因也会存在跳网现象，即是部分数据传送到非最近的机房服务器的情况。跳网现象会导致用户行为数据局部片段化，进而影响搜索引擎的服务质量。这就需要在多机房之间同步用户行为数据，使得每个机房都存有用户的全量数据。

现有的数据处理方法主要有原始数据全量同步和计算结果全量同步两种。对于原始数据全量同步方法，其传输的原始数据未经过任何处理，将导致每个机房都需要针对这些数据做重复计算，造成资源大量浪费。在此基础上，计算结果全量同步方法虽然解决了上述重复计算的问题，但由于仍是全量发送，导致无效传输量过大。

发明内容

本发明的目的在于，提供一种分布式服务的数据处理方法及装置，以实现自动、快速地发送用户的网络行为数据给存储有用户的网络行为数据的服务器，避免无效传输，降低数据维护成本。

根据本发明的一方面，提供一种分布式服务的数据处理方法，包括：在第一服务器执行以下步骤：获取用户的网络访问请求；从所述网络访问请求提取所述用户的第一网络行为数据；从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息；将所述用户的第一网络行为数据分别发送给所述第二服务器。

优选地，所述方法还包括：如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，并且将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

优选地，所述方法还包括：从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

优选地，所述方法还包括：存储所述第一网络行为数据。

优选地，所述方法还包括：从所述第二服务器接收所述用户的第二网络行为数据。

优选地，所述方法还包括：从所述第三服务器接收所述用户的第三网络行为数据。

优选地，所述服务器的信息是服务器的IP地址或者预设的服务器序号。

根据本发明的另一方面，还提供一种分布式服务的数据处理装置，包括：访问请求获取模块，用于获取用户的网络访问请求；行为数据提取模块，用于从所述网络访问请求提取所述用户的第一网络行为数据；服务器信息获取模块，用于从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息；行为数据发送模块，用于将所述用户的第一网络行为数据分别发送给所述第二服务器。

优选地，所述装置还包括：索引添加模块，用于如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，通知消息发送模块，用于将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

优选地，所述装置还包括：通知消息接收模块，用于从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，所述索引添加模块还用于在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

优选地，所述装置还包括：行为数据存储模块，用于存储所述第一网络行为数据。

优选地，所述装置还包括：行为数据接收模块，用于从所述第二服务器接收所述用户的第二网络行为数据。

优选地，所述行为数据接收模块还用于从所述第三服务器接收所述用户的第三网络行为数据。

优选地，所述服务器的信息是服务器的IP地址或者预设的服务器序号。

本发明实施例提供的分布式服务的数据处理方法及装置，在从获取到的网络访问请求提取所述用户的第一网络行为数据之后，进一步从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，自动、快速地发送用户的网络行为数据给存储有用户的网络行为数据的第二服务器。可见，本实施例所述方法无需同步全量数据，避免了无效传输，降低了数据维护成本，并且延迟较小。

附图说明

图1是示出反映本发明的总体发明构思的一个示例的示意图；

图2是示出根据本发明实施例一的分布式服务的数据处理方法的流程图；

图3是示出本发明实施例一的应用场景的示例性示意图；

图4是示出根据本发明实施例二的分布式服务的数据处理装置的逻辑框图。

具体实施方式

本发明的基本构思是，提供一种分布式服务的数据同步方式：执行分布式服务的多个服务器各自维护其用户访问数据分布索引，用于记录存有各个用户的网络行为数据的服务器的信息。一方面，任一所述服务器在首次接收到某个用户的网络访问请求时，在其用户访问数据分布索引中记录其存有所述用户的网络行为数据的信息，并且将其存有所述用户的网络行为数据的信息发送给执行该分布式服务的其他服务器，其他服务器相应地将该信息更新至其维护的用户访问数据分布索引。因此，执行分布式服务的多个服务器都存有同步、完整的用户访问数据分布索引。

另一方面，任一所述服务器在接收到某个用户的网络访问请求时，从网络访问请求中提取所述用户的网络行为数据，从其维护的用户访问数据分布索引获取存有该用户的网络行为数据的其他服务器的信息，并且将网络行为数据分别发送给其他服务器。由此，可基于预存的用户访问数据分布索引获取存储有用户的网络行为数据在存有同一用户的服务器之间同步发送用户的网络行为数据，而无需全量同步数据。

图1是示出反映本发明的总体发明构思的一个示例的示意图。

参照图1，假设服务器1接收到用户网络访问请求，检查该机房的ID索引1，如果ID索引1存在所述用户ID，就根据所述用户ID对应的服务器信息获取存储有用户的网络行为数据的其他服务器，假设是服务器2，然后将同步数据1发送给服务器2，同时本地也保存用户的行为数据1。反之，服务器2如果接收到所述用户的网络访问请求时，也会将同步数据2发送给服务器1，同时保存在行为数据2。从而完成同步数据的过程。

如果ID索引1不存在所述用户ID，则表明是新增ID，就需要更新本地的ID索引1，同时，通过同步模块1远程同步ID给其他服务器(如服务器2)，服务器2根据接收到的新增ID通知进行ID索引2的更新。从而完成同步ID的过程。需要说明的是，每个ID只会被同步一次，且同步的信息仅有机房信息，所以避免了无效传输。

由此可见，本发明实施例所述的分布式服务的数据处理方法以较小的代价(无需同步全量数据，数据维护成本较小)有效地解决跳网现象造成的用户行为数据局部片断化的问题，整体延迟非常小，可达毫秒级。

此外，本发明实施例可以于任何搭建多机房的服务器应用，为具有广告推介、或基于用户的行为序列分析行为习惯的下游APP、广告系统或者网站提供更为完备的数据基础，从而分析出准确的结果。

下面结合附图详细描述本发明实施例的分布式服务的数据处理方法及装置。

实施例一

图2是示出根据本发明实施例一的分布式服务的数据处理方法的流程图。可在第一服务器上执行所述方法步骤。

参照图2，在步骤S210，获取用户的网络访问请求。

在步骤S220，从所述网络访问请求提取所述用户的第一网络行为数据。

这里，网络访问请求可以是HTTP请求。例如，某一用户在客户端打开网页“https://www.baidu.com/”，在网页提供的搜索框中键入欲查询的关键词，点击“百度一下”按钮，即是向服务器发送了网络访问请求，因此，可获取到该用户的网络访问请求，其中，在所述网络访问请求中包含了所述用户的第一网络行为数据。这里，网络行为数据可以是用户键入的关键词，浏览过的网页等等。

在步骤S230，从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息。

在步骤S240，将所述用户的第一网络行为数据分别发送给所述第二服务器。

需要说明的是，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息，这里，所述服务器的信息可以是服务器的IP地址或者预设的服务器序号。

举例来说，图3是示出本发明实施例一的应用场景的示例性示意图，参照图3，假设有四个分布式服务的服务器，分别位于北京、南京、杭州和广州。其服务器序号分别是1、2、4和8，对应于二进制就是0b1，0b10，0b100，0b1000。每个服务器都会存有用户访问数据分布索引。在实际应用中，用户访问数据分布索引还可以包括用户ID、ID的类型等信息，其中用户ID用于识别具体的用户。预存的用户访问数据分布索引如下表1所示：

表1

用户ID	ID类型	服务器的信息
			123456	Baidu	3

假设前述第一服务器位于北京，通常，网络访问请求会传送至最近的服务器，例如，北京用户的网络访问请求会发送给位于北京的服务器，由位于北京的服务器为其提供数据服务。由于跳网现象的存在，北京的用户的网络访问请求有时也会发送给位于南京的服务器。可见，北京的服务器为其提供过服务，南京的服务器也为其提供过服务。相应地，预存的用户访问数据分布索引中就会记录有北京以及南京的服务器均有这一北京用户的网络行为数据，因此，就可以从获取与所述用户相应的第二服务器的信息，如表1中示出的“3”。在具体的实现方式中，将“3”分别与1、2、4、8做按位与运算，3&1＝1，表明北京的服务器存有该用户的网络行为数据，同理可知，南京的服务器也存有该用户的网络行为数据，而杭州和广州的服务器未存有该用户的网络行为数据。因此，用户的第一网络行为数据仅发送给南京的服务器即可，而不会发送到杭州和广州的服务器，如图3所示，实线双箭头代表用户的网络行为数据在北京的服务器以及南京的服务器之间传递。

前述说明了发起网络访问请求的用户存在于预存的用户访问数据分布索引中的情况，但还会存在有的用户是第一次登陆的情况，因此，根据本发明的可选实施例，所述方法还包括：如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，并且将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

在具体的实现方式中，仍以前述北京用户为例，同样参照图3，假设用户访问数据分布索引中不存在北京服务器存有该北京用户的网络行为数据的数据，表明该北京用户是第一次登陆，因此，在所述用户访问数据分布索引中添加指示北京服务器存有所述用户的网络行为数据的信息。与此同时，会产生一条数据对(用户ID，服务器序号1)，将该数据对同步到其他三个服务器，以使分布式服务的其他服务器根据所述数据对更新预存的用户访问数据分布索引。如图3所示，虚线箭头代表北京的服务器会将通知新增ID的信息分发给南京、杭州、广州的服务器。

更进一步地，所述方法还可以包括：从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

具体地，在前述将北京的服务器存有所述用户的网络行为数据的第一通知消息发送给其他三个服务器之后，例如，杭州服务器会接收到数据对(用户ID，服务器序号1)，根据数据对在用户访问数据分布索引中添加指示北京的服务器存有所述用户的网络行为数据的信息，如果同样的用户登录杭州的服务器，也产生数据对(用户ID，服务器序号4)并发送该数据对给北京的服务器，由此，北京的服务器的用户访问数据分布索引中已存有所述用户的ID及服务器的信息，其中，服务器的信息是“3”，将“3”与新增的服务器序号“4”做按位或运算，即0b11|0b100＝0b111＝7，将用户访问数据分布索引中存储的服务器的信息“3”更新为计算出的“7”。此外，运用上述同样的方式，可以在每个服务器记录完整的用户访问数据分布索引。

进一步地，所述方法还可以包括：存储所述第一网络行为数据。可对用户的网络行为数据进行分析处理，例如获得用户的兴趣点等信息，从而为用户提供精准的、贴合其需求的服务。

在用户访问数据分布索引中，存有指示第一服务器和第二服务器均存有所述用户的网络行为数据的信息的前提下，优选地，所述方法还可包括：从所述第二服务器接收所述用户的第二网络行为数据。

如果用户访问数据分布索引中，还存有指示第三服务器存有所述用户的网络行为数据的信息，可选地，所述方法还包括：从所述第三服务器接收所述用户的第三网络行为数据。

本发明实施例提供的分布式服务的数据处理方法，获取用户的网络访问请求，从网络访问请求中提取所述用户的网络行为数据，由此，可基于预存的用户访问数据分布索引获取存储有用户的网络行为数据的服务器的信息，自动、快速地发送用户的网络行为数据给相应的服务器。可见，仅在存有用户的网络行为数据的服务器之间同步数据，不但能够有效地解决由于跳网现象造成的用户行为数据局部片断化的问题，而且由于数据传输过程中，数据同步量较小，不需要等待大量的无效传输量，从而降低了数据维护成本，且延迟较小。

此外，在所有服务器存储用户访问数据分布索引，以及对用户访问数据分布索引进行调整更新，有利于查找存有用户的网络行为数据的服务器的信息。

实施例二

图4是示出根据本发明实施例二的分布式服务的数据处理装置的逻辑框图。可用于执行如图2所示实施例的方法步骤。

参照图4，分布式服务的数据处理装置包括访问请求获取模块410、行为数据提取模块420、服务器信息获取模块430和行为数据发送模块440。

访问请求获取模块410用于获取用户的网络访问请求。

行为数据提取模块420用于从所述网络访问请求提取所述用户的第一网络行为数据。

服务器信息获取模块430用于从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息。

这里，所述服务器的信息可以是服务器的IP地址或者预设的服务器序号。

行为数据发送模块440用于将所述用户的第一网络行为数据分别发送给所述第二服务器。

对于第一次登陆的用户，用户访问数据分布索引中没有与其相关的信息，因此，优选地，所述装置还可以包括：

索引添加模块(未示出)用于如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，

通知消息发送模块(未示出)用于将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

进一步地，所述装置还可以包括：

通知消息接收模块(未示出)用于从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，

相应地，所述索引添加模块还用于在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

可选地，所述装置还包括：行为数据存储模块(未示出)用于存储所述第一网络行为数据。

进一步地，所述装置还可以包括：行为数据接收模块(未示出)用于从所述第二服务器接收所述用户的第二网络行为数据。

更进一步地，行为数据接收模块还可用于从所述第三服务器接收所述用户的第三网络行为数据。

本发明实施例提供的分布式服务的数据处理装置，在从获取到的网络访问请求提取所述用户的第一网络行为数据之后，进一步从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，自动、快速地发送用户的网络行为数据给存储有用户的网络行为数据的第二服务器。可见，本实施例所述装置在有效地解决了由于跳网现象造成的用户行为数据局部片断化的问题的同时，无需同步全量数据，避免了无效传输，降低了数据维护成本，并且延迟较小。

需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CDROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种分布式服务的数据处理方法，其特征在于，所述方法包括，在第一服务器执行以下步骤：

获取用户的网络访问请求；

从所述网络访问请求提取所述用户的第一网络行为数据；

从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息；

将所述用户的第一网络行为数据分别发送给所述第二服务器。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，并且将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，

在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

4.根据权利要求1～3中任一项所述的方法，其特征在于，所述方法还包括：

存储所述第一网络行为数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

从所述第二服务器接收所述用户的第二网络行为数据。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

从所述第三服务器接收所述用户的第三网络行为数据。

7.根据权利要求5所述的方法，其特征在于，所述服务器的信息是服务器的IP地址或者预设的服务器序号。

8.一种分布式服务的数据处理装置，其特征在于，所述装置包括：

访问请求获取模块，用于获取用户的网络访问请求；

行为数据提取模块，用于从所述网络访问请求提取所述用户的第一网络行为数据；

服务器信息获取模块，用于从预存的用户访问数据分布索引获取与所述用户相应的第二服务器的信息，所述用户访问数据分布索引包括存储有用户的网络行为数据的服务器的信息；

行为数据发送模块，用于将所述用户的第一网络行为数据分别发送给所述第二服务器。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

索引添加模块，用于如果在所述用户访问数据分布索引中不存在所述第一服务器存有所述用户的网络行为数据的数据，则在所述用户访问数据分布索引中添加指示所述第一服务器存有所述用户的网络行为数据的信息，

通知消息发送模块，用于将所述第一服务器存有所述用户的网络行为数据的第一通知消息发送给所述分布式服务的其他服务器。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

通知消息接收模块，用于从第三服务器接收所述第三服务器存有所述用户的网络行为数据的第二通知消息，

所述索引添加模块还用于在所述用户访问数据分布索引中添加指示所述第三服务器存有所述用户的网络行为数据的信息。

11.根据权利要求8～10中任一项所述的装置，其特征在于，所述装置还包括：

行为数据存储模块，用于存储所述第一网络行为数据。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

行为数据接收模块，用于从所述第二服务器接收所述用户的第二网络行为数据。

13.根据权利要求8所述的装置，其特征在于，所述行为数据接收模块还用于从所述第三服务器接收所述用户的第三网络行为数据。

14.根据权利要求12所述的装置，其特征在于，所述服务器的信息是服务器的IP地址或者预设的服务器序号。