CN104601349B - 网络行为日志时间校正方法和装置 - Google Patents

Abstract

本发明提供了一种网络行为日志时间校正方法和装置。涉及互联网领域；解决了校正日志中的行为访问时间的问题。该方法包括：服务器采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间。本发明提供的技术方案适用于用户行为时间数据的收集，实现了在不修改客户端时间的前提下对日志中的行为访问时间进行校正。

Description

网络行为日志时间校正方法和装置

技术领域

本发明涉及互联网领域，尤其涉及一种网络行为日志时间校正方法和装置。

背景技术

在互联网应用领域，网络媒体经常需要互联网数据公司使用技术手段收集用户行为数据。例如用户访问的网页，用户在该网页中的行为类型，用户访问该网页的时间等。对这些网络行为数据进行分析并分类，以日志的形式保存。通过分析这些数据不断地改进网络媒体的服务，例如更新媒体的网站和软件，或是通过这些数据进行网络活动的监测等。

在这些数据中，用户行为时间数据不同于其他行为数据。多种外界因素可导致行为时间数据的采集出现误差。例如，一个用户在访问互联网的网页时，不同的监测系统所监测到的时间信息可能存在差异。系统产生的行为日志记录的既有可能是客户端的当前时间，亦有可能是服务器的当前时间。对于互联网用户的网络行为，若监测系统没有读取客户端时间的权限，则此监测系统无法记录网络行为发生时的客户端时间；而如果一个监测系统无法在用户行为发生时即时地向服务器发送日志数据，而是采用延后传输的方式，则此监测系统无法记录网络行为发生时的服务器时间。一般而言，用户客户端的当前时间会由于客户所在地域，或人为修改等原因而与服务器的当前时间不一致。由于这个因素导致收集到的行为时间数据的误差，会严重影响数据分析的准确度。错误的行为时间收集会导致数据匹配不统一，或网络行为分类错误，进而误导媒体进行互联网服务系统更新的方向，产生利益损害。

目前现有的时间对齐技术主要通过数据包传输对客户端时间进行校正。客户端发送请求从服务器端获取服务器的当前时间，并根据这个时间和自身的当前时间之间的差值，对自身的当前时间进行调整。通常，网络行为的监测系统并不具有修改客户端时间的权限。同时，以监测为目的的系统也不应该随意修改客户端时间。因此，我们急需一种技术手段来解决在不修改客户端时间的情况下，自动校正日志中的行为访问时间的问题。

发明内容

本发明提供了一种网络行为日志时间校正方法和装置，解决了校正日志中的行为访问时间的问题。

一种网络行为日志时间校正方法，包括;

服务器采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；

将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；

根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间。

优选的，所述采集服务器接收到的日志数据包的时间数据信息的步骤之前，还包括：

客户端采集样本日志数据包，所述样本日志数据包包括用户网络活动时的用户机ID、访问页面和用户行为发生时客户端的时间；

所述客户端将所述样本日志数据包以日志数据包的形式上传至所述服务器；

所述服务器接收到所述日志数据包时，为所述日志数据包附上所述服务器当前的本地时间，作为日志上传时服务器时间。

优选的，该方法还包括：

所述服务器存储接收到的日志数据包。

优选的，将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间包括：

提取用户行为发生时客户端的时间，记做客户端日志时间；

提取行为日志上传时的服务器时间，记做服务器日志上传时间；

提取所述行为日志上传时客户端的时间，记做客户端日志上传时间；

根据以下表达式计算服务器日志时间：

服务器日志时间=客户端日志时间+服务器日志上传时间–客户端日志上传时间；

提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

优选的，所述根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间包括：

采集标准服务器及所述服务器的当前时间，作为临时数据，存储于日志数据包中；

提取所述服务器日志时间；

利用以下表达式计算日志标准时间：

日志标准时间=服务器日志时间+标准服务器时间－服务器时间；

提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中；

从日志数据包中删除标准服务器时间及存储服务器时间。

本发明还提供了一种网络行为日志时间校正装置，包括：

数据信息采集模块，用于采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；

第一时间转换模块，用于将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；

第二时间转换模块，用于根据服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间。

优选的，该装置还包括：

日志上传时服务器时间标定模块，用于在接收到客户端上传的日志数据包时，为所述日志数据包附上所述服务器当前的本地时间，作为日志上传时服务器时间。

优选的，该装置还包括：

存储模块，用于存储接收到的日志数据包。

优选的，所述第一时间转换模块包括：

客户端日志时间提取单元，用于提取用户行为发生时客户端的时间，记做客户端日志时间；

服务器日志上传时间提取单元，用于提取行为日志上传时的服务器时间，记做服务器日志上传时间；

客户端日志上传时间提取单元，用于提取所述行为日志上传时客户端的时间，记做客户端日志上传时间；

服务器日志时间计算单元，用于根据以下表达式计算服务器日志时间：

服务器日志时间=客户端日志时间+服务器日志上传时间–客户端日志上传时间；

服务器日志时间存储单元，用于提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

优选的，所述第二时间转换模块包括：

临时数据采集单元，用于采集标准服务器及所述服务器的当前时间，作为临时数据，存储于日志数据包中；

服务器日志时间提取单元，用于提取所述服务器日志时间；

日志标准时间计算单元，用于利用以下表达式计算日志标准时间：

日志标准时间=服务器日志时间+标准服务器时间－服务器时间；

日志标准时间提取单元，用于提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中；

数据清除单元，用于从日志数据包中删除标准服务器时间及存储服务器时间。

本发明提供了一种网络行为日志时间校正方法和装置，服务器采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间，将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间，根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间，实现了在不修改客户端时间的前提下对日志中的行为访问时间进行校正，使得不同来源的日志数据中的时间信息统一到一个标准的时间轴上，解决了校正日志中的行为访问时间的问题。

附图说明

图1为本发明的实施例一提供的一种网络行为日志时间校正方法的流程图；

图2为本发明的实施例三提供的一种网络行为日志时间校正装置的结构示意图；

图3为图2中第一时间转换模块202的结构示意图；

图4为图2中第二时间转换模块203的结构示意图。

具体实施方式

目前现有的时间对齐技术主要通过数据包传输对客户端时间进行校正。客户端发送请求从服务器端获取服务器的当前时间，并根据这个时间和自身的当前时间之间的差值，对自身的当前时间进行调整。通常，网络行为的监测系统并不具有修改客户端时间的权限。同时，以监测为目的的系统也不应该随意修改客户端时间。因此，我们急需一种技术手段来解决在不修改客户端时间的情况下，自动校正日志中的行为访问时间的问题。

为了解决上述问题，本发明的实施例提供了一种网络行为日志时间校正方法。下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明的实施例提供了一种网络行为日志时间校正方法。首先采集样本日志数据包，然后统计所述样本日志数据包中的时间信息，其中包括网络行为发生时，用户客户端的当前时间，以及用户行为数据上传服务器时，携带的客户端的当前时间。通过时间差补偿的方法，将各个数据源时间映射到统一的标准服务器时间轴上，从达到通过标准时间进行不同日志的时间对齐。

下面结合附图，对本发明的实施例一进行说明。

本发明实施例提出了一种网络行为日志时间校正方法，使用该方法完成对日志时间校正的流程如图1所示，包括：

步骤101、客户端采集样本日志数据包；

本步骤中，采集用户客户端数据源的时间数据及服务器端的时间数据。

具体的，通过在网络行为发生的网页中、访问页面中的Flash动画、JavaScript脚本中嵌入代码，也可以在用户机浏览器上安装插件，亦或是在客户端植入模块等技术方案，收集到用户网络活动的一组数据，其中包括用户机ID、访问页面、用户行为发生时客户端的当前时间等。

步骤102、所述客户端将所述样本日志数据包以日志的形式上传至所述服务器；

本步骤中，客户端将所述日志数据包以日志形式打成http或ftp包，通过网络上传所述日志数据包至服务器，日志数据包同时携带日志上传时客户端时间。当服务器接收数据包的一刻，监测系统为日志数据包附上当前服务器的本地时间，记做日志上传时服务器时间。

同一次网络行为在不同的监测系统中采集到的时间可能存在差别。假设每个监测系统都至少采集了客户端时间和服务器时间中的一种。如果一条日志中不含有任何时间信息，则不对其进行时间校正。

步骤103、服务器采集接收到的日志数据包的时间数据信息；

本步骤中，服务器接收数据包后，对日志数据包进行解析并存储。然后提取日志数据包中的时间数据信息。所述时间数据信息包括用户行为发生时客户端的时间，日志上传时客户端时间，以及服务器日志上传时间。

步骤104、将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；

本步骤中，首先通过客户端和存储服务器之间的时间差，将行为发生时客户端的时间转化成行为发生时服务器的时间。此做法目的在于客户端时间可被人工更改，或客户端与被其访问的服务器处于不同地域等因素可能导致客户端时间与服务器时间不同。具体步骤如下：

步骤一：提取用户行为发生时客户端的时间，记做客户端日志时间。

步骤二：提取行为日志上传时服务器的时间，记做服务器日志上传时间。步骤三：提取行为日志上传时客户端时间，记做客户端日志上传时间。

步骤四：根据以下表达式计算日志上传时客户端时间相对于服务器时间的时间误差。将所述时间误差弥补到日志的客户端时间上，得到日志的服务器时间，记做服务器日志时间。

服务器日志时间=客户端日志时间+服务器日志上传时间–客户端日志上传时间

步骤五：提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

步骤105、根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间；

本步骤中，通过存储服务器和标准服务器之间的时间差，将所述行为发生时服务器的时间转化成日志的标准时间。此做法目的是因为不同的存储服务器的本地时间可能各不相同。具体步骤如下：

步骤一：采集标准服务器及存储服务器的当前时间，作为临时数据，存储于日志数据包中。

步骤二：提取服务器日志时间。

步骤三：利用以下表达式计算存储服务器时间相对与标准服务器时间的误差，并将所述时间误差弥补到服务器日志时间上，得到行为日志的标准时间，记做日志标准时间。

日志标准时间=服务器日志时间+标准服务器时间-存储服务器时间。

其中，所述存储服务器即为接收日志数据包的服务器；标准服务器时间和存储服务器时间则取最新记录的值。

步骤四：提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中。

步骤五：从日志数据包中删除标准服务器时间及存储服务器时间。

本发明实施例可应用在互联网数据分析的多重领域。例如，用户客户端经常被多方监测机构监测。而用户的行为数据经常被存储于不同监测机构的服务器中。而如何鉴别用户的行为日志是否属于同一网络行为时，可根据此方法比较用户行为数据的时间信息。当存储于不同服务器中的两条日志，在其余数据信息相同的情况下，若日志标准时间也相同，我们则判断两条日志为同一网络行为。反之，则判断两条日志为不同的网络行为。

通过记录两种时间差，将所有的监测数据源的时间转化到标准时间，由此使得不同来源的日志数据中的时间信息都可以统一到一个标准的时间轴上。

多个互联网广告监测系统的数据采集模块，用于存储、记录和提取每一来访用户对象所代表的用户机的每次网络行为的相关信息；

对于每一个来访Cookie的每一次网络行为，监测系统都会记录下来访Cookie的统一唯一标识（ID）、来访时间、浏览行为等信息中的一种或多种。

下面结合附图，对本发明的实施例二进行说明。

首先，通过多个数据采集模块记录同一个Cookie用户机的信息和/或浏览行为如表1所示：

表1

日志上传时的客户端及服务器时间信息如下表2中所示：

表2

在表1中，采集模块3的日志数据中漏掉了日志的服务器时间。所以先将其日志的客户端时间转化为日志的服务器时间。具体计算步骤如下：

服务器日志时间=客户端日志时间+服务器日志上传时间–客户端日志上传时间

服务器日志时间=2013/02/23（11：01：25+13：30：00–13：30：02）=2013/02/2311：01：23

将上述日志服务器时间记录，更新用户机信息及浏览行为如下表3所示：

表3

通过记录客户端和服务器之间的时间差以及每台服务器和标准服务器之间的时间差，将各日志中的时间统一转化为标准时间。

下面需要把日志的服务器时间转化为日志的标准时间。我们首先要对各个数据采集模块的存储服务器和公共标准服务器进行同一时刻的时间样本采集，采集数据如下表4：

表4

其次，开始对三个采集模块中的日志信息进行时间校正，将三个模块中的日志的服务器时间转化为日志的标准时间通过以下表达式：

日志标准时间=日志时间（服务器）+标准服务器时间-存储服务器时间。

模块1日志标准时间=2013/02/2311:01:25+2013/02/2313:29:00–2013/02/2313:30:00=2013/02/2311:00:25

模块2日志标准时间=2013/02/2311:01:21+2013/02/2313:29:00–2013/02/2313:29:56=2013/02/2311:00:25

模块3日志标准时间=2013/02/2311:01:23+2013/02/2313:29:00–2013/02/2313:30:02=2013/02/2311:00:21

通过上面的方法，我们把3条不同监测系统的日志中的时间信息都统一到了标准服务器的时间轴上。下面我们根据统一之后的时间信息来判断这3条日志是否是由同一次网络行为所产生的。

比对上面的时间差来看，模块1与模块2监测的结果表明，在ID相同的情况下，两组日志的标准时间一致。可以推测模块1与模块2监测的两条日志可能属于同一网络行为。而模块3的监测日志时间与模块1及模块2不同，就此可以推断模块3的监测日志与模块1及模块2的日志不属于同一网络行为。

下面结合附图，对本发明的实施例三进行说明。

本发明实施例提供了一种网络行为日志时间校正装置，其结构如图2所示，包括：

数据信息采集模块201，用于采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；

第一时间转换模块202，用于将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；

第二时间转换模块203，用于根据服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间。

优先的，该装置还包括：

日志上传时服务器时间标定模块204，用于在接收到客户端上传的日志数据包时，为所述日志数据包附上所述服务器当前的本地时间，作为日志上传时服务器时间。

优先的，该装置还包括：

存储模块205，用于存储接收到的日志数据包。

优先的，所述第一时间转换模块202的结构如图3所示，包括：

客户端日志时间提取单元2021，用于提取用户行为发生时客户端的时间，记做客户端日志时间；

服务器日志上传时间提取单元2022，用于提取行为日志上传时的服务器时间，记做服务器日志上传时间；

客户端日志上传时间提取单元2023，用于提取所述行为日志上传时客户端的时间，记做客户端日志上传时间；

服务器日志时间计算单元2024，用于根据以下表达式计算服务器日志时间：

服务器日志时间=客户端日志时间+服务器日志上传时间–客户端日志上传时间；

服务器日志时间存储单元2025，用于提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

优先的，所述第二时间转换模块203的结构如图4所示，包括：

临时数据采集单元2031，用于采集标准服务器及所述服务器的当前时间，作为临时数据，存储于日志数据包中；

服务器日志时间提取单元2032，用于提取所述服务器日志时间；

日志标准时间计算单元2033，用于利用以下表达式计算日志标准时间：

日志标准时间=服务器日志时间+标准服务器时间－服务器时间；

日志标准时间提取单元2034，用于提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中；

数据清除单元2035，用于从日志数据包中删除标准服务器时间及存储服务器时间。

本发明的实施例提供了一种网络行为日志时间校正装置，能够与本发明的实施例提供的一种网络行为日志时间校正方法相结合，服务器采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和日志上传时服务器时间，将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间，根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间，实现了在不修改客户端时间的前提下对日志中的行为访问时间进行校正，使得不同来源的日志数据中的时间信息统一到一个标准的时间轴上，解决了了校正日志中的行为访问时间的问题。时间对齐过程全部基于服务器端进行，不需要修改用户端的本地时间。同时，此方法以标准时间服务器的时间替代访问服务器时间，对行为数据进行基于客户端时间和被访问服务器时间的双向对齐。避免了由于不同服务器之间时间不统一而导致数据日志误判的问题。增加了网络行为判断的准确度。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上（如系统、设备、装置、器件等）执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (8)

1.一种网络行为日志时间校正方法，其特征在于，包括：

服务器采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；

将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间；

其中，将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间包括：

提取用户行为发生时客户端的时间，记做客户端日志时间；

提取行为日志上传时的服务器时间，记做服务器日志上传时间；

提取所述行为日志上传时客户端的时间，记做客户端日志上传时间；

根据以下表达式计算服务器日志时间：

服务器日志时间＝客户端日志时间+服务器日志上传时间–客户端日志上传时间；

提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

2.根据权利要求1所述的网络行为日志时间校正方法，其特征在于，所述采集服务器接收到的日志数据包的时间数据信息的步骤之前，还包括：

客户端采集样本日志数据包，所述样本日志数据包包括用户网络活动时的用户机ID、访问页面和用户行为发生时客户端的时间；

所述客户端将所述样本日志数据包以日志数据包的形式上传至所述服务器；

所述服务器接收到所述日志数据包时，为所述日志数据包附上所述服务器当前的本地时间，作为日志上传时服务器时间。

3.根据权利要求2所述的网络行为日志时间校正方法，其特征在于，该方法还包括：

所述服务器存储接收到的日志数据包。

4.根据权利要求1所述的网络行为日志时间校正方法，其特征在于，所述根据所述服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间包括：

采集标准服务器及所述服务器的当前时间，作为临时数据，存储于日志数据包中；

提取所述服务器日志时间；

利用以下表达式计算日志标准时间：

日志标准时间＝服务器日志时间+标准服务器时间－服务器时间；

提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中；

从日志数据包中删除标准服务器时间及存储服务器时间。

5.一种网络行为日志时间校正装置，其特征在于，包括：

数据信息采集模块，用于采集接收到的日志数据包的时间数据信息，所述时间数据信息包括用户行为发生时客户端的时间、客户端上传所述数据包的日志上传时客户端时间和服务器日志上传时间；

第一时间转换模块，用于将所述用户行为发生时客户端的时间转换为用户行为发生时服务器的时间；第二时间转换模块，用于根据服务器和标准服务器之间的时间差，将所述用户行为发生时服务器的时间转化得到日志的标准时间；

其中，所述第一时间转换模块包括:

客户端日志时间提取单元，用于提取用户行为发生时客户端的时间，记做客户端日志时间；

服务器日志上传时间提取单元，用于提取行为日志上传时的服务器时间，记做服务器日志上传时间；

客户端日志上传时间提取单元，用于提取所述行为日志上传时客户端的时间，记做客户端日志上传时间；

服务器日志时间计算单元，用于根据以下表达式计算服务器日志时间：

服务器日志时间＝客户端日志时间+服务器日志上传时间–客户端日志上传时间；

服务器日志时间存储单元，用于提取所述服务器日志时间，并将所述服务器日志时间存储于日志数据包中。

6.根据权利要求5所述的网络行为日志时间校正装置，其特征在于，该装置还包括：

日志上传时服务器时间标定模块，用于在接收到客户端上传的日志数据包时，为所述日志数据包附上所述服务器当前的本地时间，作为日志上传时服务器时间。

7.根据权利要求6所述的网络行为日志时间校正装置，其特征在于，该装置还包括：

存储模块，用于存储接收到的日志数据包。

8.根据权利要求5所述的网络行为日志时间校正装置，其特征在于，所述第二时间转换模块包括：

临时数据采集单元，用于采集标准服务器及所述服务器的当前时间，作为临时数据，存储于日志数据包中；

服务器日志时间提取单元，用于提取所述服务器日志时间；

日志标准时间计算单元，用于利用以下表达式计算日志标准时间：

日志标准时间＝服务器日志时间+标准服务器时间－服务器时间；

日志标准时间提取单元，用于提取所述日志标准时间，并将所述日志标准时间存储于日志数据包中；

数据清除单元，用于从日志数据包中删除标准服务器时间及存储服务器时间。