CN105337930B - 一种对数据进行处理的方法及装置 - Google Patents

Abstract

本发明公开了一种对数据进行处理的方法及装置，属于通信领域。所述方法包括：在每个用户访问资源时，获取所述每个用户的访问数据，用户的访问数据至少包括访问时间、所述用户的标识、所述用户访问的资源的地址和所述资源；获取每个访问数据中的资源属于的站点；根据所述每个访问数据中的资源属于的站点，对所述每个访问数据进行归纳，归纳出每个业务包括的访问数据；根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量。所述装置包括：第一获取模块、第二获取模块、归纳模块和第一分析模块。本发明能够减少服务器的压力，提高业务处理效率。

Description

一种对数据进行处理的方法及装置

技术领域

本发明涉及通信领域，特别涉及一种对数据进行处理的方法及装置。

背景技术

为了充分利用服务器资源，目前可以将多个站点放置在同一个数据中心中，由同一个数据中心来运行、维护和管理该多个站点，从而充分利用了数据中心中的服务器资源。数据中心上的每个站点都属于不同的企业，每个企业都通过其对应的站点来运行其对应的业务。

数据中心中的站点在运行业务的过程中会产生大量的数据，每个站点所属企业的技术人员为了了解站点运行业务的情况，需要对站点产生的数据进行处理。目前可以按如下方法来对站点产生的数据进行处理，包括：每个企业可能设置一个数据处理服务器，通过其设置的数据处理服务器从数据中心中获取其拥有的站点在运行过程中产生的数据，该数据处理服务器对获取的数据进行分析和统计，以实现对该数据进行处理，再将处理得到的处理结果显示给技术人员。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

目前数据处理都分散到各个数据处理服务器，这些数据处理服务器在处理数据时，都到数据中心中请求数据，数据中心中的服务器需要频繁的与各数据处理服务器交互数据，增加服务器的压力，也降低业务处理效率。

发明内容

为了减少服务器的压力，提高业务处理效率，本发明提供了一种对数据进行处理的方法及装置。所述技术方案如下：

一种对数据进行处理的方法，所述方法包括：

在每个用户访问资源时，获取所述每个用户的访问数据，用户的访问数据至少包括访问时间、所述用户的标识、所述用户访问的资源的地址和所述资源；

获取每个访问数据中的资源属于的站点；

根据所述每个访问数据中的资源属于的站点，对所述每个访问数据进行归纳，归纳出每个业务包括的访问数据；

根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量。

所述在每个用户访问资源时，获取所述每个用户的访问数据，包括：

接收用户对应的终端发送的资源请求消息，所述资源请求消息至少携带所述用户待访问的资源的地址和所述用户的标识；

根据所述待访问的资源的地址，获取所述待访问的资源；

检测所述待访问的资源中是否包含有数据埋点；

如果包含，则获取所述用户的访问数据，所述访问数据至少包括访问时间、所述用户的标识、所述待访问的资源的地址和所述待访问的资源。

所述获取所述每个用户访问的资源属于的站点，包括：

从所述每个用户的访问数据中包括的资源的地址中分别提取所述每个用户访问的资源属于的站点域名；

根据所述每个用户访问的资源属于的站点域名，分别获取所述每个用户访问的资源属于的站点。

所述归纳出每个业务包括的访问数据之后，还包括：

从业务包括的访问数据中，获取所述业务的每个子业务包括的访问数据；

根据所述每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到所述每个子业务的数据量。

所述根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量之后，还包括：

将所述每个业务的数据量和所述每个业务包括的每个子业务的数据量分别存储在所述每个业务对应的数据文件中；

当接收到业务请求方发送的数据访问请求消息时，根据所述数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量；

将所述查找的业务的数据量和/或所述查找的业务包括的每个子业务的数据量发送给所述业务请求方。

一种对数据进行处理的装置，所述装置包括：

第一获取模块，用于在每个用户访问资源时，获取所述每个用户的访问数据，用户的访问数据至少包括访问时间、所述用户的标识、所述用户访问的资源的地址和所述资源；

第二获取模块，用于获取每个访问数据中的资源属于的站点；

归纳模块，用于根据所述每个访问数据中的资源属于的站点，对所述每个访问数据进行归纳，归纳出每个业务包括的访问数据；

第一分析模块，用于根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量。

所述第一获取模块包括：

接收单元，用于接收用户对应的终端发送的资源请求消息，所述资源请求消息至少携带所述用户待访问的资源的地址和所述用户的标识；

第一获取单元，用于根据所述待访问的资源的地址，获取所述待访问的资源；

检测单元，用于检测所述待访问的资源中是否包含有数据埋点；

第二获取单元，如果包含，则获取所述用户的访问数据，所述访问数据至少包括访问时间、所述用户的标识、所述待访问的资源的地址和所述待访问的资源。

所述第二获取模块包括：

提取单元，用于从所述每个用户的访问数据中包括的资源的地址中分别提取所述每个用户访问的资源属于的站点域名；

第三获取单元，用于根据所述每个用户访问的资源属于的站点域名，分别获取所述每个用户访问的资源属于的站点。

所述装置还包括：

第三获取模块，用于从业务包括的访问数据中，获取所述业务的每个子业务包括的访问数据；

第二分析模块，用于根据所述每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到所述每个子业务的数据量。

所述装置还包括：

存储模块，用于将所述每个业务的数据量和所述每个业务包括的每个子业务的数据量分别存储在所述每个业务对应的数据文件中；

查找模块，用于当接收到业务请求方发送的数据访问请求消息时，根据所述数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量；

发送模块，用于将所述查找的业务的数据量和/或所述查找的业务包括的每个子业务的数据量发送给所述业务请求方。

在本发明实施例中，由于集中在一个服务器上对每个业务的访问数据进行处理，相比分散在每个业务对应的设备上处理，服务器就不需要与这些设备进行频繁的数据交互，减少服务器的压力，提高了处理数据的效率。

附图说明

图1是本发明实施例1提供的一种对数据进行处理的方法流程图；

图2是本发明实施例2提供的一种对数据进行处理的方法流程图；

图3是本发明实施例3提供的一种对数据进行处理的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本发明实施例提供了一种对数据进行处理的方法，包括：

步骤101：在每个用户访问资源时，获取每个用户的访问数据，用户的访问数据至少包括访问时间、用户的标识、用户访问的资源的地址和该资源。

步骤102：获取每个访问数据中的资源属于的站点。

步骤103：根据每个访问数据中的资源属于的站点，对每个访问数据进行归纳，归纳出每个业务包括的访问数据。

步骤104：根据每个业务的需求信息，分别对每个业务包括的访问数据进行分析和统计得到每个业务对应的数据量。

在本发明实施例中，由于集中在一个服务器上对每个业务的访问数据进行处理，相比分散在每个业务对应的设备上处理，服务器就不需要与这些设备进行频繁的数据交互，减少服务器的压力，提高了处理数据的效率。

实施例2

参见图2，本发明实施例提供了一种对数据进行处理的方法，包括：

步骤201：应用服务器接收用户对应的终端发送的资源请求消息，该资源请求消息至少携带用户待访问的资源的地址和用户的标识。

应用服务器中包括多个站点，每个站点中包括一种或多种业务的资源。例如，站点可以为商城，假设，应用服务器中包括站点1、2和3，站点1、2和3为三个商城，站点1、2和3可以认为是应用服务器中包括的三种业务，站点内包括的各种资源即是业务包括的资源。业务包括的资源可以为网页数据，例如，假设，站点1中包括A商品的详情页，B商品的详情页和C商品的详情页等，A商品的详情页，B商品的详情页和C商品的详情页为业务包括的资源。

当用户需要访问某个站点中的资源时，用户对应的终端可以发送资源请求消息给应用服务器，该资源请求消息至少携带用户待访问的资源的地址和用户的标识。待访问的资源的地址可以为URL(Uniform Resource Locator，统一资源定位符)，待访问的资源的地址由待访问的资源属于的站点的站点域名和数据参数组成。站点域名可以唯一标识一个站点，数据参数可以为待访问的资源在站点中的存储路径和/或资源类型等。用户的标识可以为终端的IP(Internet Protocol，网络之间互连的协议)地址或用户名等。

例如，当用户需要访问站点1中的A商品的详情页时，用户对应的终端发送资源请求消息给应用服务器，该资源请求消息携带A商品的详情页的URL和用户的标识。A商品的详情页的URL为“www.zhandianl.com/c/router”，其中，“www.zhandianl.com”为站点1的站点域名，“/c/router”为A商品的详情页在站点1中的存储路径。

步骤202：应用服务器根据待访问的资源的地址，获取待访问的资源。

具体地，应用服务器根据待访问的资源的地址中包括的站点域名，确定出待访问的资源属于的站点，根据待访问的资源的地址中包括的数据参数，从确定的站点中获取待访问的资源。

应用服务器获取到待访问的资源后，可以将待访问的资源发送给终端。

例如，应用服务器从A商品的详情页的URL中提取站点域名“www.zhandianl.com”以及存储路径“/c/router”，根据站点域名“www.zhandianl.com”，确定出对应的站点1，根据存储路径“/c/router”，从站点1中获取A商品的详情页，并将A商品的详情页发送给该用户对应的终端。

步骤203：应用服务器检测待访问的数据中是否包含有数据埋点，如果包含，则获取用户的访问数据，该访问数据至少包括访问时间、用户的标识、待访问的资源的地址和待访问的资源。

其中，如果需要对某业务产生的数据进行处理，则可以在该业务包括的资源中设置数据埋点，数据埋点可以为一个标识信息。在资源中设置数据埋点，即将该标识信息写入该资源中。例如，需要获取站点1对应业务产生的数据进行处理，则可以在站点1中包括的每个网页中设置数据埋点，即分别在A商品的详情页，B商品的详情页和C商品的详情页中写入标识信息。

应用服务器当前检测出待访问的数据中包含有数据埋点，则可以获取当前时间，将当前时间作为访问时间，将该访问时间、用户的标识、待访问的资源的地址和待访问的资源等作为一条访问数据，将该条访问数据写入日志文件中。

例如，应用服务器检测出A商品的详情页中包含数据埋点，则获取当前时间t1，该用户的标识，访问时间t1，A商品的详情页的URL和A商品的详情页作为一条访问数据1，将访问数据1写入日志文件中。

对于每个用户按上述方式到应用服务器中访问站点中的资源，且应用服务器当检测出任一用户访问的资源中包含数据埋点，就获取该用户的访问数据并存储在日志文件中。

事先可以设置定时任务，当定时任务的执行时间到达时，触发应用服务器执行如下数据处理的操作。例如，可以设置定时任务的执行时间为每天的零时，如此通过该定时任务在每天的零时触发应用服务器执行如下操作。

步骤204：应用服务器获取每个访问数据中的资源属于的站点。

具体地，从每个访问数据中包括资源的地址中分别提取每个访问数据中包括的资源属于的站点的站点域名，根据每个访问数据中的资源属于的站点的站点域名，分别获取每个访问数据中的资源属于的站点。

例如，对访问数据1，从访问数据1中包括的资源的地址中提取站点域名“www.zhandianl.com”，将站点域名“www.zhandianl.com”对应的站点1作为访问数据1中的资源属于的站点。

步骤205：应用服务器根据每个访问数据中的资源属于的站点，对每个访问数据进行归纳，归纳出每个业务包括的访问数据。

具体地，对于每个访问数据，获取该访问数据中的资源属于的站点对应的业务，将该访问数据归纳为该业务包括的业务数据。

进一步地，应用服务器还可以将每个业务的访问数据分别存储在不同的文件中，对于每个业务，将该业务对应的文件的文件名设置成由该业务的类型和/或当天的日期组成的文件名。

步骤206：应用服务器根据每个业务的需求信息，分别对每个业务包括的访问数据进行分析和统计得到每个业务的数据量。

其中，需求信息是由技术人员事先设置的，例如，当业务为一个商城时，需求信息可以为获取业务在过去的一天内的访问量，获取业务在过去一天内的交易量和/或获取业务在过去一天内的转化率等。其中，业务的数据量可以包括业务在过去的一天内的访问量、业务在过去一天内的交易量和业务在过去一天内的转化率等。

如果需求信息为获取业务在过去的一天内的访问量，则首先根据当前时间确定过去一天的日期，即昨天的日期，从该业务包括的访问数据中获取访问时间在确定的日期内的访问数据，统计获取的访问数据的数目，将该数目作为该业务确定的日期内的访问量。

如果需求信息为获取业务在过去一天内的交易量，则首先根据当前时间确定过去一天的日期，即昨天的日期，需要从业务的访问数据中分析出在确定的日期内产生的每一条完整交易过程，统计分析出的交易过程的数目，将该数目作为业务在确定的日期内的交易量。

如果需求信息为获取业务在过去一天内的转化率，则首先根据当前时间确定过去一天的日期，即昨天的日期，首先获取业务在确定的日期内的访问量和业务在确定的日期内的交易量，计算业务在确定的日期内的交易量与业务在确定的日期内的访问量之间的比值，将该比值作为业务在确定的日期内的转化率。

进一步地，每个业务还包括多个子业务，还可以根据每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到每个子业务的数据量。

例如，对于商城，商城里的各个商品即为一种子业务，假设需求信息为获取该商品在过去一天时内的访问量，则首先根据当前时间确定过去一天的日期，即昨天的日期，可以从该业务包括的访问数据中获取包含该商品名称的访问数据，从获取的访问数据中选择访问时间在确定的日期内的访问数据，统计选择的访问数据的数目，将统计的数目作为该商品在确定的日期内的访问量。

步骤207：应用服务器将每个业务的数据量和每个业务包括的每个子业务的数据量分别存储在每个业务对应的数据文件中。

进一步地，对于每个业务的数据文件，还可以以确定的日期和业务类型来设置文件名。

当获取每个业务的数据量和每个业务包括的每个子业务的数据量后，业务请求方可以发送业务请求消息请求查询每个业务的数据量和每个业务包括的每个子业务的数据量。该业务请求消息携带需要查找的业务的标识，子业务的标识。如果业务请求方法需要某日期内的业务的数据量或子业务的数据量，则在该业务请求消息还可以携带该日期。

步骤208：应用服务器当接收到业务请求方发送的数据访问请求消息时，根据该数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量。

如果该业务请求消息还携带日期，根据该业务请求消息携带的业务标识和日期，找出对应的数据文件，再根据该数据访问请求消息携带的业务标识，从找出的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量。

步骤209：应用服务器将查找的业务的数据量和/或查找的业务包括的每个子业务的数据量发送给业务请求方。

在本发明实施例中，由于集中在一个服务器上对每个业务的访问数据进行处理，相比分散在每个业务对应的设备上处理，服务器就不需要与这些设备进行频繁的数据交互，减少服务器的压力，提高了处理数据的效率。另外，如果处理数据的需求发生改变，只需要修改应用服务器即可，相比使用每个业务对应的设备处理数据时需要修改每个设备，减少修改量和时间成本。

实施例3

参见图3，本发明实施例提供了一种对数据进行处理的装置，包括：

第一获取模块301，用于在每个用户访问资源时，获取每个用户的访问数据，用户的访问数据至少包括访问时间、用户的标识、用户访问的资源的地址和资源；

第二获取模块302，用于获取每个访问数据中的资源属于的站点；

归纳模块303，用于根据每个访问数据中的资源属于的站点，对每个访问数据进行归纳，归纳出每个业务包括的访问数据；

第一分析模块304，用于根据每个业务的需求信息，分别对每个业务包括的访问数据进行分析和统计得到每个业务对应的数据量。

优选的，第一获取模块301包括：

接收单元，用于接收用户对应的终端发送的资源请求消息，资源请求消息至少携带用户待访问的资源的地址和用户的标识；

第一获取单元，用于根据待访问的资源的地址，获取待访问的资源；

检测单元，用于检测待访问的资源中是否包含有数据埋点；

第二获取单元，如果包含，则获取用户的访问数据，访问数据至少包括访问时间、用户的标识、待访问的资源的地址和待访问的资源。

优选的，第二获取模块302包括：

提取单元，用于从每个用户的访问数据中包括的资源的地址中分别提取每个用户访问的资源属于的站点域名；

第三获取单元，用于根据每个用户访问的资源属于的站点域名，分别获取每个用户访问的资源属于的站点。

优选的，该装置还包括：

第三获取模块，用于从业务包括的访问数据中，获取业务的每个子业务包括的访问数据；

第二分析模块，用于根据每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到每个子业务的数据量。

优选的，该装置还包括：

存储模块，用于将每个业务的数据量和每个业务包括的每个子业务的数据量分别存储在每个业务对应的数据文件中；

查找模块，用于当接收到业务请求方发送的数据访问请求消息时，根据数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量；

发送模块，用于将查找的业务的数据量和/或查找的业务包括的每个子业务的数据量发送给业务请求方。

在本发明实施例中，由于集中在一个服务器上对每个业务的访问数据进行处理，相比分散在每个业务对应的设备上处理，服务器就不需要与这些设备进行频繁的数据交互，减少服务器的压力，提高了处理数据的效率。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种对数据进行处理的方法，其特征在于，所述方法包括：

接收用户对应的终端发送的资源请求消息，所述资源请求消息至少携带所述用户待访问的资源的地址和所述用户的标识；

根据所述待访问的资源的地址，获取所述待访问的资源；

检测所述待访问的资源中是否包含有数据埋点；

如果包含，则获取所述用户的访问数据，所述访问数据至少包括访问时间、所述用户的标识、所述待访问的资源的地址和所述待访问的资源；

获取每个访问数据中的资源属于的站点；

根据所述每个访问数据中的资源属于的站点，对所述每个访问数据进行归纳，归纳出每个业务包括的访问数据；其中，所述每个业务的访问数据分别存储于不同的文件中，所述每个业务对应的文件的文件名设置成由所述业务的类型和/或当天的日期组成的文件名；

根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量；

从业务包括的访问数据中，获取所述业务的每个子业务包括的访问数据；

根据所述每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到所述每个子业务的数据量。

2.如权利要求1所述的方法，其特征在于，所述获取所述每个用户访问的资源属于的站点，包括：

从所述每个用户的访问数据中包括的资源的地址中分别提取所述每个用户访问的资源属于的站点域名；

根据所述每个用户访问的资源属于的站点域名，分别获取所述每个用户访问的资源属于的站点。

3.如权利要求1所述的方法，其特征在于，所述根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量之后，还包括：

将所述每个业务的数据量和所述每个业务包括的每个子业务的数据量分别存储在所述每个业务对应的数据文件中；

当接收到业务请求方发送的数据访问请求消息时，根据所述数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量；

将所述查找的业务的数据量和/或所述查找的业务包括的每个子业务的数据量发送给所述业务请求方。

4.一种对数据进行处理的装置，其特征在于，所述装置包括：

第一获取模块，用于接收用户对应的终端发送的资源请求消息，所述资源请求消息至少携带所述用户待访问的资源的地址和所述用户的标识；根据所述待访问的资源的地址，获取所述待访问的资源；检测所述待访问的资源中是否包含有数据埋点；如果包含，则获取所述用户的访问数据，所述访问数据至少包括访问时间、所述用户的标识、所述待访问的资源的地址和所述待访问的资源；

第二获取模块，用于获取每个访问数据中的资源属于的站点；

归纳模块，用于根据所述每个访问数据中的资源属于的站点，对所述每个访问数据进行归纳，归纳出每个业务包括的访问数据；其中，所述每个业务的访问数据分别存储于不同的文件中，所述每个业务对应的文件的文件名设置成由所述业务的类型和/或当天的日期组成的文件名；

第一分析模块，用于根据所述每个业务的需求信息，分别对所述每个业务包括的访问数据进行分析和统计得到所述每个业务对应的数据量；

第三获取模块，用于从业务包括的访问数据中，获取所述业务的每个子业务包括的访问数据；

第二分析模块，用于根据所述每个子业务的需求信息，对每个子业务包括的访问数据进行分析和统计，得到所述每个子业务的数据量。

5.如权利要求4所述的装置，其特征在于，所述第二获取模块包括：

提取单元，用于从所述每个用户的访问数据中包括的资源的地址中分别提取所述每个用户访问的资源属于的站点域名；

第三获取单元，用于根据所述每个用户访问的资源属于的站点域名，分别获取所述每个用户访问的资源属于的站点。

6.如权利要求4所述的装置，其特征在于，所述装置还包括：

存储模块，用于将所述每个业务的数据量和所述每个业务包括的每个子业务的数据量分别存储在所述每个业务对应的数据文件中；

查找模块，用于当接收到业务请求方发送的数据访问请求消息时，根据所述数据访问请求消息携带的业务标识，从对应业务的数据文件中查找对应的业务的数据量和/或对应业务包括的每个子业务的数据量；

发送模块，用于将所述查找的业务的数据量和/或所述查找的业务包括的每个子业务的数据量发送给所述业务请求方。