CN106155594B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。所述方法包括：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在所述用户行为表中对应的待存储分区，所述用户行为表中包括用于存储用户行为数据的多个分区；将所述用户行为数据存储至所述待存储分区中。该技术方案实现了根据日期和时间信息来管理用户行为数据的目的，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

Description

一种数据处理方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据处理方法及装置。

背景技术

互联网科技的发展使得数据量急剧增加，在数据科技的大力发展下，人们所能存储、处理的数据已经达到前所未有的量级，大数据的核心价值就是在于对于海量数据进行存储和统计分析。因此，如何对海量数据进行存储和管理成为当前亟待解决的问题。

发明内容

本发明实施例提供一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。

一种数据处理方法，包括以下步骤：

当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在所述用户行为表中对应的待存储分区，所述用户行为表中包括用于存储用户行为数据的多个分区；

将所述用户行为数据存储至所述待存储分区中。

本发明实施例的一些有益效果可以包括：

采用本发明实施例提供的技术方案，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息、时刻信息和格林威治开始时间确定用户行为数据在用户行为表中对应的待存储分区，并将用户行为数据存储至待存储分区中的，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

在一个实施例中，所述根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在所述用户行为表中对应的待存储分区，包括：

获取所述用户的身份标识，并根据所述身份标识、所述日期信息和所述时刻信息将所述用户行为数据存储至临时结果集中，所述临时结果集中包括多个身份标识和与所述多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的；

从所述临时结果集中提取所述日期信息和所述时刻信息；

根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在所述用户行为表中对应的待存储分区，并根据所述时刻信息确定所述用户行为数据对应的待存储时刻字段，所述用户行为表中的每个分区包括预设数量个时刻字段。

该实施例中，能够根据用户的身份标识、日期信息和时刻信息将用户行为数据存储至临时结果集中，便于后续对大量的用户行为数据进行统一分区存储，从而节省大量的重复性计算分区的时间。

在一个实施例中，所述根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在所述用户行为表中对应的待存储分区，包括：

计算所述日期信息距离格林威治开始时间的天数；

利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；

根据所述取余后的数值确定所述用户行为数据在所述用户行为表中对应的待存储分区。

该实施例能够准确简便地确定出用户行为数据在用户行为表中对应的待存储分区，且根据格林威治开始时间计算的每个分区中仅能存储一天的数据，这使得后续对数据进行统计时，便于按照日期进行统一管理统计，从而提高数据处理的效率。

在一个实施例中，所述方法还包括：

根据所述用户行为表中每个分区对应的日期信息，确定所述分区对应的周日期；

按照所述周日期的预设顺序对各分区的用户行为数据进行排序。

在一个实施例中，所述方法还包括：

当接收到对预定周日期的用户行为数据的统计请求时，确定所述预定周日期在所述用户行为表中对应的分区；

从所述用户行为表中提取所述预定周日期对应的分区中的用户行为数据进行统计。

该实施例中，通过利用周日期对各分区进行排序，使得后续利用周日期来统计数据时，能够方便快速地按照周日期提取对应分区中的用户行为数据，从而提高数据处理的效率。

在一个实施例中，所述方法还包括：

根据已存储至所述用户行为表中的用户行为数据对应的日期信息，判断所述用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；

当所述用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在所述无效用户行为数据对应的日期之前的用户行为数据。

该实施例中，通过删除日期在无效用户行为数据对应的日期之前的用户行为数据，能够避免用户行为表中存储的用户行为数据的数据量过大的情况，进而避免数据量过大时影响数据管理的效率的情况。

一种数据处理装置，包括：

第一确定模块，用于当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

第二确定模块，用于根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在所述用户行为表中对应的待存储分区，所述用户行为表中包括用于存储用户行为数据的多个分区；

存储模块，用于将所述用户行为数据存储至所述待存储分区中。

在一个实施例中，所述第二确定模块包括：

获取单元，用于获取所述用户的身份标识，并根据所述身份标识、所述日期信息和所述时刻信息将所述用户行为数据存储至临时结果集中，所述临时结果集中包括多个身份标识和与所述多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的；

提取单元，用于从所述临时结果集中提取所述日期信息和所述时刻信息；

确定单元，用于根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在所述用户行为表中对应的待存储分区，并根据所述时刻信息确定所述用户行为数据对应的待存储时刻字段，所述用户行为表中的每个分区包括预设数量个时刻字段。

在一个实施例中，所述确定单元用于：

计算所述日期信息距离格林威治开始时间的天数；

利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；

根据所述取余后的数值确定所述用户行为数据在所述用户行为表中对应的待存储分区。

在一个实施例中，所述装置还包括：

第三确定模块，用于根据所述用户行为表中每个分区对应的日期信息，确定所述分区对应的周日期；

排序模块，用于按照所述周日期的预设顺序对各分区的用户行为数据进行排序。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种数据处理方法的流程图；

图2为本发明实施例中一种数据处理方法中步骤S12的流程图；

图3为本发明实施例中一种数据处理方法中步骤S23的流程图；

图4为本发明实施例中一种数据处理装置的框图；

图5为本发明实施例中一种数据处理装置中第二确定模块的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例中一种数据处理方法的流程图。如图1所示，该方法包括以下步骤S11-S13：

步骤S11，当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息。

其中，日期信息可按照每日或每月进行统计，本实施例中日期信息指用户访问行为具体在哪一日发生，时刻信息指用户访问行为具体在哪一小时发生，一天共分为24个小时。根据时间戳确定日期信息和时刻信息时，可首先将时间戳转化为小时的形式，然后再确定日期信息和时刻信息。

步骤S12，根据日期信息、时刻信息和格林威治开始时间确定用户行为数据在用户行为表中对应的待存储分区，用户行为表中包括用于存储用户行为数据的多个分区。

其中，格林威治时间是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间，因为本初子午线被定义在通过那里的经线。格林威治开始时间即为1970年1月1日。用户行为表中用于存储用户行为数据的多个分区是以日期为标准进行划分的，每日对应一个分区。

步骤S13，将用户行为数据存储至待存储分区中。

采用本发明实施例提供的技术方案，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息、时刻信息和格林威治开始时间确定用户行为数据在用户行为表中对应的待存储分区，并将用户行为数据存储至待存储分区中的，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

在一个实施例中，如图2所示，步骤S12可执行为以下步骤S21-S23：

步骤S21，获取用户的身份标识，并根据身份标识、日期信息和时刻信息将用户行为数据存储至临时结果集中。

其中，临时结果集中包括多个身份标识和与多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的。

步骤S22，从临时结果集中提取日期信息和时刻信息。

步骤S23，根据日期信息和格林威治开始时间，确定日期信息对应的用户行为数据在用户行为表中对应的待存储分区，并根据时刻信息确定用户行为数据对应的待存储时刻字段；其中，用户行为表中的每个分区包括预设数量个时刻字段。

其中，时刻字段指0～24时对应的字段，由于每日有24个时刻，因此每个分区包括24个时刻字段，即预设数量为24。例如，用户行为数据对应的时刻信息为22时，则将用户行为数据写入待存储分区中22时所在的时刻字段中。

该实施例中，能够根据用户的身份标识、日期信息和时刻信息将用户行为数据存储至临时结果集中，便于后续对大量的用户行为数据进行统一分区存储，从而节省大量的重复性计算分区的时间。

在一个实施例中，如图3所示，步骤S23可执行为以下步骤S31-S33：

步骤S31，计算日期信息距离格林威治开始时间的天数。

步骤S32，利用天数对预设数值取余，预设数值等于用户行为表中的分区个数。

步骤S33，根据取余后的数值确定用户行为数据在用户行为表中对应的待存储分区。

该实施例中，将用户行为表划分出100个分区，则预设数值为100。例如，预设数值取100，用户行为数据对应的日期信息为2000年1月1日，首先执行步骤S31由于格林威治开始时间为1970年1月1日，因此该日期信息距离格林威治开始时间的天数为30*365＝10950天；然后执行步骤S32，10950/100取余数为50；最后执行步骤S33，确定用户行为数据在用户行为表中对应的待存储分区为标识为50的分区。

由该实施例可知，用户行为表中的分区是依照格林威治时间的方式进行划分的。为方便统计，可直接用数字标识每个分区，例如分区0即为余数0对应的分区、分区1为余数1对应的分区、……、分区99为余数99对应的分区，共有100个分区。仍以上述日期信息为2000年1月1日的用户行为数据为例，由于最后取余的数值为50，因此，该用户行为数据在用户行为表中对应的待存储分区为分区50。

该实施例能够准确简便地确定出用户行为数据在用户行为表中对应的待存储分区，且根据格林威治开始时间计算的每个分区中仅能存储一天的数据，这使得后续对数据进行统计时，便于按照日期进行统一管理统计，从而提高数据处理的效率。

在一个实施例中，上述方法还包括以下步骤：首先，根据用户行为表中每个分区对应的日期信息，确定分区对应的周日期；其次，按照周日期的预设顺序对各分区的用户行为数据进行排序。这样排序的优点在于，当想要从用户行为表中统计周一的数据时，只需确定其中一个周日期为周一的分区，即可根据预设顺序提取出其他周日期为周一的分区中的数据。

本实施例中，周日期即为以周一至周日的方式为标准划分的日期，周日期的预设顺序可以为周一至周日的自然顺序，也可以为其他顺序，例如从周日到周一的倒序，此处不做限定。由于用户行为表中用于存储用户行为数据的多个分区是以日期为标准进行划分的，即每日对应一个分区，因此，每个分区都对应有唯一的周日期。假设日期2000年1月1日当天为周一，则日期2000年1月1日的分区对应的周日期即为周一，由此可推算出，日期2000年1月2日的分区对应的周日期即为周二，日期2000年1月3日的分区对应的周日期即为周三，等等。按照周一至周日的自然顺序对每个分区进行排序，排序结果为：2000年1月1日对应的分区、2000年1月2日对应的分区、2000年1月3日的分区对应的分区。

另一种优选的预设顺序为与用户行为表中的分区数目有关，假设分区数目为28个，说明用户行为表中包括4个周日期为周一的分区、4个周日期为周二的分区、……、以及4个周日期为周日的分区。因此，预设顺序可以设为按照周日期前后顺序的顺序，即4个周日期为周一的分区、4个周日期为周二的分区、……、4个周日期为周日的分区，也就是说，每4个周日期相同的分区是相邻的。

由此可知，上述列举的对分区的两种排序方式都有利于快速从用户行为表中提取周日期相关的分区，从而提高数据统计效率。

在一个实施例中，上述方法还包括以下步骤：首先，当接收到对预定周日期的用户行为数据的统计请求时，确定预定周日期在用户行为表中对应的分区；其次，从用户行为表中提取预定周日期对应的分区中的用户行为数据进行统计。

在一个实施例中，上述方法还包括以下步骤：根据已存储至用户行为表中的用户行为数据对应的日期信息，判断用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；当用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在无效用户行为数据对应的日期之前的用户行为数据。

举例而言，为方便统计，用户行为表中仅保持28天的用户行为数据，当用户行为表中存在日期超过28天的用户行为数据，则该用户行为数据即为无效用户行为数据，系统会删除这些无效用户行为数据，以避免用户行为表中存储的用户行为数据的数据量过大的情况，进而避免数据量过大时影响数据管理的效率的情况。

该实施例中，通过删除日期在无效用户行为数据对应的日期之前的用户行为数据，能够避免用户行为表中存储的用户行为数据的数据量过大的情况，进而避免数据量过大时影响数据管理的效率的情况。

图4为本发明实施例中一种数据处理装置的框图。如图4所示，该装置包括：

第一确定模块41，用于当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息；

第二确定模块42，用于根据日期信息、时刻信息和格林威治开始时间确定用户行为数据在用户行为表中对应的待存储分区，用户行为表中包括用于存储用户行为数据的多个分区；

存储模块43，用于将用户行为数据存储至待存储分区中。

在一个实施例中，如图5所示，第二确定模块42包括：

获取单元421，用于获取用户的身份标识，并根据身份标识、日期信息和时刻信息将用户行为数据存储至临时结果集中，临时结果集中包括多个身份标识和与多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的；

提取单元422，用于从临时结果集中提取日期信息和时刻信息；

确定单元423，用于根据日期信息和格林威治开始时间，确定日期信息对应的用户行为数据在用户行为表中对应的待存储分区，并根据时刻信息确定用户行为数据对应的待存储时刻字段，用户行为表中的每个分区包括预设数量个时刻字段。

在一个实施例中，确定单元423用于计算日期信息距离格林威治开始时间的天数；利用天数对预设数值取余，预设数值等于用户行为表中的分区个数；根据取余后的数值确定用户行为数据在用户行为表中对应的待存储分区。

在一个实施例中，上述装置还包括：

第三确定模块，用于根据用户行为表中每个分区对应的日期信息，确定分区对应的周日期；

排序模块，用于按照周日期的预设顺序对各分区的用户行为数据进行排序。

采用本发明实施例提供的装置，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息、时刻信息和格林威治开始时间确定用户行为数据在用户行为表中对应的待存储分区，并将用户行为数据存储至待存储分区中的，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在用户行为表中对应的待存储分区，所述用户行为表中包括用于存储用户行为数据的多个分区；

将所述用户行为数据存储至所述待存储分区中；

所述根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在所述用户行为表中对应的待存储分区，包括：

获取所述用户的身份标识，并根据所述身份标识、所述日期信息和所述时刻信息将所述用户行为数据存储至临时结果集中，所述临时结果集中包括多个身份标识和与所述多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的；

从所述临时结果集中提取所述日期信息和所述时刻信息；

根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在用户行为表中对应的待存储分区，并根据所述时刻信息确定所述用户行为数据对应的待存储时刻字段，所述用户行为表中的每个分区包括预设数量个时刻字段。

2.根据权利要求1所述的方法，其特征在于，所述根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在用户行为表中对应的待存储分区，包括：

计算所述日期信息距离格林威治开始时间的天数；

利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；

根据取余后的数值确定所述用户行为数据在所述用户行为表中对应的待存储分区。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述用户行为表中每个分区对应的日期信息，确定每个分区对应的周日期；

按照所述周日期的预设顺序对各分区的用户行为数据进行排序。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当接收到对预定周日期的用户行为数据的统计请求时，确定所述预定周日期在所述用户行为表中对应的分区；

从所述用户行为表中提取所述预定周日期对应的分区中的用户行为数据进行统计。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据已存储至所述用户行为表中的用户行为数据对应的日期信息，判断所述用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；

当所述用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在所述无效用户行为数据对应的日期之前的用户行为数据。

6.一种数据处理装置，其特征在于，包括：

第一确定模块，用于当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

第二确定模块，用于根据所述日期信息、所述时刻信息和格林威治开始时间确定所述用户行为数据在用户行为表中对应的待存储分区，所述用户行为表中包括用于存储用户行为数据的多个分区；

存储模块，用于将所述用户行为数据存储至所述待存储分区中；

所述第二确定模块包括：

获取单元，用于获取所述用户的身份标识，并根据所述身份标识、所述日期信息和所述时刻信息将所述用户行为数据存储至临时结果集中，所述临时结果集中包括多个身份标识和与所述多个身份标识各自对应的用户行为数据，且每个身份标识对应的用户行为数据是按照各自的日期信息和时刻信息存储的；

提取单元，用于从所述临时结果集中提取所述日期信息和所述时刻信息；

确定单元，用于根据所述日期信息和格林威治开始时间，确定所述日期信息对应的用户行为数据在所述用户行为表中对应的待存储分区，并根据所述时刻信息确定所述用户行为数据对应的待存储时刻字段，所述用户行为表中的每个分区包括预设数量个时刻字段。

7.根据权利要求6所述的装置，其特征在于，所述确定单元用于：

计算所述日期信息距离格林威治开始时间的天数；

利用所述天数对预设数值取余，所述预设数值等于所述用户行为表中的分区个数；

根据取余后的数值确定所述用户行为数据在所述用户行为表中对应的待存储分区。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于根据所述用户行为表中每个分区对应的日期信息，确定每个分区对应的周日期；

排序模块，用于按照所述周日期的预设顺序对各分区的用户行为数据进行排序。