CN106250493A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。所述方法包括：当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；根据所述日期信息确定所述用户行为数据对应的用户行为表中的目标分区，并根据所述时刻信息确定所述用户行为数据对应的目标时刻字段；将所述用户行为数据写入位于所述目标分区中的目标时刻字段中；根据统计需求对所述用户行为表中的用户行为数据进行统计。该技术方案实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

Description

一种数据处理方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据处理方法及装置。

背景技术

互联网科技的发展使得数据量急剧增加，在数据科技的大力发展下，人们所能存储、处理的数据已经达到前所未有的量级，大数据的核心价值就是在于对于海量数据进行存储和统计分析。因此，如何对海量数据进行存储和管理成为当前亟待解决的问题。

发明内容

本发明实施例提供一种数据处理方法及装置，用于提高用户行为数据的存储及统计效率。

一种数据处理方法，包括以下步骤：

当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

根据所述日期信息确定所述用户行为数据对应的用户行为表中的目标分区，并根据所述时刻信息确定所述用户行为数据对应的目标时刻字段，所述用户行为表包括第一预设数量个分区，所述分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段；

将所述用户行为数据写入位于所述目标分区中的目标时刻字段中；

根据统计需求对所述用户行为表中的用户行为数据进行统计。

本发明实施例的一些有益效果可以包括：

采用本发明实施例提供的技术方案，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息和时刻信息分别确定用户行为数据对应的用户行为表中的目标分区和目标时刻字段，并将用户行为数据写入目标分区中的目标时刻字段中，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

在一个实施例中，所述方法还包括：

统计各时刻字段中的用户行为数据的数据量；

将所述数据量对应存储在各时刻字段中。

该实施例中，通过统计各时刻字段中的用户行为数据的数据量并存储，使得后续对用户行为数据进行统计分析时，能够获取到更多有关用户行为数据的信息，从而提高统计分析数据的效率。

在一个实施例中，所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中之后，所述方法还包括：

将所述目标时刻字段对应的数据量加1，得到新的数据量；

将所述目标时刻字段对应的数据量更新为所述新的数据量。

该实施例中，在将用户行为数据写入目标分区中的目标时刻字段中之后，能够实时将目标时刻字段对应的统计数加1并进行更新，使得记录的目标时刻字段对应的统计数更加准确。

在一个实施例中，所述统计需求包括对预定日期的用户行为数据进行统计；

所述根据统计需求对所述用户行为表中的用户行为数据进行统计，包括：

根据当前时间信息确定所述预定日期在所述用户行为表中对应的分区；

提取所述预定日期在所述用户行为表中对应的分区中的用户行为数据进行统计。

该实施例中，能够根据当前时间信息确定预定日期在用户行为表中对应的分区，进而提取该分区中的用户行为数据进行统计，使得从用户行为表中提取数据的效率得到提高，从而有利于快速地统计用户行为数据。

在一个实施例中，所述方法还包括：

在所述用户行为表中建立第一预设数量个分区，并建立第三预设数量个备用分区；

所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中，包括：

当所述目标分区发生故障时，将所述用户行为数据写入位于所述备用分区中的目标时刻字段中。

该实施例中，通过建立第三预设数量个备用分区，使得目标分区发生故障时能够将用户行为数据写入备用分区中，从而避免目标分区发生故障后无法写入用户行为数据的情况。

在一个实施例中，所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中，包括：

根据已写入所述用户行为表中的用户行为数据对应的日期信息，判断所述用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；

当所述用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在所述无效用户行为数据对应的日期之前的用户行为数据。

该实施例中，通过删除日期在无效用户行为数据对应的日期之前的用户行为数据，能够避免用户行为表中存储的用户行为数据的数据量过大的情况，进而避免数据量过大时影响数据管理的效率的情况。

一种数据处理装置，包括：

第一确定模块，用于当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

第二确定模块，用于根据所述日期信息确定所述用户行为数据对应的用户行为表中的目标分区，并根据所述时刻信息确定所述用户行为数据对应的目标时刻字段，所述用户行为表包括第一预设数量个分区，所述分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段；

写入模块，用于将所述用户行为数据写入位于所述目标分区中的目标时刻字段中；

第一统计模块，用于根据统计需求对所述用户行为表中的用户行为数据进行统计。

在一个实施例中，所述装置还包括：

第二统计模块，用于统计各时刻字段中的用户行为数据的数据量；

存储模块，用于将所述数据量对应存储在各时刻字段中。

在一个实施例中，所述装置还包括：

计算模块，用于将所述用户行为数据写入位于所述目标分区中的目标时刻字段中之后，将所述目标时刻字段对应的数据量加1，得到新的数据量；

更新模块，用于将所述目标时刻字段对应的数据量更新为所述新的数据量。

在一个实施例中，所述统计需求包括对预定日期的用户行为数据进行统计；

所述第一统计模块，还用于根据当前时间信息确定所述预定日期在所述用户行为表中对应的分区；提取所述预定日期在所述用户行为表中对应的分区中的用户行为数据进行统计。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种数据处理方法的流程图；

图2为本发明实施例中一种数据处理方法的流程图；

图3为本发明实施例中一种数据处理方法中步骤S14的流程图；

图4为本发明实施例中一种数据处理方法的流程图；

图5为本发明实施例中一种数据处理装置的框图；

图6为本发明实施例中一种数据处理装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例中一种数据处理方法的流程图。如图1所示，该方法包括以下步骤S11-S14：

步骤S11，当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息。

其中，日期信息可按照每日或每月进行统计，本实施例中日期信息指用户访问行为具体在哪一日发生，时刻信息指用户访问行为具体在哪一小时发生，一天共分为24个小时。根据时间戳确定日期信息和时刻信息时，可首先将时间戳转化为小时的形式，然后再确定日期信息和时刻信息。

步骤S12，根据日期信息确定用户行为数据对应的用户行为表中的目标分区，并根据时刻信息确定用户行为数据对应的目标时刻字段。

其中，用户行为表包括第一预设数量个分区，分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段。在一个实施例中，第一预设数量为28，即从每月的1号到28号，每日对应一个分区，每个分区对应24个时刻字段，因此第二预设数量为24。

步骤S13，将用户行为数据写入位于目标分区中的目标时刻字段中。

例如，用户行为数据对应的日期信息为20号，时刻信息为22时，则将用户行为数据写入20号对应的分区中、22时所在的时刻字段中。

步骤S14，根据统计需求对用户行为表中的用户行为数据进行统计。

采用本发明实施例提供的技术方案，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息和时刻信息分别确定用户行为数据对应的用户行为表中的目标分区和目标时刻字段，并将用户行为数据写入目标分区中的目标时刻字段中，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

在一个实施例中，如图2所示，上述方法还包括以下步骤S21-S22：

步骤S21，统计各时刻字段中的用户行为数据的数据量。

步骤S22，将数据量对应存储在各时刻字段中。

该实施例中，通过统计各时刻字段中的用户行为数据的数据量并存储，使得后续对用户行为数据进行统计分析时，能够获取到更多有关用户行为数据的信息，从而提高统计分析数据的效率。

在一个实施例中，执行步骤S13之后，上述方法还包括以下步骤：将目标时刻字段对应的数据量加1，得到新的数据量；将目标时刻字段对应的数据量更新为新的数据量。即，没写入一个用户行为数据，就实时更新该用户行为数据写入的目标时刻字段对应的数据量，从而使得记录的目标时刻字段对应的统计数更加准确。

在一个实施例中，统计需求包括对预定日期的用户行为数据进行统计。此时，上述步骤S14可执行为如图3所示的步骤S31-S32：

步骤S31，根据当前时间信息确定预定日期在用户行为表中对应的分区。

步骤S32，提取预定日期在用户行为表中对应的分区中的用户行为数据进行统计。

该实施例中，能够根据当前时间信息确定预定日期在用户行为表中对应的分区，进而提取该分区中的用户行为数据进行统计，使得从用户行为表中提取数据的效率得到提高，从而有利于快速地统计用户行为数据。

以下通过一具体实施例来说明本发明提供的数据处理方法。

在一具体实施例中，用户行为表中按照日期分为28个分区(即第一分区、第二分区、……、第二十八分区)，这28个分区还可对应周日期，即这28个分区共对应有4个周一、4个周二、……、以及4个周日。并且，每一分区对应有24个时刻字段(即第一时刻字段、第二时刻字段、……、第二十四时刻字段)。此外，每一时刻字段都对应有统计的已写入该时刻字段的用户行为数据的数据量。当发生用户访问行为时，假设根据用户行为数据的时间戳可确定出用户行为数据对应的日期信息为22号，时刻信息为15时，则将该用户行为数据写入第二十二分区中的第十五时刻字段中，并将第二十二分区中的第十五时刻字段所对应的数据量加1，并进行更新。

在上述具体实施例中，统计需求包括对预定日期的用户行为数据进行统计。预定日期的形式可以是周日期、也可以是具体哪一日，在此不做限定。例如，预定日期为周一，则根据当前时间信息(假设当前为周三、27号)可确定出用户行为表中具体哪几个分区对应的周日期为周一(假设为4号、11号、18号、25号)，然后即可直接提取第四分区、第十一分区、第十八分区以及第二十五分区中的用户行为数据，并获取这几个分区中已写入的用户行为数据的数据量，进而可统计用户在周一的用户行为数据。此外，当预设日期的形式直接为具体哪一日时，可直接提取该日期对应的分区中的用户行为数据。

由该具体实施例可看出，该数据处理方法能够根据日期信息和时刻信息分别确定用户行为数据对应的用户行为表中的目标分区和目标时刻字段，并将用户行为数据写入目标分区中的目标时刻字段中，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据处理的效率。

在上述任一实施例中，上述方法还包括以下步骤：在用户行为表中建立第一预设数量个分区，并建立第三预设数量个备用分区。仍假设第一预设数量为28，则可在用户行为表中建立数量多于28的分区，例如建立28个分区和1个备用分区，即建立29个分区。其中的备用分区用于在28个正常分区中某一分区故障时使用，以避免目标分区发生故障后无法写入用户行为数据的情况。

在一个实施例中，如图4所示，上述方法还包括以下步骤S41-S43：

步骤S41，根据已写入用户行为表中的用户行为数据对应的日期信息，判断用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；当用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，执行步骤S42；当用户行为表中不存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，执行步骤S43。

步骤S42，删除日期在无效用户行为数据对应的日期之前的用户行为数据。继续执行步骤S43。

步骤S43，继续向用户行为表中写入用户行为数据。返回步骤S41，继续判断用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据。

举例而言，为方便统计，用户行为表中仅保持28天的用户行为数据，当用户行为表中存在日期超过28天的用户行为数据，则该用户行为数据即为无效用户行为数据，系统会删除这些无效用户行为数据，以避免用户行为表中存储的用户行为数据的数据量过大的情况，进而避免数据量过大时影响数据管理的效率的情况。

图5为本发明实施例中一种数据处理装置的框图。如图5所示，该装置包括：

第一确定模块51，用于当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息；

第二确定模块52，用于根据日期信息确定用户行为数据对应的用户行为表中的目标分区，并根据时刻信息确定用户行为数据对应的目标时刻字段，用户行为表包括第一预设数量个分区，分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段；

写入模块53，用于将用户行为数据写入位于目标分区中的目标时刻字段中；

第一统计模块54，用于根据统计需求对用户行为表中的用户行为数据进行统计。

在一个实施例中，如图6所示，上述装置还包括：

第二统计模块55，用于统计各时刻字段中的用户行为数据的数据量；

存储模块56，用于将数据量对应存储在各时刻字段中；

计算模块57，用于将用户行为数据写入位于目标分区中的目标时刻字段中之后，将目标时刻字段对应的数据量加1，得到新的数据量；

更新模块58，用于将目标时刻字段对应的数据量更新为新的数据量。

在一个实施例中，统计需求包括对预定日期的用户行为数据进行统计；第一统计模块54，还用于根据当前时间信息确定预定日期在用户行为表中对应的分区；提取预定日期在用户行为表中对应的分区中的用户行为数据进行统计。

采用本发明实施例提供的装置，能够当发生用户访问行为时，根据用户行为数据的时间戳确定用户行为数据对应的日期信息和时刻信息，进而根据日期信息和时刻信息分别确定用户行为数据对应的用户行为表中的目标分区和目标时刻字段，并将用户行为数据写入目标分区中的目标时刻字段中，便于后续对用户行为数据进行统计，实现了根据日期和时间信息来管理用户行为数据的目的，从而使得用户行为数据的存储和管理更加系统化，在后续进行统计分析时，能够高效率地查找并提取需要统计分析的用户行为数据，提高了数据管理的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

根据所述日期信息确定所述用户行为数据对应的用户行为表中的目标分区，并根据所述时刻信息确定所述用户行为数据对应的目标时刻字段，所述用户行为表包括第一预设数量个分区，所述分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段；

将所述用户行为数据写入位于所述目标分区中的目标时刻字段中；

根据统计需求对所述用户行为表中的用户行为数据进行统计。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

统计各时刻字段中的用户行为数据的数据量；

将所述数据量对应存储在各时刻字段中。

3.根据权利要求2所述的方法，其特征在于，所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中之后，所述方法还包括：

将所述目标时刻字段对应的数据量加1，得到新的数据量；

将所述目标时刻字段对应的数据量更新为所述新的数据量。

4.根据权利要求1所述的方法，其特征在于，所述统计需求包括对预定日期的用户行为数据进行统计；

所述根据统计需求对所述用户行为表中的用户行为数据进行统计，包括：

根据当前时间信息确定所述预定日期在所述用户行为表中对应的分区；

提取所述预定日期在所述用户行为表中对应的分区中的用户行为数据进行统计。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述用户行为表中建立第一预设数量个分区，并建立第三预设数量个备用分区；

所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中，包括：

当所述目标分区发生故障时，将所述用户行为数据写入位于所述备用分区中的目标时刻字段中。

6.根据权利要求1所述的方法，其特征在于，所述将所述用户行为数据写入位于所述目标分区中的目标时刻字段中，包括：

根据已写入所述用户行为表中的用户行为数据对应的日期信息，判断所述用户行为表中是否存在日期与当前日期之间的时长超过预设时长的无效用户行为数据；

当所述用户行为表中存在日期与当前日期之间的时长超过预设时长的无效用户行为数据时，删除日期在所述无效用户行为数据对应的日期之前的用户行为数据。

7.一种数据处理装置，其特征在于，包括：

第一确定模块，用于当发生用户访问行为时，根据用户行为数据的时间戳确定所述用户行为数据对应的日期信息和时刻信息；

第二确定模块，用于根据所述日期信息确定所述用户行为数据对应的用户行为表中的目标分区，并根据所述时刻信息确定所述用户行为数据对应的目标时刻字段，所述用户行为表包括第一预设数量个分区，所述分区是以日期为标准进行划分的，各分区中包括第二预设数量个时刻字段；

写入模块，用于将所述用户行为数据写入位于所述目标分区中的目标时刻字段中；

第一统计模块，用于根据统计需求对所述用户行为表中的用户行为数据进行统计。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二统计模块，用于统计各时刻字段中的用户行为数据的数据量；

存储模块，用于将所述数据量对应存储在各时刻字段中。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

计算模块，用于将所述用户行为数据写入位于所述目标分区中的目标时刻字段中之后，将所述目标时刻字段对应的数据量加1，得到新的数据量；

更新模块，用于将所述目标时刻字段对应的数据量更新为所述新的数据量。

10.根据权利要求7所述的装置，其特征在于，所述统计需求包括对预定日期的用户行为数据进行统计；

所述第一统计模块，还用于根据当前时间信息确定所述预定日期在所述用户行为表中对应的分区；提取所述预定日期在所述用户行为表中对应的分区中的用户行为数据进行统计。