CN111552722A - 粒度数据的处理方法及装置 - Google Patents

Abstract

本发明提供了粒度数据的处理方法及装置，包括：接收外部数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括时间戳和数据内容，第一时间粒度为处理数据提供方提供数据时所需最小时间粒度；当需要获得对应于数据提供方并对应于第二时间段的数据时，分别判断第一数据包括的时间戳是否在第二时间段的时间范围内；其中，第二时间段的时长为第二时间粒度，第二时间粒度大于第一时间粒度；根据每一条第一数据，合成对应于数据提供方对应于第二时间段并对应于第二时间粒度的数据，该数据包括对应于第二时间段的时间戳和各个第一数据包括的数据内容。本方案能够适用于第三方厂商不支持多粒度数据查询的情况。

Description

粒度数据的处理方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及粒度数据的处理方法。

背景技术

在前端页面进行数据展示时，往往需要展示每一小段时间(这段时间的长度称为“粒度”)的数据，如每5分钟的汇总数据，以及每1小时、每天的汇总数据,以用于显示相应时间粒度内数据的变化趋势，从而能追踪和监测不同时间段的数据变化趋势。

目前，前端页面进行不同粒度数据的展示时，可由第三方厂商直接提供不同粒度的数据，比如5分钟粒度、1小时粒度等所需时间粒度的数据。

但是，现有实现方式不适用于第三方厂商不支持多粒度数据查询的情况。

发明内容

本发明实施例提供了粒度数据的处理方法，能够适用于第三方厂商不支持多粒度数据查询的情况。

第一方面，本发明提供了粒度数据的处理方法，包括：

接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，所述每一条数据均包括该数据的时间戳和数据内容，所述第一时间粒度为处理所述数据提供方所提供数据时所需的最小时间粒度；

当需要获得对应于所述数据提供方并对应于第二时间段的数据时，继续当前流程，其中，所述第二时间段在所述第一时间段的时间范围内，所述第二时间段的时长为第二时间粒度，所述第二时间粒度大于所述第一时间粒度；

针对所述数据提供方提供的、在所述第一时间段内的并对应于所述第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在所述第二时间段的时间范围内；

根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，该数据对应于所述第二时间粒度，该数据包括对应于所述第二时间段的时间戳和各个所述第一数据包括的数据内容。

优选地，

所述数据提供方对应于一用户或一域名。

优选地，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，根据各个所述第一数据中包括的时间戳，按照时间先后顺序，将各个所述第一数据中包括的数据内容进行累加，以合成对应于所述数据提供方并对应于所述第二时间段的数据。

优选地，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并转成入库格式存入目标数据库表中；

优选地，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容转成入库格式，合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并存入目标数据库表中。

优选地，

进一步包括：存储接收到的所述每一条数据；

存储已合成的所述每一条数据；

当需要获得对应于所述数据提供方并对应于第三时间段的数据时，继续当前流程，所述第三时间段在所述第一时间段的时间范围内，所述第三时间段的时长为第三时间粒度，所述第三时间粒度大于所述第一时间粒度；

对于已存储的对应于所述数据提供方且在所述第一时间段内的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于所述第三时间粒度并大于所述第一时间粒度的目标时间粒度，且所述第三时间粒度是所述目标时间粒度的整数倍，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于所述数据提供方和所述最大时间粒度且在所述第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在所述第三时间段内；

根据包括的时间戳在所述第三时间段内且对应于所述数据提供方和所述最大时间粒度的每一个目标数据，合成对应于所述数据提供方并对应于所述第三时间段的数据，该数据对应于所述第三时间粒度，该数据包括对应于所述第三时间段的时间戳和各个所述目标数据包括的数据内容。

第二方面，本发明提供了粒度数据的处理装置，包括：

接收模块，用于接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，所述第一时间粒度为处理所述数据提供方所提供数据时所需的最小时间粒度；

判断模块，用于当需要获得对应于所述数据提供方并对应于第二时间段的数据时，针对所述数据提供方提供的、在所述第一时间段内的并对应于所述第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在所述第二时间段的时间范围内，其中，所述第二时间段在所述第一时间段的时间范围内，所述第二时间段的时长为第二时间粒度，所述第二时间粒度大于所述第一时间粒度；

第一处理模块，用于根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，该数据对应于所述第二时间粒度，该数据包括对应于所述第二时间段的时间戳和各个所述第一数据包括的数据内容。

优选地，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，根据各个所述第一数据中包括的时间戳，按照时间先后顺序，将各个所述第一数据中包括的数据内容进行累加，以合成对应于所述数据提供方并对应于所述第二时间段的数据。

优选地，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并转成入库格式存入目标数据库表中。

优选地，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容转成入库格式，合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并存入目标数据库表中。

优选地，

进一步包括：

第一存储模块，用于存储接收到的所述每一条数据；

第二存储模块，用于存储已合成的所述每一条数据；

第二处理模块，用于执行：

当需要获得对应于所述数据提供方并对应于第三时间段的数据时，继续当前流程，所述第三时间段在所述第一时间段的时间范围内，所述第三时间段的时长为第三时间粒度，所述第三时间粒度大于所述第一时间粒度；

对于已存储的对应于所述数据提供方且在所述第一时间段内的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于所述第三时间粒度并大于所述第一时间粒度的目标时间粒度，且所述第三时间粒度是所述目标时间粒度的整数倍，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于所述数据提供方和所述最大时间粒度且在所述第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在所述第三时间段内；

根据包括的时间戳在所述第三时间段内且对应于所述数据提供方和所述最大时间粒度的每一个目标数据，合成对应于所述数据提供方并对应于所述第三时间段的数据，该数据对应于所述第三时间粒度，该数据包括对应于所述第三时间段的时间戳和各个所述目标数据包括的数据内容。

本发明实施例提供了粒度数据的处理方法及装置，数据提供方可以提供在第一时间段内并对应于第一时间粒度的每一条数据，而前端页面进行数据展示时往往需要展示不同时间粒度的数据，以追踪不同时间段的数据变化程度，其需要的数据可能是大于第一时间粒度的数据，因此，为了满足前端页面对于不同粒度数据的需求，可以将数据提供方提供的第一时间粒度对应的每一条数据合成为大粒度的第二时间粒度对应的数据，而第一时间粒度对应的每一条数据均包括该数据的时间戳和数据内容，通过时间戳可以灵活地对数据进行选择和操作，故为了将数据提供方提供的在第一时间段内并对应于第一时间粒度的每一条数据合成更高粒度的对应于第二时间段并对应于第二时间粒度的数据，可以针对数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内，如果该数据包括的时间戳在第二时间段的时间范围内，则可将各个第一数据包括的数据内容，直接合成对应于第二时间段并对应于第二时间粒度的数据。通过上述方式，可以将小粒度的第一时间粒度的数据合成大粒度的第二时间粒度的数据，从而能够适用于第三方厂商不支持多粒度数据查询的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种粒度数据的处理方法的流程图；

图2是本发明一实施例提供的另一种粒度数据的处理方法的流程图；

图3是本发明一实施例提供的又一种粒度数据的处理方法的流程图；

图4是本发明一实施例提供的一种粒度数据的处理装置的示意图；

图5是本发明一实施例提供的另一种粒度数据的处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了粒度数据的处理方法，该方法可以包括以下步骤：

步骤101：接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，第一时间粒度为处理数据提供方所提供数据时所需的最小时间粒度；

步骤102：当需要获得对应于数据提供方并对应于第二时间段的数据时，继续当前流程，其中，第二时间段在第一时间段的时间范围内，第二时间段的时长为第二时间粒度，第二时间粒度大于第一时间粒度；

步骤103：针对数据提供方提供的、在第一时间段内的并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内；

步骤104：根据包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，该数据对应于第二时间粒度，该数据包括对应于第二时间段的时间戳和各个第一数据包括的数据内容。

在本发明实施例中，数据提供方可以提供在第一时间段内并对应于第一时间粒度的每一条数据，而前端页面进行数据展示时往往需要展示不同时间粒度的数据，以追踪不同时间段的数据变化程度，其需要的数据可能是大于第一时间粒度的数据，因此，为了满足前端页面对于不同粒度数据的需求，可以将数据提供方提供的第一时间粒度对应的每一条数据合成为大粒度的第二时间粒度对应的数据，而第一时间粒度对应的每一条数据均包括该数据的时间戳和数据内容，通过时间戳可以灵活地对数据进行选择和操作，故为了将数据提供方提供的在第一时间段内并对应于第一时间粒度的每一条数据合成更高粒度的对应于第二时间段并对应于第二时间粒度的数据，可以针对数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内，如果该数据包括的时间戳在第二时间段的时间范围内，则可将各个第一数据包括的数据内容，直接合成对应于第二时间段并对应于第二时间粒度的数据。通过上述方式，可以将小粒度的第一时间粒度的数据合成大粒度的第二时间粒度的数据，从而能够适用于第三方厂商不支持多粒度数据查询的情况。

为了便于查看数据，在本发明一实施例中，上述实施例中的数据提供方对应于一用户或一域名。

在本发明一实施例中，由于需要基于数据提供方提供的数据进行粒度数据的处理，因此，为了更方便地查看数据，数据提供方可以是一用户(比如，id：123对应的用户)，也可以是一域名(比如，域名为.com)。在数据库中，可以将每个用户或者每个域名对应的第一时间段内(比如，一天)的数据量作为一条数据。当前端页面需要进行数据展示时，可以按照用户或者域名分别进行查看，并一次性请求一整天的数据量，以便更加灵活地对数据进行处理，并避免大量数据多次请求给系统造成压力。

为了将小粒度的第一时间粒度的数据合成大粒度的第二时间时间粒度的数据，在本发明一实施例中，上述实施例中的步骤104中的根据包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，具体可以通过如下方式实现：

对于包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，根据各个第一数据中包括的时间戳，按照时间先后顺序，将各个第一数据中包括的数据内容进行累加，以合成对应于数据提供方并对应于第二时间段的数据。

在本发明一实施例中，由于第一时间粒度(比如：5分钟)对应的每一条数据所包括的时间戳均在第二时间段(比如：8:00-9:00)的时间范围内，因此可以基于每一条第一数据中包括的时间戳，并按照时间先后顺序进行排列，将包含在第二时间段的时间范围内的各个时间戳对应的数据内容进行累加，从而合成对应于数据提供方并对应于第二时间段的数据(比如，可以将8:00-9:00之间间隔5分钟的监控视频合成为8:00-9:00时间粒度为1小时的监控视频)。

为了方便数据入库，在本发明一实施例中，上述实施例中的步骤104中的根据每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，具体可以通过如下方式实现：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并转成入库格式存入目标数据库表中。

在本发明一实施例中，由于数据需要按照目标数据库表中的入库格式进行数据存储，保持存放格式一致，以避免数据提供方提供的数据不规范和解析存在问题，因此可以先基于每一条数据中包括的数据内容合成一个对应于数据提供方并对应于第二时间段的数据，再转化为目标数据库表的入库格式进行存放。

为了方便数据入库，在本发明一实施例中，上述实施例中的步骤104中的根据每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，具体可以通过如下方式实现：

根据每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容转成入库格式，合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并存入目标数据库表中。

在本发明一实施例中，由于数据需要按照目标数据库表中的入库格式进行数据存储，保持存放格式一致，以避免数据提供方提供的数据不规范和解析存在问题，因此可以先将各个第一数据包括的数据内容转成入库格式，再基于转化格式后的各个第一数据包括的数据内容合成一个对应于数据提供方并对应于第二时间段的数据，再转化为目标数据库表的入库格式进行存放。

为了实现数据合成，在本发明一实施例中，进一步包括：

存储接收到的每一条数据；

存储已合成的每一条数据；

当需要获得对应于数据提供方并对应于第三时间段的数据时，继续当前流程，第三时间段在第一时间段的时间范围内，第三时间段的时长为第三时间粒度，第三时间粒度大于第一时间粒度；

对于已存储的对应于数据提供方且在第一时间段内的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于第三时间粒度并大于第一时间粒度的目标时间粒度，且第三时间粒度是目标时间粒度的整数倍，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于数据提供方和最大时间粒度的每一个数据，分别判断该数据包括的时间戳是否在第三时间段内；

根据包括的时间戳在第三时间段内且对应于数据提供方和最大时间粒度的每一个目标数据，合成对应于数据提供方并对应于第三时间段的数据，该数据对应于第三时间粒度，该数据包括对应于第三时间段的时间戳和各个目标数据包括的数据内容。

在本发明一实施例中，当需要获得的数据为第三时间段(比如8:00-8:20)的数据时，由于第三时间段位于第一时间段(比如，1天)的时间范围内，第三时间粒度(比如：20分钟)大于第一时间粒度(比如：5分钟)，则可以在数据提供方提供的各个数据中确定出各个数据对应的时间粒度，并确定小于第三时间粒度并大于第一时间粒度的最大时间粒度作为目标时间粒度(比如：10分钟)，可以通过将间隔10分钟的数据内容合成为间隔20分钟的数据内容，而不需要将间隔5分钟的数据内容合成为间隔20分钟的数据内容，进而减少了数据的处理量。

若各个目标数据仅可组成需合成数据的部分而非全部，剩余部分仍可通过最小时间粒度对应的相关数据进行合成，或者通过其他中等大小时间粒度对应的相关数据进行合成。

通过使用本发明，可以对小粒度数据进行批量转换，合成为大粒度数据，并且存储方式灵活、全面，便于取用和操作。如果公司统一采用本发明格式存储此类粒度数据，在此基础上将转换方法统一封装，其他团队直接调用即可，能够提升开发效率。

如图2所示，为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供了粒度数据的处理方法进行详细说明，具体可以包括以下步骤：

步骤201：接收外部的一用户提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，第一时间粒度为处理一用户所提供数据时所需的最小时间粒度。

举例来说，假设用户id：123对应的用户，第一时间段为1天，第一时间粒度为5分钟，每一条数据可以为8:00对应的一段5分钟的监控视频，则用户提供的数据即为一天内间隔5分钟的监控视频。

步骤202：存储接收到的每一条数据。

步骤203：当需要获得对应于一用户并对应于第二时间段的数据时，继续当前流程，其中，第二时间段在第一时间段的时间范围内，第二时间段的时长为第二时间粒度，第二时间粒度大于第一时间粒度。

步骤204：针对一用户提供的、在第一时间段内的并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内。

举例来说，假设第二时间段为8:00-9:00，则第二时间段在第一时间段的范围内，第二时间粒度为1小时，且第二时间粒度大于第一时间粒度。

步骤205：对于包括的时间戳在第二时间段内且对应于一用户和第一时间粒度的每一条第一数据，根据各个第一数据中包括的时间戳，按照时间先后顺序，将各个第一数据中包括的数据内容进行累加，合成对应于一用户并对应于第二时间段的数据，该数据对应于第二时间粒度，该数据包括对应于第二时间段的时间戳和各个第一数据包括的数据内容，其中，第一数据包括的时间戳在第二时间段的时间范围内。

步骤206：转成入库格式存入目标数据库表中。

举例来说，假设第一数据包括：8:00对应的一段间隔五分钟的监控视频，8:05对应的一段间隔5分钟的监控视频，则可以将8:00-9:00内各个间隔为5分钟的时间戳按照先后顺序进行排列，并将对应的数据内容进行累加，即得到8:00-9:00时间粒度为1小时的监控视频。

步骤207：存储已合成的每一条数据。

步骤208：当需要获得对应于一用户并对应于第三时间段的数据时，继续当前流程，第三时间段在第一时间段的时间范围内，第三时间段的时长为第三时间粒度，第三时间粒度大于第一时间粒度。

步骤209：对于已存储的对应于一用户且在和第一时间段内的各个数据，确定这些数据对应的时间粒度。

举例来说，假设第三时间段为8:00-8:30，则8:00-8:30在第一时间段的时间范围内，第三时间粒度为30分钟。可以假设已存储的第一时间段的各个数据的时间粒度为5分钟、10分钟、20分钟。

步骤210：判断确定出的这些时间粒度中，是否包括小于所述第三时间粒度并大于第一时间粒度的目标时间粒度，且第三时间粒度是目标时间粒度的整数倍。若是，执行步骤211。

步骤211：取这些目标时间粒度中的最大时间粒度。

举例来说，从已存储的第一时间段的各个数据的时间粒度中，可以确定出存在小于第三时间粒度并大于第一时间粒度的目标时间粒度，即10分钟和20分钟，可以取出目标时间粒度中的最大时间粒度20分钟。

步骤212：针对对应于一用户和最大时间粒度且在第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在第三时间段内。

举例来说，8:00-9:00之间间隔20分钟的时间戳为8:00、8:20、8:40、9:00，各个时间戳均包含在第三时间段内。

步骤213：根据包括的时间戳在第三时间段内且对应于一用户和最大时间粒度的每一个目标数据，合成对应于一用户并对应于第三时间段的数据，该数据对应于第三时间粒度，该数据包括对应于第三时间段的时间戳和各个目标数据包括的数据内容。

举例来说，则可以将8:00-9:00之间间隔为20分钟的各个目标数据对应的数据内容合成为8:00-9:00时间粒度为1小时的数据，而不需要通过间隔为5分钟的各个数据对应的数据内容进行合成，从而可以减少数据处理的工作量。

如图3所示，为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供了另一种粒度数据的处理方法进行详细说明，具体可以包括以下步骤：

步骤301：接收外部的一域名提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，第一时间粒度为处理一用户所提供数据时所需的最小时间粒度。

步骤302：存储接收到的每一条数据。

步骤303：当需要获得对应于一域名并对应于第二时间段的数据时，继续当前流程，其中，第二时间段在第一时间段的时间范围内，第二时间段的时长为第二时间粒度，第二时间粒度大于第一时间粒度。

步骤304：针对一域名提供的、在第一时间段内的并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内。

步骤305：对于包括的时间戳在第二时间段内且对应于一用户和第一时间粒度的每一条第一数据，根据各个第一数据中包括的时间戳，按照时间先后顺序，将各个第一数据包括的数据内容转成入库格式。

步骤306：将转换入库格式的各个第一数据包括的数据内容进行累加，合成为一个对应于一域名并对应于第二时间段的数据，存入目标数据库表中，该数据对应于第二时间粒度，该数据包括对应于第二时间段的时间戳和各个第一数据包括的数据内容，其中，第一数据包括的时间戳在第二时间段的时间范围内。

步骤307：存储已合成的每一条数据。

步骤308：当需要获得对应于一域名并对应于第三时间段的数据时，继续当前流程，第三时间段在第一时间段的时间范围内，第三时间段的时长为第三时间粒度，第三时间粒度大于第一时间粒度，

步骤309：对于已存储的对应于一域名和第一时间段的各个数据，确定这些数据对应的时间粒度。

步骤310：判断确定出的这些时间粒度中，是否包括小于第三时间粒度并大于第一时间粒度的目标时间粒度，且第三时间粒度是所述目标时间粒度的整数倍，若是，执行步骤311。

步骤311：取这些目标时间粒度中的最大时间粒度。

步骤312：针对对应于一域名和所述最大时间粒度且在第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在第三时间段内。

步骤313：根据包括的时间戳在第三时间段内且对应于一域名和最大时间粒度的每一个目标数据，合成对应于一域名并对应于第三时间段的数据，该数据对应于第三时间粒度，该数据包括对应于第三时间段的时间戳和各个目标数据包括的数据内容。

如图4所示，本发明实施例提供了粒度数据的处理装置，包括：

接收模块401，用于接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，第一时间粒度为处理数据提供方所提供数据时所需的最小时间粒度；

判断模块402，用于当需要获得对应于数据提供方并对应于第二时间段的数据时，针对数据提供方提供的、在第一时间段内的并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内，其中，第二时间段在第一时间段的时间范围内，第二时间段的时长为第二时间粒度，第二时间粒度大于第一时间粒度；

第一处理模块403，用于根据包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，合成对应于数据提供方并对应于第二时间段的数据，该数据对应于第二时间粒度，该数据包括对应于第二时间段的时间戳和各个第一数据包括的数据内容。

在本发明实施例中，数据提供方可以提供在第一时间段内并对应于第一时间粒度的每一条数据，而前端页面进行数据展示时往往需要展示不同时间粒度的数据，以追踪不同时间段的数据变化程度，其需要的数据可能是大于第一时间粒度的数据，因此，为了满足前端页面对于不同粒度数据的需求，可以将接收接收到的数据提供方提供的第一时间粒度对应的每一条数据合成为大粒度的第二时间粒度对应的数据，而第一时间粒度对应的每一条数据均包括该数据的时间戳和数据内容，通过时间戳可以灵活地对数据进行选择和操作，故为了将数据提供方提供的在第一时间段内并对应于第一时间粒度的每一条数据合成更高粒度的对应于第二时间段并对应于第二时间粒度的数据，可以针对数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，分别通过判断模块判断该数据包括的时间戳是否在第二时间段的时间范围内，如果该数据包括的时间戳在第二时间段的时间范围内，则可通过第一处理模块将各个第一数据包括的数据内容，直接合成对应于第二时间段并对应于第二时间粒度的数据。通过上述方式，可以将小粒度的第一时间粒度的数据合成大粒度的第二时间粒度的数据，从而能够适用于第三方厂商不支持多粒度数据查询的情况。

在本发明一实施例中，第一处理模块403，用于对于包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，根据各个第一数据中包括的时间戳，按照时间先后顺序，将各个第一数据中包括的数据内容进行累加，以合成对应于数据提供方并对应于第二时间段的数据。

在本发明一实施例中，第一处理模块403，用于对于包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，将各个第一数据包括的数据内容合成为一个对应于数据提供方并对应于第二时间段的数据，并转成入库格式存入目标数据库表中。

在本发明实施例中，第一处理模块403，用于对于包括的时间戳在第二时间段内且对应于数据提供方和第一时间粒度的每一条第一数据，将各个第一数据包括的数据内容转成入库格式，合成为一个对应于数据提供方并对应于第二时间段的数据，并存入目标数据库表中。

基于图4所示的粒度数据处理装置，如图5所示，在本发明一实施例中，进一步包括：

第一存储模块404，用于存储接收到的每一条数据；

第二存储模块405，用于存储已合成的每一条数据；

第二处理模块406，用于执行：

当需要获得对应于数据提供方并对应于第三时间段的数据时，继续当前流程，第三时间段在第一时间段的时间范围内，第三时间段的时长为第三时间粒度，第三时间粒度大于第一时间粒度；对于已存储的对应于数据提供方和第一时间段的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于第三时间粒度并大于第一时间粒度的目标时间粒度，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于数据提供方和最大时间粒度的每一个数据，分别判断该数据包括的时间戳是否在第三时间段内；

根据包括的时间戳在第三时间段内且对应于数据提供方和最大时间粒度的每一个目标数据，合成对应于数据提供方并对应于第三时间段的数据，该数据对应于第三时间粒度，该数据包括对应于第三时间段的时间戳和各个目标数据包括的数据内容。

可以理解的是，本发明实施例示意的结构并不构成对粒度数据的处理装置的具体限定。在本发明的另一些实施例中，粒度数据的处理装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了粒度数据的处理装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行本发明任一实施例中的粒度数据的处理方法。

本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明任一实施例中的粒度数据的处理方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

本发明各个实施例至少具有如下有益效果：

1、在本发明实施例中，数据提供方可以提供在第一时间段内并对应于第一时间粒度的每一条数据，而前端页面进行数据展示时往往需要展示不同时间粒度的数据，以追踪不同时间段的数据变化程度，其需要的数据可能是大于第一时间粒度的数据，因此，为了满足前端页面对于不同粒度数据的需求，可以将数据提供方提供的第一时间粒度对应的每一条数据合成为大粒度的第二时间粒度对应的数据，而第一时间粒度对应的每一条数据均包括该数据的时间戳和数据内容，通过时间戳可以灵活地对数据进行选择和操作，故为了将数据提供方提供的在第一时间段内并对应于第一时间粒度的每一条数据合成更高粒度的对应于第二时间段并对应于第二时间粒度的数据，可以针对数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在第二时间段的时间范围内，如果该数据包括的时间戳在第二时间段的时间范围内，则可将各个第一数据包括的数据内容，直接合成对应于第二时间段并对应于第二时间粒度的数据。通过上述方式，可以将小粒度的第一时间粒度的数据合成大粒度的第二时间粒度的数据，从而能够适用于第三方厂商不支持多粒度数据查询的情况；

2、在本发明一实施例中，由于需要基于数据提供方提供的数据进行粒度数据的处理，因此，为了更方便地查看数据，数据提供方可以是一用户(比如，id：123对应的用户)，也可以是一域名(比如，域名为.com)。在数据库中，可以将每个用户或者每个域名对应的第一时间段内(比如，一天)的数据量作为一条数据。当前端页面需要进行数据展示时，可以按照用户或者域名分别进行查看，并一次性请求一整天的数据量，以便更加灵活地对数据进行处理，并避免大量数据多次请求给系统造成压力；

3、在本发明一实施例中，由于第一时间粒度(比如：5分钟)对应的每一条数据所包括的时间戳均在第二时间段(比如：8:00-9:00)的时间范围内，因此可以基于每一条第一数据中包括的时间戳，并按照时间先后顺序进行排列，将包含在第二时间段的时间范围内的各个时间戳对应的数据内容进行累加，从而合成对应于数据提供方并对应于第二时间段的数据(比如，可以将8:00-9:00之间间隔5分钟的监控视频合成为8:00-9:00时间粒度为1小时的监控视频)。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.粒度数据的处理方法，其特征在于，包括：

接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，所述每一条数据均包括该数据的时间戳和数据内容，所述第一时间粒度为处理所述数据提供方所提供数据时所需的最小时间粒度；

当需要获得对应于所述数据提供方并对应于第二时间段的数据时，继续当前流程，其中，所述第二时间段在所述第一时间段的时间范围内，所述第二时间段的时长为第二时间粒度，所述第二时间粒度大于所述第一时间粒度；

针对所述数据提供方提供的、在所述第一时间段内的并对应于所述第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在所述第二时间段的时间范围内；

根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，该数据对应于所述第二时间粒度，该数据包括对应于所述第二时间段的时间戳和各个所述第一数据包括的数据内容。

2.根据权利要求1所述的方法，其特征在于，

所述数据提供方对应于一用户或一域名。

3.根据权利要求1所述的方法，其特征在于，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，根据各个所述第一数据中包括的时间戳，按照时间先后顺序，将各个所述第一数据中包括的数据内容进行累加，以合成对应于所述数据提供方并对应于所述第二时间段的数据。

4.根据权利要求1所述的方法，其特征在于，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并转成入库格式存入目标数据库表中；

和/或，

所述根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，包括：

对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容转成入库格式，合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并存入目标数据库表中。

5.根据权利要求1所述的方法，其特征在于，

进一步包括：存储接收到的所述每一条数据；

存储已合成的所述每一条数据；

当需要获得对应于所述数据提供方并对应于第三时间段的数据时，继续当前流程，所述第三时间段在所述第一时间段的时间范围内，所述第三时间段的时长为第三时间粒度，所述第三时间粒度大于所述第一时间粒度；

对于已存储的对应于所述数据提供方且在所述第一时间段内的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于所述第三时间粒度并大于所述第一时间粒度的目标时间粒度，且所述第三时间粒度是所述目标时间粒度的整数倍，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于所述数据提供方和所述最大时间粒度且在所述第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在所述第三时间段内；

根据包括的时间戳在所述第三时间段内且对应于所述数据提供方和所述最大时间粒度的每一个目标数据，合成对应于所述数据提供方并对应于所述第三时间段的数据，该数据对应于所述第三时间粒度，该数据包括对应于所述第三时间段的时间戳和各个所述目标数据包括的数据内容。

6.粒度数据的处理装置，其特征在于，包括：

接收模块，用于接收外部的数据提供方提供的、在第一时间段内并对应于第一时间粒度的每一条数据，其中，每一条数据均包括该数据的时间戳和数据内容，所述第一时间粒度为处理所述数据提供方所提供数据时所需的最小时间粒度；

判断模块，用于当需要获得对应于所述数据提供方并对应于第二时间段的数据时，针对所述数据提供方提供的、在所述第一时间段内的并对应于所述第一时间粒度的每一条数据，分别判断该数据包括的时间戳是否在所述第二时间段的时间范围内，其中，所述第二时间段在所述第一时间段的时间范围内，所述第二时间段的时长为第二时间粒度，所述第二时间粒度大于所述第一时间粒度；

第一处理模块，用于根据包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，合成对应于所述数据提供方并对应于所述第二时间段的数据，该数据对应于所述第二时间粒度，该数据包括对应于所述第二时间段的时间戳和各个所述第一数据包括的数据内容。

7.根据权利要求6所述的装置，其特征在于，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，根据各个所述第一数据中包括的时间戳，按照时间先后顺序，将各个所述第一数据中包括的数据内容进行累加，以合成对应于所述数据提供方并对应于所述第二时间段的数据。

8.根据权利要求6所述的装置，其特征在于，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并转成入库格式存入目标数据库表中。

9.根据权利要求6所述的装置，其特征在于，

所述第一处理模块，用于对于包括的时间戳在所述第二时间段内且对应于所述数据提供方和所述第一时间粒度的每一条第一数据，将各个所述第一数据包括的数据内容转成入库格式，合成为一个对应于所述数据提供方并对应于所述第二时间段的数据，并存入目标数据库表中。

10.根据权利要求6所述的装置，其特征在于，

进一步包括：

第一存储模块，用于存储接收到的所述每一条数据；

第二存储模块，用于存储已合成的所述每一条数据；

第二处理模块，用于执行：

当需要获得对应于所述数据提供方并对应于第三时间段的数据时，继续当前流程，所述第三时间段在所述第一时间段的时间范围内，所述第三时间段的时长为第三时间粒度，所述第三时间粒度大于所述第一时间粒度；

对于已存储的对应于所述数据提供方且在所述第一时间段内的各个数据，确定这些数据对应的时间粒度；

判断确定出的这些时间粒度中，是否包括小于所述第三时间粒度并大于所述第一时间粒度的目标时间粒度，且所述第三时间粒度是所述目标时间粒度的整数倍，若是，取这些目标时间粒度中的最大时间粒度；

针对对应于所述数据提供方和所述最大时间粒度且在所述第一时间段内的每一个数据，分别判断该数据包括的时间戳是否在所述第三时间段内；

根据包括的时间戳在所述第三时间段内且对应于所述数据提供方和所述最大时间粒度的每一个目标数据，合成对应于所述数据提供方并对应于所述第三时间段的数据，该数据对应于所述第三时间粒度，该数据包括对应于所述第三时间段的时间戳和各个所述目标数据包括的数据内容。

Images