CN108809704B - 基于动态时间窗的数据去重统计方法及装置 - Google Patents

Abstract

本发明公开了一种基于动态时间窗的数据去重统计方法及装置。其中，方法包括：根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值，实现了实时进行数据去重统计，从而满足对实时性要求较高的统计场景的需求，进一步提高了去重统计的精准度，克服了现有去重统计方法去重统计结果精准度低的缺陷，灵活设置动态时间窗的时长，使得统计更为灵活。

Description

基于动态时间窗的数据去重统计方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于动态时间窗的数据去重统计方法及装置。

背景技术

目前很多业务场景都需要统计某个时间周期内的去重统计值(count distinct)。例如安全系统可能会统计一台电脑上最近1天有多少个用户登录，用于进行安全防控；再例如广告系统可能会统计最近3分钟某个网页有多少用户访问，用于进行收费。

目前现有技术主要采用的以下去重方案：

方案1：在数据量不大的场景，可以通过记录每一条数据明细的方式将明细数据进行存储。当需要对某个时间段的某个字段进行去重统计的时候，直接通过数据库实时统计获取，类似使用下面这样的SQL:

然而，这种方案只适用于数据非常小的场景。当数据量稍微增大后，该方案对数据库以及耗时会无限增长，甚至可能把数据库拖挂。

方案2：通过离线数据统计等离线清洗的方式，进行每日清洗，清洗出特定字段的去重统计值，并将清洗出的值进行存储，供后续使用。然而，该方案为非实时数据统计，而且该方案只能支持到每日更新或每个小时更新，如果需要做到实时数据统计(例如上一秒的访问，下一秒就需要统计进去)是无法支持的。

方案3:通过使用基数估计等算法方法进行去重统计，基数估计算法有多种算法，但都没有办法做到精准数据去重统计。

因此，上述方案仅适用于对统计的精准度要求不高，能够容忍时间窗固定(即起始时间和截止时间都是固定的，不可更改)或者非精准去重统计场景，无法适用于高灵活、高精准的场景。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于动态时间窗的数据去重统计方法及装置。

根据本发明的一个方面，提供了一种基于动态时间窗的数据去重统计方法，包括：

根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；

接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；

根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。

可选地，在实时地修改与数据产生时间关联的多个时间粒度对应的统计值之后，方法还包括：记录特定字段的字段值与数据产生时间的对应关系。

可选地，根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值进一步包括：

判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间；

若否，则将与实时数据的数据产生时间关联的多个时间粒度对应的统计值加1；

若是，则将与实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间关联的多个时间粒度对应的统计值减1。

可选地，查询覆盖动态时间窗的多个时间粒度对应的统计值进一步包括：

按照时间粒度对动态时间窗进行拆分处理，得到覆盖动态时间窗的多个时间粒度；

查询覆盖动态时间窗的多个时间粒度对应的统计值。

可选地，在实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值之后，方法还包括：

将修改得到的多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

可选地，存储介质包含：Hbase数据库或MySQL数据库或Redis数据库。

可选地，时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

根据本发明的另一方面，提供了一种基于动态时间窗的数据去重统计装置，包括：

修改模块，适于根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；

接收模块，适于接收携带有动态时间窗的去重统计请求；

查询模块，适于查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；

计算模块，适于根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。

可选地，装置还包括：记录模块，适于记录特定字段的字段值与数据产生时间的对应关系。

可选地，修改模块进一步适于：判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间；

若否，则将与实时数据的数据产生时间关联的多个时间粒度对应的统计值加1；

若是，则将与实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间关联的多个时间粒度对应的统计值减1。

可选地，查询模块进一步适于：按照时间粒度对动态时间窗进行拆分处理，得到覆盖动态时间窗的多个时间粒度；

查询覆盖动态时间窗的多个时间粒度对应的统计值。

可选地，装置还包括：存储模块，适于将修改得到的多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

可选地，存储介质包含：Hbase数据库或MySQL数据库或Redis数据库。

可选地，时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于动态时间窗的数据去重统计方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于动态时间窗的数据去重统计方法对应的操作。

根据本发明提供的方案，根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。基于本发明提供的方案，针对所产生的数据，能够实现实时进行数据去重统计，从而满足对实时性要求较高的统计场景的需求，另外，基于覆盖动态时间窗的多个时间粒度确定统计值，提高了去重统计的精准度，克服了现有去重统计方法去重统计结果精准度低的缺陷，而且使得具有统计需求的用户能够根据实际需求设定统计时长，更为灵活。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的基于动态时间窗的数据去重统计方法的流程示意图；

图2示出了根据本发明另一个实施例的基于动态时间窗的数据去重统计方法的流程示意图；

图3A-图3D示出了通过去重树展示实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值的过程示意图；

图4示出了根据本发明一个实施例的基于动态时间窗的数据去重统计装置的结构示意图；

图5示出了根据本发明一个实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的基于动态时间窗的数据去重统计方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤S100，根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值。

在本发明实施例中，特定字段是数据去重统计方法的统计依据，根据特定字段可以确定数据是否重复，例如，特定字段可以是用户标识，其中，用户标识可以作为统计独立访客数的统计依据，其中，独立访客数可以作为统计访问网页的去重统计依据，还可以作为观看视频的去重统计依据；还可以是IP地址，其中，IP地址可以作为统计独立IP数的统计依据，此外，特定字段还可以是搜索关键词等等，这里不再一一列举，本领域技术人员可以根据实际统计场景的需求设定特定字段，此处不做具体限定。

与实时数据的数据产生时间关联的多个时间粒度指与数据产生时间相对应的时间粒度类型的时间值，其中，时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

下面结合实例具体说明与实时数据的数据产生时间关联的多个时间粒度：例如，数据产生时间为2018年2月25日11:30:25，那么与该时间相关联的时间粒度为年时间粒度2018年、月时间粒度2月、日时间粒度25日、小时时间粒度11时、分钟时间粒度30分钟、秒钟时间粒度25秒，再例如，数据产生时间为2018年2月25日14:11:15，那么与该时间相关联的时间粒度为年时间粒度2018年、月时间粒度2月、日时间粒度25日、小时时间粒度14时、分钟时间粒度11分钟、秒钟时间粒度15秒。

因此，可以根据数据产生时间：2018年2月25日11:30:25、2018年2月25日14:11:15，修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值。

步骤S101，接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值。

具体地，实时去重统计平台的前端与用户进行交互，根据用户输入的动态时间窗进行查询，例如，向用户展示输入界面，供用户输入或选择动态时间窗的起始时间，另外，实时去重统计平台默认动态时间窗的截止时间为当前时间，因而，实时去重统计平台可以根据系统时间实时调整截止时间。其中，动态时间窗的起始时间为任意指定时间(本领域技术人员可以根据实际统计需求进行设定)、截止时间为当前时间，也就是说，本发明实施例支持查询任意时间到当前时间的去重统计值。

用户输入或选择了起始时间或者在选择起始时间后点击确认按钮后，即可视为发送了去重统计请求，接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值。

步骤S102，根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。

在根据步骤S101查询到覆盖动态时间窗的多个时间粒度对应的统计值之后，根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值，具体地，将覆盖动态时间窗的多个时间粒度对应的统计值相加，相加之后得到的数值即为动态时间窗对应的去重统计值。

根据本发明上述实施例提供的方法，根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。基于本发明提供的方案，针对所产生的数据，能够实现实时进行数据去重统计，从而满足对实时性要求较高的统计场景的需求，另外，基于覆盖动态时间窗的多个时间粒度确定统计值，提高了去重统计的精准度，克服了现有去重统计方法去重统计结果精准度低的缺陷，而且使得具有统计需求的用户能够根据实际需求设定统计时长，更为灵活。

图2示出了根据本发明另一个实施例的基于动态时间窗的数据去重统计方法的流程示意图。在本发明实施例中，将以特定字段为用户标识、统计网页1(page1)的独立访客数为例，详细介绍基于动态时间窗的数据去重统计方法的实现过程，如图2所示，该方法包括以下步骤：

步骤S200，判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间，若否，则执行步骤S201；若是，则执行步骤S202。

特定字段的字段值为各个用户的用户标识，例如，用户标识a、b、c，实时数据及历史数据是针对一个用户而言，是该用户访问网页后所产生的数据，由于本发明实施例是统计用户访问网页的去重数，因此，首先需要判断该用户之前是否访问过该网页，具体地，判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间，若未记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间，则执行步骤S201；若记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间，则执行步骤S202。

为了能够清楚地说明基于动态时间窗的数据去重统计方法，本发明实施例通过构造一棵逻辑上的去重树(仅是形象地体现本发明的一种实现方式)，该去重树的节点在层级上共有四层：第一层节点代表天，第二层节点代表小时，第三层节点代表分钟，第四层节点代表秒。每天都是一棵独立的去重树，不同的天对应不同的去重树，去重树上的每个节点对应的数值代表这个节点所覆盖时间窗内用户的去重数，其中，第一层仅设置有一个天节点，第二层设置有24个小时节点，分别是00h～23h节点，第三层节点为分钟节点，每个小时节点下设置60个分钟节点，分别是00M～59M，第四层节点为秒钟节点，每个分钟节点下设置60个秒钟节点，分别是00S～59S。当天还没有用户访问网页时，所有的节点的统计值都为0，当有用户访问网页后，会根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值，虽然，是每天构造一棵去重树，但本发明实施例可以用于跨天去重统计，还可以用于统计一个月、几个月、甚至一年的去重数。

步骤S201，将与实时数据的数据产生时间关联的多个时间粒度对应的统计值加1。

若根据步骤S200判断出未记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间的情况下，说明该用户之前并未访问过网页，因此，在获取到携带有数据产生时间的实时数据后，可以将与实时数据的数据产生时间关联的多个时间粒度对应的统计值加1。

举例说明，监测到用户a在2018年2月25日00:00:00时访问了page1，根据步骤S200判断未记录有与实时数据的特定字段的用户a相同的历史数据的数据产生时间，则将与2018年2月25日00:00:00关联的多个时间粒度(日时间粒度25日、小时时间粒度00时、分钟时间粒度00分钟、秒钟时间粒度00秒)对应的统计值加1，代表有一个不重复的值增加，如图3A所示。

监测到用户b、c在2018年2月25日00:00:01时访问了page1，根据步骤S200判断未记录有与实时数据的特定字段的用户b、c相同的历史数据的数据产生时间，则针对用户b、c，将与2018年2月25日00:00:01关联的多个时间粒度(日时间粒度25日、小时时间粒度00时、分钟时间粒度00分钟、秒钟时间粒度01秒)对应的统计值加1，也就是说，00:00:01秒、00:00分、00时以及25日的节点的统计值都增加2，代表新增加了2个与众不同的值，所以此时00分的统计值为3(代表00分有3个不重复的记录)，00时与25日的节点的统计值也为3(分别表示00时、25日有3个不重复的记录)如图3B所示。

步骤S202，将与实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间关联的多个时间粒度对应的统计值减1。

若根据步骤S200判断出记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间的情况下，说明该用户之前访问过网页，由于是统计网页的独立访客数，针对一个用户，仅统计一次，为了能够准确地统计去重数，在获取到携带有数据产生时间的实时数据后，可以将与实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间关联的多个时间粒度对应的统计值减1，保证一个用户仅被统计一次。

举例说明，监测到用户b在2018年2月25日00:59:00时再次访问了page1，根据步骤S200判断记录有与实时数据的特定字段的用户b相同的历史数据的数据产生时间(2018年2月25日00:00:01)，说明用户b曾经访问过网页，由于是统计去重数，因此，针对用户b，将与2018年2月25日00:59:00关联的多个时间粒度(日时间粒度25日、小时时间粒度00时、分钟时间粒度59分钟、秒钟时间粒度00秒)对应的统计值加1，并将与2018年2月25日00:00:01关联的多个时间粒度(日时间粒度25日、小时时间粒度00时、分钟时间粒度00分钟、秒钟时间粒度01秒)对应的统计值减1，如图3C所示。

监测到用户b在2018年2月25日23:59:59时再次访问了page1，根据步骤S200判断记录有与实时数据的特定字段的用户b相同的历史数据的数据产生时间(2018年2月25日00:59:00)，说明用户b曾经访问过网页，由于是统计去重数，因此，针对用户b，将与2018年2月25日23:59:59关联的多个时间粒度(日时间粒度25日、小时时间粒度23时、分钟时间粒度59分钟、秒钟时间粒度59秒)对应的统计值加1，并将与2018年2月25日00:59:00关联的多个时间粒度(日时间粒度25日、小时时间粒度00时、分钟时间粒度59分钟、秒钟时间粒度00秒)对应的统计值减1，如图3D所示。

步骤S203，将修改得到的多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

在实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值之后，可以将修改得到的多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中，其中，存储介质包含：Hbase数据库或MySQL数据库或Redis数据库等。

下面将以存储介质是Hbase数据库为例，详细介绍将修改得到的多个时间粒度及各时间粒度对应的统计值存储至Hbase数据库中的详细过程：

Hbase数据库是一种分布式、面向列的存储系统，支持实时读写、随机访问超大规模数据，HBase以表的形式存储数据，表由行和列组成，列划分为若干个列族。将修改得到的多个时间粒度及各时间粒度对应的统计值，存储至相应的表中，具体地，建立一个天和小时表，即，将天、小时节点存储在一个Rowkey下，共有天、00小时～23小时共25列，多天的数据也存储在同一个Rowkey下，由不同的时间戳(timestamp，简称为ts)进行区分。建立一个分钟和秒钟表，将每个小时的分节点、秒节点存储在一个Rowkey下，共有分、00秒～59秒共61列，共有60个version代表这个小时内的60分钟，由不同的ts制定具体的分钟数，通过这样的存储设计，可以大大降低I/O次数。另外，若某列/行上所有时间窗对应的统计值都为0，则不存储该列/行，由此可以节省很多存储空间。

结合上面实例具体说明存储过程：

用户a在20180225 00:00:00时访问page1，在天和小时表中存储的数据如表1所示，在分钟和秒钟表中存储的数据如表2所示：

表1，天和小时表:

Rowkey	day	00hour	ts
				page1	1	1	20180225

表2，分钟和秒钟表:

Rowkey	min	00sec	ts
				page1_00小时	1	1	20180225 00:00

并在Tair数据库中存储用户a及上一次访问网页的时间2018022500:00:00。

用户b、c在20180225 00:00:01时访问page1，对表1：天和小时表、表2：分钟和秒钟表中的数据进行修改，修改后的表1、表2如下所示：

表1，天和小时表:

Rowkey	day	00hour	ts
				page1	3	3	20180225

表2，分钟和秒表:

Rowkey	min	00sec	01sec	ts
					page1_00小时	3	1	2	20180225 00:00

并在Tair数据库中存储用户b、c及上一次访问网页的时间2018022500:00:01。

用户b在20180225 00:59:00时访问page1，发现用户b在2018022500:00:01时访问过page1，因此会将与实时数据产生时间(20180225 00:59:00)关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间(20180225 00:00:01)关联的多个时间粒度对应的统计值减1，具体地，修改后的表1、表2如下所示：

表1，天和小时表:

Rowkey	day	00hour	ts
				page1	3	3	20180225

表2，分钟和秒表:

Rowkey	min	00sec	01sec	ts
					page1_00小时	2	1	1	20180225 00:00
page1_00小时	1	1	-	20180225 00:59

并在Tair数据库中更新用户b上一次访问网页的时间20180225 00:59:00。

用户b在23:59:59时再次访问page1，发现用户b在20180225 00:59:00时访问过page1，因此会将与实时数据产生时间(20180225 00:59:00)关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间(2018022500:59:00)关联的多个时间粒度对应的统计值减1，具体地，修改后的表1、表2如下所示：

表1，天和小时表:

Rowkey	day	00hour	23hour	ts
					page1	3	2	1	20180225

表2，分钟和秒表:

Rowkey	min	00sec	01sec	59sec	ts
						page1_00小时	2	1	1	-	20180225 00:00
page1_00小时	0	0	-	-	20180225 00:59
						Page1_23小时	1	-	-	1	20180225 23:59

并在Tair数据库中更新用户b上一次访问网页的时间20180225 23:59:59。

这里不再详细介绍将修改得到的多个时间粒度及各时间粒度对应的统计值存储至MySQL数据库或Redis数据库的具体过程。

步骤S204，记录特定字段的字段值与数据产生时间的对应关系。

在根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值之后，需要记录特定字段的字段值与数据产生时间的对应关系，以便于后续判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间，具体地，在Tair数据库中存储用户标识与数据产生时间，例如，在Tair数据库中存储用户a及上一次访问网页的时间20180225 00:00:00；在Tair数据库中存储用户b、c及上一次访问网页的时间20180225 00:00:01；用户b再次访问网页后，在Tair数据库中更新用户b及上一次访问网页的时间20180225 00:59:00；用户b再次访问网页后，在Tair数据库中更新用户b及上一次访问网页的时间2018022523:59:59，也就是说，记录的是特定字段的字段值与最新的数据产生时间的对应关系。

在本发明实施例中，并不具体限定步骤S203和步骤S204的执行顺序，可以同时执行步骤S203和步骤S204，也可以先执行步骤S204再执行步骤S203。

步骤S205，接收携带有动态时间窗的去重统计请求，按照时间粒度对动态时间窗进行拆分处理，得到覆盖动态时间窗的多个时间粒度。

具体地，实时去重统计平台的前端与用户进行交互，根据用户输入的动态时间窗进行查询，例如，向用户展示输入界面供用户输入或选择动态时间窗的起始时间，另外，实时去重统计平台默认动态时间窗的截止时间为当前时间，因而，实时去重统计平台可以根据系统时间实时调整截止时间。其中，动态时间窗的起始时间为任意指定时间(本领域技术人员可以根据实际统计需求进行设定)、截止时间为当前时间，也就是说，本发明实施例支持查询任意时间到当前时间的去重统计值。

在接收到携带有动态时间窗的去重统计请求之后，对动态时间窗进行拆分处理，是为了获取一个最优的时间查询组合，以便于查询统计值，具体地，按照时间粒度对动态时间窗进行拆分处理。

举例说明，动态时间窗为2018年2月25日12:56:54-16:00:10，则按照时间粒度对动态时间窗进行拆分处理，得到覆盖动态时间窗的多个时间粒度如下：年时间粒度2018，月时间粒度2，日时间粒度25，小时时间粒度：13、14、15、16，分钟时间粒度：57、58、59，秒钟时间粒度：55、56、57、58、59。

步骤S206，查询覆盖动态时间窗的多个时间粒度对应的统计值。

在对动态时间窗拆分处理得到覆盖动态时间窗的多个时间粒度之后，可以查询Hbase数据库中，相应的表中的时间粒度对应的统计值，例如，接收到的去重统计请求中所携带的动态时间窗为20180225 00:00:01-20180225 23:59:59(当前时间)，通过对动态时间窗20180225 00:00:01-20180225 23:59:59进行拆分，得到覆盖动态时间窗的多个时间粒度：2018年，2月，25日，00hour、01hour～23hour，00:01min、00:02min～00:59min，01sec、02sec～59sec。

具体通过以下查询得到覆盖动态时间窗的多个时间粒度对应的统计值：

1.查询“分钟和秒表”中Rowkey是“”page1_00小时”，ts是“20180225 00:00”的01sec、02sec～59sec的值，得到结果为1；

2.查询“分钟和秒表”中Rowkey是“page1_00小时”，ts是“20180225 00:01”-“20180225 00:59”的min这一列的数据，得到的结果为0；

3.查询“天和小时表”中page1这个Rowkey的00hour、01hour、…23hour的值，得到的结果为1。

再例如，接收到的去重统计请求中所携带的动态时间窗为20180225 00:00:00-20180225 23:59:59，通过对动态时间窗20180225 00:00:00-20180225 23:59:59进行拆分，得到日时间粒度25，将直接查询“天和小时表”中page1这个Rowkey的day这个字段，得到对应的统计值为3。

再例如，接收到的去重统计请求中所携带的动态时间窗为20180225 20:00:00-20180225 23:59:59，通过对动态时间窗为20180225 20:00:00-20180225 23:59:59进行拆分，得到小时时间粒度20～23，将直接查询“天和小时表”中page1这个Rowkey的20hour～23hour值，得到的结果为1。

步骤S207，根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。

在根据步骤S206查询到覆盖动态时间窗的多个时间粒度对应的统计值之后，根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值，具体地，将覆盖动态时间窗的多个时间粒度对应的统计值相加，相加之后得到的数值即为动态时间窗对应的去重统计值，举例说明，根据步骤S206查询到覆盖动态时间窗2018022500:00:01-20180225 23:59:59的多个时间粒度对应的统计值为1、1，将覆盖动态时间窗的多个时间粒度对应的统计值相加得到动态时间窗对应的去重统计值为2；

动态时间窗为20180225 20:00:00-20180225 23:59:59对应的去重统计值为20hour～23hour对应的统计值相加之和，得到最终的结果为1。

根据本发明上述实施例提供的方法，针对所产生的数据，能够实现实时进行数据去重统计，从而满足对实时性要求较高的统计场景的需求，另外，基于覆盖动态时间窗的多个时间粒度确定统计值，提高了去重统计的精准度，克服了现有去重统计方法去重统计结果精准度低的缺陷，而且使得具有统计需求的用户能够根据实际需求设定统计时长，更为灵活，利用Hbase数据库存储修改得到的多个时间粒度及各时间粒度对应的统计值，在统计查询时，减少对数据库的访问次数，优化数据库的存储、读取性能，提高响应速度。

图4示出了根据本发明一个实施例的基于动态时间窗的数据去重统计装置的结构示意图。如图4所示，该装置包括：修改模块400、接收模块410、查询模块420、计算模块430。

修改模块400，适于根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值。

接收模块410，适于接收携带有动态时间窗的去重统计请求。

查询模块420，适于查询覆盖动态时间窗的多个时间粒度对应的统计值。

其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间。

计算模块430，适于根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。

可选地，装置还包括：记录模块440，适于记录特定字段的字段值与数据产生时间的对应关系。

可选地，修改模块400进一步适于：判断是否记录有与实时数据的特定字段的字段值相同的历史数据的数据产生时间；

若否，则将与实时数据的数据产生时间关联的多个时间粒度对应的统计值加1；

若是，则将与实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与历史数据的数据产生时间关联的多个时间粒度对应的统计值减1。

可选地，查询模块420进一步适于：按照时间粒度对动态时间窗进行拆分处理，得到覆盖动态时间窗的多个时间粒度；

查询覆盖动态时间窗的多个时间粒度对应的统计值。

可选地，装置还包括：存储模块450，适于将修改得到的多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

可选地，存储介质包含：Hbase数据库或MySQL数据库或Redis数据库。

可选地，时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

根据本发明上述实施例提供的装置，根据具有特定字段的实时数据的数据产生时间，实时地修改与实时数据的数据产生时间关联的多个时间粒度对应的统计值；接收携带有动态时间窗的去重统计请求，查询覆盖动态时间窗的多个时间粒度对应的统计值；其中，动态时间窗的起始时间为任意指定时间、截止时间为当前时间；根据覆盖动态时间窗的多个时间粒度对应的统计值，计算得到动态时间窗对应的去重统计值。基于本发明提供的方案，针对所产生的数据，能够实现实时进行数据去重统计，从而满足对实时性要求较高的统计场景的需求，另外，基于覆盖动态时间窗的多个时间粒度确定统计值，提高了去重统计的精准度，克服了现有去重统计方法去重统计结果精准度低的缺陷，而且使得具有统计需求的用户能够根据实际需求设定统计时长，更为灵活。

本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于动态时间窗的数据去重统计方法。

图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。

其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502，用于执行程序510，具体可以执行上述基于动态时间窗的数据去重统计方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行上述任意方法实施例中的基于动态时间窗的数据去重统计方法。程序510中各步骤的具体实现可以参见上述基于动态时间窗的数据去重统计实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于动态时间窗的数据去重统计设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种基于动态时间窗的数据去重统计方法，包括：

根据具有特定字段的实时数据的数据产生时间，实时地修改与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值；

接收携带有动态时间窗的去重统计请求，查询覆盖所述动态时间窗的多个时间粒度对应的统计值；其中，所述动态时间窗的起始时间为任意指定时间、截止时间为当前时间；

根据覆盖所述动态时间窗的多个时间粒度对应的统计值，计算得到所述动态时间窗对应的去重统计值；

其中，所述根据具有特定字段的实时数据的数据产生时间，实时地修改与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值进一步包括：判断是否记录有与所述实时数据的特定字段的字段值相同的历史数据的数据产生时间；

若是，则将与所述实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与所述历史数据的数据产生时间关联的多个时间粒度对应的统计值减1；

若否，则将与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值加1，其中，多个时间粒度为去重树的不同层级的节点，去重树上的每个节点对应的统计值代表该节点所覆盖时间窗内用户的去重数。

2.根据权利要求1所述的方法，其中，在所述实时地修改与数据产生时间关联的多个时间粒度对应的统计值之后，所述方法还包括：记录特定字段的字段值与数据产生时间的对应关系。

3.根据权利要求1或2所述的方法，其中，所述查询覆盖所述动态时间窗的多个时间粒度对应的统计值进一步包括：

按照时间粒度对所述动态时间窗进行拆分处理，得到覆盖所述动态时间窗的多个时间粒度；

查询所述覆盖所述动态时间窗的多个时间粒度对应的统计值。

4.根据权利要求1或2所述的方法，其中，在实时地修改与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值之后，所述方法还包括：

将修改得到的所述多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

5.根据权利要求4所述的方法，其中，所述存储介质包含：Hbase数据库或MySQL数据库或Redis数据库。

6.根据权利要求1或2所述的方法，其中，所述时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

7.一种基于动态时间窗的数据去重统计装置，包括：

修改模块，适于根据具有特定字段的实时数据的数据产生时间，实时地修改与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值；

接收模块，适于接收携带有动态时间窗的去重统计请求；

查询模块，适于查询覆盖所述动态时间窗的多个时间粒度对应的统计值；其中，所述动态时间窗的起始时间为任意指定时间、截止时间为当前时间；

计算模块，适于根据覆盖所述动态时间窗的多个时间粒度对应的统计值，计算得到所述动态时间窗对应的去重统计值；

其中，所述修改模块进一步适于：判断是否记录有与所述实时数据的特定字段的字段值相同的历史数据的数据产生时间；

若是，则将与所述实时数据产生时间关联的多个时间粒度对应的统计值加1，并将与所述历史数据的数据产生时间关联的多个时间粒度对应的统计值减1；

若否，则将与所述实时数据的数据产生时间关联的多个时间粒度对应的统计值加1，其中，多个时间粒度为去重树的不同层级的节点，去重树上的每个节点对应的统计值代表该节点所覆盖时间窗内用户的去重数。

8.根据权利要求7所述的装置，其中，所述装置还包括：记录模块，适于记录特定字段的字段值与数据产生时间的对应关系。

9.根据权利要求7或8所述的装置，其中，所述查询模块进一步适于：按照时间粒度对所述动态时间窗进行拆分处理，得到覆盖所述动态时间窗的多个时间粒度；

查询所述覆盖所述动态时间窗的多个时间粒度对应的统计值。

10.根据权利要求7或8所述的装置，其中，所述装置还包括：存储模块，适于将修改得到的所述多个时间粒度及各时间粒度对应的统计值以预设存储方式存储至存储介质中。

11.根据权利要求10所述的装置，其中，所述存储介质包含：Hbase数据库或MySQL数据库或Redis数据库。

12.根据权利要求7或8所述的装置，其中，所述时间粒度包含以下时间粒度的一个或多个：年时间粒度、月时间粒度、日时间粒度、小时时间粒度、分钟时间粒度、秒钟时间粒度。

13.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的基于动态时间窗的数据去重统计方法对应的操作。

14.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-6中任一项所述的基于动态时间窗的数据去重统计方法对应的操作。

Images