CN107633347A - 一种数据指标统计方法及装置 - Google Patents

一种数据指标统计方法及装置 Download PDF

Info

Publication number
CN107633347A
CN107633347A CN201710725090.4A CN201710725090A CN107633347A CN 107633347 A CN107633347 A CN 107633347A CN 201710725090 A CN201710725090 A CN 201710725090A CN 107633347 A CN107633347 A CN 107633347A
Authority
CN
China
Prior art keywords
data
calculating
type
user data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710725090.4A
Other languages
English (en)
Inventor
马文琪
程磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710725090.4A priority Critical patent/CN107633347A/zh
Publication of CN107633347A publication Critical patent/CN107633347A/zh
Pending legal-status Critical Current

Links

Abstract

本申请实施例公开了一种数据指标统计方法及装置。所述方法包括:获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。利用本申请实施例,不仅可以节省计算引擎的利用资源,还可以提高在计算引擎中增加新数据指标的灵活性,降低在计算引擎中增加新数据指标的复杂度。

Description

一种数据指标统计方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据指标统计处理方法及装置。
背景技术
近几年,随着大数据处理技术的快速发展,在很多业务场景下需要对大量用户数据进行实时分析处理。在实时数据分析过程中,通常需要对某些数据指标进行实时统计。典型的业务场景如网络购物平台,在某些重要的购物促销活动日,通常需要对平台中的某些数据指标进行统计。从大方向来说,所述数据指标可以包括交易量、交易金额、广告页面访问次数;从小方向来说,其中,交易量指标又可以包括平台整体交易量、各个城市交易量、行业交易量、商户交易量、门店交易量等多个维度的交易量。
为了满足大数据的实时处理需求,现有技术中出现多个如Storm、Spark、Samza等流式大数据处理框架以及基于上述框架所构建的流式大数据处理引擎,典型的如阿里巴巴的Galaxy计算引擎等。在利用上述流式大数据处理引擎进行数据指标计算时,可以划分多个计算模块分别统计所述数据指标,其中所述计算模块与所述数据指标具有一一对应的关系,即一个计算模块统计一个数据指标。在实际的业务场景中,需要统计的数据指标往往在不断地扩展,例如,已经统计了北京的交易量,发现还需要统计上海的交易量。针对上述情况,利用现有技术中的流式大数据处理引擎进行数据指标统计时,每增加一个数据指标就需要增加一个新的计算模块进行处理。但是,在大数据处理引擎中每增加一个计算模块,所述引擎的整体性能可能降低很多。并且,在流式大数据处理引擎中增加一个新的计算模块,需要编写代码后重新发布上线,开发周期长,任务稳定性较低。
因此,现有技术中亟需一种能够在大数据处理引擎中快速、灵活地新增数据统计指标的方式。
发明内容
本申请实施例的目的在于提供一种数据指标统计方法及装置,不仅可以节省计算引擎的利用资源,还可以提高在计算引擎中增加新数据指标的灵活性,降低在计算引擎中增加新数据指标的复杂度。
本申请实施例提供的一种数据指标统计方法及装置具体是这样实现的:
一种数据指标统计方法,所述方法包括:
获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
一种数据指标统计装置,所述装置包括:
数据获取单元,用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
数据分配单元,用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
一种数据处理装置,所述装置包括:
至少一个计算模块,所述计算模块用于对具有相同数据计算类型的多个数据指标进行统计计算。
一种数据指标统计装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
本申请提供的数据指标统计方法及装置,可以将具有相同计算类型的多个数据指标分配至同一个计算模块中进行统计计算。这样,对于计算引擎来说,在针对海量数据实时统计计算的过程中,当需要增加新的数据指标时,可以在不需要增加新的计算模块的情况下,将统计新的数据指标所使用的用户数据划分至对应的计算模块中。利用同一个计算模块实时统计多个具有相同计算类型的数据指标,不仅可以节省计算引擎的利用资源,还可以提高在计算引擎中增加新数据指标的灵活性,降低在计算引擎中增加新数据指标的复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的数据指标统计方法的一种实施例的方法流程图;
图2是本申请提供的确定计算类型方法的一种实施例的方法流程图;
图3是本申请提供的分配用户数据方法的一种实施例的方法流程图;
图4是本申请提供的一种应用场景的示意图;
图5是本申请提供的数据指标统计装置的一种实施例的模块结构示意图;
图6是本申请提供的数据指标统计装置的另一种实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面先对技术方案实现的技术环境进行说明。
在对海量用户数据进行实时数据指标统计的过程中,往往需要利用高性能、低延迟的计算引擎对海量用户数据进行处理。计算引擎中往往具有多个计算模块,每个模块可以用于对单个数据指标进行统计计算。但是由于业务需求的多样性导致数据指标的多样性,往往需要在计算引擎中频繁地增加或者删除数据指标。已有的解决方式是在计算引擎中增加计算模块,即每增加一个数据指标,需要在计算引擎中增加一个计算模块。对于这样的解决方式,一方面,往往会增加计算引擎的处理负担,大大降低处理效率。另一方面,当需要在已经投入使用的计算引擎中增加计算模块时,往往需要对原有的计算任务进行修改之后,再重新上线。这种方式不仅处理效率较低,甚至降低整个计算引擎的稳定性。
基于类似于上文所述的实际技术需求,本申请提供的数据指标统计方式,可以利用少量的固定数量的计算模块对多个数据指标进行统计,大大增加计算引擎的处理效率。另外,在计算引擎增加新的数据指标时,不需要对原有的计算任务进行修改,增强计算引擎的稳定性。
下面结合附图对本申请所述的数据指标统计方法进行详细的说明。图1是本申请提供的数据指标统计方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据指标统计过程中,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的一种数据指标统计方法的一种实施例如图1所示,所述方法可以包括:
S101:获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型。
本实施例中,所述用户数据可以包括用户在平台上进行操作而被记录的数据,如用户在网络购物平台上的访问日志、交易记录、收藏记录等数据。在一个实施例中,所述用户数据可以包括实时的用户数据,即对实时的用户数据进行数据指标的统计。在其他实施例中,所述用户数据还可以包括历史用户数据,即还可以对历史用户数据进行数据指标的统计,对此,本申请在此不做限制。所述数据指标可以包括需要进行统计的数据参数,例如对于网络购物平台,所述数据指标可以包括交易量、交易金额、页面访问次数、最大交易金额等,其中,所述交易量数据指标还可以包括平台整体交易量、城市交易量、行业交易量、商户交易量等等。
本实施例中,还可以获取利用所述用户数据计算所述数据指标时所需的计算类型。所述计算类型可以包括多种数学运算方式,如计数、累加、取最大值、取最小值等等。例如,统计交易量时所使用的计算类型为计数,统计交易金额时所使用的计算类型为累加,统计最大交易金额时所使用的计算类型为取最大值等等。本实施例中,一种计算类型可以对应多个数据指标的统计,例如,对于数据计数计算方式,可以用于对交易量、交易金额、页面访问次数等多个数据指标的统计计算。
在本申请的一个实施例中,所述计算类型可以进行预先设置,例如可以在设置数据指标的同时设置对应的计算类型。在其他实施例中,可以根据所述数据指标确定对应的计算类型。具体地,如图2所示,所述获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型可以包括:
S201:获取用户数据以及需要根据所述用户数据统计的数据指标;
S203:根据所述数据指标确定计算方式,并根据所述计算方式确定计算类型。
本实施例中,在获取到用户数据以及需要根据所述用户数据统计的数据指标之后,可以根据所述数据指标确定具体的计算方式,并根据所述计算方式确定计算类型。例如,若数据指标为交易量,则根据交易量指标的特征,可以确定交易量指标需要进行计数计算方式之后确定,因此,可以确定交易量指标的计算类型为计数。利用相同的方式,可以确定交易金额的计算类型为求和,最大交易金额的计算类型为求最大值。
当然,在其他实施例中,还可以通过数据关联表的方式关联存储数据指标和计算类型,数据关联表中的一列可以存储数据指标,另一列可以存储计算类型,相关联的数据指标与计算类型可以处于同一行。当然,数据指标与计算类型关联的方式不限于上述举例,所属领域技术人员在本申请技术精髓的启示下,还可能做出其它变更,但只要其实现的功能和效果与本申请相同或相似,均应涵盖于本申请保护范围内。
S103:根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
本实施例中,可以根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中。所述计算模块可以具有独立的计算功能。所述计算模块可以包括一个或者多个计算节点,在一个实施例中,所述计算节点可以包括单台服务器,在另一个实施例中,所述计算节点可以包括多台服务器组成的服务器集群。当然,在其他实施例中,还可以将多个计算模块部署于同一个计算节点上。
在本申请的一个实施例中,当用户数据量较大,并且需要对用户数据进行实时处理时,可以将计算数据指标的计算模块部署于流式计算引擎中。所述流式计算引擎以其低延迟、高性能、可扩展、容错性高、分布式计算等特性,可以对海量的用户数据进行实时、高效地处理,典型的流式计算引擎如Storm、Puma、Galaxy等。本实施例中,将所述用户数据输入至所述流式计算引擎之后,所述流式计算引擎可以将所述用户数据分配至对应的计算模块中。为了实现上述技术方案,如图3,所述根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中可以包括:
S301:将所述数据指标和所述计算类型转换成预设格式的配置信息;
S303:将所述用户数据和所述配置信息发送至计算引擎中,所述计算引擎中包括多个计算模块;所述计算引擎被设置为执行下述步骤:根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
本实施例中,在将用户数据发送至计算引擎之前,可以将所述数据指标和所述数据指标的计算类型转换成预设格式的配置信息。在一个实施例中,可以将所述配置信息设置成由多个字段组成的字段组合,在一个示例中,所述配置信息可以利用下述格式表示:[groupkey,value,operator],其中,groupkey表示需要进行统计的数据指标,value表示要计算的指标值,如金额、耗时、次数等,operator表示计算所述数据指标时所需的计算类型,如count、sum、max、count、distinct等。例如,配置信息[苹果手机网店交易量,次数,计数]表示统计苹果手机网络专卖店的交易量,统计的指标值为交易次数,计算类型为计数。
在本申请的一个实施例中,所述配置信息中还可以包括利用所述用户数据计算所述数据指标时所需的统计时间间隔信息,即统计所述数据指标的时间粒度,例如时间粒度可以为1秒、10秒、1分钟、20分钟、1小时等。此时,基于上述示例,所述配置信息可以利用下述格式表示:[groupkey,time,value,operator],time表示统计的时间粒度,配置信息[苹果手机网店交易量,小时,次数,计数]表示统计苹果手机网络专卖店每小时的交易量,统计的指标值为交易次数,计算类型为计数。
本实施例中,在生成包含所述数据指标和所述计算类型等信息的配置信息之后,可以将所述用户数据和所述配置信息发送至计算引擎中。所述计算引擎在接收到所述用户数据和所述配置信息之后,可以根据所述配置信息中的计算类型信息,将所述用户数据分配至与所述计算类型相匹配的计算模块。例如,对于配置信息[苹果手机网店交易量,小时,次数,计数],所述计算引擎可以将与该配置信息一起发送的用户数据分配至计数类的计算模型中。
下面通过一个具体的应用场景说明本申请实施例方法。某网购平台举办盛大优惠购物节期间,需要实时统计大量数据指标的指标值,其中包括产品总交易量、总交易金额、全国各个城市的交易量和交易金额、各个类别产品的交易量和交易金额、活动入口广告页面的访问次数、交易量最大的商铺和城市、交易金额最多的商铺和城市等。可以发现,在上述多个数据指标中,一些数据指标的计算类型属于计数类,一些数据指标的计算类型属于累加类,一些数据指标的计算类型属于取最大值类。由于该平台的用户数量巨大,因此产生的用户数据量也非常大。基于此,本场景中,可以利用分布式流式计算引擎实时处理所述用户数据,下面非限制性地以阿里巴巴的Galaxy计算引擎举例说明。
本场景中,该网购平台中可以产生多种用户数据源,例如用户交易日志、用户访问日志等。具体在实现的过程中,当用户在平台上操作产生数据记录时,可以根据用户的操作类型将产生的数据记录分配至对应的用户数据源中。例如,当用户在平台上购买产品之后,可以将用户本次购买产品所产生的数据记录分配至用户交易日志中。然后,可以针对各个数据源设置需要统计的数据指标以及统计所述数据指标的计算类型、时间粒度等参数。例如针对用户交易日志,可以设置数据指标包括产品总交易量、总交易金额、全国各个城市的交易量和交易金额、各个类别产品的交易量和交易金额、交易量最大的商铺和城市、交易金额最多的商铺和城市等。针对用户访问日志,可以设置数据指标包括活动入口广告页面的访问次数等。
为了方便Galaxy计算引擎在获取到用户数据之后,能够了解到需要对用户数据统计的数据指标、时间粒度、计算类型等参数信息,可以将所述用户数据的参数信息连同所述用户数据一起发送至Galaxy计算引擎中。具体地,在一个实施例中,可以将所述数据指标、时间粒度、计算类型等参数信息转换成预设格式的配置信息,所述配置信息可以利用下述格式表示:[groupkey,time,value,operator],其中,groupkey表示需要进行统计的数据指标,time表示统计的时间粒度,value表示要计算的指标值,如金额、耗时、次数等,operator表示计算所述数据指标时所需的计算类型,如count、sum、max、distinct等。基于上述格式的配置信息,可以针对该网购平台产生的实时数据,设置以下配置信息:[女装交易量,10秒,次数,计数]、[手机交易金额,30秒,金额,累加]、[最大交易量网店,1分钟,店铺编码,取最大值]、[最大交易金额城市,1分钟,城市编码,取最大值]、[总交易金额=1000亿,耗时,累加]。
将用户数据以及所述用户数据的配置信息预先存储于消息队列中,再通过所述消息队列将所述用户数据以及配置信息发送至Galaxy计算引擎。Galaxy计算引擎在接收到用户数据和配置信息之后,可以根据所述配置信息获取所述用户数据的计算类型。然后,根据所述计算类型将所述用户数据以及所述配置信息分配至对应的计算模型中。在Galaxy计算引擎中,可以设置有多个计算类型,如计数count、累加sum、取最大值max、distinct等,其中,每种计算类型对应于一个计算模块。例如,对于具有上述配置信息的用户数据,可以将配置信息[手机交易金额,30秒,金额,累加]和[总交易金额=1000亿,耗时,累加]对应的用户数据分配至累加计算模块中,将对应于配置信息[最大交易量网店,1分钟,店铺编码,取最大值]和[最大交易金额城市,1分钟,城市编码,取最大值]对应的用户数据分配至取最大值计算模块中。这样,一个计算模块中可以处理具有相同计算类型的多个配置信息所对应的用户数据。
本申请提供的数据指标统计方法,可以将具有相同计算类型的多个数据指标分配至同一个计算模块中进行统计计算。这样,对于计算引擎来说,在针对海量数据实时统计计算的过程中,当需要增加新的数据指标时,可以在不需要增加新的计算模块的情况下,将统计新的数据指标所使用的用户数据划分至对应的计算模块中。利用同一个计算模块实时统计多个具有相同计算类型的数据指标,不仅可以节省计算引擎的利用资源,还可以提高在计算引擎中增加新数据指标的灵活性,降低在计算引擎中增加新数据指标的复杂度。
本申请另一方面还提供一种数据指标统计装置,图5是本申请提供的数据指标统计装置的一种实施例的模块结构示意图,如图5所示,所述装置50可以包括:
数据获取单元501,用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
数据分配单元503,用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
本申请提供的数据指标统计装置,可以将具有相同计算类型的多个数据指标分配至同一个计算模块中进行统计计算。这样,对于计算引擎来说,在针对海量数据实时统计计算的过程中,当需要增加新的数据指标时,可以在不需要增加新的计算模块的情况下,将统计新的数据指标所使用的用户数据划分至对应的计算模块中。利用同一个计算模块实时统计多个具有相同计算类型的数据指标,不仅可以节省计算引擎的利用资源,还可以提高在计算引擎中增加新数据指标的灵活性,降低在计算引擎中增加新数据指标的复杂度。
可选的,在本申请的一个实施例中,所述数据分配单元包括:
配置信息生成单元,用于将所述数据指标和所述计算类型转换成预设格式的配置信息;
数据发送单元,用于将所述用户数据和所述配置信息发送至计算引擎中,所述计算引擎中包括多个计算模块;所述计算引擎被设置为执行下述步骤:根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
可选的,在本申请的一个实施例中,所述配置信息中还包括利用所述用户数据计算所述数据指标时所需的统计时间间隔信息。
可选的,在本申请的一个实施例中,所述数据获取单元包括:
数据指标获取单元,用于获取用户数据以及需要根据所述用户数据统计的数据指标;
计算类型确定单元,用于根据所述数据指标确定计算方式,并根据所述计算方式确定所述数据指标的计算类型。
图6是本申请提供的数据指标统计装置的另一种实施例的模块结构示意图,如图6所示,所述装置包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时可以实现:
获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
本申请另一方面还提供一种数据处理装置,所述装置可以包括:
至少一个计算模块,所述计算模块用于对具有相同数据计算类型的多个数据指标进行统计计算。
可选的,在本申请的一个实施例中,所述装置还包括:
配置转换模块,用于将用户数据的数据指标和计算类型转换成预设格式的配置信息;
数据分配模块,用于根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上客户端或服务器时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种数据指标统计方法,所述方法包括:
获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
2.根据权利要求1所述的方法,所述根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中包括:
将所述数据指标和所述计算类型转换成预设格式的配置信息;
将所述用户数据和所述配置信息发送至计算引擎中,所述计算引擎中包括多个计算模块;所述计算引擎被设置为执行下述步骤:根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
3.根据权利要求2所述的方法,所述配置信息中还包括利用所述用户数据计算所述数据指标时所需的统计时间间隔信息。
4.根据权利要求1所述的方法,所述获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型包括:
获取用户数据以及需要根据所述用户数据统计的数据指标;
根据所述数据指标确定计算方式,并根据所述计算方式确定所述数据指标的计算类型。
5.一种数据指标统计装置,所述装置包括:
数据获取单元,用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
数据分配单元,用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
6.根据权利要求5所述的装置,所述数据分配单元包括:
配置信息生成单元,用于将所述数据指标和所述计算类型转换成预设格式的配置信息;
数据发送单元,用于将所述用户数据和所述配置信息发送至计算引擎中,所述计算引擎中包括多个计算模块;所述计算引擎被设置为执行下述步骤:根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
7.根据权利要求6所述的装置,所述配置信息中还包括利用所述用户数据计算所述数据指标时所需的统计时间间隔信息。
8.根据权利要求5所述的装置,所述数据获取单元包括:
数据指标获取单元,用于获取用户数据以及需要根据所述用户数据统计的数据指标;
计算类型确定单元,用于根据所述数据指标确定计算方式,并根据所述计算方式确定所述数据指标的计算类型。
9.一种数据处理装置,所述装置包括:
至少一个计算模块,所述计算模块用于对具有相同数据计算类型的多个数据指标进行统计计算。
10.根据权利要求9所述的装置,还包括:
配置转换模块,用于将用户数据的数据指标和计算类型转换成预设格式的配置信息;
数据分配模块,用于根据所述配置信息中的计算类型,将所述用户数据分配至与所述计算类型相匹配的计算模块。
11.一种数据指标统计装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型;
根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中,其中,所述计算模块可用于与所述计算类型相同的多个数据指标的统计。
CN201710725090.4A 2017-08-22 2017-08-22 一种数据指标统计方法及装置 Pending CN107633347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710725090.4A CN107633347A (zh) 2017-08-22 2017-08-22 一种数据指标统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710725090.4A CN107633347A (zh) 2017-08-22 2017-08-22 一种数据指标统计方法及装置

Publications (1)

Publication Number Publication Date
CN107633347A true CN107633347A (zh) 2018-01-26

Family

ID=61100310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710725090.4A Pending CN107633347A (zh) 2017-08-22 2017-08-22 一种数据指标统计方法及装置

Country Status (1)

Country Link
CN (1) CN107633347A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492150A (zh) * 2018-04-11 2018-09-04 口碑(上海)信息技术有限公司 实体热度的确定方法及系统
CN109408347A (zh) * 2018-09-28 2019-03-01 北京九章云极科技有限公司 一种指标实时分析系统及指标实时计算方法
CN110309172A (zh) * 2019-06-06 2019-10-08 阿里巴巴集团控股有限公司 一种数据计算方法、系统、装置及电子设备
CN110399410A (zh) * 2018-04-16 2019-11-01 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和计算机可读存储介质
CN110727697A (zh) * 2019-08-29 2020-01-24 北京奇艺世纪科技有限公司 数据的处理方法和装置、存储介质、电子装置
CN111090879A (zh) * 2019-12-05 2020-05-01 达闼科技成都有限公司 数据处理方法、装置、可读存储介质、电子设备和系统
CN111292015A (zh) * 2020-03-10 2020-06-16 北京意锐新创科技有限公司 一种收款数据的统计方法和装置
CN112488412A (zh) * 2020-12-11 2021-03-12 北京字跳网络技术有限公司 时长信息确定方法、装置、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572308A (zh) * 2015-02-10 2015-04-29 飞狐信息技术(天津)有限公司 计算资源分配方法、分布式计算方法及装置
CN105631003A (zh) * 2015-12-28 2016-06-01 北京赛思信安技术股份有限公司 支持海量数据分组统计的智能索引构建、查询及维护方法
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
CN105975500A (zh) * 2016-04-27 2016-09-28 努比亚技术有限公司 数据处理方法、数据统计系统及后台管理系统
US20170103103A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103103A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
CN104572308A (zh) * 2015-02-10 2015-04-29 飞狐信息技术(天津)有限公司 计算资源分配方法、分布式计算方法及装置
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备
CN105631003A (zh) * 2015-12-28 2016-06-01 北京赛思信安技术股份有限公司 支持海量数据分组统计的智能索引构建、查询及维护方法
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
CN105975500A (zh) * 2016-04-27 2016-09-28 努比亚技术有限公司 数据处理方法、数据统计系统及后台管理系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492150A (zh) * 2018-04-11 2018-09-04 口碑(上海)信息技术有限公司 实体热度的确定方法及系统
CN108492150B (zh) * 2018-04-11 2020-06-09 口碑(上海)信息技术有限公司 实体热度的确定方法及系统
CN110399410A (zh) * 2018-04-16 2019-11-01 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和计算机可读存储介质
CN109408347A (zh) * 2018-09-28 2019-03-01 北京九章云极科技有限公司 一种指标实时分析系统及指标实时计算方法
CN110309172A (zh) * 2019-06-06 2019-10-08 阿里巴巴集团控股有限公司 一种数据计算方法、系统、装置及电子设备
CN110309172B (zh) * 2019-06-06 2023-08-22 创新先进技术有限公司 一种数据计算方法、系统、装置及电子设备
CN110727697A (zh) * 2019-08-29 2020-01-24 北京奇艺世纪科技有限公司 数据的处理方法和装置、存储介质、电子装置
CN110727697B (zh) * 2019-08-29 2022-07-12 北京奇艺世纪科技有限公司 数据的处理方法和装置、存储介质、电子装置
CN111090879A (zh) * 2019-12-05 2020-05-01 达闼科技成都有限公司 数据处理方法、装置、可读存储介质、电子设备和系统
CN111090879B (zh) * 2019-12-05 2023-07-21 达闼机器人股份有限公司 数据处理方法、装置、可读存储介质、电子设备和系统
CN111292015A (zh) * 2020-03-10 2020-06-16 北京意锐新创科技有限公司 一种收款数据的统计方法和装置
CN112488412A (zh) * 2020-12-11 2021-03-12 北京字跳网络技术有限公司 时长信息确定方法、装置、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN107633347A (zh) 一种数据指标统计方法及装置
CN107424069A (zh) 一种风控特征的生成方法、风险监控方法及设备
US9892187B2 (en) Data analysis method, data analysis device, and storage medium storing processing program for same
CN110019087A (zh) 数据处理方法及其系统
CN108683692A (zh) 一种业务请求处理方法及装置
CN107748989A (zh) 一种虚拟卡的开卡方法、系统和支付系统、发卡系统
US11501239B2 (en) Metric specific machine learning model improvement through metric specific outlier removal
CN107391537A (zh) 数据关系模型的生成方法、装置及设备
CN109087138A (zh) 数据处理方法及系统、计算机系统和可读存储介质
CN107578338A (zh) 一种业务发布方法、装置及设备
CN108460490A (zh) 一种业务发生量的预测方法、装置及设备
CN110262951A (zh) 一种业务秒级监控方法及系统、存储介质及客户端
CN109002357A (zh) 资源分配方法、装置及物联网系统
CN110032582A (zh) 一种数据处理方法、装置、设备及系统
CN111127214A (zh) 资产组合的方法和装置
CN112287111B (zh) 一种文本处理方法和相关装置
CN107038127A (zh) 应用系统及其缓存控制方法和装置
CN106846021A (zh) 一种指标统计方法和装置
CN108628931A (zh) 一种数据驱动业务的方法、装置以及设备
CN106920124A (zh) 一种数据采集和分析方法及装置
CN104123303A (zh) 一种提供数据的方法及装置
CN107391541A (zh) 一种实时数据合并方法和装置
WO2022262663A1 (zh) 数据处理方法、装置及电子设备
CN107562533A (zh) 一种数据加载处理方法及装置
CN114925919A (zh) 业务资源处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Greater Cayman, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180126