CN102236657B - 一种处理上报数据的方法和服务器 - Google Patents

一种处理上报数据的方法和服务器 Download PDF

Info

Publication number
CN102236657B
CN102236657B CN 201010157159 CN201010157159A CN102236657B CN 102236657 B CN102236657 B CN 102236657B CN 201010157159 CN201010157159 CN 201010157159 CN 201010157159 A CN201010157159 A CN 201010157159A CN 102236657 B CN102236657 B CN 102236657B
Authority
CN
China
Prior art keywords
data
report
measurement type
reports
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201010157159
Other languages
English (en)
Other versions
CN102236657A (zh
Inventor
范成涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taobao China Software Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN 201010157159 priority Critical patent/CN102236657B/zh
Publication of CN102236657A publication Critical patent/CN102236657A/zh
Priority to HK12100309.2A priority patent/HK1160242A1/xx
Application granted granted Critical
Publication of CN102236657B publication Critical patent/CN102236657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种处理上报数据的方法和服务器,该方法包括:服务器获得上报的数据以及所述数据的统计类型;服务器根据所述数据的统计类型自动统计所述上报的数据。本申请中,根据上报的数据以及所述数据的统计类型,自动对上报的数据进行统计,无需人工参与数据的统计过程,节省人力,同时相比人工统计不易出错,准确率更高,提高上报数据的统计效率,尤其是在数据类型繁杂、数据量大的情况下,这种自动统计的方式具有人工统计无法比拟的优势。

Description

一种处理上报数据的方法和服务器
技术领域
本申请涉及数据仓库领域,特别是涉及一种处理上报数据的方法和服务器。
背景技术
元数据是描述数据及其环境的数据,在本应用场景中是描述数据入库类型信息、统计和展现方法的数据。数据统计分析系统接收用户终端上报的元数据进行数据统计,将统计后的结果以一定形式(例如表格)展现出来。
目前进行数据统计分析的组网结构如图1所示,包括数据统计分析系统(通常为服务器)和数据上报设备(通常为多个)。其中,数据上报设备上统计用户使用网络应用服务的数据,并通过网络登录数据统计分析系统将数据向数据统计分析系统上报。数据统计分析系统接收数据上报设备上报的数据并存储,数据统计分析系统还根据用户需要展示存储的数据,由于用户需要的是根据一定规则排列的数据而不是杂乱的数据,例如一定时间内使用网络应用服务的用户的数量,因此需要数据统计分析系统对数据上报设备上报的数据进行统计分析,并在用户需要时展示统计分析的数据。
目前数据统计分析系统对接收到的数据上报设备上报的数据进行统计分析时,需要由人工对数据统计分析系统存储的数据进行整理统计,得到满足展示需要的统计结果。
但是,随着网络业务的快速发展,需要进行数据统计的网络业务快速变化和激增,例如,新增业务导致的新增数据、同一业务被频繁使用导致的数据量激增等,导致由人工进行数据统计分析的方式不仅工作量巨大,而且工作效率低,出现了很多数据统计大大滞后于业务实际数据的情况。
为了缓解上述问题,现有技术中提供了一种key-value1-value2的数据统计分析方法,在数据上报和存储时采用一定的方式对数据进行排列,以方便后续数据的统计和展示。
key-value1-value2的方式中key(密钥)表示是哪个业务的哪个字段(每个业务的每个字段用一个ID(Identification,标识)表示)、value1表示存储值的主键、value2表示实际的值。如表1所示的常规信息,使用key-value1-value2的方式将会变为表2所示的形式:
表1
  name   sex   age
  张三   男   20
  李四   男   25
  小红   女   19
表2
  101   100001   张三
  102   100001   男
  103   100001   20
  101   100002   李四
  102   100002   男
  103   100002   25
  101   100003   小红
  102   100003   女
  103   100003   19
采用这种key-value1-value2的方式时,数据可以根据key和value1进行排列,进行统计时可以根据key和value1执行操作,例如对表2中的用户人数进行统计时可以直接统计101的数量为3得到用户人数3。但是,这种key-value1-value2方式下只是数据统计分析系统在进行数据存储时采取了便于进行统计分析的操作,后续的统计分析操作依然需要人工完成,且通常需要将竖排的数据列表重新变为横排的数据列表方式进行展示,因此,这种做法虽然变化灵活,但是数据条数多、由竖排变横排操作复杂,并且依然需要进行人工参与统计过程,在统计分析时,需要了解上报数据的应当如何进行统计,例如需要查找专门存储竖向排列各字段意义的字典,根据该字典中的配置规则将竖向数据统计到对应的横向字段,这种方式效率非常低,尤其是在数据类型繁杂、数据量大的情况下,需要分析人员进一步查找统计类型方式等等,消耗大量人力,且容易出错,统计结果的准确率低。
发明内容
本申请提供一种处理上报数据的方法和服务器,实现对上报数据的自动统计。
本申请提供一种处理上报数据的方法,包括:
服务器获得上报的数据以及所述数据的统计类型;
服务器根据所述数据的统计类型自动统计所述上报的数据。
所述数据的统计类型通过接收上报获得,使用上报的所述数据的统计类型自动统计所述上报的数据。
所述数据的统计类型根据所述上报的数据的上报次序查找存储的上报次序与统计类型的对应关系获得;
根据查找获得的所述上报的数据的统计类型自动统计所述上报的数据。
所述统计类型包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:
对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
还包括:
使用数据展示列表存储所述上报的数据、所述数据的统计类型、以及所述上报的数据的统计结果中的一种或多种。
一种服务器,其上配置有数据统计分析系统,该服务器包括:
获得单元,用于获得上报的数据以及所述数据的统计类型;
统计单元,用于根据所述数据的统计类型自动统计所述上报的数据。
所述获得单元还用于接收上报的所述数据的统计类型;
所述统计单元包括第一统计子单元,用于使用上报的所述数据的统计类型自动统计所述上报的数据。
所述统计单元还包括:
存储子单元,用于存储上报次序与统计类型的对应关系;
查找子单元,用于根据上报的所述数据的上报次序在所述存储子单元中查找对应的统计类型;
第二统计子单元,用于根据所述查找子单元查找得到的统计类型自动统计所述上报的数据。
所述统计类型包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:
对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
还包括:
存储单元,用于使用数据展示列表存储所述上报的数据、所述数据的统计类型、以及所述上报的数据的统计结果中的一种或多种;
展示单元,用于展示所述上报的数据的统计结果。
与现有技术相比,本申请至少具有以下优点:
根据上报的数据或上报的数据的统计类型,自动对上报的数据进行统计,无需人工参与数据的统计过程,节省人力,同时相比人工统计不易出错,准确率更高,提高上报数据的统计效率,尤其是在数据类型繁杂、数据量大的情况下,这种自动统计的方式具有人工统计无法比拟的优势。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对本申请或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为现有技术中进行数据统计分析的组网结构示意图;
图2为本申请实施例一提供的处理上报数据的方法的流程示意图;
图3为本申请实施例一提供的处理上报数据的方法的另一流程示意图;
图4为本申请实施例一提供的处理上报数据的方法的另一流程示意图;
图5为本申请实施例二提供的处理上报数据的方法的流程示意图;
图6为本申请实施例二中上报数据的生成方法的流程示意图;
图7为本申请实施例二中上报数据的生成方法的另一流程示意图;
图8为本申请实施例三提供的处理上报数据的方法的流程示意图;
图9为本申请实施例三中上报数据的生成方法的流程示意图;
图10为本申请实施例三中上报数据的生成方法的另一流程示意图;
图11为本申请实施例四提供的处理上报数据的方法的流程示意图;
图12为本申请实施例五提供的服务器的结构示意图;
图13为本申请实施例五提供的服务器的另一结构示意图;
图14为本申请实施例五提供的服务器的另一结构示意图;
图15为本申请实施例五提供的服务器的另一结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
由于本申请是在利用元数据的基础上,进行的数据上报、统计和展现,为了便于理解本申请的技术方案,首先对本申请提供的处理上报数据的方法中的元数据进行介绍。在数据仓库领域中,元数据被定义为:描述数据及其环境的数据。一般来说,元数据有两方面的用途:首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据,例如:记录字段“user_id”业务描述信息的元数据为“用户号码”。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据,例如:关于字段“get_score”(获得分数)的统计类型的元数据为“求和”。
下面通过具体实施例进一步详细介绍本申请提供的处理上报数据的方法。
实施例一
本申请实施例一提供一种处理上报数据的方法,如图2所示,包括以下步骤:
步骤201,服务器获得上报的数据及其统计类型;该上报的数据及其统计类型可以在同一个上报的数据包中获得,也可以先后获得。并且该数据的统计类型即可以是通过直接接收上报统计类型获得,也可以根据所述上报的数据的上报次序查找存储的上报次序与统计类型的对应关系间接获得,通过后一种方式可以省略统计类型的上报。
步骤202,服务器根据所述数据的统计类型自动统计所述上报的数据。
具体的,所述数据的统计类型通过接收上报获得时,所述步骤202中使用所述数据的统计类型自动统计所述上报的数据。所述数据的统计类型根据所述上报的数据的上报次序查找存储的上报次序与统计类型的对应关系获得时,所述步骤202中根据查找获得的所述上报的数据的统计类型自动统计所述上报的数据。
所述统计类型中可以包括用户号码,与所述用户号码对应的统计方式为统计用户号码的个数获得用户数量,统计用户号码出现的次数获得用户次数。
所述统计类型中还可以包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
本申请实施例一提供的方法如图3所示,在所述步骤202之后,还可以包括:
步骤203,服务器展示所述上报的数据的统计结果。
本申请实施例一提供的方法如图4所示,步骤202之后,还可以包括:
步骤204,服务器使用数据展示列表存储所述上报的数据、上报的所述数据的统计类型以及所述上报的数据的统计结果中的一种或多种。
需要说明的是,所述步骤204中对所述上报的数据、上报的数据的统计类型的存储可以在收到这些信息后任何时间内进行,如在所述步骤201之后、步骤202之后或者步骤203之后。所述步骤204中对所述上报的数据的统计结果的存储可以在完成相应的统计后进行,如在步骤202或步骤203之后。
实施例二
本申请实施例二提供一种处理上报数据的方法,以应用于抽奖类网络应用为例,如图5所示,该方法包括以下步骤:
步骤501,根据用户的抽奖行为产生抽奖数据。
在同一个企业中存在多个不同的业务系统,用于处理各个方面的业务。本申请实施例中以一个电子商务网站中的用户管理系统为例进行说明,其中业务数据为用户的中奖数据。
用户管理系统中根据用户的抽奖行为产生抽奖数据,该抽奖数据中包括但不限于以下数据:买方用户ID、中奖等级和对应的所获得的分数。根据上述抽奖数据可得到如表3所示的一条数据记录:
表3、中奖数据记录
  买方用户ID   中奖等级   获得分数
  10001   1   1000
步骤502,用户管理系统根据中奖数据记录,按照本地设置的上报结构生成待上报的中奖数据。
本申请实施例中以用户管理系统中设置的中奖数据上报结构如表4所示为例进行说明,其中包括字段名、字段类型、字段长度以及统计类别。
表4
  序号   字段名   中文名   字段类型   字段长度   统计类型
  1   user_id   用户号码   Integer(整数)   8   用户号码
  2   lottery_level   中奖等级   Integer   8   维度
  3   get_score   获得分数   Integer   8   求和
与表3中不同的是,表4中列出的向数据统计分析系统上报的订单数据中还需要包括各字段分别对应的统计类型,即user_id对应的用户号码统计类型、中奖等级对应的维度统计类型以及获得分数对应的求和统计类型。以第三个字段“获得分数”为例进行说明,其中,字段名为“get_score”;字段业务含义为获得分数、字段类型为Integer(整型)(对于其它的数据,还可以为字符型、整数日期型和字符串日期型等等)、字段长度为8、字段统计方法为求和。
需要说明的是,上述统计类型和字段名是上报数据中必须的信息,其余的字段类型、字段长度为可选信息。本申请实施例中,可以作为可选信息的还包括且不限于:业务的开始时间、结束时间、联系人等等。
表4所示的上报结构仅为本申请实施例中一种优选的实施方式,具体上报结构的改变不应视为对本申请保护范围的限制。
需要说明的是,服务器在生成与中奖数据上报结构(例如表4所示)对应的上报数据时,可以获得上报结构中的所有字段名的数据,也可以只获得部分字段名的数据。
对于后一种情况,如图6所示,以下对这种情况下上报数据的生成进行进一步详细的阐述,包括:
步骤601、服务器获得中奖数据记录中的字段名,根据字段名查找数据上报结构,获得与字段名对应的上报结构。
例如,基于表4中的中奖数据记录上报结构,本申请实施例中以获得第二个字段为例进行说明,第二个字段为Lottery-level中奖等级。根据所获得的字段的字段名在如表4所示的上报结构表查找与所获得的字段名匹配的基于元数据的上报结构,当查找到匹配的字段名时,获得该字段名对应的基于元数据的上报结构。
本申请实施例中该基于元数据的上报结构如表5所示。
表5、基于元数据的上报结构
 字段名   字段业务含义   字段类型   字段长度   字段统计方法
 Lottery-level   中奖等级   integer   8   维度
步骤602、服务器将中奖记录数据中与字段名Lottery-level对应的字段内容填充到与字段名对应的上报结构中,得到与字段名对应的上报数据。
步骤603、服务器将获得的各字段名对应的上报数据集成得到中奖记录数据对应的上报数据。
具体的,本步骤中得到的上报数据可以包含如表4所示的所有上报数据内容,也可以仅包括其中一部分,如表6所示:
表6
  序号   字段名   中文名   字段类型   字段长度   统计类型
  1   user_id   用户号码   Integer   8   用户号码
  2   lottery_level   中奖等级   Integer   8   维度
步骤604、判断该中奖数据记录中是否还存在未添加到对应的上报结构中的字段内容。
当判断结果为存在时,转到步骤601。
此处还需要说明的是,当服务器提供的业务不同时,其产生的业务数据可能不同,上报业务数据需要进行的统计以及统计时需要考虑的参数可能也会各不相同。考虑到这个原因,本申请实施例中针对不同的业务类别还可以设置不同的上报数据结构。
如图7所示,以下对这种情况下上报数据的生成进行进一步详细的阐述,包括:
步骤701、服务器获得中奖数据记录的业务类别标识。
步骤702、服务器查找存储的上报结构与业务类别的对应关系,获得与中奖数据记录对应的基于元数据的上报结构。
具体地,不同的上报业务数据需要进行的统计以及统计时需要考虑的参数可能各不相同。考虑到这个原因,本申请实施例中针对不同的业务类别设置不同的上报数据结构。
本申请实施例中,进行中奖数据记录的服务器可以仅执行这一项数据记录功能,但同时还可能会执行其它数据记录功能,因此,对于前一种情况,由于服务器可以直接得到存储的基于元数据的上报结构;对于后一种情况,服务器在获得数据记录后,还需要进一步查询存储的数据记录与基于元数据的上报结构的对应关系,例如本步骤中服务器需要查找与中奖数据记录对应的上报数据结构。
具体的,服务器根据所获得的中奖数据记录的业务类型在如表7所示的上报结构表查找与中奖数据类型匹配的基于元数据的上报结构。
表7
  业务类型   上报数据结构
  中奖数据记录   No1
  订单数据记录   No2
  、、、   、、、
表7中的No1代表如表4所示的数据上报结构,服务器通过查找表7得到与中奖数据记录对应的如表4所示的数据上报结构。
步骤703、将中奖数据记录中的数据添加到数据上报结构中对应的字段,生成待上报的数据。
步骤503,服务器登录数据统计分析系统,将待上报的中奖数据上报到数据统计分析系统。
步骤504,数据统计分析系统存储服务器上报的数据,并根据对应上报的统计类型查找对应的统计方式,并根据该统计方式对上报的数据进行统计。
优选地,本申请实施例中,数据统计分析系统存储服务器上报的数据时可以直接根据接收到的上报的数据结构进行存储,即仍然按照表6所示的结构进行数据存储。当然,数据分析系统也可以根据需要使用其它形式进行数据存储。
数据统计分析系统中预先存储统计类型与统计方式的对应关系。针对不同业务类型的业务数据,可能存在即使统计类型相同,对应的统计方式也会有不同的现象。因此,优选地,数据统计分析系统中统计类型与统计方式的对应关系首先是以业务类型为区分,如表8所示:
表8
  业务类型   统计类型   统计方式
  中奖数据记录   用户号码   号码次数求和、号码数量求和
  中奖数据记录   求和   求和
  订单数据记录   用户号码   同一号码次数求和
  、、、   、、、   、、、
需要说明的是,表8中不同业务类型对应不同统计方式的关系可以在同一表格中显示,也可以在不同表格中显示,还可以通过非表格形式记录,本申请文件中只是以表8的形式为例进行说明。
本步骤中,数据统计分析系统根据接收到的上报数据的类型查找表8,进一步根据上表数据的统计类型查找对应的统计方式进行数据统计,得到相应的统计结果。
以表4中所示的上报数据结构为例,数据统计分析系统查找表8得知统计类型用户号码对应的统计方式为求和用户号码个数作为用户人数、求和用户号码数量作为用户次数,根据对统计类型求和将同一等级的分数进行求和得到表8所示的获得分数。
需要说明的是,统计类型维度对应的上报数据可以为各种,即维度作为统计类型的作用在于不进行实际运算,而是区分不同种类的数据,例如中奖等级1与2作为维度的作用在于分别对两种中奖类别的数据进行统计。统计类型求和为统计类型指标中的一种,除求和外,还可以包括求差、求积、求商或者将上述运算方式结合的其它统计方式。本实施例中以求和作为具体例子进行介绍。
表9
Figure GSA00000082606100121
步骤505,数据统计分析系统展示统计结果。
具体的,本实施例中数据统计分析系统的统计结果可以直接进行展示,而不需要进行其它处理。例如上述表9中的统计结果,由于已经基本满足了用户所需要了解的数据,因此可以作为展示数据直接展示,而不需要再进行展示前数据处理。
实施例三
本申请实施例三提供一种处理上报数据的方法,以该方法在购物类网络应用中的使用为例,如图8所示,包括以下步骤:
步骤801,根据买方用户的订购在订单管理系统中产生订单数据。
需要说明的是,在同一个企业中存在多个不同的业务系统,用于处理各个方面的业务。例如,如图9所示,一个电子商务网站可以包括系统:用户管理系统(包括卖方用户的管理系统和买方用户的管理系统)、商品管理系统、订单管理系统和支付管理系统等。不同的业务系统会产程不同的业务数据。本申请实施例一中以一个电子商务网站中的订单管理系统为例进行说明,对于订单管理系统中可能产生的多种业务数据,本申请实施例中以订单数据为例进行说明。
对于订单管理系统中订单数据,假定为订单管理系统根据用户的订购产生的订单,该订单中包括但不限于以下订单数据:买方用户ID、卖方用户ID、买方用户所订购的商品ID、单价和订购数量等等。例如表10所示的一条订单数据记录:
表10、订单数据记录
  买方用户ID   卖方用户ID   订购商品ID   商品单价(/元)   订购数量
  10001   123456   102   50.00   1
其中,买方用户ID、卖方用户ID以及商品ID仅为对用户和商品进行标识的一种优选实施方式,具体标识方式的不同不应视为对本申请保护范围的限制,例如:采用名称进行标识。
需要说明的是,表10所示的订单结构仅为本申请中的一种优选实施方式,凡是能够实现订单数据记录的方式均属于本申请的保护范围,例如:对表10所示的订单中的记录内容和记录形式的改变。此外,订单数据的承载并不限于订单和由此生成的订单数据记录,凡是能够实现订单数据承载的均属于本申请的保护范围,例如:以文本的形式实现对订单数据的记录。
步骤802、订单管理系统根据订单数据记录,按照本地设置的上报结构生成待上报的订单数据。
各个系统中上报的业务数据的结构不同,例如:在订单管理系统中上报的订单数据包括:买方用户ID和卖方用户ID,买方用户所订购的商品ID、单价、数量以及支付状态等,而在用户管理系统中上报的中奖数据包括:买方用户ID、中奖等级和对应的所获得的分数。由此可知,两个业务系统所要上报的字段数目不同,且每个字段的字段长度也不同(例如:订单数据中的支付状态和中奖数据中的商品ID,其中支付状态可以“1”或“0”进行标识),因此需要根据自身上报业务数据的特点利用元数据设置不同的上报结构。
本申请实施例中,对于订单数据中的每一个字段,订单数据的上报结构包括但不限于:每一个字段的字段名、字段业务含义、字段类型、字段长度、字段统计方法、字段展现方法和上报基本信息。以下以第一个字段“买方用户ID为10001”为例进行说明,其中,字段名可以为user1_id;字段业务含义为买方用户标识、字段类型为integer(整形)(对于其它的数据,还可以为字符型、整数日期型和字符串日期型等等)、字段长度为8、字段统计方法为用户标识(此处,由于无需对用户标识进行统计,因此可以用字段业务含义替换,当然也可以将该字段置为空,只要业务系统和数据库共知即可)。上报基本信息包括但不限于:业务的开始时间、结束时间、联系人等等。
需要说明的是,本申请实施例中服务器在生成与订单数据上报结构对应的上报数据时,与图6所示的生成方式相似,服务器可以获得上报结构中的所有字段名的数据,也可以只获得部分字段名的数据。如图9所示,包括:
步骤901,服务器获得订单数据记录中的字段名,根据字段名查找数据上报结构,获得与字段名对应的上报结构。
基于表10中的订单数据,本申请实施例中以获得第一个字段为例进行说明,第一个字段为买方用户ID,且该买方用户ID为10001。
根据所获得的字段的字段名获得与字段名对应的上报结构,如表11所示:
表11、基于元数据的上报结构
  数据产生时间   字段名   字段业务含义   字段类型   字段长度   字段统计方法
  2009-01-01   user1_id   买方用户标识   integer   8   买方用户标识
步骤902,服务器将订单数据中与字段名userl_id对应的字段内容填充到与字段名对应的上报结构中,得到与字段名对应的上报数据。
步骤903、服务器将获得的各字段名对应的上报数据集成得到中奖记录数据对应的上报数据。
具体的,得到的待上报数据如表12所示:
表12、待上报的订单数据
  字段名   字段业务含义   字段类型   字段长度   字段统计方法   字段内容
  user1_id   买方用户标识   Integer   8   买方用户标识   10001
  User2_id   卖方用户ID   Integer   8   卖方用户标识   123456
  Product-id   订购商品ID   Integer   8   维度   102
Price 商品价格 Float 16 求和 50.00
  amount   订购数量   Integer   8   求和   1
步骤904、判断该订单数据记录中是否还存在未添加到对应的上报结构中的字段内容。当判断结果为存在时,转到步骤901。
同时,此处还需要说明,服务器提供的业务不同时,其产生的业务数据可能不同,上报业务数据需要进行的统计、统计时需要考虑的参数可能也会各不相同。考虑到这个原因,本申请实施例中针对不同的业务类别还可以而设置不同的上报数据结构。
因此,与图7所示相似,本申请实施例中在生成订单数据的待上报数据时,服务器执行图10所示步骤:
步骤1001,服务器获得订单数据的业务类别标识。
步骤1002、服务器查找存储的上报结构与业务类别的对应关系,获得与订单数据对应的基于元数据的上报结构。
具体地,不同的上报业务数据需要进行的统计、统计时需要考虑的参数可能各不相同。考虑到这个原因,本申请实施例中针对不同的业务类别设置不同的上报数据结构。
本申请实施例中,服务器可以仅执行订单数据这一项数据记录功能,但同时还可能会执行其它数据记录功能,因此,对于前一种情况,由于服务器可以直接得到存储的基于元数据的上报结构;对于后一种情况,服务器在获得数据记录后,还需要进一步查询存储的数据记录与基于元数据的上报结构的对应关系,例如本步骤中服务器需要查找与订单数据对应的上报数据结构。
具体的,服务器根据所获得的订单数据的业务类型在如表7所示的上报结构表查找与订单数据匹配的基于元数据的上报结构。
表7
  业务类型   上报数据结构
  中奖数据记录   No1
  订单数据记录   No2
  、、、   、、、
表7中的No2代表订单数据对应的数据上报结构,服务器通过查找表7得到与订单数据记录对应的数据上报结构。
步骤1003、将订单数据中的数据添加到数据上报结构中对应的字段,生成待上报的数据。
步骤803、服务器登录数据统计分析系统,将待上报的订单数据上报到数据统计分析系统。
步骤804、数据统计分析系统存储服务器上报的数据,根据与数据一起上报的统计类型查找对应的统计方式进行数据统计。
具体的,本申请实施例中,优选地,数据统计分析系统存储服务器上报的数据时可以直接根据接收到的上报的数据结构进行存储。当然,数据分析系统也可以根据需要使用其它形式进行数据存储。
数据统计分析系统中预先存储统计类型与统计方式的对应关系,由于不同业务类型的业务数据可能及时统计类型相同,对应的统计方式也会有不同,因此,优选地,数据统计分析系统中统计类型与统计方式的对应关系首先是以业务类型为区分,如表8所示:
表8
  业务类型   统计类型   统计方式
  中奖数据记录   用户号码   号码次数求和、号码数量求和
  中奖数据记录   求和   求和
  订单数据记录   用户号码   同一号码次数求和
  、、、   、、、   、、、
需要说明的是,表8中不同业务类型对应不同统计方式的关系可以在同一表格中显示,也可以在不同表格中显示,还可以通过非表格形式记录,本申请文件中只是以表8的形式为例进行说明。
本步骤中,数据统计分析系统根据接收到的上报数据的类型查找表8,进一步根据上表数据的统计类型查找对应的统计方式进行数据统计,得到相应的统计结果。
步骤805、数据统计分析系统展示统计结果。
具体的,本实施例中数据统计分析系统的统计结果可以直接进行展示,而不需要进行其它处理。
实施例四
本申请实施例四还提供一种处理上报数据的方法,如图11所示,包括以下步骤:
步骤1101,用户管理系统与数据统计分析系统中配置数据上报的次序,数据统计分析系统中还配置与数据上报次序对应的统计类型。
具体的,以该方法应用于抽奖类网络应用为例,在用户管理系统与数据统计分析系统中配置相同的数据上报次序,在数据统计分析系统中还配置与数据上报次序对应的统计类型,例如上报数据的字段名依次为user_id、lottery_level和get_score,即首先上报user_id数据,然后上报lottery_level数据,最后上报get_score数据,然后重新按照user_id数据、lottery_level数据、get_score数据的顺序上报。在数据统计分析系统中配置与数据上报次序对应的统计类型为用户号码、维度和求和,然后依次循环。
步骤1102,用户管理系统根据用户的抽奖行为产生抽奖数据,根据配置的数据上报的次序向数据统计分析系统上报数据。
步骤1103,数据统计分析系统接收到用户管理系统上报的数据,根据数据上报的次序查找对应的统计类型进行数据统计。
例如当上报的数据只有user_id、lottery_level和get_score3种时,且上报次序为user_id、lottery_level和get_score时,则第一个上报的数据为user_id数据,第二个上报的数据为lottery_level数据,第三个为get_score数据,第四个为user_id数据,数据统计分析系统根据该次序获知第一个上报的数据的统计类型为用户号码,进行号码次数求和、号码数量求和统计;第二个上报的数据的统计类型为维度,仅作为维度存储;第三个上报的数据的统计类型为求和,对第三个上报的数据进行求和统计;后续根据该次序循环进行数据统计。
步骤1104、数据统计分析系统展示统计结果。
需要说明的是,本申请实施例中展示统计结果时不再需要对统计数据进行处理,而是将统计结果直接展示,即本申请实施例中数据统计分析系统存储统计结果所使用的列表与展示列表为同一列表,对数据的统计根据展示列表的需要可以进行统计规则调整。
实施例五
本申请实施例五提供一种服务器,其上配置有数据统计分析系统,如图12所示,该服务器包括:
获得单元10,用于获得上报的数据及其统计类型;具体的,该获得单元10通过接收上报获得所述数据的统计类型,或者根据所述上报的数据的上报次序查找存储的上报次序与统计类型的对应关系获得所述数据的统计类型。
统计单元20,用于根据上报的所述数据的统计类型自动统计所述上报的数据。
如图13所示,所述统计单元20包括:
第一统计子单元21,用于使用上报的所述数据的统计类型自动统计所述上报的数据。
所述统计单元20还包括:
存储子单元22,用于存储上报次序与统计类型的对应关系;
查找子单元23,与所述存储子单元22连接,用于根据上报的所述数据的上报次序在所述存储子单元中查找对应的统计类型;
第二统计子单元24,与所述查找子单元23连接,用于根据所述查找子单元查找得到的统计类型自动统计所述上报的数据。
需要说明的是,统计单元20可以同时包括第一统计子单元21、存储子单元22、查找子单元23和第二统计子单元24;也可以仅包括第一统计子单元21;或者仅包括存储子单元22、查找子单元23和第二统计子单元24。
所述统计类型可包括用户号码;
与所述用户号码对应的统计方式为统计用户号码的个数获得用户数量,统计用户号码出现的次数获得用户次数。
所述统计类型可包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:
对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
如图14所示,本申请实施例提供的服务器还包括:
展示单元30,用于展示所述上报的数据的统计结果。
如图15示,本申请实施例提供的服务器还包括:
存储单元40,用于使用数据展示列表存储所述上报的数据、所述数据的统计类型、以及所述上报的数据的统计结果中的一种或多种。具体的,展示单元30展示统计结果时使用存储单元40存储统计结果时使用的数据展示列表,对于展示列表中数据的存储排列不需要进行处理,直接展示该数据展示列表。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台服务器(可以是移动终端,个人计算机或者网络设备等)执行本申请各个实施例所述的方法。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本申请的保护范围。

Claims (6)

1.一种处理上报数据的方法,其特征在于,包括:
服务器获得上报的数据以及所述数据的统计类型;
服务器根据所述数据的统计类型自动统计所述上报的数据;其中,所述数据的统计类型根据所述上报的数据的上报次序查找存储的上报次序与统计类型的对应关系获得;根据查找获得的所述上报的数据的统计类型自动统计所述上报的数据。
2.如权利要求1所述的方法,其特征在于,所述统计类型包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:
对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
3.如权利要求1所述的方法,其特征在于,还包括:
使用数据展示列表存储所述上报的数据、所述数据的统计类型、以及所述上报的数据的统计结果中的一种或多种。
4.一种处理上报数据的服务器,其上配置有用于接收上报的数据并存储并根据用户的需要进行存储数据的展示的数据统计分析系统,其特征在于,该服务器包括:
获得单元,用于获得上报的数据以及所述数据的统计类型;
统计单元,用于根据所述数据的统计类型自动统计所述上报的数据;
所述统计单元还包括:
存储子单元,用于存储上报次序与统计类型的对应关系;
查找子单元,用于根据上报的所述数据的上报次序在所述存储子单元中查找对应的统计类型;
第二统计子单元,用于根据所述查找子单元查找得到的统计类型自动统计所述上报的数据。
5.如权利要求4所述的服务器,其特征在于,所述统计类型包括维度和指标,所述维度为数据分类参数,所述指标具体包括以下运算中的一种或多种:
对上报的数据根据所述维度进行求和计算、求差计算、求积运算、求商运算或者将上述运算中的多种结合的运算。
6.如权利要求4所述的服务器,其特征在于,还包括:
存储单元,用于使用数据展示列表存储所述上报的数据、所述数据的统计类型、以及所述上报的数据的统计结果中的一种或多种;
展示单元,用于展示所述上报的数据的统计结果。
CN 201010157159 2010-04-28 2010-04-28 一种处理上报数据的方法和服务器 Active CN102236657B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 201010157159 CN102236657B (zh) 2010-04-28 2010-04-28 一种处理上报数据的方法和服务器
HK12100309.2A HK1160242A1 (en) 2010-04-28 2012-01-11 Method and server for processing reported data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010157159 CN102236657B (zh) 2010-04-28 2010-04-28 一种处理上报数据的方法和服务器

Publications (2)

Publication Number Publication Date
CN102236657A CN102236657A (zh) 2011-11-09
CN102236657B true CN102236657B (zh) 2013-07-31

Family

ID=44887315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010157159 Active CN102236657B (zh) 2010-04-28 2010-04-28 一种处理上报数据的方法和服务器

Country Status (2)

Country Link
CN (1) CN102236657B (zh)
HK (1) HK1160242A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951486B (zh) * 2014-09-04 2016-04-20 国网山东省电力公司应急管理中心 基于电网Gis地图的上报数据展示方法及系统
CN106156130B (zh) * 2015-04-09 2019-11-12 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN105430534B (zh) * 2015-10-29 2019-12-10 Tcl集团股份有限公司 一种智能设备上报数据的方法和系统
CN105868036A (zh) * 2015-12-14 2016-08-17 乐视网信息技术(北京)股份有限公司 异常确定方法及装置
CN108959307A (zh) * 2017-05-22 2018-12-07 平安科技(深圳)有限公司 可扩展数据上报方法、系统、及存储介质
CN107832279A (zh) * 2017-09-12 2018-03-23 北京中燕信息技术有限公司 一种生成报表的方法、设备及计算机可读存储介质
CN108427725B (zh) * 2018-02-11 2021-08-03 华为技术有限公司 数据处理方法、装置和系统
CN113032470B (zh) * 2021-03-16 2024-06-07 深圳市麦谷科技有限公司 一种对车联网的设备数据进行统计的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376383A2 (de) * 2002-03-23 2004-01-02 Uwe Noll Verfahren zur Verarbeitung von Ein- und Ausgaben für statistische Analysen und Verfahren zur Bereinigung von Redundanzen
CN101158900A (zh) * 2007-11-19 2008-04-09 北京大学 一种基于模板系列的报表生成系统及方法
CN101183305A (zh) * 2006-11-14 2008-05-21 天津市食品药品监督管理局宁河分局 用软件生成报表的方法
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN101388045A (zh) * 2008-11-05 2009-03-18 北京中创信测科技股份有限公司 一种进行数据统计的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376383A2 (de) * 2002-03-23 2004-01-02 Uwe Noll Verfahren zur Verarbeitung von Ein- und Ausgaben für statistische Analysen und Verfahren zur Bereinigung von Redundanzen
CN101183305A (zh) * 2006-11-14 2008-05-21 天津市食品药品监督管理局宁河分局 用软件生成报表的方法
CN101158900A (zh) * 2007-11-19 2008-04-09 北京大学 一种基于模板系列的报表生成系统及方法
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN101388045A (zh) * 2008-11-05 2009-03-18 北京中创信测科技股份有限公司 一种进行数据统计的方法及装置

Also Published As

Publication number Publication date
CN102236657A (zh) 2011-11-09
HK1160242A1 (en) 2012-08-10

Similar Documents

Publication Publication Date Title
CN102236657B (zh) 一种处理上报数据的方法和服务器
Comerio et al. Tourism and its economic impact: A literature review using bibliometric tools
CN103248658B (zh) 服务推荐装置、服务推荐方法和移动设备
CN102236663B (zh) 一种基于垂直搜索的查询方法、系统和装置
CN111612549B (zh) 一种平台运营服务系统的构建方法
CN102129431B (zh) 应用于网上交易平台的检索方法和系统
CN105335409A (zh) 一种目标用户的确定方法、设备和网络服务器
CN103631791B (zh) 信息聚合归类的显示方法及系统
WO2019242343A1 (zh) 营销信息投放平台构建方法及装置
CN111178005B (zh) 数据处理系统、方法及存储介质
CN102339433A (zh) 一种应用于网上交易平台的数据处理方法、装置和服务器
CN111353014A (zh) 职位关键词提取、岗位需求更新的方法和装置
CN103309869A (zh) 数据对象的展示关键词推荐方法及系统
CN104050243A (zh) 一种将搜索与社交相结合的网络搜索方法及其系统
CN102402535A (zh) 一种建设产品库的方法及系统
CN106447436A (zh) 一种移动电子商务图像搜索购物方法
CN113919915A (zh) 一种电子商务交易大数据云平台
CN115392206B (zh) 基于wps/excel快速查询数据方法、装置、设备及存储介质
CN102750895A (zh) 一种智能楼宇信息终端及系统、交互方法
CN113505117A (zh) 基于数据指标的数据质量评估方法、装置、设备及介质
CN113327145A (zh) 一种物品推荐方法和装置
KR20050056130A (ko) 신문 잡지 기사 매칭 광고 방법 및 그 시스템
CN111738789A (zh) 一种物品信息推送方法、装置、设备和存储介质
CN110909526A (zh) 垃圾短信规则库构建方法、装置及电子设备
US20240232200A9 (en) Order searching method, apparatus, computer device, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1160242

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1160242

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221116

Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: TAOBAO (CHINA) SOFTWARE CO.,LTD.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.