CN110032582B - 一种数据处理方法、装置、设备及系统 - Google Patents

一种数据处理方法、装置、设备及系统 Download PDF

Info

Publication number
CN110032582B
CN110032582B CN201910170605.8A CN201910170605A CN110032582B CN 110032582 B CN110032582 B CN 110032582B CN 201910170605 A CN201910170605 A CN 201910170605A CN 110032582 B CN110032582 B CN 110032582B
Authority
CN
China
Prior art keywords
dimension
configuration information
data
dimension configuration
target service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910170605.8A
Other languages
English (en)
Other versions
CN110032582A (zh
Inventor
龚明秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN202311295191.4A priority Critical patent/CN117435639A/zh
Priority to CN201910170605.8A priority patent/CN110032582B/zh
Publication of CN110032582A publication Critical patent/CN110032582A/zh
Application granted granted Critical
Publication of CN110032582B publication Critical patent/CN110032582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种数据处理方法、装置、设备及系统，所述方法包括：获取目标业务的业务日志；获取所述目标业务的维度配置信息；根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。

Description

一种数据处理方法、装置、设备及系统
技术领域
本说明书涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及系统。
背景技术
随着终端技术和网络技术的不断发展，各种数据不断增加，如何对这些数据进行再次利用成为当前的热门话题，进而数据的处理和统计分析越来越被人们所重视。
当前，对某项业务进行统计分析的过程中，需要对该业务的业务指标按照各个不同的维度信息进行数据统计。通常，可以将某业务的一个业务指标按照不同维度信息的要求，分别编写或开发相应的数据处理逻辑，以此来提取相应的维度数据，然后，再按照该业务的预定要求对上述维度数据进行统计分析计算，得到相应的计算结果，并可以将得到的计算结果提供给使用方。
然而，通过上述方式对不同维度信息对应的维度数据进行统计分析的过程中，一方面各个维度信息对应的维度数据清洗逻辑需要单独维护，且开发工作量较大，另一方面当需要增加新的维度信息时，也需要增加或开发新的维度信息的数据处理逻辑，从而使得维度数据统计分析的灵活性和扩展性较差。为此，需要提供一种各个维度信息对应的维度数据处理更简化、开发工作量更少、维度数据统计分析的灵活性和扩展性较好的技术方案。
发明内容
本说明书实施例的目的是提供一种数据处理方法、装置、设备及系统，以提供一种各个维度信息对应的维度数据处理更简化、开发工作量更少、维度数据统计分析的灵活性和扩展性较好的技术方案。
为了实现上述技术方案，本说明书实施例是这样实现的：
本说明书实施例提供的一种数据处理方法，所述方法包括：
获取目标业务的业务日志；
获取所述目标业务的维度配置信息；
根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
可选地，所述获取所述目标业务的维度配置信息，包括：
判断本地缓存中是否包含所述目标业务的维度配置信息；
如果所述本地缓存中未包含所述目标业务的维度配置信息，则向数据分析平台发送所述维度配置信息获取请求；
接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
可选地，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
可选地，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
可选地，所述方法还包括：
接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
可选地，所述根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据，包括：
根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
可选地，所述分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果，包括：
使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供的一种数据处理装置，所述装置包括：
日志获取模块，用于获取目标业务的业务日志；
维度配置获取模块，用于获取所述目标业务的维度配置信息；
维度数据生成模块，用于根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
统计分析模块，用于分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
可选地，所述维度配置获取模块，包括：
判断单元，用于判断本地缓存中是否包含所述目标业务的维度配置信息；
维度配置请求单元，用于如果所述本地缓存中未包含所述目标业务的维度配置信息，则向数据分析平台发送所述维度配置信息获取请求；
维度配置获取单元，用于接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
可选地，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
可选地，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
可选地，所述装置还包括：
修改指令接收模块，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
修改模块，用于根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
可选地，所述维度数据生成模块，用于根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
可选地，所述统计分析模块，用于使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供的一种数据处理设备，所述数据处理设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取目标业务的业务日志；
获取所述目标业务的维度配置信息；
根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供的一种数据处理系统，所述数据处理系统包括计算平台和数据分析平台，其中：
计算平台，用于获取目标业务的业务日志；获取所述目标业务的维度配置信息；根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
所述数据分析平台，用于向所述计算平台提供所述目标业务的维度配置信息。
可选地，所述数据分析平台，用于在所述计算平台的缓存中未包含所述目标业务的维度配置信息，并接收到所述计算平台发送的所述维度配置信息获取请求后，向所述计算平台提供所述目标业务的维度配置信息。
可选地，所述数据分析平台，还用于在接收到所述计算平台发送的所述维度配置信息获取请求后，判断本地缓存中是否包含所述目标业务的维度配置信息；如果所述本地缓存中未包含所述目标业务的维度配置信息，则从数据库中获取所述目标业务的维度配置信息，将所述目标业务的维度配置信息发送给所述计算平台，并将所述目标业务的维度配置信息存储到所述本地缓存中。
可选地，所述数据分析平台，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一种数据处理方法实施例；
图2为本说明书另一种数据处理方法实施例；
图3为本说明书一种数据处理系统实施例；
图4为本说明书一种数据处理装置实施例；
图5为本说明书一种数据处理设备实施例。
具体实施方式
本说明书实施例提供一种数据处理方法、装置、设备及系统。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
实施例一
如图1所示，本说明书实施例提供一种数据处理方法，该方法的执行主体可以为终端设备或服务器等，其中，该终端设备可以如手机或平板电脑等移动终端设备，还可以如个人计算机等设备。该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，而且，该服务器可以是某项或多项业务的后台服务器等。该方法可以用于对不同维度信息对应的维度数据进行统计分析等处理中。为了提高处理效率，本实施例的执行主体可以以服务器为例进行说明，对于以终端设备作为执行主体的情况，可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：
在步骤S102中，获取目标业务的业务日志。
其中，目标业务可以是任意业务，例如金融支付业务、商品展示销售业务或联营卡片业务等，其中的联营卡片可以是由某企业或组织与某银行机构等金融机构合作发行的卡片，联营卡片可以具备该企业或组织和该银行机构合作的一些权益，具体如蚂蚁金服中的花呗与某银行机构合作发行的联营卡片可以具备消费送N倍积分等。由于联营卡片可以由某企业或组织圈定目标用户来进行引导，实现通过该企业或组织的应用程序来申请联营卡片，从而为银行机构提供新用户。业务日志可以用于记录用户针对某项业务进行的操作行为，以及对用户操作行为的响应的相关信息，业务日志可以具有不同的来源，例如可以来自于数据库中，也可以来自于数据库之外且与目标业务相关的来源，其中的来自于数据库的业务日志还可以是数据库表等。
在实施中，对某项业务进行统计分析的过程中，需要对该业务的业务指标按照各个不同的维度信息进行数据统计，通常，可以将某业务的一个业务指标按照不同维度信息的要求，分别编写相应的数据处理逻辑，以此来提取相应的维度数据，然后，再按照该业务的预定要求对上述维度数据进行统计分析计算，得到相应的计算结果，并可以将得到的计算结果提供给使用方。例如，对于联营卡业务，联营卡业务通常具有多阶段的特点，如可以包含预校验、发卡咨询、发送短消息、验证短消息、发卡申请和状态变更等多个阶段，为了更好的了解用户在发放联营卡片的流程中的流失情况，以及每天发放的卡片总量、发放成功率等信息，就需要对发放联营卡业务进行数据统计分析，而联营卡业务又存在业务来源、发卡机构等不同的维度信息，为了更细粒度的了解联营卡业务的运行情况，就需要对不同的维度信息对应的维度数据进行分别的统计分析。基于上述内容，可以通过分别编写相应的数据处理逻辑，来提取相应维度信息对应的维度数据，如在处理整体总预校验人数、各机构预校验人数、各来源预校验人数、各机构下各来源人数四个维度信息的维度数据时，需要使用如下的四个处理逻辑实现，如表1所示。
表1
基于上述表1，通过上述方式对不同维度信息对应的维度数据进行统计分析的过程中，一方面各个维度信息对应的维度数据清洗逻辑需要单独维护，且开发工作量较大，另一方面当随着业务的发展，需要增加新的维度信息时，相应的也需要增加新的维度信息的数据处理逻辑，从而使得维度数据统计分析的灵活性和扩展性较差。为此，需要提供一种各个维度信息对应的维度数据处理更简化、开发工作量更少、维度数据统计分析的灵活性和扩展性较好的技术方案，本说明书实施例提供一种能够实现上述效果的技术方案，具体可以包括以下内容：
不同的业务可以包含不同的维度信息，为了更好的管理不同业务的维度信息和相应的维度数据，可以根据实际需要设置相应的可视化管理页面，通过该可视化管理页面，可以将某业务的业务指标相关的维度信息维护到数据库中，通常，一个业务指标可以来自于某业务的一份业务日志(或数据库表)。因此，当需要对某业务(即目标业务)进行数据的统计分析时，可以获取目标业务的一条或多条业务日志，该业务日志中可以包括目标业务的标识，例如目标业务的ID(IDentification，身份标识号码)或业务日志的ID等。其中，对于业务日志的ID，可以对相应的业务日志进行分析，确定该业务日志属于哪一项业务，从而确定目标业务的标识等。
在步骤S104中，获取上述目标业务的维度配置信息。
其中，维度配置信息可以是维度信息的相关配置信息等，维度配置信息可以用于表征某业务的维度信息包含哪些，以及维度信息的样式等，例如，一条业务日志中可以包括业务类型、阶段、机构、业务来源和业务日期，其中，为了后续表示方便，可以使用bizType表征业务类型，使用stage表征阶段，使用instId表征机构，使用source表征业务来源，使用bizDate表征业务日期等，则相应的维度配置信息可以如下表2所示。
表2
维度配置信息
/1000/bizType//stage/bizDate
/1001/bizType/stage/instId/bizDate
/1002/bizType/stage/source/bizDate
/1003/bizType/state/instId/source/bizDate
在实施中，不同的业务可以包含不同的维度信息，相应的，不同的业务对应的维度配置信息可以不同，可以预先根据不同的业务需求或实际情况，为每项业务设置相应的维度配置信息。当获取到目标业务的业务日志后，可以从该业务日志中获取目标业务的标识，可以通过目标业务的标识，确定相应的目标业务。然后，可以在上述预先设置的维度配置信息中获取目标业务的标识对应的维度配置信息，从而得到目标业务的维度配置信息。
在步骤S106中，根据上述维度配置信息，对上述业务日志进行拆分处理，生成与该维度配置信息相匹配的维度数据。
其中，维度数据可以包括维度信息对应的数据等，在实际应用中，维度数据中除了可以包括维度信息对应的数据外，还可以包含其他数据，例如，不同维度信息对应的返回值，该返回值可以为在相应的维度信息下的数量统计值，例如维度信息为A页面的点击次数，相应的返回值可以为1500等。本说明书实施例对维度数据中包含的其它数据不做限定，具体可以根据实际情况设定。
在实施中，通过上述步骤S104的处理，得到目标业务的维度配置信息后，可以使用该维度配置信息中的包含的维度信息对获取的业务日志进行分析，可以根据业务日志中包含的指定字段将业务日志进行拆分，得到一个或多个指定字段的数据，基于得到的一个或多个指定字段的数据，生成与该维度配置信息相匹配的维度数据。其中的指定字段可以是该维度配置信息中的包含的维度信息，例如，可以在业务日志中查找包含如业务类型、阶段、机构、业务来源和业务日期相关的指定字段，具体如，可以在业务日志中查找包含bizType、state、instId、source和bizDate等指定字段的数据，基于得到的指定字段的数据，生成与该维度配置信息相匹配的维度数据。具体如，业务类型为联营卡片(或Union_Card)，阶段为预校验(或Pre_Check)，机构为上海银行(SHBank)，业务来源为我的银行列表(My_Bank_List)，业务日期为2018年10月31日(即20181031)，用户标识(即User_ID)为20880000001，则基于上述字段的数据，可以生成与上述表2所示的维度配置信息相匹配的维度数据如表3所示。
表3
Rowkey uv_field
/1000/Union_Card/Pre_Check/20181031 20880000001
/1001/Union_Card/Pre_Check/20181031/SHBank 20880000001
/1002/Union_Card/Pre_Check/20181031/My_Bank_List 20880000001
/1003/Union_Card/Pre_Check/20181031/SHBank/My_Bank_List 20880000001
其中，Rowkey中可以表示与该维度配置信息相对应的维度信息，uv_field可以表示维度信息对应的返回值等。通过上述方式，对上述业务日志进行拆分处理后，可以将一条业务日志拆分为多个不同维度的多条业务日志(如上述表3中的4条业务日志等)。
在步骤S108中，分别对与上述维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果。
在实施中，可以根据实际情况预先设定不同业务的维度数据的统计分析算法或统计规则，当通过上述步骤S106的处理生成与该维度配置信息相匹配的维度数据后，可以通过预先设定的统计分析算法或统计规则分别对维度数据进行统计分析，得到该维度数据对应的统计分析结果。
本说明书实施例提供一种数据处理方法，通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
实施例二
如图2所示，本说明书实施例提供一种数据处理方法，该方法的执行主体可以为终端设备或服务器等，其中，该终端设备可以如手机或平板电脑等移动终端设备，还可以如个人计算机等设备。该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，而且，该服务器可以是某项或多项业务的后台服务器等。该方法可以用于对不同维度信息对应的维度数据进行统计分析等处理中。为了提高处理效率，本实施例的执行主体可以以服务器为例进行说明，对于以终端设备作为执行主体的情况，可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：
在实际应用中，为了更好的完成本说明书实施例的处理过程，可以设置相应的处理系统，如图3所示，该处理系统中可以包括计算平台和数据分析平台，其中，计算平台可以为本实施例中的执行主体(即服务器)，可以用于对维度数据进行统计分析，并得到相应的统计分析结果，数据分析平台可以用于存储并查询某业务的维度配置信息，并可以为计算平台提供查询的业务的维度配置信息等。
在步骤S202中，获取目标业务的业务日志。
在实施中，为了更加简单直观的管理不同业务的维度信息和相应的维度数据，如上所述，可以根据实际情况设置相应的可视化管理页面，通过该可视化管理页面，可以将某业务的业务指标相关的维度信息维护到数据库中，为此就需要将记录有维度信息和/或维度数据的业务日志输入到数据库中。当某一业务(即目标业务)的业务日志输入时，可以获取该目标业务的业务日志。
在步骤S204中，判断本地缓存中是否包含上述目标业务的维度配置信息。
在实施中，通常，为了提高数据的处理效率，可以在获取到某项业务的维度配置信息时，将该维度配置信息存储在本地缓存中，这样，当需要再次使用该项业务的维度配置信息时，可以直接从本地缓存中提取，而不需要向数据分析平台请求，从而可以大大缩减维度配置信息的提取时间。基于此，当计算平台(即服务器)获取到目标业务的业务日志后，可以基于业务日志中的相关信息，在本地缓存中查找是否包含目标业务的维度配置信息，以此判断本地缓存中是否包含上述目标业务的维度配置信息，如果在本地缓存中查找到目标业务的维度配置信息，则可以直接执行下述步骤S210的处理，如果在本地缓存中未查找到目标业务的维度配置信息，则需要向数据分析平台获取目标业务的维度配置信息，即可以执行下述步骤S206和步骤S208的处理。
在步骤S206中，如果本地缓存中未包含目标业务的维度配置信息，则向数据分析平台发送该维度配置信息获取请求。
其中，该获取请求可以是任意传输协议的请求，例如HTTP请求等，在实际应用中，该获取请求还可以是除HTTP请求外的其它传输协议的请求，具体可以根据实际情况设定，本说明书实施例对此不做限定。
在实施中，如果在本地缓存中未查找到目标业务的维度配置信息，则可以获取目标业务的相关信息(如目标业务的标识等)，可以基于获取的信息生成该维度配置信息获取请求，并可以将该维度配置信息获取请求发送给数据分析平台。
在步骤S208中，接收数据分析平台发送的目标业务的维度配置信息，将目标业务的维度配置信息存储到本地缓存中。
在实施中，数据分析平台接收到服务器(或计算平台)发送的该维度配置信息获取请求后，可以在相应的数据库中查找目标业务的维度配置信息，然后，可以将目标业务的维度配置信息发送给服务器(或计算平台)。服务器(或计算平台)接收目标业务的维度配置信息，并可以将目标业务的维度配置信息存储到本地缓存中。
需要说明的是，为了提高数据处理效率，可以将近期使用的或预先指定的某项或多项业务的维度配置信息存储在数据分析平台的缓存中，当数据分析平台接收到服务器(或计算平台)发送的该维度配置信息获取请求后，可以在缓存中查找是否包含目标业务的维度配置信息，如果缓存中未查找到目标业务的维度配置信息，则可以在相应的数据库中查找目标业务的维度配置信息，并可以将查找到的目标业务的维度配置信息存储在缓存中。如果缓存中查找到目标业务的维度配置信息，则可以直接从缓存中加载目标业务的维度配置信息。
针对上述步骤S204～步骤S208的处理，可以是由计算平台(或服务器)中预先设置的处理逻辑或算法实现，也可以是计算平台(或服务器)通过调用用户自定义表生成函数UDTF(User-Defined Table-Generating Functions)实现，UDTF可以是用于解决输入数据为一行数据(或一条数据)，相应的输出数据为多行数据(或多条数据)的问题的函数。上述步骤S204～步骤S208的处理可以为：计算平台(或服务器)调用UDTF，通过UDTF判断本地缓存中是否包含上述目标业务的维度配置信息，如果本地缓存中未包含目标业务的维度配置信息，则通过UDTF向数据分析平台发送该维度配置信息获取请求，通过UDTF接收数据分析平台发送的目标业务的维度配置信息，将目标业务的维度配置信息存储到本地缓存中等。
在步骤S210中，根据上述维度配置信息，调用用户自定义表生成函数UDTF对上述业务日志进行拆分处理，生成与该维度配置信息相匹配的维度数据。
其中，维度数据可以包括与上述维度配置信息相匹配的维度信息和该维度信息对应的返回值，该返回值为在该维度信息下的数量统计值。该返回值可以包括如页面浏览量、点击量和独立访客量中的一种或多种，在实际应用中，该返回值还可以不限于上述三种，还可以包括其它多种数量统计值，具体可以根据实际情况设定，本说明书实施例对此不做限定。
在实施中，由于UDTF是用于解决输入数据为一行数据(或一条数据)，相应的输出数据为多行数据(或多条数据)的问题的函数，因此，在通过上述步骤S208的处理，得到目标业务的维度配置信息后，可以使用该维度配置信息中的包含的维度信息，调用UDTF对获取的业务日志进行分析，可以根据业务日志中包含的指定字段将业务日志进行拆分，得到一个或多个指定字段的数据，基于得到的一个或多个指定字段的数据，生成与该维度配置信息相匹配的多行的键值(即多行的配置信息)，并返回在该维度信息下的数量统计值，这样，就可以将输入为一条业务日志拆分成包含多个维度信息的多条业务日志。具体可以参见上述实施例一中的表3等。
在步骤S212中，使用预定的统计分析规则，分别对与上述维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果。
其中，统计分析规则可以包括多种，不同的业务可以有不同的统计分析规则，不同的维度数据也可以有不同的统计分析规则，具体可以根据实际情况设定，本说明书实施例对此不做限定。
在实施中，当计算平台获取到UDTF处理后的维度数据后，只需要统一使用一种统计分析规则就可以统计各个维度信息对应的维度数据，参见表3，具体可以通过下述方式实现：
Select Rowkey，count(distinct uv_field)
From table
Group by Rowkey
需要说明的是，上述处理方式仅是一种可实现的处理方式，在实际应用中，除了可以通过上述方式实现外，还可以通过其它多种方式实现，具体可以根据实际情况设定，在此不再赘述。
此外，如果需要修改某维度信息或增加新的维度信息，则可以通过下述步骤S214和步骤S216的处理实现。
在步骤S214中，接收目标业务的维度配置信息的修改指令，该修改指令中包括上述维度配置信息的修改信息。
其中，维度配置信息的修改信息中可以包括需要修改的维度配置信息的相关信息(如相应的标识，具体如维度配置信息的名称或编码等，或者相应的业务的标识等)，以及修改后的内容(包括增加的新维度信息等)等。
在实施中，如果需要给某业务增加新的维度信息、修改某维度信息或删除某维度信息，则可以通过管理设备获取维度配置信息的修改信息，并以此生成相应的修改指令，然后，可以向计算平台(或服务器)发送目标业务的维度配置信息的修改指令，计算平台(或服务器)可以接收目标业务的维度配置信息的修改指令。
在步骤S216中，根据上述维度配置信息的修改信息对目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
在实施中，修改后的维度配置信息可以提供给数据分析平台存储，计算平台(或服务器)也可以将该修改后的维度配置信息存储在本地缓存中。
需要说明的是，即使某业务的维度配置信息被修改，上述统计分析规则也不需要进行修改，从而使得数据的处理更加灵活，可扩展性较强。另外，上述步骤S214和步骤S216的处理也可以由数据分析平台执行，然后，数据分析平台将修改后的维度配置信息存储在数据库中。
本说明书实施例提供一种数据处理方法，通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
实施例三
以上为本说明书实施例提供的数据处理方法，基于同样的思路，本说明书实施例还提供一种数据处理装置，如图4所示。
该数据处理装置包括：日志获取模块401、维度配置获取模块402、维度数据生成模块403和统计分析模块404，其中：
日志获取模块401，用于获取目标业务的业务日志；
维度配置获取模块402，用于获取所述目标业务的维度配置信息；
维度数据生成模块403，用于根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
统计分析模块404，用于分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例中，所述维度配置获取模块402，包括：
判断单元，用于判断本地缓存中是否包含所述目标业务的维度配置信息；
维度配置请求单元，用于如果所述本地缓存中未包含所述目标业务的维度配置信息，则向数据分析平台发送所述维度配置信息获取请求；
维度配置获取单元，用于接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
本说明书实施例中，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
本说明书实施例中，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
本说明书实施例中，所述装置还包括：
修改指令接收模块，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
修改模块，用于根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
本说明书实施例中，所述维度数据生成模块403，用于根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
本说明书实施例中，所述统计分析模块404，用于使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供一种数据处理装置，通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
实施例四
以上为本说明书实施例提供的数据处理装置，基于同样的思路，本说明书实施例还提供一种数据处理设备，如图5所示。
所述数据处理设备可以为上述实施例提供的服务器。
数据处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在数据处理设备上执行存储器502中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506。
具体在本实施例中，数据处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取目标业务的业务日志；
获取所述目标业务的维度配置信息；
根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例中，所述获取所述目标业务的维度配置信息，包括：
判断本地缓存中是否包含所述目标业务的维度配置信息；
如果所述本地缓存中未包含所述目标业务的维度配置信息，则向数据分析平台发送所述维度配置信息获取请求；
接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
本说明书实施例中，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
本说明书实施例中，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
本说明书实施例中，还包括：
接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
本说明书实施例中，所述根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据，包括：
根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
本说明书实施例中，所述分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果，包括：
使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供一种数据处理设备，通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
实施例五
基于同样的思路，本说明书实施例还提供一种数据处理系统，如图3所示。
该数据处理系统包括计算平台301和数据分析平台302，其中：
计算平台301，用于获取目标业务的业务日志；获取所述目标业务的维度配置信息；根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
所述数据分析平台302，用于向所述计算平台301提供所述目标业务的维度配置信息。
本说明书实施例中，所述数据分析平台302，用于在所述计算平台301的缓存中未包含所述目标业务的维度配置信息，并接收到所述计算平台301发送的所述维度配置信息获取请求后，向所述计算平台301提供所述目标业务的维度配置信息。
本说明书实施例中，所述数据分析平台302，还用于在接收到所述计算平台301发送的所述维度配置信息获取请求后，判断本地缓存中是否包含所述目标业务的维度配置信息；如果所述本地缓存中未包含所述目标业务的维度配置信息，则从数据库中获取所述目标业务的维度配置信息，将所述目标业务的维度配置信息发送给所述计算平台301，并将所述目标业务的维度配置信息存储到所述本地缓存中。
本说明书实施例中，所述数据分析平台302，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
其中，维度配置信息的修改信息中可以包括需要修改的维度配置信息的相关信息(如相应的标识，具体如维度配置信息的名称或编码等，或者相应的业务的标识等)，以及修改后的内容(包括增加的新维度信息等)等。
在实施中，如果需要给某业务增加新的维度信息、修改某维度信息或删除某维度信息，则可以通过管理设备获取维度配置信息的修改信息，并以此生成相应的修改指令，然后，可以向数据分析平台302发送目标业务的维度配置信息的修改指令，数据分析平台302可以接收目标业务的维度配置信息的修改指令。数据分析平台根据上述维度配置信息的修改信息对目标业务的维度配置信息进行修改，得到修改后的维度配置信息，并可以将该修改后的维度配置信息存储在本地缓存中，以及数据库中。
本说明书实施例中，所述计算平台301，还用于获取目标业务的业务日志；获取所述目标业务的维度配置信息；根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例中，所述计算平台301，还用于判断本地缓存中是否包含所述目标业务的维度配置信息；如果所述本地缓存中未包含所述目标业务的维度配置信息，则向数据分析平台发送所述维度配置信息获取请求；接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
本说明书实施例中，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
本说明书实施例中，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
本说明书实施例中，所述计算平台301，还用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
本说明书实施例中，所述计算平台301，还用于根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
本说明书实施例中，所述计算平台301，还用于使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
本说明书实施例提供一种数据处理系统，通过获取目标业务的业务日志，获取目标业务的维度配置信息，根据该维度配置信息，对该业务日志进行拆分处理，生成与维度配置信息相匹配的维度数据，分别对与该维度配置信息相匹配的维度数据进行统计分析，得到该维度数据对应的统计分析结果，这样，可以为不同的业务设置维度配置信息，当需要对目标业务的业务日志进行数据的统计分析时，可以通过维度配置信息动态的配置相应的维度信息，进而动态的生成相应的维度数据，而不需要对不同的维度信息开发相应的数据处理逻辑，减少了数据处理逻辑的开发工作量，从而可以快速得到满足目标业务要求的统计分析结果，简化了各个维度信息对应的维度数据处理过程，而且，即使需要增加新的维度信息，也不需要开发相应的数据处理逻辑，使得维度数据统计分析的灵活性和扩展性得以提高。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (19)

1.一种数据处理方法，所述方法包括：
获取目标业务的业务日志；
获取所述目标业务的维度配置信息；
根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
其中，所述获取所述目标业务的维度配置信息，包括：
将数据分析平台发送的所述目标业务的维度配置信息存储在本地缓存中，并从所述本地缓存中提取所述目标业务的维度配置信息，所述数据分析平台的缓存中存储有预设时段内使用的业务的维度配置信息；
所述根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据，包括：
使用所述维度配置信息中的包含的维度信息，调用用户自定义表生成函数UDTF对所述业务日志进行分析，以根据所述业务日志中包含的指定字段将所述业务日志进行拆分处理，得到一个或多个指定字段的数据；
基于得到的一个或多个指定字段的数据，生成与所述维度配置信息相匹配的多行的键值，并返回在所述维度信息下的数量统计值，所述UDTF是用于解决输入数据为一行数据或一条数据，相应的输出数据为多行数据或多条数据的问题的函数。
2.根据权利要求1所述的方法，所述获取所述目标业务的维度配置信息，包括：
判断本地缓存中是否包含所述目标业务的维度配置信息；
如果所述本地缓存中未包含所述目标业务的维度配置信息，则向所述数据分析平台发送所述维度配置信息获取请求；
接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
3.根据权利要求1所述的方法，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
4.根据权利要求3所述的方法，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
5.根据权利要求1所述的方法，所述方法还包括：
接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
6.根据权利要求1所述的方法，所述根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据，包括：
根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
7.根据权利要求1所述的方法，所述分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果，包括：
使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
8.一种数据处理装置，所述装置包括：
日志获取模块，用于获取目标业务的业务日志；
维度配置获取模块，用于获取所述目标业务的维度配置信息；
维度数据生成模块，用于根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
统计分析模块，用于分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
其中，所述维度配置获取模块，用于：
将数据分析平台发送的所述目标业务的维度配置信息存储在本地缓存中，并从所述本地缓存中提取所述目标业务的维度配置信息，所述数据分析平台的缓存中存储有预设时段内使用的业务的维度配置信息；
所述维度数据生成模块，使用所述维度配置信息中的包含的维度信息，调用用户自定义表生成函数UDTF对所述业务日志进行分析，以根据所述业务日志中包含的指定字段将所述业务日志进行拆分处理，得到一个或多个指定字段的数据；基于得到的一个或多个指定字段的数据，生成与所述维度配置信息相匹配的多行的键值，并返回在所述维度信息下的数量统计值，所述UDTF是用于解决输入数据为一行数据或一条数据，相应的输出数据为多行数据或多条数据的问题的函数。
9.根据权利要求8所述的装置，所述维度配置获取模块，包括：
判断单元，用于判断本地缓存中是否包含所述目标业务的维度配置信息；
维度配置请求单元，用于如果所述本地缓存中未包含所述目标业务的维度配置信息，则向所述数据分析平台发送所述维度配置信息获取请求；
维度配置获取单元，用于接收所述数据分析平台发送的所述目标业务的维度配置信息，将所述目标业务的维度配置信息存储到所述本地缓存中。
10.根据权利要求8所述的装置，所述维度数据包括与所述维度配置信息相匹配的维度信息和所述维度信息对应的返回值，所述返回值为在所述维度信息下的数量统计值。
11.根据权利要求10所述的装置，所述返回值包括页面浏览量、点击量和独立访客量中的一种或多种。
12.根据权利要求8所述的装置，所述装置还包括：
修改指令接收模块，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；
修改模块，用于根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
13.根据权利要求8所述的装置，所述维度数据生成模块，用于根据所述维度配置信息，调用用户自定义表生成函数UDTF对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据。
14.根据权利要求8所述的装置，所述统计分析模块，用于使用预定的统计分析规则，分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果。
15.一种数据处理设备，所述数据处理设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取目标业务的业务日志；
获取所述目标业务的维度配置信息；
根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；
分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
其中，所述获取所述目标业务的维度配置信息，包括：
将数据分析平台发送的所述目标业务的维度配置信息存储在本地缓存中，并从所述本地缓存中提取所述目标业务的维度配置信息，所述数据分析平台的缓存中存储有预设时段内使用的业务的维度配置信息；
所述根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据，包括：
使用所述维度配置信息中的包含的维度信息，调用用户自定义表生成函数UDTF对所述业务日志进行分析，以根据所述业务日志中包含的指定字段将所述业务日志进行拆分处理，得到一个或多个指定字段的数据；
基于得到的一个或多个指定字段的数据，生成与所述维度配置信息相匹配的多行的键值，并返回在所述维度信息下的数量统计值，所述UDTF是用于解决输入数据为一行数据或一条数据，相应的输出数据为多行数据或多条数据的问题的函数。
16.一种数据处理系统，所述数据处理系统包括计算平台和数据分析平台，其中：
计算平台，用于获取目标业务的业务日志；获取所述目标业务的维度配置信息；根据所述维度配置信息，对所述业务日志进行拆分处理，生成与所述维度配置信息相匹配的维度数据；分别对与所述维度配置信息相匹配的维度数据进行统计分析，得到所述维度数据对应的统计分析结果；
所述数据分析平台，用于向所述计算平台提供所述目标业务的维度配置信息；
所述计算平台，用于将所述数据分析平台发送的所述目标业务的维度配置信息存储在本地缓存中，并从所述本地缓存中提取所述目标业务的维度配置信息，所述数据分析平台的缓存中存储有预设时段内使用的业务的维度配置信息；
所述计算平台，用于使用所述维度配置信息中的包含的维度信息，调用用户自定义表生成函数UDTF对所述业务日志进行分析，以根据所述业务日志中包含的指定字段将所述业务日志进行拆分处理，得到一个或多个指定字段的数据；基于得到的一个或多个指定字段的数据，生成与所述维度配置信息相匹配的多行的键值，并返回在所述维度信息下的数量统计值，所述UDTF是用于解决输入数据为一行数据或一条数据，相应的输出数据为多行数据或多条数据的问题的函数。
17.根据权利要求16所述的系统，所述数据分析平台，用于在所述计算平台的缓存中未包含所述目标业务的维度配置信息，并接收到所述计算平台发送的所述维度配置信息获取请求后，向所述计算平台提供所述目标业务的维度配置信息。
18.根据权利要求17所述的系统，所述数据分析平台，还用于在接收到所述计算平台发送的所述维度配置信息获取请求后，判断本地缓存中是否包含所述目标业务的维度配置信息；如果所述本地缓存中未包含所述目标业务的维度配置信息，则从数据库中获取所述目标业务的维度配置信息，将所述目标业务的维度配置信息发送给所述计算平台，并将所述目标业务的维度配置信息存储到所述本地缓存中。
19.根据权利要求16所述的系统，所述数据分析平台，用于接收所述目标业务的维度配置信息的修改指令，所述修改指令中包括所述维度配置信息的修改信息；根据所述维度配置信息的修改信息对所述目标业务的维度配置信息进行修改，得到修改后的维度配置信息。
CN201910170605.8A 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统 Active CN110032582B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311295191.4A CN117435639A (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统
CN201910170605.8A CN110032582B (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910170605.8A CN110032582B (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311295191.4A Division CN117435639A (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN110032582A CN110032582A (zh) 2019-07-19
CN110032582B true CN110032582B (zh) 2023-10-27

Family

ID=67235079

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910170605.8A Active CN110032582B (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统
CN202311295191.4A Pending CN117435639A (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311295191.4A Pending CN117435639A (zh) 2019-03-07 2019-03-07 一种数据处理方法、装置、设备及系统

Country Status (1)

Country Link
CN (2) CN110032582B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909288B (zh) * 2019-11-06 2022-06-10 北京达佳互联信息技术有限公司 业务数据处理方法、装置、平台、业务端、系统及介质
CN111125579B (zh) * 2019-11-28 2021-04-02 北京金堤科技有限公司 网页信息处理方法和装置、存储介质和电子设备
CN111400313A (zh) * 2020-02-27 2020-07-10 中国建设银行股份有限公司 一种处理请求的方法和装置
CN113962578A (zh) * 2021-10-28 2022-01-21 四川虹美智能科技有限公司 数据分析方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194164A (zh) * 2011-04-18 2011-09-21 上海实时数据软件有限公司 基于指标体系模型的敏捷商业智能数据构建方法
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技（深圳）有限公司 一种多维度拆分的计算方法及系统
CN107229730A (zh) * 2017-06-08 2017-10-03 北京奇虎科技有限公司 数据查询方法及装置
CN108171528A (zh) * 2016-12-07 2018-06-15 阿里巴巴集团控股有限公司 一种归因方法及归因系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194164A (zh) * 2011-04-18 2011-09-21 上海实时数据软件有限公司 基于指标体系模型的敏捷商业智能数据构建方法
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技（深圳）有限公司 一种多维度拆分的计算方法及系统
CN108171528A (zh) * 2016-12-07 2018-06-15 阿里巴巴集团控股有限公司 一种归因方法及归因系统
CN107229730A (zh) * 2017-06-08 2017-10-03 北京奇虎科技有限公司 数据查询方法及装置

Also Published As

Publication number Publication date
CN117435639A (zh) 2024-01-23
CN110032582A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110032582B (zh) 一种数据处理方法、装置、设备及系统
CN107424069B (zh) 一种风控特征的生成方法、风险监控方法及设备
CN106899666B (zh) 一种针对业务标识的数据处理方法及装置
CN108460523B (zh) 一种风控规则生成方法和装置
CN108173706B (zh) 一种多业务系统下的业务标记方法、装置及设备
CN110688974B (zh) 一种身份识别方法及装置
CN110569428B (zh) 一种推荐模型的构建方法、装置及设备
CN108599973B (zh) 一种日志关联方法、装置及设备
CN110020427B (zh) 策略确定方法和装置
CN110503435B (zh) 基于区块链的交易预警方法、装置及设备
CN110674188A (zh) 一种特征提取方法、装置及设备
CN113516480A (zh) 一种支付风险识别方法、装置及设备
CN110232156B (zh) 基于长文本的信息推荐方法及装置
CN109886804B (zh) 一种任务处理方法及装置
CN111143461B (zh) 映射关系处理系统、方法和电子设备
CN110322139B (zh) 策略推荐方法及装置
CN109582476B (zh) 数据处理方法、装置及系统
CN112364264B (zh) 一种风险防控方法、装置及设备
CN106874327B (zh) 一种针对业务数据的计数方法及装置
CN111242195B (zh) 模型、保险风控模型训练方法、装置及电子设备
CN114201086B (zh) 信息的展示方法及装置
CN111611056A (zh) 数据处理方法、装置、计算机设备及存储介质
CN111967767A (zh) 一种业务风险识别方法、装置、设备及介质
CN112884478B (zh) 一种数据处理方法、装置及设备
CN115600155B (zh) 一种数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant