CN102541811A - 基于按需计算的分析因子的数据分析装置及方法 - Google Patents

基于按需计算的分析因子的数据分析装置及方法 Download PDF

Info

Publication number
CN102541811A
CN102541811A CN2010106173114A CN201010617311A CN102541811A CN 102541811 A CN102541811 A CN 102541811A CN 2010106173114 A CN2010106173114 A CN 2010106173114A CN 201010617311 A CN201010617311 A CN 201010617311A CN 102541811 A CN102541811 A CN 102541811A
Authority
CN
China
Prior art keywords
analysis
data
factor
analysis factor
demand computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010106173114A
Other languages
English (en)
Other versions
CN102541811B (zh
Inventor
陆堃彪
何发亮
梁海琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201010617311.4A priority Critical patent/CN102541811B/zh
Priority to PCT/CN2011/002166 priority patent/WO2012088760A1/zh
Publication of CN102541811A publication Critical patent/CN102541811A/zh
Application granted granted Critical
Publication of CN102541811B publication Critical patent/CN102541811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于按需计算的分析因子的数据分析装置及方法。其中，所述基于按需计算的分析因子的数据分析装置包括配置模块、数据抽取模块、分析因子计算模块、数据分析处理模块以及分析结果输出模块。本发明所公开的基于按需计算的分析因子的数据分析装置及方法易于扩展分析因子和分析规则，可确保实时性和准确性，并且能够按需计算分析因子，从而显著地提高了系统的工作效率和性能。

Description

基于按需计算的分析因子的数据分析装置及方法
技术领域
本发明涉及数据分析装置及方法，更具体地，涉及基于按需计算的分析因子的数据分析装置及方法。
背景技术
目前，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益丰富，基于分析因子(即数据分析中所使用的各个分析要素)的数据分析变得越来越重要。
通常，现有的基于分析因子的数据分析方法及装置的基本原理如下：从数据源抽取原始数据；基于所述原始数据并根据预先设定的规则(所述规则基于各个具体应用预先确定)构建数据模型并同时计算出各个分析因子；基于所述分析因子并根据预先设定的规则(所述规则基于各个应用需求预先确定)构建分析模型并计算出分析结果；将所述分析结果传送给应用服务器用于后续处理。
然而，由于随着业务种类的日益丰富，在数据分析中需要使用的分析因子越来越多，同时基于具体应用需求的数据分析规则的变化也越来越频繁，从而需要经常对分析因子和数据分析规则进行动态的调整。因此，上述现有的技术方案存在如下问题：当需要扩展分析因子时(即数据分析规则需要使用新增的分析因子时)，如果该分析因子不在预先设定的分析因子范围内，也无法根据预先设定的分析因子经过简单运算得到，则必须人工地修改系统代码，从而不能满足系统对实时性的要求；同时，该方式耗时较多，因而维护成本升高，并且由于过程繁琐且易于出错，故降低了整个系统的工作效率和性能；此外，当数据分析规则需要改变时，也同样必须人工地修改系统代码；
另外，在现有的技术方案中，通常在系统设计开发阶段罗列出完整的可能参与分析计算的分析因子，并且在实际使用阶段会在根据运算规则计算出所有分子因子后再构建分析模型。然而，基于需求的变化，实际参与分析计算的分析因子往往仅仅是理论上可能参与分析计算的所有分子因子中的一部分(即实际参与分析计算的分析因子会根据业务需求而动态变化)。因此，上述现有的技术方案还存在如下问题：计算所有分析因子的过程会耗费大量的计算时间和系统资源(即一部分分析因子的计算是无用的)，从而显著降低了系统的整体性能。
因此，存在如下需求：提供一种易于扩展、可确保实时性和准确性并且能够按需计算分析因子，从而提高系统工作效率和性能的基于分析因子的数据分析装置及方法。
发明内容
为了解决上述现有技术方案所存在的缺陷，本发明提出了一种基于按需计算的分析因子的数据分析装置及方法。
本发明的目的是通过以下技术方案实现的：
一种基于按需计算的分析因子的数据分析装置，所述基于按需计算的分析因子的数据分析装置包括：
配置模块，所述配置模块用于根据用户的输入设置所述配置文件；
数据抽取模块，所述数据抽取模块用于从数据源抽取所述原始数据；
分析因子计算模块，所述分析因子计算模块用于基于所述原始数据以及所述配置文件构建数据模型并计算出实际所需的至少一个分析因子的值；
数据分析处理模块，所述数据分析处理模块用于基于所述实际所需的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果；
分析结果输出模块，所述分析结果输出模块用于将所述分析结果传送到应用服务器。
在上面所公开的方案中，优选地，所述分析因子计算模块进一步包括：
分析因子筛选单元，所述分析因子筛选单元用于向所述数据分析处理模块发送分析因子统计请求，并将来自所述数据分析处理模块的响应信息传送给计算单元；
计算单元，所述计算单元用于根据所述响应信息构建数据模型并计算出所述实际需要的至少一个分析因子的值；
其中，所述响应信息包括实际所需的分析因子的标识的列表。
在上面所公开的方案中，优选地，所述分析模型是基于分析规则模板的至少一个分析规则实例。
在上面所公开的方案中，优选地，所述数据分析处理模块进一步包括：
分析规则模板设置单元，所述分析规则模板设置单元用于根据用户的输入设置至少一个分析规则模板；
分析规则实例生成单元，所述分析规则实例生成单元用于根据所述配置文件生成至少一个分析规则实例；
分析因子记录单元，所述分析因子记录单元用于记录所述生成的至少一个分析规则实例使用的分析因子的标识；
分析计算单元，所述分析计算单元用于根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
在上面所公开的方案中，优选地，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系。
在上面所公开的方案中，优选地，所述分析因子的配置数据是可扩展标记语言的形式。
在上面所公开的方案中，优选地，所述分析因子的配置数据包括以下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
在上面所公开的方案中，优选地，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型的映射关系。
在上面所公开的方案中，优选地，所述分析规则的配置数据是可扩展标记语言的形式。
在上面所公开的方案中，优选地，所述分析因子计算模块通过分析因子数据接口将计算出的所述实际所需的至少一个分析因子的值传递给所述数据分析处理模块。
在上面所公开的方案中，优选地，所述分析因子数据接口采用哈希映射表(MAP)结构，其中所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
在上面所公开的方案中，优选地，所述实际所需的至少一个分析因子是所述数据模型中的要素。
在上面所公开的方案中，优选地，所述分析因子计算模块进一步包括分析因子统计单元，所述分析因子统计单元用于对所述实际所需的至少一个分析因子的值进行统计计算。
在上面所公开的方案中，优选地，所述分析因子统计单元包括以下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
在上面所公开的方案中，优选地，所述分析模型是相互关联的逻辑判断规则的集合。
本发明的目的还通过以下技术方案实现：
一种基于按需计算的分析因子的数据分析方法，所述基于按需计算的分析因子的数据分析方法包括如下步骤：
(A1)根据用户的输入设置配置文件：
(A2)从数据源抽取原始数据；
(A3)基于所述原始数据以及所述配置文件构建数据模型并计算出实际所需的至少一个分析因子的值；
(A4)基于所述实际所需的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果；
(A5)将所述分析结果传送到应用服务器。
在上面所公开的方案中，优选地，所述步骤(A3)进一步包括：
(B1)获取指示出所述实际所需的至少一个分析因子的标识的信息，并基于所述信息构建数据模型并计算出所述实际需要的至少一个分析因子的值；
其中，所述信息包括实际所需的分析因子的标识的列表。
在上面所公开的方案中，优选地，所述分析模型是基于分析规则模板的至少一个分析规则实例。
在上面所公开的方案中，优选地，所述步骤(A4)进一步包括：
(C1)根据用户的输入设置至少一个分析规则模板；
(C2)根据所述配置文件生成至少一个分析规则实例；
(C3)记录所述生成的至少一个分析规则实例使用的分析因子的标识(即维护实际参与数据分析计算的分析因子的范围)；
(C4)根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
在上面所公开的方案中，优选地，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系。
在上面所公开的方案中，优选地，所述分析因子的配置数据是可扩展标记语言的形式。
在上面所公开的方案中，优选地，所述分析因子的配置数据包括以下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
在上面所公开的方案中，优选地，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型的映射关系。
在上面所公开的方案中，优选地，所述分析规则的配置数据是可扩展标记语言的形式。
在上面所公开的方案中，优选地，所述方法通过分析因子数据接口传递计算出的所述实际所需的至少一个分析因子的值。
在上面所公开的方案中，优选地，所述分析因子数据接口采用哈希映射表(MAP)结构，其中所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
在上面所公开的方案中，优选地，所述实际所需的至少一个分析因子是所述数据模型中的要素。
在上面所公开的方案中，优选地，所述步骤(B1)进一步包括：
(D1)对所述实际所需的至少一个分析因子的值进行统计计算。
在上面所公开的方案中，优选地，所述统计计算包括以下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
在上面所公开的方案中，优选地，所述分析模型是相互关联的逻辑判断规则的集合。
本发明所公开的基于按需计算的分析因子的数据分析装置及方法具有如下优点：易于扩展分析因子和分析规则；可确保实时性和准确性；能够按需计算分析因子，从而显著地提高了系统的工作效率和性能。
附图说明
结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：
图1为根据本发明的实施例的基于按需计算分析因子的数据分析装置的结构图；
图2为根据本发明的实施例的基于按需计算分析因子的数据分析方法的流程图；
具体实施方式
图1是根据本发明的实施例的基于按需计算分析因子的数据分析装置的结构图。如图1所示，本发明所公开的基于按需计算分析因子的数据分析装置1用于基于原始数据以及配置文件中的分析规则进行数据分析。如图1所示，所述数据分析装置1包括配置模块2、数据抽取模块3、分析因子计算模块4、数据分析处理模块5和分析结果输出模块6。其中，所述配置模块2用于根据用户的输入设置所述配置文件。所述数据抽取模块3用于从数据源抽取所述原始数据。所述分析因子计算模块4用于基于所述原始数据以及所述配置文件构建数据模型并计算出实际需要的至少一个分析因子的值。所述数据分析处理模块5用于基于所述实际需要的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果。所述分析结果输出模块6用于将所述分析结果传送到应用服务器(例如安全检测服务器)。
如图1所示，优选地，在本发明所公开的基于按需计算分析因子的数据分析装置中，所述分析因子计算模块进一步包括计算单元7和分析因子筛选单元8。其中，所述分析因子筛选单元8用于向所述数据分析处理模块5发送分析因子统计请求，并将来自所述数据分析处理模块5的响应信息传送给所述计算单元7。所述计算单元7用于根据所述响应信息构建数据模型并计算出所述实际需要的至少一个分析因子的值。优选地，所述响应信息包括实际所需的分析因子的标识的列表。
优选地，在本发明所公开的基于按需计算分析因子的数据分析装置中，所述分析模型是基于分析规则模板的至少一个分析规则实例。其中，所述分析规则模板是指一些通用的数据分析规则，其只作为分析规则实例扩展的基础，并不参与数据分析的计算过程；所述分析规则实例是指实际参与数据分析的分析规则，其可基于所述分析规则模板进行扩展，即可以基于不同的需求而实时产生不同的分析规则实例。
如图1所示，优选地，在本发明所公开的基于按需计算分析因子的数据分析装置中，所述数据分析处理模块5进一步包括分析规则模板设置单元9、分析规则实例生成单元10、分析因子记录单元11和分析计算单元12。其中，所述分析规则模板设置单元9用于根据用户的输入设置至少一个分析规则模板。所述分析规则实例生成单元10用于根据所述配置文件生成至少一个分析规则实例。所述分析因子记录单元11用于记录所述生成的至少一个分析规则实例使用的分析因子的标识(即维护实际参与数据分析计算的分析因子的范围)。所述分析计算单元12用于根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
示例性地，在本发明所公开的基于按需计算分析因子的数据分析装置中，所述计算单元7计算分析因子的基本过程如下：基于接收到的所述响应信息(所述响应信息包括实际所需的分析因子的标识的列表)，排除所述至少一个分析规则实例均未涉及到的分析因子；基于接收到的所述响应信息，计算所述至少一个分析规则实例均涉及到的分析因子(即对实际所需的分析因子合并分类，批量计算，从而避免了对多个分析规则实例均使用的公共分析因子重复多次计算)；基于接收到的所述响应信息，分别单独计算在所述至少一个分析规则实例中的每一个中使用的个性化的分析因子(即非公共使用的分析因子)。
优选地，在本发明所公开的数据分析装置中，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系(即逻辑关系)。
优选地，所述分析因子的配置数据是XML(可扩展标记语言)的形式。
优选地，所述分析因子的配置数据包括如下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
优选地，在本发明所公开的数据分析装置中，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型(即业务规则)的映射关系(即逻辑关系)。
优选地，所述分析规则的配置数据是XML(可扩展标记语言)的形式。
优选地，在本发明所公开的数据分析装置中，所述分析因子计算模块4通过分析因子数据接口将计算出的所述实际所需的至少一个分析因子的值传递给所述数据分析处理模块5。其中，优选地，所述分析因子数据接口采用哈希映射表(MAP)结构，即所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
优选地，在本发明所公开的数据分析装置中，所述实际所需的至少一个分析因子是所述数据模型(即业务模型)中的要素。
优选地，在本发明所公开的数据分析装置中，所述分析因子计算模块4进一步包括分析因子统计单元，用于对所述实际所需的至少一个分析因子的值进行统计计算。所述分析因子统计单元可以包括如下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
优选地，在本发明所公开的数据分析装置中，所述分析模型是相互关联的逻辑判断规则的集合。
如图1所示，示例性地，本发明所公开的数据分析装置的基本工作原理如下：根据用户输入通过配置模块2设置配置文件；所述数据抽取模块3从数据源抽取出原始数据；所述分析因子计算模块4基于所述配置文件中的分析因子的配置数据(即用户设定的业务模型)以及所述原始数据构建数据模型并计算出实际需要的至少一个分析因子的值；所述分析因子计算模块4通过分析因子数据接口将计算出的所述实际需要的至少一个分析因子的值传递给所述数据分析处理模块5；所述数据分析处理模块5基于所述配置文件中的分析规则的配置数据(即用户设定的规则引擎的分析规则)以及所述实际需要的至少一个分析因子的值构建分析模型并计算出分析结果；所述分析结果输出模块6将所述分析结果传送到应用服务器。
示例性地，本发明所公开的数据分析装置应用于安全性信息交互，例如金融风险管理系统。所述原始数据例如可以是交易属性信息、商户信息等。所述应用服务器可以是安全检测服务器。
图2是根据本发明的实施例的基于按需计算的分析因子的数据分析方法的流程图。如图2所示，本发明所公开的基于可动态扩展的分析因子的数据分析方法包括如下步骤：(A1)根据用户的输入设置配置文件：(A2)从数据源抽取原始数据；(A3)基于所述原始数据以及所述配置文件构建数据模型并计算出实际所需的至少一个分析因子的值；(A4)基于所述实际所需的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果；(A5)将所述分析结果传送到应用服务器(例如安全检测服务器)。
优选地，在本发明所公开的基于按需计算分析因子的数据分析方法中，所述步骤(A3)进一步包括：(B1)获取指示出所述实际所需的至少一个分析因子的标识的信息，并基于所述信息构建数据模型并计算出所述实际需要的至少一个分析因子的值。优选地，所述信息包括实际所需的分析因子的标识的列表。
优选地，在本发明所公开的基于按需计算分析因子的数据分析方法中，所述分析模型是基于分析规则模板的至少一个分析规则实例。其中，所述分析规则模板是指一些通用的数据分析规则，其只作为分析规则实例扩展的基础，并不参与数据分析的计算过程；所述分析规则实例是指实际参与数据分析的分析规则，其可基于所述分析规则模板进行扩展，即可以基于不同的需求而实时产生不同的分析规则实例。
优选地，在本发明所公开的基于按需计算分析因子的数据分析方法中，所述步骤(A4)进一步包括：(C1)根据用户的输入设置至少一个分析规则模板；(C2)根据所述配置文件生成至少一个分析规则实例；(C3)记录所述生成的至少一个分析规则实例使用的分析因子的标识(即维护实际参与数据分析计算的分析因子的范围)；(C4)根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
示例性地，在本发明所公开的基于按需计算分析因子的数据分析方法中，计算分析因子的基本过程如下：基于获取的所述信息(所述信息包括实际所需的分析因子的标识的列表)，排除所述至少一个分析规则实例均未涉及到的分析因子；基于获取的所述信息，计算所述至少一个分析规则实例均涉及到的分析因子(即对实际所需的分析因子合并分类、批量计算，从而避免了对多个分析规则实例均使用的公共分析因子重复多次计算)；基于获取的所述信息，分别单独计算在所述至少一个分析规则实例中的每一个中使用的个性化的分析因子(即非公共使用的分析因子)。
优选地，在本发明所公开的数据分析方法中，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系(即逻辑关系)。
优选地，所述分析因子的配置数据是XML(可扩展标记语言)的形式。
优选地，所述分析因子的配置数据包括如下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
优选地，在本发明所公开的数据分析方法中，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型(即业务规则)的映射关系(即逻辑关系)。
优选地，所述分析规则的配置数据是XML(可扩展标记语言)的形式。
优选地，在本发明所公开的数据分析方法中，通过分析因子数据接口传递计算出的所述实际所需的至少一个分析因子的值。其中，优选地，所述分析因子数据接口采用哈希映射表(MAP)结构，即所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
优选地，在本发明所公开的数据分析方法中，所述实际所需的至少一个分析因子是所述数据模型(即业务模型)中的要素。
优选地，在本发明所公开的数据分析方法中，所述步骤(B1)进一步包括：(D1)对所述实际所需的至少一个分析因子的值进行统计计算。所述统计计算包括如下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
优选地，在本发明所公开的数据分析方法中，所述分析模型是相互关联的逻辑判断规则的集合。
尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。

Claims (30)

1.一种基于按需计算的分析因子的数据分析装置，所述基于按需计算的分析因子的数据分析装置包括：
配置模块，所述配置模块用于根据用户的输入设置所述配置文件；
数据抽取模块，所述数据抽取模块用于从数据源抽取所述原始数据；
分析因子计算模块，所述分析因子计算模块用于基于所述原始数据以及所述配置文件构建数据模型并计算出实际所需的至少一个分析因子的值；
数据分析处理模块，所述数据分析处理模块用于基于所述实际所需的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果；
分析结果输出模块，所述分析结果输出模块用于将所述分析结果传送到应用服务器。
2.根据权利要求1所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子计算模块进一步包括：
分析因子筛选单元，所述分析因子筛选单元用于向所述数据分析处理模块发送分析因子统计请求，并将来自所述数据分析处理模块的响应信息传送给计算单元；
计算单元，所述计算单元用于根据所述响应信息构建数据模型并计算出所述实际需要的至少一个分析因子的值；
其中，所述响应信息包括实际所需的分析因子的标识的列表。
3.根据权利要求2所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析模型是基于分析规则模板的至少一个分析规则实例。
4.根据权利要求3所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述数据分析处理模块进一步包括：
分析规则模板设置单元，所述分析规则模板设置单元用于根据用户的输入设置至少一个分析规则模板；
分析规则实例生成单元，所述分析规则实例生成单元用于根据所述配置文件生成至少一个分析规则实例；
分析因子记录单元，所述分析因子记录单元用于记录所述生成的至少一个分析规则实例使用的分析因子的标识；
分析计算单元，所述分析计算单元用于根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
5.根据权利要求4所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系。
6.根据权利要求5所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子的配置数据是可扩展标记语言的形式。
7.根据权利要求6所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子的配置数据包括以下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
8.根据权利要求7所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型的映射关系。
9.根据权利要求8所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析规则的配置数据是可扩展标记语言的形式。
10.根据权利要求9所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子计算模块通过分析因子数据接口将计算出的所述实际所需的至少一个分析因子的值传递给所述数据分析处理模块。
11.根据权利要求10所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子数据接口采用哈希映射表(MAP)结构，其中所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
12.根据权利要求11所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述实际所需的至少一个分析因子是所述数据模型中的要素。
13.根据权利要求12所述的基于按需计算的分析因子的数据分析装置，其特征在于，所述分析因子计算模块进一步包括分析因子统计单元，所述分析因子统计单元用于对所述实际所需的至少一个分析因子的值进行统计计算。
14.根据权利要求13所述的基于可动态扩展的分析因子的数据分析装置，其特征在于，所述分析因子统计单元包括以下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
15.根据权利要求14所述的基于可动态扩展的分析因子的数据分析装置，其特征在于，所述分析模型是相互关联的逻辑判断规则的集合。
16.一种基于按需计算的分析因子的数据分析方法，所述基于按需计算的分析因子的数据分析方法包括如下步骤：
(A1)根据用户的输入设置配置文件：
(A2)从数据源抽取原始数据；
(A3)基于所述原始数据以及所述配置文件构建数据模型并计算出实际所需的至少一个分析因子的值；
(A4)基于所述实际所需的至少一个分析因子的值以及所述配置文件构建分析模型并计算出分析结果；
(A5)将所述分析结果传送到应用服务器。
17.根据权利要求16所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述步骤(A3)进一步包括：
(B1)获取指示出所述实际所需的至少一个分析因子的标识的信息，并基于所述信息构建数据模型并计算出所述实际需要的至少一个分析因子的值；
其中，所述信息包括实际所需的分析因子的标识的列表。
18.根据权利要求17所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析模型是基于分析规则模板的至少一个分析规则实例。
19.根据权利要求18所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述步骤(A4)进一步包括：
(C1)根据用户的输入设置至少一个分析规则模板；
(C2)根据所述配置文件生成至少一个分析规则实例；
(C3)记录所述生成的至少一个分析规则实例使用的分析因子的标识(即维护实际参与数据分析计算的分析因子的范围)；
(C4)根据所述生成的至少一个分析规则实例构建分析模型并计算出分析结果。
20.根据权利要求19所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述配置文件包括分析因子的配置数据，所述分析因子的配置数据定义原始数据与分析因子的映射关系。
21.根据权利要求20所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析因子的配置数据是可扩展标记语言的形式。
22.根据权利要求21所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析因子的配置数据包括以下要素中的至少一个：原始数据标识、统计度量、统计维度、统计方式以及过滤条件。
23.根据权利要求22所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述配置文件包括分析规则的配置数据，所述分析规则的配置数据定义分析因子与分析模型的映射关系。
24.根据权利要求23所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析规则的配置数据是可扩展标记语言的形式。
25.根据权利要求24所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述方法通过分析因子数据接口传递计算出的所述实际所需的至少一个分析因子的值。
26.根据权利要求25所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析因子数据接口采用哈希映射表(MAP)结构，其中所述分析因子数据接口的输出是计算出的分析因子的键-值(KEY-VALUE)。
27.根据权利要求26所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述实际所需的至少一个分析因子是所述数据模型中的要素。
28.根据权利要求27所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述步骤(B1)进一步包括：
(D1)对所述实际所需的至少一个分析因子的值进行统计计算。
29.根据权利要求28所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述统计计算包括以下统计运算方式中的至少一个：求和(Sum)、取最小值(Min)，取最大值(Max)。
30.根据权利要求29所述的基于按需计算的分析因子的数据分析方法，其特征在于，所述分析模型是相互关联的逻辑判断规则的集合。
CN201010617311.4A 2010-12-27 2010-12-27 基于按需计算的分析因子的数据分析装置及方法 Active CN102541811B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201010617311.4A CN102541811B (zh) 2010-12-27 2010-12-27 基于按需计算的分析因子的数据分析装置及方法
PCT/CN2011/002166 WO2012088760A1 (zh) 2010-12-27 2011-12-23 基于按需计算的分析因子的数据分析装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010617311.4A CN102541811B (zh) 2010-12-27 2010-12-27 基于按需计算的分析因子的数据分析装置及方法

Publications (2)

Publication Number Publication Date
CN102541811A true CN102541811A (zh) 2012-07-04
CN102541811B CN102541811B (zh) 2015-02-18

Family

ID=46348738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010617311.4A Active CN102541811B (zh) 2010-12-27 2010-12-27 基于按需计算的分析因子的数据分析装置及方法

Country Status (2)

Country Link
CN (1) CN102541811B (zh)
WO (1) WO2012088760A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391532A (zh) * 2017-04-14 2017-11-24 阿里巴巴集团控股有限公司 数据过滤的方法和装置
CN108121780A (zh) * 2017-12-15 2018-06-05 中盈优创资讯科技有限公司 数据分析模型确定方法及装置
CN109063059A (zh) * 2018-07-20 2018-12-21 腾讯科技（深圳）有限公司 行为日志处理方法、装置及电子设备
CN109726284A (zh) * 2018-12-07 2019-05-07 成都品果科技有限公司 一种通用性强的数据分析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117980B (zh) * 2015-08-24 2019-02-12 云南电网有限责任公司 一种电网设备状态的自动评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294000A1 (en) * 2006-06-14 2007-12-20 Underdal Olav M Diagnostic test sequence optimization method and apparatus
CN101234287A (zh) * 2008-03-06 2008-08-06 北京科大联创冶金技术有限公司 用半干法脱硫除氟的烟气处理控制系统
US20080222067A1 (en) * 2007-03-07 2008-09-11 National Taiwan University Of Science And Technology Prediction method of near field photolithography line fabrication using by the combination of taguchi method and neural network
CN101414188A (zh) * 2008-12-03 2009-04-22 重庆邮电大学 基于ccp协议的汽车abs ecu在线标定系统和标定方法
CN101556464A (zh) * 2009-05-22 2009-10-14 天津大学 基于关联规则的城市电力负荷预测模型自动推荐方法
US20100106669A1 (en) * 2005-06-28 2010-04-29 Gen Ming Guo Journal Manuscript Submission Decision Support System
CN102567353A (zh) * 2010-12-17 2012-07-11 中国银联股份有限公司 基于可动态扩展的分析因子的数据分析装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106669A1 (en) * 2005-06-28 2010-04-29 Gen Ming Guo Journal Manuscript Submission Decision Support System
US20070294000A1 (en) * 2006-06-14 2007-12-20 Underdal Olav M Diagnostic test sequence optimization method and apparatus
US20080222067A1 (en) * 2007-03-07 2008-09-11 National Taiwan University Of Science And Technology Prediction method of near field photolithography line fabrication using by the combination of taguchi method and neural network
CN101234287A (zh) * 2008-03-06 2008-08-06 北京科大联创冶金技术有限公司 用半干法脱硫除氟的烟气处理控制系统
CN101414188A (zh) * 2008-12-03 2009-04-22 重庆邮电大学 基于ccp协议的汽车abs ecu在线标定系统和标定方法
CN101556464A (zh) * 2009-05-22 2009-10-14 天津大学 基于关联规则的城市电力负荷预测模型自动推荐方法
CN102567353A (zh) * 2010-12-17 2012-07-11 中国银联股份有限公司 基于可动态扩展的分析因子的数据分析装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈臻等: "面向电信企业的商业智能分析系统", 《微计算机信息》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391532A (zh) * 2017-04-14 2017-11-24 阿里巴巴集团控股有限公司 数据过滤的方法和装置
CN107391532B (zh) * 2017-04-14 2020-08-04 阿里巴巴集团控股有限公司 数据过滤的方法和装置
CN108121780A (zh) * 2017-12-15 2018-06-05 中盈优创资讯科技有限公司 数据分析模型确定方法及装置
CN109063059A (zh) * 2018-07-20 2018-12-21 腾讯科技（深圳）有限公司 行为日志处理方法、装置及电子设备
CN109063059B (zh) * 2018-07-20 2021-07-27 腾讯科技（深圳）有限公司 行为日志处理方法、装置及电子设备
CN109726284A (zh) * 2018-12-07 2019-05-07 成都品果科技有限公司 一种通用性强的数据分析方法

Also Published As

Publication number Publication date
WO2012088760A1 (zh) 2012-07-05
CN102541811B (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104391934B (zh) 数据校验方法和装置
CN105468371B (zh) 一种基于主题聚类的业务流程图合并方法
CN102541811B (zh) 基于按需计算的分析因子的数据分析装置及方法
CN102722533A (zh) 一种报表展现与填报的方法及系统
WO2021190379A1 (zh) 实现自动机器学习的方法及装置
CN104572895A (zh) MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN109902117A (zh) 业务系统分析方法和装置
CN103294691A (zh) 一种java环境中基于xml的excel 报表生成方法
CN111768096A (zh) 基于算法模型的评级方法、装置、电子设备及存储介质
CN104361031A (zh) 一种政务大数据预处理系统及处理方法
CN110544035A (zh) 一种内控检测方法、系统和计算机可读存储介质
CN112231417A (zh) 数据分类方法、装置、电子设备及存储介质
CN114035793A (zh) 页面生成方法、页面生成装置、设备及存储介质
CN116860856A (zh) 一种财务数据处理方法、装置、计算机设备及存储介质
CN106685707A (zh) 一种分布式基础设施系统中的资产信息控制方法
CN102567353B (zh) 基于可动态扩展的分析因子的数据分析装置及方法
CN110782354A (zh) 披露基金投资的方法及装置
CN116681045A (zh) 报表生成方法、装置、计算机设备及存储介质
TW202407578A (zh) 一種操作行為識別方法、裝置、電腦設備及電腦可讀存儲介質
CN114707968A (zh) 一种基于电力大数据的流程告示牌
CN102663040A (zh) 基于正负对约束数据的kl距离训练得到属性列权重的方法
CN1794217A (zh) 计算流体力学网格应用系统
CN111736808B (zh) 一种交易报告单的签约处理方法及系统
CN103942263B (zh) 一种基于本体的行政对象分布式大数据关联分析方法
CN116757094B (zh) 一种风力机尾流场计算方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant