CN109960560A - 一种指标处理方法及系统 - Google Patents
一种指标处理方法及系统 Download PDFInfo
- Publication number
- CN109960560A CN109960560A CN201910252519.1A CN201910252519A CN109960560A CN 109960560 A CN109960560 A CN 109960560A CN 201910252519 A CN201910252519 A CN 201910252519A CN 109960560 A CN109960560 A CN 109960560A
- Authority
- CN
- China
- Prior art keywords
- index
- calculation
- item
- user interface
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 268
- 230000001276 controlling effect Effects 0.000 abstract 1
- 238000009826 distribution Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种指标处理方法及系统,涉及大数据处理领域。该方法包括:显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;响应于对所述配置项的操作,配置第一指标的指标属性;响应于对所述控制项的操作,对第二指标的数据进行计算。本发明的方案解决了现有技术需要采用专业的计算机编程语句才能够定义指标,对于用户的专业性要求较高,提升了操作难度的问题。
Description
技术领域
本发明涉及大数据处理领域,尤其涉及一种指标处理方法及系统。
背景技术
随着大数据时代的到来,为了从中掌握所关注的内容,需要通过指标来对海量的数据进行分析,这些指标可以更加准确地体现实际状况。
然而,现有的处理技术是使用SQL(Structured Query Language,结构化查询语言)语句来定义指标,对于用户的专业性要求较高,提升了操作难度。
发明内容
有鉴于此,本发明提供一种指标处理方法及系统,用于解决现有技术需要采用专业的计算机编程语句才能够定义指标,对于用户的专业性要求较高,提升了操作难度的问题。
为解决上述技术问题,本发明提供一种指标处理方法,包括:
显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
响应于对所述配置项的操作,配置第一指标的指标属性;
响应于对所述控制项的操作,对第二指标的数据进行计算。
其中,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
其中,所述指标属性还包括以下至少一项:
键值列表、组名称、生效时间、时间格式和过滤条件。
其中,当所述计算维度为时间时,所述指标属性还包括:时间属性、时间长度和时间单位。
其中,所述第一指标存储在数据库中。
其中,所述第一用户界面还包括新增指标项,所述方法还包括:
响应于对所述新增指标项的操作,增加新的待配置指标属性的指标。
其中,所述控制项包括提交项;
所述响应于对所述控制项的操作,对第二指标的数据进行计算的步骤,包括:
响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
其中,所述控制项包括停止项;
所述响应于对所述控制项的操作,对第二指标的数据进行计算的步骤,包括:
响应于对所述停止项的操作,显示第三用户界面,所述第三用户界面包括用于选择停止计算指标的第二选择项;
响应于对所述第二选择项的操作,停止对所选的指标的数据计算。
其中,所述对第二指标的数据进行计算的步骤,包括:
根据所述第二指标的指标属性,生成实时计算任务;
运行所述实时计算任务,得到计算结果。
其中,所述运行所述实时计算任务,得到计算结果的步骤,包括:
通过同一线程运行所述实时计算任务,得到计算结果;或者,
根据预设的至少两个线程运行所述实时计算任务,得到计算结果;或者,
根据预设的分组策略和所述第二指标的指标属性,将所述第二指标分组后,通过每组对应的计算算子运行所述实时计算任务,得到计算结果;或者,
通过预设集群中的计算节点运行所述实时计算任务,得到计算结果,所述预设集群预先配置有一并行度。
其中,所述实时计算任务包括:
计算开始时间、计算函数和计算维度;
所述运行所述实时计算任务,得到计算结果的步骤,包括:
根据所述计算开始时间、所述计算函数和所述计算维度,由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果;其中,所述计算模块配置有至少一计算准则。
其中,所述实时计算任务还包括:计算对象范围;
所述由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果的步骤,包括:
由所述计算模块对在所述计算对象范围内的数据进行计算。
其中,在所述运行所述实时计算任务,得到计算结果的步骤之后,所述方法还包括:
将所述计算结果在实时数据库缓存后存储至结果数据库。
其中,在所述对第二指标的数据进行计算的步骤之后,所述方法还包括:
显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
其中,所述第四用户界面还包括用于调整所述第二指标的指标属性的调整项;
在所述显示第四用户界面的步骤之后,所述方法还包括:
响应于对所述调整项的操作,根据计算的结果更新所述第四用户界面。
本发明还提供一种指标处理系统,包括:
第一显示模块,用于显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
第一处理模块,用于响应于对所述配置项的操作,配置第一指标的指标属性;
第二处理模块,用于响应于对所述控制项的操作,对第二指标的数据进行计算。
其中,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
其中,所述指标属性还包括以下至少一项:
键值列表、组名称、生效时间、时间格式和过滤条件。
其中,当所述计算维度为时间时,所述指标属性还包括:时间属性、时间长度和时间单位。
其中,所述第一指标存储在数据库中。
其中,所述第一用户界面还包括新增指标项,所述系统还包括:
第三处理模块,用于响应于对所述新增指标项的操作,增加新的待配置指标属性的指标。
其中,所述控制项包括提交项;
所述第二处理模块包括:
第一显示子模块,用于响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
第一处理子模块,用于响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
其中,所述控制项包括停止项;
所述第二处理模块包括:
第二显示子模块,用于响应于对所述停止项的操作,显示第三用户界面,所述第三用户界面包括用于选择停止计算指标的第二选择项;
第二处理子模块,用于响应于对所述第二选择项的操作,停止对所选的指标的数据计算。
其中,所述第二处理模块包括:
第三处理子模块,用于根据所述第二指标的指标属性,生成实时计算任务;
第四处理子模块,用于运行所述实时计算任务,得到计算结果。
其中,所述第四处理子模块还用于:
通过同一线程运行所述实时计算任务,得到计算结果;或者,
根据预设的至少两个线程运行所述实时计算任务,得到计算结果;或者,
根据预设的分组策略和所述第二指标的指标属性,将所述第二指标分组后,通过每组对应的计算算子运行所述实时计算任务,得到计算结果;或者,
通过预设集群中的计算节点运行所述实时计算任务,得到计算结果,所述预设集群预先配置有一并行度。
其中,所述实时计算任务包括:
计算开始时间、计算函数和计算维度;
所述第四处理子模块还用于:
根据所述计算开始时间、所述计算函数和所述计算维度,由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果;其中,所述计算模块配置有至少一计算准则。
其中,所述实时计算任务还包括:计算对象范围;
所述第四处理子模块还用于:
由所述计算模块对在所述计算对象范围内的数据进行计算。
其中,还包括:
第五处理子模块,用于将所述计算结果在实时数据库缓存后存储至结果数据库。
其中,还包括:
第二显示模块,用于显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
其中,所述第四用户界面还包括用于调整所述第二指标的指标属性的调整项;
所述系统还包括:
第四处理模块,用于响应于对所述调整项的操作,根据计算的结果更新所述第四用户界面。
本发明还提供一种指标处理系统,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现上述的指标处理方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的指标处理方法中的步骤。
本发明的上述技术方案的有益效果如下:
在本发明的实施例中,首先显示第一用户界面,在该第一用户界面上包括用于配置指标的配置项,用于控制指标计算的控制项,以便用于基于该第一用户界面进行指标的配置和指标计算的控制;之后,响应于对该配置项的操作,能够完成第一指标的指标属性配置,当然,响应于对控制项的操作,还能够完成对第二指标的数据计算。这样,用户就能够基于可视化的用户界面进行指标属性配置,并控制计算,而无需采用专业的计算机编程语句,对于用户的专业性要求较低,也使得操作更为便捷。
附图说明
图1为本发明实施例的方法的流程示意图;
图2为本发明实施例的第一用户界面示意图;
图3为本发明实施例的第二用户界面示意图
图4为本发明实施例的第四用户界面示意图
图5为本发明实施例的方法应用示意图;
图6为本发明实施例的系统结构示意图;
图7为本发明另一实施例的系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
为解决现有技术需要采用专业的计算机编程语句才能够定义指标,对于用户的专业性要求较高,提升了操作难度的问题,如图1所示,本发明实施例的指标处理方法,包括:
步骤101,显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
步骤102,响应于对所述配置项的操作,配置第一指标的指标属性;
步骤103,响应于对所述控制项的操作,对第二指标的数据进行计算。
通过步骤101-103,本发明实施例的指标处理方法,可应用于指标处理系统,首先显示第一用户界面,在该第一用户界面上包括用于配置指标属性的配置项,用于控制指标计算的控制项,以便用于基于该第一用户界面进行指标的配置和指标计算的控制;之后,响应于对该配置项的操作,能够完成第一指标的指标属性配置,当然,响应于对控制项的操作,还能够完成对第二指标的数据计算。这样,用户就能够基于可视化的用户界面进行指标的指标属性配置即对指标的定义,并控制计算,而无需采用专业的计算机编程语句,对于用户的专业性要求较低,也使得操作更为便捷。
其中,第一指标包括新增的指标和编辑的指标,第二指标为指标计算列表中的指标。该第一指标会显示在第一用户界面上。该第一指标和该第二指标不限于单个指标,还可以是多个指标。在对第一指标的指标属性配置完成后,可将第一指标作为第二指标进行数据的计算,当然第二指标也可以与第一指标不同。
应该知道的是,指标是在某个时间序列上,对配置的属性数据进行计算得到的结果,用于展示、预测、衡量等。其中时间序列是指当前时刻或一时间段,该时间段即从一预设历史时刻至当前时刻的累计时间。
在本发明的实施例中,可选地,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
这里,指标名称:具有不可重复的特性,作为指标的唯一标识,例如交易总量。计算参数:数据中对应的需要参与运算的参数名称,例如交易金额、贷款金额等。计算类型:需要对计算参数进行的运算类型,包括算术运算、聚合运算、衍生运算等。计算维度:数据在哪个维度上进行运算,包含时间、数量、地理位置等维度。数据结构Schema:数据的数据结构,表示数据含有的参数,比如一条数据包含3个参数:名字name(String字符串类型)、年龄age(int整数类型)和支付金额cash(decimal小数类型),而这三个参数加起来构成一个Schema。计算参数是包含全部或部分Schema中的参数,不同指标可以引用同一个Schema。每个指标有独立的Schema,用户上传Schema之后,能直接选取Schema中包含的参数,避免在配置时出现错误。在配置指标属性即定义指标时,指标名称、计算参数、计算类型、计算维度和Schema是指标的必要属性。
其中,计算类型如下表1所示:
表1
可选地,所述指标属性还包括以下至少一项:
键值列表、组名称、生效时间、时间格式和过滤条件。
这里,键值列表:可配置多个,用于拼接成关键key缓存在实时数据库RTDB中。组名称:指标所在的分组名称。生效时间:指标定义完整之后,何时生效开始参与运算。时间格式:时间属性对应的日期格式。过滤条件:对数据进行过滤的条件,可选地,为填写SpringEL语法格式的条件。在定义指标时,键值列表、组名称、生效时间、时间格式和过滤条件是指标的可选属性。
而考虑到计算维度为时间的具体情况,可选地,当所述计算维度为时间时,所述指标属性还包括:时间属性、时间长度和时间单位。
这里,时间属性:数据中对应的需要参与运算的时间属性名称。时间长度:对多长时间内的数据进行运算。时间单位:时间长度的单位,包括SECOND(秒)、MINUTE(分钟)、HOUR(小时)、DAY(天)、WEEK(周)、MONTH(月)、YEAR(年)等。对于定义指标时,该指标的计算维度为时间的情况下,还需要进行时间属性、时间长度和时间单位的属性配置。
例如,配置的属性及其类型如下表2所示:
表2
当然,指标属性不限于上述内容,还能够根据需求进行预先设置,在此不再一一列举。
在该实施例中,可选地,所述第一指标存储在数据库中。
该实施例建立了专用数据库来存储用户配置的指标。其中,该专用数据库用于存储指标的表字段跟界面上需要配置的指标属性是一致的,包括指标名称,计算参数,计算类型,计算维度,结构,键值列表,组名称,生效时间,时间格式,过滤条件,时间属性,时间长度,时间单位。显示第一用户界面时,会将之前已配置的指标加载到界面中,以便用户多次使用。
但是,对于之前已配置的指标,存在不能满足当前使用需求的情况,因此,可选地,所述第一用户界面还包括新增指标项,所述方法还包括:
响应于对所述新增指标项的操作,增加新的待配置指标属性的指标。
这里,该第一用户界面还能够提供新增指标项,如此,在用户基于该新增指标项进行操作后,就能够响应于该操作增加新的待配置指标属性的指标,在增加该新的指标时,会对其指标属性进行初步的配置。将新的指标存储到专用数据库,后续可再次针对该指标进行指标属性的配置即编辑指标。
此外,在该实施例中,可选地,所述控制项包括提交项;
所述响应于对所述控制项的操作,对第二指标的数据进行计算的步骤,包括:
响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
这里,该第一用户界面提供的控制项包括提交项,以便用户能够基于该提交项进行操作,使得系统响应于该操作显示第二用户界面,由于该第二用户界面包括用于选择未计算指标的第一选择项,既可进一步响应于对该第一选择项的操作,将所选的指标添加至第二指标后,对第二指标的数据进行计算。例如,在第二用户界面上,显示多个未计算指标,用户通过勾选框(第一选择项)勾选指标,以增加对所勾选指标的计算。
其中,该提交项还可作为对于第二指标的计算启动控制,并且在第二指标为多个时批量提交。
当然,为了避免资源的浪费,还需要停止不必要的指标计算。所以,在该实施例中,可选地,所述控制项包括停止项;
所述响应于对所述控制项的操作,对所述第二指标的数据进行计算的步骤,包括:
响应于对所述停止项的操作,显示第三用户界面,所述第三用户界面包括用于选择停止计算指标的第二选择项;
响应于对所述第二选择项的操作,停止对所选的指标的数据计算。
这里,第一用户界面提供的控制项包括停止项,以便用户能够基于该停止项进行操作,使得系统响应于该操作显示第三用户界面,由于该第三用户界面包括用于选择停止计算指标的第二选择项,既可进一步响应于对该第二选择项的操作,停止对所选的指标的数据计算,减少了不必要的资源消耗。其中,该停止项在选择停止多个计算指标时,可实现批量停止。
参考图2,图2为本发明实施例提供的第一用户界面201的示意图。用户登录第一用户界面后,可以看到历史指标,即用户过去定义的指标(存储在专用数据库)。图中CPU使用率、现金总和以及交易次数皆为指标名称,都代表一条指标,点击编辑(配置项)即可更改指标属性的内容,配置指标属性。直接点击指标所在行,会显示该指标所有属性列表,即预览该指标的指标属性,如图2中的现金总和这一指标,是点击该指标展开后的所示效果,其中键值列表、计算参数、计算类型、计算维度等,都为该指标的指标属性,每一属性的右侧是用户为该指标属性配置的具体内容。如此,配置项还包括配置键值列表、计算参数、计算类型、计算维度等属性的具体内容的选择项/设置项。而点击左上角新增指标按钮(新增指标项),在该第一用户界面会增加新的指标,可直接对其指标属性进行配置,或点击编辑后对指标属性进行配置。此外,点击指标所在行右侧删除即可删除该指标。用户在配置完成以后,点击批量提交按钮(提交项),会显示第二用户界面;点击批量停止按钮,会显示第三用户界面。
参考图3,图3为本发明实施例提供的第二用户界面301的示意图。该第二用户界面301显示未计算的指标列表,同时指标名称左侧会出现复选框(第一选择项,图中虚线中的复选框),勾选需要计算的指标,点击右下角确定提交按钮(控制项),即可开始根据指标属性配置对数据进行运算。该确定提交按钮就相当于是运行按钮,点击之后就开始自动构建数据实时处理系统RT实时计算任务进行计算,不需要用户再有其他操作了。
当然,该实施例中,若用户基于第一用户界面201对指标属性配置完成,也可以点击右下角确定提交按钮(控制项),将第一用户界面201上的所有指标传到RT的实时计算引擎,进行计算。
后续在界面新增、删除、编辑指标后,可以实现实时动态地感知基于指标进行更新计算,更新(新增或编辑)指标时RT的计算不会被打断,计算是持续进行且实时更新的。
本发明实施例中,第三用户界面(图中未示出)显示正在计算中的指标列表,同时指标名称左侧会出现复选框(第二选择项),勾选需要停止计算的指标,点击右下角确定停止按钮,即可停止指定指标的计算。
另外,在该实施例中,可选地,步骤103中,所述对第二指标的数据进行计算的步骤,包括:
根据所述第二指标的指标属性,生成实时计算任务;
运行所述实时计算任务,得到计算结果。
这里,应用本发明实施例的方法的系统,基于用户配置的指标属性,会生成对应的实时计算任务,从而运行该实时计算任务,得到计算结果。
其中,该系统会将用户基于用户界面配置的第二指标的指标属性生成数据地址链接,之后基于该地址建立连接获取指标列表List(指标计算列表,包含一个或多个指标及其属性),例如发送HTTP请求获取指标List,之后对返回的JSON结果进行解析,将指标List中的指标逐条解析成对应的Java对象,以便后续对指标进行计算。
可选地,所述实时计算任务包括:计算开始时间、计算函数和计算维度;
所述运行所述实时计算任务,得到计算结果的步骤,包括:
根据所述计算开始时间、所述计算函数和所述计算维度,由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果;其中,所述计算模块配置有至少一计算准则。
这里,在获取指标List后,对指标的指标属性进行判断:
对于计算开始时间,若配置有生效时间,则将生效时间作为计算开始时间,即到生效时间后自动开始计算;若未配置生效时间,则将指标属性配置提交时间作为计算开始时间开始计算。
对于计算函数,会用于具体的计算过程,直接由计算类型确定,如计算类型为SUM,则计算函数为求和函数,对计算参数的值做累加。
对于计算维度,则采用指标属性的计算维度,如时间维度,需要将配置中时间属性对应的值作为起始时间,起始时间加上时间长度作为结束时间。
这样,计算过程中,就能够根据该计算开始时间、计算函数和计算维度,由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果。该实施例中,计算模块包括一个或多个指标计算算子(算子用于对数据进行处理和/或传送),由于该计算模块配置有至少一计算准则,该计算准则设置有计算模块对应指标的特征参数,通过该计算准则能够将具有某些相同特征的指标都加载到同一计算算子中,可实现对多个指标的处理,可大大降低对集群资源的消耗。例如,由配置的计算准则,将同一用户生效时间相同的所有指标加载到同一计算算子中,若该用户配置了10个指标,其中8个指标设置的生效时间是在早上8:00,另外2个指标设置的生效时间是在下午14:00,此时可以将早上8:00开始计算的指标都放在同一计算算子中,而另外2个加载到另一个计算算子中,最后开启一个工作流(运行实时计算任务),占用一个集群计算资源来对指标进行运算。或者,由配置的计算准则,将同一组(组名称相同)生效时间相同的所有指标加载到同一计算算子中。
此外,根据指标可选的指标属性,能够限定计算对象范围,实现针对性的处理。所以,可选地,所述实时计算任务还包括:计算对象范围;
所述由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果的步骤,包括:
由所述计算模块对在所述计算对象范围内的数据进行计算。
这里,在获取指标List后,针对指标属性进行判断:
若配置有过滤条件,需要在条件成立的情况下,基于当前指标对接收到的该条数据进行指标计算,如果当前指标过滤条件不满足,则该条数据不参与当前指标计算,即通过过滤条件确定计算对象范围;若配置有组名称,能够基于针对组名称分组处理的策略,确定出实时计算任务的计算对象范围;若配置有键值列表,则键值列表和指标名称拼接成用作缓存的key,确定计算对象范围;若配置计算维度为时间维度,还可将时间属性对应的值作为起始时间,起始时间加上时间长度作为结束时间,将起始时间和结束时间作为缓存的key,确定计算对象范围。而通过实时计算任务的计算对象范围,能让计算模块对该计算对象范围内的数据进行计算。当然,过滤条件、组名称、键值列表、时间维度下的时间属性和时间长度还能够通过排列组合来确定计算对象范围,在此不再一一列举。
在该实施例中,可选地,所述运行所述实时计算任务,得到计算结果的步骤,包括:
通过同一线程运行所述实时计算任务,得到计算结果;或者,
根据预设的至少两个线程运行所述实时计算任务,得到计算结果;或者,
根据预设的分组策略和所述第二指标的指标属性,将所述第二指标分组后,通过每组对应的计算算子运行所述实时计算任务,得到计算结果;或者,
通过预设集群中的计算节点运行所述实时计算任务,得到计算结果,所述预设集群预先配置有一并行度。
计算节点代表集群中实际进行数据运算的设备,单个或多个节点均可以进行串行或并行计算,并可以动态扩展到多个计算节点,还可以基于分组策略,从而可以支持大量的指标计算,并满足实时性。这样,通过同一线程运行实时计算任务,所有指标计算都会在同一线程中进行,即串行计算;而由预设的至少两个线程运行实时计算任务,在所有指标计算时会开启该至少两个线程,即并行计算,可增大并发度,能够提高计算效率。
其中,预设的分组策略是按照指标属性设置的,根据预设的分组策略和第二指标的指标属性,将第二指标分组后可通过每组对应的计算算子运行实时计算任务,得到计算结果。例如,分组策略是通过组名称进行分组,在用户定义指标时,手动设置指标的组名称,组名称可以任意命名,或自动分组,可以计算类型作为分组依据来命名组名称,如把进行SUM操作的设为一组,组名称为sum,把进行COUNT操作的设为一组,组名称为count;还可以把基于相同计算维度的指标放在同一个组中,例如把根据时间进行计算的分在同一组中,组名称设为时间维度,根据数量进行计算的分在同一组中,组名称设为数量维度,而根据地理位置计算的组名称设为地域维度。如此,计算时,会把组名称相同的指标放到一起进行处理,例如把组名称都为sum的指标放到同一个计算算子(Metric(指标)算子)中,而把组名称为count的放在另一个Metric算子中。这里,针对分组后的指标,会通过该组指标对应的计算算子运行实时计算任务。这里,一个计算算子可由一个或多个计算节点实现。
优选的,计算节点是预设集群中的计算节点,如Flink集群,该预设集群预先配置一并行度,即在运算过程中实际创建出来的、能进行计算的实例个数,这些实例被分配到不同的计算节点,增大并行度将用于计算的实例进一步地扩展到多个计算节点。
另外,在所述运行所述实时计算任务,得到计算结果的步骤之后,所述方法还包括:
将所述计算结果在实时数据库缓存后存储至结果数据库。
本步骤中,通过将所得的计算结果在实时数据库RTDB缓存,然后再存储至结果数据库,减少了处理时间。其中,该结果数据库可以是MySQL数据库或者Oracle数据库等等。
在本发明的实施例中,可选地,在所述对第二指标的数据进行计算的步骤之后,所述方法还包括:
显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
这样,通过显示第四用户界面,显示第二指标对应的计算结果。
其中,所述第四用户界面还包括用于调整所述第二指标的指标属性的调整项;
在所述显示第四用户界面的步骤之后,所述方法还包括:
响应于对所述调整项的操作,根据计算的结果更新所述第四用户界面。
这里,用户可通过第四用户界面上用于调整指标属性的调整项动态编辑指标,系统则进行实时更新、实时计算、实时展示,将指标定义及指标展示结合在一起。
其中,计算完成之后提供一套接口实现与第四用户界面(比如图4中页面图表)的对接。基于接口去数据库中提取结果,实现指标的最终展示。在一实施方式中,用户可以在可视化界面(第四用户界面)上,点击指标名称后面对应的数值,修改计算类型。比如图4第四用户界面401中,现金、存放中央银行款项、存放境内同业款项和所有者权益,皆为指标名称,其下侧(右侧)为指标实时计算之后的结果数据,结果数据将实时进行更新。当用户在第四用户界面401上动态编辑指标所有者权益,将所有者权益指标对应的结果数值的计算类型改为SUM,系统调用指标配置更新接口,更新该指标对应的计算类型,后续数据会使用新修改的指标计算类型来做运算。前端(第四用户界面)根据结果数据请求接口去获取计算结果,然后加载到前端实现可视化效果,从而实现实时监控。
下面结合图5说明本发明实施例的方法的应用:
1.用户进行登录访问指标界面(第一用户界面);
2.在指标界面为指标配置各种属性;
3.后端将用户配置的指标存储在数据库中;
4.每次访问指标界面时,从数据库加载指标展示到界面中,即加载存储的指标用以进行指标复用,这样,在用户进入指标界面时,系统将自动从数据库加载已存储的指标,从而可实现指标的复用;
5.前端将指标界面中,针对新增或编辑的指标进一步选择后提交的指标以指标列表(指标计算列表)的形式传递到后端(计算模块);
6.后端对指标进行解析;
7.自动将指标装配到Metric算子中;
8.自动构建工作流(即实时计算任务);
9.提交到Flink集群中;
10.计算结果缓存到RTDB中;
11.结果可存储到用户指定的数据库中;
12.提供接口以便获取计算结果从而对接展示界面(第四用户界面)向用户展示。
其中,上述步骤5-9的后端处理流程,具体的后端基于地址建立连接获取指标List(前端基于指标配置将所有指标封装成指标List,包含一个或多个指标及其属性)之后会自动进行解析;提供Schema算子用于数据Schema的管理(数据来源的管理),将指标中Schema属性对应的配置加载到Schema算子中(用户可以在该算子中配置参数,其他下游算子可以直接引用,用户使用更方便),而指标中除Schema属性以外的指标配置会加载到Metric算子中,从而构建出一个完整的流应用即工作流(即生成实时计算任务并运行),提交到Flink集群中进行指标计算。在指标属性配置后,从指标数据的来源(提供数据Schema管理)、指标的解析、指标计算到指标展示,全部是自动化实现的。
综上所述,本发明实施例的方法,首先显示第一用户界面,在该第一用户界面上包括用于配置指标的配置项,用于控制指标计算的控制项,以便用于基于该第一用户界面进行指标的配置和指标计算的控制;之后,响应于对该配置项的操作,能够完成第一指标的指标属性配置,当然,响应于对控制项的操作,还能够完成对第二指标的数据计算。这样,用户就能够基于可视化的用户界面进行指标的属性配置,并控制计算,而无需采用专业的计算机编程语句,对于用户的专业性要求较低,也使得操作更为便捷。
基于同一发明构思,请参考图6,本发明实施例还提供一种指标处理系统,包括:
第一显示模块601,用于显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
第一处理模块602,用于响应于对所述配置项的操作,配置第一指标的指标属性;
第二处理模块603,用于响应于对所述控制项的操作,对第二指标的数据进行计算。
其中,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
其中,所述指标属性还包括以下至少一项:
键值列表、组名称、生效时间、时间格式和过滤条件。
其中,当所述计算维度为时间时,所述指标属性还包括:时间属性、时间长度和时间单位。
其中,所述第一指标存储在数据库中。
其中,所述第一用户界面还包括新增指标项,所述系统还包括:
第三处理模块,用于响应于对所述新增指标项的操作,增加新的待配置指标属性的指标。
其中,所述控制项包括提交项;
所述第二处理模块包括:
第一显示子模块,用于响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
第一处理子模块,用于响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
其中,所述控制项包括停止项;
所述第二处理模块包括:
第二显示子模块,用于响应于对所述停止项的操作,显示第三用户界面,所述第三用户界面包括用于选择停止计算指标的第二选择项;
第二处理子模块,用于响应于对所述第二选择项的操作,停止对所选的指标的数据计算。
其中,所述第二处理模块包括:
第三处理子模块,用于根据所述第二指标的指标属性,生成实时计算任务;
第四处理子模块,用于运行所述实时计算任务,得到计算结果。
其中,所述第四处理子模块还用于:
通过同一线程运行所述实时计算任务,得到计算结果;或者,
根据预设的至少两个线程运行所述实时计算任务,得到计算结果;或者,
根据预设的分组策略和所述第二指标的指标属性,将所述第二指标分组后,通过每组对应的计算算子运行所述实时计算任务,得到计算结果;或者,
通过预设集群中的计算节点运行所述实时计算任务,得到计算结果,所述预设集群预先配置有一并行度。
其中,所述实时计算任务包括:
计算开始时间、计算函数和计算维度;
所述第四处理子模块还用于:
根据所述计算开始时间、所述计算函数和所述计算维度,由与当前实时计算任务对应的计算模块进行数据计算,得到计算结果;其中,所述计算模块配置有至少一计算准则。
其中,所述实时计算任务还包括:计算对象范围;
所述第四处理子模块还用于:
由所述计算模块对在所述计算对象范围内的数据进行计算。
其中,还包括:
第五处理子模块,用于将所述计算结果在实时数据库缓存后存储至结果数据库。
其中,还包括:
第二显示模块,用于显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
其中,所述第四用户界面还包括用于调整所述第二指标的指标属性的调整项;
所述系统还包括:
第四处理模块,用于响应于对所述调整项的操作,根据计算的结果更新所述第四用户界面。
本发明实施例的系统,首先显示第一用户界面,在该第一用户界面上包括用于配置指标的配置项,用于控制指标计算的控制项,以便用于基于该第一用户界面进行指标的配置和指标计算的控制;之后,响应于对该配置项的操作,能够完成第一指标的指标属性配置,当然,响应于对控制项的操作,还能够完成对第二指标的数据计算。这样,用户就能够基于可视化的用户界面进行指标属性配置,并控制计算,而无需采用专业的计算机编程语句,对于用户的专业性要求较低,也使得操作更为便捷。
需要说明的是,该系统是应用了上述指标处理方法的系统,上述指标处理方法实施例的实现方式适用于该系统,也能达到相同的技术效果。
请参考图7,图7为本发明一实施例的指标处理系统700的结构示意图,该指标处理系统700包括:处理器710和存储器720。在本发明实施例中,该指标处理系统700还包括:存储在存储器720上并可在处理器710上运行的计算机程序,计算机程序被处理器710执行时实现上所述指标处理方法的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述指标处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种指标处理方法,其特征在于,包括:
显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
响应于对所述配置项的操作,配置第一指标的指标属性;
响应于对所述控制项的操作,对第二指标的数据进行计算。
2.如权利要求1所述的方法,其特征在于,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
3.如权利要求1所述的方法,其特征在于,所述控制项包括提交项;
所述响应于对所述控制项的操作,对第二指标的数据进行计算的步骤,包括:
响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
4.如权利要求1所述的方法,其特征在于,所述对第二指标的数据进行计算的步骤,包括:
根据所述第二指标的指标属性,生成实时计算任务;
运行所述实时计算任务,得到计算结果。
5.如权利要求1所述的方法,其特征在于,在所述对第二指标的数据进行计算的步骤之后,所述方法还包括:
显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
6.一种指标处理系统,其特征在于,包括:
第一显示模块,用于显示第一用户界面,所述第一用户界面包括用于配置指标属性的配置项,用于控制指标计算的控制项;
第一处理模块,用于响应于对所述配置项的操作,配置第一指标的指标属性;
第二处理模块,用于响应于对所述控制项的操作,对第二指标的数据进行计算。
7.如权利要求6所述的系统,其特征在于,所述指标属性包括:
指标名称、计算参数、计算类型、计算维度和数据结构。
8.如权利要求6所述的系统,其特征在于,所述控制项包括提交项;
所述第二处理模块包括:
第一显示子模块,用于响应于对所述提交项的操作,显示第二用户界面,所述第二用户界面包括用于选择未计算指标的第一选择项;
第一处理子模块,用于响应于对所述第一选择项的操作,将所选的指标添加至所述第二指标后,进行数据计算。
9.如权利要求6所述的系统,其特征在于,所述第二处理模块包括:
第三处理子模块,用于根据所述第二指标的指标属性,生成实时计算任务;
第四处理子模块,用于运行所述实时计算任务,得到计算结果。
10.如权利要求6所述的系统,其特征在于,还包括:
第二显示模块,用于显示第四用户界面,所述第四用户界面包括所述第二指标以及与所述第二指标对应的计算结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910252519.1A CN109960560B (zh) | 2019-03-29 | 2019-03-29 | 一种指标处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910252519.1A CN109960560B (zh) | 2019-03-29 | 2019-03-29 | 一种指标处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109960560A true CN109960560A (zh) | 2019-07-02 |
CN109960560B CN109960560B (zh) | 2019-12-10 |
Family
ID=67025383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910252519.1A Active CN109960560B (zh) | 2019-03-29 | 2019-03-29 | 一种指标处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109960560B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292186A (zh) * | 2020-01-17 | 2020-06-16 | 中国建设银行股份有限公司 | 一种数据分析方法和数据分析装置 |
CN111813871A (zh) * | 2020-06-30 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据实时处理系统及方法 |
CN112364134A (zh) * | 2020-11-23 | 2021-02-12 | 医渡云(北京)技术有限公司 | 业务指标推荐方法、装置、介质及电子设备 |
CN113742036A (zh) * | 2020-05-28 | 2021-12-03 | 阿里巴巴集团控股有限公司 | 指标处理方法、装置及电子设备 |
CN114020365A (zh) * | 2021-11-26 | 2022-02-08 | 建信金融科技有限责任公司 | 流计算处理引擎的参数配置方法和相关设备 |
CN114371884A (zh) * | 2021-12-31 | 2022-04-19 | 南京星云数字技术有限公司 | Flink计算任务的处理方法、装置、设备和存储介质 |
WO2023159549A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海莉莉丝科技股份有限公司 | 服务器配置调试方法、系统、设备、介质和计算机程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424229A (zh) * | 2013-08-26 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 一种多维度拆分的计算方法及系统 |
CN106991070A (zh) * | 2016-10-11 | 2017-07-28 | 阿里巴巴集团控股有限公司 | 实时计算方法及装置 |
CN108573348A (zh) * | 2018-04-18 | 2018-09-25 | 鑫涌算力信息科技(上海)有限公司 | 金融指标分布式计算方法及其系统 |
CN109190930A (zh) * | 2018-08-14 | 2019-01-11 | 北京九狐时代智能科技有限公司 | 一种指标生成方法及装置 |
CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
-
2019
- 2019-03-29 CN CN201910252519.1A patent/CN109960560B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424229A (zh) * | 2013-08-26 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 一种多维度拆分的计算方法及系统 |
CN106991070A (zh) * | 2016-10-11 | 2017-07-28 | 阿里巴巴集团控股有限公司 | 实时计算方法及装置 |
CN108573348A (zh) * | 2018-04-18 | 2018-09-25 | 鑫涌算力信息科技(上海)有限公司 | 金融指标分布式计算方法及其系统 |
CN109190930A (zh) * | 2018-08-14 | 2019-01-11 | 北京九狐时代智能科技有限公司 | 一种指标生成方法及装置 |
CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
Non-Patent Citations (1)
Title |
---|
DOREEN0813: "添加计算指标", 《HTTPS://HELP.FINEBI.COM/FINEBI4.1/DOC-VIEW-114.HTML》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292186A (zh) * | 2020-01-17 | 2020-06-16 | 中国建设银行股份有限公司 | 一种数据分析方法和数据分析装置 |
CN111292186B (zh) * | 2020-01-17 | 2023-08-29 | 中国建设银行股份有限公司 | 一种数据分析方法和数据分析装置 |
CN113742036A (zh) * | 2020-05-28 | 2021-12-03 | 阿里巴巴集团控股有限公司 | 指标处理方法、装置及电子设备 |
CN113742036B (zh) * | 2020-05-28 | 2024-01-30 | 阿里巴巴集团控股有限公司 | 指标处理方法、装置及电子设备 |
CN111813871A (zh) * | 2020-06-30 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据实时处理系统及方法 |
CN111813871B (zh) * | 2020-06-30 | 2021-06-18 | 北京九章云极科技有限公司 | 一种数据实时处理系统及方法 |
CN112364134A (zh) * | 2020-11-23 | 2021-02-12 | 医渡云(北京)技术有限公司 | 业务指标推荐方法、装置、介质及电子设备 |
CN112364134B (zh) * | 2020-11-23 | 2024-05-31 | 医渡云(北京)技术有限公司 | 业务指标推荐方法、装置、介质及电子设备 |
CN114020365A (zh) * | 2021-11-26 | 2022-02-08 | 建信金融科技有限责任公司 | 流计算处理引擎的参数配置方法和相关设备 |
CN114020365B (zh) * | 2021-11-26 | 2023-06-16 | 建信金融科技有限责任公司 | 流计算处理引擎的参数配置方法和相关设备 |
CN114371884A (zh) * | 2021-12-31 | 2022-04-19 | 南京星云数字技术有限公司 | Flink计算任务的处理方法、装置、设备和存储介质 |
WO2023159549A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海莉莉丝科技股份有限公司 | 服务器配置调试方法、系统、设备、介质和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN109960560B (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109960560B (zh) | 一种指标处理方法及系统 | |
US11494414B2 (en) | Progressive query computation using streaming architectures | |
US11249981B2 (en) | Data quality analysis | |
US10956422B2 (en) | Integrating event processing with map-reduce | |
US9996592B2 (en) | Query relationship management | |
US8364300B2 (en) | Retrieving and navigating through manufacturing data from relational and time-series systems by abstracting the source systems into a set of named entities | |
JP6404820B2 (ja) | 連続クエリをチェーン接続するための機構 | |
EP3465442B1 (en) | Executable logic for processing keyed data in networks | |
US20160140204A1 (en) | Computer implemented methods and systems for efficient data mapping requirements establishment and reference | |
CN110688106A (zh) | 基于可视化配置的量化交易策略编写方法及装置 | |
US10956400B2 (en) | Query processing using primary data versioning and secondary data | |
US8977610B2 (en) | Automatic detection of patterns and inference in a dataset | |
US9940182B1 (en) | Business rule engine validation systems and related methods | |
US20160342604A1 (en) | Apparatus and Method for Collaboratively Analyzing Data Snapshot Visualizations from Disparate Data Sources Using State Based Visual Data Link Recommendations | |
US9959329B2 (en) | Unified master report generator | |
US20040267704A1 (en) | System and method to retrieve and analyze data | |
US9053151B2 (en) | Dynamically joined fast search views for business objects | |
US20190171747A1 (en) | Simplified access for core business with enterprise search | |
US20240126719A1 (en) | System and method for on-demand fetching of backend server logs into frontend browser | |
US20230087339A1 (en) | System and method for generating automatic insights of analytics data | |
US20240126775A1 (en) | System and method for automatically enriching datasets with system knowledge data | |
US20230081212A1 (en) | System and method for providing multi-hub datasets for use with data analytics environments | |
US20240126776A1 (en) | System and method for finding segments in a dataset within a data analytics environment | |
Sonnleitner et al. | Persistence of workflow control data in temporal databases | |
CN113781195A (zh) | 财政数据监控方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |