CN117520624B - 一种大数据指标的配置与计算的方法及装置 - Google Patents
一种大数据指标的配置与计算的方法及装置 Download PDFInfo
- Publication number
- CN117520624B CN117520624B CN202410014919.XA CN202410014919A CN117520624B CN 117520624 B CN117520624 B CN 117520624B CN 202410014919 A CN202410014919 A CN 202410014919A CN 117520624 B CN117520624 B CN 117520624B
- Authority
- CN
- China
- Prior art keywords
- index
- calculation
- formal
- indexes
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 195
- 238000004088 simulation Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000012800 visualization Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000008520 organization Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012797 qualification Methods 0.000 claims description 9
- 238000013499 data model Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000002688 persistence Effects 0.000 abstract description 5
- 238000007405 data analysis Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000013070 direct material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
Abstract
本发明提供了一种大数据指标的配置与计算的方法及装置，属于数据分析技术领域，其方法包括：获取多项指标，并向每项指标创建指标信息来配置各项属性；获取与时间周期相关的多个要素信息，且结合各项属性进行仿真计算；获取仿真计算结果，输入多个要素条件，获取指定范围的计算结果；根据指定范围的计算结果判断是否需要调整属性配置及重新计算，若否，发布动作将仿真配置同步到正式配置中，进行正式计算；获取正式计算日志，并追踪正式计算过程的执行情况以及执行时间，通过可视化工具展现正式计算结果。以此解决不能保证计算的过程透明化和清晰的了解计算的过程状态，同时无法提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性的问题。
Description
技术领域
本发明涉及数据分析技术领域，特别涉及一种大数据指标的配置与计算的方法及装置。
背景技术
目前，随着互联网的高速发展和业务需求的不断增长，公司需要更好地管理和分析大量的数据以支持业务决策，传统的方法在指标数据汇总工作（如财务结算、人资各项指标数据）获取结果的过程，一般通过收集各系统或者手工做的Excel模版数据，按照各项要素、公式汇总出结果，如此操作效率低，且耗费巨大的人、财、物资源，同时，在指标计算的过程中，没有仿真处理机制、仿真配置过程与仿真计算过程，不能保证计算的过程透明化和清晰的了解计算的过程状态，同时无法提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性。
因此，本发明提出一种大数据指标的配置与计算的方法及装置。
发明内容
本发明提供一种大数据指标的配置与计算的方法及装置，通过获取多项指标，并向每项指标创建指标信息来配置各项属性，基于组织架构获取与时间周期相关的多个要素信息仿真计算，获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果，发布动作将仿真配置同步到正式配置中，并进行正式计算，获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果，解决了背景技术中不能保证计算的过程透明化和清晰的了解计算的过程状态，同时无法提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性的问题。
本发明提出一种大数据指标的配置与计算的方法，该方法包括：
步骤1：获取多项指标，并向每项指标创建指标信息来配置各项属性；
步骤2：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
步骤3：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
步骤4：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
步骤5：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果。
优选的，获取多项指标，并向每项指标创建指标信息来配置各项属性，包括：
获取元数据存储表，并基于所述元数据存储表采集目标元数据；
从目标元数据中获取多项指标，并确定每项指标的所属指标目录；
根据每项指标的所属指标目录创建指标信息；
根据每项指标的指标信息配置对应项指标的各项属性。
优选的，根据每项指标的指标信息配置对应项指标的各项属性，包括：
通过每项指标的基础属性，设置对应项指标的业务域和指标定义；
通过每项指标的业务属性，设置对应项指标的类别、设置对应项指标的基础计量单位以及统计频率、设置对应项指标的关键值分类以及适用范围，且定义对应项指标的取数业务逻辑，其中，所述类别包括：基础指标类别、复合指标类别；
通过每项指标的管理属性，设置对应项指标的生效废止日期以及数据安全定级；
通过每项指标的技术属性，设置对应项指标的存储维度以及分析维度、指标落地库表，且定义对应项指标计算后结果存储的表和对应项指标取数的公式逻辑。
优选的，基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算，包括：
根据组织架构确定与时间周期相关的多个要素信息；
根据所述组织架构更新指标关联关系，根据所述指标关联关系确定指标类型；
根据所述指标类型确定指标项目，并获取指标项目对应的关键值的初始化数据；
基于所述初始化数据构建仿真模型，利用仿真模型对各项指标的各项属性和多个要素信息进行仿真计算。
优选的，获取仿真计算的结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果，包括：
通过预览查询获取仿真计算的结果，并存储到目标表中；
在所述目标表中输入多个要素条件，获取对应的指定范围的计算结果。
优选的，根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，包括：
将所述指定范围的计算结果与对应的标准指定范围的数值进行阈值判断；
根据判断结果确定配置调整方案并重新计算；
将计算结果正确的对应项指标进行提取，并通过发布动作将对应项指标的仿真配置同步到正式配置中并进行正式计算；
将正式计算后的结果进行锁定并进行审批。
优选的，获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果，包括：
获取正式计算日志，并确定正式计算日志记录的事件类型；
基于所述事件类型确定计算性质和计算范围；
根据所述计算性质和计算范围追踪对应的计算过程；
根据所述计算过程确定计算的步骤执行情况以及执行时间；
将所述步骤执行情况以及执行时间存储到最终数据落地表中并通过可视化工具展现出正式计算结果。
优选的，获取多项指标之前，还包括：
对获取的所有的大数据指标进行深度解析，获取每项指标的特征向量；
根据每项指标的特征向量构建对应项指标的字典矩阵；
获取每项指标的矩阵因子序列，并根据所述矩阵因子序列确定每项指标的映射特征和关联特征；
根据每项指标的映射特征和关联特征确定对应项指标的优化特征向量；
基于每项指标的优化特征向量和字典矩阵在预设模型库中进行匹配以获得每项指标适配的数据模型；
获取每项指标的数据模型的样本均值，并根据所述样本均值对每项指标进行随机正态取样，获取取样结果；
根据所述取样结果确定每项指标的指标阈值区间；
根据每项指标的指标阈值区间构建对应项指标的分类决策函数；
利用所述分类决策函数和每项指标的当前指标分类组确定对应项指标的分类指数；
根据每项指标的指标阈值区间确定对应项指标的分布临界，根据所述分布临界和每项指标的分类指数确定对应项指标的合格度；
将合格度小于等于预设阈值对应项指标剔除，得到多项指标。
优选的，一种大数据指标的配置与计算的装置，包括：
配置模块：获取多项指标，并向每项指标创建指标信息来配置各项属性；
仿真模块：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
获取模块：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
判断模块：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
展现模块：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果。
与现有技术相比，本申请的有益效果如下：
通过向每项指标创建指标信息来配置各项属性，并结合基于组织架构获取与时间周期相关的多个要素信息进行仿真计算，获取仿真计算结果，能够修改仿真配置与进行仿真计算，计算结果准确后，进行正式配置与计算，提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性，同时，根据正式计算日志追踪正式计算过程的步骤执行情况和执行时间并通过可视化工具进行展现，可以大大提高查询的效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种大数据指标的配置与计算的方法的流程图；
图2为本发明实施例中一种大数据指标的配置与计算的装置的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明提供一种大数据指标的配置与计算的方法，如图1所示，该方法包括：
步骤1：获取多项指标，并向每项指标创建指标信息来配置各项属性；
步骤2：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
步骤3：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
步骤4：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
步骤5：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果。
该实施例中，多项指标是指用来衡量和评估一个系统、产品或个人绩效的最基本的指标，比如本年增加、本年减少、单体、管理、产权。
该实施例中，创建指标信息包括：指标所属指标目录、指标编码与名称。
该实施例中，各项属性包括：基础属性、业务属性、管理属性、技术属性。
该实施例中，组织架构是指要计算的目标的结构，比如本年减少，那么组织架构就是去年和本年1-12月的所有资产组成的组织图。
该实施例中，多个要素信息是指计算某个指标时，获取的指标的开始时间、结束时间，比如本年减少是2012年年初到年末。
该实施例中，各维度信息包括存储维度和分析维度。
其中，存储维度包括：
时序维度：以时间顺序排列数据，例如按日、周、月、季度、年等时间维度进行存储。
地理维度：以地理位置对数据进行分类，例如按国家、省、市、街道等进行存储。
类别维度：以类别分组数据，例如按产品类型、服务类型等进行存储。
标识维度：以唯一的标识符对数据进行分类，例如身份证号码、订单号等。
操作维度：以操作对数据进行分类，例如按操作步骤、操作人等进行存储。
存储维度包括：时间维度：表示数据对象的产生时间顺序，例如按天、月、季、年等时间顺序排列。
空间维度：表示数据对象的空间位置或分布范围，例如按国家、地区、城市等地理位置进行划分。
类别维度：表示数据对象的类别、等级或状态，例如按产品类型、部门、角色等进行分类。
操作维度：表示数据对象的操作行为或操作次数，例如按点击次数、访问频率等进行排序。
指标维度：表示需要对比的数据指标，例如按销售额、成本、市场份额等指标进行分析。
该实施例中，仿真配置是指在进行计算机仿真实验时，对实验模型、参数设置、边界条件等方面的设定和调整。
该实施例中，可视化工具是用于将数据以图形、图像等形式展示的工具。
上述技术方案的有益效果是：通过向每项指标创建指标信息来配置各项属性，并结合基于组织架构获取与时间周期相关的多个要素信息进行仿真计算，获取仿真计算结果，能够修改仿真配置与进行仿真计算，计算结果准确后，进行正式配置与计算，提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性，同时，根据正式计算日志追踪正式计算过程的步骤执行情况和执行时间并通过可视化工具进行展现，可以大大提高查询的效率。
实施例2：
本发明提供一种大数据指标的配置与计算的方法，获取多项指标，并向每项指标创建指标信息来配置各项属性，包括：
获取元数据存储表，并基于所述元数据存储表采集目标元数据；
从目标元数据中获取多项指标，并确定每项指标的所属指标目录；
根据每项指标的所属指标目录创建指标信息；
根据每项指标的指标信息配置对应项指标的各项属性。
该实施例中，元数据是指描述其他数据的数据，也被称为"中介数据"，它是用来描述和管理数据的特性、属性和关系的信息。
该实施例中，元数据存储表是将元数据以表格的形式进行存储和管理。
该实施例中，指标目录是一种集中存储和管理系统指标的数据结构，它可以在多个系统之间共享指标，并在不同时空中比较这些指标，指标目录通常包括一组预定义的指标名称和描述，以及它们在各个系统中的位置和值。
该实施例中，各项属性包括：基础属性、业务属性、管理属性、技术属性。
上述技术方案的有益效果是：通过元数据存储表采集目标元数据，能够提高数据质量和准确性，并提高获取数据的速度和效率，从目标元数据中获取多项指标，并确定每项指标的所属指标目录创建指标信息，减少人工输入，可以方便地管理和访问所有指标，从而配置对应项指标的各项属性，通过将指标信息和属性配置关联起来，可以为数据分析提供更丰富的选择和更多的可能性，提高查询速率。
实施例3：
本发明提供一种大数据指标的配置与计算的方法，根据每项指标的指标信息配置对应项指标的各项属性，包括：
通过每项指标的基础属性，设置对应项指标的业务域和指标定义；
通过每项指标的业务属性，设置对应项指标的类别、设置对应项指标的基础计量单位以及统计频率、设置对应项指标的关键值分类以及适用范围，且定义对应项指标的取数业务逻辑，其中，所述类别包括：基础指标类别、复合指标类别；
通过每项指标的管理属性，设置对应项指标的生效废止日期以及数据安全定级；
通过每项指标的技术属性，设置对应项指标的存储维度以及分析维度、指标落地库表，且定义对应项指标计算后结果存储的表和对应项指标取数的公式逻辑。
该实施例中，指标的业务域是指在特定业务领域中需要关注和优化的关键性能指标，如销售额、用户满意度、产品缺陷率。
该实施例中， 指标定义是在特定领域或场景中对需要衡量的现象、行为或结果进行量化描述的过程，比如：
时间指标：反映某项活动或流程发生的次数、持续时间或者频率，例如，月均订单数、年度收入增长率。
质量指标：反映产品质量或服务水平的量化描述，例如，客户满意度评分、产品缺陷率等。
成本指标：反映生产、运营或管理过程中的费用或支出。例如，单位产品的直接材料成本、研发投入占总收入的百分比。
效率指标：反映资源利用效率的量化描述。例如，员工生产力、物流运输速度等。
该实施例中，指标取数公式通常是根据某些特定的数据和计算规则来得出某个指标数值的公式。
上述技术方案的有益效果是：通过应项指标的基础属性、业务属性、管理属性和技术属性，设置对应项指标的各类信息，能够提高数据的一致性和可比性，简化数据管理，可以帮助快速识别和理解数据集中的各个指标。
实施例4：
本发明提供一种大数据指标的配置与计算的方法，基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算，包括：
根据组织架构确定与时间周期相关的多个要素信息；
根据所述组织架构更新指标关联关系，根据所述指标关联关系确定指标类型；
根据所述指标类型确定指标项目，并获取指标项目对应的关键值的初始化数据；
基于所述初始化数据构建仿真模型，利用仿真模型对各项指标的各项属性和多个要素信息进行仿真计算。
该实施例中，组织架构是指要计算的目标的结构，比如本年减少，那么组织架构就是去年和本年1-12月的所有资产组成的组织图。
该实施例中， 指标关联关系指的是一个指标与其所依赖的其他指标之间的关系，比如：
因果关系：一个指标的变化可能会导致另一个指标的变化，例如，提高生产率可能会导致降低成本，因为更少的时间和资源被花费在生产线上。
相关关系：两个指标之间存在一定的关联，但它们不是完全相互依赖的。例如，销售额和网站流量之间存在一定的关系，但销售额并不总是直接受网站流量的影响。
层次关系：一个指标可能是其他指标的一部分，这种关系被称为层次关系。例如，销售额可以被视为收入和支出的总和，而每个收入和支出都可以是一个独立的指标。
该实施例中， 指标类型是指根据不同的指标定义和用途来分类指标的一种方式，指标类型包括：财务指标、市场指标、客户指标、效率指标、创新指标。
该实施例中，指标项目比如是客户指标，那么项目就包括：客户满意度、客户保留率、客户获取成本，比如是效率指标，那么项目就包括：生产效率、库存周转率、员工生产率。
该实施例中，仿真计算是指使用仿真模型（系统中配置好的分析维度、存储维度、计算公式等）来模拟指标数据计算的过程。
上述技术方案的有益效果是：通过确定与时间周期相关的多个要素信息，根据组织架构更新指标关联关系，从而确定指标类型，能够明确目标和优先级，提高工作效率，进一步的，确定指标项目并根据指标项目的关键值的初始化数据构建仿真模型，对各项指标的各项属性和多个要素信息进行仿真计算，提高了预测的准确性，有助于优化管理决策。
实施例5：
本发明提供一种大数据指标的配置与计算的方法，获取仿真计算的结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果，包括：
通过预览查询获取仿真计算的结果，并存储到目标表中；
在所述目标表中输入各维度信息以及时间周期多个要素条件，获取对应的指定范围的计算结果。
该实施例中，预览查询是指对数据进行快速查看或简要了解的一种方式。
该实施例中，各维度信息可以是时间维度、操作维度、空间维度。
该实施例中，时间周期是指计算的目标在一定的时间段，可以是小时、一个月、一年。
该实施例中，指定范围是指比如时间周期是一年，那么对应的范围就可以是2012年-2013年内资产的变化情况。
上述技术方案的有益效果是：通过获取仿真计算的结果并存储到目标表中，在目标表中输入各维度信息以及时间周期多个要素条件，获取对应的指定范围的计算结果，能够提高获取结果的效率，保证获取数据的准确性。
实施例6：
本发明提供一种大数据指标的配置与计算的方法，根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，包括：
将所述指定范围的计算结果与对应的标准指定范围的数值进行阈值判断；
根据判断结果确定配置调整方案并重新计算；
将计算结果正确的对应项指标进行提取，并通过发布动作将对应项指标的仿真配置同步到正式配置中并进行正式计算；
将正式计算后的结果进行锁定并进行审批。
该实施例中，仿真配置是指在进行计算机仿真实验时，对实验模型、参数设置、边界条件等方面的设定和调整。
该实施例中，正式计算：使用正式模型（系统中配置好的分析维度、存储维度、计算公式等）来完成指标数据计算的过程。
该实施例中，发布动作是指将应用程序或软件产品发布到生产环境或公共可用平台的过程。
上述技术方案的有益效果是：通过对指定范围的计算结果进行阈值判断，能够及时发现问题并进行配置的调整，进一步的，将计算结果正确的指标进行提取，并通过发布动作将对应项指标的仿真配置同步到正式配置中并进行正式计算，同时引入锁定机制，提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性。
实施例7：
本发明提供一种大数据指标的配置与计算的方法，获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果，包括：
获取正式计算日志，并确定正式计算日志记录的事件类型；
基于所述事件类型确定计算性质和计算范围；
根据所述计算性质和计算范围追踪对应的计算过程；
根据所述计算过程确定计算的步骤执行情况以及执行时间；
将所述步骤执行情况以及执行时间存储到最终数据落地表中并通过可视化工具展现出正式计算结果。
该实施例中， 正式计算日志是一种记录系统运行状态和处理过程的文档形式，包括：日志记录时间、日志记录者、日志信息、日志事件分类。
该实施例中，事件类型是指事件发生时所涉及到的类别，日志事件类型包括：错误事件、警告事件、询问事件、审计事件、配置变更事件。
该实施例中，计算性质是指在计算机科学中，描述算法的时间复杂度和空间复杂度的概念。
该实施例中，计算范围包括了基本运算符和表达式、函数和过程。
上述技术方案的有益效果是：通过正式计算日志确定日志记录的事件类型，可以帮助我们更好地组织和归类事件，便于后续的查询和管理，根据事件类型的计算性质和计算过程确定计算的步骤执行情况和执行时间，使计算的过程透明化，清晰的了解计算的过程状态，并存储到最终数据落地表中进行展现，提高查询效率。
实施例8：
本发明提供一种大数据指标的配置与计算的方法，获取多项指标之前，还包括：
对获取的所有的大数据指标进行深度解析，获取每项指标的特征向量；
根据每项指标的特征向量构建对应项指标的字典矩阵；
获取每项指标的矩阵因子序列，并根据所述矩阵因子序列确定每项指标的映射特征和关联特征；
根据每项指标的映射特征和关联特征确定对应项指标的优化特征向量；
基于每项指标的优化特征向量和字典矩阵在预设模型库中进行匹配以获得每项指标适配的数据模型；
获取每项指标的数据模型的样本均值，并根据所述样本均值对每项指标进行随机正态取样，获取取样结果；
根据所述取样结果确定每项指标的指标阈值区间；
根据每项指标的指标阈值区间构建对应项指标的分类决策函数；
利用所述分类决策函数和每项指标的当前指标分类组确定对应项指标的分类指数；
根据每项指标的指标阈值区间确定对应项指标的分布临界，根据所述分布临界和每项指标的分类指数确定对应项指标的合格度；
将合格度小于等于预设阈值对应项指标剔除，得到多项指标。
该实施例中，指标的字典矩阵是一种表示多维数据的技术，它将原始数据分解为多个维度或指标，并将其转换为一个矩阵形式，在指标的字典矩阵中，每个数据点都代表了一个维度或指标的值，而维度或指标则被表示为矩阵的一行或一列。
该实施例中，指标的矩阵因子序列是一种基于矩阵分解的方法，用于估计多个未知的矩阵因子，这些矩阵因子通常表示为一个低秩矩阵和一个奇异值对的乘积，其中低秩矩阵包含了大部分信息，而奇异值对应于原矩阵中的少数重要特征。
该实施例中，根据矩阵因子序列可以得到每个指标在每个矩阵因子中的索引位置，映射特征是指指标在矩阵因子中的相对位置或权重，可以通过矩阵因子序列来确定每项指标的映射特征，即它在矩阵因子中的位置和方向。关联特征是指指标之间相互依赖的关系，它描述了不同指标之间的相互作用，以及它们如何影响彼此，通过矩阵因子序列，我们可以找到每项指标与其他指标之间的关联关系，并利用这些关系来生成关联特征。
该实施例中，指标的优化特征向量是指对指标的特征向量进行优化。
该实施例中，预设模型库是一种为机器学习任务提供模型结构的工具。
该实施例中，样本均值表示的是一个样本所有数值的平均值。
该实施例中，随机正态分布取样是指从服从正态分布的总体中随机抽取样本的过程。
该实施例中，指标阈值区间比如是本年减少是50-100，超过这个阈值则表示指标不合格。
该实施例中，指标的分类决策函数是一种机器学习算法，它用于对一组特征进行训练，以便根据新数据对这些特征进行分类。
该实施例中，指标的分类指数是一个衡量财务状况、经营业绩或市场趋势等方面的综合指标，比如：市盈率、市销率、市净率。
该实施例中，指标的分布临界通常指某个指标值在一定范围内的分界点，超过这个分界点则意味着指标状态发生了变化。
该实施例中，预设阈值是95%。
上述技术方案的有益效果是：通过深度解析大数据指标，获取特征向量，构建指标字典矩阵，可以将不同指标联系起来，更好地理解它们之间的关系，从而发现新的模式和趋势，提高指标之间的关联性，根据矩阵因子序列确定映射、关联特征，优化映射特征，获取优化特征向量，可以提高模型对数据的解释能力和泛化能力，基于优化特征向量和字典矩阵匹配预设模型库，生成数据模型，进一步的，获取模型样本均值，进行随机正态取样，得到取样结果，根据取样结果确定指标阈值区间，建立分类决策函数确定分类指数，根据分类指数和阈值区间，评估合格度，剔除合格度低于预设阈值的指标，得到筛选后的指标列表，保证所选指标的准确性和合格性。
实施例9：
本发明提供一种大数据指标的配置与计算的装置，如图2所示，包括：
配置模块：获取多项指标，并向每项指标创建指标信息来配置各项属性；
仿真模块：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
获取模块：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
判断模块：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
展现模块：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果。
上述技术方案的有益效果是：通过向每项指标创建指标信息来配置各项属性，并结合基于组织架构获取与时间周期相关的多个要素信息进行仿真计算，获取仿真计算结果，能够修改仿真配置与进行仿真计算，计算结果准确后，进行正式配置与计算，提高指标配置与计算操作在正式阶段的准确性和数据持久可靠性，同时，根据正式计算日志追踪正式计算过程的步骤执行情况和执行时间并通过可视化工具进行展现，可以大大提高查询的效率。
从目标元数据中获取多项指标，并确定每项指标的所属指标目录，包括：
获取每项指标的指标特征，根据指标特征确定每项指标的目录分类特征和目录分类特征维度以及目录分类特征的逻辑矢量；
确定每项指标的数据标签，根据数据标签确定该项数据的分类模糊度；
获取每个指标目录的分类标签范围，根据每个指标目录的分类标签范围确定每个指标目录的分类平滑指数和分类阻隔指数；
根据每项指标的目录分类特征和目录分类特征维度以及目录分类特征的逻辑矢量确定该项指标的范围分类向量；
根据每项指标的范围分类向量和该项指标的分类模糊度以及每个指标目录的分类平滑指数和分类阻隔指数计算出每项指标和每个指标目录的吻合度：
其中，表示为第i项指标和第j个指标目录的吻合度，/>表示为分类超参数，f（）表示为预设分类函数，/>表示为第i项指标的范围分类向量，/>表示为第j个指标目录的分类增益，/>表示为第j个指标目录的分类平滑指数，/>表示为为第j个指标目录的分类阻隔指数，m表示为预设分类权重，ln表示为自然对数，/>表示为第i项指标的分类模糊度；
为每项指标系选择吻合度最大的目标指标目录作为该项指标的所属指标目录。
上述技术方案的有益效果是：根据每项指标的范围分类向量和该项指标的分类模糊度以及每个指标目录的分类平滑指数和分类阻隔指数计算出每项指标和每个指标目录的吻合度，为每项指标系选择吻合度最大的目标指标目录作为该项指标的所属指标目录，能够提高每个指标的准确性和相关性，从而使其能够更好地反映业务和系统的健康状况。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种大数据指标的配置与计算的方法，其特征在于，该方法包括：
步骤1：获取多项指标，并向每项指标创建指标信息来配置各项属性；
步骤2：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
步骤3：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
步骤4：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
步骤5：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果；
其中，步骤1，包括：
获取元数据存储表，并基于所述元数据存储表采集目标元数据；
从目标元数据中获取多项指标，并确定每项指标的所属指标目录；
根据每项指标的所属指标目录创建指标信息；
根据每项指标的指标信息配置对应项指标的各项属性，包括：
通过每项指标的基础属性，设置对应项指标的业务域和指标定义；
通过每项指标的业务属性，设置对应项指标的类别、设置对应项指标的基础计量单位以及统计频率、设置对应项指标的关键值分类以及适用范围，且定义对应项指标的取数业务逻辑，其中，所述类别包括：基础指标类别、复合指标类别；
通过每项指标的管理属性，设置对应项指标的生效废止日期以及数据安全定级；
通过每项指标的技术属性，设置对应项指标的存储维度以及分析维度、指标落地库表，且定义对应项指标计算后结果存储的表和对应项指标取数的公式逻辑；
其中，步骤4，包括：
将所述指定范围的计算结果与对应的标准指定范围的数值进行阈值判断；
根据判断结果确定配置调整方案并重新计算；
将计算结果正确的对应项指标进行提取，并通过发布动作将对应项指标的仿真配置同步到正式配置中并进行正式计算；
将正式计算后的结果进行锁定并进行审批；
其中，所述多个要素信息是指在对相应项指标进行计算时，获取相应项指标的开始时间以及结束时间。
2.根据权利要求1所述的大数据指标的配置与计算的方法，其特征在于，基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算，包括：
根据组织架构确定与时间周期相关的多个要素信息；
根据所述组织架构更新指标关联关系，根据所述指标关联关系确定指标类型；
根据所述指标类型确定指标项目，并获取指标项目对应的关键值的初始化数据；
基于所述初始化数据构建仿真模型，利用仿真模型对各项指标的各项属性和多个要素信息进行仿真计算。
3.根据权利要求1所述的大数据指标的配置与计算的方法，其特征在于，获取仿真计算的结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果，包括：
通过预览查询获取仿真计算的结果，并存储到目标表中；
在所述目标表中输入多个要素条件，获取对应的指定范围的计算结果。
4.根据权利要求1所述的大数据指标的配置与计算的方法，其特征在于，获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果，包括：
获取正式计算日志，并确定正式计算日志记录的事件类型；
基于所述事件类型确定计算性质和计算范围；
根据所述计算性质和计算范围追踪对应的计算过程；
根据所述计算过程确定计算的步骤执行情况以及执行时间；
将所述步骤执行情况以及执行时间存储到最终数据落地表中并通过可视化工具展现出正式计算结果。
5.根据权利要求1所述的大数据指标的配置与计算的方法，其特征在于，获取多项指标之前，还包括：
对获取的所有的大数据指标进行深度解析，获取每项指标的特征向量；
根据每项指标的特征向量构建对应项指标的字典矩阵；
获取每项指标的矩阵因子序列，并根据所述矩阵因子序列确定每项指标的映射特征和关联特征；
根据每项指标的映射特征和关联特征确定对应项指标的优化特征向量；
基于每项指标的优化特征向量和字典矩阵在预设模型库中进行匹配以获得每项指标适配的数据模型；
获取每项指标的数据模型的样本均值，并根据所述样本均值对每项指标进行随机正态取样，获取取样结果；
根据所述取样结果确定每项指标的指标阈值区间；
根据每项指标的指标阈值区间构建对应项指标的分类决策函数；
利用所述分类决策函数和每项指标的当前指标分类组确定对应项指标的分类指数；
根据每项指标的指标阈值区间确定对应项指标的分布临界，根据所述分布临界和每项指标的分类指数确定对应项指标的合格度；
将合格度小于等于预设阈值对应项指标剔除，得到多项指标。
6.一种大数据指标的配置与计算的装置，其特征在于，包括：
配置模块：获取多项指标，并向每项指标创建指标信息来配置各项属性；
仿真模块：基于组织架构获取与时间周期相关的多个要素信息，且结合对应项指标的各项属性进行仿真计算；
获取模块：获取仿真计算结果，并输入各维度信息以及时间周期多个要素条件，获取指定范围的计算结果；
判断模块：根据所述指定范围的计算结果判断是否需要调整各项指标的属性配置及重新计算，若否，则发布动作将仿真配置同步到正式配置中，并进行正式计算；
展现模块：获取正式计算日志，并追踪正式计算过程的步骤执行情况以及执行时间，进而通过可视化工具展现出正式计算结果；
其中，所述配置模块，用于：
获取元数据存储表，并基于所述元数据存储表采集目标元数据；
从目标元数据中获取多项指标，并确定每项指标的所属指标目录；
根据每项指标的所属指标目录创建指标信息；
根据每项指标的指标信息配置对应项指标的各项属性，包括：
通过每项指标的基础属性，设置对应项指标的业务域和指标定义；
通过每项指标的业务属性，设置对应项指标的类别、设置对应项指标的基础计量单位以及统计频率、设置对应项指标的关键值分类以及适用范围，且定义对应项指标的取数业务逻辑，其中，所述类别包括：基础指标类别、复合指标类别；
通过每项指标的管理属性，设置对应项指标的生效废止日期以及数据安全定级；
通过每项指标的技术属性，设置对应项指标的存储维度以及分析维度、指标落地库表，且定义对应项指标计算后结果存储的表和对应项指标取数的公式逻辑；
其中，所述判断模块，用于：
将所述指定范围的计算结果与对应的标准指定范围的数值进行阈值判断；
根据判断结果确定配置调整方案并重新计算；
将计算结果正确的对应项指标进行提取，并通过发布动作将对应项指标的仿真配置同步到正式配置中并进行正式计算；
将正式计算后的结果进行锁定并进行审批；
其中，所述多个要素信息是指在对相应项指标进行计算时，获取相应项指标的开始时间以及结束时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410014919.XA CN117520624B (zh) | 2024-01-05 | 2024-01-05 | 一种大数据指标的配置与计算的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410014919.XA CN117520624B (zh) | 2024-01-05 | 2024-01-05 | 一种大数据指标的配置与计算的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117520624A CN117520624A (zh) | 2024-02-06 |
| CN117520624B true CN117520624B (zh) | 2024-04-12 |
Family
ID=89757077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410014919.XA Active CN117520624B (zh) | 2024-01-05 | 2024-01-05 | 一种大数据指标的配置与计算的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520624B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268428A (zh) * | 2014-10-14 | 2015-01-07 | 国家电网公司 | 一种用于指标计算的可视化配置方法 |
| RU2559401C1 (ru) * | 2014-04-02 | 2015-08-10 | Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт машиностроения" (ФГУП ЦНИИмаш) | Способ диагностирования технического состояния служебных систем летательного аппарата |
| CN106302012A (zh) * | 2016-08-12 | 2017-01-04 | 李纯雅 | 一种ptn网络优化仿真方法及系统 |
| CN111859299A (zh) * | 2020-07-23 | 2020-10-30 | 平安科技（深圳）有限公司 | 大数据指标构建方法、装置、设备及存储介质 |
| WO2022095736A1 (zh) * | 2020-11-05 | 2022-05-12 | 深圳壹账通智能科技有限公司 | 报表测试方法、装置、计算机设备及计算机可读存储介质 |
| CN115952692A (zh) * | 2023-03-10 | 2023-04-11 | 腾讯科技（深圳）有限公司 | 道路交通的仿真方法和装置、存储介质及电子设备 |
| CN116861553A (zh) * | 2023-06-29 | 2023-10-10 | 重庆长安汽车股份有限公司 | 悬架硬点优化方法、装置、电子设备及存储介质 |
| CN116976115A (zh) * | 2023-07-31 | 2023-10-31 | 中国长江三峡集团有限公司 | 面向量化分析与判断的遥感卫星应用需求仿真方法及装置 |
| CN117131589A (zh) * | 2023-08-08 | 2023-11-28 | 国汽(北京)智能网联汽车研究院有限公司 | 智能网联车辆协同算法的仿真测试方法及装置 |
-
2024
- 2024-01-05 CN CN202410014919.XA patent/CN117520624B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2559401C1 (ru) * | 2014-04-02 | 2015-08-10 | Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт машиностроения" (ФГУП ЦНИИмаш) | Способ диагностирования технического состояния служебных систем летательного аппарата |
| CN104268428A (zh) * | 2014-10-14 | 2015-01-07 | 国家电网公司 | 一种用于指标计算的可视化配置方法 |
| CN106302012A (zh) * | 2016-08-12 | 2017-01-04 | 李纯雅 | 一种ptn网络优化仿真方法及系统 |
| CN111859299A (zh) * | 2020-07-23 | 2020-10-30 | 平安科技（深圳）有限公司 | 大数据指标构建方法、装置、设备及存储介质 |
| WO2022095736A1 (zh) * | 2020-11-05 | 2022-05-12 | 深圳壹账通智能科技有限公司 | 报表测试方法、装置、计算机设备及计算机可读存储介质 |
| CN115952692A (zh) * | 2023-03-10 | 2023-04-11 | 腾讯科技（深圳）有限公司 | 道路交通的仿真方法和装置、存储介质及电子设备 |
| CN116861553A (zh) * | 2023-06-29 | 2023-10-10 | 重庆长安汽车股份有限公司 | 悬架硬点优化方法、装置、电子设备及存储介质 |
| CN116976115A (zh) * | 2023-07-31 | 2023-10-31 | 中国长江三峡集团有限公司 | 面向量化分析与判断的遥感卫星应用需求仿真方法及装置 |
| CN117131589A (zh) * | 2023-08-08 | 2023-11-28 | 国汽(北京)智能网联汽车研究院有限公司 | 智能网联车辆协同算法的仿真测试方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Jan Olaf Blech等.Cyber-Virtual Systems:Simulation,Validation &Visualization.《arXiv》.2014,第1-7页. * |
| 江苏广播制播网仿真系统建设;卢小勉;《西部广播电视》;20190905(第17期);第254-256页 * |
| 考虑间歇式能源容量价值的储能规划关键技术研究;蔡霁霖;《中国博士学位论文全文数据库工程科技Ⅱ辑》;20210115(第01期);第C042-143页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117520624A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chakrabarti et al. | Data mining: know it all | |
| CN110738527A (zh) | 一种特征重要性排序方法、装置、设备和存储介质 | |
| CN114266492A (zh) | 一种基于数据挖掘的企业融资基金匹配方法 | |
| Batini et al. | A Framework And A Methodology For Data Quality Assessment And Monitoring. | |
| Ozmen | Logistics competitiveness of OECD countries using an improved TODIM method | |
| CN113157752A (zh) | 一种基于用户画像和情境的科技资源推荐方法及系统 | |
| US20090276390A1 (en) | Modeling support system, modeling support method, and modeling support program | |
| CN115860800A (zh) | 一种节假日商品销量预测方法、装置及计算机存储介质 | |
| Zhang et al. | Analysis and research on library user behavior based on apriori algorithm | |
| CN117520624B (zh) | 一种大数据指标的配置与计算的方法及装置 | |
| CN112506930B (zh) | 一种基于机器学习技术的数据洞察系统 | |
| Maryam et al. | Evaluate implementation of enterprise resource planning (ERP) system | |
| Ying et al. | Research on E-commerce Data Mining and Managing Model in The Process of Farmers' Welfare Growth | |
| Pletnev et al. | Integral Evaluation of Business Success: Methodology and Case of Russian SME | |
| Ahituv et al. | The impact of accessibility on the value of information and the productivity paradox | |
| Ganjali et al. | Identify Valuable Customers of Taavon Insurance in Field of Life Insurance with Data Mining Approach | |
| Oliveira et al. | Improving organizational decision making using a SAF-T based business intelligence system | |
| d’Ovidio et al. | Data Integration Techniques for the Identification of Poverty Profiles | |
| Bettiol et al. | Is this time different? How Industry 4.0 affects firms’ labor productivity | |
| CN113420096B (zh) | 指标体系的构建方法、装置、设备及存储介质 | |
| Trabelsi et al. | Employing Data and Process Mining Techniques for Redundancy Detection and Analystics in Business Processes. | |
| Koundourakis | EnVisioner: a data mining framework based on decision trees | |
| Haghighi et al. | Customer Loyalty evaluation and prediction based on decision tree and artificial neural network: Case of Ofogh koorosh stores in tehran | |
| Batini et al. | Information quality in use | |
| CN116307885A (zh) | 数据处理方法、装置、计算机设备、存储介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |