CN117829121B - 数据处理方法、装置、电子设备和介质 - Google Patents
数据处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN117829121B CN117829121B CN202410239626.1A CN202410239626A CN117829121B CN 117829121 B CN117829121 B CN 117829121B CN 202410239626 A CN202410239626 A CN 202410239626A CN 117829121 B CN117829121 B CN 117829121B
- Authority
- CN
- China
- Prior art keywords
- index
- template
- instance
- compiling
- query language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域,提供一种数据处理方法、装置、电子设备和介质,其中方法包括:确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。本发明提供的数据处理方法、装置、电子设备和介质,针对同一指标模板编译生成的指标实例,只需执行一次即可得到该指标模板下的全部指标实例的统计数据结果,大大减少指标实例查询语言的执行次数,大大提高指标数据处理效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法、装置、电子设备和介质。
背景技术
数据分析是金融行业的一种典型应用场景,传统数据分析应用一般以统计报表报告等形式展现结果。随着技术和业务的发展,金融行业在数字化转型过程中逐渐形成平台化、中台化、指标化趋势。
统计指标作为一种反映某个具体特征的明确度量方法,获得各行业广泛认可和应用。目前统计指标在应用过程中面临不少痛点问题,针对指标名称混乱,如同名不同义、同义不同名,统计口径不统一,相似指标处理逻辑迥异的问题,虽已有相应解决方案,但是数据量大,数据处理效率低下仍是亟需解决的问题。
发明内容
本发明提供一种数据处理方法、装置、电子设备和介质,用以解决现有技术中数据处理效率低下的缺陷。
本发明提供一种数据处理方法,包括:
确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
根据本发明提供的数据处理方法,所述对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言,包括:
对所述指标模板的查询语言模板进行变量替换和数值转换,得到可执行的指标实例查询语言。
根据本发明提供的数据处理方法,所述指标实例是基于如下步骤得到的:
确定指标模板;
基于指标模板分别与指标频度和指标维度之间的对应关系,对所述指标模板进行编译,得到所述指标实例,任一指标实例包括所述指标频度和/或指标维度。
根据本发明提供的数据处理方法,所述任一指标实例还包括指标编号和指标名称。
根据本发明提供的数据处理方法,所述指标维度为单一指标维度或组合指标维度。
根据本发明提供的数据处理方法,所述方法还包括:
对所述指标模板、指标频度和指标维度中的至少一种进行调整,并基于调整后的指标频度和/或指标维度,对调整后的指标模板进行编译,得到调整后的指标实例。
本发明还提供一种数据处理装置,包括:
指标确定单元,用于确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
模板转换单元,用于对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
查询执行单元,用于执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述数据处理方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
本发明提供的数据处理方法、装置、电子设备和介质,通过采用指标模板编译得到指标实例,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;执行该指标实例查询语言,得到指标实例及其关联指标实例的指标值。由于相同指标模板编译生成的指标实例具有相同数据来源和统计属性,即具有相同的业务逻辑和业务规则,针对同一指标模板编译生成的指标实例,只需执行一次即可得到该指标模板下的全部指标实例的统计数据结果,大大减少指标实例查询语言的执行次数,大大提高指标数据处理效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的数据处理方法的流程示意图之一;
图2是本发明提供的数据处理方法的流程示意图之二;
图3是本发明提供的数据处理装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,在各种服务行业,例如金融行业、媒体行业等的日常业务流程中,会产生越来越多的行业数据,这些行业数据具备一定的可靠性和广泛性,可以反映业务获得的特征、规律和运行状况。
为了行业间的相互发展,各个不同服务行业之间会通过数据清单进行数据流通,以供不同服务行业基于获得的行业数据进行分析,可以帮助用户及时了解业务发展变化,及时制定策略等。
例如,金融机构内和金融机构间数据交换频繁、业务发展迅速,然而由于行业数据的数据量较大,数据处理效率低下。
针对现有技术中数据处理效率低下的问题,为了提高数据处理效率,本发明的发明构思在于:采用指标模板编译得到指标实例,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;执行该指标实例查询语言,得到指标实例及其关联指标实例的指标值。
由于相同指标模板编译生成的指标实例具有相同数据来源和统计属性,即具有相同的业务逻辑和业务规则,针对同一指标模板编译生成的指标实例,只需执行一次即可得到该指标模板下的全部指标实例的统计数据结果,大大减少指标实例查询语言的执行次数,大大提高指标数据处理效率。
基于上述发明构思,本发明提供一种数据处理方法、装置、电子设备和介质,可应用于指标数据处理领域,以提高指标数据处理效率。
下面将结合附图详细描述本发明的技术方案。图1是本发明提供的数据处理方法的流程示意图之一,该方法中各步骤的执行主体可以是数据处理装置,该装置可通过软件和/或硬件实现,该装置可集成在电子设备中,电子设备可以是终端设备(如智能手机、个人电脑等),也可以是服务器(如本地服务器或云端服务器,也可以为服务器集群等),也可以是处理器,也可以是芯片等。如图1所示,该方法包括如下步骤:
步骤110,确定待处理的指标实例,指标实例是通过指标模板编译得到的;
步骤120,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
步骤130,执行指标实例查询语言,得到指标实例及其关联指标实例的指标值,关联指标实例是指通过指标模板编译得到的其他指标实例。
具体地,指标实例通常指的是根据特定的指标模板和一组具体的参数或属性值所生成的具体指标。在数据分析、业务监控和绩效评估等场景中,经常会遇到各种指标,这些指标用于衡量某个过程、操作或业务活动的状态和效果。
待处理的指标实例可以是需要查询指标值的指标实例,例如待处理的指标实例可以是工行当日业务笔数、农行当月业务金额等等。
指标实例是通过指标模板编译得到的,指标模板是用来衡量某一个业务的统一的标准,具有唯一明确的名称,如产品销售量、采购价、销售价、业务笔数、业务金额等。指标实例是从更通用的指标模板中派生出来的,它包含了实际的数据和上下文信息,可以用于具体的分析或决策。例如,一个电商网站可能会有一个“销售额”的指标模板,该模板定义了如何计算销售额(比如,销售额=销售数量单价)。然后,根据不同的时间范围、产品类别或地区等维度,可以生成多个销售额的指标实例。
每个指标实例都是对指标模板的一个具体应用,它反映了在特定条件下的指标值。这些实例可以是实时的,也可以是历史的,具体取决于数据的可用性和需求。
指标模板是为了方便创建和管理多个具有相似结构和逻辑的指标而设计的一种模板,它可以包含一些预设的字段、计算逻辑和SQL(Structured Query Language,结构化查询语言)模板等属性。此处的查询语言模板可以是SQL模板。SQL是一种用于管理关系数据库管理系统的编程语言。它被广泛用于数据的查询、插入、更新和删除,以及数据库模式(结构)的创建和修改。SQL是大多数关系数据库系统(如MySQL、Oracle、SQL Server、SQLite、PostgreSQL 等)的核心组成部分。
其中,SQL模板是指用于生成实际SQL查询语句的模板,但它本身并不是直接可执行的SQL语句,因为它通常包含一些占位符或变量,需要在实际使用时进行替换和转换。
在一些实施例中,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言,即步骤120具体包括:
步骤121,对指标模板的查询语言模板进行变量替换和数值转换,得到可执行的指标实例查询语言。
具体地,指标模板中的SQL模板属性通常是一个包含占位符和SQL语法的字符串。这些占位符可以是变量、表达式或函数等,用于表示在实际查询时需要替换或计算的值。例如,SQL模板中可能包含一个占位符{startDate},表示查询的开始日期,这个占位符在实际生成SQL语句时会被替换为具体的日期值。
为了得到可执行的指标实例查询语言需要进行以下步骤:
变量替换:将SQL模板中的占位符替换为具体的值。这些值可以是静态的常量、动态的参数或从其他数据源获取的值。例如,可以将{startDate}替换为“2024-01-01”这样的具体日期。
数值转换:对替换后的SQL语句进行必要的数值转换或计算。这包括数据类型转换、数学运算、条件判断等。例如,可以将某个字段的值从字符串转换为整数进行计算。
SQL语句生成:经过变量替换和数值转换后,得到的SQL语句应该是完整且可执行的。这个SQL语句可以用于从数据库查询数据、计算指标值或进行其他相关操作。
需要注意的是,指标模板和SQL模板的设计应该充分考虑到通用性、灵活性和可扩展性,以便能够适应不同场景下的指标计算需求。同时,在实际使用过程中,也需要对生成的SQL语句进行验证和测试,确保其正确性和性能满足要求。
在此基础上,可执行步骤130。可通过定时任务或者用户触发执行指标实例查询语言,得到指标实例及其关联指标实例的指标值。
此处,关联指标实例是指通过指标模板编译得到的其他指标实例。由于一个指标模板编译得到的大量指标实例具有相同数据来源、日期频度、统计属性,因此相同类的指标实例只需要执行一次SQL语句即可得到全部指标实例的统计数据。
例如,通过执行一次当日业务笔数指标实例的SQL语句,可得到预先构建的指标体系下工行、农行、建行等各大银行的当日业务笔数,及业务金额相关指标。
需说明的是,在指标编译时可以多个指标频度一次编译,生成按日、按月、按年等不同的指标实例;在指标实例执行时,相同频度的实例一起执行生成,不同频度的可分别执行。
根据指标编译扩展的维度组合规模,一般可以降低若干数据量级的统计处理次数,比如上万个指标实例只需要几百次的统计,而不是上万次的统计处理,大大提高指标数据处理效率。
上述示例中当日工行、农行等等银行业务笔数一次执行即可得到。通过扩展度量属性,比如笔数、金额,上述示例中当日工行、农行等等银行业务笔数、金额等指标实例也可一次执行得到。
本发明实施例提供的方法,通过采用指标模板编译得到指标实例,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;执行该指标实例查询语言,得到指标实例及其关联指标实例的指标值。由于相同指标模板编译生成的指标实例具有相同数据来源和统计属性,即具有相同的业务逻辑和业务规则,针对同一指标模板编译生成的指标实例,只需执行一次即可得到该指标模板下的全部指标实例的统计数据结果,大大减少指标实例查询语言的执行次数,大大提高指标数据处理效率。
基于上述任一实施例,指标实例是基于如下步骤得到的:
确定指标模板;
基于指标模板分别与指标频度和指标维度之间的对应关系,对指标模板进行编译,得到指标实例,任一指标实例包括指标频度和/或指标维度。
具体地,针对指标实例可通过确定指标模板以及基于该模板编译得到。通常涉及多个步骤,包括定义模板结构、确定频度与维度的对应关系,以及最终的编译过程。
一个指标通常具有指标编号、指标名称、指标数值等属性。通过分析整理金融行业典型应用的指标实例,归纳抽象形成指标模板。
首先,需要明确指标模板的结构和内容。指标模板通常包含以下要素:指标名称:用于标识和描述具体指标。指标类型:如定量指标、定性指标等。指标描述:对指标的具体含义和用途进行说明。数据来源:指明指标数据的来源,如数据库、外部报告等。
可理解的是,一个指标模板通常是具有相同指标频度(如日、月、季、年)、或指标维度的指标实例集合。
在确定了指标模板后,需要明确指标频度(如日、周、月、年等)和指标维度(如地区、部门、产品等)之间的对应关系。根据实际需求,将时间或其他周期性因素划分为不同的频度,如每日、每周、每月等。根据指标的特点和应用场景,确定需要关注的维度,如地区、部门、产品、客户群等。将每个指标与相应的频度和维度建立对应关系,这可以通过表格、数据库或其他数据结构来实现。
在一些实施例中,指标维度可以是线段维,即统计分析时使用的特定范围维度集合,如五大行维度,只包括工、农、中、建、交;也可以是直线维,即统计分析时使用的全量维度数据,如地区维度,包括全国所有行政区划省市县数据。
通过分类整理指标实例、指标模板形成指标目录结构,即构建了指标体系。
在定义了指标模板和频度与维度的对应关系后,就可以开始编译指标模板以生成具体的指标实例。这一过程通常包括以下几个步骤:
选择指标模板:从已有的指标模板中选择需要编译的模板。
填充频度与维度:根据指标模板与频度、维度的对应关系,为指标实例填充相应的频度和维度信息。
生成指标实例:根据填充的频度和维度信息,生成具体的指标实例。这些实例可以是数据库中的记录、报告中的表格或其他形式的数据结构。
图2是本发明提供的数据处理方法的流程示意图之二,如图2所示,指标模板与指标频度、指标维度分别建立对应关系,得到指标模板+频度+维度关系,并编译为具体的指标实例。指标实例还包括指标编号和指标名称,指标实例的指标编号、指标名称也在编译过程中动态确定。
例如,针对业务量类指标模板,可编译为如下指标实例:
当日工行业务笔数、当日农行业务笔数;
当月工行业务笔数、当月农行业务笔数;
当年截至当日工行业务笔数、当年截至当日农行业务笔数等。
进一步,指标编译时支持指标维度的组合使用,例如:上述银行类别维度叠加币种维度,可得到:
当日工行人民币业务笔数、当日农行人民币业务笔数;
当日工行美元业务笔数、当日农行美元业务笔数;
需说明的是,一旦生成了指标实例,还需要对指标实例进行有效管理,以便在实际工作中应用。具体可包括:存储与维护,将指标实例存储在适当的位置(如数据库、文件系统等),并定期更新和维护;数据分析,利用生成的指标实例进行数据分析,以支持决策制定和业务优化;报告与展示,将分析结果以报告或图表的形式展示给相关人员,以便他们了解业务状况和趋势。
本发明实施例提供的方法,通过构建指标体系,规范指标名称、指标编号等指标定义属性,统一指标数值计算标准,统一规范指标管理。
此外,通过指标模板目录化体系化,结合指标频度、指标维度扩展可快速实现业务需求,扩展性好。对部分需求仅需要增加指标频度、指标维度配置,再次编译指标实例即可扩展实现。例如五大行变为六大行时,只需要扩展五大行线段维度为六大行线段维度,借助客户端功能,用户可自助式实现。
基于上述任一实施例,数据处理方法还包括:
对指标模板、指标频度和指标维度中的至少一种进行调整,并基于调整后的指标频度和/或指标维度,对调整后的指标模板进行编译,得到调整后的指标实例。
具体地,本实施例中,还可统一对指标模板、指标频度或指标维度进行调整。
调整指标模板通常涉及修改指标的名称、类型、描述或数据来源。这些调整可能是为了适应新的业务需求、改进数据收集方法或提高指标的相关性和准确性。根据分析的需求,对指标模板进行相应的修改。这可能包括更改指标名称、调整指标类型、更新指标描述或改变数据来源。
调整指标频度意味着改变指标数据收集和报告的周期。这可以帮助组织或个人更频繁或更稀疏地监控特定指标,以匹配其业务需求和数据收集能力。例如,如果业务需求需要更实时的数据,可能会将月度指标调整为周度或日度指标。
调整指标维度涉及更改用于分析指标的不同方面或类别。例如,一个销售指标可能最初只按地区维度进行分析,后来可能需要添加产品、客户群或销售渠道等其他维度。在指标模板中添加或删除相应的维度。这可能需要更新数据结构或调整数据分析过程,以容纳新的维度。
一旦指标模板、指标频度或指标维度中的至少一种被调整,就需要重新编译这些调整后的模板以生成新的指标实例。将上述调整应用到指标模板中,确保所有相关信息都已正确更新。基于调整后的模板,按照原有的编译过程生成新的指标实例。这可能涉及填充新的频度和维度信息,以及可能的数据源更新。
在部署新的指标实例之前,还可使用测试数据或历史数据来验证新指标实例的正确性和有效性。这包括检查数据计算的准确性、数据展示的清晰性以及数据解释的合理性。根据测试结果,收集反馈并进行必要的调整。可能涉及对指标模板的进一步微调或对编译过程的改进。一旦新指标实例经过测试和验证,就可以将其部署到实际业务环境中,并开始使用它们来支持决策制定和业务优化。
在具体开发实现过程中,通过统一修改指标模板、指标维度、指标频度等配置,统一指标实例SQL,有效避免修改大量SQL带来的错误风险。
基于上述任一实施例,提供一种数据处理方法,包括:
S1,构建指标体系
一个指标通常具有指标编号、指标名称、指标数值等属性。通过分析整理金融行业典型应用的指标实例,归纳抽象形成指标模板。通过分类整理指标实例、指标模板形成指标目录结构,即构建了指标体系。
S2,指标模板编译指标实例
指标模板与指标频度、指标维度分别建立对应关系,得到指标模板+频度+维度关系,并编译为具体的指标实例,指标实例的指标编号、指标名称也在编译过程中动态确定。进一步,指标编译时支持指标维度的组合使用。
通常一个指标模板配置有SQL模板属性。指标模板中的SQL模板是不可直接执行的伪SQL,需要经过变量替换、数值转换得到指标实例的SQL属性,指标实例的SQL是可执行的SQL语句。
S3,执行指标SQL获得数据结果
通过定时任务,或者用户触发执行指标SQL获取指标数值统计结果。由于一个指标模板编译得到的大量指标实例具有相同数据来源、日期频度、统计属性,因此相同类的指标实例只需要执行一次SQL语句即可得到全部指标实例的统计数据。根据指标编译扩展的维度组合规模,一般可以降低若干数据量级的统计处理次数,比如上万个指标实例只需要几百次的统计,而不是上万次的统计处理,大大提高指标数据处理效率。
本发明实施例提供的方法,在解决目前统计指标处理方面具有以下优点:
1、统一规范指标管理,通过构建指标体系,规范指标名称、指标编号等指标定义属性,统一指标数值计算标准。
2、扩展性好,通过指标模板目录化体系化,结合指标频度、指标维度扩展可快速实现业务需求。对部分需求仅需要增加指标频度、指标维度配置,再次编译指标实例即可扩展实现。例如五大行变为六大行时,只需要扩展五大行线段维度为六大行线段维度,借助客户端功能,用户可自助式实现。
3、数据处理效率高,同一指标模板编译生成的指标实例,只需要执行一次即可得到全部指标实例统计数据结果,大大减少指标实例SQL执行次数。
4、稳定性好,在具体开发实现过程中,统一修改指标模板、指标维度、指标频度等配置,统一指标实例SQL,有效避免修改大量SQL带来的错误风险。
下面对本发明提供的数据处理装置进行描述,下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
图3是本发明提供的数据处理装置的结构示意图,如图3所示,提供一种数据处理装置,包括指标确定单元310、模板转换单元320和查询执行单元330,其中:
指标确定单元310,用于确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
模板转换单元320,用于对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
查询执行单元330,用于执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
本发明实施例提供的数据处理装置,通过采用指标模板编译得到指标实例,对指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;执行该指标实例查询语言,得到指标实例及其关联指标实例的指标值。由于相同指标模板编译生成的指标实例具有相同数据来源和统计属性,即具有相同的业务逻辑和业务规则,针对同一指标模板编译生成的指标实例,只需执行一次即可得到该指标模板下的全部指标实例的统计数据结果,大大减少指标实例查询语言的执行次数,大大提高指标数据处理效率。
基于上述任一实施例,模板转换单元进一步用于:
对所述指标模板的查询语言模板进行变量替换和数值转换,得到可执行的指标实例查询语言。
基于上述任一实施例,还包括实例生成单元,用于:
确定指标模板;
基于指标模板分别与指标频度和指标维度之间的对应关系,对所述指标模板进行编译,得到所述指标实例,任一指标实例包括所述指标频度和/或指标维度。
基于上述任一实施例,所述任一指标实例还包括指标编号和指标名称。
基于上述任一实施例,所述指标维度为单一指标维度或组合指标维度。
基于上述任一实施例,还包括实例调整单元,用于:
对所述指标模板、指标频度和指标维度中的至少一种进行调整,并基于调整后的指标频度和/或指标维度,对调整后的指标模板进行编译,得到调整后的指标实例。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行数据处理方法,该方法包括:
确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的数据处理方法,该方法包括:
确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的数据处理方法,该方法包括:
确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种数据处理方法,其特征在于,包括:
确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
所述指标实例是基于如下步骤得到的:
确定指标模板;
基于指标模板分别与指标频度和指标维度之间的对应关系,对所述指标模板进行编译,得到所述指标实例,任一指标实例包括所述指标频度和/或指标维度;任一指标实例包括动态编译生成的指标编号和指标名称;
对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例,同一指标模板编译得到的多个指标实例具有相同数据来源、指标频度和统计属性,针对同一指标模板编译生成的指标实例只需执行一次指标实例查询语言得到全部指标实例的指标值。
2.根据权利要求1所述的数据处理方法,其特征在于,所述对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言,包括:
对所述指标模板的查询语言模板进行变量替换和数值转换,得到可执行的指标实例查询语言。
3.根据权利要求1所述的数据处理方法,其特征在于,所述指标维度为单一指标维度或组合指标维度。
4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
对所述指标模板、指标频度和指标维度中的至少一种进行调整,并基于调整后的指标频度和/或指标维度,对调整后的指标模板进行编译,得到调整后的指标实例。
5.一种数据处理装置,其特征在于,包括:
指标确定单元,用于确定待处理的指标实例,所述指标实例是通过指标模板编译得到的;
所述指标实例是基于如下步骤得到的:
确定指标模板;
基于指标模板分别与指标频度和指标维度之间的对应关系,对所述指标模板进行编译,得到所述指标实例,任一指标实例包括所述指标频度和/或指标维度;任一指标实例包括动态编译生成的指标编号和指标名称;
模板转换单元,用于对所述指标模板的查询语言模板进行转换,得到可执行的指标实例查询语言;
查询执行单元,用于执行所述指标实例查询语言,得到所述指标实例及其关联指标实例的指标值,所述关联指标实例是指通过所述指标模板编译得到的其他指标实例,同一指标模板编译得到的多个指标实例具有相同数据来源、指标频度和统计属性,针对同一指标模板编译生成的指标实例只需执行一次指标实例查询语言得到全部指标实例的指标值。
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述数据处理方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据处理方法。
8.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410239626.1A CN117829121B (zh) | 2024-03-04 | 2024-03-04 | 数据处理方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410239626.1A CN117829121B (zh) | 2024-03-04 | 2024-03-04 | 数据处理方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117829121A CN117829121A (zh) | 2024-04-05 |
CN117829121B true CN117829121B (zh) | 2024-07-16 |
Family
ID=90519518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410239626.1A Active CN117829121B (zh) | 2024-03-04 | 2024-03-04 | 数据处理方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117829121B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115859935A (zh) * | 2022-12-29 | 2023-03-28 | 空间视创(重庆)科技股份有限公司 | 一种基于指标库的数据分析报告模板生成系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105677622B (zh) * | 2016-03-11 | 2019-05-10 | 郑州师范学院 | 大数据分析报告自动生成系统 |
CN108664638B (zh) * | 2018-05-15 | 2019-12-10 | 口碑(上海)信息技术有限公司 | 基于指标体系的报表生成方法及装置 |
CN108681589B (zh) * | 2018-05-15 | 2020-09-04 | 口碑(上海)信息技术有限公司 | 基于指标体系的结构化查询语言指令生成方法及装置 |
CN112632006A (zh) * | 2020-12-18 | 2021-04-09 | 平安普惠企业管理有限公司 | 电子报表文件导出方法、装置、设备及存储介质 |
CN115469941A (zh) * | 2022-09-09 | 2022-12-13 | 武汉众邦银行股份有限公司 | 基于FlinkSQL的风控指标计算开发的自动配置处理方法及系统 |
CN115481140A (zh) * | 2022-09-30 | 2022-12-16 | 数字浙江技术运营有限公司 | 基于页面配置进行指标数据查询的方法和装置 |
CN117350588A (zh) * | 2023-10-11 | 2024-01-05 | 中电云计算技术有限公司 | 一种金融科技能力综合评价方法及评价模型 |
-
2024
- 2024-03-04 CN CN202410239626.1A patent/CN117829121B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115859935A (zh) * | 2022-12-29 | 2023-03-28 | 空间视创(重庆)科技股份有限公司 | 一种基于指标库的数据分析报告模板生成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117829121A (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019253860B2 (en) | Data quality analysis | |
US20130166515A1 (en) | Generating validation rules for a data report based on profiling the data report in a data processing tool | |
AU2018274972A1 (en) | Data quality analysis | |
CN111259040B (zh) | Sql语句审核方法和系统 | |
US20200334267A1 (en) | System and method for automatic generation of extract, transform, load (etl) asserts | |
CN110532612A (zh) | 船舶动力系统的运行数据处理方法及装置 | |
CN110781235A (zh) | 基于大数据的采购数据处理方法、装置、终端及存储介质 | |
CN109947797B (zh) | 一种数据检查装置及方法 | |
US8396847B2 (en) | System and method to retrieve and analyze data for decision making | |
CN117829121B (zh) | 数据处理方法、装置、电子设备和介质 | |
AU2017245421A1 (en) | Identifying claim anomalies for analysis using dimensional analysis | |
CN115220731A (zh) | 指标数据获取方法、装置、计算机设备及存储介质 | |
CN114860305A (zh) | 数据处理方法和装置 | |
CN113760681A (zh) | 一种基于统一sql的多源异构数据质量校验方法和系统 | |
US12039614B2 (en) | Generic configuration platform for generating electronic reports | |
CN114610809A (zh) | 电网数据结构化处理方法及装置 | |
CN118193039A (zh) | 一种面向生产数据的会计指标计算逻辑试算方法和装置 | |
CN113486022A (zh) | 一种数据一致性验证方法和相关装置 | |
CN118656421A (zh) | 基于多维度数据拟合的质量评估方法、装置及电子设备 | |
CN118427208A (zh) | 一种财务数据处理方法及装置 | |
CN113609283A (zh) | 数据获取方法及系统 | |
CN115718754A (zh) | 电子会计档案数据的查询方法、装置和电子设备 | |
CN115391087A (zh) | 一种报文校验的方法、装置、设备及介质 | |
CN118195404A (zh) | 自动化履约管理方法、装置、计算机设备及存储介质 | |
CN117827902A (zh) | 业务数据处理方法、装置、计算机设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |