CN114860759A - 一种数据处理方法、装置、设备及可读存储介质 - Google Patents

一种数据处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114860759A
CN114860759A CN202210551747.0A CN202210551747A CN114860759A CN 114860759 A CN114860759 A CN 114860759A CN 202210551747 A CN202210551747 A CN 202210551747A CN 114860759 A CN114860759 A CN 114860759A
Authority
CN
China
Prior art keywords
data
index data
preset
data processing
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210551747.0A
Other languages
English (en)
Inventor
王晓松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202210551747.0A priority Critical patent/CN114860759A/zh
Publication of CN114860759A publication Critical patent/CN114860759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24539—Query rewriting; Transformation using cached or materialised query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及数据处理技术领域，公开了一种数据处理方法、装置、设备及可读存储介质，方法包括获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量；若指标数据存在相应的衍生度量，则进一步判断指标数据是否存在汇总值，并得到判断结果；基于判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；执行结构化查询语言，得到指标数据的每个衍生度量的计算值，并将计算值存入临时表中；将临时表中的计算值通过sum函数写入预设结果表中。本申请实现了简化数据处理流程，降低数据处理成本，提升数据处理的通用性且生成的数据能够进行二次加工的技术效果。

Description

一种数据处理方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及可读存储介质。
背景技术
随着企业的发展，企业通常需要对目前已有的大量业务数据进行组合分析，而依据业务数据的组合建立业务模型并得到一个宽表模型，再来定义所需指标是一个常用的方法。这些指标常常需要在时间维度上与自己的前值进行对比和计算，这个就是指标的衍生度量。现有对于衍生度量的计算方法一般如下：
(1)先编写计算指标数据所对应的SQL(Structured Query Language，结构化查询语言)，之后根据时间维度关联不同时间的指标数据，然后根据公式计算。
(2)直接根据已有的指标数据进行计算。
(3)利用Kylin等工具获得一个模型，再根据这个模型编写SQL得到所需的衍生度量。
但是，上述几种方法在使用时均需先计算指标的衍生度量，或者利用工具建立模型再进行SQL的编写，这就意味着在计算衍生度量时需要专业的SQL开发人员编写比较复杂的SQL或是使用Kylin这种依赖于Hadoop的工具，而且结果无法落地进行二次加工；除此之外，由于Kylin对于Hadoop的依赖，会使得系统成本上升且难以通用。
发明内容
本发明实施例提供一种数据处理方法、装置、设备及可读存储介质，解决了现有技术中对指标数据的衍生度量进行计算时，需要专业开发人员进行建模并进行大量的SQL的编写所导致的人力成本较高、系统成本较高、通用性差且生成的数据无法进行二次加工的技术问题。
第一方面，本发明实施例提供了一种数据处理方法，所述数据处理方法包括：
获取预设数据库中的指标数据，并确定所述指标数据是否存在相应的衍生度量，其中，所述衍生度量为所述指标数据在时间维度上与自身的前值进行比较的结果，一个所述指标数据对应存在多个所述衍生度量；
若所述指标数据存在相应的衍生度量，则进一步判断所述指标数据是否存在汇总值，并得到判断结果，其中，所述汇总值指所述指标数据经预设计算规则计算得到的数据；
基于所述判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
执行所述结构化查询语言，得到所述指标数据的每个所述衍生度量的计算值，并将所述计算值存入临时表中；
将所述临时表中的计算值通过sum函数写入预设结果表中。
第二方面，本发明实施例还提供了一种数据处理装置，所述数据处理装置包括：
数据获取单元，用于获取预设数据库中的指标数据，并确定所述指标数据是否存在相应的衍生度量，其中，所述衍生度量为所述指标数据在时间维度上与自身的前值进行比较的结果，一个所述指标数据对应存在多个所述衍生度量；
数据判断单元，用于若所述指标数据存在相应的衍生度量，则进一步判断所述指标数据是否存在汇总值，并得到判断结果，其中，所述汇总值指所述指标数据经预设计算规则计算得到的数据；
数据计算单元，用于基于所述判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
程序执行单元，用于执行所述结构化查询语言，得到所述指标数据的每个所述衍生度量的计算值，并将所述计算值存入临时表中；
结果表生成单元，用于将所述临时表中的计算值通过sum函数写入预设结果表中。
第三方面，本发明实施例还提供了一种数据处理设备，所述数据处理设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面任意的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面任意的数据处理方法。
第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例第一方面任意的数据处理方法。
本发明实施例公开了一种数据处理方法、装置、设备及可读存储介质，方法包括获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量；若指标数据存在相应的衍生度量，则进一步判断指标数据是否存在汇总值，并得到判断结果；基于判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；执行结构化查询语言，得到指标数据的每个衍生度量的计算值，并将计算值存入临时表中；将临时表中的计算值通过sum函数写入预设结果表中。本申请解决了现有技术中对指标数据的衍生度量进行计算时，需要专业开发人员进行建模并进行大量的SQL的编写所导致的人力成本较高、系统成本较高、通用性差且生成的数据无法进行二次加工的技术问题，实现了简化数据处理流程，降低数据处理成本，提升数据处理的通用性且生成的数据能够进行二次加工的技术效果。
附图说明
图1是本发明实施例提供的一种数据处理方法的流程图；
图2是本发明实施例提供的另一种数据处理方法的流程图；
图3是本发明实施例提供的又一种数据处理方法的流程图；
图4是本发明实施例提供的又一种数据处理方法的流程图；
图5是本发明实施例提供的又一种数据处理方法的流程图；
图6是本发明实施例提供的一种数据处理装置的结构图；
图7是本发明实施例提供的一种数据处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。
图1是本发明实施例提供的一种数据处理方法的流程图。该数据处理方法可适用于所有需要进行数据处理的业务场景，例如企业对已有的大量业务数据进行组合分析的场景等。该数据处理方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，并一般可集成于服务器中。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
如图1所示，该数据处理方法具体包括如下步骤：
S101，获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量，其中，衍生度量为指标数据在时间维度上与自身的前值进行比较的结果，一个指标数据对应存在多个衍生度量。
可选地，预设数据库包括以下之一：大规模并行处理系统(mpp)、数据仓库分析系统(hive)、列式数据库管理系统(clickhouse)、关系型数据库管理系统(mysql)。
具体地，预设数据库包括但不限于大规模并行处理系统(mpp)、数据仓库分析系统(hive)、列式数据库管理系统(clickhouse)、关系型数据库管理系统(mysql)等，指标数据为通过业务数据加工得到的数据，例如，当业务数据为金融数据时，指标数据可以为基于金融数据计算得到的年净利润等。在得到指标数据之后，可以查询预设数据库中相应的设置，以确定该指标数据是否存在相应的衍生度量，衍生度量为指标数据在时间维度上与自身的前值进行比较的结果，例如，当指标数据为年净利润时，衍生度量可以是今年与上一年的年净利润相比的增长值，也可以为今年与前三年的平均年净利润相比的增长值，显然，一个指标数据可以对应存在多个衍生度量。
示例性地，以预设数据库为mysql库为例，可以通过查询mysql库中的指标数据的相关设置来确认当前的指标信息是否存在相应的衍生度量。
S102，若指标数据存在相应的衍生度量，则进一步判断指标数据是否存在汇总值，并得到判断结果，其中，汇总值指指标数据经预设计算规则计算得到的数据。
具体地，汇总值指的是预设数据库中储存的指标数据经预设计算规则计算得到的数据，例如，若指标数据为年净利润值，则汇总值可以为近三年的年净利润值，也可以为近五年的年净利润值，其中，预设计算规则为通过指标数据计算得到不同的汇总值的计算规则。
S103，基于判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言。
具体地，判断结果包括指标数据存在汇总值或不存在汇总值，当指标数据存在汇总值时，需要选择能够生成某一时间段的指标加工值(即衍生度量)的计算公式；当指标数据不存在汇总值时，需要选择计算公式中存在相应时间的指标加工过程的公式，进而对选择好的衍生度量计算公式自动化进行解析，得到结构化查询语言SQL。通过将选择好的公式自动化的生成结构化查询语言SQL进行执行，解决了现有技术中需要开发人员需要直接编写并执行SQL，而无法直接针对业务人员进行操作的情况，使得数据处理流程更加简约，节省了人力成本。
S104，执行结构化查询语言，得到指标数据的每个衍生度量的计算值，并将计算值存入临时表中。
具体地，在将选择好的衍生度量计算公式生成结构化查询语言SQL之后，执行该结构化查询语言SQL，以得到指标数据的衍生度量的计算值，由于一个指标数据可能存在多个衍生度量，因此需要对每一个衍生度量分别进行计算，并将结构化查询语言SQL的执行结果存入临时表中。
S105，将临时表中的计算值通过sum函数写入预设结果表中。
具体地，在得到临时表之后，通过sum函数，将临时表中的衍生度量进行聚合，并写入到已经建立好的预设结果表中。需要说明的是，在预设结果表生成之后，用户可以根据需要直接查询预设结果表中的数据，而不需要编写复杂SQL，不仅提升了查询效率，而且预设结果表还可以支持在不同的预设数据库中进行查询，并将查询到的数据根据需要进行二次加工的功能，提升了预设数据库使用的灵活性。
本申请解决了现有技术中对指标数据的衍生度量进行计算时，需要专业开发人员进行建模并进行大量的SQL的编写所导致的人力成本较高、系统成本较高、通用性差且生成的数据无法进行二次加工的技术问题，实现了简化数据处理流程，降低数据处理成本，提升数据处理的通用性且生成的数据能够进行二次加工的技术效果。
在上述各技术方案的基础上，图2是本发明实施例提供的另一种数据处理方法的流程图，如图2所示，S103具体包括：
S201，若判断结果为指标数据存在汇总值，则选择生成第一预设时段内的指标数据的衍生度量，其中，第一预设时段为预设时间长度区间。
S202，若判断结果为指标数据不存在汇总值，则选择生成预设计算公式中存在第二预设时段内的指标数据的衍生度量，其中，第二预设时段为预设计算公式中包含的时间长度。
示例性地，衍生度量的公式定义支持用户使用“区间和”和“日期差值”这两种函数的添加，其中，“区间和”即为上述第一预设时段，“日期差值”即为上述第二预设时段；在处理含有此类公式的衍生度量时，不能简单地进行公式拼接，需要将这类衍生度量分开处理。
S203，基于选择出的衍生度量的计算公式生成结构化查询语言。
具体地，存在汇总值的指标数据，即带有区间和公式的衍生度量需要生成一个当前指标(不带衍生度量)的计算SQL，通过对公式中日期区间的数值进行求和来进行计算；而不存在汇总值的指标数据，即其他衍生度量就需要生成公式中不同日期对应的日期的指标加工SQL，并把对应日期的加工SQL形成的结果集通过日期字段连接，再把公式拼接到SQL中。在得到相应的SQL之后，执行这些加工SQL，并把结果存入临时表中。
在上述各技术方案的基础上，图3是本发明实施例提供的又一种数据处理方法的流程图，如图3所示，在S101之前，该数据处理方法还包括：
S301，接收业务人员上传的业务数据，并将业务数据储存在预设数据库中。
S302，接收预设的日期维表，并将日期维表储存在预设数据库中，其中，日期维表为根据时间维度预先设置的数据表。
S303，接收指标数据的加工信息，并将加工信息储存在预设数据库中，其中，业务数据基于加工信息进行数据处理，得到指标数据。
具体地，业务人员将待加工数据存入加工库(例如mpp，hive，clickhouse，mysql等)，即将业务数据存入预设数据库中，然后将日期维表导入预设数据库中，最后通过可视化界面直接定义或导入指标数据的加工信息进入预设数据库中。
在上述各技术方案的基础上，图4是本发明实施例提供的又一种数据处理方法的流程图，如图4所示，在步骤S101确定指标数据是否存在相应的衍生度量之前，该数据处理方法还包括：
S401，接收业务人员对衍生度量的预设配置信息。
具体地，由于不同的指标数据具有不同的衍生度量，因此需要预先在预设数据库中设置好关于衍生度量的相关配置信息，例如衍生度量的索引信息、名称、种类等。需要说明的是，在配置好衍生度量的预设配置信息之后，还可以根据业务人员的需要添加一个或多个衍生度量。
在上述各技术方案的基础上，S401具体包括：
接收业务人员上传的衍生度量的字段定义信息，其中，字段定义信息用于对衍生度量进行索引管理使用。
具体地，出于对预设数据库中各种数据资产，例如数据表，数据字段等各类数据资产进行管理的需要，当新增衍生度量时，需要将衍生度量的字段以及相应的信息在记录在预设数据库中，即业务人员需要将衍生度量的字段定义信息上传至预设数据库中。
接收业务人员上传的衍生度量的基础定义信息，其中，基础定义信息至少包括衍生度量的名称、种类以及计算公式。
具体地，衍生度量的基础定义信息包括衍生度量的中文名、英文名、分类以及相应的计算公式。示例性地，根据不同的计算公式，衍生度量的种类可以包括增长率类，汇总值类，比较类，前值类等。
在上述各技术方案的基础上，图5是本发明实施例提供的又一种数据处理方法的流程图，如图5所示，该数据处理方法还包括：
S501，若预设数据库中新增了指标数据，则将新增的指标数据的衍生度量的计算值直接添加至临时表中，并将临时表中新增的计算值写入预设结果表中。
具体地，当预设数据库中新增了指标数据后，可以通过增量加工的方式来更新衍生度量的信息，其中，增量加工的SQL与全量初始化(即上述步骤S101-S105中对指标数据的衍生度量进行计算并最终存入预设结果表中的过程)的基本一致，只需额外添加对日期的筛选，即只筛选新增的指标数据当天的数据即可。
图6是本发明实施例提供的一种数据处理装置的结构图，如图6所示，该数据处理装置包括：
数据获取单元61，用于获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量，其中，衍生度量为指标数据在时间维度上与自身的前值进行比较的结果，一个指标数据对应存在多个衍生度量；
数据判断单元62，用于若指标数据存在相应的衍生度量，则进一步判断指标数据是否存在汇总值，并得到判断结果，其中，汇总值指指标数据经预设计算规则计算得到的数据；
数据计算单元63，用于基于判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
程序执行单元64，用于执行结构化查询语言，得到指标数据的每个衍生度量的计算值，并将计算值存入临时表中；
结果表生成单元65，用于将临时表中的计算值通过sum函数写入预设结果表中。
可选地，数据计算单元63具体用于：
若判断结果为指标数据存在汇总值，则选择生成第一预设时段内的指标数据的衍生度量，其中，第一预设时段为预设时间长度区间；
若判断结果为指标数据不存在汇总值，则选择生成预设计算公式中存在第二预设时段内的指标数据的衍生度量，其中，第二预设时段为预设计算公式中包含的时间长度；
基于选择出的衍生度量的计算公式生成结构化查询语言。
可选地，在数据获取单元61获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量之前，数据处理装置还包括：
数据接收单元，用于接收业务人员上传的业务数据，并将业务数据储存在预设数据库中；
日期维表接收单元，用于接收预设的日期维表，并将日期维表储存在预设数据库中，其中，日期维表为根据时间维度预先设置的数据表；
加工信息接收单元，用于接收指标数据的加工信息，并将加工信息储存在预设数据库中，其中，业务数据基于加工信息进行数据处理，得到指标数据。
可选地，在数据获取单元61确定指标数据是否存在相应的衍生度量之前，数据处理装置还包括：
衍生度量配置单元，用于接收业务人员对衍生度量的预设配置信息。
可选地，衍生度量配置单元具体用于：
接收业务人员上传的衍生度量的字段定义信息，其中，字段定义信息用于对衍生度量进行索引管理使用；
接收业务人员上传的衍生度量的基础定义信息，其中，基础定义信息至少包括衍生度量的名称、种类以及计算公式。
可选地，数据处理装置还包括：
新增数据处理单元，用于若预设数据库中新增了指标数据，则将新增的指标数据的衍生度量的计算值直接添加至临时表中，并将临时表中新增的计算值写入预设结果表中。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供的数据处理装置，与上述实施例提供的数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
图7是本发明实施例提供的一种数据处理设备的结构示意图，如图7所示，该数据处理设备包括处理器71、存储器72、输入装置73和输出装置74；数据处理设备中处理器71的数量可以是一个或多个，图7中以一个处理器71为例；数据处理设备中的处理器71、存储器72、输入装置73和输出装置74可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器72作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/模块(例如，数据处理装置中的数据获取单元61、数据判断单元62、数据计算单元63、程序执行单元64以及结果表生成单元65)。处理器71通过运行存储在存储器72中的软件程序、指令以及模块，从而执行数据处理设备的各种功能应用以及数据处理，即实现上述的数据处理方法。
存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至数据处理设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可用于接收输入的数字或字符信息，以及产生与数据处理设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法。
具体地，该数据处理方法包括：
获取预设数据库中的指标数据，并确定指标数据是否存在相应的衍生度量，其中，衍生度量为指标数据在时间维度上与自身的前值进行比较的结果，一个指标数据对应存在多个衍生度量；
若指标数据存在相应的衍生度量，则进一步判断指标数据是否存在汇总值，并得到判断结果，其中，汇总值指指标数据经预设计算规则计算得到的数据；
基于判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
执行结构化查询语言，得到指标数据的每个衍生度量的计算值，并将计算值存入临时表中；
将临时表中的计算值通过sum函数写入预设结果表中。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本发明实施例还提供一种计算机程序产品，该计算机程序产品包括计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据处理方法。
当然，本申请实施例所提供的计算机程序产品，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。
在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取预设数据库中的指标数据，并确定所述指标数据是否存在相应的衍生度量，其中，所述衍生度量为所述指标数据在时间维度上与自身的前值进行比较的结果，一个所述指标数据对应存在多个所述衍生度量；
若所述指标数据存在相应的衍生度量，则进一步判断所述指标数据是否存在汇总值，并得到判断结果，其中，所述汇总值指所述指标数据经预设计算规则计算得到的数据；
基于所述判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
执行所述结构化查询语言，得到所述指标数据的每个所述衍生度量的计算值，并将所述计算值存入临时表中；
将所述临时表中的计算值通过sum函数写入预设结果表中。
2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言包括：
若所述判断结果为所述指标数据存在汇总值，则选择生成第一预设时段内的所述指标数据的所述衍生度量，其中，所述第一预设时段为预设时间长度区间；
若所述判断结果为所述指标数据不存在汇总值，则选择生成预设计算公式中存在第二预设时段内的所述指标数据的所述衍生度量，其中，所述第二预设时段为所述预设计算公式中包含的时间长度；
基于选择出的所述衍生度量的计算公式生成结构化查询语言。
3.根据权利要求1所述的数据处理方法，其特征在于，在所述获取预设数据库中的指标数据，并确定所述指标数据是否存在相应的衍生度量之前，所述数据处理方法还包括：
接收业务人员上传的业务数据，并将所述业务数据储存在所述预设数据库中；
接收预设的日期维表，并将所述日期维表储存在所述预设数据库中，其中，所述日期维表为根据时间维度预先设置的数据表；
接收指标数据的加工信息，并将所述加工信息储存在所述预设数据库中，其中，所述业务数据基于所述加工信息进行数据处理，得到所述指标数据。
4.根据权利要求1所述的数据处理方法，其特征在于，在确定所述指标数据是否存在相应的衍生度量之前，所述数据处理方法还包括：
接收业务人员对所述衍生度量的预设配置信息。
5.根据权利要求4所述的数据处理方法，其特征在于，所述接收业务人员对所述衍生度量的预设配置信息包括：
接收业务人员上传的所述衍生度量的字段定义信息，其中，所述字段定义信息用于对所述衍生度量进行索引管理使用；
接收所述业务人员上传的所述衍生度量的基础定义信息，其中，所述基础定义信息至少包括所述衍生度量的名称、种类以及计算公式。
6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若所述预设数据库中新增了所述指标数据，则将新增的所述指标数据的衍生度量的计算值直接添加至所述临时表中，并将所述临时表中新增的计算值写入所述预设结果表中。
7.根据权利要求1所述的数据处理方法，其特征在于，所述预设数据库包括以下之一：大规模并行处理系统、数据仓库分析系统、列式数据库管理系统、关系型数据库管理系统。
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
数据获取单元，用于获取预设数据库中的指标数据，并确定所述指标数据是否存在相应的衍生度量，其中，所述衍生度量为所述指标数据在时间维度上与自身的前值进行比较的结果，一个所述指标数据对应存在多个所述衍生度量；
数据判断单元，用于若所述指标数据存在相应的衍生度量，则进一步判断所述指标数据是否存在汇总值，并得到判断结果，其中，所述汇总值指所述指标数据经预设计算规则计算得到的数据；
数据计算单元，用于基于所述判断结果选择相应的衍生度量计算公式，并将选择出的衍生度量计算公式生成结构化查询语言；
程序执行单元，用于执行所述结构化查询语言，得到所述指标数据的每个所述衍生度量的计算值，并将所述计算值存入临时表中；
结果表生成单元，用于将所述临时表中的计算值通过sum函数写入预设结果表中。
9.一种数据处理设备，其特征在于，所述数据处理设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的数据处理方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的数据处理方法。
CN202210551747.0A 2022-05-18 2022-05-18 一种数据处理方法、装置、设备及可读存储介质 Pending CN114860759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551747.0A CN114860759A (zh) 2022-05-18 2022-05-18 一种数据处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551747.0A CN114860759A (zh) 2022-05-18 2022-05-18 一种数据处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114860759A true CN114860759A (zh) 2022-08-05

Family

ID=82639932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551747.0A Pending CN114860759A (zh) 2022-05-18 2022-05-18 一种数据处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114860759A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610735A (zh) * 2023-05-17 2023-08-18 江苏华存电子科技有限公司 一种数据存储的智能管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610735A (zh) * 2023-05-17 2023-08-18 江苏华存电子科技有限公司 一种数据存储的智能管理方法及系统
CN116610735B (zh) * 2023-05-17 2024-02-20 江苏华存电子科技有限公司 一种数据存储的智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN110472068B (zh) 基于异构分布式知识图谱的大数据处理方法、设备及介质
KR102432104B1 (ko) 데이터 요소 간의 관계를 결정하기 위한 시스템 및 방법
EP2577507B1 (en) Data mart automation
US8217945B1 (en) Social annotation of a single evolving visual representation of a changing dataset
US20070203935A1 (en) Apparatus and method for selecting a subset of report templates based on specified criteria
US10223388B2 (en) Avoid double counting of mapped database data
AU2017255561A1 (en) Learning from historical logs and recommending database operations on a data-asset in an ETL tool
US10282360B2 (en) Uniform chart formatting based on semantics in data models
CN110795524B (zh) 主数据映射处理方法、装置、计算机设备及存储介质
US9633077B2 (en) Query of multiple unjoined views
CN113064897B (zh) 一种业务指标模型的生成方法、装置、设备及存储介质
CN110795478A (zh) 一种应用于金融业务的数据仓库更新方法、装置和电子设备
CN110990445A (zh) 一种数据处理方法、装置、设备和介质
CN110807016A (zh) 一种应用于金融业务的数据仓库构建方法、装置和电子设备
CN114741392A (zh) 数据查询方法、装置、电子设备及存储介质
CN115438024A (zh) 数据导入中台的方法、装置、系统、电子设备、存储介质
CN114860759A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN114153914A (zh) 电厂设备缺陷可视化系统、方法、计算机设备及存储介质
CN117764790A (zh) 基于ai辅助的指标公共维度治理方法及系统
CN111563094A (zh) 一种数据查询方法及装置、电子设备、计算机可读存储介质
CN114721945A (zh) 基于图数据库的分配方法及其装置、电子设备及存储介质
CN114004542A (zh) 一种企业任务管理方法、系统、计算机设备及存储介质
CN112396343A (zh) 一种数据质量核查方法及装置
Aydin et al. Data modelling for large-scale social media analytics: design challenges and lessons learned
CN112559331A (zh) 测试方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination