CN117520386A - 指标查询方法、系统、电子设备和存储介质 - Google Patents

指标查询方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN117520386A
CN117520386A CN202210901008.XA CN202210901008A CN117520386A CN 117520386 A CN117520386 A CN 117520386A CN 202210901008 A CN202210901008 A CN 202210901008A CN 117520386 A CN117520386 A CN 117520386A
Authority
CN
China
Prior art keywords
index
target
data
original
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210901008.XA
Other languages
English (en)
Inventor
王爱军
冯开霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202210901008.XA priority Critical patent/CN117520386A/zh
Priority to PCT/CN2023/077194 priority patent/WO2024021581A1/zh
Publication of CN117520386A publication Critical patent/CN117520386A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种指标查询方法、系统、电子设备和存储介质，应用于数据处理技术领域，其中，方法包括：获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。以解决现有技术中，指标的复杂度难以控制，进而，导致指标查询过程较为复杂、查询效率低的问题。

Description

指标查询方法、系统、电子设备和存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种指标查询方法、系统、电子设备和存储介质。
背景技术
无线网元的性能的海量数据，通常基于数据库平台进行管理和分析，指标分析和探索是网络运维重要工作。在同时管理多制式(例如2G、3G、4G和5G共同管理)网元性能数据时，会引入大量指标。通常，在查询某一指标时，需要从数据库平台中查询计算该指标所需的相关度量信息，并对该度量信息按照指标的运算方式进行运算。这种方式，由于指标的复杂度难以控制，进而，导致指标查询过程较为复杂、查询效率低的问题。
发明内容
本申请提供了一种指标查询方法、系统、电子设备和存储介质，用以解决现有技术中，指标的复杂度难以控制，进而，导致指标查询过程较为复杂、查询效率低的问题。
第一方面，本申请实施例提供了一种指标查询方法，包括：
获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；
从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；
基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
可选的，基于指标原始数据进行预计算得到所述指标预计算数据集的过程，包括：
获取所述指标原始数据，所述指标原始数据包括指标的原始特征信息和指标的原始运算信息；
在所述原始特征信息满足预计算条件时，对所述原始运算信息进行预计算，得到至少一个指标中间数据；
确定所述指标中间数据与所述原始特征信息对应关系的集合为所述指标预计算数据集。
可选的，所述原始运算信息包括原始运算参数和所述原始运算参数间的原始运算规则；
所述对所述原始运算信息进行预计算，得到至少一个指标中间数据，包括：
按照所述原始运算规则，将所述原始运算信息分解为至少一个子运算；
确定各所述子运算的运算结果为所述指标中间数据。
可选的，所述预计算条件包括以下至少一个：所述原始特征信息中包括指标预计算标识、指标的出现频次高于预设频次，以及指标的运算复杂度高于预设复杂度。
可选的，从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据之前，还包括：
确定存在与所述目标特征信息对应的所述指标预计算数据集。
可选的，所述确定存在与所述目标特征信息对应的所述指标预计算数据集，包括：
判断所述目标特征信息是否满足预计算条件；
若满足，确定存在所述指标预计算数据集。
可选的，所述目标运算参数还包括原始运算参数，所述基于所述指标中间数据确定所述目标指标的查询结果之前，还包括：
从所述指标原始数据中获取所述目标特征信息对应的原始运算参数对应的原始运算数据；
基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果，包括：
基于所述原始运算数据、所述指标中间数据和所述目标运算规则确定所述目标指标的查询结果。
第二方面，本申请实施例提供了一种指标查询系统，包括：
网元数据分析模块，用于获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
指标预计算管理模块，用于基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的指标查询方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的指标查询方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。如此，通过设置指标预计算数据集，在需要进行指标查询时，能够直接从指标预计算数据集中，查找到运算目标指标的指标中间数据，降低了指标查询过程的查找范围，提高了目标指标的查询效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的指标查询方法的应用场景图；
图2为本申请一实施例提供的指标查询方法的流程图；
图3为本申请一实施例提供的指标查询系统的结构图；
图4为本申请一实施例提供的复杂度模型的示意图；
图5为本申请一实施例提供的指标查询过程的示意图；
图6为本申请另一实施例提供的指标查询过程的示意图；
图7为本申请一实施例提供的电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL较常用在数据仓库，但其对象并不限于数据仓库。
文件传输协议(File Transfer Protocol，FTP)是用于在网络上进行文件传输的一套标准协议。
结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。
数据库模式定义语言(Data Definition Language，DDL)，是用于描述数据库中要存储的现实世界实体的语言。
Java数据库连接(Java Database Connectivity，简称JDBC)是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。
根据本申请一实施例提供了一种指标查询方法。可选地，在本申请实施例中，上述指标查询方法可以应用于如图1所示的由终端101和服务器102所构成的硬件环境中。如图1所示，服务器102通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器102提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。
本申请实施例的指标查询方法可以由服务器102来执行，也可以由终端101来执行，还可以是由服务器102和终端101共同执行。其中，终端101执行本申请实施例的指标查询方法，也可以是由安装在其上的客户端来执行。
以终端执行本申请实施例的指标查询方法为例，图2是根据本申请实施例的一种可选的指标查询方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤201、获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息。
一些实施例中，指标查询指令可以是用户在查询界面输入查询的指标相关信息后触发的，或者，在查询界面在下拉菜单选项中选择需要查询的指标相关信息，进而生成指标查询指令。
示例性的，指标相关信息可以是指标名称以及指标的目标特征信息，其中，目标特征信息可以但不限于包括指标的对象类型以及指标的采集时间信息。
步骤202、基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则。
一些实施例中，对于每个指标而言，在数据库中均存储了其对应的运算信息，因此，在获取到目标指标的指标名称后，可以基于指标名称，从后台确定该指标名称对应的目标运算信息。
其中，目标运算信息中的目标运算参数可以是计算指标所需要的参数信息，目标运算规则可以是目标运算参数见的运算方式，例如，加、减、乘和除等。
步骤203、从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的。
一些实施例中，在得到目标运算参数后，先从指标预计算数据集中进行查找，判断是否存在目标特征信息和目标运算参数对应的指标中间数据，若存在，则后续可基于该指标中间数据进行目标指标的计算，若不存在，从指标原始数据中进行查找。
在一个可选实施例中，为提高指标查数的查找效率，在步骤202之前，还包括：确定存在与所述目标特征信息对应的所述指标预计算数据集。
一些实施例中，通过先确定与目标特征信息对应的指标预计算数据集，在存在该指标预计算数据集时，从指标预计算数据集中进行查找；在不存在时，则无需从指标预计算数据集中查找，而是，直接从原始数据集中查找，如此，可以节省相应的指标数据的查询时间，避免在不存在指标预计算数据集时，依旧从指标预计算数据集中查找的情况。
其中，对于不同的特征信息，指标预计算数据集不同，因此，通过先从多个指标预计算数据集中进行确定目标特征数据对应的指标预计算数据集的方式，避免了从所有指标预计算数据集中进行查询的过程，节省了查询时间。
具体的，所述确定存在与所述目标特征信息对应的所述指标预计算数据集的方式有多种，例如，可以是：判断所述目标特征信息是否满足预计算条件；若满足，确定存在所述指标预计算数据集。
一些实施例中，在建立指标预计算数据集时，可以是特征信息在满足一定的预计算条件后，基于指标原始数据建立的。基于此，通过目标特征信息进行判断，在其满足预计算条件是，确定存在其对应的指标预计算数据集。
可以理解的是，上述的预计算条件可以是，目标特征信息中包括指标预计算标识、指标的出现频次高于预设频次，以及指标的运算复杂度高于预设复杂度。
其中，指标预计算标识可以是预先对指标设置的，用于指示该指标需要进行预计算的查询标识。指标的出现频次可以是统计每天指标在查询中出现的次数得到的。
其中，指标的运算复杂度可以包括计算该指标需要进行运算的次数，例如，指标KPI＝C1+C2*C3+C4，则其复杂度为3,其中包括两次和运算和一次乘运算，其中，C1、C2、C3和C4均为计算指标所需的目标运算参数。指标的运算复杂度还可以包括指标的结果计算的行记录的条数。如KPI＝C1，其中，C1从3条记录中聚合得出，则复杂度为3。
示例性的，网元上报的压缩型计数器，会包含多个子计数器。一个压缩型计数器表示为C1(C11、C12、...、C1n)，n为C1的索引位置。
为了保证存储的数据库表的稳定性，通常基于行的方式存储压缩型计数器，计数器的索引下标单独一列保存。如下表1，C1索引为n,C1在T1时刻，obj为1的相关记录数为n，因而C1的聚合值的复杂度为记录行数为n：
表1
采集时间 对象 度量值 C1
T1 1 1 10
T2 1 ... ...
T3 1 n 30
T4 2 1 x
其中，包含C1计数器的指标的复杂度为所有计数器的复杂度的和。查询模板的复杂度为包含的所有指标复杂度的和，通过查询模板的复杂度，可以统计出数据管理系统的所有的模板复杂度分布，为模板优化提供指导。
进一步的，也可以基于上述的目标特征信息进行权重的分配，并进一步进行计算，得到特征分值。进而，在确定是否从预计算数据集中查找时，可以直接利用该特征分值进行查找，以节省查找时间。
在一个可选实施例中，基于指标原始数据进行预计算得到所述指标预计算数据集的过程，包括：
获取所述指标原始数据，所述指标原始数据包括指标的原始特征信息和指标的原始运算信息；在所述原始特征信息满足预计算条件时，对所述原始运算信息进行预计算，得到至少一个指标中间数据；确定所述指标中间数据与所述原始特征信息对应关系的集合为所述指标预计算数据集。
一些实施例中，指标原始数据可以是在系统初始化时，从业务角度建立模型元素的关系，从而得到的。其中，模型元素包含网元制式、被管对象(即对象类型)、测量类型、关键指标(即原始指标名称)、计数器(即原始运算参数)、数据库对应的表定义等。进一步的模型元素的映射到数据库对象的定义，如数据库的表、字段类型或UDF(自定义特征)定义等。
示例性的，模型元素映射到数据库对象可以参见如下表2。
表2
进一步的，在得到表2中的数据后，可以基于表2中的“数据库对象”内的信息生成数据库的DDL，通过JDBC连接数据库执行DDL，创建数据库的对象。
其中，指标的原始特征信息可以是上述的被管对象以及指标的查询时间等。指标的原始运算信息可以是指标原始运算参数及原始运算规则。原始特征信息满足预计算条件可以是与上述目标特征信息满足的预计算条件相同，可以是，原始特征信息中包括指标预计算标识、指标的出现频次高于预设频次，以及指标的运算复杂度高于预设复杂度。
在原始特征信息满足预计算条件后，可以基于指标的原始运算信息进行预计算，从而得到指标中间数据。
在一个可选实施例中，所述原始运算信息包括原始运算参数和所述原始运算参数间的原始运算规则；所述对所述原始运算信息进行预计算，得到至少一个指标中间数据，包括：
按照所述原始运算规则，将所述原始运算信息分解为至少一个子运算；确定各所述子运算的运算结果为所述指标中间数据。
指标的原始运算信息的预计算，可以是将预计算指标分解成可以支持聚合运算的多个中间指标。
示例性的，指标KPI＝(C1+C2)/(C3+C4)，对其进行分解，可以是KPI＝PI1/PI2，PI1＝C1+C2，PI2＝C3+C4。其中，C1、C2、C3和C4均为原始运算参数，PI1和PI2均为目标运算参数。
步骤204、基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
一些实施例中，在确定指标中间数据后，便可以基于目标运算规则对指标中间数据进行运算，从而得到目标指标的查询结果。
在一个可选实施例中，对于一些目标指标，可能在指标预计算数据集中未包括所有的目标运算参数，对于部分目标运算参数可能为指标原始数据中的原始运算参数。基于此，在确定目标指标的查询结果前，还需要从所述指标原始数据中获取所述目标特征信息对应的原始运算参数对应的原始运算数据，进而，基于原始运算数据、所述指标中间数据和所述目标运算规则确定所述目标指标的查询结果。
示例性的，指标KPI＝PI3+C4，PI3＝C5*C6其中，PI3为指标预计算数据集中的运算参数，C4、C5和C6为指标原始数据中的原始运算参数。
本申请提供的指标查询方法，通过对指标使用信息收集、指标数据处理过程信息收集，以及数据加速层的构建，采用通过预计算的方式，换取指标查询效率的提升和系统整体资源的下降。其中，指标分析和探索会从时间和对象维度从数据库数据表中查询对应列的数据，并基于指标公式计算出最终结果。指标使用信息包含指标的使用频次、关联的时间和对象范围、以及查询对应的SQL语句。指标数据处理过程信息收集，通过历史数据的分析来量化预计算方法的收益。数据处理过程信息，包含处理效率、基础设施的对应资源指标。数据加速层的构建，从原始指标中抽取子指标，通过预计算的方法提前准备子指标结果，原始指标的结果基于子指标计算得到。
通过对指标查询操作频次、时间、对象等信息进行采集，分解初始指标并提取出中间指标，基于指标复杂度动态建立指标数据的中间加速层(即指标预计算数据集)，从而提升指标查询效率。使得数据管理平台基于相同的资源对外提供更高的吞吐能力，同时提升用户体验。
基于同一构思，本申请实施例中提供了一种指标查询系统，该系统的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图3所示，该系统主要包括：
网元数据分析模块301，用于获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
指标预计算管理模块302，用于基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
具体的，指标预计算管理模块从网元数据分析模块中采集典型的指标查询模板或报表模板的定义，对高频指标或重要模板进行指标复杂度分析。对于复杂指标的进行指标分解，提取支持组合计算的预计算中间指标，并结合查询的时间和对象信息创建数据加速层的数据库的表。
进一步的，该系统，还包括网元性能数据ETL模块303，网元数据上报到公共FTP服务器，该网元性能数据ETL模块用于从FTP服务器下载数据，然后加载到分析型数据库系统304。对预计算指标的数据进行提前计算并存放到预计算数据区。
指标预计算管理模块，还用于驱动网元性能数据ETL模块计算中间指标数据并存储到数据库的预计算区。同时对指标查询是否查询预计算数据提供依据，生成网元性能数据分析模块的查询算法。该模块还提供预计算指标退出机制，预计算指标数据的命中率较低的指标执行退服操作。
进一步的，网元性能数据分析模块还用于提供性能数据分析服务，基于数据库系统进行海量数据的统计和分析。同时向指标预计算管理模块上报指标查询的定义、发生时间、查询执行的效率指标、查询的SQL语句。
进一步的，该系统还包括数据库管理和维护模块305，该模块通过模型驱动的方式，维护数据库元数据，如表、UDF、索引的维护，以及预计算数据库相关对象的创建和维护。
上述的分析型数据库系统可以是分布式关系型数据库系统，用来存储和管理网元性能数据，支持海量数据分析。
在一个具体实施例中，该指标查询系统，具体包括：
第一，对系统初始化。
在初始化过程中，对网元性能模型的建模，从业务角度建立模型元素的关系，模型元素包含网元制式、被管对象、测量类型、关键指标、计数器、数据库对应的表定义等。以及，利用模型驱动方式建立数据库对象，数据库管理和维护模块解析网元性能数据模型，映射成数据库的对象，如表、UDF函数，具体可参照表2。
第二，系统正常运行。
在系统运行过程中，提取典型指标查询：网元性能数据分析模块采集即席查询和例行查询涉及的指标、过滤条件信息、对应的SQL语句，并上报给指标预计算管理模块。
示例性的，网元性能数据分析模块上报业务查询操作、对应的SQL语句、查询操作效率。具体描述可见表3。
表3
建立预计算指标模型，主要包含如下过程：首先，提取指标预计算特征：指标预计算管理模块基于每个指标的使用频次、重要性、复杂度等历史数据进行增量分析给出每个指标的预计算特征分值，决定指标预计算的优先级。同时结合支持预计算指标的查询分析的时间维度、对象维度，得到预计算数据的范围，生成运行期的预计算查询评估器实例。其次，提取预计算中间层指标：对于支持预计算的指标进一步分解，抽象出中间层预计算指标。原始指标的结果是通过中间层指标计算得到，中间层指标需要支持聚合运算，如最大值max、最小值min、平均值avg、求和sum等，同时多个指标可以复用中间层预计算指标的数据。再协调数据库管理和维护模块创建中间层数据库表。
示例性的，指标预计算管理模块”解析表3中的查询定义中的指标公式、查询发生时间、过滤的时间和对象信息，构建表4指标预计算模型。
表4
其中，出现频次可以是指标查询在每天发生的次数，用F(KPIn)表示。可定义规则：连续N天，F>M的指标需要加入预计算模型。
VIP标识：用户对特定的查询关注效率的指标，则标记为VIP，具有VIP属性的指标，优先加入预计算模型。
列复杂度：指标公式最终分解成计数器，通过计数器的算术运算得到结果。其中运算符出现的次数为列复杂度，用Oc(KPIn)表示；运算符号如加号(+),减号(-),乘号(*),除号(/)。
行复杂度：指标的结果有可能基于N行记录聚合的结果，用Or(KPIn)表示。
复杂度：指标最终会映射成SQL语句，在数据库中通过对M行和N列数据集进行计算最终输出结果。指标复杂度＝列复杂度+行复杂度，用O(KPIn)表示，复杂度模型见图4。
中间指标：指标分解为需要预计算的指标，可以支持聚合运算。KPIn分解成PI1...PIi，PIi支持聚合运算，PIi用Fomula(C1,C2...Cj)表示。图4中的Group都有对应的复杂度，当O(Group)大于特定阈值，如O(Group)>10,则保留PIi为中间指标。原始指标可以复用中间指标的值得到结果，如图5指标查询包含原始指标(KPI1，KPIi，KPIj)，原始指标中间指标PI计算得到，被多个KPI依赖的PI的值复用于KPI的计算。
维度信息：指标查询的数据范围，如时间跨度和对象粒度。基于维度信息创建数据库的预计算指标中间表，时间维度可以支持15分钟、小时、天等。对象维度可以支持邻区、小区、网元等。
生成预计算数据：指标预计算管理模块协调网元性能数据ETL模块对支持预计算指标的中间层指标进行预计算，并把数据加载到数据库中的数据预计算区。
使用预计算数据：指标预计算管理模块通过预计算查询评估器对于指标查询的指标和查询条件进行评估，从而生成新的执行计划，结合预计算数据返回最终的查询结果。
示例性的，网元性能数据ETL模块基于表4指标预计算模型表生成预计算数据，并加载数据到数据库中间表，用MT(Mot,T,PIi)表示。其中，Mot为对象维度，T为时间维度。中间表数据的实时性通过数据的ET(抽取/转换)环节保证，支持增量方式更新中间表的数据。
网元性能数据分析模块执行新的查询，预计算查询评估器解析查询的指标、时间、对象信息，如果MT(Mot,T,PIi)中已经执行了预计算操作，则结果从MT中获取，从而实现查询加速。示例见图6，当执行指标查询，指标查询评估器基于输入条件，优先从中间层数据集中获取数据，如果没有中间层数据则从原始数据集中获取数据，最终形成指标查询结果。
维护预计算指标模型：随着系统持续运行，预计算特征分值是动态变化，对分值低的预计算指标实行退服操作，合理使用系统资源。
示例性的，预计算的模型是动态维护，在不满足条件的预计算指标，则会从预计算模型中删除，变成常规指标。
本申请的指标查询系统，从业务应用的角度分析指标的特征，通过预计算的方式构建指标加速层，降低指标的复杂度，提升系统易用性和吞吐率，并降低系统整体资源。通过模型驱动的方式维护预计算指标模型，动态构建的模型，从而提升模型的易维护性。
基于同一构思，本申请实施例中还提供了一种电子设备，如图7所示，该电子设备主要包括：处理器701、存储器702和通信总线703，其中，处理器701和存储器702通过通信总线703完成相互间的通信。其中，存储器702中存储有可被处理器701执行的程序，处理器701执行存储器702中存储的程序，实现如下步骤：
获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；
从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；
基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
上述电子设备中提到的通信总线703可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线703可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器702可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器701的存储装置。
上述的处理器701可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的指标查询方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种指标查询方法，其特征在于，包括：
获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；
从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；
基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
2.根据权利要求1所述的指标查询方法，其特征在于，基于指标原始数据进行预计算得到所述指标预计算数据集的过程，包括：
获取所述指标原始数据，所述指标原始数据包括指标的原始特征信息和指标的原始运算信息；
在所述原始特征信息满足预计算条件时，对所述原始运算信息进行预计算，得到至少一个指标中间数据；
确定所述指标中间数据与所述原始特征信息对应关系的集合为所述指标预计算数据集。
3.根据权利要求2所述的指标查询方法，其特征在于，所述原始运算信息包括原始运算参数和所述原始运算参数间的原始运算规则；
所述对所述原始运算信息进行预计算，得到至少一个指标中间数据，包括：
按照所述原始运算规则，将所述原始运算信息分解为至少一个子运算；
确定各所述子运算的运算结果为所述指标中间数据。
4.根据权利要求2所述的指标查询方法，其特征在于，所述预计算条件包括以下至少一个：所述原始特征信息中包括指标预计算标识、指标的出现频次高于预设频次，以及指标的运算复杂度高于预设复杂度。
5.根据权利要求1所述的指标查询方法，其特征在于，从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据之前，还包括：
确定存在与所述目标特征信息对应的所述指标预计算数据集。
6.根据权利要求5所述的指标查询方法，其特征在于，所述确定存在与所述目标特征信息对应的所述指标预计算数据集，包括：
判断所述目标特征信息是否满足预计算条件；
若满足，确定存在所述指标预计算数据集。
7.根据权利要求1所述的指标查询方法，其特征在于，所述目标运算参数还包括原始运算参数，所述基于所述指标中间数据确定所述目标指标的查询结果之前，还包括：
从所述指标原始数据中获取所述目标特征信息对应的原始运算参数对应的原始运算数据；
基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果，包括：
基于所述原始运算数据、所述指标中间数据和所述目标运算规则确定所述目标指标的查询结果。
8.一种指标查询系统，其特征在于，包括：
网元数据分析模块，用于获取指标查询指令，所述指标查询指令中携带有目标指标的指标名称，和所述目标指标的目标特征信息；
指标预计算管理模块，用于基于所述指标名称确定所述目标指标的目标运算信息，所述目标运算信息中包括目标运算参数和目标运算规则；从指标预计算数据集中，确定所述目标特征信息和所述目标运算参数对应的指标中间数据，所述指标预计算数据集是基于指标原始数据进行预计算后得到的；基于所述指标中间数据和所述目标运算规则，确定所述目标指标的查询结果。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-7任一项所述的指标查询方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的指标查询方法。
CN202210901008.XA 2022-07-28 2022-07-28 指标查询方法、系统、电子设备和存储介质 Pending CN117520386A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210901008.XA CN117520386A (zh) 2022-07-28 2022-07-28 指标查询方法、系统、电子设备和存储介质
PCT/CN2023/077194 WO2024021581A1 (zh) 2022-07-28 2023-02-20 指标查询方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210901008.XA CN117520386A (zh) 2022-07-28 2022-07-28 指标查询方法、系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117520386A true CN117520386A (zh) 2024-02-06

Family

ID=89705213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210901008.XA Pending CN117520386A (zh) 2022-07-28 2022-07-28 指标查询方法、系统、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN117520386A (zh)
WO (1) WO2024021581A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743375B (zh) * 2024-02-06 2024-05-07 国网江苏省电力有限公司信息通信分公司 一种电力专网通信指标的多场景检索生成装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345654A (zh) * 2008-08-30 2009-01-14 华为技术有限公司 一种指标计算方法和装置
US10902022B2 (en) * 2017-03-28 2021-01-26 Shanghai Kyligence Information Technology Co., Ltd OLAP pre-calculation model, automatic modeling method, and automatic modeling system
CN110019332A (zh) * 2017-09-29 2019-07-16 北京国双科技有限公司 一种基于预计算的数据查询方法及装置
CN108415964A (zh) * 2018-02-07 2018-08-17 平安科技（深圳）有限公司 数据表查询方法、装置、终端设备及存储介质
CN114358596A (zh) * 2022-01-04 2022-04-15 杭州东方通信软件技术有限公司 指标计算方法及装置

Also Published As

Publication number Publication date
WO2024021581A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
US8943059B2 (en) Systems and methods for merging source records in accordance with survivorship rules
CN111627552B (zh) 一种医疗流式数据血缘关系分析、存储方法及装置
CN103927346B (zh) 基于数据量的查询连接方法
CN107506383B (zh) 一种审计数据处理方法和计算机设备
CN111160658B (zh) 一种协同制造资源优配方法、系统和平台
CN112559567A (zh) 适用于olap查询引擎的查询方法及装置
CN112419044A (zh) 信用审核的方法、设备、电子装置和存储介质
CN107870949A (zh) 数据分析作业依赖关系生成方法和系统
CN115408381A (zh) 数据处理方法及相关设备
CN111813870B (zh) 基于统一描述表达的机器学习算法资源共享方法及系统
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN108733688B (zh) 数据分析的方法、装置
CN117520386A (zh) 指标查询方法、系统、电子设备和存储介质
CN108073641B (zh) 查询数据表的方法和装置
CN114116764A (zh) 一种基于语法树的指标查询方法、装置、介质及电子设备
CN112269797B (zh) 一种卫星遥感数据在异构计算平台上的多维查询方法
CN113761390A (zh) 一种用于属性亲密度的分析方法和系统
CN115982177B (zh) 一种基于树形维度的数据归集的方法、装置、设备及介质
EP4216076A1 (en) Method and apparatus of processing an observation information, electronic device and storage medium
CN111522918A (zh) 数据汇聚方法、装置、电子设备及计算机可读存储介质
US20130124484A1 (en) Persistent flow apparatus to transform metrics packages received from wireless devices into a data store suitable for mobile communication network analysis by visualization
CN115114325B (zh) 数据查询方法、装置、电子设备以及存储介质
CN115048379A (zh) 统计方法、终端设备及计算机可读存储介质
CN117290352A (zh) 索引建立方法、电子设备和计算机存储设备
CN114490724A (zh) 处理数据库查询语句的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication