CN115146078A - 指标数据处理方法、装置、计算机设备及存储介质 - Google Patents

指标数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115146078A
CN115146078A CN202210929448.6A CN202210929448A CN115146078A CN 115146078 A CN115146078 A CN 115146078A CN 202210929448 A CN202210929448 A CN 202210929448A CN 115146078 A CN115146078 A CN 115146078A
Authority
CN
China
Prior art keywords
index
target
code
intermediate value
blood relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210929448.6A
Other languages
English (en)
Inventor
詹沛昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202210929448.6A priority Critical patent/CN115146078A/zh
Publication of CN115146078A publication Critical patent/CN115146078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • G06F16/313Selection or weighting of terms for indexing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/126Character encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术,提供一种指标数据处理方法、装置、计算机设备与存储介质,包括:获取目标业务对应的指标代码;对所述指标代码进行血缘关系解析,得到初始血缘关系图;对指标代码进行逻辑关系解析,得到目标维度间的逻辑处理代码,并将逻辑处理代码作为维度属性更新初始血缘关系图,得到目标血缘关系图;接收并解析指标查询请求,得到待查询指标,并根据目标血缘关系图索引得到待查询指标对应上游数据表中对应维度的目标中间值;根据逻辑处理代码与目标中间值计算待查询指标对应的指标值。本申请能够提高指标数据处理的准确性,促进智慧城市的快速发展。

Description

指标数据处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种指标数据处理方法、装置、计算机设备及存储介质。
背景技术
在大数据时代,随着企业的业务内容、数据量逐步走向多元化、大量化,企业所关注的业务指标也开始变得异常的庞杂,这就使得保证指标数据的准确性成为一项艰巨的任务。
在实现本申请的过程中,申请人发现现有技术存在如下技术问题:目前,企业的数据资产系统多数只有指标字段的上下血缘关系,而详细的逻辑处理需要详细地查看逻辑处理代码,对于非技术人员来说想明确指标异常非常困难,无法保证指标数据处理的准确性。
因此,有必要提供一种指标数据处理方法,能够提高指标数据处理的准确性。
发明内容
鉴于以上内容,有必要提出一种指标数据处理方法、指标数据处理装置、计算机设备及存储介质,能够提高指标数据处理的准确性。
本申请实施例第一方面还提供一种指标数据处理方法,所述指标数据处理方法包括:
获取目标业务对应的指标代码;
对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度;
对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图;
接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值;
根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
进一步地,在本申请实施例提供的上述指标数据处理方法中,所述对所述指标代码进行血缘关系解析,得到初始血缘关系图包括:
对所述指标代码进行结构化处理,得到结构化指标代码;
从所述结构化指标代码中获取语法关键词,并根据所述语法关键词确定所述目标数据表之间的映射关系;
以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图。
进一步地,在本申请实施例提供的上述指标数据处理方法中,所述对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码包括:
获取所述指标代码中的逻辑关键词;
获取所述逻辑关键词关联的维度关键词;
根据所述逻辑关键词建立初始逻辑代码框架;
填充所述维度关键词至所述初始逻辑代码框架中,得到逻辑处理代码。
进一步地,在本申请实施例提供的上述指标数据处理方法中,所述接收并解析指标查询请求,得到待查询指标包括:
解析所述指标查询请求,并检测所述指标查询请求中是否携带指标标识;
当检测结果为所述指标查询请求中携带指标标识,提取所述指标标识;
根据所述指标标识遍历预先设置的指标标识与指标的映射关系,得到待查询指标。
进一步地,在本申请实施例提供的上述指标数据处理方法中,所述根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值包括:
获取所述待查询指标对应的目标维度;
确定所述目标维度对应的上游数据表;
从所述上游数据表中提取所述目标维度对应的字段为目标中间值。
进一步地,在本申请实施例提供的上述指标数据处理方法中,所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值包括:
根据维度信息确定所述目标中间值与所述逻辑处理代码的关联关系;
根据所述关联关系将所述目标中间值输入至所述逻辑处理代码中,计算所述待查询指标对应的指标值。
进一步地,在本申请实施例提供的上述指标数据处理方法中,在所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值之前,所述方法还包括:
获取所述目标中间值对应的预警条件;
检测所述目标中间值是否满足所述预警条件;
当检测结果为所述目标中间值满足所述预警条件时,输出告警提示。
本申请实施例第二方面还提供一种指标数据处理装置,所述指标数据处理装置包括:
代码获取模块,用于获取目标业务对应的指标代码;
血缘解析模块,用于对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度;
代码解析模块,用于对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图;
请求解析模块,用于接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值;
指标计算模块,用于根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
本申请实施例第三方面还提供一种计算机设备,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述的指标数据处理方法。
本申请实施例第四方面还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的指标数据处理方法。
本申请实施例提供的上述指标数据处理方法、指标数据处理装置、计算机设备以及计算机可读存储介质,通过将所述逻辑处理代码与所述初始血缘关系图结合,得到目标血缘关系图,通过查看目标血缘关系图,能够清楚了解指标的生成流程以及与上游数据表的关系,从而快速确定存在问题的数据节点,进而提高指标数据处理的准确性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧政务的指标数据处理模块等,能够促进智慧城市的快速发展。
附图说明
图1是本申请实施例一提供的指标数据处理方法的流程图。
图2是本申请实施例二提供的指标数据处理装置的结构图。
图3是本申请实施例三提供的计算机设备的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施例对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例提供的指标数据处理方法由计算机设备执行,相应地,指标数据处理装置运行于计算机设备中。图1是本申请实施例一提供的指标数据处理方法的流程图。如图1所示,所述指标数据处理方法可以包括如下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略:
S11,获取目标业务对应的指标代码。
在本申请的至少一实施例中,所述目标业务涉及到若干指标,所述指标可以为销售额指标、利润指标等,在此不做限制。所述指标代码是指与指标相关的代码,所述指标代码中包含指标处理所需的数据表信息、维度信息以及维度对应字段间的逻辑处理信息等。所述指标代码存储于预设代码数据库中,考虑到数据存储的可靠性与隐私性,所述预设代码数据库可以为区块链中的目标节点。所述目标业务与所述指标代码间存在映射关系,通过查询所述映射关系可以得到所述目标业务对应的指标代码。
S12,对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度。
在本申请的至少一实施例中,血缘关系体现了不同数据表之间的数据流向系,通常在执行INSERT INTOSELECT、INSERT OVERWRITE SELECT、CREATE TABLE AS SELECT三种语句时发生数据流向关系,基于此,通过检测所述指标代码是否属于INSERT INTOSELECT、INSERT OVERWRITE SELECT、CREATE TABLE AS SELECT三种语句中的一种,若属于,则判定为具有血缘关系的指标代码,对其执行后续的血缘关系分析,若不属于,则判定为非血缘关系的指标代码,停止执行后续的血缘关系分析并退出。
可选地,所述对所述指标代码进行血缘关系解析,得到初始血缘关系图包括:
对所述指标代码进行结构化处理,得到结构化指标代码;
从所述结构化指标代码中获取语法关键词,并根据所述语法关键词确定所述目标数据表之间的映射关系;
以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图。
其中,所述指标代码是以字符格式进行存储的非结构化数据,需对所述指标代码进行结构化处理以便快速完成代码解析。在对所述指标代码进行结构化解析之前,需对其进行预处理,以便满足结构化解析的要求,在一实施例中,所述预处理可以包括:对结构化解析没有用处的注释行,利用注释符进行识别并移除;将所有换行符替换为空格;对代码脚本中包含的多条可执行代码语句进行识别并提取;对特殊语法及关键字进行标准化处理,将其转化为符合IOS标准的脚本,以降低结构化解析的难度。所述语法关键词是指用于表现指标对应目标数据表之间映射关系的关键词,通过获取所述语法关键词,能够确定所述目标数据表之间的映射关系。
在一实施例中,所述以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图包括:根据所述映射关系确定所述目标数据表中各个维度信息间的层级结构;以所述目标数据表对应的数据表编码为节点按照所述层级结构构建初始血缘关系图。其中,所述数据表编码是指唯一标识所述目标数据表的编码。
S13,对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图。
在本申请的至少一实施例中,所述指标代码中包含指标处理所需的数据表信息、维度信息以及维度对应字段间的处理逻辑信息等。通过对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,所述逻辑处理代码可以是指用于标识不同维度对应字段间的数学关系的代码。示例性地,所述逻辑处理代码可以为包含A=(B+C)*d,W=A*A这些数学关系的代码,其中,A与W为指标,B、C与d为各自维度对应的字段信息。
可选地,所述对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码包括:
获取所述指标代码中的逻辑关键词;
获取所述逻辑关键词关联的维度关键词;
根据所述逻辑关键词建立初始逻辑代码框架;
填充所述维度关键词至所述初始逻辑代码框架中,得到逻辑处理代码。
其中,所述逻辑关键词是指标识不同维度对应字段间的数学关系的关键词,所述逻辑关键词可以为+、-、*等,在此不做限制。所述维度关键词是指与所述逻辑关键词关联的词,示例性地,对于所述逻辑处理代码为A=(B+C)*d为例,所述逻辑关键词“+”对应的维度关键词是指字段B与字段C对应的维度信息。所述初始逻辑代码框架是指仅包含所述逻辑关键词的框架,例如,所述逻辑代码框架可以为A=(+)*,将所述维度关键词至所述初始逻辑代码框架中,能够得到逻辑处理代码。
S14,接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游中间表中对应维度的目标中间值。
在本申请的至少一实施例中,所述指标查询请求可以是指用于查询对应指标值的请求,所述指标查询请求中请求查询的指标的数量不做限制,可以为1个,也可以为多个。在一实施例中,所述待查询指标可以为销售额指标、利润指标以及折扣指标等,在此不做限制。
可选地,所述接收并解析指标查询请求,得到待查询指标包括:
解析所述指标查询请求,并检测所述指标查询请求中是否携带指标标识;
当检测结果为所述指标查询请求中携带指标标识,提取所述指标标识;
根据所述指标标识遍历预先设置的指标标识与指标的映射关系,得到待查询指标。
其中,所述指标标识的方式可以为数字标识、字母标识或颜色标识,在此不做限制。所述指标标识用于唯一标识对应的指标,通过检测所述指标查询请求中携带的所述指标标识,能够遍历到与所述指标标识对应的目标指标。
可选地,所述根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值包括:
获取所述待查询指标对应的目标维度;
确定所述目标维度对应的上游数据表;
从所述上游数据表中提取所述目标维度对应的字段为目标中间值。
其中,所述上游数据表是指所述待查询指标在计算过程中所需调用到的数据表,所述上游数据表中包含所述待查询指标所需的若干维度信息,对于每一个维度信息,均存在与之相应的字段值,该字段值即为所述目标中间值。可以理解的是,所述目标维度与所述目标数据表间存在映射关系,通过查询所述映射关系,能够得到所述目标维度对应的所述目标数据表。
S15,根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
在本申请的至少一实施例中,所述逻辑处理代码是指不同维度对应字段间的数学关系。示例性地,所述逻辑处理代码可以为A=(B+C)*d,W=A*A,其中,A与W为指标,B、C与d为各自维度对应的字段信息。所述目标中间值是指所述待查询指标所需若干维度对应的字段信息,将所述目标中间值填充至所述逻辑代码的指定位置可以计算得到所述待查询指标对应的指标值。
可选地,所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值包括:
根据维度信息确定所述目标中间值与所述逻辑处理代码的关联关系;
根据所述关联关系将所述目标中间值输入至所述逻辑处理代码中,计算所述待查询指标对应的指标值。
可选地,在所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值之前,所述方法还包括:
获取所述目标中间值对应的预警条件;
检测所述目标中间值是否满足所述预警条件;
当检测结果为所述目标中间值满足所述预警条件时,输出告警提示。
其中,所述预警条件可以为所述目标中间值的上下限,所述预警条件可以为用户自定义的监控规则,示例性地,假设所述待查询指标的某个所述目标中间值范围为[a,b],则所述目标中间值的上限阈值为b,下限阈值为a,如果所述目标中间值对应的监控数据为c,那么当c∈[a,b]时,表明该数据节点正常,所述目标中间值不满足所述预警条件;而当c>b,或者c<a时,表明该数据节点异常,所述目标中间值满足所述预警条件。所述告警提示可以是指提醒系统人员及时对所述目标中间值纠错的信息。所述告警提示包括所述目标中间值涉及到的维度信息以及维度对应字段间的逻辑处理代码信息,使得系统人员能够在不查看脚本的情况下通过查询所述告警提示快速了解指标的生成流程以及与上游数据表的关系找到出错原因、及时纠正,保证指标数据处理的准确性。
其中,当检测结果为所述目标中间值不满足所述预警条件时,执行所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。在一实施例中,将所述目标血缘关系图中各个数据表编码对应的节点之间建立心跳连接,所述心跳连接用于传输中间值正常的指令,当所述目标中间值不满足所述预警条件时(也即中间值正常时),通过输出心跳包的方式将中间值正常的信息输出至所述目标中间值对应节点的下一层级节点,以便根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。通过建立心跳连接的方式,能够确保指标值计算过程中所述目标中间值是正确的,保证指标数据处理的准确性。
本申请实施例提供的上述指标数据处理方法,通过将所述逻辑处理代码与所述初始血缘关系图结合,得到目标血缘关系图,通过查看目标血缘关系图,能够清楚了解指标的生成流程以及与上游数据表的关系,从而快速确定存在问题的数据节点,进而提高指标数据处理的准确性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧政务的指标数据处理模块等,能够促进智慧城市的快速发展。
图2是本申请实施例二提供的指标数据处理装置的结构图。
在一些实施例中,所述指标数据处理装置20可以包括多个由计算机程序段所组成的功能模块。所述指标数据处理装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)指标数据处理的功能。
本实施例中,所述指标数据处理装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:代码获取模块201、血缘解析模块202、代码解析模块203、请求解析模块204以及指标计算模块205。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述代码获取模块201可以用于获取目标业务对应的指标代码。
在本申请的至少一实施例中,所述目标业务涉及到若干指标,所述指标可以为销售额指标、利润指标等,在此不做限制。所述指标代码是指与指标相关的代码,所述指标代码中包含指标处理所需的数据表信息、维度信息以及维度对应字段间的逻辑处理信息等。所述指标代码存储于预设代码数据库中,考虑到数据存储的可靠性与隐私性,所述预设代码数据库可以为区块链中的目标节点。所述目标业务与所述指标代码间存在映射关系,通过查询所述映射关系可以得到所述目标业务对应的指标代码。
所述血缘解析模块202可以用于对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度。
在本申请的至少一实施例中,血缘关系体现了不同数据表之间的数据流向系,通常在执行INSERT INTOSELECT、INSERT OVERWRITE SELECT、CREATE TABLE AS SELECT三种语句时发生数据流向关系,基于此,通过检测所述指标代码是否属于INSERT INTOSELECT、INSERT OVERWRITE SELECT、CREATE TABLE AS SELECT三种语句中的一种,若属于,则判定为具有血缘关系的指标代码,对其执行后续的血缘关系分析,若不属于,则判定为非血缘关系的指标代码,停止执行后续的血缘关系分析并退出。
可选地,所述对所述指标代码进行血缘关系解析,得到初始血缘关系图包括:
对所述指标代码进行结构化处理,得到结构化指标代码;
从所述结构化指标代码中获取语法关键词,并根据所述语法关键词确定所述目标数据表之间的映射关系;
以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图。
其中,所述指标代码是以字符格式进行存储的非结构化数据,需对所述指标代码进行结构化处理以便快速完成代码解析。在对所述指标代码进行结构化解析之前,需对其进行预处理,以便满足结构化解析的要求,在一实施例中,所述预处理可以包括:对结构化解析没有用处的注释行,利用注释符进行识别并移除;将所有换行符替换为空格;对代码脚本中包含的多条可执行代码语句进行识别并提取;对特殊语法及关键字进行标准化处理,将其转化为符合IOS标准的脚本,以降低结构化解析的难度。所述语法关键词是指用于表现指标对应目标数据表之间映射关系的关键词,通过获取所述语法关键词,能够确定所述目标数据表之间的映射关系。
在一实施例中,所述以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图包括:根据所述映射关系确定所述目标数据表中各个维度信息间的层级结构;以所述目标数据表对应的数据表编码为节点按照所述层级结构构建初始血缘关系图。其中,所述数据表编码是指唯一标识所述目标数据表的编码。
所述代码解析模块203可以用于对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图。
在本申请的至少一实施例中,所述指标代码中包含指标处理所需的数据表信息、维度信息以及维度对应字段间的处理逻辑信息等。通过对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,所述逻辑处理代码可以是指用于标识不同维度对应字段间的数学关系的代码。示例性地,所述逻辑处理代码可以为包含A=(B+C)*d,W=A*A这些数学关系的代码,其中,A与W为指标,B、C与d为各自维度对应的字段信息。
可选地,所述对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码包括:
获取所述指标代码中的逻辑关键词;
获取所述逻辑关键词关联的维度关键词;
根据所述逻辑关键词建立初始逻辑代码框架;
填充所述维度关键词至所述初始逻辑代码框架中,得到逻辑处理代码。
其中,所述逻辑关键词是指标识不同维度对应字段间的数学关系的关键词,所述逻辑关键词可以为+、-、*等,在此不做限制。所述维度关键词是指与所述逻辑关键词关联的词,示例性地,对于所述逻辑处理代码为A=(B+C)*d为例,所述逻辑关键词“+”对应的维度关键词是指字段B与字段C对应的维度信息。所述初始逻辑代码框架是指仅包含所述逻辑关键词的框架,例如,所述逻辑代码框架可以为A=(+)*,将所述维度关键词至所述初始逻辑代码框架中,能够得到逻辑处理代码。
所述请求解析模块204可以用于接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值。
在本申请的至少一实施例中,所述指标查询请求可以是指用于查询对应指标值的请求,所述指标查询请求中请求查询的指标的数量不做限制,可以为1个,也可以为多个。在一实施例中,所述待查询指标可以为销售额指标、利润指标以及折扣指标等,在此不做限制。
可选地,所述接收并解析指标查询请求,得到待查询指标包括:
解析所述指标查询请求,并检测所述指标查询请求中是否携带指标标识;
当检测结果为所述指标查询请求中携带指标标识,提取所述指标标识;
根据所述指标标识遍历预先设置的指标标识与指标的映射关系,得到待查询指标。
其中,所述指标标识的方式可以为数字标识、字母标识或颜色标识,在此不做限制。所述指标标识用于唯一标识对应的指标,通过检测所述指标查询请求中携带的所述指标标识,能够遍历到与所述指标标识对应的目标指标。
可选地,所述根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值包括:
获取所述待查询指标对应的目标维度;
确定所述目标维度对应的上游数据表;
从所述上游数据表中提取所述目标维度对应的字段为目标中间值。
其中,所述上游数据表是指所述待查询指标在计算过程中所需调用到的数据表,所述上游数据表中包含所述待查询指标所需的若干维度信息,对于每一个维度信息,均存在与之相应的字段值,该字段值即为所述目标中间值。可以理解的是,所述目标维度与所述目标数据表间存在映射关系,通过查询所述映射关系,能够得到所述目标维度对应的所述目标数据表。
所述指标计算模块205可以用于根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
在本申请的至少一实施例中,所述逻辑处理代码是指不同维度对应字段间的数学关系。示例性地,所述逻辑处理代码可以为A=(B+C)*d,W=A*A,其中,A与W为指标,B、C与d为各自维度对应的字段信息。所述目标中间值是指所述待查询指标所需若干维度对应的字段信息,将所述目标中间值填充至所述逻辑代码的指定位置可以计算得到所述待查询指标对应的指标值。
可选地,所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值包括:
根据维度信息确定所述目标中间值与所述逻辑处理代码的关联关系;
根据所述关联关系将所述目标中间值输入至所述逻辑处理代码中,计算所述待查询指标对应的指标值。
可选地,在所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值之前,所述方法还包括:
获取所述目标中间值对应的预警条件;
检测所述目标中间值是否满足所述预警条件;
当检测结果为所述目标中间值满足所述预警条件时,输出告警提示。
其中,所述预警条件可以为所述目标中间值的上下限,所述预警条件可以为用户自定义的监控规则,示例性地,假设所述待查询指标的某个所述目标中间值范围为[a,b],则所述目标中间值的上限阈值为b,下限阈值为a,如果所述目标中间值对应的监控数据为c,那么当c∈[a,b]时,表明该数据节点正常,所述目标中间值不满足所述预警条件;而当c>b,或者c<a时,表明该数据节点异常,所述目标中间值满足所述预警条件。所述告警提示可以是指提醒系统人员及时对所述目标中间值纠错的信息。所述告警提示包括所述目标中间值涉及到的维度信息以及维度对应字段间的逻辑处理代码信息,使得系统人员能够在不查看脚本的情况下通过查询所述告警提示快速了解指标的生成流程以及与上游数据表的关系找到出错原因、及时纠正,保证指标数据处理的准确性。
其中,当检测结果为所述目标中间值不满足所述预警条件时,执行所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。在一实施例中,将所述目标血缘关系图中各个数据表编码对应的节点之间建立心跳连接,所述心跳连接用于传输中间值正常的指令,当所述目标中间值不满足所述预警条件时(也即中间值正常时),通过输出心跳包的方式将中间值正常的信息输出至所述目标中间值对应节点的下一层级节点,以便根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。通过建立心跳连接的方式,能够确保指标值计算过程中所述目标中间值是正确的,保证指标数据处理的准确性。
参阅图3所示,为本申请实施例三提供的计算机设备的结构示意图。在本申请较佳实施例中,所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解,图3示出的计算机设备的结构并不构成本申请实施例的限定,既可以是总线型结构,也可以是星形结构,所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述计算机设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述计算机设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的指标数据处理方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中,所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit),利用各种接口和线路连接整个计算机设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行计算机设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的指标数据处理方法的全部或者部分步骤;或者实现指标数据处理装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出,所述计算机设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种指标数据处理方法,其特征在于,所述指标数据处理方法包括:
获取目标业务对应的指标代码;
对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度;
对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图;
接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值;
根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
2.根据权利要求1所述的指标数据处理方法,其特征在于,所述对所述指标代码进行血缘关系解析,得到初始血缘关系图,包括:
对所述指标代码进行结构化处理,得到结构化指标代码;
从所述结构化指标代码中获取语法关键词,并根据所述语法关键词确定所述目标数据表之间的映射关系;
以所述目标数据表对应的数据表编码为节点按照所述映射关系构建初始血缘关系图。
3.根据权利要求1所述的指标数据处理方法,其特征在于,所述对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,包括:
获取所述指标代码中的逻辑关键词;
获取所述逻辑关键词关联的维度关键词;
根据所述逻辑关键词建立初始逻辑代码框架;
填充所述维度关键词至所述初始逻辑代码框架中,得到逻辑处理代码。
4.根据权利要求1所述的指标数据处理方法,其特征在于,所述接收并解析指标查询请求,得到待查询指标,包括:
解析所述指标查询请求,并检测所述指标查询请求中是否携带指标标识;
当检测结果为所述指标查询请求中携带指标标识,提取所述指标标识;
根据所述指标标识遍历预先设置的指标标识与指标的映射关系,得到待查询指标。
5.根据权利要求1所述的指标数据处理方法,其特征在于,所述根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值包括:
获取所述待查询指标对应的目标维度;
确定所述目标维度对应的上游数据表;
从所述上游数据表中提取所述目标维度对应的字段为目标中间值。
6.根据权利要求1所述的指标数据处理方法,其特征在于,所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值包括:
根据维度信息确定所述目标中间值与所述逻辑处理代码的关联关系;
根据所述关联关系将所述目标中间值输入至所述逻辑处理代码中,计算所述待查询指标对应的指标值。
7.根据权利要求1所述的指标数据处理方法,其特征在于,在所述根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值之前,所述方法还包括:
获取所述目标中间值对应的预警条件;
检测所述目标中间值是否满足所述预警条件;
当检测结果为所述目标中间值满足所述预警条件时,输出告警提示。
8.一种指标数据处理装置,其特征在于,所述指标数据处理装置包括:
代码获取模块,用于获取目标业务对应的指标代码;
血缘解析模块,用于对所述指标代码进行血缘关系解析,得到初始血缘关系图,所述初始血缘关系图中包含指标对应的目标数据表以及所述目标数据表中的目标维度;
代码解析模块,用于对所述指标代码进行逻辑关系解析,得到所述目标维度间的逻辑处理代码,并将所述逻辑处理代码作为维度属性更新所述初始血缘关系图,得到目标血缘关系图;
请求解析模块,用于接收并解析指标查询请求,得到待查询指标,并根据所述目标血缘关系图索引得到所述待查询指标对应上游数据表中对应维度的目标中间值;
指标计算模块,用于根据所述逻辑处理代码与所述目标中间值计算所述待查询指标对应的指标值。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的指标数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的指标数据处理方法。
CN202210929448.6A 2022-08-03 2022-08-03 指标数据处理方法、装置、计算机设备及存储介质 Pending CN115146078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210929448.6A CN115146078A (zh) 2022-08-03 2022-08-03 指标数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210929448.6A CN115146078A (zh) 2022-08-03 2022-08-03 指标数据处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115146078A true CN115146078A (zh) 2022-10-04

Family

ID=83413850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210929448.6A Pending CN115146078A (zh) 2022-08-03 2022-08-03 指标数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115146078A (zh)

Similar Documents

Publication Publication Date Title
CN112698971B (zh) 基于规则引擎的参数转换方法、装置、设备及介质
CN112445854B (zh) 多源业务数据实时处理方法、装置、终端及存储介质
CN111754123B (zh) 数据监控方法、装置、计算机设备及存储介质
CN112364107A (zh) 系统分析可视化方法、装置、电子设备及计算机可读存储介质
CN113946690A (zh) 潜在客户挖掘方法、装置、电子设备及存储介质
CN113590824A (zh) 因果事理图谱的构建方法、装置及相关设备
CN111984898A (zh) 基于大数据的标签推送方法、装置、电子设备及存储介质
CN114663223A (zh) 基于人工智能的信用风险评估方法、装置及相关设备
CN113806434A (zh) 大数据处理方法、装置、设备及介质
CN116341523A (zh) 文本纠错方法、装置、计算机设备及存储介质
CN114862520A (zh) 产品推荐方法、装置、计算机设备及存储介质
CN112395432B (zh) 课程推送方法、装置、计算机设备及存储介质
CN113434542B (zh) 数据关系识别方法、装置、电子设备及存储介质
CN114201212A (zh) 配置文件处理方法、装置、计算机设备及存储介质
CN112948275A (zh) 测试数据生成方法、装置、设备及存储介质
CN111625655B (zh) 基于知识图谱的归并以及分类方法、装置以及存储介质
CN111950707A (zh) 基于行为共现网络的行为预测方法、装置、设备及介质
CN114239538A (zh) 断言处理方法、装置、计算机设备及存储介质
CN113722324B (zh) 基于人工智能的报表生成方法、装置、电子设备及介质
CN114398345A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN114237829B (zh) 一种电力设备的数据采集与处理方法
CN114881313A (zh) 基于人工智能的行为预测方法、装置及相关设备
CN115146078A (zh) 指标数据处理方法、装置、计算机设备及存储介质
CN115146064A (zh) 意图识别模型优化方法、装置、设备及存储介质
CN114201328A (zh) 基于人工智能的故障处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination