CN113722370A - 基于指标分析的数据管理方法、装置、设备及介质 - Google Patents
基于指标分析的数据管理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113722370A CN113722370A CN202111018105.6A CN202111018105A CN113722370A CN 113722370 A CN113722370 A CN 113722370A CN 202111018105 A CN202111018105 A CN 202111018105A CN 113722370 A CN113722370 A CN 113722370A
- Authority
- CN
- China
- Prior art keywords
- index
- target
- data
- information
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于指标分析的数据管理方法、装置、设备及介质,方法包括:获取数据查询请求,数据查询请求包括指标描述信息;针对指标描述信息进行语义识别,得到指标关键词;根据指标关键词确定目标指标,根据目标指标从数据库获取目标数据表;获取目标数据表的层级关系和目标数据,层级关系包括目标数据表的引用关系和被引用关系;将层级关系、目标数据、目标指标确定为数据查询结果并显示。根据本发明实施例提供的方案,能够通过语义识别自动确定目标指标,提高了不同描述方式下目标指标的识别准确性,并且,通过显示层级关系、目标数据和目标指标,为确定数据查询的准确性提供了更多的参考信息,有效提高了数据管理系统的使用便利性。
Description
技术领域
本发明涉及但不限于人工智能领域,尤其涉及一种基于指标分析的数据管理方法、装置、设备及介质。
背景技术
随着大数据技术的不断发展,数据对于企业的发展和日常运营越来越重要,是业务运营和管理决策的重要依据。为了满足不同的数据需求,各企业通常配置有数据管理系统,运营人员或管理人员通过数据管理系统提交需求,通过数据维护人员根据需求从数据数据库获取相应的数据并展示。但是运营人员或管理人员对相同数据的描述方式不一定相同,很可能通过不同描述方式提交相同的数据需求,导致数据维护人员耗费大量精力处理重复的工作,并且输出的数据获取结果只包括数据本身,需要花费一定时间验证数据的准确性,数据管理系统的使用便利性较低。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种基于指标分析的数据管理方法、装置、设备及介质,能够提高获取数据的准确性,提高数据管理系统的使用便利性。
第一方面,本发明实施例提供了一种基于指标分析的数据管理方法,包括:
获取数据查询请求,所述数据查询请求包括指标描述信息;
针对所述指标描述信息进行语义识别,得到指标关键词;
根据所述指标关键词确定目标指标,根据所述目标指标从数据库获取目标数据表;
获取所述目标数据表的层级关系和目标数据,所述层级关系包括所述目标数据表的引用关系和所述目标数据表的被引用关系;
将所述层级关系、所述目标数据、所述目标指标确定为数据查询结果,通过预设模板显示所述数据查询结果。
在一些实施例中,所述数据查询请求还包括业务描述信息,在所述通过预设模板显示所述数据查询结果之前,所述方法还包括:
将所述业务描述信息保存至所述数据库,并关联所述业务描述信息和所述目标数据表;
将所述业务描述信息添加至所述数据查询结果。
在一些实施例中,在所述针对所述指标描述信息进行语义识别之前,所述方法还包括:
获取更新信息,所述更新信息包括指标更新信息和业务描述更新信息;
根据所述指标更新信息更新所述指标描述信息;
根据所述业务描述更新信息更新所述业务描述信息。
在一些实施例中,所述根据所述指标关键词确定目标指标,包括:
获取指标记录表,所述指标记录表包括多个可用指标,所述可用指标与所述数据库的数据表相关联;
将与所述指标关键词相匹配的所述可用指标确定为所述目标指标。
在一些实施例中,在所述根据所述目标指标从数据库获取目标数据表之前,所述方法还包括:
确定多个响应对象,所述响应对象用于从所述数据库中获取数据表;
获取每个所述响应对象的运行状态信息,根据所述运行状态信息确定所述响应对象的响应时间信息;
根据所述响应时间信息确定目标响应对象;
所述根据所述目标指标从数据库获取目标数据表,还包括:
通过所述目标响应对象根据所述目标指标从所述数据库中获取所述目标数据表。
在一些实施例中,所述预设模板包括默认模板和至少两个指标模板,所述指标模板关联有指标匹配信息,所述通过预设模板显示所述数据查询结果,包括:
将与所述目标指标相匹配的所述指标匹配信息所对应的指标模板确定为目标模板,通过所述目标模板显示所述数据查询结果;
或者,
当所述目标指标与所述指标匹配信息匹配不成功,通过所述默认模板显示所述数据查询结果。
在一些实施例中,在所述通过预设模板显示所述数据查询结果之后,所述方法还包括:
从所述数据库的数据表中选取待检验数据表;
根据所述待检验数据表的所述层级关系确定所述待检验数据表的关联数据表;
获取预设的检验脚本,针对所述关联数据表运行所述检验脚本;
获取所述检验脚本输出的检验结果,当所述检验结果表征所述关联数据表的数据异常,生成告警信息。
第二方面,本发明实施例还提供了一种基于指标分析的数据管理装置,包括:
请求获取单元,用于获取数据查询请求,所述数据查询请求包括指标描述信息;
识别单元,用于针对所述指标描述信息进行语义识别,得到指标关键词;
第一获取单元,用于根据所述指标关键词确定目标指标,根据所述目标指标从数据库获取目标数据表;
第二获取单元,用于获取所述目标数据表的层级关系和目标数据,所述层级关系包括所述目标数据表的引用关系和所述目标数据表的被引用关系;
第一显示单元,用于将所述层级关系、所述目标数据、所述目标指标确定为数据查询结果,通过预设模板显示所述数据查询结果。
在一些实施例中,所述基于指标分析的数据管理装置还包括:
第一关联单元,用于将所述业务描述信息保存至所述数据库,并关联所述业务描述信息和所述目标数据表;
第二关联单元,用于将所述业务描述信息添加至所述数据查询结果。
在一些实施例中,所述基于指标分析的数据管理装置还包括:
第三获取单元,用于获取更新信息,所述更新信息包括指标更新信息和业务描述更新信息;
第一更新单元,用于根据所述指标更新信息更新所述指标描述信息;
第二更新单元,用于根据所述业务描述更新信息更新所述业务描述信息。
在一些实施例中,所述第一获取单元还包括:
第四获取单元,用于获取指标记录表,所述指标记录表包括多个可用指标,所述可用指标与所述数据库的数据表相关联;
第一匹配单元,用于将与所述指标关键词相匹配的所述可用指标确定为所述目标指标。
在一些实施例中,所述第一获取单元还包括:
第一确定单元,用于确定多个响应对象,所述响应对象用于从所述数据库中获取数据表;
响应时间确定单元,用于获取每个所述响应对象的运行状态信息,根据所述运行状态信息确定所述响应对象的响应时间信息;
响应对象确定单元,用于根据所述响应时间信息确定目标响应对象;
第五获取单元,用于通过所述目标响应对象根据所述目标指标从所述数据库中获取所述目标数据表。
在一些实施例中,所述预设模板包括默认模板和至少两个指标模板,所述指标模板关联有指标匹配信息,所述第一显示单元还包括:
第二显示单元,用于将与所述目标指标相匹配的所述指标匹配信息所对应的指标模板确定为目标模板,通过所述目标模板显示所述数据查询结果;
或者,
第三显示单元,用于当所述目标指标与所述指标匹配信息匹配不成功,通过所述默认模板显示所述数据查询结果。
在一些实施例中,所述基于指标分析的数据管理装置还包括:
第六获取单元,用于从所述数据库的数据表中选取待检验数据表;
第二确定单元,用于根据所述待检验数据表的所述层级关系确定所述待检验数据表的关联数据表;
检验单元,用于获取预设的检验脚本,针对所述关联数据表运行所述检验脚本;
告警单元,用于获取所述检验脚本输出的检验结果,当所述检验结果表征所述关联数据表的数据异常,生成告警信息。
第三方面,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于指标分析的数据管理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面所述的基于指标分析的数据管理方法。
本发明实施例包括:获取数据查询请求,所述数据查询请求包括指标描述信息;针对所述指标描述信息进行语义识别,得到指标关键词;根据所述指标关键词确定目标指标,根据所述目标指标从数据库获取目标数据表;获取所述目标数据表的层级关系和目标数据,所述层级关系包括所述目标数据表的引用关系和所述目标数据表的被引用关系;将所述层级关系、所述目标数据、所述目标指标确定为数据查询结果,通过预设模板显示所述数据查询结果。根据本发明实施例提供的方案,能够通过语义识别自动确定所述目标指标,提高了不同描述方式下所述目标指标的识别准确性,并且,通过显示所述层级关系、所述目标数据和所述目标指标,为确定数据查询的准确性提供了更多的参考信息,有效提高了数据管理系统的使用便利性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的基于指标分析的数据管理方法的流程图;
图2是本发明一个实施例提供的添加业务描述信息的流程图;
图3是本发明一个实施例提供的更新数据查询需求的流程图;
图4是本发明一个实施例提供的确定目标指标的流程图;
图5是本发明一个实施例提供的获取目标数据表的流程图;
图6是本发明一个实施例提供的显示数据查询结果的流程图;
图7是本发明一个实施例提供的运行检验脚本的流程图;
图8是本发明一个实施例提供的基于指标分析的数据管理装置的结构图;
图9是本发明一个实施例提供的电子设备的结构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
需要说明的是,本发明实施例的技术方案可以在任意电子设备的客户端运行,例如电脑、手机、平板电脑等。本发明实施例的数据可以保存在服务器中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本发明提供了一种基于指标分析的数据管理方法、装置、设备及介质,方法包括:从网络系统的系统日志获取访问记录,所述访问记录包括每一次业务访问的操作记录,所述操作记录包括操作时间信息、接口调用信息和模块调用信息;根据预设的分段时长将所述系统日志划分为多个分段样本,将所述业务访问的并发量最大的所述分段样本确定为目标样本;根据所述目标样本中的所述操作记录得到测试参数,所述测试参数包括平均操作时长、接口调用比例和模块调用比例,其中,所述平均操作时长根据所述操作时间信息得到,所述接口调用比例根据所述接口调用信息得到,所述模块调用比例根据所述模块调用信息得到;将所述测试参数输入至压力测试模型进行压力测试,得到所述网络系统的负载达到最大时的目标参数,所述目标参数包括目标平均操作时长、目标接口调用比例和目标模块调用比例;根据所述目标接口调用比例和所述目标模块调用比例确定目标吞吐量,根据所述目标平均操作时长确定目标并发度,根据所述目标吞吐量和所述目标并发度得到最大在线用户数。根据本发明实施例提供的方案,以系统运行的访问记录作为数据基础,通过压力测试过程中对最大在线用户数进行了验证,得到的最大在线用户数为网络系统的实际最大容量,相比起估算的做法在准确率上有了极大的提高,有效提高了最大在线用户数在运营决策上的参考价值。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面结合附图,对本发明实施例作进一步阐述。
如图1所示,图1是本发明一个实施例提供的一种基于指标分析的数据管理方法的流程图,包括但不限于有以下步骤:
步骤S110,获取数据查询请求,数据查询请求包括指标描述信息;
步骤S120,针对指标描述信息进行语义识别,得到指标关键词;
步骤S130,根据指标关键词确定目标指标,根据目标指标从数据库获取目标数据表;
步骤S140,获取目标数据表的层级关系和目标数据,层级关系包括目标数据表的引用关系和目标数据表的被引用关系;
步骤S150,将层级关系、目标数据、目标指标确定为数据查询结果,通过预设模板显示数据查询结果。
需要说明的是,数据查询请求可以通过导入需求文件的方式产生,例如预先配置好需求文件,并在需求文件中设置信息填写区域,让数据需求人员在信息填写区域填写与数据查询相关的信息,例如指标描述信息、业务信息,申请人信息等,在需求文件导入后,从信息填写区域获取相对应的信息组成数据查询请求;也可以通过语音识别的方式获取数据查询请求,例如通过录音设备获取需求请求人员的一段语音,通过现有的语音识别模型识别出指标描述信息,本领域技术人员熟知如何配置语音识别模型完成简单的语音识别,在此不多作赘述。可以理解的是,指标描述信息可以是描述指标实质内容的信息,例如指标可以是“过去一年的销售数据”、“销售区域A的人员架构”等,能够作为数据查询的依据即可,本实施例对具体的形式不多作限定。
需要说明的是,由于不同的数据需求人员对指标的描述方式不同,因此,为了减少不同描述方式导致的重复操作,可以通过语义识别的方式对语义相同或者相近的描述方式进行统一,例如对于“过去一年的销售数据”和“过去12个月的销售数据”,虽然描述方式不同,但是实质含义是相同的,通过语义识别能够统一为相同的描述,例如通过语义识别出的指标关键词为“过去12个月”和“销售数据”。需要说明的是,对于数据查询而言,并不需要对所有的描述信息进行语义识别,由于存储的数据通常是根据标准的分类方式保存,例如按照时间维度将每一年的数据保存在同一个数据表,或者按照区域维度将同一个销售区域的数据保存在同一个数据表,因此可以通过调整语义识别模型的训练方式,从而输出与数据查询相关的维度的识别结果,本领域技术人员熟知如何配置和训练语义识别模型,本实施例对此不多作赘述。
需要说明的是,指标关键词可以是任意指标信息,例如指标名称、指标定义、计算公式,声明指标分类、指标类型、是否敏感、更新频率、应用场景、业务属主,例如通过语义识别得到的关键词是“2020年”和“销售数据”,则可以组合得到目标指标为“2020年的销售数据”,也可以用其他方式文字处理方式匹配得到目标指标,本实施例对此不多作限定。
需要说明的是,为了实现目标指标与数据表之间的匹配,可以在数据表中增加开发描述文件,用于描述该数据表所对应的指标,也可以直接用指标信息作为数据表的表名,能够实现目标指标与数据表之间的唯一匹配即可,在此不多作限定。
本领域技术人员熟知的是,数据库的数据表之间可以建立引用关系,通过数据的引用减少存储的数据量,例如数据库中建立有数据表A和数据表B,数据表A中存储有销售数据,数据表B保存有销售人员信息,数据表C需要得到销售人员的销售数据,通常会引用数据表B获取销售人员信息,再引用数据表A获取销售数据,可以通过常见的“from”语句进行调用,在此不多作赘述。可以理解的是,为了获取层级关系,可以在确定目标数据表后,通过“from”语句的识别,得到目标数据表的引用和被引用关系,即得到层级关系,为了显示更加直观,可以根据得到的层级关系建立树状图,便于在数据查询结果中显示,也便于数据库维护人员数据表进行维护。
需要说明的是,在获取到数据查询结果后,通常还需要数据需求人员进行验收,例如判断获取的数据是否与需求的相同,为了便于数据需求人员进行判断,可以将数据查询结果进行显示,并且,目标数据作为数据,很难直观看出是否符合需求,因此,为了增加判断的依据,可以同时显示目标指标和层级关系,层级关系能够作为数据的来源是否准确的判断依据,目标指标可以作为数据需求解析是否准确的判断依据,再结合目标数据,则可以确定数据查询结果是否正确和可用,例如,确定的目标指标为“2020年销售情况”,层级关系包括“引用数据表A中的销售数据”和“引用数据表B中的销售人员信息”,得到的目标数据为“数据表B中的销售人员在数据表A中的销售数据”,能够从多个维度展示数据即可。
需要说明的是,在数据查询结果中输出目标指标,能够对数据需求人员提交需求时采用的指标描述信息进行统一口径,例如指标描述信息为“去年的销售数据”,输出的目标指标为“2020年的销售数据”,避免再次出现描述不准确的指标描述信息。
另外,在一实施例中,数据查询请求还包括业务描述信息,参照图2,在执行图1所示的步骤S150之前,还包括但不限于有以下步骤:
步骤S210,将业务描述信息保存至数据库,并关联业务描述信息和目标数据表;
步骤S210,将业务描述信息添加至数据查询结果。
需要说明的是,业务描述信息可以包括任意用于描述业务的内容,可以是业务名称,业务请求人员,业务归属地等,例如在提交一个数据查询请求时,同时添加业务描述信息“统计区域A的人员信息”,对于业务描述信息,并不需要进行语义识别,可以直接于目标数据表进行关联,并在数据查询结果中显示,能够在提交相同的数据查询需求时,通过业务描述信息判断是否属于相同的业务,提高数据确认的效率。
另外,在一实施例中,参照图3,在执行图1所示的步骤S120之前,还包括但不限于有以下步骤:
步骤S310,获取更新信息,更新信息包括指标更新信息和业务描述更新信息;
步骤S320,根据指标更新信息更新指标描述信息;
步骤S330,根据业务描述更新信息更新业务描述信息。
需要说明的是,根据图1所示实施例的描述,数据查询请求可以通过需求文件的形式导入,而查询文件由人为填写,很可能在导致之后发现导入错误,因此,可以通过导入更新文件的方式生成更新信息,从而对需求文件的指标描述信息和业务描述信息进行更新;可以理解的是,指标更新信息和业务描述更新信息,既可以对需求文件中的指标描述信息和业务描述信息进行修改,也可以用于增加或者删除相对应的信息,例如在指标描述信息中添加了错误的描述信息,则可以通过指标更新信息删除该错误的描述信息,本领域技术人员熟知如何修改文件中的信息,在此不多作赘述。
另外,在一实施例中,参照图4,图1所示的步骤S130,还包括但不限于有以下步骤:
步骤S410,获取指标记录表,指标记录表包括多个可用指标,可用指标与数据库的数据表相关联;
步骤S420,将与指标关键词相匹配的可用指标确定为目标指标。
需要说明的是,为了便于目标指标的匹配,可以在数据录入的过程中预先配置好指标记录表,例如在数据库的每个数据表添加开发文件,在开发文件中记录下表中数据相对应的指标,在生成该数据表后,自动从数据表的开发文件中获取指标作为可用指标,并记录至指标记录表。需要说明的是,指标记录表所记载的可用指标可以是来自于数据库中的所有数据表,从而能够利用指标关键词直接从指标记录表中匹配出目标指标。
需要说明的是,可用指标与指标关键词的匹配方式可以参考图1所示的示例,为了叙述简便在此不重复赘述。
另外,在一实施例中,参照图5,在执行图1所示的步骤S130之前,还包括但不限于有以下步骤:
步骤S510,确定多个响应对象,响应对象用于从数据库中获取数据表;
步骤S520,获取每个响应对象的运行状态信息,根据运行状态信息确定响应对象的响应时间信息;
步骤S530,根据响应时间信息确定目标响应对象。
图1中所示的步骤S130,还包括但不限于有以下步骤:
步骤S540,通过目标响应对象根据目标指标从数据库中获取目标数据表。
需要说明的是,对于数据处理系统,数据获取需要一定的响应时间,因此,为了便于管理,可以设置多个响应对象,每个响应对象独立响应数据查询需求,并从数据库中获取数据表,响应对象可以是常见的功能模块,本领域技术人员熟知如何配置用于实现特定功能的对象,在此不多作赘述。
需要说明的是,由于具有多个响应对象,而每个响应对象所处理的数据查询需求各不相同,耗费的时间也不相同,因此,在获取到新的数据查询需求后,很可能每个响应对象可以最快响应的时间不同,例如:数据处理系统配置有响应对象A和响应对象B,响应对象A的运行状态信息为当前有10个数据查询需求在处理,需要30分钟,响应对象B的运行状态信息为当前有12个数据查询需求在处理,需要40分钟,在获取到新的数据查询需求后,为了能够尽快处理,合理利用资源,将响应对象A确定为目标响应对象,再通过响应对象A根据目标指标从数据库中获取目标数据表。
另外,在一实施例中,预设模板包括默认模板和至少两个指标模板,指标模板关联有指标匹配信息,参照图6,图1所示的步骤S150还包括但不限于有以下步骤:
步骤S610,将与目标指标相匹配的指标匹配信息所对应的指标模板确定为目标模板,通过目标模板显示数据查询结果;
或者,
步骤S620,当目标指标与指标匹配信息匹配不成功,通过默认模板显示数据查询结果。
需要说明的是,对于运营人员而言,获取到的数据通常用作运营依据,而对于管理人员,获取到的数据可能需要对外进行展示,基于此,在获取到数据查询结果之后,可以根据目标指标是否需要以特定的报表形式进行显示,例如获取到的目标数据用于生成对外的官方报表,而官方报表通常有预先设定好的格式,因此设定与官方报表相对应的指标模板,将目标数据填充至该指标模板中形成官方报告,而对于新创建的指标,也可能没有预先设定好的指标模板与其相对应,为了数据查询结果能够正确显示,可以通过默认模板进行数据查询结果的显示,本领域技术人员熟知在获取到数据的情况下,将数据填充至特定的模板中,在此不多作赘述。
另外,在一实施例中,参照图7,在执行图1所示的步骤S150之后,还包括但不限于有以下步骤:
步骤S710,从数据库的数据表中选取待检验数据表;
步骤S720,根据待检验数据表的层级关系确定待检验数据表的关联数据表;
步骤S730,获取预设的检验脚本,针对关联数据表运行检验脚本;
步骤S740,获取检验脚本输出的检验结果,当检验结果表征关联数据表的数据异常,生成告警信息。
需要说明的是,数据库中的数据表并非静态,而是会不断变更,因此难免会出现数据表变更的情况,例如删除某个数据表,而数据表之间具有引用关系和被引用关系,若数据表A被数据表B引用,在数据表A被删除的情况下,数据表B会缺少数据,为了避免这种情况的出现,需要定期对数据库中的数据表进行检验,为了实现检验的自动化,可以预先配置好检验脚本,对数据表之间的层级关系进行验证。
需要说明的是,在运行检验脚本时,可以针对每个数据表进行,由于数据表具备层级关系,因此可以利用层级关系在数据库中获取该数据所有的关联数据表,再对关联数据表进行上探或者下钻,完成关联数据表的遍历,当在关联数据表中获取数据失败,可以确定改关联数据表出现数据异常,产生告警信息提醒维护人员进行后续维护。
另外,参照图8,在一实施例中,本发明实施例还提供了一种基于指标分析的数据管理装置,该基于指标分析的数据管理装置800包括:
请求获取单元810,用于获取数据查询请求,数据查询请求包括指标描述信息;
识别单元820,用于针对指标描述信息进行语义识别,得到指标关键词;
第一获取单元830,用于根据指标关键词确定目标指标,根据目标指标从数据库获取目标数据表;
第二获取单元840,用于获取目标数据表的层级关系和目标数据,层级关系包括目标数据表的引用关系和目标数据表的被引用关系;
第一显示单元850,用于将层级关系、目标数据、目标指标确定为数据查询结果,通过预设模板显示数据查询结果。
在一些实施例中,基于指标分析的数据管理装置800还包括:
第一关联单元861,用于将业务描述信息保存至数据库,并关联业务描述信息和目标数据表;
第二关联单元862,用于将业务描述信息添加至数据查询结果。
在一些实施例中,基于指标分析的数据管理装置800还包括:
第三获取单元821,用于获取更新信息,更新信息包括指标更新信息和业务描述更新信息;
第一更新单元822,用于根据指标更新信息更新指标描述信息;
第二更新单元823,用于根据业务描述更新信息更新业务描述信息。
在一些实施例中,第一获取单元830还包括:
第四获取单元831,用于获取指标记录表,指标记录表包括多个可用指标,可用指标与数据库的数据表相关联;
第一匹配单元832,用于将与指标关键词相匹配的可用指标确定为目标指标。
在一些实施例中,第一获取单元830还包括:
第一确定单元833,用于确定多个响应对象,响应对象用于从数据库中获取数据表;
响应时间确定单元834,用于获取每个响应对象的运行状态信息,根据运行状态信息确定响应对象的响应时间信息;
响应对象确定单元835,用于根据响应时间信息确定目标响应对象;
第五获取单元836,用于通过目标响应对象根据目标指标从数据库中获取目标数据表。
在一些实施例中,预设模板包括默认模板和至少两个指标模板,指标模板关联有指标匹配信息,第一显示单元850还包括:
第二显示单元851,用于将与目标指标相匹配的指标匹配信息所对应的指标模板确定为目标模板,通过目标模板显示数据查询结果;
或者,
第三显示单元852,用于当目标指标与指标匹配信息匹配不成功,通过默认模板显示数据查询结果。
在一些实施例中,基于指标分析的数据管理装置800还包括:
第六获取单元871,用于从数据库的数据表中选取待检验数据表;
第二确定单元872,用于根据待检验数据表的层级关系确定待检验数据表的关联数据表;
检验单元873,用于获取预设的检验脚本,针对关联数据表运行检验脚本;
告警单元874,用于获取检验脚本输出的检验结果,当检验结果表征关联数据表的数据异常,生成告警信息。
另外,参照图9,本发明的一个实施例还提供了一种电子设备,该电子设备900包括:存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序。
处理器920和存储器910可以通过总线或者其他方式连接。
实现上述实施例的基于指标分析的数据管理方法所需的非暂态软件程序以及指令存储在存储器910中,当被处理器920执行时,执行上述实施例中基于指标分析的数据管理方法,例如,执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S330、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S540、图6中的方法步骤S610至步骤S620、图7中的方法步骤S710至步骤S740。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外,本发明的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器或控制器执行,例如,被上述电子设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中基于指标分析的数据管理方法,例如,执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S330、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S540、图6中的方法步骤S610至步骤S620、图7中的方法步骤S710至步骤S740。本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.一种基于指标分析的数据管理方法,其特征在于,包括:
获取数据查询请求,所述数据查询请求包括指标描述信息;
针对所述指标描述信息进行语义识别,得到指标关键词;
根据所述指标关键词确定目标指标,根据所述目标指标从数据库获取目标数据表;
获取所述目标数据表的层级关系和目标数据,所述层级关系包括所述目标数据表的引用关系和所述目标数据表的被引用关系;
将所述层级关系、所述目标数据、所述目标指标确定为数据查询结果,通过预设模板显示所述数据查询结果。
2.根据权利要求1所述的方法,其特征在于,所述数据查询请求还包括业务描述信息,在所述通过预设模板显示所述数据查询结果之前,所述方法还包括:
将所述业务描述信息保存至所述数据库,并关联所述业务描述信息和所述目标数据表;
将所述业务描述信息添加至所述数据查询结果。
3.根据权利要求2所述的方法,其特征在于,在所述针对所述指标描述信息进行语义识别之前,所述方法还包括:
获取更新信息,所述更新信息包括指标更新信息和业务描述更新信息;
根据所述指标更新信息更新所述指标描述信息;
根据所述业务描述更新信息更新所述业务描述信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述指标关键词确定目标指标,包括:
获取指标记录表,所述指标记录表包括多个可用指标,所述可用指标与所述数据库的数据表相关联;
将与所述指标关键词相匹配的所述可用指标确定为所述目标指标。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述目标指标从数据库获取目标数据表之前,所述方法还包括:
确定多个响应对象,所述响应对象用于从所述数据库中获取数据表;
获取每个所述响应对象的运行状态信息,根据所述运行状态信息确定所述响应对象的响应时间信息;
根据所述响应时间信息确定目标响应对象;
所述根据所述目标指标从数据库获取目标数据表,还包括:
通过所述目标响应对象根据所述目标指标从所述数据库中获取所述目标数据表。
6.根据权利要求1所述的方法,其特征在于,所述预设模板包括默认模板和至少两个指标模板,所述指标模板关联有指标匹配信息,所述通过预设模板显示所述数据查询结果,包括:
将与所述目标指标相匹配的所述指标匹配信息所对应的指标模板确定为目标模板,通过所述目标模板显示所述数据查询结果;
或者,
当所述目标指标与所述指标匹配信息匹配不成功,通过所述默认模板显示所述数据查询结果。
7.根据权利要求1所述的方法,其特征在于,在所述通过预设模板显示所述数据查询结果之后,所述方法还包括:
从所述数据库的数据表中选取待检验数据表;
根据所述待检验数据表的所述层级关系确定所述待检验数据表的关联数据表;
获取预设的检验脚本,针对所述关联数据表运行所述检验脚本;
获取所述检验脚本输出的检验结果,当所述检验结果表征所述关联数据表的数据异常,生成告警信息。
8.一种基于指标分析的数据管理装置,其特征在于,包括:
请求获取单元,用于获取数据查询请求,所述数据查询请求包括指标描述信息;
识别单元,用于针对所述指标描述信息进行语义识别,得到指标关键词;
第一获取单元,用于根据所述指标关键词确定目标指标,根据所述目标指标从数据库获取目标数据表;
第二获取单元,用于获取所述目标数据表的层级关系和目标数据,所述层级关系包括所述目标数据表的引用关系和所述目标数据表的被引用关系;
显示单元,用于将所述层级关系、所述目标数据、所述目标指标确定为数据查询结果,通过预设模板显示所述数据查询结果。
9.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于指标分析的数据管理方法。
10.一种计算机可读存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于指标分析的数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111018105.6A CN113722370A (zh) | 2021-08-30 | 2021-08-30 | 基于指标分析的数据管理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111018105.6A CN113722370A (zh) | 2021-08-30 | 2021-08-30 | 基于指标分析的数据管理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113722370A true CN113722370A (zh) | 2021-11-30 |
Family
ID=78680328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111018105.6A Pending CN113722370A (zh) | 2021-08-30 | 2021-08-30 | 基于指标分析的数据管理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113722370A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637739A (zh) * | 2022-03-22 | 2022-06-17 | 平安国际融资租赁有限公司 | 数据库管控方法、系统、计算机设备及计算机存储介质 |
CN114647636A (zh) * | 2022-05-13 | 2022-06-21 | 杭银消费金融股份有限公司 | 大数据异常检测方法及系统 |
CN114663893A (zh) * | 2022-03-25 | 2022-06-24 | 李成卫 | 一种基于人工智能的数据识别方法、系统及云平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018014759A1 (zh) * | 2016-07-18 | 2018-01-25 | 阿里巴巴集团控股有限公司 | 一种聚类数据表的展现方法、装置和系统 |
CN108628894A (zh) * | 2017-03-21 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 数据仓库中的数据指标查询方法及装置 |
CN110069519A (zh) * | 2018-08-23 | 2019-07-30 | 平安科技(深圳)有限公司 | 数据信息管理方法、装置、计算机设备及存储介质 |
CN112182019A (zh) * | 2020-10-20 | 2021-01-05 | 国网福建省电力有限公司经济技术研究院 | 一种电网统计专业指标特征提取的语义解析搜索方法 |
-
2021
- 2021-08-30 CN CN202111018105.6A patent/CN113722370A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018014759A1 (zh) * | 2016-07-18 | 2018-01-25 | 阿里巴巴集团控股有限公司 | 一种聚类数据表的展现方法、装置和系统 |
CN108628894A (zh) * | 2017-03-21 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 数据仓库中的数据指标查询方法及装置 |
CN110069519A (zh) * | 2018-08-23 | 2019-07-30 | 平安科技(深圳)有限公司 | 数据信息管理方法、装置、计算机设备及存储介质 |
CN112182019A (zh) * | 2020-10-20 | 2021-01-05 | 国网福建省电力有限公司经济技术研究院 | 一种电网统计专业指标特征提取的语义解析搜索方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637739A (zh) * | 2022-03-22 | 2022-06-17 | 平安国际融资租赁有限公司 | 数据库管控方法、系统、计算机设备及计算机存储介质 |
CN114663893A (zh) * | 2022-03-25 | 2022-06-24 | 李成卫 | 一种基于人工智能的数据识别方法、系统及云平台 |
CN114647636A (zh) * | 2022-05-13 | 2022-06-21 | 杭银消费金融股份有限公司 | 大数据异常检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113722370A (zh) | 基于指标分析的数据管理方法、装置、设备及介质 | |
CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
CN105264555A (zh) | 评估控制 | |
CN110109908B (zh) | 基于社会基础信息挖掘人物潜在关系的分析系统及方法 | |
KR101953190B1 (ko) | 복잡한 양자 또는 다자 상대방 관계를 탐색하기 위해 이용되는 다차원 재귀적 학습 과정 및 시스템 | |
CN113868498A (zh) | 数据存储方法、电子装置、装置及可读存储介质 | |
CN112559523A (zh) | 数据探查方法、装置、电子设备以及存储介质 | |
CN112925757A (zh) | 一种追踪智能设备操作日志的方法、设备、存储介质 | |
CN111370113A (zh) | 一种基于物联云的远程心理辅导系统及方法 | |
CN110647523B (zh) | 数据质量的分析方法及装置、存储介质、电子设备 | |
CN116383193A (zh) | 一种数据管理方法、装置、电子设备和存储介质 | |
CN111652513A (zh) | 基于云平台的企业绩效考核系统、方法 | |
CN115346686A (zh) | 关系图谱生成方法及装置、存储介质及电子设备 | |
CN116681410A (zh) | 基于云计算的人力资源数据管理系统及管理方法 | |
CN113781068B (zh) | 线上问题解决方法、装置、电子设备和存储介质 | |
CN114722789B (zh) | 数据报表集成方法、装置、电子设备及存储介质 | |
CN112346938B (zh) | 操作审计方法、装置及服务器和计算机可读存储介质 | |
CN113743692B (zh) | 业务风险评估方法、装置、计算机设备和存储介质 | |
CN113849618A (zh) | 基于知识图谱的策略确定方法、装置、电子设备及介质 | |
CN114049036A (zh) | 数据计算平台、方法、设备及存储介质 | |
CN113435830A (zh) | 邮件信息汇总方法、系统、电子装置及存储介质 | |
CN112418260A (zh) | 模型训练方法、信息提示方法、装置、设备及介质 | |
CN113592017B (zh) | 一种深度学习模型标准化训练方法、管理系统、处理终端 | |
CN116629639B (zh) | 评估信息确定方法、装置、介质与电子设备 | |
CN112163740B (zh) | 基于区块链的维保人员评估结果获取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |