CN114443660A - 异常定位方法、装置、存储介质和计算设备 - Google Patents

异常定位方法、装置、存储介质和计算设备 Download PDF

Info

Publication number
CN114443660A
CN114443660A CN202210094517.6A CN202210094517A CN114443660A CN 114443660 A CN114443660 A CN 114443660A CN 202210094517 A CN202210094517 A CN 202210094517A CN 114443660 A CN114443660 A CN 114443660A
Authority
CN
China
Prior art keywords
data
chart
preset
target data
data table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210094517.6A
Other languages
English (en)
Inventor
汪源
余利华
郭忆
胡雪亮
张佃鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202210094517.6A priority Critical patent/CN114443660A/zh
Publication of CN114443660A publication Critical patent/CN114443660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24573Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开的实施方式提供了一种异常定位方法、装置、存储介质和计算设备。包括:确定待定位异常的目标数据图表;获取生成所述目标数据图表的数据表的元信息;将所述数据表的元信息与预设规则进行匹配;将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。应用上述实施例可以确定造成目标数据图表生成异常的异常原因。

Description

异常定位方法、装置、存储介质和计算设备
技术领域
本公开的实施方式涉及计算机技术领域,更具体地,本公开的实施方式涉及一种异常定位方法、装置、存储介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
数据图表是一种通过技术手段将数据以可视化的图表的形式进行展示的技术。通过数据图表可以帮助用户进行直观地感知数据之间的关系;一般的,数据图表可以应用于数据挖掘、数据分析等场景。
在数据图表使用过程中可能会出现数据图表生成异常的问题,因此需要针对数据图表进行异常定位。
发明内容
为此,本公开实施方式提供了以下异常定位方法、装置、存储介质和设备,用于确定造成目标数据图表生成异常的异常原因。
在本公开实施方式的第一方面中,提供了一种异常定位方法包括:
确定待定位异常的目标数据图表;
获取生成所述目标数据图表的数据表的元信息;
将所述数据表的元信息与预设规则进行匹配;
将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。
可选的,所述确定待定位异常的目标数据图表,包括:
根据预设时间段内所有数据图表的生成时长,计算预设指标的指标时长;
当任一数据图表的生成时长与所述指标时长满足预设条件时,将所述满足预设条件的数据图表确定为目标数据图表。
可选的,所述获取生成所述目标数据图表的数据表的元信息,包括:
获取生成所述目标数据图表时对应的数据模型和数据连接;
从所述数据连接的配置信息中获取数据源的服务地址;
根据所述服务地址,调用所述数据源提供的预设接口,获取所述数据模型对应的数据表的元信息;其中,所述数据表为所述数据源中的数据表,所述数据表用于生成所述目标数据图表。
可选的,所述预设接口包括第一接口和/或第二接口;
所述第一接口用于获取数据模型对应的数据表的元数据;
所述第二接口用于获取数据模型对应的数据表的分区数据。
可选的,所述异常原因包括所述目标数据图表的图表数据检索范围过大。
可选的,所述方法还包括:
缩小所述目标数据图表的图表数据检索范围。
可选的,所述数据图表包括BI图表。
在本公开实施方式的第二方面中,提供了一种异常定位装置,所述装置包括:
确定单元,确定待定位异常的目标数据图表;
获取单元,获取生成所述目标数据图表的数据表的元信息;
匹配单元,将所述数据表的元信息与预设规则进行匹配;
定位单元,将匹配成功的预设规则对应的预设原因确定为导致所述目标数据图表生成慢的原因。
可选的,所述确定单元进一步包括:
计算子单元,根据预设时间段内所有数据图表的生成时长,计算预设指标的指标时长;
确定子单元,当任一数据图表的生成时长与所述指标时长满足预设条件时,将所述满足预设条件的数据图表确定为目标数据图表。
可选的,所述获取单元进一步包括:
第一获取子单元,获取生成所述目标数据图表时对应的数据模型和数据连接;
第二获取子单元,从所述数据连接的配置信息中获取数据源的服务地址;
第三获取子单元,根据所述服务地址,调用所述数据源提供的预设接口,获取所述数据模型对应的数据表的元信息;其中,所述数据表为所述数据源中的数据表,所述数据表用于生成所述目标数据图表。
可选的,所述预设接口包括第一接口和/或第二接口;
所述第一接口用于获取数据模型对应的数据表的元数据;
所述第二接口用于获取数据模型对应的数据表的分区数据。
可选的,所述异常原因包括生成所述目标数据图表的图表数据检索范围过大。
可选的,所述装置还包括:
处理单元,缩小所述目标数据图表的图表数据检索范围。
可选的,所述数据图表包括BI图表。
在本公开实施方式的第三方面中,提供了一种计算机可读存储介质,包括:
当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前任一项所述的异常定位方法。
在本公开实施方式的第四方面中,提供了一种计算设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令,以实现如前任一项所述的异常定位方法。
根据本公开实施方式提供的异常定位方案,通过确定存在异常的目标数据图表并获取生成目标数据图表的数据表的元信息,利用所述元信息与预设规则进行匹配,最终将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示意性地示出了本公开提供的数据图表的系统示意图;
图2示意性地示出了本公开提供的异常定位方法示意图;
图3示意性地示出了本公开提供的介质示意图;
图4示意性地示出了本公开提供的异常定位装置示意图;
图5示意性地示出了本公开提供的计算设备示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本公开的实施方式,提出了一种异常定位方法、计算机可读存储介质、装置和计算设备。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本公开的若干代表性实施方式,详细阐释本公开的原理和精神。
发明概述
本发明人发现,在数据图表使用过程中可能会出现数据图表生成异常的问题,因此需要针对数据图表进行异常定位。
例如数据图表生成异常可以包括数据图表生成慢,为此需要定位导致数据图表生成慢的原因。
在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
首先参考图1示出的一种适用于数据图表的示例性的系统架构图。该系统架构图中,各种网络节点借助网络可以实现信息的通信,继而完成交互和数据的处理。
系统架构图可以包括经由网络112与一个或多个客户端106进行数据通信的服务端105,以及可以集成于服务端105或独立于服务端105的数据源115。
每个网络112都可以包括有线或无线电信装置,客户端106所基于的网络装置可以通过所述有线或无线电信装置来交换数据。例如,每个网络112都可以包括局域网(“LAN”)、广域网(“WAN”)、内部网、互联网、移动电话网络、虚拟专用网(VPN)、蜂窝式或其它移动通信网络、蓝牙、NFC或其任何组合。在示例性实施方案的讨论中,应理解,术语“数据”和“信息”可在本文中互换使用来指代可存在于基于计算机的环境中的文字、图像、音频、视频或任何其它形式的信息。
每个客户端106所基于的网络装置都可以包括具有能够经由网络112发出并接收数据的通信模块的装置。例如,每个客户端106所基于的网络装置都可以包括服务器、台式计算机、膝上型计算机、平板计算机、智能手机、手持式计算机、个人数字助理(“PDA”),或者其它任何的有线或无线处理器驱动装置。
图1中,与服务端105可以是集成关系或分立关系的数据源115,一般可以通过内部网络或专用网络连接,或者也可以通过加密的公共网络连接。特别的,当为集成关系时,可能采用更高效、传输速度更快的内部总线形式的连接。
上述数据源115具体可以提供或存储用于生成数据图表的图表数据。
用户(包括个人、企业或组织)可以使用客户端106上安装的如网页浏览器应用程序或独立应用程序的应用程序,以便经由网络112访问上述服务端105并通过上述服务端105访问上述数据源115;或者经由网络112直接访问上述数据源115。以便从上述数据源115中获取用于生成数据图表的图表数据,进而根据获取到的图表数据来生成数据图表。
另外,服务端105也可以根据指令直接访问上述数据源115,以便从上述数据源115中获取用于生成数据图表的图表数据,进而根据获取到的图表数据来生成数据图表。
在实际应用中,上述数据图表可以包括各种类型的数据图表,例如BI(BusinessIntelligence,商业智能或商务智能)图表。
应用BI图表时,可以帮助用户(包括个人、企业或组织)进行数据分析、数据挖掘、业务决策等以实现一定的商业价值。
示例性方法
下面结合图1所示的应用场景,参考图2来描述根据本公开示例性实施方式的异常定位的方法。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
图2所示的方法实施例可以应用于其它任意可以生成并展示数据图表的电子设备,例如应用于前述图1所示系统架构图中的客户端或服务端。具体地,上述异常定位方法可以包括以下步骤:
步骤210:确定待定位异常的目标数据图表。
电子设备需要确定哪些数据图表是存在异常的目标数据图表。
在一示例性的实施例中,所述确定待定位异常的目标数据图表,可以包括:
根据预设时间段内所有数据图表的生成时长,计算预设指标的指标时长;
当任一数据图表的生成时长与所述指标时长满足预设条件时,将所述满足预设条件的数据图表确定为目标数据图表。
以最近30天(预设时间段)为例,电子设备可以获取最近30天所有数据图表的生成时长;所述生成时长可以是指生成数据图表所需的时长。然后根据这最近30天所有数据图表的生成时长,计算预设指标的指标时长;其中,所述预设指标可以包括各种具有统计功能的指标类型,例如平均值、方差、中位数等。在一些实施例中还可以采用自定义指标,例如企业根据实际业务需要自定义的企业内部指标。在使用时可以根据实际需要灵活配置具体的指标类型,本说明书并不对其进行限定。
应用上述示例,以数据图表的生成时长为参考维度,以预设时间段内的指标时长为参考依据,当任一数据图表的生成时长与计算出的指标时长之间满足预设条件时,说明这样的数据图表生成比较慢,因此可以将这样的数据图表确定为异常的数据图表即上述的目标数据图表。
其中,上述预设条件可以根据实际需要进行配置,例如以生成时长大于指标时长,且大于的时长达到预设时长这一预设条件为例,当任一数据图表的生成时长大于指标时长,并且大于的时长达到预设时长时,就可以将这样的数据图表确定为目标数据图表。
步骤220:获取生成所述目标数据图表的数据表的元信息。
电子设备在确定了目标数据图表之后,进一步需要获取生成目标数据图表的数据表的元信息。
数据表是指生成目标数据图表的图表数据所位于的数据表。一般的,图表数据是存储在数据源中的,而为了方便管理,不同的图表数据可以写在不同的数据表中;因此,对于一个数据图表来说可能对应有不同的数据表。
元信息是一种描述信息的信息,例如描述信息的结构、语义、功能、统计信息等。相应地,上述数据表的元信息可以是指描述数据表和/或数据表中数据的信息。
在一示例性的实施例中,所述获取生成所述目标数据图表的数据表的元信息,可以包括:
获取生成所述目标数据图表时对应的数据模型和数据连接;
从所述数据连接的配置信息中获取数据源的服务地址;
根据所述服务地址,调用所述数据源提供的预设接口,获取所述数据模型对应的数据表的元信息;其中,所述数据表为所述数据源中的数据表,所述数据表用于生成所述目标数据图表。
在实际应用中,数据图表的生成依赖于数据模型和数据连接;其中,所述数据模型是指图表数据的数据集,数据连接用于建立电子设备与数据源之间的通信链接。
该示例中,为了获取数据表的元信息,需要预先在电子设备的数据连接中配置数据源的服务地址,所述服务地址可以包括例如数据源的IP地址、端口号等唯一指向数据源的地址信息。
另外,数据源还需要配置可以被外部调用的预设接口,使得电子设备可以调用数据源对外提供的预设接口以获取数据表的元信息。
应用上述示例,通过配置数据源的服务地址以及数据源的预设接口,电子设备可以通过数据连接中配置的服务地址,调用数据源提供的预设接口,以获取数据模型对应的数据表的元信息。
在一示例性的实施例中,所述预设接口包括第一接口和/或第二接口;
所述第一接口用于获取数据模型对应的数据表的元数据;
所述第二接口用于获取数据模型对应的数据表的分区数据。
该示例中,上述数据表的元信息可以包括数据表的元数据和数据表的分区数据。也就是说,元信息和元数据是包含与被包含的关系,即元信息包含元数据,而元数据包含于元信息;一般在数学算式中记为元信息
Figure BDA0003490503190000081
元数据。
在本说明书中,数据表的元信息描述的是数据表的分区数据,而分区数据可以细分为分区自身的数据,和与分区相关的数据。
其中,所述数据表的分区数据用于描述分区自身的数据,即所述数据表的分区数据可以包括数据表的分区字段和分区字段值(即分区自身的数据)。例如,所述数据表的分区字段可以包括表示分区数量的字段count,表示分区名称的字段partition,表示分区创建时间的字段createTion,表示分区更新时间的字段updateTion,表示分区大小的字段totalSize,表示行数的字段numRows,表示文件总数的字段numFile等等。
其中,所述数据表的元数据用于描述与分区相关的数据。例如,所述数据表是否存在分区字段、是否设置分区筛选器、表文件的存储格式、表文件的小文件分区数量、表文件的大分区数量等等。
其中,针对小文件分区可以根据分区中小文件的数量确定,例如可以将小于64MB的文件认定为小文件,并且将小文件数量大于10个的分区认定为是小文件分区。
针对大分区可以根据分区的大小确定,例如可以将大于10GB的分区认定为是大分区。
步骤230:将所述数据表的元信息与预设规则进行匹配。
步骤240:将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。
本说明书中,可以根据各种异常原因配置对应的预设规则,这样通过将获取到的数据表的元信息与预设规则进行匹配,可以将匹配成功的预设规则对应的预设原因确定为目标数据图表的异常原因。
应用上述实施例,由于数据表的元信息中包含那些反映数据图表生成异常的信息,因此根据已知异常原因可以反向推导出与元信息匹配的预设规则。这样,在对存在异常的目标数据图表进行异常定位时,可以通过获取生成目标数据图表的数据表的元信息,利用所述元信息与预设规则进行匹配,最终将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。
在实际使用中,造成目标数据图表异常的异常原因可以包括目标数据图表的图表数据检索范围过大。由于图表数据检索范围过大,导致数据源检索这些图表数据所需的时间较长,因此最终导致数据图表生成慢。
以下介绍几种图表数据检索范围过大的示例:
在第一个示例中,所述数据表的元信息可以包括是否存在分区字段、是否设置分区筛选器;
所述预设规则包括数据表存在分区字段并且未设置分区筛选器;
所述将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因,包括:
在所述数据表存在分区字段并且未设置分区筛选器时,将未设置分区字段筛选确定为导致所述目标数据图表生成慢的原因。
该示例中,数据表存在分区字段说明数据表中数据分别存储在不同的分区。分区筛选器的作用可以是在数据检索时指定从哪些分区中进行检索。假设图表数据仅位于数据表的A分区,那么实际上可以通过分区筛选器限定仅从A分区中检索图表数据。如此缩小了数据检索范围,从而减少数据检索时长。
然而,由于数据表未设置分区筛选器,因此在检索图表数据时,需要遍历数据表的所有分区中数据,从而增加了无效检索时间导致数据检索时长较长,最终导致数据图表生成慢。
在第二个示例中,所述数据表的元信息包括表文件的存储格式;
所述预设规则包括表文件的存储格式不支持分区字段筛选;
所述将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因,包括:
在所述数据表的表文件的存储格式不支持分区字段筛选时,将表文件的存储格式不支持分区字段筛选确定为导致所述目标数据图表生成慢的原因。
其中,针对表文件的存储格式可以包括TextFile、ORCFile、Parquet等等;而支持分区字段筛选的存储格式可以包括Parquet。
该示例中,是否支持分区字段筛选关乎图表数据检索范围,如果可以分区字段筛选,那么在数据检索时就可以缩小数据检索范围,从而减少数据检索时长。反之,如果不能分区字段筛选,那么在数据检索时只能遍历所有分区中数据,从而增加了无效检索时间导致数据检索时长较长,最终导致数据图表生成慢。
在第三个示例中,所述数据表的元信息包括表文件的小文件分区数量;
所述预设规则包括表文件的小文件分区数量大于第一阈值;
所述将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因,包括:
在所述数据表的表文件的小文件分区数量大于第一阈值时,数据表的小文件分区过多确定为导致所述目标数据图表生成慢的原因。
其中,第一阈值可以是一个经验值,例如第一阈值可以为10,即当小文件分区数量大于10个时,与预设规则匹配成功。需要说明的是第一阈值可以根据实际需求灵活进行配置。
该示例中,每次访问文件分区都需要一定的访问时长,当需要访问的小文件分区数量过多时,累计的访问时长将比较长,甚至会超过读取所需的图表数据的读取时长。
在第四个示例中,所述数据表的元信息包括表文件的大分区数量;
所述预设规则包括表文件的大分区数量大于第二阈值;
所述将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因,包括:
在所述数据表的表文件的大分区数量大于第二阈值时,将数据表的分区过大确定为导致所述目标数据图表生成慢的原因。
其中,第二阈值可以是一个经验值,例如第二阈值可以为0,即当存在大分区时,与预设规则匹配成功。需要说明的是第二阈值可以根据实际需求灵活进行配置。
该示例中,当图表数据位于大分区中时,需要遍历大分区中所有数据,才可以获取所需的图表数据;由于大分区一般是指存储有海量数据的分区,因此数据检索范围较大,从而导致数据检索时长较长,最终导致数据图表生成慢。
在实际应用中,异常原因除了图表数据检索范围过大还可能包括其他原因,例如以下第五个示例中描述的统计信息缺失。
在第五个示例中,所述预设规则包括元信息存在统计信息缺失;
所述将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因,包括:
在所述数据表的元信息存在统计信息缺失时,将统计信息缺失确定为导致所述目标数据图表生成慢的原因。
该示例中,统计信息可以直接用于数据图表中,如果某些统计信息缺失,那么数据图表在生成过程中,需要根据获取到的图表数据进行额外的计算,无疑会增加数据图表生成时长。
在本说明书中,在确定了目标数据图表异常原因后,还可以基于所述异常原因,修复所述目标数据图表。
如前所述的,目标数据图表的异常原因可以包括所述目标数据图表的图表数据检索范围过大;
相应地,修复所述目标数据图表可以包括缩小所述目标数据图表的图表数据检索范围。
结合前述第一到第五个示例以下分别提供对应的修复方案:
针对前述第一个示例中所示的未设置分区字段筛选的异常原因,修复方案可以包括为所述数据表设置分区筛选器。
应用该示例,通过设置分区筛选器在数据检索时缩小数据检索范围,减少数据检索时长,从而加快目标数据图表生成速度。
针对前述第二个示例中所示的表文件的存储格式不支持分区字段筛选的异常原因,修复方案可以包括:
创建支持分区字段筛选的第二数据表,并将当前数据表中数据导入所述第二数据表中,以所述第二数据表中数据生成所述目标数据图表。
应用该示例,通过将不支持分区字段筛选的数据表中数据导入支持分区字段筛选的第二数据表,从而在针对第二数据表的数据检索时可以缩小数据检索范围,减少数据检索时长,从而加快目标数据图表生成速度。
针对前述第三个示例中所示的数据表的小文件分区过多的异常原因,修复方案可以包括:
合并所述表文件的小文件分区,直到小文件分区的数量不大于第一阈值。
应用该示例,通过将分散的图表数据统一合并到数量较少的文件分区下,那么就可以大为减少访问文件分区所需的访问时长,从而减少数据检索时长,从而加快目标数据图表生成速度。
针对前述第四个示例中所示的数据表的分区过大的异常原因,修复方案可以包括:
按照所述目标数据图表对应的数据字段,将所述大分区中所述数据字段的数据拆分为新表,以所述新表中数据生成目标数据图表。
应用该示例,通过将图表数据单独拆分到新表中,在数据检索时只需要遍历新表中数据,缩小数据检索范围,减少数据检索时长,从而加快目标数据图表生成速度。
针对前述第五个示例中所示的统计信息缺失的异常原因,修复方案可以包括:
通过执行预设指令,添加元信息中缺失的统计信息。
其中,针对未分区的数据表,可以执行compute stats指令以添加所述未分区的数据表的元信息中缺失的统计信息;
针对分区的数据表,可以执行compute incremental stats X指令以添加所述分区的数据表的元信息中缺失的统计信息;其中,所述X表示所述分区的数据表的分区名称。
应用该示例,通过执行预设指令,补全元信息中缺失的统计信息,在数据图表生成时直接使用统计信息,从而加快目标数据图表生成速度。
示例性介质
在介绍了本公开示例性实施方式的方法之后,接下来,参考图3对本公开示例性实施方式的介质进行说明。
本示例性实施方式中,可以通过程序产品实现上述方法,如可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RE等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
在介绍了本公开示例性实施方式的介质之后,接下来,参考图4对本公开示例性实施方式的装置进行说明。
图4示意性地示出了根据本公开实施方式的一种异常定位装置的框图,对应于前述图2所示的方法实施例,该异常定位装置可以包括:
确定单元410,确定待定位异常的目标数据图表;
获取单元420,获取生成所述目标数据图表的数据表的元信息;
匹配单元430,将所述数据表的元信息与预设规则进行匹配;
定位单元440,将匹配成功的预设规则对应的预设原因确定为导致所述目标数据图表生成慢的原因。
在一示例性的实施例中,所述确定单元410进一步包括:
计算子单元412,根据预设时间段内所有数据图表的生成时长,计算预设指标的指标时长;
确定子单元414,当任一数据图表的生成时长与所述指标时长满足预设条件时,将所述满足预设条件的数据图表确定为目标数据图表。
在一示例性的实施例中,所述获取单元420进一步包括:
第一获取子单元422,获取生成所述目标数据图表时对应的数据模型和数据连接;
第二获取子单元424,从所述数据连接的配置信息中获取数据源的服务地址;
第三获取子单元426,根据所述服务地址,调用所述数据源提供的预设接口,获取所述数据模型对应的数据表的元信息;其中,所述数据表为所述数据源中的数据表,所述数据表用于生成所述目标数据图表。
在一示例性的实施例中,所述预设接口包括第一接口和/或第二接口;
所述第一接口用于获取数据模型对应的数据表的元数据;
所述第二接口用于获取数据模型对应的数据表的分区数据。
在一示例性的实施例中,所述异常原因包括生成所述目标数据图表的图表数据检索范围过大。
在一示例性的实施例中,所述装置还包括:
处理单元450小所述目标数据图表的图表数据检索范围。
在一示例性的实施例中,所述数据图表包括BI图表。
示例性计算设备
在介绍了本公开示例性实施方式的方法、介质和装置之后,接下来,参考图5对本公开示例性实施方式的计算设备进行说明。
图5显示的计算设备500仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,计算设备500以通用计算设备的形式表现。计算设备500的组件可以包括但不限于:上述至少一个处理单元501、上述至少一个存储单元502,连接不同系统组件(包括处理单元501和存储单元502)的总线503。
总线503包括数据总线、控制总线和地址总线。
存储单元502可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)5021和/或高速缓存存储器5022,可以进一步包括非易失性存储器形式的可读介质,例如只读存储器(ROM)5023。
存储单元502还可以包括具有一组(至少一个)程序模块5024的程序/实用工具5025,这样的程序模块5024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备500也可以与一个或多个外部设备504(例如键盘、指向设备等)通信。
这种通信可以通过输入/输出(I/O)接口505进行。并且,计算设备500还可以通过网络适配器506与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器506通过总线503与计算设备500的其它模块通信。应当理解,尽管图中未示出,可以结合计算设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了异常定位装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种异常定位方法,包括:
确定待定位异常的目标数据图表;
获取生成所述目标数据图表的数据表的元信息;
将所述数据表的元信息与预设规则进行匹配;
将匹配成功的预设规则对应的预设原因确定为所述目标数据图表的异常原因。
2.根据权利要求1所述的方法,所述确定待定位异常的目标数据图表,包括:
根据预设时间段内所有数据图表的生成时长,计算预设指标的指标时长;
当任一数据图表的生成时长与所述指标时长满足预设条件时,将所述满足预设条件的数据图表确定为目标数据图表。
3.根据权利要求1所述的方法,所述获取生成所述目标数据图表的数据表的元信息,包括:
获取生成所述目标数据图表时对应的数据模型和数据连接;
从所述数据连接的配置信息中获取数据源的服务地址;
根据所述服务地址,调用所述数据源提供的预设接口,获取所述数据模型对应的数据表的元信息;其中,所述数据表为所述数据源中的数据表,所述数据表用于生成所述目标数据图表。
4.根据权利要求3所述的方法,所述预设接口包括第一接口和/或第二接口;
所述第一接口用于获取数据模型对应的数据表的元数据;
所述第二接口用于获取数据模型对应的数据表的分区数据。
5.根据权利要求1所述的方法,所述异常原因包括所述目标数据图表的图表数据检索范围过大。
6.根据权利要求5所述的方法,所述方法还包括:
缩小所述目标数据图表的图表数据检索范围。
7.根据权利要求1-6中任一项所述的方法,所述数据图表包括BI图表。
8.一种异常定位装置,包括:
确定单元,确定待定位异常的目标数据图表;
获取单元,获取生成所述目标数据图表的数据表的元信息;
匹配单元,将所述数据表的元信息与预设规则进行匹配;
定位单元,将匹配成功的预设规则对应的预设原因确定为导致所述目标数据图表生成慢的原因。
9.一种计算机可读存储介质,包括:
当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-7中任一项所述的异常定位方法。
10.一种计算设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令,以实现如权利要求1-7中任一项所述的异常定位方法。
CN202210094517.6A 2022-01-26 2022-01-26 异常定位方法、装置、存储介质和计算设备 Pending CN114443660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210094517.6A CN114443660A (zh) 2022-01-26 2022-01-26 异常定位方法、装置、存储介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210094517.6A CN114443660A (zh) 2022-01-26 2022-01-26 异常定位方法、装置、存储介质和计算设备

Publications (1)

Publication Number Publication Date
CN114443660A true CN114443660A (zh) 2022-05-06

Family

ID=81368909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210094517.6A Pending CN114443660A (zh) 2022-01-26 2022-01-26 异常定位方法、装置、存储介质和计算设备

Country Status (1)

Country Link
CN (1) CN114443660A (zh)

Similar Documents

Publication Publication Date Title
US10083202B2 (en) Verifying data consistency
US9811577B2 (en) Asynchronous data replication using an external buffer table
US10366052B2 (en) Identifying partial update for tape file system
CN110119386B (zh) 数据处理方法、数据处理装置、介质和计算设备
CN111881012A (zh) 一种日志记录方法、装置、设备及存储介质
US10855750B2 (en) Centralized management of webservice resources in an enterprise
CN110555150A (zh) 一种数据监控方法、装置、设备和存储介质
US20190324763A1 (en) Insertion of custom activities in an orchestrated application suite
US10394773B2 (en) Determining when a change set was delivered to a workspace or stream and by whom
CN106776136B (zh) 数据库处理方法和装置
CN108647284B (zh) 记录用户行为的方法及装置、介质和计算设备
CN111338834A (zh) 数据存储方法和装置
CN110825802A (zh) 多类型数据库数据的备份方法、装置、设备及存储介质
US11120005B2 (en) Reliable workflow system provenance tracking at runtime
US11314732B2 (en) Database migration technique
WO2021012554A1 (zh) 区块链中数据字段的更新方法、装置、介质、电子设备
CN112148712A (zh) 一种数据处理方法、装置、设备及介质
CN117076457A (zh) 数据处理方法、装置、设备及存储介质
CN114443660A (zh) 异常定位方法、装置、存储介质和计算设备
CN113722007B (zh) Vpn分支设备的配置方法、装置及系统
CN113220237B (zh) 一种分布式存储方法、装置、设备及存储介质
US10212116B2 (en) Intelligently condensing transcript thread history into a single common reduced instance
CN113297403A (zh) 图像智能存储方法、系统、设备及存储介质
CN113111138A (zh) 数据处理方法、装置、计算设备以及介质
US20150220548A1 (en) Searching for and retrieving files from a database using metadata defining accesses to files that do not modify the accessed file

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination