CN111694708A

CN111694708A - 数据查询方法、装置及电子设备、存储介质

Info

Publication number: CN111694708A
Application number: CN202010471024.0A
Authority: CN
Inventors: 何翔; 陈明鑫; 刘志刚
Original assignee: Sina Technology China Co Ltd
Current assignee: Sina Technology China Co Ltd
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2020-09-22

Abstract

本申请公开了一种数据查询方法、装置及服务器、存储介质，属于数据处理领域。该数据查询方法通过从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据；将提取到的目标监控数据整合为一个全局监控数据文件；将全局监控数据文件反馈至终端设备显示，从而无需用户对监控数据进行整理和维护，节省了时间成本和人力成本。

Description

数据查询方法、装置及电子设备、存储介质

技术领域

本申请属于数据处理领域，具体涉及一种数据查询方法、装置及服务器、存储介质。

背景技术

对处于运行状态的电子设备，通常需要监控其运行情况，以了解处于运行状态的是否出现故障。通常地，会采集数据监控服务监控电子设备的运行情况，每个数据监控服务可以监控多台电子设备。由于每个数据监控服务的数据处理能力有限，由此，每个数据监控服务监控的电子设备的数量也有限，因此对于大数量级的电子设备，需要多台电子设备进行监控。

在现有技术中，当用户需要查询大数量级的电子设备的监控数据时，需要向每个数据监控服务发送数据查询请求，从而得到多个相互之间没有关联的数据多个查询结果，这样会给用户进行监控数据的整理和维护造成困难，需要花费的时间成本和人力成本高。

发明内容

本申请实施例的目的是提供一种数据查询方法、装置及服务器、存储介质，能够解决进行监控数据的整理和维护造成困难，需要花费的时间成本和人力成本高的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种所述方法包括：

接收终端设备发送的数据查询请求，其中，所述数据查询请求携带有数据查询条件；

从至少两个数据监控服务中，分别提取符合所述数据查询条件的目标监控数据；

将提取到的目标监控数据整合为一个全局监控数据文件；

将所述全局监控数据文件反馈至所述终端设备显示。

第二方面，本申请实施例还提供了一种数据查询装置，所述装置包括：

信息接收单元，被配置成接收终端设备发送的数据查询请求，其中，所述数据查询请求携带有数据查询条件；

数据提取单元，被配置成从至少两个数据监控服务中，分别提取符合所述数据查询条件的目标监控数据；

文件整合单元，被配置成将提取到的目标监控数据整合为一个全局监控数据文件；

信息发送单元，被配置成将所述全局监控数据文件反馈至所述终端设备显示。

第三方面，本申请实施例提供了一种服务器，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本申请实施例中，通过从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据；将提取到的目标监控数据整合为一个全局监控数据文件；将全局监控数据文件反馈至终端设备显示，从而无需用户对监控数据进行整理和维护，节省了时间成本和人力成本。

附图说明

图1是本申请一种实施例提供的数据查询方法的流程图；

图2是本申请一种实施例提供的服务器分别与电子设备、终端设备的交互示意图；

图3是本申请一种实施例提供的数据查询方法的流程图；

图4是本申请一种实施例提供的数据查询方法的流程图；

图5是本申请一种实施例提供的数据查询方法的流程图；

图6是本申请一种实施例提供的数据查询方法的流程图；

图7是本申请一种实施例提供的数据查询方法的流程图；

图8是本申请一种实施例提供的数据查询装置的功能模块框图；

图9是本申请一种实施例提供的数据查询装置的功能模块框图；

图10是本申请一种实施例提供的数据查询装置的功能模块框图；

图11是本申请一种实施例提供的数据查询装置的功能模块框图；

图12是本申请一种实施例提供的服务器的电路连接框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据查询方法、装置及电子设备、存储介质进行详细地说明。

Prometheus服务：可以采用Pull方式向电子设备获取监控数据，并提供了多维的数据模型和灵活的查询接口，在配置方面，不仅支持通过静态文件配置监控对象，还支持自动发现机制；在数据采集方面，单机Prometheus可以采集数百个节点的监控数据；数据存储方面，单机Prometheus每秒可采集千万个指标。伴随着云时代的到来，Prometheus凭借这高性能、高可靠、易运维的特性，正在逐步成为云时代监控系统的标准。

请参阅图1，本申请实施例提供了一种数据查询方法，应用于服务器100。如图2所示，服务器100分别与终端设备200、多个电子设备300通信连接，以便进行数据交互。所述方法包括：

S11：接收终端设备200发送的数据查询请求，其中，数据查询请求携带有数据查询条件。

具体地，数据查询条件可以包括但不限于数据类型、数据采集时间、数据产生对象等等。

S12：从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据。

例如，提取指定的数据类型或数据采集时间或数据产生对象的目标监控数据。另外，数据监控服务可以为但不限于Prometheus服务。

假设包括四个数据监控服务，四个数据监控服务分别为数据监控服务A、数据监控服务B、数据监控服务C、数据监控服务D。数据监控服务A采集编号为1-10的电子设备300的监控数据；数据监控服务B采集编号为11-20的电子设备300的监控数据；数据监控服务C采集编号为21-30电子设备300的监控数据；数据监控服务D采集编号为31-40电子设备300的监控数据；则可以从采集到的编号为1-10的电子设备300的监控数据；编号为11-20的电子设备300的监控数据；编号为21-30电子设备300的监控数据；编号为31-40电子设备300的监控数据中分别提取符合数据查询条件的目标监控数据。

S13：将提取到的目标监控数据整合为一个全局监控数据文件。

S14：将全局监控数据文件反馈至终端设备200显示。

该数据查询方法通过从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据；将提取到的目标监控数据整合为一个全局监控数据文件；将全局监控数据文件反馈至终端设备200显示，从而无需用户对监控数据进行整理和维护，节省了时间成本和人力成本。

可选地，如图3所示，在S11之前，作为其中一种实施方式，所述方法还包括：

S31：利用数据监控服务采集多个电子设备300的监控数据。

采集监控数据的方式可以为：假设，包括四个数据监控服务，四个数据监控服务分别为数据监控服务A、数据监控服务B、数据监控服务C、数据监控服务D。数据监控服务A采集编号为1-10的电子设备300的监控数据；数据监控服务B采集编号为11-20的电子设备300的监控数据；数据监控服务C采集编号为21-30电子设备300的监控数据；数据监控服务D采集编号为31-40电子设备300的监控数据。

S32：将采集到的监控数据存储于分布式存储单元。

具体地，分布式存储单元可以为但不限于Ceph单元，分布式存储单元能够支持TB到PB级的数据规模的存储，打破了Prometheus服务的存储空间的限制，从而能够支持大数量级的监控数据的存储，实现监控数据的长时间保留。

另外，如图4所示，所述方法还包括：

S41：对采集到的监控数据进行复制，生成监控数据副本。

S42：将生成的监控数据副本存储于分布式存储单元。

由于分布式存储单元能够支持TB到PB级的数据规模的存储，因此，可以对监控数据进行备份存储，减少了数据丢失的风险。

可选地，如图5所示，作为另一种实施方式，在S11之前，所述方法还包括：

S51：利用数据监控服务采集多个电子设备300的监控数据。

S52：将满足预设的告警规则的监控数据确定为告警数据。

S53：对相同的告警数据进行收敛以及对类别维度相同的告警数据进行聚合。

其中，类别维度包括但不限于告警名称维度、机房维度、项目维度。

S54：根据收敛、聚合后的告警数据生成告警内容，并发送至终端设备200显示。

具体地，可以根据告警规则中的接收人字段的值，并根据告警规则中的告警方式(如：微信、邮件、QQ、微博私信)，调用第三方接口，将告警内容发送给指定的终端设备200。

通过S51-S54的数据处理过程，减少了数据在终端设备200展示的数据量，从而可以减少用户对监控数据的整理的工作量或阅读浏览的时间。

可选地，上述的方法还包括：接收终端设备200发送的条件处理请求，而对告警规则进行处理，其中，处理的方式包括：创建、查看、修改、开启、关闭、删除中的至少之一。通过对告警规则进行处理，提高了后续对告警数据展示的灵活性。

具体地，如图6所示，S54可以包括：

S61：确定将收敛、聚合后的告警数据的数据类型或数据量。

S62：根据数据类型或数据量，确定告警模板。

其中，告警模板可以包括但不限于单条告警模板、多条告警模板、恢复告警模板。

S63：根据告警数据、告警模板，生成告警内容。

具体地，如图7所示，S54可以包括：

S71：根据收敛、聚合后的告警数据生成的告警内容确定告警类型。

S72：将告警内容发送至告警类型关联的终端设备200。

通过S71-S72，实现了终端设备200对不同告警类型的告警内容的单独订阅，实现“差别式”告警。

请参阅图8，本申请实施例还提供了一种数据查询装置800，应用于服务器100。如图2所示，服务器100分别与终端设备200、多个电子设备300以便进行数据交互。需要说明的是，本申请实施例所提供的数据查询装置800，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述装置800包括信息接收单元801、数据提取单元802、文件整合单元803以及信息发送单元804，其中，

信息接收单元801，被配置成接收终端设备200发送的数据查询请求，其中，数据查询请求携带有数据查询条件。

数据提取单元802，被配置成从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据。

文件整合单元803，被配置成将提取到的目标监控数据整合为一个全局监控数据文件。

信息发送单元804，被配置成将全局监控数据文件反馈至终端设备200显示。

该数据查询装置800，在执行时可以实现如下功能：从至少两个数据监控服务中，分别提取符合数据查询条件的目标监控数据；将提取到的目标监控数据整合为一个全局监控数据文件；将全局监控数据文件反馈至终端设备200显示，从而无需用户对监控数据进行整理和维护，节省了时间成本和人力成本。

可选地，如图9所示，作为其中一种实施方式，所述装置800还包括：

数据采集单元901，被配置成利用数据监控服务采集多个电子设备300的监控数据。

数据存储单元902，被配置成将采集到的监控数据存储于分布式存储单元。

可选地，数据存储单元902还被配置成对采集到的监控数据进行复制，生成监控数据副本；将生成的监控数据副本存储于所述分布式存储单元。

可选地，作为另一种实施方式，如图10所示，所述装置800还包括：

数据采集单元1001，被配置成利用数据监控服务采集多个电子设备300的监控数据。

告警数据确定单元1002，被配置成将满足预设的告警规则的监控数据确定为告警数据。

数据处理单元1003，被配置成对相同的告警数据进行收敛以及对类别维度相同的告警数据进行聚合；

信息发送单元804，还被配置成根据收敛、聚合后的告警数据生成告警内容，并发送至终端设备200显示。

所述装置800还可以包括：规则处理单元，被配置成接收终端设备200发送的条件处理请求，而对告警规则进行处理，其中，所述处理的方式包括：创建、查看、修改、开启、关闭、删除中的至少之一。

如图11所示，信息发送单元804包括：

数据确定模块1101，被配置成确定将收敛、聚合后的告警数据的数据类型或数据量。

模板确定模块1102，被配置成根据数据类型或数据量，确定告警模板。

告警内容生成模块1103，被配置成根据告警数据、告警模板，生成告警内容。

信息发送单元804被具体配置成根据收敛、聚合后的告警数据生成的告警内容确定告警类型；将告警内容发送至所述告警类型关联的终端设备200。

图12是本申请的一个实施例服务器的结构示意图。请参考图12，在硬件层面，该服务器包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如，高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该服务器还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据查询装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

将提取到的目标监控数据整合为一个全局监控数据文件；

将所述全局监控数据文件反馈至所述终端设备显示。

上述如本申请图1所示实施例揭示的数据查询装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该服务器还可执行图1的方法，并实现数据查询装置在图1所示实施例的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的服务器并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式服务器执行时，能够使该便携式服务器执行图1所示实施例的方法，并具体用于执行以下操作：

将提取到的目标监控数据整合为一个全局监控数据文件；

将所述全局监控数据文件反馈至所述终端设备显示。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims

1.一种数据查询方法，其特征在于，所述方法包括：

将提取到的目标监控数据整合为一个全局监控数据文件；

将所述全局监控数据文件反馈至所述终端设备显示。

2.根据权利要求1所述的方法，其特征在于，在所述接收终端设备发送的数据查询请求之前，所述方法还包括：

利用数据监控服务采集多个电子设备的监控数据；

将采集到的监控数据存储于分布式存储单元。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对采集到的监控数据进行复制，生成监控数据副本；

将生成的监控数据副本存储于所述分布式存储单元。

4.根据权利要求1所述的方法，其特征在于，在所述接收终端设备发送的数据查询请求之前，所述方法还包括：

利用数据监控服务采集多个电子设备的监控数据；

将满足预设的告警规则的监控数据确定为告警数据；

对相同的告警数据进行收敛以及对类别维度相同的告警数据进行聚合；

根据收敛、聚合后的告警数据生成告警内容，并将所述告警内容发送至终端设备显示。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：接收终端设备发送的条件处理请求，而对所述告警规则进行处理，其中，所述处理的方式包括：创建、查看、修改、开启、关闭、删除中的至少之一。

6.根据权利要求4所述的方法，其特征在于，所述根据收敛、聚合后的告警数据生成告警内容，包括：

确定将收敛、聚合后的告警数据的数据类型或数据量；

根据所述数据类型或数据量，确定告警模板；

根据所述告警数据、所述告警模板，生成告警内容。

7.根据权利要求4所述的方法，其特征在于，所述将所述告警内容发送至终端设备显示，包括：

根据所述告警内容确定告警类型；

将所述告警内容发送至所述告警类型关联的终端设备。

8.一种数据查询装置，其特征在于，所述装置包括：

9.一种服务器，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7所述的数据查询方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7所述的数据查询方法的步骤。