CN112559286A - 一种数据采集方法、装置、电子设备及计算机可读存储介质 - Google Patents

一种数据采集方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112559286A
CN112559286A CN202011432788.5A CN202011432788A CN112559286A CN 112559286 A CN112559286 A CN 112559286A CN 202011432788 A CN202011432788 A CN 202011432788A CN 112559286 A CN112559286 A CN 112559286A
Authority
CN
China
Prior art keywords
target
data acquisition
database
data
target database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011432788.5A
Other languages
English (en)
Other versions
CN112559286B (zh
Inventor
严文韬
何小栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mass Database Technology Co Ltd
Original Assignee
Guangzhou Mass Database Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mass Database Technology Co Ltd filed Critical Guangzhou Mass Database Technology Co Ltd
Priority to CN202011432788.5A priority Critical patent/CN112559286B/zh
Publication of CN112559286A publication Critical patent/CN112559286A/zh
Application granted granted Critical
Publication of CN112559286B publication Critical patent/CN112559286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据采集方法，其特征在于，所述方法应用于数据库监控系统的数据采集器，监控系统可以同时对若干个服务器对应的数据库进行数据采集，无需在每个目标数据库对应的服务器上安装数据采集器，从而避免在每个服务器上安装数据采集器占用服务器的部分资源，影响服务器及其对应的数据库的运行效率的问题，提高了数据采集的稳定性。

Description

一种数据采集方法、装置、电子设备及计算机可读存储介质
技术领域
本说明书一个或多个实施例涉及数据库的数据采集技术领域，尤其涉及一种数据采集方法、装置、电子设备及计算机可读存储介质。
背景技术
目前的数据库的监控系统的数据采集方式，均是通过在目标服务器(所监测数据库所在的服务器)上安装agent(一种数据采集器)，然后agent采集服务器上的指标数据，再推送到监控系统进行存储。当监控的服务器或数据库较多的时候，需要针对每一个服务器进行安装，而且agent方式会侵入服务器，占用服务器的部分资源，另外如果采集的agent被意外关闭，则导致该服务器无法继续采集指标。
故此，亟需一种不会过多占用服务器资源，且能稳定采集数据库数据的数据采集方法。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种数据采集方法，以实现在不过多占用服务器资源的情况下，采集服务器中数据库运行数据的数据采集方法。
基于上述目的，本说明书一个或多个实施例提供了一种数据采集方法，所述方法应用于数据库的监控系统的数据采集器，所述方法包括：
接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；
根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；
访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
可选的，每个所述数据采集任务均具有各自分别对应的任务标识，所述根据所述数据采集任务集确定待数据采集的若干目标数据库的步骤，包括：
根据所述数据采集任务集确定第一关联集合，所述第一关联集合为所述数据采集任务集中各个数据采集任务对应的任务标识与待采集数据的数据库对应的身份标识相关联的集合；
根据所述数据采集任务集中各个采集任务对应的所述任务标识查找所述第一关联集合，得到所述各个任务标识各自分别对应的第一身份标识；
将与所述各个任务标识各自分别对应的第一身份标识对应的待采集数据的数据库确定为所述目标数据库。
可选的，所述访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数的步骤，包括：
针对每一个目标数据库，访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数；
将所述目标性能参数与所述任务标识及所述身份标识进行关联，得到所述目标性能参数、所述任务标识及所述身份标识之间相关联的第二关联集合；
基于所述第二关联集合将与所述身份标识分别对应的各所述目标性能参数存储于所述本地数据库，所述本地数据库具有预存储的所述目标数据库对应的身份标识。
可选的，所述待采集数据的数据库包括记录数据库性能参数的性能参数数据集，所述访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数的步骤，包括：
根据所述数据采集任务确定所述目标数据库的性能参数采集范围；
访问所述目标数据库，根据所述身份标识确定所述目标数据库对应的第一性能参数数据集；
在所述目标数据库对应的所述第一性能参数数据集中根据所述所述目标数据库对应的性能参数采集范围查找所述目标数据库对应的所述目标性能参数。
可选的，所述访问所述目标数据库，根据所述身份标识确定所述目标数据库对应的第一性能参数数据集的步骤，包括：
访问所述目标数据库，获取第三关联集合，所述第三关联集合为所述待采集数据的数据库对应的身份标识与待采集数据的数据库对应的性能参数相关联的集合；
根据所述目标数据库的身份标识在所述第三关联集合中查找与所述身份标识对应的性能参数，得到所述第一性能参数数据。
可选的，所述访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数的步骤，包括：
针对每一个目标数据库，根据所述目标数据库对应的身份标识及所述数据采集任务生成针对所述目标数据库的访问请求；
接收身份验证请求，所述身份验证请求为所述目标数据库响应于所述访问请求所返回的验证请求；
输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；
若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
可选的，所述访问请求包括登入所述目标数据库对应的账户信息及密码信息，所述输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数的步骤，包括：
输入所述目标数据库对应的所述账户信息及所述密码信息；
接收所述验证结果，若所述验证结果为所述账户信息及所述密码信息通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
本说明书一个或多个实施例提供了一种数据采集装置，所述数据采集装置应用于数据库监控系统的数据采集器，所述装置包括：
接收单元，用于控制所述数据采集器接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；
确定单元，用于控制所述数据采集器根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；
获取单元，用于控制所述数据采集器用于控制所述数据采集器访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
本说明书一个或多个实施例提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如上述的数据采集方法。
本说明书一个或多个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，当所述应用程序被处理器执行时，执行上述的数据采集方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种数据采集方法，所述方法应用于数据库的监控系统的数据采集器，接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；根据所述数据采集任务确定待数据采集的目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；访问所述目标数据库，并获取所述目标数据对应的目标性能参数。这样，监控系统可以同时对多个服务器对应的数据库进行数据采集，无需在每个目标数据库对应的服务器上安装数据采集器；从而避免在每个服务器上安装数据采集器占用服务器的部分资源，影响服务器及其对应的数据库的运行效率的问题，提高了数据采集的稳定性。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的数据采集方法流程示意图；
图2为本发明一实施例提供的一数据库监控系统交互示意图；
图3为本发明一实施例提供的另一数据库监控系统交互示意图；
图4为本发明一实施例提供的一种数据采集装置的结构示意图
图5为本发明一实施例提供的一种电子设备的结构示意图
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
目前的数据采集器均是安装于待监测数据库的服务器上，这样当存在多个服务器时，需要在每个服务器上安装数据采集器，然后数据采集器再将所采集的数据库的运行参数数据存储于监控系统，而每个待监测的服务器上均安装数据采集器会占用服务器的部分资源，影响服务器及其对应数据库的运行效率，且当数据采集器出现意外关闭时会造成数据采集不稳定。
为解决上述问题，本说明书一个或多个实施例提供的一种数据采集方法，所述方法应用于数据库的监控系统的数据采集器，接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；根据所述数据采集任务确定待数据采集的目标数据库；其中，每个所述数据采集任务对应一个或多个所述目标数据库；访问所述目标数据库，并获取各所述目标数据对应的目标性能参数。这样，数据采集器可以同时对多个个服务器对应的数据库进行数据采集，无需在每个目标数据库对应的服务器上安装数据采集器；从而避免在每个服务器上安装数据采集器占用服务器的部分资源，影响服务器及其对应的数据库的运行效率的问题。另外，待监测的目标数据库对应的终端设备与数据监控系统对应的终端设备可远程连接，传统的在服务器端安装数据采集器的方式，当数据采集器被意外关闭时，导致监控系统无法获取该服务器的数据库的性能参数；而本发明所提供的方法，数据采集器可以为多个，当其中一个采集器被意外关闭时，数据采集器可将数据采集任务分配给其他的数据采集器，以获取该服务器的数据库的性能参数，提高了数据采集的稳定性。
需要说明的是，所述方法应用于数据库监控系统，为了便于理解本发明，现对监控系统进行介绍，监控系统包括分配器、配置库、数据采集器集群及Prometheus组件；其中，数据采集器集群，包括多个数据采集器，数据采集器所采集的数据存储在Prometheus组件中。
为便于理解本发明下面结合附图及监控系统来详细说明本发明实施例的技术方案。
参见图1，示出了本发明实施例中的一种数据采集方法，应用于数据库的监控系统的数据采集器，所述方法包括：
S301：接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务。
其中，监控系统可以包括多个数据采集器。分配器可以向数据采集器，发送数据采集指令，数据采集器接收数据采集指令之后，可以响应于所述数据采集指令，并根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务。由于监测系统中设有多个数据采集器，每个数据采集器得到数据采集任务后需要分别采集数据采集任务对应的目标数据库的性能参数信息。数据采集器可以为多个，当其中一个采集器被意外关闭时，数据采集器可将数据采集任务分配给其他的数据采集器，以获取该服务器的数据库的性能参数，提高了数据采集的稳定性。
S302：根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库。
具体地，每个所述数据采集任务均具有各自分别对应的任务标识，此任务标识可对应于数据采集器的采集器标识(例如，采集器ID/数据采集器身份编号)，该数据采集器身份编号具有唯一性，即不同的采集器对应于不同的采集器标识(采集器ID)。为了便于将目标数据库的性能参数准确无误的获取到，根据所述数据采集任务确定第一关联集合，所述第一关联集合为所述数据采集任务对应的任务标识与待采集数据的数据库对应的身份标识相关联的集合。
采集器在发送采集数据指令时，数据采集指令携带有待监测数据库的ID(身份标识)、采集器的唯一标识(采集器标识/采集器ID)及每个待监测数据库的采集SQL语句的标识，此为预先关联形成的第一关联集合。举例性地，第一关联集合的具体数据构造如下：
采集器标识1，json::{数据库ID1:[sql_id1,sql_id2,...]}，
例如两个采集器A和B，三个数据库1,2,3各10个采集SQL，
A-->db1:[1,10],db2:[1,5]
B-->db2:[6,10],db3:[1,10]
第一关联集合保存在监控系统的本地数据库中，从而基于第一关联集合确定所需监测的目标数据库；具体地，数据采集器根据所述采集任务对应的所述任务标识查找所述第一关联集合，得到与所述任务标识对应的第一身份标识；将与所述第一身份标识对应的待采集数据的数据库确定为所述目标数据库，从而得到待数据采集的目标数据库。
S303：访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
数据库对应的运行性能参数(指标)包括如：tps(每秒事务数)、QPS(每秒查询率)等数据库的运行参数信息，监控系统获取数据库的运行参数信息，了解数据库的运行性能，以便决策。
在本实施例中，可以针对每一个目标数据库，先访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数；然后，可以将所述目标性能参数与所述任务标识及所述身份标识进行关联，得到所述目标性能参数、所述任务标识及所述身份标识之间相关联的第二关联集合；接着，可以基于所述第二关联集合将与所述身份标识分别对应的各所述目标性能参数存储于所述本地数据库，所述本地数据库具有预存储的所述目标数据库对应的身份标识。
所述待采集数据的数据库可以包括记录数据库性能参数的性能参数数据集。可以先根据所述数据采集任务确定所述目标数据库的性能参数采集范围，然后，通过调用应用程序接口(如JDBC)访问所述目标数据库。接着，可以根据所述身份标识确定所述目标数据库对应的第一性能参数数据集，具体地，针对每一个目标数据库，访问所述目标数据库，获取第三关联集合，所述第三关联集合为所述待采集数据的数据库对应的身份标识与待采集数据的数据库对应的性能参数相关联的集合；根据所述目标数据库的身份标识在所述第三关联集合中查找与所述身份标识对应的性能参数，得到所述第一性能参数数据。
在所述目标数据库对应的所述第一性能参数数据集中根据所述所述目标数据库对应的性能参数采集范围查找所述目标数据库对应的所述目标性能参数。
具体地，数据库的性能参数一般存储于数据库的表或者视图中，因此，根据所述身份标识确定各所述目标数据库对应的表或视图，并根据表或视图所记录的数据库的信息确定第一性能参数数据集，再在第一性能参数数据集中根据所述所述目标数据库对应的性能参数采集范围查找各所述目标数据库对应的各所述目标性能参数。
将所述目标性能参数与所述任务标识及所述身份标识进行关联，得到所述目标性能参数、所述任务标识及所述身份标识之间相关联的第二关联集合。基于所述第二关联集合将与所述身份标识分别对应的各所述目标性能参数存储于所述本地数据库，所述本地数据库具有预存储的所述目标数据库对应的身份标识。
通过调用应用接口在所述第二关联集合中将各所述目标性能参数存入本地数据库，该应用接口可以为由Prometheus提供的应用接口。所述本地数据库具有预存储的所述身份标识，各所述目标性能参数与预存储的所述身份标识相对应地存储于本地数据库，如可将tps指标(目标性能参数)存入Prometheus的时序数据库。如采集器A的任务为db1:[1,10],db2:[1,5]，即代表需采集db1和db2数据库共15个数据库的性能参数，根据这里[1,10]的带采集数据库id从本地数据库中获取具体的采集数据库的性能参数。
举例性地，第二数据集合的数据结构如下：
tps{采集器标识＝1,数据库ID＝db1,指标值＝x}。待将存储目标性能参数存储在本地数据库中的时序数据库后，断开采集器与外部服务器(待检测数据库)的JDBC连接，等待下一次的数据采集指令。
进一步的，所述访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数的步骤，包括：
根据所述目标数据库对应的身份标识及所述数据采集任务生成针对所述目标数据库的访问请求；
针对每一个目标数据库，接收身份验证请求，所述身份验证请求为所述目标数据库响应于所述访问请求所返回的验证请求；
输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；
若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
具体地，所述访问请求包括登入所述目标数据库对应的账户信息及密码信息；输入所述目标数据库对应的所述账户信息及所述密码信息；接收所述验证结果，若所述验证结果为所述账户信息及所述密码信息通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
数据库需要有相应的权限才可以进行访问，且不同权限具有不同的数据访问范围。基于数据采集器的访问请求，目标数据库会响应数据采集器的访问请求，并向数据采集器返回针对访问请求的验证信息。数据采集器接收身份验证请求，数据采集器根据所述身份验证请求对所述账户信息及与所述账户信息对应的密码信息进行验证，若所述账户信息及与所述账户信息对应的密码信息通过所述目标数据库的验证，即可以获得了访问目标数据库的许可。
示例性地，下面参见图2及图3，对实施例的数据采集方法进行阐述。
确定被监控的目标对象(目标数据库)，将目标数据源(目标数据库)的ip等连接信息添加到配置库中，填写并存入如何采集相应的指标，具体如SQL语句或操作系统命令(Unix系统通过ssh方式获取数据库指标，Windows系统通过wmi协议获取数据库指标)。
分配器分配采集任务，从Prometheus中获取采集器的连接状态，间隔预设时间执行一次获取采集器的连接状态信息，如间隔一分钟执行一次；如果连接状态为0的采集器则代表连接断开。然后分配器根据配置的目标库，给存活的采集器分配任务(每个采集器向哪些数据库采集哪些指标)，指标对应于上文的性能参数。
采集器，用于将获取到的指标数据(性能参数)存入到Prometheus的时序数据库。采集器会绑定到Prometheus中，实时检查并记录采集器的连接状态(0异常/1正常)；采集器可以安装监控系统的服务器上或其他服务器。采集器本身也是需要定时启动，从配置库中获取被分配到的采集任务(数据采集任务)，然后到各个数据库(目标数据库)中采集指标(性能参数)，将获取指标数据存入Prometheus；
采集器每次采集前都会到配置库中获取本次采集的具体数据库(目标数据库)及指标(性能参数)，以此实现动态执行采集任务，以达到灵活可靠的目的；
如果采集器发生宕机(与数据库断开连接，由网络异常、服务器异常关闭等情况等造成)，Prometheus会记录该采集器的状态为连接异常。分配器就不会给该采集器分配任务，最后就完成整个动态采集的流程。
相应于上述数据采集方法，本实施例还提供一种数据采集装置，所述数据采集装置应用于数据库监控系统，所述装置包括：
接收单元401，用于控制所述数据采集器接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；
确定单元402，用于控制所述数据采集器根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；
获取单元403，用于控制所述数据采集器访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
具体的，每个所述数据采集任务均具有各自分别对应的任务标识，确定单元402，具体用于：
根据所述数据采集任务集确定第一关联集合，所述第一关联集合为所述数据采集任务集中各个数据采集任务对应的任务标识与待采集数据的数据库对应的身份标识相关联的集合；
根据所述数据采集任务集中各个采集任务对应的所述任务标识查找所述第一关联集合，得到所述各个任务标识各自分别对应的第一身份标识；
将与所述各个任务标识各自分别对应的第一身份标识对应的待采集数据的数据库确定为所述目标数据库。
具体的，获取单元403，具体用于：
针对每一个目标数据库，访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数；
将所述目标性能参数与所述任务标识及所述身份标识进行关联，得到所述目标性能参数、所述任务标识及所述身份标识之间相关联的第二关联集合；
基于所述第二关联集合将与所述身份标识分别对应的各所述目标性能参数存储于所述本地数据库，所述本地数据库具有预存储的所述目标数据库对应的身份标识。
具体的，获取单元403，具体用于：
根据所述数据采集任务确定所述目标数据库的性能参数采集范围；
访问所述目标数据库，根据所述身份标识确定所述目标数据库对应的第一性能参数数据集；
在所述目标数据库对应的所述第一性能参数数据集中根据所述所述目标数据库对应的性能参数采集范围查找所述目标数据库对应的所述目标性能参数。
具体的，获取单元403，具体用于：
访问所述目标数据库，获取第三关联集合，所述第三关联集合为所述待采集数据的数据库对应的身份标识与待采集数据的数据库对应的性能参数相关联的集合；
根据所述目标数据库的身份标识在所述第三关联集合中查找与所述身份标识对应的性能参数，得到所述第一性能参数数据。
具体的，获取单元403，具体用于：
针对每一个目标数据库，根据所述目标数据库对应的身份标识及所述数据采集任务生成针对所述目标数据库的访问请求；
接收身份验证请求，所述身份验证请求为所述目标数据库响应于所述访问请求所返回的验证请求；
输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；
若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
具体的，所述访问请求包括登入所述目标数据库对应的账户信息及密码信息，获取单元403，具体用于：
输入所述目标数据库对应的所述账户信息及所述密码信息；
接收所述验证结果，若所述验证结果为所述账户信息及所述密码信息通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
相应于上述数据采集方法，本发明还提供一种电子设备，其特征在于，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行上述的数据采集方法。
上述实施例的数据库的电子设备，具有相应的方法实施例的有益效果，在此不再赘述。
相应于上述数据采集方法，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，当所述应用程序被处理器执行时，执行上述相应的数据采集方法步骤。
上述实施例的一种计算机可读存储介质，具有相应的方法实施例的有益效果，在此不再赘述。
图4示出了本实施例所提供的一种具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，所述方法应用于数据库监控系统的数据采集器，所述方法包括：
接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；
根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；
访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
2.根据权利要求1所述的数据采集方法，其特征在于，每个所述数据采集任务均具有各自分别对应的任务标识，所述根据所述数据采集任务集确定待数据采集的若干目标数据库的步骤，包括：
根据所述数据采集任务集确定第一关联集合，所述第一关联集合为所述数据采集任务集中各个数据采集任务对应的任务标识与待采集数据的数据库对应的身份标识相关联的集合；
根据所述数据采集任务集中各个采集任务对应的所述任务标识查找所述第一关联集合，得到所述各个任务标识各自分别对应的第一身份标识；
将与所述各个任务标识各自分别对应的第一身份标识对应的待采集数据的数据库确定为所述目标数据库。
3.根据权利要求2所述的数据采集方法，其特征在于，所述访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数的步骤，包括：
针对每一个目标数据库，访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数；
将所述目标性能参数与所述任务标识及所述身份标识进行关联，得到所述目标性能参数、所述任务标识及所述身份标识之间相关联的第二关联集合；
基于所述第二关联集合将与所述身份标识分别对应的各所述目标性能参数存储于所述本地数据库，所述本地数据库具有预存储的所述目标数据库对应的身份标识。
4.根据权利要求3所述的数据采集方法，其特征在于，所述待采集数据的数据库包括记录数据库性能参数的性能参数数据集，所述访问所述目标数据库，根据所述目标数据库对应的身份标识查找与所述目标数据库对应的目标性能参数的步骤，包括：
根据所述数据采集任务确定所述目标数据库的性能参数采集范围；
访问所述目标数据库，根据所述身份标识确定所述目标数据库对应的第一性能参数数据集；
在所述目标数据库对应的所述第一性能参数数据集中根据所述所述目标数据库对应的性能参数采集范围查找所述目标数据库对应的所述目标性能参数。
5.根据权利要求4所述的数据采集方法，其特征在于，所述访问所述目标数据库，根据所述身份标识确定所述目标数据库对应的第一性能参数数据集的步骤，包括：
访问所述目标数据库，获取第三关联集合，所述第三关联集合为所述待采集数据的数据库对应的身份标识与待采集数据的数据库对应的性能参数相关联的集合；
根据所述目标数据库的身份标识在所述第三关联集合中查找与所述身份标识对应的性能参数，得到所述第一性能参数数据。
6.根据权利要求2所述的数据采集方法，其特征在于，所述访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数的步骤，包括：
针对每一个目标数据库，根据所述目标数据库对应的身份标识及所述数据采集任务生成针对所述目标数据库的访问请求；
接收身份验证请求，所述身份验证请求为所述目标数据库响应于所述访问请求所返回的验证请求；
输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；
若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
7.根据权利要求6所述的数据采集方法，其特征在于，所述访问请求包括登入所述目标数据库对应的账户信息及密码信息，所述输入验证信息，并接收第一验证结果，所述第一验证结果为所述目标数据库针对所述验证信息的验证结果；若所述第一验证结果为通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数的步骤，包括：
输入所述目标数据库对应的所述账户信息及所述密码信息；
接收所述验证结果，若所述验证结果为所述账户信息及所述密码信息通过所述目标数据库验证的结果，访问所述目标数据库，并获取所述目标性能参数。
8.一种数据采集装置，所述数据采集装置应用于数据库监控系统的数据采集器，所述装置包括：
接收单元，用于控制所述数据采集器接收数据采集指令，响应于所述数据采集指令，根据所述数据采集指令确定所述数据采集指令对应的数据采集任务集，所述数据采集任务集包括若干个数据采集任务；
确定单元，用于控制所述数据采集器根据所述数据采集任务集确定待数据采集的若干目标数据库；其中，每个所述数据采集任务对应一个或多个目标数据库；
获取单元，用于控制所述数据采集器访问所述若干目标数据库中的各个目标数据库，并获取所述各个目标数据各自分别对应的目标性能参数。
9.一种电子设备，其特征在于，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有应用程序，当所述应用程序被处理器执行时，执行如权利要求1-7任一项所述的数据采集方法。
CN202011432788.5A 2020-12-09 2020-12-09 一种数据采集方法、装置、电子设备及计算机可读存储介质 Active CN112559286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011432788.5A CN112559286B (zh) 2020-12-09 2020-12-09 一种数据采集方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011432788.5A CN112559286B (zh) 2020-12-09 2020-12-09 一种数据采集方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112559286A true CN112559286A (zh) 2021-03-26
CN112559286B CN112559286B (zh) 2023-02-28

Family

ID=75060168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011432788.5A Active CN112559286B (zh) 2020-12-09 2020-12-09 一种数据采集方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112559286B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821421A (zh) * 2021-08-27 2021-12-21 济南浪潮数据技术有限公司 一种服务器性能数据采集方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质
US20190387050A1 (en) * 2018-06-14 2019-12-19 Jpmorgan Chase Bank, N.A. Methods for providing unified control and management of tasks in a multi-platform environment and devices thereof
CN110659430A (zh) * 2019-08-23 2020-01-07 上海共链信息科技有限公司 一种支持多区块链网络的区块链浏览方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190387050A1 (en) * 2018-06-14 2019-12-19 Jpmorgan Chase Bank, N.A. Methods for providing unified control and management of tasks in a multi-platform environment and devices thereof
CN110659430A (zh) * 2019-08-23 2020-01-07 上海共链信息科技有限公司 一种支持多区块链网络的区块链浏览方法
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821421A (zh) * 2021-08-27 2021-12-21 济南浪潮数据技术有限公司 一种服务器性能数据采集方法、系统、装置及存储介质
CN113821421B (zh) * 2021-08-27 2023-12-22 济南浪潮数据技术有限公司 一种服务器性能数据采集方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN112559286B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
US20200409804A1 (en) Systems and methods for monitoring distributed database deployments
US8671099B2 (en) Clustering devices in an internet of things (‘IoT’)
US9170960B2 (en) Location of computing assets within an organization
CN111522922A (zh) 日志信息查询方法、装置、存储介质及计算机设备
CN110989926B (zh) 故障磁盘槽位定位方法、装置及电子设备
US9703937B2 (en) Method to prevent operating system digital product key activation failures
CN110704476A (zh) 数据处理方法、装置、设备及存储介质
CN104579830A (zh) 服务监控方法及装置
CN115825312B (zh) 色谱检测数据交互方法、装置、设备和计算机可读介质
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN112559286B (zh) 一种数据采集方法、装置、电子设备及计算机可读存储介质
CN110784336A (zh) 基于物联网的多设备智能定时延时场景设置方法及系统
CN112328363A (zh) 一种云硬盘挂载方法及其装置
CN114640590B (zh) 意图网络中策略集冲突检测方法及相关设备
US9060038B2 (en) Dynamic domain name server console for disaster recovery server management
US9998341B2 (en) Method of constructing data collector, server performing the same and storage medium for the same
KR20150078033A (ko) 응용 프로그램을 실행하는 전자 장치 및 방법
KR102624680B1 (ko) 이종 데이터를 통합하기 위한 매쉬업 방법 및 그 장치
CN115309334A (zh) 磁盘管理方法、装置、设备及存储介质
CN110086840A (zh) 图像数据存储方法、装置及计算机可读存储介质
US10372513B2 (en) Classification of application events using call stacks
US9686168B1 (en) Managing component capacity
CN113553243A (zh) 远端侦错方法
CN106302304A (zh) 管理信息安全规范库的方法和装置
KR20160051164A (ko) 대용량 데이터 환경에서 접근권한 인증 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant