CN113407541A - 数据采集方法、设备、存储介质及装置 - Google Patents

数据采集方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN113407541A
CN113407541A CN202110701395.8A CN202110701395A CN113407541A CN 113407541 A CN113407541 A CN 113407541A CN 202110701395 A CN202110701395 A CN 202110701395A CN 113407541 A CN113407541 A CN 113407541A
Authority
CN
China
Prior art keywords
acquired
equipment
data
information
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110701395.8A
Other languages
English (en)
Other versions
CN113407541B (zh
Inventor
王建
郭杨勇
周英能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110701395.8A priority Critical patent/CN113407541B/zh
Publication of CN113407541A publication Critical patent/CN113407541A/zh
Application granted granted Critical
Publication of CN113407541B publication Critical patent/CN113407541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据采集方法、设备、存储介质及装置，该方法包括：判断预设元数据编码表中是否存在待采集设备对应的元数据编码组，若否，根据待采集设备的子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储；相较于现有的不同类型的数据源配置不同类型的采集模板来实现多数据源数据采集的方式，由于本发明能够在不存在待采集设备对应的元数据编码组时，根据待采集设备的子设备信息以及待采集参数信息来生成目标元数据编码组，并将采集到的当前数据与目标元数据编码组对应存储，从而实现了不同类型的数据源统一格式收集，减少了数据采集的工作量。

Description

数据采集方法、设备、存储介质及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据采集方法、设备、存储介质及装置。
背景技术
现有技术中往往通过不同类型的数据源配置不同类型的采集模板，来实现多数据源的数据采集。
但是，上述方式由于在出现新类型的数据源时，需要重新开发采集模板，从而导致工作量大，实现难度高。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据采集方法、设备、存储介质及装置，旨在解决现有技术中针对不同类型的数据源配置不同类型的采集模板，来实现多数据源的数据采集，工作量大，实现难度高的技术问题。
为实现上述目的，本发明提供一种数据采集方法，所述数据采集方法包括以下步骤：
获取待采集设备的子设备信息以及待采集参数信息；
判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组；
若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
可选地，所述判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组的步骤，具体包括：
从所述子设备信息中提取子设备类型以及子设备序号，并将所述子设备类型、所述子设备序号以及所述待采集参数信息作为参考信息；
查找预设元数据编码表中是否存在所述参考信息对应的元数据编码组。
可选地，所述判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组的步骤之后，所述数据采集方法还包括：
若是，则将所述子设备信息以及所述待采集参数信息作为目标信息，并在预设元数据编码表中查找所述目标信息对应的元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述元数据编码组对应存储。
可选地，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤，具体包括：
采集所述待采集设备的当前数据，并建立所述当前数据与所述目标元数据编码组的对应关系；
基于所述当前数据、所述目标元数据编码组以及所述对应关系生成数据存储表，并将所述数据存储表进行存储。
可选地，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤之前，所述数据采集方法还包括：
查找所述待采集设备对应的网络传输协议，并根据所述网络传输协议进行通信协议适配；
相应地，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤，具体包括：
在适配成功后，采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
可选地，所述获取待采集设备的子设备信息以及待采集参数信息的步骤，具体包括：
对所述待采集设备进行组成分析，获得所述待采集设备的组成拓扑图；
对所述组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息。
可选地，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤之后，所述数据采集方法还包括：
在接收到数据查询请求时，根据所述数据查询请求确定查询元数据编码；
查找所述查询元数据编码对应的目标数据，并对所述目标数据进行聚合，获得数据聚合结果。
此外，为实现上述目的，本发明还提出一种数据采集设备，所述数据采集设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，所述数据采集程序配置为实现如上文所述的数据采集方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如上文所述的数据采集方法的步骤。
此外，为实现上述目的，本发明还提出一种数据采集装置，所述数据采集装置包括：信息获取模块、编码判断模块、编码生成模块和数据存储模块；
所述信息获取模块，用于获取待采集设备的子设备信息以及待采集参数信息；
所述编码判断模块，用于判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组；
所述编码生成模块，用于若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组；
所述数据存储模块，用于采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
在本发明中，公开了获取待采集设备的子设备信息以及待采集参数信息，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组，若否，根据子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储；相较于现有的不同类型的数据源配置不同类型的采集模板来实现多数据源数据采集的方式，由于本发明能够在预设元数据编码表中不存在待采集设备对应的元数据编码组时，根据待采集设备的子设备信息以及待采集参数信息来生成目标元数据编码组，并将采集到的当前数据与目标元数据编码组对应存储，从而实现了不同类型的数据源统一格式收集，减少了数据采集工作量。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据采集设备的结构示意图；
图2为本发明数据采集方法第一实施例的流程示意图；
图3为本发明数据采集方法第二实施例的流程示意图；
图4为本发明数据采集方法一实施例的待采集设备的组成拓扑图；
图5为本发明数据采集方法第三实施例的流程示意图；
图6为本发明数据采集装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据采集设备结构示意图。
如图1所示，该数据采集设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)，也可以是稳定的存储器(Non-volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据采集程序。
在图1所示的数据采集设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述数据采集设备通过处理器1001调用存储器1005中存储的数据采集程序，并执行本发明实施例提供的数据采集方法。
基于上述硬件结构，提出本发明数据采集方法的实施例。
参照图2，图2为本发明数据采集方法第一实施例的流程示意图，提出本发明数据采集方法第一实施例。
步骤S10：获取待采集设备的子设备信息以及待采集参数信息。
应当理解的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如服务器以及电脑等，或者是其他能够实现相同或相似功能的电子设备，本实施例对此不加以限制。在本实施例以及其他实施例中，以数据采集设备为例进行说明。
需要说明的是，待采集设备可以通过终端设备发送的数据采集请求来确定。其中，终端设备可以预先与数据采集设备建立通信连接，用户可以通过终端设备发起数据采集请求。
待采集设备的子设备信息可以是组成待采集设备的子设备类型以及子设备序号等信息。例如，待采集设备为服务器时，子设备类型为CPU、内存以及磁盘等。
待采集设备的待采集参数信息可以是CPU的使用率、最高频率以及最低频率，内存的内存总容量以及内存使用率，磁盘的使用率、总容量以及分区格式。
应当理解的是，获取待采集设备的子设备信息以及待采集参数信息可以是获取待采集设备的设备型号，并查找设备型号对应的子设备信息，且获取子设备对应的待采集参数信息。
进一步地，考虑到实际应用中，某些用户会对设备进行改装，从而导致根据设备型号确定的子设备信息以及待采集参数信息不准确。为了克服上述缺陷，所述步骤S10，包括：
对待采集设备进行组成分析，获得待采集设备的组成拓扑图，对所述组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息。
步骤S20：判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组。
需要说明的是，预设元数据编码表可以由数据采集设备的管理人员预先设置，也可以由数据采集设备根据获得的历史元数据编码组自适应生成，本实施例对此不加以限制。
应当理解的是，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组是为了判断预设元数据编码表中是否存在待采集设备对应的统一格式元数据编码组，以便后续确定是否需要为待采集设备生成单独的目标元数据编码。
可以理解的是，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组可以是获取待采集设备的设备标识，并将待采集设备的设备标识与预设元数据编码表中各元数据编码组对应的设备标识进行匹配，在匹配成功时，判定预设元数据编码表中存在待采集设备对应的元数据编码组；在匹配失败时，判定预设元数据编码表中不存在待采集设备对应的元数据编码组。
进一步地，考虑到实际应用中，可能存在预设元数据编码表中未存储待采集设备对应的元数据编码组，但是，存储有待采集设备的子设备对应的元数据编码组的情况。上述方式由于只考虑待采集设备的信息，因此，无法识别通过子设备对应的元数据编码组进行数据采集的情况。为了克服上述缺陷，所述步骤S20，包括：
从子设备信息中提取子设备类型以及子设备序号，并将子设备类型、子设备序号以及待采集参数信息作为参考信息，查找预设元数据编码表中是否存在参考信息对应的元数据编码组。
步骤S30：若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组。
应当理解的是，在预设元数据编码表中不存在参考信息对应的元数据编码表时，说明预设元数据编码表中未存储待采集设备对应的统一格式编码表，需要单独生成待采集设备对应的统一格式编码组。
可以理解的是，根据子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组可以是从子设备信息中提取子设备类型编号以及子设备序号，并根据子设备类型编号、子设备序号以及待采集参数信息生成待采集设备对应的目标元数据编码组。其中，目标元数据编码组的格式如下所示：
子设备类型编号/子设备序号/数据采集参数
为了便于理解，以下进行举例说明，但并不对本方案进行限定。目标元数据编码组如下所示，其中，---xxx(例如：设备序列号，设备类型等)用于解释目标元数据编码组的具体含义。
100/0/10001---设备序列号
100/0/10002---设备类型
100/0/10003---设备地址
100/0/10004---设备当前时间
1001/1/10001---CPU/core1/使用率实时值
1001/1/10002---CPU/core1/最高频率
1001/1/10003---CPU/core1/最低频率
1001/2/10001---CPU/core2/使用率实时值
1001/2/10002---CPU/core2/最高频率
1001/2/10003---CPU/core2/最高频率
…省略其他CPU子设备…
2001/1/20001---内存/1/内容总容量
2001/1/20002---内存/1/内容使用率
3001/1/30001---磁盘/1/使用率实时值
3001/1/30002---磁盘/1/总容量
3001/1/30003---磁盘/1/分区格式
应当理解的是，由于本实施例中，对于各类子设备使用统一的编号规则，从而能够实现元数据编码的统一互通，方便后续数据聚合及编号转义。
进一步地，为了能够在预设元数据编码表中存在参考信息对应的元数据编码表时，采集待采集设备的数据。所述步骤S30之后，还包括：
若是，则将所述子设备信息以及所述待采集参数信息作为目标信息，并在预设元数据编码表中查找所述目标信息对应的元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述元数据编码组对应存储。
可以理解的是，在预设元数据编码表中存在参考信息对应的元数据编码表时，说明预设元数据编码表中存储有待采集设备对应的统一格式编码表，无需单独生成待采集设备对应的统一格式编码组。
需要说明的是，预设元数据编码表中包含目标信息与元数据编码表的对应关系，目标信息与元数据编码表的对应关系可以预先设置。
步骤S40：采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
可以理解的是，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储可以是采集待采集设备的当前数据，并建立当前数据与目标元数据编码组的对应关系，基于当前数据、目标元数据编码组以及对应关系生成数据存储表，并将数据存储表进行存储。
在第一实施例中，公开了获取待采集设备的子设备信息以及待采集参数信息，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组，若否，根据子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储；相较于现有的不同类型的数据源配置不同类型的采集模板来实现多数据源数据采集的方式，由于本实施例能够在预设元数据编码表中不存在待采集设备对应的元数据编码组时，根据待采集设备的子设备信息以及待采集参数信息来生成目标元数据编码组，并将采集到的当前数据与目标元数据编码组对应存储，从而实现了不同类型的数据源统一格式收集，减少了数据采集工作量。
参照图3，图3为本发明数据采集方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明数据采集方法的第二实施例。
在第二实施例中，所述步骤S10，包括：
步骤S101：对所述待采集设备进行组成分析，获得所述待采集设备的组成拓扑图。
需要说明的是，组成分析可以是分析设备由哪些子设备组成。
应当理解的是，对待采集设备进行组成分析，获得待采集设备的组成拓扑图可以是获取待采集设备的性能数据，并根据性能数据对待采集设备进行组成分析，获得待采集设备的组成拓扑图。
步骤S102：对所述组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息。
需要说明的是，子设备信息可以包括子设备类型以及子设备序号等。
为了便于理解，参考图4进行说明，但并不对本方案进行限定。图4为待采集设备的组成拓扑图，图中待采集设备为服务器(序列号sn123)，服务器由CPU、内存以及磁盘组成，CPU由core1、core2、core3以及core4组成，硬盘由分区1、分区2以及分区3组成，core1-4对应的参数为使用率、最高频率以及最低频率，分区1-3对应的参数为使用率、分区总容量以及分区格式。对组成拓扑图进行设备信息提取，获得子设备类型为CPU、内存以及磁盘，子设备序号为core1、core2、core3、core4、分区1、分区2以及分区3，待采集参数信息为core1-4对应的使用率、最高频率以及最低频率，内存对应的使用量以及内存容量，分区1-3对应的使用率、分区总容量以及分区格式。
第二实施例通过对待采集设备进行组成分析，获得待采集设备的组成拓扑图，对组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息，从而能够提高子设备信息以及待采集参数信息的准确性以及可靠性。
在第二实施例中，所述步骤S20，包括：
步骤S201：从所述子设备信息中提取子设备类型以及子设备序号，并将所述子设备类型、所述子设备序号以及所述待采集参数信息作为参考信息。
需要说明的是，子设备类型用于表示子设备的种类，例如，子设备类型可以是CPU、内存以及磁盘等类型。
子设备序号用于表示子设备对应的序号值。例如，core1对应的子设备序号为1，core2对应的子设备序号为2。
应当理解的是，从子设备信息中提取子设备类型以及子设备序号可以是根据信息标识从子设备信息中提取子设备类型以及子设备序号。其中，信息标识用于标识信息内容。
步骤S202：查找预设元数据编码表中是否存在所述参考信息对应的元数据编码组。
需要说明的是，预设元数据编码表可以由数据采集设备的管理人员预先设置，也可以由数据采集设备根据获得的历史元数据编码组自适应生成，本实施例对此不加以限制。
应当理解的是，在预设元数据编码表中不存在参考信息对应的元数据编码表时，说明预设元数据编码表中未存储参考信息对应的统一格式编码表，需要单独生成待采集设备对应的统一格式编码组。
在预设元数据编码表中存在参考信息对应的元数据编码表时，说明预设元数据编码表中存储有参考信息对应的统一格式编码表，无需单独生成待采集设备对应的统一格式编码组。
第二实施例中，通过从子设备信息中提取子设备类型以及子设备序号，并将子设备类型、子设备序号以及待采集参数信息作为参考信息，查找预设元数据编码表中是否存在参考信息对应的元数据编码组，从而能够以子设备信息为参考在预设元数据编码表中查找元数据编码组，提高编码组查找的准确性。
在第二实施例中，所述步骤S40，包括：
步骤S401：采集所述待采集设备的当前数据，并建立所述当前数据与所述目标元数据编码组的对应关系。
需要说明的是，当前数据可以是当前时刻的具体值。
为了便于理解，以下进行举例说明，但并不对本方案进行限定。采集待采集设备的当前数据，并建立当前数据与目标元数据编码组的对应关系如下所示：
{-------------------设备信息--------------
"100/0/10001":"sn123",
"100/0/10002":"X86刀片机",
"100/0/10003":"adress",
"100/0/10004":"2020-06-29 10:00:00",
-------------------CPU子设备信息--------------
"1001/1/10001":"80％",
"1001/1/10002":"4.2GHz",
"1001/1/10003":"2.4GHz",
"1001/2/10001":"70％",
"1001/2/10002":"3.8GHz",
"1001/2/10003":"2.1GHz",
…省略其他CPU子设备…
-------------------内存子设备信息--------------
"2001/1/20001":"32G",
"2001/1/20002":"76％",
-------------------磁盘子设备信息--------------
"3001/1/30001":"1.3TB",
"3001/1/30002":"2TB",
"3001/1/30003":"NFS"
}
步骤S402：基于所述当前数据、所述目标元数据编码组以及所述对应关系生成数据存储表，并将所述数据存储表进行存储。
应当理解的是，基于当前数据、目标元数据编码组以及对应关系生成数据存储表可以是基于当前数据、目标元数据编码组以及对应关系通过预设数据处理脚本生成数据存储表。
需要说明的是，预设数据处理脚本可以用于生成数据表。
为了便于理解，以下进行举例说明，但并不对本方案进行限定。预设数据处理脚本可以如下所示：
CREATE TABLE`cn_message`.`data`(
`id`INT NOT NULL AUTO_INCREMENT,
`url`VARCHAR(45)NOT NULL, ---数据采集点URL
`val`VARCHAR(45)NULL, ---采集数据
`seralNo`VARCHAR(45)NOT NULL,---设备序列号
`time`VARCHAR(45)NOT NULL, ---数据采集时间
PRIMARY KEY(`id`))；
为了便于理解，参考表1进行说明，但并不对本方案进行限定。表1为数据存储表。
表1数据存储表
id url val seralNo time
1 100/0/10001 sn123 sn123 2020-06-29 10:00:03
2 1001/1/10001 0.8 sn123 2020-06-29 10:00:03
3 1001/1/10002 4.2GHz sn123 2020-06-29 10:00:03
4 1001/1/10003 2.4GHz sn123 2020-06-29 10:00:03
5 1001/1/10001 0.7 sn124 2020-06-29 10:00:03
6 1001/1/10002 3.8GHz sn124 2020-06-29 10:00:03
7 1001/1/10003 2.1GHz sn124 2020-06-29 10:00:03
第二实施例通过采集待采集设备的当前数据，并建立当前数据与目标元数据编码组的对应关系，基于当前数据、目标元数据编码组以及对应关系生成数据存储表，并将数据存储表进行存储，从而能够以数据表的形式存储数据，以便用户查询。
参照图5，图5为本发明数据采集方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明数据采集方法的第三实施例。
在第三实施例中，所述步骤S40之前，还包括：
步骤S410：查找所述待采集设备对应的网络传输协议，并根据所述网络传输协议进行通信协议适配。
需要说明的是，网络传输协议可以是HTTP、TCP以及UDP协议。
应当理解的是，查找待采集设备对应的网络传输协议可以是在预设协议表中查找待采集设备对应的网络传输协议。其中，预设协议表中包含待采集设备与网络传输协议的对应关系，待采集设备与网络传输协议的对应关系可以由数据采集设备的管理人员预先录入。
需要说明的是，通信协议适配可以是根据通信协议调整自身配置，从而能够接收不同协议上传的数据。
相应地，所述步骤S40，包括：
步骤S40'：在适配成功后，采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
可以理解的是，在适配成功后，说明数据采集设备能够支持待采集设备对应的网络传输协议。因此，可以直接采集待采集设备的当前数据。
第三实施例通过查找待采集设备对应的网络传输协议，并根据网络传输协议进行通信协议适配，在适配成功后，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储，从而能够在采集数据前进行通信协议适配，以保证数据采集的可靠性。
在第三实施例中，所述步骤S40之后，还包括：
步骤S50：在接收到数据查询请求时，根据所述数据查询请求确定查询元数据编码。
需要说明的是，数据查询请求可以由用户通过数据采集设备的用户交互界面输入，也可以由用户通过终端设备输入，其中，终端设备预先与数据采集设备建立通信连接，本实施例对此不加以限制。
应当理解的是，根据数据查询请求确定查询元数据编码可以是从数据查询请求中提取查询元数据编码。
步骤S60：查找所述查询元数据编码对应的目标数据，并对所述目标数据进行聚合，获得数据聚合结果。
需要说明的是，聚合可以是基于预设聚合规则统计CPU平均使用率以及纳管设备内容总量等。其中，预设聚合规则可以是求平均值、最大值以及最小值。
在具体实现中，例如，统计CPU使用率可使用如下sql计算：
select avg(val)from data where url＝'1001/1/10001'；
可以理解的是，也可以定期或实时根据采集获得的数据进行聚合，以获得价值信息。
第三实施例通过在接收到数据查询请求时，根据数据查询请求确定查询元数据编码，查找查询元数据编码对应的目标数据，并对目标数据进行聚合，获得数据聚合结果，从而能够便于用户查询聚合数据，方便用户获取有价值的信息。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如上文所述的数据采集方法的步骤。
此外，参照图6，本发明实施例还提出一种数据采集装置，所述数据采集装置包括：信息获取模块10、编码判断模块20、编码生成模块30和数据存储模块40；
所述信息获取模块10，用于获取待采集设备的子设备信息以及待采集参数信息。
需要说明的是，待采集设备可以通过终端设备发送的数据采集请求来确定。其中，终端设备可以预先与数据采集设备建立通信连接，用户可以通过终端设备发起数据采集请求。
待采集设备的子设备信息可以是组成待采集设备的子设备类型以及子设备序号等信息。例如，待采集设备为服务器时，子设备类型为CPU、内存以及磁盘等。
待采集设备的待采集参数信息可以是CPU的使用率、最高频率以及最低频率，内存的内存总容量以及内存使用率，磁盘的使用率、总容量以及分区格式。
应当理解的是，获取待采集设备的子设备信息以及待采集参数信息可以是获取待采集设备的设备型号，并查找设备型号对应的子设备信息，且获取子设备对应的待采集参数信息。
进一步地，考虑到实际应用中，某些用户会对设备进行改装，从而导致根据设备型号确定的子设备信息以及待采集参数信息不准确。为了克服上述缺陷，所述信息获取模块10，还用于对待采集设备进行组成分析，获得待采集设备的组成拓扑图，对所述组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息。
所述编码判断模块20，用于判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组。
需要说明的是，预设元数据编码表可以由数据采集设备的管理人员预先设置，也可以由数据采集设备根据获得的历史元数据编码组自适应生成，本实施例对此不加以限制。
应当理解的是，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组是为了判断预设元数据编码表中是否存在待采集设备对应的统一格式元数据编码组，以便后续确定是否需要为待采集设备生成单独的目标元数据编码。
可以理解的是，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组可以是获取待采集设备的设备标识，并将待采集设备的设备标识与预设元数据编码表中各元数据编码组对应的设备标识进行匹配，在匹配成功时，判定预设元数据编码表中存在待采集设备对应的元数据编码组；在匹配失败时，判定预设元数据编码表中不存在待采集设备对应的元数据编码组。
进一步地，考虑到实际应用中，可能存在预设元数据编码表中未存储待采集设备对应的元数据编码组，但是，存储有待采集设备的子设备对应的元数据编码组的情况。上述方式由于只考虑待采集设备的信息，因此，无法识别通过子设备对应的元数据编码组进行数据采集的情况。为了克服上述缺陷，所述编码判断模块20，还用于从子设备信息中提取子设备类型以及子设备序号，并将子设备类型、子设备序号以及待采集参数信息作为参考信息，查找预设元数据编码表中是否存在参考信息对应的元数据编码组。
所述编码生成模块30，用于若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组。
应当理解的是，在预设元数据编码表中不存在参考信息对应的元数据编码表时，说明预设元数据编码表中未存储待采集设备对应的统一格式编码表，需要单独生成待采集设备对应的统一格式编码组。
可以理解的是，根据子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组可以是从子设备信息中提取子设备类型编号以及子设备序号，并根据子设备类型编号、子设备序号以及待采集参数信息生成待采集设备对应的目标元数据编码组。其中，目标元数据编码组的格式如下所示：
子设备类型编号/子设备序号/数据采集参数
为了便于理解，以下进行举例说明，但并不对本方案进行限定。目标元数据编码组如下所示，其中，---xxx(例如：设备序列号，设备类型等)用于解释目标元数据编码组的具体含义。
100/0/10001---设备序列号
100/0/10002---设备类型
100/0/10003---设备地址
100/0/10004---设备当前时间
1001/1/10001---CPU/core1/使用率实时值
1001/1/10002---CPU/core1/最高频率
1001/1/10003---CPU/core1/最低频率
1001/2/10001---CPU/core2/使用率实时值
1001/2/10002---CPU/core2/最高频率
1001/2/10003---CPU/core2/最高频率
…省略其他CPU子设备…
2001/1/20001---内存/1/内容总容量
2001/1/20002---内存/1/内容使用率
3001/1/30001---磁盘/1/使用率实时值
3001/1/30002---磁盘/1/总容量
3001/1/30003---磁盘/1/分区格式
应当理解的是，由于本实施例中，对于各类子设备使用统一的编号规则，从而能够实现元数据编码的统一互通，方便后续数据聚合及编号转义。
进一步地，为了能够在预设元数据编码表中存在参考信息对应的元数据编码表时，采集待采集设备的数据。所述编码生成模块30，还用于若是，则将所述子设备信息以及所述待采集参数信息作为目标信息，并在预设元数据编码表中查找所述目标信息对应的元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述元数据编码组对应存储。
可以理解的是，在预设元数据编码表中存在参考信息对应的元数据编码表时，说明预设元数据编码表中存储有待采集设备对应的统一格式编码表，无需单独生成待采集设备对应的统一格式编码组。
需要说明的是，预设元数据编码表中包含目标信息与元数据编码表的对应关系，目标信息与元数据编码表的对应关系可以预先设置。
所述数据存储模块40，用于采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
可以理解的是，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储可以是采集待采集设备的当前数据，并建立当前数据与目标元数据编码组的对应关系，基于当前数据、目标元数据编码组以及对应关系生成数据存储表，并将数据存储表进行存储。
在本实施例中，公开了获取待采集设备的子设备信息以及待采集参数信息，判断预设元数据编码表中是否存在待采集设备对应的元数据编码组，若否，根据子设备信息以及待采集参数信息生成待采集设备对应的目标元数据编码组，采集待采集设备的当前数据，并将当前数据与目标元数据编码组对应存储；相较于现有的不同类型的数据源配置不同类型的采集模板来实现多数据源数据采集的方式，由于本实施例能够在预设元数据编码表中不存在待采集设备对应的元数据编码组时，根据待采集设备的子设备信息以及待采集参数信息来生成目标元数据编码组，并将采集到的当前数据与目标元数据编码组对应存储，从而实现了不同类型的数据源统一格式收集，减少了数据采集工作量。
本发明所述数据采集装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：
获取待采集设备的子设备信息以及待采集参数信息；
判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组；
若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
2.如权利要求1所述的数据采集方法，其特征在于，所述判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组的步骤，具体包括：
从所述子设备信息中提取子设备类型以及子设备序号，并将所述子设备类型、所述子设备序号以及所述待采集参数信息作为参考信息；
查找预设元数据编码表中是否存在所述参考信息对应的元数据编码组。
3.如权利要求2所述的数据采集方法，其特征在于，所述判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组的步骤之后，所述数据采集方法还包括：
若是，则将所述子设备信息以及所述待采集参数信息作为目标信息，并在预设元数据编码表中查找所述目标信息对应的元数据编码组；
采集所述待采集设备的当前数据，并将所述当前数据与所述元数据编码组对应存储。
4.如权利要求1-3中任一项所述的数据采集方法，其特征在于，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤，具体包括：
采集所述待采集设备的当前数据，并建立所述当前数据与所述目标元数据编码组的对应关系；
基于所述当前数据、所述目标元数据编码组以及所述对应关系生成数据存储表，并将所述数据存储表进行存储。
5.如权利要求1-3中任一项所述的数据采集方法，其特征在于，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤之前，所述数据采集方法还包括：
查找所述待采集设备对应的网络传输协议，并根据所述网络传输协议进行通信协议适配；
相应地，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤，具体包括：
在适配成功后，采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
6.如权利要求1-3中任一项所述的数据采集方法，其特征在于，所述获取待采集设备的子设备信息以及待采集参数信息的步骤，具体包括：
对所述待采集设备进行组成分析，获得所述待采集设备的组成拓扑图；
对所述组成拓扑图进行设备信息提取，获得子设备信息以及待采集参数信息。
7.如权利要求1-3中任一项所述的数据采集方法，其特征在于，所述采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储的步骤之后，所述数据采集方法还包括：
在接收到数据查询请求时，根据所述数据查询请求确定查询元数据编码；
查找所述查询元数据编码对应的目标数据，并对所述目标数据进行聚合，获得数据聚合结果。
8.一种数据采集设备，其特征在于，所述数据采集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，所述数据采集程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据采集方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如权利要求1至7中任一项所述的数据采集方法的步骤。
10.一种数据采集装置，其特征在于，所述数据采集装置包括：信息获取模块、编码判断模块、编码生成模块和数据存储模块；
所述信息获取模块，用于获取待采集设备的子设备信息以及待采集参数信息；
所述编码判断模块，用于判断预设元数据编码表中是否存在所述待采集设备对应的元数据编码组；
所述编码生成模块，用于若否，则根据所述子设备信息以及所述待采集参数信息生成所述待采集设备对应的目标元数据编码组；
所述数据存储模块，用于采集所述待采集设备的当前数据，并将所述当前数据与所述目标元数据编码组对应存储。
CN202110701395.8A 2021-06-23 2021-06-23 数据采集方法、设备、存储介质及装置 Active CN113407541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110701395.8A CN113407541B (zh) 2021-06-23 2021-06-23 数据采集方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110701395.8A CN113407541B (zh) 2021-06-23 2021-06-23 数据采集方法、设备、存储介质及装置

Publications (2)

Publication Number Publication Date
CN113407541A true CN113407541A (zh) 2021-09-17
CN113407541B CN113407541B (zh) 2022-10-18

Family

ID=77682785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110701395.8A Active CN113407541B (zh) 2021-06-23 2021-06-23 数据采集方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN113407541B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676290A (zh) * 2021-09-27 2021-11-19 深圳市金斧子网络科技有限公司 一种基于基金系统的数据传输方法及相关设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175331A1 (de) * 2008-10-10 2010-04-14 Robert Bosch GmbH Steuerbares Gerät mit einem Steuerprogramm und Verfahren zum Steuern des Geräts
CN103092608A (zh) * 2012-12-27 2013-05-08 广州杰赛科技股份有限公司 采集设备信息的客户端的生成及运行方法、服务器和设备
CN106254437A (zh) * 2016-07-28 2016-12-21 普奥云信息科技(北京)有限公司 物联网通信方法
CN106485806A (zh) * 2016-09-27 2017-03-08 株洲中车时代电气股份有限公司 一种机车综合信息记录装置及记录方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN108337245A (zh) * 2018-01-12 2018-07-27 北京天元创新科技有限公司 一种电力通信网中的资源数据跨隔离采集方法及系统
CN108512932A (zh) * 2018-04-13 2018-09-07 唐山新质点科技有限公司 一种数据处理方法及系统
CN109145001A (zh) * 2018-08-16 2019-01-04 北京奥技异科技发展有限公司 基于kks编码规则的实时数据编码方法
CN109765866A (zh) * 2019-01-25 2019-05-17 北京交通大学 一种基于opc ua的工业网络系统及其数据处理方法
CN110262904A (zh) * 2019-05-17 2019-09-20 北京达佳互联信息技术有限公司 数据采集方法及装置
CN110413488A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 服务器使用率预警方法及装置
CN111131728A (zh) * 2019-12-23 2020-05-08 北京知道创宇信息技术股份有限公司 一种基于编码的红外图像处理方法、装置及系统
CN111475458A (zh) * 2019-12-30 2020-07-31 网络通信与安全紫金山实验室 通用的基于opc ua的pcb制造设备信息采集系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175331A1 (de) * 2008-10-10 2010-04-14 Robert Bosch GmbH Steuerbares Gerät mit einem Steuerprogramm und Verfahren zum Steuern des Geräts
CN103092608A (zh) * 2012-12-27 2013-05-08 广州杰赛科技股份有限公司 采集设备信息的客户端的生成及运行方法、服务器和设备
CN106254437A (zh) * 2016-07-28 2016-12-21 普奥云信息科技(北京)有限公司 物联网通信方法
CN106485806A (zh) * 2016-09-27 2017-03-08 株洲中车时代电气股份有限公司 一种机车综合信息记录装置及记录方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN108337245A (zh) * 2018-01-12 2018-07-27 北京天元创新科技有限公司 一种电力通信网中的资源数据跨隔离采集方法及系统
CN108512932A (zh) * 2018-04-13 2018-09-07 唐山新质点科技有限公司 一种数据处理方法及系统
CN109145001A (zh) * 2018-08-16 2019-01-04 北京奥技异科技发展有限公司 基于kks编码规则的实时数据编码方法
CN109765866A (zh) * 2019-01-25 2019-05-17 北京交通大学 一种基于opc ua的工业网络系统及其数据处理方法
CN110262904A (zh) * 2019-05-17 2019-09-20 北京达佳互联信息技术有限公司 数据采集方法及装置
CN110413488A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 服务器使用率预警方法及装置
CN111131728A (zh) * 2019-12-23 2020-05-08 北京知道创宇信息技术股份有限公司 一种基于编码的红外图像处理方法、装置及系统
CN111475458A (zh) * 2019-12-30 2020-07-31 网络通信与安全紫金山实验室 通用的基于opc ua的pcb制造设备信息采集系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676290A (zh) * 2021-09-27 2021-11-19 深圳市金斧子网络科技有限公司 一种基于基金系统的数据传输方法及相关设备
CN113676290B (zh) * 2021-09-27 2024-05-03 深圳市金斧子网络科技有限公司 一种基于基金系统的数据传输方法及相关设备

Also Published As

Publication number Publication date
CN113407541B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
WO2019019644A1 (zh) 推送服务器分配方法、装置、计算机设备和存储介质
CN108287668B (zh) 设备数据的处理方法及装置、计算机装置及可读存储介质
CN109783426A (zh) 采集数据的方法、装置、计算机设备及存储介质
CN111629081A (zh) 互联网协议ip地址数据处理方法、装置及电子设备
CN112464034A (zh) 用户数据提取方法、装置、电子设备及计算机可读介质
CN111198976A (zh) 云上资产关联分析系统、方法、电子设备及介质
CN113407541B (zh) 数据采集方法、设备、存储介质及装置
CN111414361A (zh) 标签数据存储方法、装置、设备及可读存储介质
CN111224831A (zh) 用于生成话单的方法和系统
CN110688354B (zh) 数据库中慢日志文件的分析方法、终端以及存储介质
CN112328592A (zh) 数据存储方法、电子设备及计算机可读存储介质
CN102222112A (zh) 资源管理装置和资源管理方法
CN110602049A (zh) 数据传输方法、服务器及存储介质
CN113688183A (zh) 多类型数据源抽取方法、系统、终端设备以及存储介质
CN113297253A (zh) 一种设备识别方法、装置、设备及可读存储介质
CN111752918A (zh) 一种历史数据交互系统及其配置方法
CN111400289A (zh) 智能用户分类方法、服务器及存储介质
CN108717438B (zh) 一种链式数据状态采集系统及方法
CN111431733A (zh) 服务告警覆盖信息的评估方法及装置
CN107070987B (zh) 用于分布式对象存储系统的数据获取方法及系统
CN112235367B (zh) 一种实体行为关系消息订阅方法、系统、终端及存储介质
CN113709187A (zh) 多服务器的数据请求方法、装置、设备及存储介质
CN112749190B (zh) 数据查询方法、装置、计算设备及计算机存储介质
CN113407252A (zh) 电能表参数的配置方法、装置、设备及存储介质
CN111625711A (zh) 新上房源的推送处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant