CN112965702A - 数据采集方法及装置 - Google Patents

数据采集方法及装置 Download PDF

Info

Publication number
CN112965702A
CN112965702A CN202110188579.9A CN202110188579A CN112965702A CN 112965702 A CN112965702 A CN 112965702A CN 202110188579 A CN202110188579 A CN 202110188579A CN 112965702 A CN112965702 A CN 112965702A
Authority
CN
China
Prior art keywords
data
acquisition
script
attribute information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188579.9A
Other languages
English (en)
Inventor
熊慧君
茅逸斐
徐修颖
吴都
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110188579.9A priority Critical patent/CN112965702A/zh
Publication of CN112965702A publication Critical patent/CN112965702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/31—Programming languages or programming paradigms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种数据采集方法及装置，涉及人工智能技术领域，数据采集方法包括：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。本发明通过批量部署脚本至多个目标设备，提高采集脚本的部署效率；通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源；通过分布式传输的方式传输数据可提高数据的传输效率。

Description

数据采集方法及装置
技术领域
本发明涉及人工智能技术领域，特别涉及运维技术领域，具体涉及一种数据采集方法及装置。
背景技术
近年来，随着人工智能的高速发展，智能化运维逐渐在运维领域崭露头角，而数据采集为智能运维的基础。在IT运维领域，待分析的数据大多来自各IT设备，传统的采集IT运维数据的方式为分别在各IT设备上部署采集脚本，将采集结果输出至数据库等。脚本一般来说编辑简单，修改方便，不需编译即可执行，简化了采集数据的步骤。
但是，部署采集脚本的过程繁琐，若采集脚本发生更新还需重新部署。会导致基于采集脚本的数据采集过程繁琐和效率低的问题。
发明内容
针对现有技术中的问题，本发明提供一种数据采集方法及装置，能够有效提高数据采集的效率。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种数据采集方法，包括：
将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
通过分布式传输的方式接收采集的数据和识别的属性信息。
进一步地，在通过分布式传输的方式接收采集的数据和识别的属性信息之后，还包括：
对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
其中，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。
其中，所述将预设的采集脚本批量部署到至少两个目标设备，包括：
将所有目标设备的地址添加至预设群组；
利用自动化运维工具将采集脚本分发至所有目标设备。
其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。
其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。
第二方面，本发明提供一种数据采集装置，包括：
批量部署单元，用于将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
采集单元，用于根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
回传单元，用于通过分布式传输的方式接收采集的数据和识别的属性信息。
进一步地，还包括：
处理单元，用于对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
其中，所述处理单元采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。
其中，所述批量部署单元包括：
分组子单元，用于将所有目标设备的地址添加至预设群组；
部署子单元，用于利用自动化运维工具将采集脚本分发至所有目标设备。
其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。
其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据采集方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据采集方法的步骤。
由上述技术方案可知，本发明提供一种数据采集方法及装置，通过批量部署脚本至多个目标设备，提高采集脚本的部署效率；通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源；通过分布式传输的方式传输数据可提高数据的传输效率。还能够减轻运维数据采集人员的工作压力，为智能运维打好基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的数据采集方法的第一流程示意图。
图2为本发明实施例中的数据采集方法的第二流程示意图。
图3为本发明实施例中的数据采集装置的结构示意图。
图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种数据采集方法的实施例，参见图1，所述数据采集方法具体包含有如下内容：
S101：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
需要说明的是，目标设备的属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。每个采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。
在本实施例中，属性信息为的编号，每个采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本。
在具体实施时，在目标设备环境中准备一台网络连通的设备，在该网络连通的设备中将所有目标设备的IP加入absible group，该absible group为预设群组。将采集脚本通过自动化运维工具(ansible，计算机系统配置管理器)的服务器传送至所有目标设备，其中采集脚本包含识别目标设备的属性信息的语句，使得采集脚本采集的数据中带有目标设备的信息。
综上，通过批量部署脚本至多个目标设备，提高采集脚本的部署效率。
S102：根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
在本步骤中，目标设备的数据和目标设备的属性信息为对应关系，通过属性信息表明数据来源。
通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源。
具体的，目标设备需要初始化支持不同脚本语言的各脚本引擎，并加载采集脚本。目标设备自己自身存储的数据，查找定义在采集脚本中的需要采集的目标数据。将下载的数据发送至相应脚本语言的脚本引擎；脚本引擎根据采集脚本方法名称，调用并执行对应的脚本方法，在存储器采集出目标数据。
S103：通过分布式传输的方式接收采集的数据和识别的属性信息。
通过分布式传输的方式传输数据可提高数据的传输效率。
具体的，接收目标设备发送来的采集脚本采集的数据并将采集的数据传输至中间件kafka。中间件kafka收集各个目标设备端发送的采集脚本采集的的数据，统一发送至logstash(服务器端数据处理管道)；logstash(服务器端数据处理管道)接收中间件kafka的消息，转为数据文件，并存储至目标数据库。
从上述描述可知，本发明实施例提供的数据采集方法，通过将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息，能够提高采集脚本的部署效率，有效解析数据来源后可有效定位采集的数据来源，还能够提高数据的传输效率。
在本发明的一实施例中，参见图2，所述数据采集方法的步骤S103之后具体包含有如下内容：
S104：对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
在本实施例中，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。
由于每台目标设备采集而来的数据的不同，根据属性信息可判断数据来源，原始数据信息较为繁杂，可根据使用需求，由logstash(服务器端数据处理管道)对数据进行清洗，分类和格式转化，处理后传入指定topic以进行算法训练、检测等实际使用。
格式转化时，将所有数据转为同一格式再进行传输。
在本发明的一实施例中，所述数据采集方法的步骤S101之前具体包含有如下内容：
S100：根据预设规则将所有目标设备进行分组。
其中，预设规则可包括相同的账号和密码、最大IP个数、最大字符个数、相同网段等。
例如，分组时设定的每个组的最大IP个数为100个，则该组分配满100个集群服务器之后，另外再新建一组。再例如，集群服务器的IP地址所属的网段相同，则优先将位于同一网段的集群服务器分为一组。
在本发明的一实施例中，所述数据采集方法的步骤S104之后具体包含有如下内容：
S105：基于预设指标过滤存储数据。
具体地，过滤存储数据可包括以下步骤：
首先，获取目标设备的第一指标名称。然后，根据第一指标名称获取对应的数据名称。之后，可根据数据名称获取存储数据中第一指标名称对应的数据。
其中，第一指标名称是指目标设备中关注的重点指标。
通过对带存储数据的过滤，只读取所需的重点指标的数据，可以节省系统资源。例如，目标设备中比较重要的一个指标是CPU的温度等。通过预先设置，可以只读取CPU的温度的指标值如60摄氏度，而无需读取全部的指标对应的数值，从而达到节省系统资源的目的。
可以理解的是，在上述各个实施例中，采集脚本可以使用python语言、shell语言或will语言构成的脚本。无论何种脚本，均需要且可以在其中加入采集该目标设备信息的语句，使得输出中带有该项信息，并将数据输出至kafka，对于传输至kafka内的数据，需将其利用logstash进行清洗、分类并回传至kafka，最终可根据需要进行数据落盘。
例如：
以采集一个集群的各服务器系统日志为例：
S1.将采集脚本filebeat.yml通过该集群的ansible管理节点进行批量部署或发放。Filebeat.yml中包含采集服务器ip的语句，例如：
processors：
add_host_metadata:
netinfo.enabled:true。
Filebeat.yml中包含输出项，输出至kafka的指定topic。
S2.传输至kafka中的一条数据如下，
{"@timestamp":"2020-12-17T07:00:05.364Z","@metadata":{"beat":"filebeat","type":"doc","versio n":"6.5.1","topic":"sys-3-mysql-log"},"source":"/var/log/messages","offset":2761938,"message":"2020-12-17T15:00:01.956568+08:00pdccjtidbapp002 systemd[14550]:Reached target De-fault.","prospector":{"type":"log"},"input":{"type":"log"},"fields":{"IP":"076.10.14.15","HOST_IP":"76.100.14.15"},"beat":{"hostname":"pdccjtidbapp002","version":"6.5.1","name":"pdccjtidbapp002"},"host":{"os":{"family":"suse","platform":"sles","version":"12-SP3"},"id":"8da9222a144a16fafd75aaec5abdece8","containerized":false,"ip":["76.100.14.15"],"mac":["a0:a3:3b:a8:ac:8d","a0:a3:3b:a8:ac:8e","a0:a3:3b:a8:ac:8f","a0:a3:3b:a8:ac:90","68:cc:6e:e0:df:88","68:cc:6e:e0:df:89","68:cc:6e:e0:df:8a","68:cc:6e:e0:df:8b","68:cc:6e:a5:3d:93","68:cc:6e:a5:3d:94","68:cc:6e:a5:3d:95","68:cc:6e:a5:3d:96"],"name":"pdccjtidbapp002","architecture":"x86_64"}}
其中，由每台不同服务器采集而来的数据的[host][ip]不同，可由此判断数据来源。原始数据信息较为繁杂，可根据使用需求，由logsatsh对其进行清洗，清洗后传入指定topic以进行算法训练、检测等实际使用。如下为一种清洗后的格式：{"hostIP":"76.100.14.15","data_id":"messages_s3_1","raw":"host-IP:76.10.14.16,log:2020-12-17T15:00:01.956568+08:00pdccjtidbapp002 systemd[14550]:Reached targetDefault."}
本发明实施例提供一种能够实现所述数据采集方法中全部内容的数据采集装置的具体实施方式，参见图3，所述数据采集装置具体包括如下内容：
批量部署单元10，用于将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
采集单元20，用于根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
回传单元30，用于通过分布式传输的方式接收采集的数据和识别的属性信息。
进一步地，还包括：
处理单元40，用于对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
其中，所述处理单元采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。
其中，所述批量部署单元包括：
分组子单元，用于将所有目标设备的地址添加至预设群组；
部署子单元，用于利用自动化运维工具将采集脚本分发至所有目标设备。
其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。
其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。
本发明提供的数据采集装置的实施例具体可以用于执行上述实施例中的数据采集方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明实施例提供的数据采集装置，通过将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息，能够提高采集脚本的部署效率，有效解析数据来源后可有效定位采集的数据来源，还能够提高数据的传输效率。
本申请提供一种用于实现所述数据采集方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述数据采集方法的实施例及用于实现所述数据采集装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图4为本申请实施例的电子设备9600的系统构成的示意框图。如图4所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图4是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，数据采集功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。
从上述描述可知，本申请的实施例提供的电子设备，通过将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息，能够提高采集脚本的部署效率，有效解析数据来源后可有效定位采集的数据来源，还能够提高数据的传输效率。
在另一个实施方式中，数据采集装置可以与中央处理器9100分开配置，例如可以将数据采集配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数据采集功能。
如图4所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图4中所示的所有部件；此外，电子设备9600还可以包括图4中没有示出的部件，可以参考现有技术。
如图4所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的数据采集方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据采集方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。
从上述描述可知，本发明实施例提供的计算机可读存储介质，通过将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息，能够提高采集脚本的部署效率，有效解析数据来源后可有效定位采集的数据来源，还能够提高数据的传输效率。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种数据采集方法，其特征在于，包括：
将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
通过分布式传输的方式接收采集的数据和识别的属性信息。
2.根据权利要求1所述的数据采集方法，其特征在于，在通过分布式传输的方式接收采集的数据和识别的属性信息之后，还包括：
对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
3.根据权利要求2所述的数据采集方法，其特征在于，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。
4.根据权利要求1所述的数据采集方法，其特征在于，所述将预设的采集脚本批量部署到至少两个目标设备，包括：
将所有目标设备的地址添加至预设群组；
利用自动化运维工具将采集脚本分发至所有目标设备。
5.根据权利要求1所述的数据采集方法，其特征在于，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。
6.根据权利要求1所述的数据采集方法，其特征在于，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。
7.一种数据采集装置，其特征在于，包括：
批量部署单元，用于将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
采集单元，用于根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
回传单元，用于通过分布式传输的方式接收采集的数据和识别的属性信息。
8.根据权利要求7所述的数据采集装置，其特征在于，还包括：
处理单元，用于对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的数据采集方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的数据采集方法的步骤。
CN202110188579.9A 2021-02-19 2021-02-19 数据采集方法及装置 Pending CN112965702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110188579.9A CN112965702A (zh) 2021-02-19 2021-02-19 数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188579.9A CN112965702A (zh) 2021-02-19 2021-02-19 数据采集方法及装置

Publications (1)

Publication Number Publication Date
CN112965702A true CN112965702A (zh) 2021-06-15

Family

ID=76285052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188579.9A Pending CN112965702A (zh) 2021-02-19 2021-02-19 数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN112965702A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107528870A (zh) * 2016-06-22 2017-12-29 腾讯科技（深圳）有限公司 一种数据采集方法及其设备
CN108920411A (zh) * 2018-07-03 2018-11-30 山东汇贸电子口岸有限公司 一种分布式存储系统的数据采集方法及装置
CN111404719A (zh) * 2019-11-22 2020-07-10 杭州海康威视系统技术有限公司 网络拓扑信息采集方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107528870A (zh) * 2016-06-22 2017-12-29 腾讯科技（深圳）有限公司 一种数据采集方法及其设备
CN108920411A (zh) * 2018-07-03 2018-11-30 山东汇贸电子口岸有限公司 一种分布式存储系统的数据采集方法及装置
CN111404719A (zh) * 2019-11-22 2020-07-10 杭州海康威视系统技术有限公司 网络拓扑信息采集方法及系统

Similar Documents

Publication Publication Date Title
CN106453572B (zh) 基于云服务器同步图像的方法及系统
CN107766509B (zh) 一种网页静态备份的方法和装置
CN105871587A (zh) 日志上传方法及装置
CN113485962B (zh) 日志文件的存储方法、装置、设备和存储介质
CN110990482A (zh) 异步数据库之间的数据同步方法及装置
CN110851234A (zh) 基于docker容器的日志处理方法及装置
US20220138074A1 (en) Method, electronic device and computer program product for processing data
CN113139660A (zh) 模型推理方法、装置、电子设备及存储介质
US10938773B2 (en) Method and apparatus for synchronizing contact information and medium
CN112491609A (zh) 基于业务服务的系统应用架构发现方法及系统
CN115390991A (zh) 虚拟机的导入导出方法、装置、设备及存储介质
CN109788251B (zh) 视频处理方法、装置及存储介质
CN115329170A (zh) 网页抓取方法、装置、设备以及存储介质
CN116974948B (zh) 业务系统测试方法、系统、设备和介质
CN111930565B (zh) 分布式管理系统中组件的进程故障自愈方法、装置及设备
CN107861821B (zh) 模块调用关系的挖掘方法、装置及计算机可读介质
CN116450353A (zh) 处理器核匹配方法、装置、电子设备及存储介质
CN111405020B (zh) 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统
CN112579406B (zh) 一种日志调用链生成方法和装置
CN112965702A (zh) 数据采集方法及装置
CN110673835A (zh) 一种动态装配式开发系统、方法、计算机和计算机程序
CN112380411B (zh) 敏感词处理方法、装置、电子设备、系统及存储介质
CN112417015A (zh) 数据分发方法和装置、存储介质及电子装置
CN116244160B (zh) 一种无侵入性能分析方法、系统、电子设备及存储介质
CN110019445A (zh) 数据同步方法和装置、计算设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination