CN113449166A - 数据采集方法、装置、设备及存储介质 - Google Patents
数据采集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113449166A CN113449166A CN202110573095.6A CN202110573095A CN113449166A CN 113449166 A CN113449166 A CN 113449166A CN 202110573095 A CN202110573095 A CN 202110573095A CN 113449166 A CN113449166 A CN 113449166A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- data acquisition
- data
- activated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000003213 activating effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013515 script Methods 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000000737 periodic effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 7
- 238000013467 fragmentation Methods 0.000 abstract description 3
- 238000006062 fragmentation reaction Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据采集方法、装置、设备及存储介质，涉及数据采集技术领域，所述方法包括：将数据采集指令划分为多个节点和各节点之间的连接关系，依据连接关系激活节点，分化采集流程，将数据采集流程分片化，解决了现有数据采集方法固定化和片面化问题，能够适用于不同的系统之间，能够实现一次配置永久使用，当系统变动能够自适应的增加或者减少节点，使亦无需二次开发；并且本申请的数据采集方法性能良好、高效，部署简单，服务自动发现，数据采集后直接处理，能够直观展示。
Description
技术领域
本申请实施例涉及数据采集技术领域，具体而言，涉及一种数据采集方法、装置、设备及存储介质。
背景技术
对于包括多个资产的系统，其通常为多个软件、多个硬件或者多个软、硬件的结合。例如物联网系统中既包括了终端产品等硬件资产、也包括了数据分析引擎、应用平台、外部信息接口、网络通讯接口等软件资产，由于系统包括了多个不同的软件资产、硬件资产，因此当对系统内的多个资产进行数据采集时，通常要针对待采集的资产来对采集流程进行个性化开发，即开发人员需要在采集流程添加每个软件资产、每个硬件资产的采集方法。
目前采集流程开发通常由开发人员手动完成，开发人员不仅要编写系统采集的整个流程，还要编写采集流程中各个资产专属的个性化子流程，这一异常繁琐的系统采集流程的开发过程，会极大的增加开发人员工作量，导致开发时间增加，加长了项目周期。
发明内容
本申请实施例提供一种数据采集方法、装置、设备及存储介质，旨在解决现有数据采集方法工作量大、开发时间长的问题。
本申请实施例第一方面提供一种数据采集方法，所述方法包括：
接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点；
针对所述多个节点，配置每个节点的节点子流程；
在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
可选地，所述方法还包括：
接收执行指令；
当所述执行指令为主动执行指令时，立即激活节点；
当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式，并依据所述计划任务表达式激活节点。
可选地，所述针对所述多个节点，配置每个节点的节点子流程，包括：
针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
将所述目标脚本配置在节点上。
可选地，所述方法还包括：
依据所述连接关系，将所述多个节点分配在不同的线程上，以使节点在不同的线程上进行处理。
本申请实施例第二方面提供一种数据采集装置，所述装置包括：
数据采集指令接收模块，用于接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点；
节点配置模块，用于针对所述多个节点，配置每个节点的节点子流程；
激活模块，用于在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
可选地，所述激活模块，还包括：
执行指令接收子模块，用于接收执行指令；
第一激活子模块，用于当所述执行指令为主动执行指令时，立即激活节点；
第二激活子模块，用于当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式；
依据所述计划任务表达式激活节点。
可选地，所述节点配置模块，包括：
选择子模块，用于针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
配置子模块，用于将所述目标脚本配置在节点上。
可选地，所述装置还包括：
分配模块，用于依据所述连接关系，将所述多个节点分配在不同的线程上，以使所述多个节点在不同的线程进行处理。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的数据采集方法，将数据采集指令划分为多个节点和各节点之间的连接关系，依据连接关系激活节点，分化采集流程，将数据采集流程分片化，解决了现有数据采集方法固定化和片面化问题，能够适用于不同的系统之间，能够实现一次配置永久使用，当系统变动能够自适应的增加或者减少节点，使亦无需二次开发；并且本申请的数据采集方法性能良好、高效，部署简单，服务自动发现，数据采集后直接处理，能够直观展示。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的数据采集方法的流程图；
图2是本申请一实施例提出的数据采集装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，图1是本申请一实施例提出的数据采集方法的流程图。如图1所示，该方法包括以下步骤：
步骤S110、接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点。
接收数据采集指令。接收数据采集指令，数据采集指令用于指示需要采集哪些资产的数据。本实施例的数据采集方法应用于包含多个资产的系统中，资产包括微信小程序、微信公众号等虚拟产品，也包括交换机、路由器等硬件产品。
数据采集指令来自包括微信小程序、微信公众号、it运维监控Web端等客户端。
可通过预先设置的接入层来接收数据采集指令，接入层再将来自客户端的查询数据查询指令传入服务端，服务端再按照数据采集指令采集数据，所述服务端可以是物理服务器、物理服务器集群或者虚拟服务器。示例的，接入层通过api的方式将数据传入，通过接入层通常需要承载大量的网络请求，再将请求进行转发能够有效控制流量，提升服务器负载。
优选的，接入层可以是it运维监控Web端，即it运维监控Web端在承载请求的同时也会发出数据采集指令，it运维监控Web端既是数据采集平台接入层，也是客户端。
将所述数据采集指令分解为多个节点和各节点之间的连接关系，本申请将数据采集指令分解为多各节点，节点代表了要做的事情，例如采集数据、分析数据等，连接关系用于连接两个节点，连接关系定义了节点的触发顺序和触发条件，因此，节点代表事件而并非资产，因此一个节点内实际可以包括多个资产，另外，一个节点也可以拥有多个连接关系。其中，节点的基本类型命令节点、解析节点、指标节点三种，命令节点是用于采集资产的指标数据的节点，解析节点是用于将采集到的数据进行标准化处理的节点，指标节点是用于将标准化后的数据按照已配置的格式整合成数据包的节点，对于接收到的数据采集指令将其分解为多个节点和节点之间的连接关系。
例如，对于一个数据采集指令如采集大楼空调系统最近10天的运行状况，这一指令可以被分为两个命令节点、一个解析节点、一个指标节点，一个命令节点是采集大楼内所有温度采集点所收集的温湿度数据，一个命令节点是采集空调机组的运行数据。解析节点连接两个命令节点，指标节点再连接解析节点。显然，本申请当本申请数据采集流程比较复杂时，可以设置多个解析节点和指标节点。
步骤S220、针对所述多个节点，配置每个节点的节点子流程。
对于分解得到的节点，针对节点的具体任务，配置每个节点的节点子流程，节点子流程用于具体如何执行节点的任务，例如，不同类型的节点如解析节点和命令节点由于任务不同，需要配置的节点子流程也是不同的。并且，同类型的节点之间需要配置的节点子流程也可能存在不同，例如，上例中，采集网站中能够参与评论的网页/分区和采集一个网页/分区内最近10天的留言，显然不能够使用同样的方法来执行。
优选的，所述针对所述多个节点，配置每个节点的节点子流程，包括：
针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
将所述目标脚本配置在节点上。
本申请的节点子流程采用脚本的方式来实施，即预先将节点子流程编写为脚本。脚本Script在计算机领域指是使用一种特定的描述性语言，依据一定的格式编写的可执行文件，由于脚本的语法和结构通常比较简单，因此使用通常比较简单，并且，脚本通常以容易修改程序的“解释”作为运行方式，而不需要“编译”，使脚本的开发产能优于运行性能。一个脚本能够把各种不同的已有组件连接起来以完成相关任务，并且脚本和其它语言编写的程序组件之间通信功能很强大，可以把服务组件粘合起来。
本申请的脚本可采用JavaScript、lua、shell、regex、sql、go等格式，为侧重不同语言的运维人员提供更便捷部署方式，便于不同语言的运维人员进行数据采集。
采用脚本的形式进行数据采集，不仅实现了无需手动操作，减少了运维人员的工作量，还能够突破现有数据采集方法的性能瓶颈，支持高频高效采集。
节点的脚本来自预先建立的知识库，通过知识库的方式累积脚本，运维人员可根据实际情况编写可能用到的脚本，将其保存在知识库中，本申请的知识库除了预先编写的脚本外，还可以积累在运维过程中编写的脚本，即本申请知识库中积累了预先编写和运维过程中产生的脚本，通过积累的脚本，本申请能够快速适配任意资产。
节点脚本也可由运维人员根据需求自定义命令、指标、解析数据脚本，再将其配置在节点上，不使用知识库的脚本，实现采集任务配置灵活。
此外，本申请的知识库中还可以保存数据采集指令的分解过程，即运维人员可以针对一些常用/特殊的数据采集指令，在知识库中保存其的节点分解过程，便于实现数据采集指令的快速解析和专门化处理。
步骤S230、在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
在将数据采集指令分解为节点时，可对节点进行标记，标记出需要首先需要外部激活的节点，可将其标记为首级节点或起始节点等，例如上例中，采集温湿度数据的命令节点和采集空调机组的命令节点，前面没有节点不能被节点激活，只能被外部激活，因此将这两个节点标记为首级节点。
依据起始/首级标记激活节点，每个节点被激活后执行自身的节点子流程，并在执行自身的节点子流程后依据连接关系激活其连接的下一级节点。
优选的，所述方法还包括：
接收执行指令；
接收执行指令。本申请实施例中，在节点配置完成后，并不是立即激活各节点，而是等待接收执行指令。进一步的，等待接收执行指令的过程中，还继续接收数据采集指令，将接收数据采集指令，将数据采集指令解析为节点和连接关系，将每一个解析结果进行标记如编号。当有多个已解析的数据采集指令等待时，执行指令包含解析结果对应的标记，用于指定某一个/几个解析结果执行数据采集指令。
当所述执行指令为主动执行指令时，立即激活节点。
当执行指令为主动执行指令时，立即激活命令节点。当执行指令包含用于指定特定解析结果的标记时，依据标记激活对应的解析结果。
当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式，并依据所述计划任务表达式激活节点。
当执行指令为周期执行指令时，将周期执行指令转换为计划任务表达式如cron表达式，Cron表达式是一个具有时间含义字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Seconds/Minutes/Hours/Month/fWeek，秒/分钟/小时/月份/星期，Cron表达式适用于周期性执行、日常维护、在某时刻需要完成的单次任务等场景。
将周期执行指令转换为cron表达式后，依据cron表达式后来激活命令节点以采集数据，实现任务的自动推送。例如，周期执行指令为每天上午10:15执行任务，转换得到的表达式为0 15 10？**(该表达式中的？**是表达式中的字符，并非乱码)，依据这一表达式每天上午10:15采集数据。
当命令节点被激活后，被激活的命令节点采集自身节点内的数据；
被激活的命令节点依据节点配置的节点子流程采集自身节点内包含的资产的数据。
当解析节点被激活后，读取各命令节点采集的数据，对数据进行标准化处理；
解析节点被激活后，同样的，依据配置的节点子流程读取命令节点的数据，对数据进行标准化处理。
当指标节点被激活后，读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
指标节点被激活后，将所述标准化处理后数据按照预先配置的格式整合成数据包，实现了将采集的数据以预先配置的格式的直观展示，并实现了数据的汇总。
指标节点完成数据的整合后将数据包存储至时序数据库如influxDB内并将数据包回流至客户端展示。
在本申请一个实施例中，接入层通过api的方式将数据指令传入服务端，服务端内的探针管理模块接收指令后，将指令数据流入对应的探针引擎，探针引擎加载解析任务流程引擎，对指令进行解析。再进一步下发执行指令通过探针引擎依据周期任务的cron表达式和主动任务的执行指令通过配置的处理流程来采集、处理对应的软件或者硬件资产指标数据。最后探针引擎将数据包下发至探针管理端，探针管理端通过数据中心将数据存储至时序数据库内以及回流至客户端展示。
优选的，所述方法还包括：
依据所述连接关系，将所述多个节点分配在不同的线程上，以使节点在不同的线程上进行处理。
线程thread是操作系统能够进行运算调度的最小单位。大部分情况下，它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流。
本申请将节点依据连接关系分配在不同线程上，例如上例中，将采集温湿度数据的命令节点和采集空调机组的命令节点分配在不同线程上，每条线程并行执行不同的任务，提高了程序的执行吞吐率和程序的执行效率。
采用本申请提供的数据采集方法，将数据采集指令划分为多个节点和各节点之间的连接关系，依据连接关系激活节点，分化采集流程，将数据采集流程分片化，解决了现有数据采集方法固定化和片面化问题，能够适用于不同的系统之间，能够实现一次配置永久使用，当系统变动能够自适应的增加或者减少节点使亦无需二次开发；并且本申请的数据采集方法性能良好、高效，部署简单，服务自动发现，数据采集后直接处理，能够直观展示。
基于同一发明构思，本申请一实施例提供一种数据采集装置。参考图2，图2是本申请一实施例提出的数据采集装置的功能模块示意图。如图2所示，该装置包括：
数据采集指令接收模块210，用于接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点；
节点配置模块220，用于针对所述多个节点，配置每个节点的节点子流程；
激活模块230，用于在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
优选的，所述激活模块，还包括：
执行指令接收子模块，用于接收执行指令；
第一激活子模块，用于当所述执行指令为主动执行指令时，立即激活节点；
第二激活子模块，用于当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式；
依据所述计划任务表达式激活节点。
优选的，所述节点配置模块，包括：
选择子模块，用于针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
配置子模块，用于将所述目标脚本配置在节点上。
优选的，所述装置还包括：
分配模块，用于依据所述连接关系，将所述多个节点分配在不同的线程上，以使所述多个节点在不同的线程进行处理。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的数据采集方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的数据采集方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据采集方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据采集方法，其特征在于，所述方法包括：
接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点；
针对所述多个节点，配置每个节点的节点子流程；
在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
2.根据权利要求1所述方法，其特征在于，所述方法还包括：
接收执行指令；
当所述执行指令为主动执行指令时，立即激活节点；
当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式，并依据所述计划任务表达式激活节点。
3.根据权利要求1所述方法，其特征在于，所述针对所述多个节点，配置每个节点的节点子流程，包括：
针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
将所述目标脚本配置在节点上。
4.根据权利要求1所述方法，其特征在于，所述方法还包括：
依据所述连接关系，将所述多个节点分配在不同的线程上，以使节点在不同的线程上进行处理。
5.一种数据采集装置，其特征在于，所述装置包括：
数据采集指令接收模块，用于接收数据采集指令，将所述数据采集指令分解为多个节点和所述多个节点之间的连接关系，所述节点的类型包括：命令节点、解析节点、指标节点；
节点配置模块，用于针对所述多个节点，配置每个节点的节点子流程；
激活模块，用于在节点被激活的情况下，被激活的节点执行自身的节点子流程，并依据所述连接关系激活下一级节点；
其中：
当命令节点被激活后，所述命令节点采集自身节点内的数据；
当解析节点被激活后，所述解析节点读取各命令节点采集的数据，对数据进行标准化处理；
当指标节点被激活后，所述指标节点读取标准化后的数据，将所述标准化处理后数据按照预先配置的格式整合成数据包。
6.根据权利要求5所述装置，其特征在于，所述激活模块，还包括：
执行指令接收子模块，用于接收执行指令；
第一激活子模块，用于当所述执行指令为主动执行指令时，立即激活节点；
第二激活子模块，用于当所述执行指令为周期执行指令时，将所述周期执行指令转换为计划任务表达式；
依据所述计划任务表达式激活节点。
7.根据权利要求5所述装置，其特征在于，所述节点配置模块，包括：
选择子模块，用于针对所述多个节点，依据每个节点的属性，在知识库中选择节点对应的目标脚本，所述知识库包括多个脚本；
配置子模块，用于将所述目标脚本配置在节点上。
8.根据权利要求5所述装置，其特征在于，所述装置还包括：
分配模块，用于依据所述连接关系，将所述多个节点分配在不同的线程上，以使所述多个节点在不同的线程进行处理。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至4任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至4任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573095.6A CN113449166A (zh) | 2021-05-25 | 2021-05-25 | 数据采集方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573095.6A CN113449166A (zh) | 2021-05-25 | 2021-05-25 | 数据采集方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449166A true CN113449166A (zh) | 2021-09-28 |
Family
ID=77810177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110573095.6A Pending CN113449166A (zh) | 2021-05-25 | 2021-05-25 | 数据采集方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449166A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320203A (zh) * | 2023-05-22 | 2023-06-23 | 杭州慧康物联网科技有限公司 | 用于医院智能运维平台的数据管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109324791A (zh) * | 2017-08-18 | 2019-02-12 | 深圳怡化电脑股份有限公司 | 金融自助终端业务流程开发方法、装置及终端设备 |
| CN110163572A (zh) * | 2019-05-21 | 2019-08-23 | 东软集团股份有限公司 | 一种链码函数处理方法、装置及设备 |
| CN111190399A (zh) * | 2019-12-30 | 2020-05-22 | 航天信息股份有限公司 | 一种基于关键控制点的监控系统及方法 |
| CN111241447A (zh) * | 2020-01-13 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 一种网页数据采集方法、系统及存储介质 |
-
2021
- 2021-05-25 CN CN202110573095.6A patent/CN113449166A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109324791A (zh) * | 2017-08-18 | 2019-02-12 | 深圳怡化电脑股份有限公司 | 金融自助终端业务流程开发方法、装置及终端设备 |
| CN110163572A (zh) * | 2019-05-21 | 2019-08-23 | 东软集团股份有限公司 | 一种链码函数处理方法、装置及设备 |
| CN111190399A (zh) * | 2019-12-30 | 2020-05-22 | 航天信息股份有限公司 | 一种基于关键控制点的监控系统及方法 |
| CN111241447A (zh) * | 2020-01-13 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 一种网页数据采集方法、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320203A (zh) * | 2023-05-22 | 2023-06-23 | 杭州慧康物联网科技有限公司 | 用于医院智能运维平台的数据管理系统 |
| CN116320203B (zh) * | 2023-05-22 | 2023-07-21 | 杭州慧康物联网科技有限公司 | 用于医院智能运维平台的数据管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107895009B (zh) | 一种基于分布式的互联网数据采集方法及系统 | |
| CN107766205B (zh) | 一种面向微服务调用过程跟踪的监控系统及方法 | |
| CN102880503B (zh) | 数据分析系统及数据分析方法 | |
| Okanović et al. | Towards performance tooling interoperability: An open format for representing execution traces | |
| CN104156313A (zh) | 一种Web服务测试用例自动生成方法 | |
| CN110851681B (zh) | 爬虫处理方法、装置、服务器及计算机可读存储介质 | |
| CN110750458A (zh) | 大数据平台测试方法、装置、可读存储介质及电子设备 | |
| CN106682036A (zh) | 一种数据交换系统及其交换方法 | |
| CN107480036A (zh) | iOS移动应用的自动测试方法、装置、存储介质及终端 | |
| CN101309178B (zh) | 一种自动交换光网络系统日志信息的解析方法及装置 | |
| CN111221831A (zh) | 一种对广告效果数据实时处理的计算系统 | |
| CN107391528B (zh) | 前端组件依赖信息搜索方法及设备 | |
| CN116016628A (zh) | 一种api网关埋点分析方法及装置 | |
| CN111984505A (zh) | 一种运维数据采集引擎及采集方法 | |
| CN113449166A (zh) | 数据采集方法、装置、设备及存储介质 | |
| CN114912255A (zh) | 在线仿真实验系统及方法 | |
| CN116010452A (zh) | 基于流式计算引擎的工业数据处理系统和方法、介质 | |
| CN103218682A (zh) | 基于Web服务编排描述语言的多方协同业务流程监控系统 | |
| CN113568825A (zh) | 程序流程调试方法、装置、设备及存储介质 | |
| WO2016190869A1 (en) | Determining potential test actions | |
| CN116028192A (zh) | 一种多源异构数据采集方法、装置和存储介质 | |
| CN111124858A (zh) | 无埋点插码数据处理方法、系统、终端设备及存储介质 | |
| CN113626028B (zh) | 一种页面元素的映射方法及装置 | |
| CN112685370B (zh) | 一种日志采集方法、装置、设备和介质 | |
| CN114723397A (zh) | 一种流程执行方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |