CN111866137A - 数据采集动态控制方法和装置、电子设备和介质 - Google Patents

数据采集动态控制方法和装置、电子设备和介质 Download PDF

Info

Publication number
CN111866137A
CN111866137A CN202010701808.8A CN202010701808A CN111866137A CN 111866137 A CN111866137 A CN 111866137A CN 202010701808 A CN202010701808 A CN 202010701808A CN 111866137 A CN111866137 A CN 111866137A
Authority
CN
China
Prior art keywords
executable command
path
client
configuration file
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010701808.8A
Other languages
English (en)
Other versions
CN111866137B (zh
Inventor
赵振华
江露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010701808.8A priority Critical patent/CN111866137B/zh
Publication of CN111866137A publication Critical patent/CN111866137A/zh
Application granted granted Critical
Publication of CN111866137B publication Critical patent/CN111866137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供一种数据采集动态控制方法和装置、电子设备和介质,涉及云平台、数据采集技术领域。根据本公开一个方面,该数据采集动态控制方法包括:接收客户端要采集数据的路径信息;根据路径信息生成包含可执行命令的任务请求参数;以及向客户端发送包含可执行命令的任务请求参数以使得客户端执行该可执行命令以生成配置文件。

Description

数据采集动态控制方法和装置、电子设备和介质
技术领域
本公开涉及云平台、数据采集技术领域,特别涉及数据采集动态控制方法和装置、电子设备和介质。
背景技术
随着信息化建设的不断推进和深化,一些企业的信息系统及业务应用的建设规模和功能也在逐步扩大,在实际应用过程中,其网络设备和应用系统的配置可能会时常变动。在例如新上线一个服务的情况下,需要收集该服务相关信息,当前方案需依次到相关设备或系统上更新其客户端的配置或对所有设备或系统上的客户端进行升级。以上方案操作复杂,影响其他设备或系统数据采集的正常运行。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一个方面,提供了一种数据采集动态控制方法,包括:接收客户端要采集数据的路径信息;根据路径信息生成包含可执行命令的任务请求参数;以及向客户端发送包含可执行命令的任务请求参数以使得客户端执行该可执行命令以生成配置文件。
根据本公开的另一个方面,提供了一种数据采集动态控制方法,包括:接收服务端发送的包含可执行命令的任务请求参数,其中,该可执行命令根据要采集数据的路径信息生成;执行该可执行命令以调用创建路径脚本,以使用该可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件;以及根据该配置文件进行数据采集。
根据本公开的另一个方面,提供了一种数据采集动态控制装置,包括:接收模块,配置为接收客户端要采集数据的路径信息;生成模块,配置为根据路径信息生成包含可执行命令的任务请求参数;以及发送模块,配置为向客户端发送包含可执行命令的任务请求参数以使得客户端执行可执行命令以生成配置文件。
根据本公开的另一个方面,提供了一种数据采集动态控制装置,包括:接收模块,配置为接收服务端发送的包含可执行命令的任务请求参数,其中该可执行命令根据要采集数据的路径信息生成;执行模块,配置为执行可执行命令以调用创建路径脚本,以使用可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件;以及数据采集模块,配置为根据配置文件进行数据采集。
根据本公开的另一个方面,提供了一种电子设备,包括:处理器;以及存储程序的存储器,该程序包括指令,该指令在由处理器执行时使处理器执行本公开的一个方面所述的数据采集动态控制方法。
根据本公开的另一个方面,提供了一种电子设备,包括:处理器;以及存储程序的存储器,该程序包括指令,该指令在由处理器执行时使处理器执行本公开的另一个方面所述的数据采集动态控制方法。
根据本公开的另一个方面,提供了一种存储程序的计算机可读存储介质,该程序包括指令,该指令在由电子设备的处理器执行时,致使电子设备执行本公开的一个方面所述的数据采集动态控制方法。
根据本公开的另一个方面,提供了一种存储程序的计算机可读存储介质,该程序包括指令,该指令在由电子设备的处理器执行时,致使电子设备执行本公开的另一个方面所述的数据采集动态控制方法。
根据本公开的一个方面,数据采集动态控制系统能够灵活地根据需求下发采集任务,不依赖复杂的第三方分布式任务调度工具,大大减少了平台的误操作问题。
根据在下文中所描述的实施例,本公开的这些和其它方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1是示出一个示例性实施例的数据采集动态控制方法的示意图;
图2是示出另一个示例性实施例的数据采集动态控制方法的示意图;
图3是示出示例性实施例的包含服务端和客户端的数据采集动态控制系统的示意图;
图4是示出示例性实施例的图3中所示客户端的示意图;以及
图5是示出能够应用于示例性实施例的示例性计算设备的结构框图。
具体实施方式
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在例如云平台领域中,私有云作为一整套IT基础设施交付企业之后,企业如何对云平台进行运维、监控、安全审计等对于企业是至关重要的。而为了实现以上目的,云平台上信息的收集和和对收集信息的处理是十分重要的环节,因此,在机器上线、服务部署、服务变更过程中如何动态化与平台化地完成信息采集是必不可少的。
根据本公开的一个方面,图1是示出一个示例性实施例的数据采集动态控制方法的示意图。如图1所示,该方法包括:接收客户端要采集数据的路径信息(步骤110);根据路径信息生成包含可执行命令的任务请求参数(步骤120);以及向客户端发送包含可执行命令的任务请求参数以使得客户端执行该可执行命令以生成配置文件(步骤130)。
根据本公开的一个方面,能够将接收到的客户端要采集数据的路径信息自动生成任务请求参数并将其发送到客户端,不依赖复杂的第三方分布式任务调度工具,方便快捷。
在步骤110中,接收一个或多个客户端的要采集数据的路径信息。
在一些示例中,通过用户界面接收相应的客户端要采集数据的路径信息,例如该路径为:/data/log/error.log。
根据一些实施例,还包括接收客户端要采集数据的过滤信息,以根据所述路径信息和所述过滤信息生成可执行命令。例如,该过滤信息可以为某一类型文件,以在采集数据时过滤掉该类型文件中的数据;也可以为某一时间信息,以在采集数据时过滤掉该时间内的数据。过滤信息可根据项目需求自行设置,在此不做限定。
根据一些实施例,还包括接收要执行数据采集任务的该客户端的信息。例如,通过用户界面接收用户输入的客户端IP地址,以通过该IP地址与对应的客户端建立通信。
在步骤120中,根据路径信息生成包含可执行命令的任务请求参数。
根据一些实施例,根据路径信息生成包含可执行命令的任务请求参数包括:将该路径信息保存到数据库,以在数据库中根据该路径信息生成路径ID保存;以及根据生成的路径ID、路径信息生成可执行命令。在一些示例中,路径ID是将接收的路径信息保存到数据库后,该数据库自增生成的ID。并且,在一些示例中,该数据库可以包括MySQL数据库等。
在一些示例中,该可执行命令是根据路径信息和过滤规则生成的一个用来调用客户端上的内置脚本的命令,如该命令为:“sh create_path.sh pathID path filters”,其中create_path.sh是客户端上的内置脚本的脚本名称(即创建路径脚本),用来生成新的配置文件;pathID是将输入的路径信息保存到数据库后,该数据库自增生成的ID;path是用户界面上输入的采集数据的路径,例如/data/log/error.log;filters是用户界面上输入的采集数据过滤规则。
根据一些实施例,该任务请求参数还包括:任务ID、任务名称、任务类型,其中所述任务类型取自同步类型和异步类型中的其中一个。在一些示例中,任务ID为生成的UUID(通用唯一标识符)。
在步骤130中,向客户端发送包含可执行命令的任务请求参数以使得客户端执行该可执行命令以生成配置文件。
根据一些实施例,向客户端发送包含可执行命令的任务请求参数以使得客户端执行可执行命令以生成配置文件包括:向客户端发送包含可执行命令的任务请求参数以使得客户端执行可执行命令以生成名称为该路径ID的配置文件。
根据一些实施例,还包括:接收删除相应的客户端上配置文件的信息;根据信息生成可执行命令;以及向客户端发送可执行命令以使得客户端删除配置文件。
根据一些实施例,还包括:接收删除相应的客户端上配置文件的信息;根据该信息读取数据库中的相应的路径ID以生成包含该路径ID的可执行命令;以及向客户端发送可执行命令以使得客户端删除其名称为该路径ID的配置文件。
根据本公开的一个方面,能够根据接收的要删除配置文件的信息自动生成任务请求参数并将其发送到相应的客户端,且不影响其他正常客户端的数据采集工作。
根据本公开的另一方面,图2是示出另一个示例性实施例的数据采集动态控制方法的示意图。如图2所示,该方法包括:接收服务端发送的包含可执行命令的任务请求参数(步骤210);执行可执行命令以调用创建路径脚本,以使用该可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件(步骤220);以及根据配置文件进行数据采集(步骤230)。
根据本公开的另一方面,能够通过根据数据采集信息自动生成配置文件,达到了数据采集的动态管理需求,大大减少了采集需求变更时误操作及升级困难等问题。
在步骤210中,接收服务端发送的包含可执行命令的任务请求参数。
根据一些实施例,接收服务端发送的包含可执行命令的任务请求参数包括:可执行命令根据要采集数据的路径信息以及该路径信息所对应的路径ID生成。
根据一些实施例,通过接收模块(例如应用程序接口API)接收该任务请求参数,包括但不限于socket、FTP、HTTP以及telnet等。在一些示例中,接收模块提供了两种类型的任务接口,即同步操作接口和异步操作接口。其中,同步操作接口同步返回服务端下发的任务信息,直接返回响应信息;异步操作接口将任务保存到本地的数据库中,启动异步任务线程池,定时从数据库中拉取任务进行执行,执行完将结果进行保存,以供后续业务方调用。
根据一些实施例,响应于该任务请求参数中的任务类型为异步类型,将任务请求参数缓存到数据库中,并每隔第一预定时间段到数据库中依次读取缓存的任务请求参数并执行其中的可执行命令。该第一预定时间段可根据系统设计相应地进行设置,在此不做限定。
在步骤220中,执行可执行命令以调用创建路径脚本,以使用该可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件。
根据一些实施例,使用所述可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件包括:使用所述可执行命令中的路径ID命名该生成的配置文件。
在一些示例中,将该可执行命令中包含的路径和过滤信息等参数替换预设的配置文件模板中对应的预定义参数,并用该可执行命令中包含的路径ID命名替换后新生成的配置文件。
在步骤230中,根据配置文件进行数据采集。
根据一些实施例,通过开源的数据采集组件根据该配置文件进行数据采集,该开源的数据采集组件包括但不限于Scribe、chukwa、Kafka等等,可以根据系统需要具体设置,在此不做限定。
根据一些实施例,该数据采集动态控制方法还包括:接收所述服务端发送的包含可执行命令的任务请求参数,其中,所述可执行命令根据要删除的配置文件的信息生成;以及执行该可执行命令以调用删除路径脚本,以删除所述配置文件。
根据一些实施例,其中,该可执行命令根据所采集数据所对应的路径ID生成;以及执行可执行命令以调用删除路径脚本,以删除其名称为该路径ID的配置文件。
根据一些实施例,该数据采集动态控制方法还包括每隔预定时间段执行一次检查路径脚本,以读取根据配置文件进行数据采集的过程中生成的采集状态日志,以对采集状态进行监控。
根据本公开的另一方面,能够通过根据数据采集信息自动删除配置文件,达到了数据采集的动态管理需求,且不影响其他操作的正常运转。
根据本公开的另一方面,还提供一种数据采集动态控制装置,包括:接收模块,配置为接收客户端要采集数据的路径信息;生成模块,配置为根据路径信息生成包含可执行命令的任务请求参数;以及发送模块,配置为向客户端发送包含可执行命令的任务请求参数以使得客户端执行所述可执行命令以生成配置文件。
根据一些实施例,接收模块还配置为接收删除相应的客户端上配置文件的信息;所述生成模块还配置为根据所述信息生成可执行命令;以及所述发送模块还配置为向所述客户端发送所述可执行命令以使得所述客户端删除所述配置文件。
根据一些实施例,生成模块还配置为将所述路径信息保存到数据库,以在所述数据库中根据所述路径信息生成路径ID保存;以及根据所述生成的路径ID、所述路径信息生成所述可执行命令。
根据一些实施例,发送模块配置为向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成名称为所述路径ID的配置文件。
根据一些实施例,接收模块还配置为接收删除相应的客户端上配置文件的信息;所述生成模块还配置为根据所述信息读取所述数据库中的相应的路径ID以生成包含所述路径ID的可执行命令;以及所述发送模块还配置向所述客户端发送所述可执行命令以使得所述客户端删除其名称为所述路径ID的配置文件。
根据一些实施例,其中,所述接收模块还配置为接收客户端要采集数据的过滤信息;以及所述生成模块还配置为根据所述路径信息和所述过滤信息生成可执行命令。
根据一些实施例,上述数据采集动态控制装置可以是服务端,该服务端例如可以是云平台中的一个管理节点或计算节点等,也可以是服务器集群中的某一台用于管理集群的服务器或其中任意一台服务器。
根据本公开的另一方面,还提供一种数据采集动态控制装置,包括:接收模块,配置为接收服务端发送的包含可执行命令的任务请求参数,其中可执行命令根据要采集数据的路径信息生成;执行模块,配置为执行可执行命令以调用创建路径脚本,以使用所述可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件;以及数据采集模块,配置为根据配置文件进行数据采集。
根据一些实施例,接收模块还配置为接收所述服务端发送的包含可执行命令的任务请求参数,其中,可执行命令根据要删除的配置文件的信息生成;执行模块还配置为执行可执行命令以调用删除路径脚本,以删除配置文件。
根据一些实施例,接收模块配置为接收服务端发送的根据要采集数据的路径信息以及路径信息所对应的路径ID生成的可执行命令。
根据一些实施例,所述执行模块配置为使用可执行命令中的路径ID命名所述生成的配置文件。
根据一些实施例,接收模块还配置为接收所述服务端发送的包含可执行命令的任务请求参数,其中,可执行命令根据所采集数据所对应的路径ID生成;以及执行模块还配置为执行可执行命令以调用删除路径脚本,以删除其名称为路径ID的配置文件。
根据一些实施例,还包括检查模块,配置为每隔预定时间段执行一次检查路径脚本,以读取根据所述配置文件进行数据采集的过程中生成的采集状态日志,以对采集状态进行监控。
在一些示例中,上述数据采集动态控制装置可以是客户端,该客户端可以是云平台中的一个或多个管理节点或计算节点等,也可以是服务器集群中的任意一台或多台服务器。
图3是示出示例性实施例的包含服务端和客户端的数据采集动态控制系统的示意图。如图3所示,该系统100包括:服务端101,该服务端101接收要采集数据的路径信息并根据该路径信息生成包含可执行命令的任务请求参数;以及一个或多个客户端102,该客户端102接收包含可执行命令的任务请求参数,通过执行该可执行命令生成配置文件,以便基于配置文件进行数据采集。
根据一些实施例,服务端101和客户端102均处于同一局域网中,该服务端101可以是局域网中可以与所有客户端102通信的并且其以外的单独一个控制设备,或者也可以部署在其中的一个客户端102上,该客户端102可以与其他所有客户端102进行通信。在例如云平台的情况下,该客户端102可以是计算节点、管控节点、网络节点、存储节点或其它网络可通信机器/节点等。
根据一些实施例,服务端101包括数据库(未示出),其中,该服务端102还配置为将接收的要采集数据的路径信息保存到该数据库以在该数据库中根据路径信息生成路径ID并保存,服务端101根据生成的路径ID、路径信息生成可执行命令;以及执行模块104还配置为执行接收的可执行命令以调用创建路径脚本,执行该创建路径脚本以将可执行命令中的路径ID作为生成的配置文件的名称。
根据一些实施例,服务端101还配置为接收删除相应的配置文件的信息,并根据该信息读取所述数据库中的相应路径ID以生成包含该路径ID的可执行命令;以及执行模块104还配置为执行接收的可执行命令以调用删除路径脚本,以删除其名称为所述路径ID的配置文件。
根据一些实施例,所述服务端101还配置为接收要采集数据过滤信息,以根据所述路径信息和所述过滤信息生成可执行命令。例如,该过滤信息可以为某一类型文件,以在采集数据时过滤掉该类型文件中的数据;也可以为某一时间信息,以在采集数据时过滤掉该时间内的数据。过滤信息可根据项目需求自行设置,在此不做限定。
在一些示例中,服务端101中的接收模块可以是用户界面,例如基于web的界面。服务端101通过该用户界面与用户进行交互,以接收用户输入的要进行数据采集的终端上的数据路径信息、该客户端信息、采集数据过滤规则,或者接收用户输入的要执行删除原配置文件的客户端信息等。
根据一些实施例,服务端101接收的要执行数据采集任务的客户端信息为其IP地址,服务端101通过该IP地址与对应的客户端102建立通信。
根据一些实施例,如图4所示,客户端102包括接收模块103、执行模块104和数据采集模块105,其中,该接收模块103配置为接收包含可执行命令的任务请求参数;执行模块104包括配置文件模板,该配置文件模板包括可被动态替换的预定义参数,其中,该执行模块104配置为执行可执行命令以调用创建路径脚本,并执行所述脚本以用可执行命令中的参数替换配置文件模板中的预定义参数,从而生成配置文件;以及,数据采集模块105配置为根据该配置文件进行数据采集。
根据一些实施例,该接收模块103即为应用程序接口API,包括但不限于socket、FTP、HTTP以及telnet等。在一些示例中,任务请求参数构造好之后,可以通过例如HTTP协议与相应的客户端102进行通信。在一些示例中,接收模块提供了两种类型的任务接口,即同步操作接口和异步操作接口。其中,同步操作接口同步返回服务端101下发的任务信息,直接返回响应信息;异步操作接口将任务保存到本地的数据库中,启动异步任务线程池,定时从数据库中拉取任务进行执行,执行完将结果进行保存,以供后续业务方调用。
根据一些实施例,如图4所示,客户端102还包括数据库106,其中,执行模块104还配置为响应于该任务类型为异步类型,将任务请求参数缓存到数据库106中,并每隔第一预定时间段到数据库106中依次读取缓存的任务请求参数并执行其中的可执行命令。该第一预定时间段可根据系统设计相应地进行设置,在此不做限定。
在一个示例中,在服务端101的用户界面上输入相应的客户端要采集数据的路径信息、该客户端信息以及采集数据过滤规则,服务端101生成包含可执行命令的任务请求参数,以创建数据采集任务。其中,该可执行命令是服务端101根据路径信息和过滤规则生成的一个用来调用客户端102上的内置脚本的命令,如该命令为:“sh create_path.shpathID path filters”,其中create_path.sh是客户端102上的内置脚本的脚本名称(即创建路径脚本),用来生成新的配置文件;pathID是将输入的路径信息保存到服务端101的数据库后,该数据库自增生成的ID;path是用户界面上输入的采集数据的路径,例如/data/log/error.log;filters是用户界面上输入的采集数据过滤规则。另外,该任务请求参数还包括任务ID(例如系统自动生成的UUID)、任务名称、任务类型等等。任务请求参数构造好之后,就可以根据输入的客户端信息将该任务请求参数发送到该客户端。该客户端的执行模块通过执行该任务请求参数中的可执行命令生成配置文件,其中该配置文件的名称即为该可执行命令中的pathID。
在一个示例中,在例如终端配置或服务的部署发生变化后,这时就需要删除相关客户端上已有的配置文件,以重新通过上述过程创建新的数据采集任务,并在相应的客户端上产生新的配置文件,从而实现客户端配置信息的动态生成。其中,在服务端101的用户界面上输入要执行删除原配置文件的客户端信息,并读取服务端101的数据库中记录的其对应的路径ID,以生成包含该路径ID的可执行命令,如该命令为:“sh delete path.shpathID”,其中delete_path.sh是客户端102上的另一内置脚本的脚本名称(即删除路径脚本),用来删除生成的配置文件;pathID是在数据库中读取的对应的路径ID。任务请求参数构造好之后,就可以根据输入的相关联的客户端信息将任务请求参数发送到该客户端。该客户端的执行模块通过执行该任务请求参数中的可执行命令以删除其名称与该可执行命令中的pathID一致的配置文件。
在一些示例中,数据采集模块105可以为开源的数据采集组件,包括但不限于Scribe、chukwa、Kafka等等,可以根据系统需要具体设置,在此不做限定。
根据一些实施例,执行模块104还包括检查路径脚本,执行模块104配置为每隔第二预定时间段执行一次该检查路径脚本以读取数据采集模块105生成的采集状态日志,以对数据采集状态进行监控。例如,在通过分析该采集状态日志发现数据采集出现故障时,发出告警信息。其中,该第二预定时间段可根据系统设计相应地进行设置,在此不做限定。
根据一些实施例,数据采集动态控制系统还包括数据处理模块,该数据处理模块配置为保存数据采集模块105采集的数据并对该数据进行处理,以及接收来自服务端101的读取该处理后的数据的指令。
在一些示例中,数据处理模块标识采集数据的采集时间、数据内容、所在终端、采集路径等信息并进行存储管理。在服务端101的用户界面上可根据不同标识选择要查看的数据(例如查看近一周内的数据)并将该查看指令下发到数据处理模块,数据处理模块将该指令指定的数据发送到服务端101并显示给用户。
根据一些实施例,该数据处理模块配置为搭载以下中的一个或多个:ELK日志分析系统、ES分布式文档数据库。数据处理模块还可以根据其他自定义的方式对采集数据进行处理和管理,或搭载可用于对采集数据进行处理和管理的其他已知系统。
通过以上数据采集动态控制系统,可以达到数据采集的动态管理需求,大大减少了采集需求变更时误操作及升级困难等问题;而且很大程序减少了用户的操作压力与学习成本,可以灵活满足用户的大部分需求。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据本公开的一个方面所述的数据采集动态控制方法。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据本公开的另一个方面所述的数据采集动态控制方法。
根据本公开的另一方面,还提供一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据本公开的一个方面所述的数据采集动态控制方法。
根据本公开的另一方面,还提供一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据本公开的另一个方面所述的数据采集动态控制方法。
参见图5所示,现将描述计算设备2000,其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器,可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述数据采集动态控制方法可以各自全部或至少部分地由计算设备2000或类似设备或系统实现。
计算设备2000可以包括(可能经由一个或多个接口)与总线2002连接或与总线2002通信的元件。例如,计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备2006可以是能向计算设备2000输入信息的任何类型的设备,并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备2008可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算设备2000还可以包括工作存储器2014,其可以是可以存储对处理器2004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器2014中,包括但不限于操作系统2016、一个或多个应用程序2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序2018中,并且上述数据采集动态控制方法可以各自通过由处理器2004读取和执行一个或多个应用程序2018的指令来实现。更具体地,上述数据采集动态控制方法中,步骤110~步骤130可以例如通过处理器2004执行具有步骤110~步骤130的指令的应用程序2018而实现;步骤210~步骤230可以例如通过处理器2004执行具有步骤210~步骤230的指令的应用程序2018而实现。此外,上述数据采集动态控制方法中的其它步骤可以例如通过处理器2004执行具有执行相应步骤中的指令的应用程序2018而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备2010)中,并且在执行时可以被存入工作存储器2014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解,可以根据具体要求而进行各种变型。例如,也可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现特定元件。例如,所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解,计算设备2000的组件可以分布在网络上。例如,可以使用一个处理器执行一些处理,而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统2000的其他组件也可以类似地分布。这样,计算设备2000可以被解释为在多个位置执行处理的分布式计算系统。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (28)

1.一种数据采集动态控制方法,包括:
接收客户端要采集数据的路径信息;
根据所述路径信息生成包含可执行命令的任务请求参数;以及
向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成配置文件。
2.如权利要求1所述的方法,还包括:
接收删除相应的客户端上配置文件的信息;
根据所述信息生成可执行命令;以及
向所述客户端发送所述可执行命令以使得所述客户端删除所述配置文件。
3.如权利要求1所述的方法,根据所述路径信息生成包含可执行命令的任务请求参数包括:
将所述路径信息保存到数据库,以在所述数据库中根据所述路径信息生成路径ID保存;以及
根据所述生成的路径ID、所述路径信息生成所述可执行命令。
4.如权利要求3所述的方法,向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成配置文件包括:
向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成名称为所述路径ID的配置文件。
5.如权利要求4所述的方法,还包括:
接收删除相应的客户端上配置文件的信息;
根据所述信息读取所述数据库中的相应的路径ID以生成包含所述路径ID的可执行命令;以及
向所述客户端发送所述可执行命令以使得所述客户端删除其名称为所述路径ID的配置文件。
6.如权利要求1所述的方法,还包括接收客户端要采集数据的过滤信息,以根据所述路径信息和所述过滤信息生成可执行命令。
7.一种数据采集动态控制方法,包括:
接收服务端发送的包含可执行命令的任务请求参数;
执行所述可执行命令以调用创建路径脚本,以使用所述可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件;以及
根据所述配置文件进行数据采集。
8.如权利要求7所述的方法,还包括:
接收所述服务端发送的包含可执行命令的任务请求参数,其中,所述可执行命令根据要删除的配置文件的信息生成;以及
执行所述可执行命令以调用删除路径脚本,以删除所述配置文件。
9.如权利要求7所述的方法,接收服务端发送的包含可执行命令的任务请求参数包括:
接收服务端发送的根据要采集数据的路径信息以及所述路径信息所对应的路径ID生成的可执行命令。
10.如权利要求9所述的方法,使用所述可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件包括:
使用所述可执行命令中的路径ID命名所述生成的配置文件。
11.如权利要求10所述的方法,还包括:
接收所述服务端发送的包含可执行命令的任务请求参数,其中,所述可执行命令根据所采集数据所对应的路径ID生成;以及
执行所述可执行命令以调用删除路径脚本,以删除其名称为所述路径ID的配置文件。
12.如权利要求7所述的方法,还包括:
每隔预定时间段执行一次检查路径脚本,以读取根据所述配置文件进行数据采集的过程中生成的采集状态日志,以对采集状态进行监控。
13.一种数据采集动态控制装置,包括:
接收模块,配置为接收客户端要采集数据的路径信息;
生成模块,配置为根据所述路径信息生成包含可执行命令的任务请求参数;以及
发送模块,配置为向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成配置文件。
14.如权利要求13所述的装置,其中,
所述接收模块还配置为接收删除相应的客户端上配置文件的信息;
所述生成模块还配置为根据所述信息生成可执行命令;以及
所述发送模块还配置为向所述客户端发送所述可执行命令以使得所述客户端删除所述配置文件。
15.如权利要求13所述的装置,所述生成模块还配置为:
将所述路径信息保存到数据库,以在所述数据库中根据所述路径信息生成路径ID保存;以及
根据所述生成的路径ID、所述路径信息生成所述可执行命令。
16.如权利要求15所述的装置,所述发送模块配置为向所述客户端发送所述包含可执行命令的任务请求参数以使得所述客户端执行所述可执行命令以生成名称为所述路径ID的配置文件。
17.如权利要求16所述的装置,其中,
所述接收模块还配置为接收删除相应的客户端上配置文件的信息;
所述生成模块还配置为根据所述信息读取所述数据库中的相应的路径ID以生成包含所述路径ID的可执行命令;以及
所述发送模块还配置向所述客户端发送所述可执行命令以使得所述客户端删除其名称为所述路径ID的配置文件。
18.如权利要求13所述的装置,其中,
所述接收模块还配置为接收客户端要采集数据的过滤信息;以及
所述生成模块还配置为根据所述路径信息和所述过滤信息生成可执行命令。
19.一种数据采集动态控制装置,包括:
接收模块,配置为接收服务端发送的包含可执行命令的任务请求参数,其中所述可执行命令根据要采集数据的路径信息生成;
执行模块,配置为执行所述可执行命令以调用创建路径脚本,以使用所述可执行命令中的参数替换预设的配置文件模板中对应的预定义参数,从而生成配置文件;以及
数据采集模块,配置为根据所述配置文件进行数据采集。
20.如权利要求19所述的装置,其中,
所述接收模块还配置为接收所述服务端发送的包含可执行命令的任务请求参数,其中,所述可执行命令根据要删除的配置文件的信息生成;
所述执行模块还配置为执行所述可执行命令以调用删除路径脚本,以删除所述配置文件。
21.如权利要求19所述的装置,所述接收模块配置为接收服务端发送的根据要采集数据的路径信息以及所述路径信息所对应的路径ID生成的可执行命令。
22.如权利要求21所述的装置,所述执行模块配置为使用所述可执行命令中的路径ID命名所述生成的配置文件。
23.如权利要求22所述的装置,其中,
所述接收模块还配置为接收所述服务端发送的包含可执行命令的任务请求参数,其中,所述可执行命令根据所采集数据所对应的路径ID生成;以及
所述执行模块还配置为执行所述可执行命令以调用删除路径脚本,以删除其名称为所述路径ID的配置文件。
24.如权利要求19所述的装置,还包括检查模块,配置为每隔预定时间段执行一次检查路径脚本,以读取根据所述配置文件进行数据采集的过程中生成的采集状态日志,以对采集状态进行监控。
25.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-6中任一项所述的方法。
26.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求7-12中任一项所述的方法。
27.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据权利要求1-6中任一项所述的方法。
28.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据权利要求7-12中任一项所述的方法。
CN202010701808.8A 2020-07-20 2020-07-20 数据采集动态控制方法和装置、电子设备和介质 Active CN111866137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010701808.8A CN111866137B (zh) 2020-07-20 2020-07-20 数据采集动态控制方法和装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010701808.8A CN111866137B (zh) 2020-07-20 2020-07-20 数据采集动态控制方法和装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN111866137A true CN111866137A (zh) 2020-10-30
CN111866137B CN111866137B (zh) 2022-08-23

Family

ID=73001224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010701808.8A Active CN111866137B (zh) 2020-07-20 2020-07-20 数据采集动态控制方法和装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN111866137B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070879A (zh) * 2021-11-26 2022-02-18 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473786B1 (en) * 1998-06-15 2002-10-29 Vitel Software, Inc. Data acquisition and remote administration system
CN104182249A (zh) * 2014-08-04 2014-12-03 苏州蜗牛数字科技股份有限公司 一种自动执行程序的方法
US20150070585A1 (en) * 2012-03-30 2015-03-12 Mimil Technology Inc. System and method for managing streaming services
CN104679870A (zh) * 2015-03-06 2015-06-03 成都维远艾珏信息技术有限公司 一种用于信息系统的数据获取的方法
CN108551404A (zh) * 2018-04-20 2018-09-18 北京百度网讯科技有限公司 客户端信息分析的方法、装置、存储介质和终端设备
CN109086199A (zh) * 2018-06-22 2018-12-25 网宿科技股份有限公司 一种自动化生成测试脚本的方法、终端和可存储介质
CN109525448A (zh) * 2019-01-10 2019-03-26 北京智信未来信息技术有限公司 日志数据采集系统及方法
CN109739818A (zh) * 2018-12-28 2019-05-10 浪潮软件股份有限公司 一种便捷式高吞吐量大数据采集方法及系统
CN110401698A (zh) * 2019-06-27 2019-11-01 苏州浪潮智能科技有限公司 一种基于任务异步分发的监控数据采集方法、装置和系统
CN110569179A (zh) * 2018-06-06 2019-12-13 富晋精密工业(晋城)有限公司 数据采集系统及数据采集方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473786B1 (en) * 1998-06-15 2002-10-29 Vitel Software, Inc. Data acquisition and remote administration system
US20150070585A1 (en) * 2012-03-30 2015-03-12 Mimil Technology Inc. System and method for managing streaming services
CN104182249A (zh) * 2014-08-04 2014-12-03 苏州蜗牛数字科技股份有限公司 一种自动执行程序的方法
CN104679870A (zh) * 2015-03-06 2015-06-03 成都维远艾珏信息技术有限公司 一种用于信息系统的数据获取的方法
CN108551404A (zh) * 2018-04-20 2018-09-18 北京百度网讯科技有限公司 客户端信息分析的方法、装置、存储介质和终端设备
CN110569179A (zh) * 2018-06-06 2019-12-13 富晋精密工业(晋城)有限公司 数据采集系统及数据采集方法
CN109086199A (zh) * 2018-06-22 2018-12-25 网宿科技股份有限公司 一种自动化生成测试脚本的方法、终端和可存储介质
CN109739818A (zh) * 2018-12-28 2019-05-10 浪潮软件股份有限公司 一种便捷式高吞吐量大数据采集方法及系统
CN109525448A (zh) * 2019-01-10 2019-03-26 北京智信未来信息技术有限公司 日志数据采集系统及方法
CN110401698A (zh) * 2019-06-27 2019-11-01 苏州浪潮智能科技有限公司 一种基于任务异步分发的监控数据采集方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
逯衍: "大数据平台数据采集系统的设计与实现", 《中国优秀硕士论文电子期刊网》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070879A (zh) * 2021-11-26 2022-02-18 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备
CN114070879B (zh) * 2021-11-26 2024-01-26 安天科技集团股份有限公司 一种数据采集器控制方法、装置及相关设备

Also Published As

Publication number Publication date
CN111866137B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US10831567B2 (en) Application processing method and apparatus
CN108804618B (zh) 数据库配置方法、装置、计算机设备和存储介质
US9811443B2 (en) Dynamic trace level control
CN111930521A (zh) 用于部署应用的方法、装置、电子设备及可读存储介质
CN103490941A (zh) 一种云计算环境中实时监控在线配置方法
CN111966465B (zh) 一种实时修改宿主机配置参数的方法、系统、设备及介质
US9191432B2 (en) SAAS network-based backup system
US20200293310A1 (en) Software development tool integration and monitoring
CN112653618A (zh) 微服务应用api端点的网关注册方法及装置
US11700255B2 (en) Feedback framework
US9563485B2 (en) Business transaction context for call graph
CN111866137B (zh) 数据采集动态控制方法和装置、电子设备和介质
CN114356521A (zh) 任务调度方法、装置、电子设备及存储介质
CN114168297A (zh) 一种归集任务调度方法、装置、设备及介质
CN109391658B (zh) 一种账号数据同步方法及其设备、存储介质、终端
US10462234B2 (en) Application resilience system and method thereof for applications deployed on platform
CN115357198B (zh) 存储卷的挂载方法及装置、存储介质及电子设备
CN112214551A (zh) 数据同步方法、系统、装置、电子设备、存储介质
CN111367995A (zh) 基于服务锁的数据同步方法及装置、电子设备与存储介质
US10397072B2 (en) Systems, devices, and methods for incident management interactions
CN111385334B (zh) 一种数据配送方法、装置、设备及存储介质
CN114240392A (zh) 信息处理方法、任务审批方法和信息处理装置
CN114070889A (zh) 配置方法、流量转发方法、设备、存储介质及程序产品
CN113110846A (zh) 一种环境变量的获取方法及装置
CN116501449B (zh) 云原生环境下对于容器文件的管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant