CN107885602A - 数据采集系统及方法 - Google Patents

数据采集系统及方法 Download PDF

Info

Publication number
CN107885602A
CN107885602A CN201711042164.0A CN201711042164A CN107885602A CN 107885602 A CN107885602 A CN 107885602A CN 201711042164 A CN201711042164 A CN 201711042164A CN 107885602 A CN107885602 A CN 107885602A
Authority
CN
China
Prior art keywords
data
module
data acquisition
collection
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711042164.0A
Other languages
English (en)
Inventor
杨倛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN201711042164.0A priority Critical patent/CN107885602A/zh
Publication of CN107885602A publication Critical patent/CN107885602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本公开涉及一种数据采集系统及方法。该系统包括：数据采集策略模块，用于获取根据数据采集需求生成的数据采集策略，并向数据采集任务调度模块发送数据采集策略；数据采集任务调度模块，用于根据数据采集策略生成数据采集任务，数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，从至少一数据采集模块中确定执行数据采集任务的第一数据采集模块，并向第一数据采集模块发送数据采集任务；至少一数据采集模块，用于在接收到来自于数据采集任务调度模块的数据采集任务的情况下，根据数据采集任务采集数据。本公开的数据采集系统及方法，能够提升数据采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。

Description

数据采集系统及方法
技术领域
本公开涉及数据采集技术领域，尤其涉及一种数据采集系统及方法。
背景技术
数据采集是管理决策和数据分析中重要的组成部分。目前，随着物联网、大数据等技术的兴起和发展，数据采集的重要程度和质量要求都大幅提高。物联网引入了大量的采集点和采集手段，精确的管理决策和大数据分析要求大量的数据输入，因而需要缩短数据的采集周期、增加数据的采集频率，从而获取更多的采样数据。
图1示出相关技术中数据采集中心的示意图。如图1所示，数据采集中心将各种类型的采集功能集中在一个数据采集模块中，并在一个进程中完成数据采集和数据分析。
发明内容
有鉴于此，本公开提出了一种数据采集系统及方法，以解决相关技术中数据采集存在的采集类型单一、采集周期较长和采集能力较差的问题。
根据本公开的一方面，提供了一种数据采集系统，包括：
数据采集策略模块，与数据采集任务调度模块连接，用于获取根据数据采集需求生成的数据采集策略，并向所述数据采集任务调度模块发送所述数据采集策略；
数据采集任务调度模块，与至少一数据采集模块连接，用于根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，从所述至少一数据采集模块中确定执行所述数据采集任务的第一数据采集模块，并向所述第一数据采集模块发送所述数据采集任务；
至少一数据采集模块，其中，所述数据采集模块用于在接收到来自于所述数据采集任务调度模块的数据采集任务的情况下，根据所述数据采集任务采集数据。
在一种实现方式中，所述系统还包括：
数据采集注册模块，与所述数据采集任务调度模块连接，用于在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；建立所述新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
在一种实现方式中，所述数据采集任务调度模块还用于：
建立所述第一数据采集模块的至少一第一复本，并向所述第一数据采集模块和至少一第一复本发送所述数据采集任务，以使所述第一数据采集模块和至少一第一复本共同执行所述数据采集任务。
在一种实现方式中，所述数据采集任务调度模块还用于，确定并销毁完成任务的第一复本。
在一种实现方式中，所述系统还包括：
数据分析模块，用于获取根据数据分析需求生成的数据分析策略；根据所述数据分析策略生成数据分析任务；根据所述数据分析任务对所述数据采集模块采集的数据进行分析。
在一种实现方式中，所述数据采集任务调度模块还用于：
建立所述数据分析模块的至少一第二复本，并向所述数据分析模块和至少一第二复本发送所述数据分析任务，以使所述数据分析模块和至少一第二复本共同执行所述数据分析任务；以及，确定并销毁完成任务的第二复本。
在一种实现方式中，所述系统还包括：
数据处理模块，用于获取根据数据处理需求生成的数据处理策略；根据所述数据处理策略生成数据处理任务；根据所述数据处理任务对所述数据采集模块采集的数据进行处理。
在一种实现方式中，所述数据采集任务调度模块还用于：
建立所述数据处理模块的至少一第三复本，并向所述数据处理模块和至少一第三复本发送所述数据处理任务，以使所述数据处理模块和至少一第三复本共同执行所述数据处理任务；以及，确定并销毁完成任务的第三复本。
在一种实现方式中，所述数据采集任务调度模块还用于：
将所述数据采集任务中的第一采集任务发送给所述数据采集模块，将所述数据采集任务中的第二采集任务发送给所述数据采集模块的复本。
根据本公开的另一方面，提供了一种数据采集方法，所述方法包括：
获取根据数据采集需求生成的数据采集策略；
根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，确定用于执行所述数据采集任务的第一数据采集模块；
向所述第一数据采集模块发送启动指令，启动对应的第一数据采集进程，以使所述第一数据采集进程执行所述数据采集任务。
在一种实现方式中，所述方法还包括：
在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；
建立所述新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
在一种实现方式中，在所述启动对应的第一数据采集进程之后，还包括：
启动至少一第二数据采集进程，以使所述第一数据采集进程和至少一第二数据采集进程共同执行所述数据采集任务。
在一种实现方式中，所述方法还包括：
确定并结束完成任务的第二数据采集进程。
在一种实现方式中，所述方法还包括：
获取根据数据分析需求生成的数据分析策略；
根据所述数据分析策略生成数据分析任务；
启动第一数据分析进程，根据所述数据分析任务对所述数据采集进程采集的数据进行分析。
在一种实现方式中，所述方法还包括：
启动至少一第二数据分析进程，以使所述第一数据分析进程和至少一第二数据分析进程共同执行所述数据分析任务；以及，确定并结束完成任务的第二数据分析进程。
在一种实现方式中，所述方法还包括：
获取根据数据处理需求生成的数据处理策略；
根据所述数据处理策略生成数据处理任务；
启动第一数据处理进程，根据所述数据处理任务对所述数据采集进程采集的数据进行处理。
在一种实现方式中，所述方法还包括：
启动至少一第二数据处理进程，以使所述第一数据处理进程和至少一第二数据处理进程共同执行所述数据处理任务；以及，确定并结束完成任务的第二数据处理进程。
根据本公开的另一方面，提供了一种数据采集装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
在本公开的实施例中，数据采集系统根据数据采集策略生成一个或多个数据采集任务，并将生成的各个数据采集任务分发至对应的数据采集模块，各个数据采集模块并发采集数据，由此提升数据采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。此外，数据采集系统将数据采集模块、数据分析模块和数据处理模块分离，从而实现数据采集、数据分析和数据处理的分离，以及实现数据采集、数据分析和数据处理的并发进行，提升数据的分析能力和处理能力。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出相关技术中数据采集中心的示意图。
图2示出根据本公开一实施例的数据采集系统的示意图。
图3示出根据本公开一实施例的数据采集系统的一示意性的示意图。
图4示出根据本公开一实施例的数据采集系统的一示意性的示意图。
图5示出根据本公开一实施例的数据采集方法的流程图。
图6a示出根据本公开一实施例的数据采集方法涉及的注册新数据采集模块的流程图。
图6b示出根据本公开一实施例的数据采集方法涉及的数据采集的流程图。
图6c示出根据本公开一实施例的数据采集方法涉及的数据分析的流程图。
图6d示出根据本公开一实施例的数据采集方法涉及的数据处理的流程图。
图7是根据一示例性实施例示出的一种用于数据采集装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出相关技术中数据采集中心的示意图。如图1所示，数据采集中心将各种类型的采集功能集中在一个数据采集模块中，并在一个进程中完成数据采集和数据分析。数据采集中心的采集功能之间、采集功能和分析功能之间的耦合性较大，不易灵活扩展采集功能或分析功能，造成数据采集中心的采集类型单一、采集周期较长、采集能力较差。采集点数量、采集频率、数据处理、调度机制都会严重影响数据采集中心的效率，从而影响整个采集工作的正常完成。
图2示出根据本公开一实施例的数据采集系统的示意图。如图2所示，该数据采集系统可以包括：数据采集策略模块(Collection Policy Module)、数据采集任务调度模块(Collection Schedule Module)以及至少一数据采集模块(Collection Module)。
数据采集策略模块(Collection Policy Module)，与数据采集任务调度模块连接，用于获取根据数据采集需求生成的数据采集策略，并向数据采集任务调度模块发送数据采集策略。
数据采集任务调度模块(Collection Schedule Module)，与至少一数据采集模块连接，用于根据数据采集策略生成数据采集任务，其中，数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，从至少一数据采集模块中确定执行数据采集任务的第一数据采集模块，并向第一数据采集模块发送数据采集任务。
数据采集模块(Collection Module)，用于在接收到来自于数据采集任务调度模块的数据采集任务的情况下，根据数据采集任务采集数据。
其中，数据采集策略模块可以接收和保存数据采集策略。数据采集策略可以包括采集对象标识、采集内容、附加信息和采集周期等，本公开对此不做限制。采集对象标识可以包括IP地址(Internet Protocol Address，网络协议地址)、MAC地址(Media AccessControl Address，硬件地址)、Port(计算机端口)或ID(Identification，身份标识号)等。采集内容可以包括WMI(Windows Management Instrumentation，Windows管理规范)、SNMP(Simple Network Management Protocol，简单网络管理协议)或Oracle(数据库)等。附加信息可以包括数据采集模块采集数据时需要使用的其它信息。例如，SNMP对应的附加信息可以包括团体字信息(Read Community)和对象标识符(OID，Object Identifier)等，Oracle对应的附加信息可以包括用户名(Username)、密码(Password)和采集执行命令(cmd)等。采集周期可以指采集数据的时间间隔，即每间隔一段时间进行一次数据采集。
其中，通过SNMP协议采集数据时，需要使用采集对象的“SNMP只读团体字”(SNMP协议规定的默认值为“Public”)，在采集对象上通过认证之后，采集对象才能提供数据。此外，用户名和密码可以是一些数据采集方式需要使用的参数。例如，采集Oracle系统的数据时，需要通过Oracle数据库的用户名和密码登录到Oracle数据库中以获得相关数据。需要说明的是，本领域技术人员能够理解，附加信息既可以是认证需要使用的参数，也可以是相关采集方式需要使用的其它信息，只要是采集方式需要使用的并与数据采集模块约定一致，数据采集模块可以识别即可。
表1示出根据本公开一实施例的数据采集策略。如表1所示，数据采集策略包括如下内容：采集对象标识为IP1.1.1.1和Port445，采集内容为WMI，采集周期为5min；采集对象标识为IP1.1.1.2和Port161，采集内容为SNMP，附加信息为团体字信息和OID(ReadCommunity＝Public，OID＝1.3.6.1.2.3.5)，采集周期为10min；采集对象标识为IP1.1.1.3和Port22，采集内容为Oracle，附加信息为用户名、密码和采集执行命令(Username＝user1，Password＝pwd1，cmd＝select to_char(start up_time,'DD-MON-YYYY HH24:MM:SS))，采集周期为60min；采集对象标识为IP1.1.1.4和Port12345，采集内容为SNMP，附加信息为团体字信息和OID(Read Community＝Public，OID＝.1.3.6.1.2.3.5)，采集周期为50min。
表1
作为一个示例，数据采集系统设置有人机交互界面。用户在人机交互界面输入数据采集需求，数据采集系统根据数据采集需求生成的数据采集策略，并将生成的数据采集策略传输至数据采集策略模块。数据采集策略模块获取根据数据采集需求生成的数据采集策略。
作为另一个示例，数据采集系统与系统外应用连接。数据采集系统接收来自于系统外应用的数据采集需求，并根据数据采集需求生成的数据采集策略，然后将生成的数据采集策略传输至数据采集策略模块。数据采集策略模块获取根据数据采集需求生成的数据采集策略。
其中，数据采集任务调度模块可以对数据采集策略进行分析，根据数据采集策略生成一个或多个数据采集任务。数据采集任务调度模块还可以为每个数据采集任务设置对应的定时器。在到达采集周期之后，根据采集内容与数据采集模块之间的对应关系，以及根据数据采集模块的启动方式，调度各个数据采集任务对应的数据采集模块采集数据。此外，数据采集任务调度模块还可以根据数据采集模块的负载，启动一个或多个数据采集模块的复本并发采集数据，实现数据采集系统的负载均衡。数据采集模块的复本在数据采集结束之后被销毁。数据采集模块的复本可以指按照数据采集模块复制的具有相同采集功能的模块。
在一种实现方式中，数据采集任务调度模块还用于：建立第一数据采集模块的至少一第一复本，并向第一数据采集模块和至少一第一复本发送数据采集任务，以使第一数据采集模块和至少一第一复本共同执行数据采集任务；以及，确定并销毁完成任务的第一复本。其中，数据采集模块的复本可以是多个相同的数据采集实例，多个复本负载分担，并发完成数据采集任务。在数据采集模块注册时提供了数据采集模块的启动方式，数据采集任务调度模块通过预设的启动方式启动数据采集模块的复本。
其中，数据采集模块的复本可以指根据数据采集模块的构成参数所建立的与该数据采集模块具有相同结构、能够实现相同数据采集能力的复制实例。例如，数据采集任务调度模块可以根据数据采集注册模块中存储的数据采集模块的构成参数，建立并启动数据采集模块的复本。数据采集模块的构成参数可以包括模块功能、模块名称、模块IP、调用参数和启动方式等信息。数据采集模块和数据采集模块的复本在执行数据采集任务的过程中均为单独的进程，由此能够并发执行数据采集任务。相比于图1所示的数据采集中心，在本公开的实施例中，多个进程并发执行数据采集任务将会降低各个数据采集任务之间的耦合性，减少完成数据采集任务所需要的时间。此外，数据采集模块的复本在数据采集任务完成之后将会被销毁，由此也不会占用存储。
在一种实现方式中，可以根据数据采集任务对应的采集对象，将数据采集任务拆分为多个子任务。例如，如表1所示，采集对象包括：IP为1.1.1.1，Port为445的第一采集对象；IP为1.1.1.2，Port为161的第二采集对象；IP为1.1.1.3，Port为22的第三采集对象；IP为1.1.1.4，Port为12345的第四采集对象。由此，可以将数据采集任务拆分为四个子任务，每个子任务对应于一个采集对象。进一步地，根据每个采集对象需要采集的采集内容，确定采集对象对应的数据采集模块，并将采集对象对应的子任务发送给数据采集模块。
在一种实现方式，数据采集任务调度模块可以根据相同采集内容的采集对象个数，确定是否需要建立当前执行任务的数据采集模块的复本来分担数据采集任务。例如，针对采集内容为SNMP的数据采集任务，采集对象分别为是：IP为1.1.1.1、Port为445的第一采集对象，P为1.1.1.2，Port为161的第二采集对象和IP为1.1.1.3，Port为22的第三采集对象。将该数据采集任务拆分为3个子任务，假设当前执行任务的数据采集模块只能运行一个子任务，那么此时确定建立2个复本来分担其他2个子任务。
在另外一种实现方式中，数据采集任务调度模块根据当前执行任务的数据采集模块的负载情况，确定是否需要建立该数据采集模块的复本来分担当前执行的数据采集任务。在上述一可选的实施例中，数据采集任务调度模块监测到数据采集模块的负载率大于预设值(例如80％)时，则建立至少一复本分担当前执行的数据采集任务，以使数据采集模块的负载率不大于该预设值。相比于图1所示的数据采集中心，在本公开的实施例中，数据采集模块能够负载均衡，由此提升数据采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
在本公开的实施例中，数据采集系统根据数据采集策略生成一个或多个数据采集任务，并将生成的各个数据采集任务分发至对应的数据采集模块，各个数据采集模块并发采集数据，由此提升数据采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
在本公开的实施例中，数据采集模块负责实际从采集对象采集数据。数据采集模块按照数据采集任务调度模块的调度执行数据采集任务，并将采集到的数据保存到数据库。每个数据采集模块可以单独使用数据库，也可以多类数据采集模块共用数据库。数据采集系统可以根据数据采集模块的负载，启动一个或多个数据采集模块的复本采集数据，实现数据采集系统的负载均衡。数据采集模块的建立原则为便于调度、采集内容单一或可控、界限明确、便于增加数据采集模块的复本以实现负载分担。
在一种实现方式中，数据采集模块为按照数据采集规则、数据采集对象类型和数据采集对象范围中的一项或多项建立。
例如，数据采集模块为按照数据采集方法或协议(例如命令行方法、SNMP协议等)建立，每种或多种数据采集方法或协议建立一个数据采集模块。再例如，数据采集模块为按照数据采集对象类型(例如交换机、Oracle应用、温度传感器等)建立，每种或多种数据采集对象类型建立一个数据采集模块。再例如，数据采集模块为按照数据采集对象范围(例如IP段、机房、楼层等)建立，每种或多种数据采集对象范围建立一个数据采集模块。
图3示出根据本公开一实施例的数据采集系统的一示意性的示意图。在一种实现方式中，如图3所示，该数据采集系统还包括：数据采集注册模块(Collection RegisterModule)，与数据采集任务调度模块连接，用于在接收到来自于新数据采集模块的注册请求的情况下，获取注册请求中新数据采集模块的调用参数和能够采集的采集内容；建立新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
其中，数据采集注册模块为新数据采集模块提供注册机制。新数据采集模块在注册之后纳入数据采集系统，为数据采集系统提供其具有的数据采集能力。由此，方便数据采集系统扩展新的数据采集能力，而无需大规模修改原有模块。在注册过程中，新数据采集模块向数据采集注册模块发送采集内容、模块名称、模块IP、调用参数和启动方式等信息，以使得新数据采集模块能够被正常调度和正常启动。
需要说明的是，数据采集注册模块维护采集内容与数据采集模块之间的对应关系。采集内容与数据采集模块之间的对应关系中提供数据采集系统内可以访问到数据采集模块的基本信息以及启动或调度该数据采集模块的辅助信息，例如，基本信息可以包括采集内容、模块名称和模块IP等，辅助信息可以包括调用参数和启动方式(例如通过启动指令启动)等，本公开对此不做限制。其中，调用参数可以指调用数据采集模块采集数据时需要提供的参数，可以包括采集对象标识和附加信息等。
表2示出根据本公开一实施例的采集内容与数据采集模块之间的对应关系。如表2所示，数据采集模块如下：采集内容为WMI，模块名称为Collection Module WMI，模块IP为2.2.2.1，调用参数为IP和Port；采集内容为SNMP，模块名称为Collection Module SNMP，模块IP为2.2.2.2，调用参数为IP、Port、Read Community和OID；采集内容为Oracle，模块名称为Collection Module Oracle；模块IP为2.2.2.3，调用参数为IP、Port、Username、Password和cmd。
表2
Content Module Name Module IP Parameter
WMI Collection Module WMI 2.2.2.1 IP,Port
SNMP Collection Module SNMP 2.2.2.2 IP,Port,Read Community,OID
Oracle Collection Module Oracle 2.2.2.3 IP,Port,Username,Password,cmd
相比于图1所示的数据采集中心，在本公开的实施例中，新数据采集模块能够通过注册纳入数据采集系统，为数据采集系统提供其具有的数据采集能力，方便数据采集系统扩展新的数据采集能力，而无需大规模修改原有模块。由此提升数据采集系统的采集方式和采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
图4示出根据本公开一实施例的数据采集系统的一示意性的示意图。
在一种实现方式中，如图4所示，该数据采集系统还包括：数据适配模块(DataAdapter Module)，与数据库(DB，Database)连接，用于对数据库进行数据读写。数据采集任务调度模块可以根据数据适配模块的负载，启动一个或多个数据适配模块的复本并发读写数据，实现数据采集系统的负载均衡。数据适配模块的复本在数据读写结束之后被销毁。数据适配模块的复本可以指按照数据适配模块复制的具有相同读写功能的模块。
在一种实现方式中，如图4所示，该数据采集系统还包括：数据分析模块(DataAnalysis Module)，与数据适配模块连接，用于获取根据数据分析需求生成的数据分析策略，根据数据分析策略生成数据分析任务，并根据数据分析任务对数据采集模块采集的数据进行分析。数据分析可以指对数据的提取和计算的过程。例如，通过数据分析模块对采集的数据进行数据汇总、数据关联或数据计算等，本公开对此不做限制。
作为一个示例，数据采集系统设置有人机交互界面。用户在人机交互界面输入数据采集需求，数据采集系统根据数据采集需求生成的数据采集策略，并将生成的数据采集策略传输至数据采集策略模块。数据采集策略模块获取根据数据采集需求生成的数据采集策略。例如，如图4所示，人机交互界面可以与集成模块连接，将数据采集需求传输至集成模块，由此集成模块将根据数据采集需求生成数据采集策略并传输至数据采集策略模块。
作为另一个示例，数据采集系统与系统外应用连接。数据采集系统接收来自于系统外应用的数据采集需求，并根据数据采集需求生成的数据采集策略，然后将生成的数据采集策略传输至数据采集策略模块。数据采集策略模块获取根据数据采集需求生成的数据采集策略。例如，如图4所示，系统外应用(例如第三方应用3rd APP)可以与集成模块连接，将数据采集需求传输至集成模块，由此集成模块将根据数据采集需求生成数据采集策略并传输至数据采集策略模块。
需要说明的是，本领域技术人员可以理解，可以根据数据分析的不同要求建立多个数据分析模块，每个数据分析模块负责特定的数据分析工作。例如，可以建立汇总模块、关联模块或计算模块等。此外，数据采集任务调度模块可以根据数据分析模块的负载，启动一个或多个数据分析模块的复本并发分析数据，实现数据采集系统的负载均衡。数据分析模块的复本在数据分析结束之后被销毁。数据分析模块的复本可以指按照数据分析模块复制的具有相同分析功能的模块。
在一种实现方式中，数据采集任务调度模块还用于：建立数据分析模块的至少一第二复本，并向数据分析模块和至少一第二复本发送数据分析任务，以使数据分析模块和至少一第二复本共同执行数据分析任务；以及，确定并销毁完成任务的第二复本。其中，数据分析模块的复本可以是多个相同的数据分析实例，多个复本负载分担，并发完成数据分析任务。数据采集任务调度模块通过预设的启动方式启动数据分析模块的复本。
其中，数据分析模块的复本可以指根据数据分析模块的构成参数所建立的与该数据分析模块具有相同结构、能够实现相同数据分析能力的复制实例。数据分析模块的构成参数可以包括模块功能、模块名称、模块IP、调用参数和启动方式等信息。数据分析模块和数据分析模块的复本在执行数据分析任务的过程中均为单独的进程，由此能够并发执行数据分析任务。相比于图1所示的数据采集中心，在本公开的实施例中，多个进程并发执行数据分析任务将会降低各个数据分析任务之间、以及数据采集任务和数据分析任务之间的耦合性，减少完成数据分析任务所需要的时间。此外，数据分析模块的复本在数据分析任务完成之后将会被销毁，由此也不会占用存储。
在另外一种实现方式中，数据采集任务调度模块根据当前执行任务的数据分析模块的负载情况，确定是否需要建立该数据分析模块的复本来分担当前执行的数据分析任务。在上述一可选的实施例中，数据采集任务调度模块监测到数据分析模块的负载率大于预设值(例如80％)时，则建立至少一复本分担当前执行的数据分析任务，以使数据分析模块的负载率不大于该预设值。相比于图1所示的数据采集中心，在本公开的实施例中，数据分析模块能够负载均衡，由此提升数据分析效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
在一种实现方式中，如图4所示，该数据采集系统还包括：数据处理模块(DataOperation Module)，与数据适配模块连接，用于获取根据数据处理需求生成的数据处理策略，根据数据处理策略生成数据处理任务，并根据数据处理任务对数据采集模块采集的数据进行处理。数据处理可以指对数据的处理和操作的过程。例如，通过数据处理模块对采集的数据进行数据汇聚、数据转储、数据转发、数据整合或数据去冗等，本公开对此不做限制。
需要说明的是，本领域技术人员可以理解，可以根据数据处理的不同要求建立多个数据处理模块，每个数据处理模块负责特定的数据处理工作。例如，可以建立汇聚模块、转储模块、转发模块、整合模块或去冗模块等。此外，数据采集系统可以根据数据处理模块的负载，启动一个或多个数据处理模块的复本并发处理数据，实现数据采集系统的负载均衡。数据处理模块的复本在数据处理结束之后被销毁。数据处理模块的复本可以指按照数据处理模块复制的具有相同处理功能的模块。
在一种实现方式中，数据采集任务调度模块还用于：建立数据处理模块的至少一第三复本，并向数据处理模块和至少一第三复本发送数据处理任务，以使数据处理模块和至少一第三复本共同执行数据处理任务；以及，确定并销毁完成任务的第三复本。其中，数据处理模块的复本可以是多个相同的数据处理实例，多个复本负载分担，并发完成数据处理任务。数据采集任务调度模块通过预设的启动方式启动数据处理模块的复本。
其中，数据处理模块的复本可以指根据数据处理模块的构成参数所建立的与该数据处理模块具有相同结构、能够实现相同数据处理能力的复制实例。数据处理模块的构成参数可以包括模块功能、模块名称、模块IP、调用参数和启动方式等信息。数据处理模块和数据处理模块的复本在执行数据处理任务的过程中均为单独的进程，由此能够并发执行数据处理任务。相比于图1所示的数据采集中心，在本公开的实施例中，多个进程并发执行数据处理任务将会降低各个数据处理任务之间、以及数据采集任务和数据处理任务之间的耦合性，减少完成数据处理任务所需要的时间。此外，数据处理模块的复本在数据处理任务完成之后将会被销毁，由此也不会占用存储。
在另外一种实现方式中，数据采集任务调度模块根据当前执行任务的数据处理模块的负载情况，确定是否需要建立该数据处理模块的复本来分担当前执行的数据处理任务。在上述一可选的实施例中，数据采集任务调度模块监测到数据处理模块的负载率大于预设值(例如80％)时，则建立至少一复本分担当前执行的数据处理任务，以使数据处理模块的负载率不大于该预设值。相比于图1所示的数据采集中心，在本公开的实施例中，数据处理模块能够负载均衡，由此提升数据处理效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
在一种实现方式中，如图4所示，该数据采集系统还包括：集成模块(IntegrationModule)，与数据适配模块、数据分析模块和数据采集策略模块连接，用于与系统外应用进行集成。集成模块可以从系统外应用获取数据采集需求，生成数据采集策略并传输至数据采集策略模块。集成模块还可以从数据适配模块获取数据，并向系统外应用提供系统采集到的数据。集成模块还可以从数据分析模块获取数据结果，并向系统外应用提供系统分析出的数据结果。
在本公开的实施例中，数据采集系统将数据采集模块、数据分析模块和数据处理模块分离，从而实现数据采集、数据分析和数据处理的分离，以及实现数据采集、数据分析和数据处理的并发进行，提升数据的分析能力和处理能力。
本公开实施例还提供一种数据采集方法，包括：
获取根据数据采集需求生成的数据采集策略；
根据数据采集策略生成至少一数据采集任务，其中，数据采集任务包括采集内容；
根据采集内容与数据采集模块之间的对应关系，确定用于执行所述数据采集任务各自对应的第一数据采集模块；
向所述第一数据采集模块发送启动指令，启动对应的第一数据采集进程，以使所述第一数据采集进程执行第一数据采集模块对应的数据采集任务。
图5示出根据本公开某些实施例的数据采集方法的流程图。该方法可以用于图2、图3或图4所示的数据采集系统。如图5所示，该方法包括步骤S51至S54。
在步骤S51中，获取根据数据采集需求生成的数据采集策略。
在步骤S52中，根据数据采集策略生成数据采集任务，其中，数据采集任务包括采集内容。
在步骤S53中，根据采集内容与数据采集模块之间的对应关系，确定用于执行所述数据采集任务的第一数据采集模块。
在步骤S54中，向所述第一数据采集模块发送启动指令，启动对应的第一数据采集进程，以使所述第一数据采集进程执行所述数据采集任务。
在上述一实施例中，步骤S51可以由数据采集策略模块执行，步骤52-54可以由数据采集任务调度模块执行。
表3示出根据本公开一实施例的数据采集策略。作为一个示例，数据采集系统获取如表3所示的数据采集策略，并对数据采集策略进行分析，根据数据采集策略生成3个数据采集任务。第1个数据采集任务为：针对IP为1.1.1.1且Port为445的采集对象，采集内容为WMI，采集周期为5min。第2个数据采集任务为：针对IP为1.1.1.2且Port为161的采集对象，采集内容为SNMP，采集周期为10min。第3个数据采集任务为：针对IP为1.1.1.3且Port为22的采集对象，采集内容为Oracle，采集周期为60min。
数据采集系统结合表2所示的内容，确定Collection Module WMI为用于执行第1个数据采集任务的数据采集模块，Collection Module SNMP为用于执行第2个数据采集任务的数据采集模块，Collection Module Oracle为用于执行第3个数据采集任务的数据采集模块。数据采集系统根据Collection Module WMI的启动方式，启动数据采集模块Collection Module WMI并向其发送第1个数据采集任务，Collection Module WMI根据第1个数据采集任务采集数据。数据采集系统根据Collection Module SNMP的启动方式，启动数据采集模块Collection Module SNMP并向其发送第2个数据采集任务，CollectionModule SNMP根据第2个数据采集任务采集数据。数据采集系统根据Collection ModuleOracle的启动方式，启动数据采集模块Collection Module Oracle并向其发送第3个数据采集任务，Collection Module Oracle根据第3个数据采集任务采集数据。
表3
在本公开的实施例中，数据采集系统根据数据采集策略生成一个或多个数据采集任务，并将生成的各个数据采集任务分发至对应的数据采集模块，各个数据采集模块并发采集数据，由此提升数据采集效率，增加数据采集系统的灵活性，减小数据采集系统的冗余消耗。
在一种实现方式中，所述启动对应的第一数据采集进程之后，还包括：
启动至少一第二数据采集进程，以使所述第一数据采集进程和至少一第二数据采集进程共同执行所述数据采集任务。
在一可选实施例中，数据采集系统可以向数据采集模块发送启动指令，启动对应的第一数据采集进程，以使第一数据采集进程执行数据采集任务中的第一采集任务；向数据采集模块的复本发送启动指令，启动对应的第二数据采集进程，以使第二数据采集进程执行数据采集任务中的第二采集任务。
作为一个示例，可以根据数据采集任务对应的采集对象，将数据采集任务拆分为多个子任务。例如，如表3所示，采集对象包括：IP为1.1.1.1，Port为445的第一采集对象；IP为1.1.1.2，Port为161的第二采集对象；IP为1.1.1.3，Port为22的第三采集对象。由此，可以将数据采集任务拆分为三个子任务，每个子任务对应于一个采集对象。进一步地，根据每个采集对象需要采集的采集内容，确定采集对象对应的数据采集模块，并将采集对象对应的子任务发送给数据采集模块。
在一种实现方式，数据采集系统可以根据相同采集内容的采集对象个数，确定是否需要启动第二数据采集进程来分担数据采集任务。例如，针对采集内容为SNMP的数据采集任务，采集对象分别为是：IP为1.1.1.1、Port为445的第一采集对象，P为1.1.1.2，Port为161的第二采集对象和IP为1.1.1.3，Port为22的第三采集对象。将该数据采集任务拆分为3个子任务，假设当前执行任务的第一数据采集进程只能运行一个子任务，那么此时确定建立第二数据采集进程和第三数据采集进程来分担其他2个子任务。
表4示出根据本公开一实施例的数据采集策略。作为一个示例，数据采集系统获取如表4所示的数据采集策略，并对数据采集策略进行分析，根据数据采集策略生成3个数据采集任务。第1个数据采集任务为：针对IP为1.1.1.2且Port为161的采集对象，采集内容为SNMP，采集周期为10min。第2个数据采集任务为：针对IP为1.1.1.4且Port为12345的采集对象，采集内容为SNMP，采集周期为50min。第3个数据采集任务为：针对IP为1.1.1.5且Port为12346的采集对象，采集内容为SNMP，采集周期为50min。
数据采集系统结合表2所示的内容，建立Collection Module SNMP的复本以用于执行第1个、第2个或第3个数据采集任务的数据采集模块。例如，数据采集系统向Collection Module SNMP发送第1个数据采集任务，启动第一数据采集进程根据第1个数据采集任务采集数据。数据采集系统向Collection Module SNMP的第一复本发送第2个数据采集任务，启动第二数据采集进程根据第2个数据采集任务采集数据。数据采集系统向Collection Module SNMP的第二复本发送第3个数据采集任务，启动第三数据采集进程根据第3个数据采集任务采集数据。
表4
在上述可选的实施例中，当某些数据采集进程被确定完成任务后，则被结束。所述方法还包括：确定并结束完成任务的第二数据采集进程。
在一种实现方式中，多个数据采集模块为按照数据采集规则、数据采集对象类型和数据采集对象范围中的一项或多项建立。
例如，数据采集模块为按照数据采集方法或协议(例如命令行方法、SNMP协议等)建立，每种或多种数据采集方法或协议建立一个数据采集模块。再例如，数据采集模块为按照数据采集对象类型(例如交换机、Oracle应用、温度传感器等)建立，每种或多种数据采集对象类型建立一个数据采集模块。再例如，数据采集模块为按照数据采集对象范围(例如IP段、机房、楼层等)建立，每种或多种数据采集对象范围建立一个数据采集模块。
需要说明的是，尽管以数据采集方法或协议、数据采集对象类型、数据采集对象范围作为示例介绍了数据采集模块的建立方法如上，但本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景灵活设定数据采集模块的建立方法。
在一种实现方式中，该方法还包括：在接收到来自于新数据采集模块的注册请求的情况下，获取注册请求中新数据采集模块的调用参数和能够采集的采集内容；建立新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。该对应关系可以为前述表2所示。
作为一个示例，可以将采集内容和数据采集模块的名称或IP地址进行绑定，通过采集内容可以确定对应的数据采集模块。
在一种实现方式中，该方法还包括：获取根据数据分析需求生成的数据分析策略；根据数据分析策略生成数据分析任务；启动第一数据分析进程，根据数据分析任务对数据采集进程采集的数据进行分析。
在一种实现方式中，该方法还包括：启动至少一第二数据分析进程，以使所述第一数据分析进程和至少一第二数据分析进程共同执行所述数据分析任务；以及，确定并结束完成任务的第二数据分析进程。
在一可选的实施例中，数据采集系统可以向数据分析模块发送启动指令，启动对应的第一数据分析进程，以使第一数据分析进程执行数据分析任务中的第一分析任务；向数据分析模块的复本发送启动指令，启动对应的第二数据分析进程，以使第二数据分析进程执行数据分析任务中的第二分析任务。
在一种实现方式中，该方法还包括：获取根据数据处理需求生成的数据处理策略；根据数据处理策略生成数据处理任务；启动第一数据处理进程，根据数据处理任务对数据采集进程采集的数据进行处理。
在一种实现方式中，该方法还包括：启动至少一第二数据处理进程，以使所述第一数据处理进程和至少一第二数据处理进程共同执行所述数据处理任务；以及，确定并结束完成任务的第二数据处理进程。
在一可选实施例中，数据采集系统可以向数据处理模块发送启动指令，启动对应的第一数据处理进程，以使第一数据处理进程执行数据处理任务中的第一处理任务；向数据处理模块的复本发送启动指令，启动对应的第二数据处理进程，以使第二数据处理进程执行数据处理任务中的第二处理任务。
图6a示出根据本公开一实施例的数据采集方法涉及的注册新数据采集模块的流程图。如图6a所示，在步骤S611，新增数据采集内容。
在步骤S612，根据步骤S611新增的数据采集内容，由此开发对应的新数据采集模块。
在步骤S613，启动新数据采集模块，新数据采集模块向数据采集注册模块申请注册。
在步骤S614，数据注册模块判断是否已经存在该新数据采集模块。若不存在，进入步骤S615。若存在，则无需再注册该新数据采集模块。
在步骤S615，在判断不存在该新数据采集模块的情况下，数据注册模块建立该新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
在步骤S616，数据采集注册模块保存该新数据采集模块能够采集的采集内容与新数据采集模块之间的对应关系，并将该对应关系向数据采集任务调度模块发送。采集内容与数据采集模块之间的对应关系中提供数据采集系统内可以访问到数据采集模块的基本信息以及启动或调度该数据采集模块的辅助信息，例如，基本信息可以包括采集内容、模块名称和模块IP等，辅助信息可以包括调用参数和启动方式(例如通过启动指令启动)等，本公开对此不做限制。其中，调用参数可以指调用数据采集模块采集数据时需要提供的参数，可以包括采集对象标识和附加信息等。
图6b示出根据本公开一实施例的数据采集方法涉及的数据采集的流程图。如图6b所示，在步骤S621，获取数据采集需求，并根据数据采集需求生成数据采集策略。
在步骤S622，数据采集策略模块获取该数据采集策略。
在步骤S623，数据采集任务调度模块根据数据采集策略生成数据采集任务。
在步骤S624，数据采集任务调度模块设定定时器。判断定时器是否到期，当定时器到期时，进入步骤S625。若未到期，继续执行步骤S624判断定时器是否到期。
在步骤S625，在定时器到期时，数据采集任务调度模块确定是否需要增加数据采集模块的复本。若需要，则执行步骤S626。若不需要，继续执行步骤S625。在一可选方式中，数据采集任务调度模块可以根据相同采集内容的采集对象个数，确定是否需要建立当前执行任务的数据采集模块的复本来分担数据采集任务。在另一可选方式中，数据采集任务调度模块可以根据当前执行任务的数据采集模块的负载情况，确定是否需要建立该数据采集模块的复本来分担当前执行的数据采集任务。
在步骤S626，在需要新增加数据采集模块的复本时，数据采集任务调度模块启动数据采集模块的复本。可选的，数据采集任务调度模块可以根据数据采集注册模块中存储的数据采集模块的构成参数，建立并启动数据采集模块的复本。
在步骤S627，数据采集任务调度模块根据数据采集内容与数据采集模块之间的对应关系，将数据采集任务下发到指定的数据采集模块和数据采集模块的复本。
在步骤S628，数据采集模块和数据采集模块的复本根据数据采集任务，从数据采集对象采集数据，并将采集到的数据存储至数据库。
数据采集任务调度模块还实时监控数据采集模块的负载情况，在数据采集任务完成之后销毁数据采集模块的复本。
图6c示出根据本公开一实施例的数据采集方法涉及的数据分析的流程图。如图6c所示，在步骤S631，数据分析模块获取数据分析策略。
在步骤S632，数据采集任务调度模块根据数据分析策略生成数据分析任务。
在步骤S633，数据采集任务调度模块监控数据分析模块的负载情况，判断是否需要新增加数据分析模块的复本。若需要，则进行步骤S634。若不需要，则继续判断是否需要新增加数据分析模块的复本。
在步骤S634，数据采集任务调度模块启动数据分析模块的复本。可选的，数据采集任务调度模块可以根据数据分析模块的构成参数，建立并启动数据分析模块的复本。
在步骤S635，数据分析模块和数据分析模块的复本对数据采集模块采集的数据进行分析。
在步骤S636，在数据分析任务完成之后销毁数据分析模块的复本。
图6d示出根据本公开一实施例的数据采集方法涉及的数据处理的流程图。如图6d所示，在步骤S641，数据处理模块获取数据处理策略。
在步骤S642，数据采集任务调度模块根据数据处理策略生成数据处理任务。
在步骤S643，数据采集任务调度模块监控数据处理模块的负载情况，判断是否需要新增加数据处理模块的复本。若需要，则执行步骤S644。若不需要，则继续判断是否需要新增加数据处理模块的复本。
在步骤S644，数据采集任务调度模块启动数据处理模块的复本。可选的，数据采集任务调度模块可以根据数据处理模块的构成参数，建立并启动数据处理模块的复本。
在步骤S645，数据处理模块和数据处理模块的复本对数据采集模块采集的数据进行处理。
在步骤S646，在数据处理任务完成之后销毁数据分析模块的复本。
在本公开的实施例中，各个模块可以通过专用硬件电路实现，也可以通过通用处理硬件(例如CPU、单片机、现场可编程逻辑器件FPGA等)结合可执行逻辑指令实现，以执行各个模块的工作过程，其中，可执行逻辑指令可以基于相关技术手段实现。还可以通过手机、计算机等终端设备实现各个模块。本公开的实施例对各个模块的具体实现方式不做限定。
图7是根据一示例性实施例示出的一种用于数据采集装置的框图。参照图7，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与数据采集逻辑对应的机器可执行指令以执行上文所述的数据采集方法。具体的采集方法可以参见图5所示的方法以及上述具体实施例，本实施例对此不再赘述。
本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种数据采集系统，其特征在于，包括：
数据采集策略模块，与数据采集任务调度模块连接，用于获取根据数据采集需求生成的数据采集策略，并向所述数据采集任务调度模块发送所述数据采集策略；
数据采集任务调度模块，与至少一数据采集模块连接，用于根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，从所述至少一数据采集模块中确定执行所述数据采集任务的第一数据采集模块，并向所述第一数据采集模块发送所述数据采集任务；
至少一数据采集模块，其中，所述数据采集模块用于在接收到来自于所述数据采集任务调度模块的数据采集任务的情况下，根据所述数据采集任务采集数据。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
数据采集注册模块，与所述数据采集任务调度模块连接，用于在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；建立所述新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
3.根据权利要求1所述的系统，其特征在于，所述数据采集任务调度模块还用于：
建立所述第一数据采集模块的至少一第一复本，并向所述第一数据采集模块和至少一第一复本发送所述数据采集任务，以使所述第一数据采集模块和至少一第一复本共同执行所述数据采集任务。
4.根据权利要求3所述的系统，其特征在于，所述数据采集任务调度模块还用于，确定并销毁完成任务的第一复本。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括：
数据分析模块，用于获取根据数据分析需求生成的数据分析策略；根据所述数据分析策略生成数据分析任务；根据所述数据分析任务对所述数据采集模块采集的数据进行分析。
6.根据权利要求5所述的系统，其特征在于，所述数据采集任务调度模块还用于：
建立所述数据分析模块的至少一第二复本，并向所述数据分析模块和至少一第二复本发送所述数据分析任务，以使所述数据分析模块和至少一第二复本共同执行所述数据分析任务；以及，确定并销毁完成任务的第二复本。
7.根据权利要求1所述的系统，其特征在于，所述系统还包括：
数据处理模块，用于获取根据数据处理需求生成的数据处理策略；根据所述数据处理策略生成数据处理任务；根据所述数据处理任务对所述数据采集模块采集的数据进行处理。
8.根据权利要求7所述的系统，其特征在于，所述数据采集任务调度模块还用于：
建立所述数据处理模块的至少一第三复本，并向所述数据处理模块和至少一第三复本发送所述数据处理任务，以使所述数据处理模块和至少一第三复本共同执行所述数据处理任务；以及，确定并销毁完成任务的第三复本。
9.一种数据采集方法，其特征在于，所述方法包括：
获取根据数据采集需求生成的数据采集策略；
根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，确定用于执行所述数据采集任务的第一数据采集模块；
向所述第一数据采集模块发送启动指令，启动对应的第一数据采集进程，以使所述第一数据采集进程执行所述数据采集任务。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；
建立所述新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。
11.根据权利要求9所述的方法，其特征在于，在所述启动对应的第一数据采集进程之后，还包括：
启动至少一第二数据采集进程，以使所述第一数据采集进程和至少一第二数据采集进程共同执行所述数据采集任务。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
确定并结束完成任务的第二数据采集进程。
13.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取根据数据分析需求生成的数据分析策略；
根据所述数据分析策略生成数据分析任务；
启动第一数据分析进程，根据所述数据分析任务对所述数据采集进程采集的数据进行分析。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
启动至少一第二数据分析进程，以使所述第一数据分析进程和至少一第二数据分析进程共同执行所述数据分析任务；以及，确定并结束完成任务的第二数据分析进程。
15.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取根据数据处理需求生成的数据处理策略；
根据所述数据处理策略生成数据处理任务；
启动第一数据处理进程，根据所述数据处理任务对所述数据采集进程采集的数据进行处理。
CN201711042164.0A 2017-10-31 2017-10-31 数据采集系统及方法 Pending CN107885602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711042164.0A CN107885602A (zh) 2017-10-31 2017-10-31 数据采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711042164.0A CN107885602A (zh) 2017-10-31 2017-10-31 数据采集系统及方法

Publications (1)

Publication Number Publication Date
CN107885602A true CN107885602A (zh) 2018-04-06

Family

ID=61782976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711042164.0A Pending CN107885602A (zh) 2017-10-31 2017-10-31 数据采集系统及方法

Country Status (1)

Country Link
CN (1) CN107885602A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924007A (zh) * 2018-07-09 2018-11-30 电信科学技术第研究所有限公司 通信运营信息的大数据采集及存储系统和方法
CN110708208A (zh) * 2019-08-26 2020-01-17 奇安信科技集团股份有限公司 监控数据的采集方法及装置、存储介质、终端
CN111273573A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种环境数据监测方法及装置
WO2021017280A1 (zh) * 2019-07-31 2021-02-04 北京国双科技有限公司 一种数据处理方法及装置
CN112346940A (zh) * 2019-08-08 2021-02-09 北京神州泰岳软件股份有限公司 一种性能采集方法、装置和设备
CN112987652A (zh) * 2019-12-02 2021-06-18 智能云科信息科技有限公司 机床数据采集方法与装置、机床数据共享方法与装置
CN113126562A (zh) * 2020-01-16 2021-07-16 智能云科信息科技有限公司 数据采集方法、装置、系统及计算机可读存储介质
CN113721529A (zh) * 2021-09-03 2021-11-30 成都理工大学 一种基于fpga的数据采集系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120174097A1 (en) * 2011-01-04 2012-07-05 Host Dynamics Ltd. Methods and systems of managing resources allocated to guest virtual machines
US20150081485A1 (en) * 2013-09-13 2015-03-19 Mace Engineering Group Pty Ltd. Sales Order Data Collection And Management System
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN104506373A (zh) * 2015-01-07 2015-04-08 国家计算机网络与信息安全管理中心 网络信息采集与处理的装置和方法
CN104753735A (zh) * 2013-12-31 2015-07-01 中国移动通信集团上海有限公司 一种拨测系统及方法
CN105278353A (zh) * 2014-05-29 2016-01-27 中国电信股份有限公司 智能采集数据的方法、系统与数据处理装置
US20160077945A1 (en) * 2014-09-11 2016-03-17 Netapp, Inc. Storage system statistical data storage and analysis
CN106936618A (zh) * 2015-12-31 2017-07-07 北京神州泰岳软件股份有限公司 一种数据采集方法和系统
CN107273409A (zh) * 2017-05-03 2017-10-20 广州赫炎大数据科技有限公司 一种网络数据采集、存储及处理方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120174097A1 (en) * 2011-01-04 2012-07-05 Host Dynamics Ltd. Methods and systems of managing resources allocated to guest virtual machines
US20150081485A1 (en) * 2013-09-13 2015-03-19 Mace Engineering Group Pty Ltd. Sales Order Data Collection And Management System
CN104753735A (zh) * 2013-12-31 2015-07-01 中国移动通信集团上海有限公司 一种拨测系统及方法
CN105278353A (zh) * 2014-05-29 2016-01-27 中国电信股份有限公司 智能采集数据的方法、系统与数据处理装置
US20160077945A1 (en) * 2014-09-11 2016-03-17 Netapp, Inc. Storage system statistical data storage and analysis
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN104506373A (zh) * 2015-01-07 2015-04-08 国家计算机网络与信息安全管理中心 网络信息采集与处理的装置和方法
CN106936618A (zh) * 2015-12-31 2017-07-07 北京神州泰岳软件股份有限公司 一种数据采集方法和系统
CN107273409A (zh) * 2017-05-03 2017-10-20 广州赫炎大数据科技有限公司 一种网络数据采集、存储及处理方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924007A (zh) * 2018-07-09 2018-11-30 电信科学技术第研究所有限公司 通信运营信息的大数据采集及存储系统和方法
CN111273573A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种环境数据监测方法及装置
WO2021017280A1 (zh) * 2019-07-31 2021-02-04 北京国双科技有限公司 一种数据处理方法及装置
CN112346940A (zh) * 2019-08-08 2021-02-09 北京神州泰岳软件股份有限公司 一种性能采集方法、装置和设备
CN112346940B (zh) * 2019-08-08 2024-06-07 北京神州泰岳软件股份有限公司 一种性能采集方法、装置和设备
CN110708208A (zh) * 2019-08-26 2020-01-17 奇安信科技集团股份有限公司 监控数据的采集方法及装置、存储介质、终端
CN110708208B (zh) * 2019-08-26 2023-01-06 奇安信科技集团股份有限公司 监控数据的采集方法及装置、存储介质、终端
CN112987652A (zh) * 2019-12-02 2021-06-18 智能云科信息科技有限公司 机床数据采集方法与装置、机床数据共享方法与装置
CN112987652B (zh) * 2019-12-02 2023-01-24 智能云科信息科技有限公司 机床数据采集方法与装置、机床数据共享方法与装置
CN113126562A (zh) * 2020-01-16 2021-07-16 智能云科信息科技有限公司 数据采集方法、装置、系统及计算机可读存储介质
CN113126562B (zh) * 2020-01-16 2023-03-10 智能云科信息科技有限公司 数据采集方法、装置、系统及计算机可读存储介质
CN113721529A (zh) * 2021-09-03 2021-11-30 成都理工大学 一种基于fpga的数据采集系统

Similar Documents

Publication Publication Date Title
CN107885602A (zh) 数据采集系统及方法
EP3606008B1 (en) Method and device for realizing resource scheduling
US11677611B2 (en) Host side method of using a controller assignment list
US11296960B2 (en) Monitoring distributed applications
CN105308576B (zh) 确定和监测计算机资源服务的性能能力
US9606831B2 (en) Migrating virtual machine operations
CN109582301A (zh) 基于任务调度系统的业务处理方法、装置、设备及介质
US20200081736A1 (en) Task delegation and cooperation for automated assistants
CN107426034A (zh) 一种基于云平台的大规模容器调度系统及方法
CN111406292A (zh) 高效执行生物测定的系统和方法
US20150156276A1 (en) Distributed data-based concurrent processing method and system, and computer storage medium
CN101149692A (zh) 在分区间重新分配资源的方法和装置
CN107615336A (zh) 视觉系统中托盘槽类型和试管类型的基于位置的检测
CN109792393A (zh) 虚拟化离线计费系统中的软件升级
CN106789327A (zh) 自动为云平台添加宿主机的方法及系统
TW200937184A (en) De-centralized nodal failover handling
CN110535671A (zh) 云平台的管理方法及装置
CN113067739A (zh) 一种高密度容器网络部署方法及系统
CN114647551A (zh) 一种数据库自动化巡检方法、装置、设备及介质
CN106021043A (zh) 一种获取服务器配置信息的方法及装置
CN109558239A (zh) 一种任务调度方法、装置、系统、计算机设备和存储介质
CN104731660B (zh) 数据分配方法、装置和系统
CN106230623A (zh) 一种vim站点选择方法及装置
TWI507889B (zh) 用於保留及執行本機計算裝置的影像寫入之管理節點、方法、機器可存取媒體及系統
CN104035821B (zh) 管理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication