CN110417825A - 一种Flume集群的管理方法、装置及系统 - Google Patents

一种Flume集群的管理方法、装置及系统 Download PDF

Info

Publication number
CN110417825A
CN110417825A CN201810385019.0A CN201810385019A CN110417825A CN 110417825 A CN110417825 A CN 110417825A CN 201810385019 A CN201810385019 A CN 201810385019A CN 110417825 A CN110417825 A CN 110417825A
Authority
CN
China
Prior art keywords
flume
task
cluster
component
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810385019.0A
Other languages
English (en)
Other versions
CN110417825B (zh
Inventor
张永曦
王玉雷
廖光贤
李宏源
张巧龙
黄海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810385019.0A priority Critical patent/CN110417825B/zh
Publication of CN110417825A publication Critical patent/CN110417825A/zh
Application granted granted Critical
Publication of CN110417825B publication Critical patent/CN110417825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0253—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using browsers or web-pages for accessing management information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种Flume集群的管理方法、装置及系统，其中，所述方法包括：接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。用于解决现有技术对Flume集群的管理性能较差的技术问题，提高了对Flume集群的管理性能。

Description

一种Flume集群的管理方法、装置及系统
技术领域
本发明涉及大数据技术领域，特别涉及一种Flume集群的管理方法、装置及系统。
背景技术
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的日志收集系统，支持在日志系统中定制各类数据发送方(如：Kafka、HDFS等)，便于收集数据。它具有基于流数据流的简单灵活的架构，可靠的故障切换能力和容错能力，良好的鲁棒性。
在现有技术中，无法自动管理Flume集群，对于整个集群的资源，目前只能靠人工计算来为新的Flume任务分配资源，并且，对于Flume任务的启动、停止等管理与操作只能人为地手动在每台集群机器上执行。比如，Flume集群中的一台机器启动一个新的Flume任务时，首先要人为地分配集群资源，然后，再手动登录到指定机器，进而手动启动该Flume任务对应的Flume进程。也就是说，对于Flume集群，无法做到对Flume任务的管理以及集群资源的自动化管理。
此外，当前大部分Flume流式数据传输应用，其拓扑接口相对来说比较复杂，需手动书写Flume配置文件，不仅要求对Flume的配置文件编写较为熟悉，而且整个过程繁琐，工作量大，容易出错，特别是Flume用于大规模数据传输时更是如此。
可见，现有技术存在对Flume集群的管理性能较差的技术问题。
发明内容
本发明实施例提供一种Flume集群的管理方法、装置及系统，用于解决现有技术对Flume集群的管理性能较差的技术问题，提高了对Flume集群的管理性能。
一方面，本发明实施例提供了一种Flume集群的管理方法，应用于服务器端，所述方法包括：
接收web接口端发送的用于启动Flume任务的启动请求；
根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
生成针对所述Flume任务的启动程序；
根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
可选地，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：
获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
可选地，所述方法还包括：
在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；
基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
可选地，所述获得所述Flume组件的配置参数集合，包括：
接收用于请求所述Flume组件对应的component组件对象的请求信息；
以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；
在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。
可选地，所述基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务，包括：
接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；
确定所述连接方式和所述配置参数集合对应的拓扑对象；
对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
另一方面，本发明实施例还提供了一种Flume集群的管理装置，应用于服务器端，所述装置包括：
接收单元，用于接收web接口端发送的用于启动Flume任务的启动请求；
分配单元，根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
第一生成单元，用于生成针对所述Flume任务的启动程序；
处理单元，根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
可选地，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述装置还包括：
第一获得单元，用于获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
指示单元，用于将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
可选地，所述装置还包括：
第二获得单元，在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；
第二生成单元，基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
可选地，所述第二获得单元用于：
接收用于请求所述Flume组件对应的component组件对象的请求信息；
以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；
在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。
可选地，所述第二生成单元用于：
接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；
确定所述连接方式和所述配置参数集合对应的拓扑对象；
对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
另一方面，本发明实施例还提供了一种Flume集群的管理系统，所述系统包括：
web接口端，用于发送用于启动Flume任务的启动请求；
服务器端，用于接收所述启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
另一方面，本发明实施例还提供了一种服务器端，所述服务器端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上所述的Flume集群的管理方法的步骤。
另一方面，本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的Flume集群的管理方法的步骤。
本发明实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
在本发明实施例的技术方案中，服务器端接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。也就是说，服务器端接收到新的Flume任务时，自动为新的Flume任务分配资源，并根据Flume集群当前的资源使用情况、Flume任务的运行资源、以及所述Flume任务的优先级，自动为所述Flume任务分配到可使用的机器。且在自动启动新的Flume任务时，通过Container容器化技术限定该Flume任务的运行资源，从而保证一台机器上可以启动多个Flume任务，从而实现了Flume集群化管理，提高了对Flume集群的管理性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例中提供的web接口端的结构框图；
图2为本发明实施例中提供的服务器端的结构框图；
图3为本发明实施例中提供的web接口端和服务器端二者的交互过程示意图；
图4为本发明实施例一提供的一种Flume集群的管理方法示意图；
图5为本发明实施例一提供的一种Flume集群的管理方法中对Flume任务的启动过程示意图；
图6为本发明实施例一提供的一种Flume集群的管理方法中在步骤S104之后的方法流程图；
图7为本发明实施例一提供的一种Flume集群的管理方法中的另外一种方法流程图；
图8为本发明实施例一提供的一种Flume集群的管理方法中web接口端的前端界面包括面板区和组件区的示意图；
图9为本发明实施例一提供的一种Flume集群的管理方法中步骤S301的步骤流程图；
图10为本发明实施例一提供的一种Flume集群的管理方法中步骤S302的步骤流程图；
图11为本发明实施例二提供的一种Flume集群的管理装置的结构示意图；
图12为本发明实施例三提供的一种Flume集群的管理系统的结构示意图。
具体实施方式
本发明实施例提供一种Flume集群的管理方法、装置及系统，用于解决现有技术对Flume集群的管理性能较差的技术问题，提高了对Flume集群的管理性能。
本发明实施例中的技术方案为解决上述的技术问题，总体思路如下：
一种Flume集群的管理方法，应用于服务器端，所述方法包括：
接收web接口端发送的用于启动Flume任务的启动请求；
根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
生成针对所述Flume任务的启动程序；
根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
在本发明实施例的技术方案中，服务器端接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。也就是说，服务器端接收到新的Flume任务时，自动为新的Flume任务分配资源，并根据Flume集群当前的资源使用情况、Flume任务的运行资源、以及所述Flume任务的优先级，自动为所述Flume任务分配到可使用的机器。且在自动启动新的Flume任务时，通过Container容器化技术限定该Flume任务的运行资源，从而保证一台机器上可以启动多个Flume任务，从而实现了Flume集群化管理，提高了对Flume集群的管理性能。
本发明的说明书和权利要求书中的“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
在介绍本发明实施例中的技术方案之前，首先，对本发明中Flume集群的管理系统，更为具体的对基于Flume的流式数据传输平台进行简要的介绍。
基于Flume的流式数据传输平台是基于B/S结构开发的，主要包括web接口端和服务器端两部分，其中，所述web接口端作为一个web容器，承接用户的访问(比如通过浏览器实现与用户的交互)，并且通过REST API与所述服务器端进行交互。所述服务器端主要是实现底层功能。
第一部分：web接口端
如图1所示，web接口端包括Guice Servlet模块、Web App模块、ResourceController模块、Dashbroad模块、Configer模块、Service模块、User模块、Common模块、Jersey Framework模块。其中，web接口端采用内嵌式jetty作为其web容器，也就是说，web接口端可以整体看作是一个jetty容器。此外，web页面基于Angular MVC的框架实现了数据绑定。Web App模块是业务功能实现部分。Dashbroad模块用于对数据进行展示。Configger模块用于可视化创建Flume任务。Rsource Controller模块用于保证用户对Flume集群资源的可视化配置。Service模块和Common模块可以理解为公用功能模块，提供基础功能。User模块负责用户的登录验证。Jersey Framework模块，保证web接口端的service模块与服务器端的service模块通过REST API进行交互。当然，本领域的技术人员还可以根据实际需要来设计所述web接口端的相关功能模块，在此就不一一举例说明了。
在具体实施过程中，web接口端部分模块间的交互过程具体为，在浏览器上接收到用户用于启动Flume任务的启动操作时，User模块负责对用户的登录验证，若验证通过，则web接口端的Service模块基于Jersey Framework模块通过REST API实现与服务器端的Service模块间的交互，服务器端根据对应的API调用相应的后台功能模块，执行相应的后台功能，比如，进行资源分配或启动Flume任务等操作。
第二部分：服务器端
如图2所示，服务器端包括Service模块、Configger模块、Resource Manager模块、Flume Container模块、Info Collector模块、Zookeeper模块。其中，服务器端的Service模块负责与web接口端的Service模块进行交互。服务器端的Configger模块用于和web接口端的Configger模块相互协作，以此来构建Flume任务。Resource Manager模块用于和web接口端的Resource Controller模块相互交互，实现底层资源的管理和分配。Flume Container模块用于实现对每个Flume任务对应进程的资源容器化。Info Collector模块用于收集数据，还可以将收集到的数据发送至web接口端的Dashboard模块，从而实现对相关数据展示在前端界面上。Zookeeper模块用于实现Flume集群的状态同步，将一些状态同步信息记录在上边。当然，本领域的技术人员还可以根据实际需要来设计所述服务器端的相关功能模块，在此就不一一举例说明了。
在具体实施过程中，包括web接口端和服务器端的基于Flume的流式数据传输平台的中所述web接口端和所述服务器端二者的交互过程如图3所示。具体来讲，每个功能模块严格遵循MVC框架的设计原则，用户访问相应的Web页面，执行相关操作和数据验证(用于验证用户是否有权访问)，利用AngularJS的资源服务和Jersey RESTful框架，通过REST API与服务器端数据源实现交互。服务器端根据对应的API调用相应的后台功能模块，执行相应的后台功能。
举个具体的例子来说，在前端界面上接收到用户针对集群资源可视化配置的操作(比如输入操作)，具体地通过Resource Controller模块实现对集群资源的可视化配置，Resource Controller模块将接收到的集群资源配置的相关参数发送至服务器端的Resource Manager模块，具体地由Resource Manager模块实现底层资源的管理和分配，比如，Resource Manager模块会在所述Flume集群中找到一个资源空闲的机器，在这台机器上启动所述Flume任务。
再比如，在前端界面上接收到针对Flume组件中的source组件、channel组件、sink组件任意一种类型的诸如以对组件进行配置的双击操作时，所述web接口端上的Configger模块接收到相应的配置请求，将相关参数发送至服务器端的Configger模块，从而由服务端的Configger模块实现对相关组件的配置。
再比如，在所述服务器端的Info Collect模块收集到Flume集群的运行信息和Flume任务的运行信息时，将处理后的信息发送至web接口端的Dashbroad模块以显示在前端界面，从而实现了对Flume集群的实时监控，进一步地提高了对Flume集群的管理性能。
当然，除了上述所述的web接口端和服务器端的交互过程外，本领域的技术人员还可以根据实际情况来设计web接口端和服务器端的交互过程，在此就不一一举例说明了。
下面，对本发明中提到的Flume集群的管理方法的具体实现过程进行详细的解释说明。
实施例一
请参考图4，本发明实施例提供了一种Flume集群的管理方法，应用于服务器端，所述方法包括：
S101：接收web接口端发送的用于启动Flume任务的启动请求；
S102：根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
S103：生成针对所述Flume任务的启动程序；
S104：根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
在具体实施过程中，步骤S101至步骤S104的具体实现过程如下：
首先，服务器端接收到web接口端发送的用于启动Flume任务的启动请求，比如，所述web接口端接收到用户针对前端界面上的用于启动Flume任务的“启动按钮”的点击操作，所述web接口端将该点击操作对应的启动请求发送至所述服务器端。然后，所述服务器端根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器。在具体实施过程中，为了实现对所述Flume集群资源的管理的，首先要在所述服务器端的配置文件中配置每台机器的资源信息，其中，所述资源信息主要包括CPU核数、内存大小等信息。也就是说，通过所述服务器端的配置文件制定每台机器的资源量(比如，CPU核数、内存大小，等等)，以便所述服务器端的Resource Manager模块计算出每台机器上能运行几个Container。
具体来讲，所述服务器端根据用于指明所述Flume集群中每台机器的资源信息的配置文件，能够控制所述Flume集群中每台机器的运行资源。其中，所述第一机器具体可以是所述Flume集群中的可供所述Flume任务使用的任意一台机器。然后，所述服务器端会自动生成所述Flume任务的启动程序。然后，所述服务器端根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。在具体实施过程中，通过Container容器化技术限定所述Flume任务的运行资源，即运行资源的容器化，指的是把所述Flume任务对应的进程限制在一定的CPU和内存消耗范围内运行，以此来实现对所述Flume任务运行资源的控制，具体是基于Cgroup资源控制逻辑来实现运行资源的容器化。所述服务器端接收到的新的Flume任务时，会根据所述Flume集群当前的资源使用情况，以及所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配到可使用的机器。然后，所述服务器端会自动生成所述Flume任务的启动程序，Flume Container模块会在所述启动程序中加入Cgroup资源控制逻辑，所述启动程序被打包通过sftp协议发送到执行机器(即可使用的机器)，发送完毕之后，所述服务器端再通过SSH协议登录到该执行机器，通过Linux Shell命令将所述Flume任务启动。在具体实施过程中，对所述Flume任务的启动过程如图5所示。
此外，在本发明实施例中，新的Flume任务是由所述web接口端发起的，每次生成新的Flume配置文件的时候，都是配置新的Flume任务的时候。
在本发明实施例中，为了实现对所述Flume集群的实时监控，请参考图6，在步骤S104：根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：
S201：获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
S202：将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
在具体实施过程中，步骤S201至步骤S202的具体实施过程如下：
首先，所述服务器端获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合。其中，所述Flume集群的运行信息包括所述Flume集群的机器数量、所述Flume集群的机器数量、所述Flume集群的总资源量、所述Flume集群的资源已使用情况，所述Flume集群的剩余资源量、所述Flume集群的总任务数等等。所述Flume任务的运行信息包括所述Flume任务的状态、Source组件的运行状态、Channel组件的运行状态、Sink组件的运行状态、所述Flume任务的已传输数据量等。在具体实施过程中，通过所述服务端的InfoCollector模块收集所述Flume集群的运行信息和所述Flume任务的运行信息，然后，将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息结合进行显示，以监控所述Flume集群以及所述Flume任务。比如，所述web接口端通过Dashbroad模块对所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合进行显示，从而保证了用户在前端界面上便可以对所述Flume集群以及所述Flume任务的运行信息进行监控。
在具体实施过程中，为了进一步地提高所述服务器端的使用性能，在具体实施过程中，具体可以在所述前端界面上设置一用于显示所述运行信息集合的仪表盘。除此之外，为了进一步地提高所述Flume集群的管理系统的使用性能，所述仪表盘还可以显示诸如：所述Flume集群资源已满提示、机器故障提示、不良运行状态的Flume任务提示等警告信息。通过所述仪表盘，用户可以直观地观测到整个Flume集群的运行状态，包括资源的使用情况，集群节点的健康情况，以及所述Flume任务的健康情况(比如，source组件、channel组件、sink组件建立的拓扑是否正确)等等，大大提高了运维所述Flume集群的效率，为所述Flume集群的稳定运行提供了保障。
在本发明实施例中，为了进一步地提高所述服务器端的使用性能，请参考图7，所述方法还包括：
S301：在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；
S302：基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
在具体实施过程中，步骤S301至步骤S302的具体实现过程如下：
首先，在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合。在具体实施过程中，存在各种类型的source组件、channel组件、sink组件。其中，source组件为源头，负责采集日志；channel组件为通道，负责传输和短暂的储存；sink组件为目的地，将采集到的日志保存起来。在实际日志采集的过程中，往往根据待采集日志的类型以及存储需求，选择相应类型的source组件、channel组件和sink组件进行配置，从而将日志采集并且保存起来。在具体实施过程中，所述web接口端的Configger模块的前端主要是由面板区、组件区组成，如图8所示。其中，面板区主要用于可视化构建Flume配置，其中，组件区用于展示Flume组件各种类型的source组件、channel组件和sink组件，以供用户将组件区上的相关组件拖拉拽到面板区上进行显示。当把组件区中的相关的source组件、channel组件和sink组件拖拽到面板区上时，面板区上的各个组件之间可以通过连接线连线。
在具体实施中，可以根据传输的业务需求，来组建拓扑。每一种组件被用户拖到面板区后，用户针对该组件进行控制操作，比如，双击操作，或者点击右键操作，等等。然后，弹出针对该组件的配置面板，在该配置面板上能够针对该组件填写相应的配置参数。当用户在前端界面上输入针对source组件、channel组件、sink组件的相关配置参数之后，所述服务器端便可以接收所述web接口端发送过来的Flume组件的配置参数集合。然后，便可以基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，从而创建所述Flume任务。也就是说，在本发明实施例中，用户可以直接在前端界面上，可视化地来构建Flume任务，从而使得对Flume系统并不熟悉的人，能够根据数据传输业务，构建出复杂的Flume配置文件，从而进一步地提高了Flume任务的构建效率，提高了所述Flume任务的创建性能。
在本发明实施例中，如图9所示，步骤S301的具体实现过程包括：
S401：接收用于请求所述Flume组件对应的component组件对象的请求信息；
S402：以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；
S403：在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。
在具体实施过程中，步骤S401至步骤S403的具体实现过程如下：
在本发明实施例中，所述Flume组件的可视化具体可以通过所述web接口端中的Configger模块中的UI解析器来实现，JQuery UI(是UI解析器的一种)的Draggable插件来实现对所述Flume组件的可拖拽效果。具体来来讲，UI解析器是双向解析的，即组件从comonent对象解析为页面组件元素，Configuration从页面拓扑元素解析为Configger对象。当用户双击要配置的某个组件的时候，UI解析器会向所述服务器端请求该组件的component对象，即所述服务器端接收所述web接口端用于请求所述Flume组件对应的component对象的请求信息，所述服务器端以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容。其中，所述配置项可以是Property属性(即填空配置)，还可以是PropertyOptions属性(即选择配置，比如下拉框配置)。以所述web接口端的Configger模块中的UI解析器为例，UI解析器从JSON形式中的Property属性中解析获取用户要填的相关配置信息，从PropertyOptions属性中解析获取用户相关信息的填写方式(下拉框、复选框等)。在所述前端界面接收到所述待输入内容，即用户填写完之后，UI解析器将以JSON形式返回所述Flume组件对应的所述配置参数集合。
在本发明实施例中，在用户拖拉拽并配置完成所有的Flume组件后，请参考图10，步骤S302：基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务，包括：
S501：接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；
S502：确定所述连接方式和所述配置参数集合对应的拓扑对象；
S503：对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
在具体实施过程中，步骤S501至步骤S503的具体实现过程如下：
首先，所述服务器端接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合。然后，确定所述连接方式和所述配置参数集合对应的拓扑对象；进一步地，所述服务器端对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。仍以所述web接口端的configger模块中的UI解析器为例，当用户对所述Flume组件的相关配置填写完之后，UI解析器会将面板区的内容，包括组件配置参数集合，组件间连接方式解析成一个TopologyConfigger对象，然后以JSON形式返回给所述服务器端，所述服务器端根据接收到的TopologyConfigger对象，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，以此来创建所述Flume任务。在具体实施过程中，为了进一步地提高所述服务器端对所述Flume配置文件的创建性能，所述服务器端还可以对生成的所述Flume文件进行自动优化，比如排版、Flume任务的拓扑优化等等。
实施例二
基于与本发明实施例一同样的发明构思，请参考图11，本发明实施例还提供了一种Flume集群的管理装置，应用于服务器端，包括：
接收单元10，用于接收web接口端发送的用于启动Flume任务的启动请求；
分配单元20，根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
第一生成单元30，用于生成针对所述Flume任务的启动程序；
处理单元40，根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
在本发明实施例中，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述装置还包括：
第一获得单元，用于获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
指示单元，用于将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
在本发明实施例中，所述装置还包括：
第二获得单元，在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；
第二生成单元，基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
在本发明实施例中，所述第二获得单元用于：
接收用于请求所述Flume组件对应的component对象对象的请求信息；
以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；
在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。
在本发明实施例中，所述第二生成单元用于：
接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；
确定所述连接方式和所述配置参数集合对应的拓扑对象；
对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
实施例三
基于与本发明实施例一同样的发明构思，请参考图12，本发明实施例还提供了一种Flume集群的管理系统，所述系统包括：
web接口端50，用于发送用于启动Flume任务的启动请求；
服务器端60，用于接收所述启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。其中，服务器端60包括实施例二中所述的各个单元模块，在此就不一一举例说明了。
本发明实施例的又一方面提供了一种服务器端，所述服务器端包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如：接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。所述处理器执行所述计算机程序时实现上述各方面所述的方法实施例中的步骤，例如图5所示的方法步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述Flume集群的管理装置/服务器端中的执行过程。例如，所述计算机程序可以被分割成接收单元，分配单元，第一生成单元，处理单元，各模块具体功能如下：所述接收单元，用于接收web接口端发送的用于启动Flume任务的启动请求；所述分配单元，根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；所述第一生成单元，用于生成针对所述Flume任务的启动程序；所述处理单元，根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
所述Flume集群的管理装置/服务器端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述Flume集群的管理装置/服务器端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是所述Flume集群的管理装置/服务器端的示例，并不构成对所述Flume集群的管理装置/服务器端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述Flume集群的管理装置/服务器端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述Flume集群的管理装置/服务器端的控制中心，利用各种接口和线路连接整个所述Flume集群的管理装置/服务器端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述Flume集群的管理装置/服务器端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例的又一方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的Flume集群的管理方法的步骤。
所述Flume集群的管理装置/服务器端集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明实施例的技术方案中，服务器端接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。也就是说，服务器端接收到新的Flume任务时，自动为新的Flume任务分配资源，并根据Flume集群当前的资源使用情况、Flume任务的运行资源、以及所述Flume任务的优先级，自动为所述Flume任务分配到可使用的机器。且在自动启动新的Flume任务时，通过Container容器化技术限定该Flume任务的运行资源，从而保证一台机器上可以启动多个Flume任务，从而实现了Flume集群化管理，提高了对Flume集群的管理性能。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种Flume集群的管理方法，应用于服务器端，其特征在于，所述方法包括：
接收web接口端发送的用于启动Flume任务的启动请求；
根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
生成针对所述Flume任务的启动程序；
根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
2.如权利要求1所述的方法，其特征在于，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：
获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；
基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
4.如权利要求3所述的方法，其特征在于，所述获得所述Flume组件的配置参数集合，包括：
接收用于请求所述Flume组件对应的component组件对象的请求信息；
以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；
在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。
5.如权利要求4所述的方法，其特征在于，所述基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务，包括：
接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；
确定所述连接方式和所述配置参数集合对应的拓扑对象；
对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。
6.一种Flume集群的管理装置，应用于服务器端，其特征在于，所述装置包括：
接收单元，用于接收web接口端发送的用于启动Flume任务的启动请求；
分配单元，根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；
第一生成单元，用于生成针对所述Flume任务的启动程序；
处理单元，根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
7.如权利要求6所述的管理装置，其特征在于，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述装置还包括：
第一获得单元，用于获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；
指示单元，用于将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。
8.一种Flume集群的管理系统，其特征在于，所述系统包括：
web接口端，用于发送用于启动Flume任务的启动请求；
服务器端，用于接收所述启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
9.一种服务器端，其特征在于，所述服务器端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5中任意一项所述的Flume集群的管理方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5中任意一项所述的Flume集群的管理方法的步骤。
CN201810385019.0A 2018-04-26 2018-04-26 一种Flume集群的管理方法、装置及系统 Active CN110417825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810385019.0A CN110417825B (zh) 2018-04-26 2018-04-26 一种Flume集群的管理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810385019.0A CN110417825B (zh) 2018-04-26 2018-04-26 一种Flume集群的管理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110417825A true CN110417825A (zh) 2019-11-05
CN110417825B CN110417825B (zh) 2022-05-13

Family

ID=68345664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810385019.0A Active CN110417825B (zh) 2018-04-26 2018-04-26 一种Flume集群的管理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110417825B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067883A (zh) * 2021-03-31 2021-07-02 建信金融科技有限责任公司 数据传输方法、装置、计算机设备及存储介质
CN114064145A (zh) * 2021-11-15 2022-02-18 闪捷信息科技有限公司 日志收集系统可视化配置方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2443940A1 (en) * 2010-10-21 2012-04-25 ConAgra Foods RDM, Inc. Acrylamide mitigation and color management in a potato fry
CN105490860A (zh) * 2015-12-24 2016-04-13 北京奇虎科技有限公司 部署应用程序运行环境的方法、装置及系统
CN105511968A (zh) * 2015-12-31 2016-04-20 北京奇艺世纪科技有限公司 一种资源调度管理系统
CN105653662A (zh) * 2015-12-29 2016-06-08 中国建设银行股份有限公司 一种基于Flume的数据处理方法和装置
CN105933169A (zh) * 2016-07-04 2016-09-07 江苏飞搏软件股份有限公司 一种高效鲁棒的大数据安全聚合系统与方法
CN107085579A (zh) * 2016-02-16 2017-08-22 中国移动通信集团福建有限公司 一种数据采集分发方法及装置
CN107220348A (zh) * 2017-05-27 2017-09-29 郑州云海信息技术有限公司 一种基于Flume与Alluxio的数据收集方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2443940A1 (en) * 2010-10-21 2012-04-25 ConAgra Foods RDM, Inc. Acrylamide mitigation and color management in a potato fry
CN105490860A (zh) * 2015-12-24 2016-04-13 北京奇虎科技有限公司 部署应用程序运行环境的方法、装置及系统
CN105653662A (zh) * 2015-12-29 2016-06-08 中国建设银行股份有限公司 一种基于Flume的数据处理方法和装置
CN105511968A (zh) * 2015-12-31 2016-04-20 北京奇艺世纪科技有限公司 一种资源调度管理系统
CN107085579A (zh) * 2016-02-16 2017-08-22 中国移动通信集团福建有限公司 一种数据采集分发方法及装置
CN105933169A (zh) * 2016-07-04 2016-09-07 江苏飞搏软件股份有限公司 一种高效鲁棒的大数据安全聚合系统与方法
CN107220348A (zh) * 2017-05-27 2017-09-29 郑州云海信息技术有限公司 一种基于Flume与Alluxio的数据收集方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067883A (zh) * 2021-03-31 2021-07-02 建信金融科技有限责任公司 数据传输方法、装置、计算机设备及存储介质
CN114064145A (zh) * 2021-11-15 2022-02-18 闪捷信息科技有限公司 日志收集系统可视化配置方法、装置及电子设备

Also Published As

Publication number Publication date
CN110417825B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN112165424B (zh) 一种业务部署方法、装置以及网元
CN106301829B (zh) 一种网络业务扩容的方法和装置
CN108449418B (zh) 一种混合云平台管理系统及方法
CN105760214B (zh) 一种设备状态及资源信息监测方法、相关设备及系统
EP3455728B1 (en) Orchestrator for a virtual network platform as a service (vnpaas)
US11102089B2 (en) Method and system for constructing content delivery network platform on heterogeneous resources
CN103703724B (zh) 一种资源发放方法
CN105103506B (zh) 用于为云计算网络中的非均匀带宽请求分配带宽的方法和系统
CN108600300B (zh) 日志数据处理方法及装置
CN109857518A (zh) 一种网络资源的分配方法及设备
US20140223015A1 (en) Invalidation in a content delivery framework
CN108737463A (zh) 一种软件部署方法、服务器和系统
JP2018523434A (ja) ネットワークサービスのライフサイクル管理の方法及びデバイス
CN101763287A (zh) 剩余资源管理系统、其管理方法以及服务器装置
CN105827428A (zh) 资产信息的管理方法及装置
CN109614110A (zh) 一种消息中间件集中部署的方法和装置
CN108984125A (zh) 一种资源分配的方法、装置及存储介质
CN107733739A (zh) 可视化集中管理可信策略和报告的系统与方法
CN109495584A (zh) 物联网设备接入方法、装置、设备及介质
WO2018149498A1 (en) A network monitoring entity and method for a communication network implementing network slices
CN110417825A (zh) 一种Flume集群的管理方法、装置及系统
CN105071965B (zh) 一种网络设备的管理系统
CN112799970B (zh) 测试数据处理方法、装置、电子设备及介质
CN108471373A (zh) 一种资源申请、vnf实例创建方法及装置
CN109361739A (zh) 一种下载方法、装置、客户端、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant