CN112019362A - 数据传输方法、装置、服务器、终端、系统及存储介质 - Google Patents

数据传输方法、装置、服务器、终端、系统及存储介质 Download PDF

Info

Publication number
CN112019362A
CN112019362A CN201910465536.3A CN201910465536A CN112019362A CN 112019362 A CN112019362 A CN 112019362A CN 201910465536 A CN201910465536 A CN 201910465536A CN 112019362 A CN112019362 A CN 112019362A
Authority
CN
China
Prior art keywords
task
flash
running
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910465536.3A
Other languages
English (en)
Other versions
CN112019362B (zh
Inventor
张永曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910465536.3A priority Critical patent/CN112019362B/zh
Publication of CN112019362A publication Critical patent/CN112019362A/zh
Application granted granted Critical
Publication of CN112019362B publication Critical patent/CN112019362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0889—Techniques to speed-up the configuration process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种数据传输方法，包括：服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，如此，能够实现Flume任务资源的动态管理。本发明实施例还提供了一种数据传输装置、服务器、终端、系统及存储介质。

Description

数据传输方法、装置、服务器、终端、系统及存储介质
技术领域
本发明涉及数据处理领域，尤其是涉及一种数据传输方法、装置、服务器、终端、系统及存储介质。
背景技术
Flume是一种分布式的流式数据传输工具，它能够对流式数据进行高效地收集、聚合以及分流，用灵活的拓扑方式传输流式数据。同时，Flume还具有良好的鲁棒性，有一定的容错能力和故常切换能力，是目前大数据领域流式数据传输的主流工具。
然而，当前对Flume数据流资源的控制管理很不灵活，导致存在Flume数据流资源集群时出现资源混乱的情况，造成大面积的负载不均衡，因此，如何有效的管理Flume数据流资源是亟需解决的重要问题。
发明内容
有鉴于此，本发明实施例的主要目的在于提供一种数据传输方法，装置、服务器、终端、系统及存储介质，能够实现Flume任务资源的动态管理。
为达到上述目的，本发明实施例提供了一种数据传输方法，包括：
服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；
获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
其中，还包括：
采集所述Flume任务在所述Yarn上的运行日志信息；其中，所述Flume任务的运行日志信息实时存储于对应的消息列队中；
周期性发送所述运行日志信息到指定终端。
其中，还包括：
采集所述Flume任务在所述Yarn上的运行状态信息；其中，所述Flume任务的运行状态信息实时更新于对应的分布式应用程序协调服务节点中；
周期性发送所述运行状态信息到指定终端。
其中，所述服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求之后，还包括：
服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，当所述Flume任务的目的地址为分布式文件系统HDFS时，更新所述Flume任务的传输路径和传输文件名的日期属性；其中，所述Flume配置文件携带有所述Flume任务的目的地址。
其中，所述根据所述任务创建请求向资源管理器Yarn发送启动请求信息，包括：
根据所述任务创建请求中的Flume任务的配置参数确定所述Flume任务的Flume资源需求信息；其中，所述Flume资源需求信息携带有运行所述Flume任务的资源量参数以及Yarn中调度队列的信息；
根据所述Flume资源需求信息确定所述Flume任务的运行环境；
根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息。
本发明实施例提供了一种数据传输方法，包括：
向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求；其中，所述任务创建请求用于所述服务器在资源管理器Yarn创建所述Flume任务；
接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
本发明实施例提供了一种数据传输装置，包括：
调用模块，用于接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
资源管理器Yarn交互模块，用于根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；还用于获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
本发明实施例提供了一种数据传输装置，包括：
任务编辑模块，用于向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求；其中，所述任务创建请求用于所述服务器在设置的资源管理器Yarn创建所述Flume任务；
任务管理模块，用于接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
本发明实施例提供了一种服务器，包括：第一处理器和用于存储能够在所述第一处理器上运行的计算机程序的第一存储器；
其中，所述第一处理器用于运行所述计算机程序时，实现本发明任一实施例所述的应用于服务器的数据传输方法。
本发明实施例提供了一种终端，包括：第二处理器和用于存储能够在所述第二处理器上运行的计算机程序的第二存储器；
其中，所述第二处理器用于运行所述计算机程序时，实现本发明任一实施例所述的应用于终端的数据传输方法。
本发明实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时本发明任一实施例所述的数据传输方法。
本发明实施例提供了一种数据传输系统，包括本发明任一实施例所述的服务器及本发明任一实施例所述的终端。
本发明上述实施例中，通过接收携带有日志收集系统Flume任务的配置参数的任务创建请求；根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，如此，通过将Flume任务运行于Yarn中，可以简化Flume任务的部署和启动，基于Yarn可以对Flume任务资源的动态分配和管理，实现资源的高可用，使得Flume任务资源能够灵活、有效的运行。
附图说明
图1为本发明一实施例提供的数据传输系统的结构示意图；
图2为本发明一实施例提供的数据传输方法的流程图；
图3为本发明一实施例提供的服务器与Yarn进行交互的步骤流程图；
图4为本发明一实施例提供的服务器采集运行日志信息的原理图；
图5为本发明一实施例提供的服务器采集运行状态信息的原理图；
图6为本发明另一实施例提供的数据传输方法的流程图；
图7为本发明一实施例提供的数据传输装置的结构示意图；
图8为本发明另一实施例提供的数据传输装置的结构示意图；
图9为本发明一实施例提供的服务器的硬件结构示意图；
图10为本发明一实施例提供的终端的硬件结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明实施例提供了一种数据传输系统的结构示意图，如图1所示，所述数据传输系统100可以是基于B/S结构开发的，该数据传输系统100包括服务器101以及终端102。这里，终端102可以是包含Web接口的终端，以下简称为Web接口端，所述Web接口端与服务器101通过表述性状态传递(Representational State Transfer Rest，REST)应用程序端口(Application Programming Interface，API)进行交互，其中，Web接口端作为所述系统的前端，用户可以通过打开浏览器的方式来访问Web接口端，进而对所述系统进行各种操作。服务器101作为系统的后端，负责对日志收集系统Flume任务的管理，并能够与同样位于系统后端的资源管理器(Yet Another Resource Negotiator，Yarn)103进行交互，这里，所述资源管理器Yarn103作为每个Flume任务的管理者，将每个Flume任务的运行日志信息存储于同样位于系统后端的消息列队(Kafka)104中，将每个Flume任务的运行状态信息存储于同样位于系统后端的分布式应用程序协调服务节点(Zookeeper)105中，服务器101通过与所述Yarn103、所述Kafka104、所述Zookeeper105进行交互，能够使服务器101实时对每个Flume任务的运行状态进行收集，以及实时对每个运行中的Flume任务的运行日志信息进行收集。
所述数据传输系统100，通过服务器101根据终端102发送任务创建请求向设置的资源管理器Yarn发送启动请求信息，获取Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，使得在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，从而能够快速构建Flume任务，并实现运行所述Flume任务的运行资源的自动化分配与管理，实现对运行资源的高可用；还能对每个Flume的运行状态进行直观、有效地监控，还能对每个Flume任务的日志进行实时收集，便于及时排查线上问题；以及，还能对每个Flume任务写入HDFS偏慢的问题进行有效地解决。
相对于目前已知的Flume任务部署方式是靠手动部署的方式而言，本申请所提供数据传输系统100通过将Flume任务运行于Yarn中，可以简化Flume任务的部署和启动，基于Yarn可以对Flume任务资源的动态分配和管理，实现资源的高可用，使得Flume任务资源能够灵活、有效的运行。而手动部署方式中，部署人员要人工为每个Flume任务分配机器资源，然后编写Flume配置文件并手动启动Flume任务的进程。故对于一个规模较大的Flume任务集群，需要对多个Flume任务运行资源的进行分配及管理，这是一个复杂繁琐的工作，而且很不灵活。若是后期有新的Flume任务的加入或现有Flume任务的停止或某台服务器宕机等情况的发生，则都需要运维人员人工重新分配资源，不仅效率低下，还容易出错，造成负载不均衡的问题，不能使Flume任务有效的运行起来。
本发明实施例提供了一种数据传输方法，如图2所示，该方法可以应用于如图1所示的服务器中，包括：
步骤201：服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求。
这里，所述接收携带有日志收集系统Flume任务的配置参数的任务创建请求，可以是指服务器接收到终端通过Rest API发送的携带有日志收集系统Flume任务的配置参数的任务创建请求。所述终端可以是Web接口端；日志收集系统Flume任务可以是基于Flume的数据流资源的传输，其可以通过用户以访问浏览器的方式在Web接口端建立；Flume任务的配置参数可以是用户针对Flume任务所设置的资源参数，该资源参数包括Flume任务对应的Flume配置文件模板的类型，和该Flume配置文件模板中需要指定的针对Flume任务的Source、Channel、Sink的参数，以及Flume任务对资源的需求量，该资源需求量包括对运行Flume任务所需要的CPU核数、内存的需求，还可能包括Flume任务需要应用在Yarn中指定调度队列的信息等。所述任务创建请求可以是Flume任务应用于服务器的Yarn上的请求，其可以采用Json格式的形式进行传输，即所述服务器可以接收到Web接口端通过Rest API发送的以Json格式的形式传输的任务创建请求。
步骤202：根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数。
这里，资源管理器Yarn作为所述Flume任务的管理者，位于与服务器相同侧的服务端，其可以与服务器进行直接交互。所述根据所述任务创建请求向设置的Yarn发送启动请求信息可以是指服务器根据接收到的任务创建请求向同侧的Yarn发送启动请求信息，所述启动请求信息可以采用ProtoBuf协议进行传输，即所述服务器采用ProtoBuf协议向所述Yarn发送所述启动请求。其中，所述启动请求信息可以是指服务器向所述Yarn请求运行资源的指令信息。所述启动请求信息中携带有所述Flume任务的运行资源参数，所述Flume任务的运行资源参数包括所述Flume任务所需的资源需求，例如，所需运行内存container_memory、所需运行CPU核数container_vcores、指定队列名称queue_name等。
步骤203：获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
这里，所述Yarn包含一个全局的资源管理者ResourceManager(RM)、若干个应用程序管理者ApplicationMaster(AM)以及若干个代理节点NodeManager，所述RM与所述AM一起分配所述Flume任务给所述NodeManager，并一起与所述NodeManager启动和监视所述Flume任务的运行。
如图3所示，在步骤S203中，所述获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求可以包括以下步骤：
步骤301：所述RM接收所述服务器发送的请求运行资源的指令信息；
步骤302：所述RM根据所述指令信息向所述服务器发送响应信息；
这里，所述响应信息包括所述RM指定的代理节点(NodeManager)的信息，例如，所述NodeManager的名称。
步骤303：所述RM根据所述请求运行资源的指令信息为所述Flume任务分配AM，并向所述AM发送启动指令；
这里，所述AM是所述RM为所述指定NodeManager分配的，用来管理所述Flume任务在NodeManager上的资源分配情况。值得说明的是，一个Flume任务对应一个AM。
步骤304：所述服务器根据所述响应信息向指定NodeManager发送任务运行请求；
这里，服务器根据所述响应信息中指定的NodeManager的信息确定指定代理节点NodeManager。所述任务运行请求可以是指服务器要求在所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，其中，所述Flume任务的运行资源可以是指运行所述Flume任务所需的运行资源，包括运行所述Flume任务所需的运行环境、container等。
步骤305：所述AM根据所述NodeManager收到的任务运行请求向所述RM发送运行资源请求；
这里，所述运行资源请求携带运行所述Flume任务的资源量参数。
步骤306：所述RM发送针对所述运行资源请求的响应信息；
这里，所述响应信息包含除指定NodeManager之外的其他NodeManager的信息以及对应其他NodeManager信息所分配的资源量，所述资源量由所述资源量参数决定。
步骤307：所述AM根据所述响应信息确定其他NodeManager，并在所述其他NodeManager上为所述Flume任务分配资源量；然后，所述AM启动所述Flume任务。
本发明实施例提供的一种数据传输方法，通过接收携带有日志收集系统Flume任务的配置参数的任务创建请求；根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，如此，解决了Flume任务的部署和启动都靠手动完成而导致的资源分配不灵活，且Flume任务的资源分配需要进行人工计算导致的启动或停止Flume任务比较麻烦，效率低，且当Flume任务集群中有服务器宕机的情况出现，该服务器上的Flume任务随之丢失，影响数据的传输，以及人工管理Flume任务集群资源，使集群资源变得混乱，造成大面积的负载不均衡的问题，实现了通过Yarn对Flume任务资源的动态管理，使得Flume任务能够灵活、有效的运行。
作为另一种实施例，所述数据传输方法还包括：采集所述Flume任务在所述Yarn上的运行日志信息；其中，所述Flume任务的运行日志信息实时存储于对应的消息列队中；
周期性发送所述运行日志信息到指定终端。
这里，如图4所示，在所述Yarn上运行的每个所述Flume任务会不停的产生对应的运行日志信息log，所述运行日志信息log实时存储于对应的消息列队中，其中，所述消息列队可以为Kafka。所述采集所述Flume任务在所述Yarn上的运行日志信息可以是服务器采集所述Flume任务在所述Yarn上的运行日志信息。所述服务器作为Kafka的客户Consumer，订阅了所有Flume任务的Kafka Topic，用来实时收集所述Flume任务对应的运行日志信息log。所述周期性发送所述运行日志信息到指定终端可以所述服务器周期性发送所述运行日志信息到指定终端，若所述终端是Web接口端，则所述服务器通过Rest API将所述运行日志信息周期性发送给Web接口端，以供用户查看。
在本发明实施例中，通过采集所述Flume任务在所述Yarn上的运行日志信息，并周期性发送所述运行日志信息到指定终端，能够解决当某个Flume任务出现问题时，只能登录到该Flume任务对应的运行机器的响应目录下进行查看，不能迅速地排查线上问题的情况，实现了实时对Flume任务的运行日志信息进行实时查看的效果，方便线上问题的排查。
作为另一种实施例，所述数据传输方法还包括：
采集所述Flume任务在所述Yarn上的运行状态信息；其中，所述Flume任务的运行状态信息实时更新于对应的分布式应用程序协调服务节点中；
周期性发送所述运行状态信息到指定终端。
这里，如图5所示，在所述Yarn上运行的每个所述Flume任务，都会在对应的分布式应用程序协调服务器上注册一个节点，假设所述对应的分布式应用程序协调服务节点为Zookeeper，则每个所述Flume任务会周期性的将自己的运行状态更新到Zookeeper中。所述采集所述Flume任务在所述Yarn上的运行状态信息可以是指服务器采集所述Flume任务在所述Yarn上的运行状态信息。所述服务器注册了每个所述Flume任务对应的Zookeeper的Watcher，若Zookeeper的运行状态被更新，则所述服务器会第一时间感知所述Flume任务对应的新的运行状态信息。所述周期性发送所述运行状态信息到指定终端可以是服务器周期性发送所述运行状态信息到指定终端，假设所述指定终端为Web接口端，则所述服务器通过Rest API将每个所述Flume任务的运行状态信息发送给Web接口端，并且所述服务器会周期性的向Web接口端传送每个所述Flume任务的最新的运行状态信息。
在本发明实施例中，通过采集所述Flume任务在所述Yarn上的运行状态信息并周期性发送所述运行状态信息到指定终端，解决了只能靠Flume自身提供的rest接口逐个对Flume任务集群中的Flume任务的运行状态进行查看，导致效率十分低下的问题，实现了实时收集每个Flume任务的运行状态信息并实时显示的效果，方便了用户对Flume任务的运行状态的监控。
在另一实施例中，所述服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求之后，还包括：
服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，
当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径和传输文件名的日期属性，所述Flume配置文件携带有所述Flume任务的目的地址。
其中，所述服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件可以是指服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，具体可以为：
所述服务器解析所述Flume任务的配置参数，例如，所述服务器通过提取所述配置参数中的关键字来确定所述Flume任务的Flume配置文件，其中，所述关键字包括Flume配置文件模板的类型，和该配置文件模板对应的关于所述Flume任务的Source、Channel、Sink的参数等。由于在所述服务器中，事先存储了大量优化好的Flume配置文件模板，因此，所述服务器根据所述Flume配置文件模板的类型、该配置文件模板对应的关于所述Flume任务的源端Source、运行通道Channel、目的端Sink的参数与存储的大量的Flume配置文件模板进行匹配，从而生成与所述Flume任务对应的Flume配置文件。也就是说，所述Flume配置文件携带有所述Flume任务的目的存储地址。其中，所述目的存储地址可以是MapReduce、HBase、HDFS等。
其中，所述当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径和传输文件名的日期属性可以是指当所述Flume任务的目的地址为HDFS时，服务器根据所述Flume任务的目的地址更新所述Flume任务的传输路径和传输文件名的日期属性，可以包括：当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径最后一级目录中的日期格式和所述Flume任务的传输文件名的日期格式的表示方法，具体可以为：在所述HDFS中，将所述Flume任务的传输路径最后一级目录中的日期格式采用Java中SimpleDateFormat所表示的日期格式来替换HDFS中默认的运用正则表达式的方法所表示的日期格式，将所述Flume任务的传输文件名前缀部分中的日期格式也采用Java中SimpleDateFormat所表示的日期格式来替换HDFS中默认的运用正则表达式的方法所表示的日期格式。
另外，当所述Flume任务的目的地址为HDFS时，所述服务器还更改所述Flume任务的代码逻辑，所述更改所述Flume任务的代码逻辑具体可以是根据更新的所述Flume任务的传输路径最后一级目录中的日期格式和所述Flume任务的传输文件名的日期格式的表示方法对应更改所述Flume任务的代码逻辑。
通常情况下，Flume任务传输的末端都是HDFS，而当前Flume任务写入HDFS速度不够理想，经常造成数据源的数据堆积，以及Flume任务进程本身的僵死，影响了数据传输以及数据分析的及时性。
本发明实施例通过更新所述Flume任务的传输路径和传输文件名的日期属性，解决了Flume写入HDFS效率低的问题，极大地提高了Flume写入HDFS的效率，降低了Flume任务僵死的可能性，增强了Flume集群的健壮性。
在另一实施例中，所述根据所述任务创建请求向资源管理器Yarn发送启动请求信息，包括：
根据所述任务创建请求中的Flume任务的配置参数确定所述Flume任务的Flume资源需求信息；其中，所述Flume资源需求信息携带有运行所述Flume任务的资源需求参数以及Yarn的调度队列类型；
根据所述Flume资源需求信息确定所述Flume任务的运行环境；
根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息。
其中，所述根据所述Flume任务的配置参数确定所述Flume任务的Flume资源需求信息可以是指服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume资源需求信息，具体可以为：所述服务器解析所述Flume任务的配置参数，例如，所述服务器通过提取所述配置参数中的关键字来确定所述Flume任务的Flume资源需求信息，其中，所述关键字包括运行所述Flume任务的资源需求参数以及Yarn中调度队列的类型，因此，所述服务器根据所述运行所述Flume任务的资源需求参数以及Yarn中调度队列的类型生成所述Flume任务的Flume资源需求信息。
其中，所述Flume资源需求信息确定所述Flume任务的运行环境可以是指服务器根据所述Flume资源需求信息确定所述Flume任务的运行环境，具体可以为：服务器根据所述Flume资源需求信息准备所述Flume任务在Yarn上的运行环境，包括Environment、LocalFiles、以及Shell Command。其中Environment就是Flume在Yarn上运行的基本环境变量，包括Flume任务在运行需要访问的运行环境变量，Class Path等；Local Files主要包括Flume任务运行所需要的Jar包等，若所述Flume数据传输的目的端是HDFS，则还包括优化后的Jar包；Shell Command是启动Flume任务的shell启动命令，该命令中以参数形式指定了Flume任务运行的资源等，例如--container_memory指定运行内存，--container_vcores指定运行需要CPU核数，--queue_name指定队列名称。
其中，所述根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息可以是指服务器根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息，具体可以是指服务器根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn中的资源管理者RM发送启动请求信息。
本发明实施例通过介绍服务器在与Yarn进行交互前准备运行环境的具体过程，有利于实现所述Flume任务在Yarn上运行的稳定性。
如图6所示，本发明实施例还提供了另一种数据传输方法，所述方法可以应用于如图1中所示的终端，包括：
步骤601：向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求。
这里，所述向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求可以是终端通过Rest API向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求，其中，所述终端可以是web接口端，例如电脑、手机等。日志收集系统Flume任务可以是基于Flume的数据流资源的传输，其可以通过用户以访问浏览器的方式在所述Web接口端建立；Flume任务的配置参数可以是用户针对Flume任务所设置的资源参数，该资源参数包括Flume任务对应的Flume配置文件模板的类型，和该Flume配置文件模板中需要指定的针对Flume任务的Source、Channel、Sink的参数，以及Flume任务对资源的需求量，该资源需求量包括对运行Flume任务所需要的CPU核数、内存的需求，还可能包括Flume任务需要应用在Yarn中调度队列的信息等。其中，所述任务创建请求用于所述服务器在设置的资源管理器Yarn创建所述Flume任务，其可以采用Json的形式进行传输，即所述web接口端通过Rest API向服务器发送以Json形式传输的携带有日志收集系统Flume任务的配置参数的任务创建请求。
步骤602：接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
这里，所述接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息可以是web接口端接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息，具体可以为：web接口端通过RestAPI接收所述服务器发送的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息，并对所述运行日志信息和/或运行状态信息进行解析，以便于所述运行日志信息和/或运行状态信息能够在web接口端上对应的日志显示器和/或状态显示器上显示出来，使用户实时查看。
在本发明实施例中，通过向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求，以及接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息，如此，能够解决当某个Flume任务出现问题时，只能登录到该Flume任务对应的运行机器的响应目录下进行查看，不能迅速地排查线上问题的情况，实现了实时对Flume任务的运行日志信息进行实时查看的效果，方便线上问题的排查；并且，还可以解决只能靠Flume自身提供的rest接口逐个对Flume任务集群中的Flume任务的运行状态进行查看，导致效率十分低下的问题，实现了实时收集每个Flume任务的运行状态信息并实时显示的效果，方便了用户对Flume任务的运行状态的监控。
如图7所示，本发明实施例提供了一种数据传输装置700，包括：
调用模块701，用于接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
资源管理器Yarn交互模块702，用于根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；还用于获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
其中，所述数据传输装置700还包括：
日志采集模块703，用于采集所述Flume任务在所述Yarn上的运行日志信息；其中，所述Flume任务的运行日志信息实时存储于对应的消息列队中；还用于周期性发送所述运行日志信息到指定终端。
其中，所述数据传输装置700还包括：
状态收集模块704，用于采集所述Flume任务在所述Yarn上的运行状态信息；其中，所述Flume任务的运行状态信息实时更新于对应的分布式应用程序协调服务节点中；还用于周期性发送所述运行状态信息到指定终端。
其中，所述数据传输装置700还包括配置生成模块705，任务优化模块706，其中，
所述调用模块701，还用于接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
所述配置生成模块705用于根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，所述Flume配置文件携带有所述Flume任务的目的存储地址；
所述任务优化模块706，用于当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径和传输文件名的日期属性。
其中，所述Yarn交互模块702，还用于根据所述任务创建请求中的Flume任务的配置参数确定所述Flume任务的Flume资源需求信息；所述Flume资源需求信息携带有运行所述Flume任务的资源量参数以及Yarn中调度队列的类型；还用于根据所述Flume资源需求信息确定与所述Flume任务的运行环境；还用于根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息。
如图8所示，本发明实施例提供了另一种数据传输装置800，包括：
任务编辑模块801，用于向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求；其中，所述任务创建请求用于所述服务器在资源管理器Yarn创建所述Flume任务；
任务管理模块802，用于接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
其中，所述数据传输装置800，还包括：
日志显示模块803，用于显示所述Flume任务在所述Yarn上运行的对应运行日志信息；和/或，
状态收集模块804，还用于显示所述Flume任务在所述Yarn上运行的对应运行状态信息。
其中，所述数据传输装置800，还包括：
用户管理模块805，用于对编辑所述Flume任务的配置参数的用户进行用户名对应到所述Flume任务的管理。
如图9所述，本发明实施例还提供了一种服务器，所述服务器包括：第一处理器901和用于存储能够在所述第一处理器901上运行的计算机程序的第一存储器902；其中，所述第一处理器901并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置关系，在实际应用中，处理器的个数可以为一个或多个；同样，图9中示意的第一存储器902也是同样的含义，即仅用于指代存储器相对其他器件的位置关系，在实际应用中，存储器的个数可以为一个或多个。其中，所述第一处理器901用于运行所述计算机程序时，实现本发明任一实施例所述的应用于服务器的数据传输方法。
该服务器还包括：至少一个第一网络接口903。服务器中的各个组件通过第一总线系统904耦合在一起。可理解，第一总线系统904用于实现这些组件之间的连接通信。第一总线系统904除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为第一总线系统904。
其中，第一存储器902可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的第一存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的第一存储器902用于存储各种类型的数据以支持服务器的操作。这些数据的示例包括：用于在服务器上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
如图10所述，本发明实施例还提供了一种终端，所述终端包括：第二处理器1001和用于存储能够在所述第二处理器1001上运行的计算机程序的第二存储器1002；其中，所述第二处理器1001并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置关系，在实际应用中，处理器的个数可以为一个或多个；同样，图10中示意的第二存储器1002也是同样的含义，即仅用于指代存储器相对其他器件的位置关系，在实际应用中，存储器的个数可以为一个或多个。其中，所述第二处理器1001用于运行所述计算机程序时，实现本发明任一实施例所述的应用于终端的数据传输方法。
该终端还包括：至少一个第二网络接口1003。服务器中的各个组件通过第二总线系统1004耦合在一起。可理解，第二总线系统1004用于实现这些组件之间的连接通信。第二总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为第二总线系统1004。
其中，第二存储器1002可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read OnlyMemory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的第二存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的第二存储器1002用于存储各种类型的数据以支持服务器的操作。这些数据的示例包括：用于在服务器上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
本实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，上述计算机程序可由服务器中的第一处理器901或终端中的第二处理器1001执行，所述计算机程序被服务器中的第一处理器901执行时实现本发明任一实施例中应用于服务器的数据传输方法，或被终端102中的第二处理器1001执行时实现本发明任一实施例中应用于终端的数据传输方法。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如智能手机、平板电脑、笔记本电脑等。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种数据传输方法，其特征在于，包括：
服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；
获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
2.根据权利要求1所述的数据传输方法，其特征在于，还包括：
采集所述Flume任务在所述Yarn上的运行日志信息；其中，所述Flume任务的运行日志信息实时存储于对应的消息列队中；
周期性发送所述运行日志信息到指定终端。
3.根据权利要求1所述的数据传输方法，其特征在于，还包括：
采集所述Flume任务在所述Yarn上的运行状态信息；其中，所述Flume任务的运行状态信息实时更新于对应的分布式应用程序协调服务节点中；
周期性发送所述运行状态信息到指定终端。
4.根据权利要求1至3中任一项所述的数据传输方法，其特征在于，所述服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求之后，还包括：
服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径和传输文件名中的日期属性；其中，所述Flume配置文件携带有所述Flume任务的所述目的地址。
5.根据权利要求4所述的数据传输方法，其特征在于，所述根据所述任务创建请求向资源管理器Yarn发送启动请求信息，包括：
根据所述任务创建请求中的Flume任务的配置参数确定所述Flume任务的Flume资源需求信息；其中，所述Flume资源需求信息携带有运行所述Flume任务的资源量参数以及Yarn中调度队列的信息；
根据所述Flume资源需求信息确定所述Flume任务的运行环境；
根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息。
6.一种数据传输方法，其特征在于，包括：
向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求；其中，所述任务创建请求用于所述服务器在资源管理器Yarn创建所述Flume任务；
接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
7.一种数据传输装置，其特征在于，包括：
调用模块，用于接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
资源管理器Yarn交互模块，用于根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；还用于获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。
8.一种数据传输装置，其特征在于，包括：
任务编辑模块，用于向服务器发送携带有日志收集系统Flume任务的配置参数的任务创建请求；其中，所述任务创建请求用于所述服务器在资源管理器Yarn创建所述Flume任务；
任务管理模块，用于接收所述服务器返回的所述Flume任务在所述Yarn上运行的对应运行日志信息和/或运行状态信息。
9.一种服务器，其特征在于，包括：第一处理器和用于存储能够在所述第一处理器上运行的计算机程序的第一存储器；
其中，所述第一处理器用于运行所述计算机程序时，实现权利要求1至5中任一项所述的数据传输方法。
10.一种终端，其特征在于，包括：第二处理器和用于存储能够在所述第二处理器上运行的计算机程序的第二存储器；
其中，所述第二处理器用于运行所述计算机程序时，实现权利要求6所述的数据传输方法。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据传输方法。
12.一种数据传输系统，其特征在于，包括如权利要求9所述的服务器及如权利要求10所述的终端。
CN201910465536.3A 2019-05-30 2019-05-30 数据传输方法、装置、服务器、终端、系统及存储介质 Active CN112019362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910465536.3A CN112019362B (zh) 2019-05-30 2019-05-30 数据传输方法、装置、服务器、终端、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910465536.3A CN112019362B (zh) 2019-05-30 2019-05-30 数据传输方法、装置、服务器、终端、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112019362A true CN112019362A (zh) 2020-12-01
CN112019362B CN112019362B (zh) 2022-06-10

Family

ID=73500573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465536.3A Active CN112019362B (zh) 2019-05-30 2019-05-30 数据传输方法、装置、服务器、终端、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112019362B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067883A (zh) * 2021-03-31 2021-07-02 建信金融科技有限责任公司 数据传输方法、装置、计算机设备及存储介质
CN113938379A (zh) * 2021-09-29 2022-01-14 浪潮云信息技术股份公司 一种动态加载云平台日志采集配置的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836686A (zh) * 2015-05-11 2015-08-12 北京明略软件系统有限公司 一种生成服务器的配置文件的方法及装置
CN108512911A (zh) * 2018-03-15 2018-09-07 成都优易数据有限公司 一种基于Flume的分布式采集代理系统及其实现方法
CN108737467A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种服务器日志查看方法、装置和系统
CN109309585A (zh) * 2018-09-21 2019-02-05 郑州云海信息技术有限公司 一种日志收集方法、装置以及设备
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836686A (zh) * 2015-05-11 2015-08-12 北京明略软件系统有限公司 一种生成服务器的配置文件的方法及装置
CN108737467A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种服务器日志查看方法、装置和系统
CN108512911A (zh) * 2018-03-15 2018-09-07 成都优易数据有限公司 一种基于Flume的分布式采集代理系统及其实现方法
CN109309585A (zh) * 2018-09-21 2019-02-05 郑州云海信息技术有限公司 一种日志收集方法、装置以及设备
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067883A (zh) * 2021-03-31 2021-07-02 建信金融科技有限责任公司 数据传输方法、装置、计算机设备及存储介质
CN113938379A (zh) * 2021-09-29 2022-01-14 浪潮云信息技术股份公司 一种动态加载云平台日志采集配置的方法
CN113938379B (zh) * 2021-09-29 2024-06-04 浪潮云信息技术股份公司 一种动态加载云平台日志采集配置的方法

Also Published As

Publication number Publication date
CN112019362B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
US10171383B2 (en) Methods and systems for portably deploying applications on one or more cloud systems
US10171377B2 (en) Orchestrating computing resources between different computing environments
US10560544B2 (en) Data caching in a collaborative file sharing system
US20170063965A1 (en) Data transfer in a collaborative file sharing system
US8032588B2 (en) System and method for hosting one or more versions of a service using a service proxy
US9438665B1 (en) Scheduling and tracking control plane operations for distributed storage systems
CN111290828A (zh) 使用容器编排服务进行动态路由
CN110658794B (zh) 一种制造执行系统
US20150188789A1 (en) Monitoring for managed services
CN103430150A (zh) 在云计算系统中创建资源的技术
US10498817B1 (en) Performance tuning in distributed computing systems
EP2630576B1 (en) Goal state communication in computer clusters
CN106790131B (zh) 一种参数修改方法、装置及分布式平台
CN110769018A (zh) 一种消息推送方法及装置
CN112019362B (zh) 数据传输方法、装置、服务器、终端、系统及存储介质
CN115587118A (zh) 任务数据的维表关联处理方法及装置、电子设备
CN114900449B (zh) 一种资源信息管理方法、系统及装置
CN114553960A (zh) 一种数据缓存方法、装置、设备及存储介质
WO2019027597A1 (en) WORKFLOW MANAGEMENT FRAMEWORK
CN116325705A (zh) 边缘计算环境中的管理任务流
Tang et al. Application centric lifecycle framework in cloud
CN113204425A (zh) 供进程管理内部线程的方法、装置、电子设备及存储介质
CN114615268B (zh) 基于Kubernetes集群的服务网络、监控节点、容器节点及设备
US11803448B1 (en) Faster restart of task nodes using periodic checkpointing of data sources
CN114356718A (zh) 日志处理方法、介质、系统和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant