CN112769964A - 一种yarn支持混合运行时的方法 - Google Patents

一种yarn支持混合运行时的方法 Download PDF

Info

Publication number
CN112769964A
CN112769964A CN202110386215.1A CN202110386215A CN112769964A CN 112769964 A CN112769964 A CN 112769964A CN 202110386215 A CN202110386215 A CN 202110386215A CN 112769964 A CN112769964 A CN 112769964A
Authority
CN
China
Prior art keywords
server
data
data processing
yann
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110386215.1A
Other languages
English (en)
Other versions
CN112769964B (zh
Inventor
陈志民
万成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Red Net Technology Co ltd
Original Assignee
Jiangsu Red Net Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Red Net Technology Co ltd filed Critical Jiangsu Red Net Technology Co ltd
Priority to CN202110386215.1A priority Critical patent/CN112769964B/zh
Publication of CN112769964A publication Critical patent/CN112769964A/zh
Application granted granted Critical
Publication of CN112769964B publication Critical patent/CN112769964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种yarn支持混合运行时的方法,包括构建数据处理服务器集群,容器设置，系统设置，系统运行及系统修整等五个步骤。本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业的成本。

Description

一种yarn支持混合运行时的方法
技术领域
本发明涉及一种yarn支持混合运行时的方法，属计算机技术领域。
背景技术
目前随着大数据、云计算等网络技术发展的需要，为了满足不同资源处理作业的需要和提高数据资源处理作业效率的目的，往往需要通过多个Hadoop集群进行不同业务处理作业，虽然当前的数据处理系统及方法可以一定程度上满足使用的需要，但在运行过程中一方面存在系统构成结构复杂、系统构建及维护作业难度及劳动强度大，且运行成本相对较高；另一方面各Hadoop集群运行时往往均需要配置相应的硬件系统进行支撑，在进一步导致当前系统运行和维护成本较高的同时，也造成了在数据处理高峰时硬件资源分配紧张，在增加系统运行成本的同时，也导致数据处理运行作业效率受到极大影响，而在系统空闲阶段时，极易造成大量硬件设备资源处于闲置状态，从而造成了大量的资源浪费，因此当前的数据处理系统在运行时存在较大不足，在影响数据处理运行效率的同时，也导致了大量资源浪费，进一步增加了系统运行成本。
此外，当前的数据处理系统在运行中，针对不同类型的数据，往往需要工作人员手动或利用专用的程序对相应数据进行处理作业，从而进一步导致了数据处理效率低下，且数据处理自动化和智能化程度低下，同时也导致了在进行数据协调处理需要时占用大量的资源，进一步增加了系统运行成本。
针对这一问题，迫切需要开发一种全新的数据处理方法及系统，以满足实际工作的需要。
发明内容
针对现有技术上存在的不足，本发明提供一种yarn支持混合运行时的方法，以克服现有同类系统运行的不足，满足实际使用的需要。
为了达到上述目的，本发明提供如下技术方案：
一种yarn支持混合运行时的方法,包括以下步骤:
S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能通讯网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；
S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；
S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、Hadoop底层操控系统，并使基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及Hadoop底层操控系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即可完成系统配置；
S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对数据进行运行展示，并对接受的数据特点、数据所占用资源量进行评估，并根据数据特点及各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中。
S5，系统修整，在S步骤运行过程中，同步通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成相应特点数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续同类特征数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和简化数据处理时硬件资源占用量。
进一步的，所述的S1步骤中，数据处理服务器集群中包括数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。
进一步的，根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：所述的S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基于LSTM的智能预测系统的深度学习神经网络系统。
进一步的，所述的S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占独立数据存储空间中资源量80%—100%。
进一步的，所述的S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由Hadoop底层操控系统驱动基于zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协调服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类别数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行监控。
进一步的，所述的S3步骤，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、Hadoop底层操控系统、资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统、基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群子系统，其中所述前后台tomcat服务器主系统、Hadoop底层操控系统相互连接，且前后台tomcat服务器主系统、Hadoop底层操控系统通过基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统均嵌于hadoop集群子系统中。
进一步的，所述的虚拟换服务器子系统另与前后台tomcat服务器主系统、Hadoop底层操控系统建立数据连接。
进一步的，所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。
本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明运行处理方法流程图；
图2为本发明系统构成结构示意图。
具体实施方式
下面将结合本发明的附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种yarn支持混合运行时的方法,包括以下步骤:
S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能通讯网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；
S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；
S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、Hadoop底层操控系统，并使基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及Hadoop底层操控系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即可完成系统配置；
S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对数据进行运行展示，并对接受的数据特点、数据所占用资源量进行评估，并根据数据特点及各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中。
S5，系统修整，在S5步骤运行过程中，同步通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成相应特点数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续同类特征数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和简化数据处理时硬件资源占用量。
本实施例中，所述的S1步骤中，数据处理服务器集群中包括数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。
值得注意的，所述的S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基于LSTM的智能预测系统的深度学习神经网络系统。
此外，所述的S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占独立数据存储空间中资源量80%—100%。
重点说明的，所述的S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由Hadoop底层操控系统驱动基于zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协调服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类别数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行监控。
如图2所示，所述的S3步骤，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、Hadoop底层操控系统、资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统、基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群子系统，其中所述前后台tomcat服务器主系统、Hadoop底层操控系统相互连接，且前后台tomcat服务器主系统、Hadoop底层操控系统通过基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统均嵌于hadoop集群子系统中。
同时，所述的虚拟换服务器子系统另与前后台tomcat服务器主系统、Hadoop底层操控系统建立数据连接。
此外，所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。
本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业的成本。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种yarn支持混合运行时的方法, 其特征在于：包括以下步骤:
S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能通讯网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；
S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟换服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；
S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、Hadoop底层操控系统，并使基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及Hadoop底层操控系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即可完成系统配置；
S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对数据进行运行展示，并对接受的数据特点、数据所占用资源量进行评估，并根据数据特点及各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中；
S5，系统修整，在S4步骤运行过程中，同步通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成相应特点数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续同类特征数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和简化数据处理时硬件资源占用量。
2.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于： S1步骤中，所述数据处理服务器集群中数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。
3.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于： S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基于LSTM的智能预测系统的深度学习神经网络系统。
4.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于： S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占独立数据存储空间中资源量80%—100%。
5.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于： S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由Hadoop底层操控系统驱动基于zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协调服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类别数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行监控。
6.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于： S3步骤中，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、Hadoop底层操控系统、资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统、基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群子系统，其中所述前后台tomcat服务器主系统、Hadoop底层操控系统相互连接，且前后台tomcat服务器主系统、Hadoop底层操控系统通过基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟换服务器子系统均嵌于hadoop集群子系统中。
7.根据权利要求6所述的一种yarn支持混合运行时的方法，其特征在于：所述的虚拟换服务器子系统另与前后台tomcat服务器主系统、Hadoop底层操控系统建立数据连接。
8.根据权利要求6所述的一种yarn支持混合运行时的方法，其特征在于：所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。
CN202110386215.1A 2021-04-12 2021-04-12 一种yarn支持混合运行时的方法 Active CN112769964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110386215.1A CN112769964B (zh) 2021-04-12 2021-04-12 一种yarn支持混合运行时的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110386215.1A CN112769964B (zh) 2021-04-12 2021-04-12 一种yarn支持混合运行时的方法

Publications (2)

Publication Number Publication Date
CN112769964A true CN112769964A (zh) 2021-05-07
CN112769964B CN112769964B (zh) 2021-07-02

Family

ID=75691433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110386215.1A Active CN112769964B (zh) 2021-04-12 2021-04-12 一种yarn支持混合运行时的方法

Country Status (1)

Country Link
CN (1) CN112769964B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271233A (zh) * 2018-07-25 2019-01-25 上海数耕智能科技有限公司 基于Kubernetes组建Hadoop集群的实现方法
CN110362381A (zh) * 2019-06-21 2019-10-22 深圳市汇川技术股份有限公司 Hdfs集群高可用部署方法、系统、设备及存储介质
US10719508B2 (en) * 2018-04-19 2020-07-21 Risk Management Solutions, Inc. Data storage system for providing low latency search query responses

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719508B2 (en) * 2018-04-19 2020-07-21 Risk Management Solutions, Inc. Data storage system for providing low latency search query responses
CN109271233A (zh) * 2018-07-25 2019-01-25 上海数耕智能科技有限公司 基于Kubernetes组建Hadoop集群的实现方法
CN110362381A (zh) * 2019-06-21 2019-10-22 深圳市汇川技术股份有限公司 Hdfs集群高可用部署方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112769964B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN112698925B (zh) 一种服务器集群的容器混合运行处理方法
CN109766172B (zh) 一种异步任务调度方法以及装置
CN113627792B (zh) 无人车的调度管理方法、装置、设备、存储介质及程序
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN105491150A (zh) 基于时间序列的负载均衡处理方法及系统
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN103561428A (zh) 短信网关集群系统中的节点弹性分配方法及系统
CN109936471B (zh) 一种多集群的资源分配方法和装置
CN111932099A (zh) 营销业务管理系统及营销业务管理方法
CN115658311A (zh) 一种资源的调度方法、装置、设备和介质
CN103067486A (zh) 基于PaaS平台的大数据处理方法
CN115860300A (zh) 车辆的换电调度方法、装置、电子设备及存储介质
CN111783053A (zh) 一种交互式统一大数据编程计算平台
CN116010064A (zh) Dag作业调度和集群管理的方法、系统及装置
CN114860425A (zh) 一种基于云资源下的服务云平台
CN113242304B (zh) 边缘侧多能源数据采集调度控制方法、装置、设备和介质
CN111258760A (zh) 一种平台管理方法、系统、装置及存储介质
CN106936905B (zh) 基于openstack的Nova组件虚拟机的调度方法及其调度系统
CN110879753B (zh) 基于自动化集群资源管理的gpu加速性能优化方法和系统
CN112769964B (zh) 一种yarn支持混合运行时的方法
CN117439885A (zh) 一种基于服务网格的Kubernetes容器调度方法及系统
CN113032093A (zh) 分布式计算方法、装置及平台
CN117112171A (zh) 一种基于智能感知的业务在线协同迁移方法
CN115460659B (zh) 用于带宽调节的无线通信数据分析系统
CN113888028A (zh) 巡视任务分配方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant