CN109639791A - 一种容器环境下云工作流调度方法及系统 - Google Patents

一种容器环境下云工作流调度方法及系统 Download PDF

Info

Publication number
CN109639791A
CN109639791A CN201811487860.7A CN201811487860A CN109639791A CN 109639791 A CN109639791 A CN 109639791A CN 201811487860 A CN201811487860 A CN 201811487860A CN 109639791 A CN109639791 A CN 109639791A
Authority
CN
China
Prior art keywords
container
module
mirror image
data
cloud workflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811487860.7A
Other languages
English (en)
Inventor
崔得龙
彭志平
钟积海
李启锐
何杰光
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN201811487860.7A priority Critical patent/CN109639791A/zh
Publication of CN109639791A publication Critical patent/CN109639791A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于容器环境下云工作流调度技术领域，公开了一种容器环境下云工作流调度方法及系统，容器环境下云工作流调度系统包括：资源获取模块、容器性能监控模块、主控模块、资源分配模块、数据镜像优化模块、分配报告模块、数据存储模块、显示模块。本发明通过容器性能监控模块既能简便地监控服务器的性能同时又能监控到容器性能，而且能产生错误警告，并且能将参数直观地通过图和表格的形式展现出来的方法；同时，通过数据镜像优化模块使得镜像在打包发布之后依然能够保证良好的再编辑性；支持现有Docker的所有文件驱动，通过将本地镜像先容器化，删减处理之后再导出，因而不依赖于特定文件驱动。

Description

一种容器环境下云工作流调度方法及系统
技术领域
本发明属于容器环境下云工作流调度技术领域，尤其涉及一种容器环境下云工作流调度方法及系统。
背景技术
云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。“云计算”(CloudComputing)是分布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展，或者说是这些计算机科学概念的商业实现。许多跨国信息技术行业的公司如IBM、Yahoo和Google等正在使用云计算的概念兜售自己的产品和服务。然而，
综上所述，现有技术存在的问题是：
现有容器性能监控工具不能全面地监控到整个服务器的信息，并且能产生错误警告；同时，由于镜像包含了整个运行环境，导致镜像的体积往往很大，在发布的过程中会产生较大的磁盘和网络I/O开销，同时也限制了镜像的使用灵活性，与容器技术的精简、便捷的设计初衷相违背，甚至加大了整个系统的部署难度。因此，对于过于庞大和冗余的镜像包的删减工作就显得尤为重要。
发明内容
针对现有技术存在的问题，本发明提供了一种容器环境下云工作流调度方法及系统。
本发明是这样实现的，一种容器环境下云工作流调度方法，所述容器环境下云工作流调度方法包括：
步骤一，通过资源获取模块利用调度器从每个物理资源节点上获取剩余资源情况；
步骤二，通过容器性能监控模块利用监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
步骤三，主控模块通过资源分配模块利用调度器将这些资源汇总之后进行资源的分配；
步骤四，通过数据镜像优化模块利用删减程序对容器镜像冗余数据进行删减优化操作；通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；
步骤五，通过数据存储模块利用存储器存储容器环境下云工作流调度数据；并通过显示模块利用显示器显示容器性能监测数据信息。
进一步，所述容器性能监控模块监控方法包括：
(1)配置服务器监控平台用于监控服务器性能，通过监控平台的代理服务端采集服务器的性能参数；
(2)通过监控平台服务端收集其代理服务端发送来的性能参数，转存入对应的Mysql数据库中；
(3)根据用户的设置生成警告机制；
(4)配置容器性能监控平台用于监控容器性能，容器性能监控平台通过dockerstats的方式获取容器性能参数；
(5)容器性能监控平台将从容器获取到的性能参数转存储到已经连接的Influxdb数据库中；
(6)配置Grafana显示平台，用于集成服务器性能参数和容器性能参数；
(7)Grafana显示平台接收数据源发送来的数据，并且集成到同一个dashboard中通过图或者表格的形式显示出来，通过服务器性能参数和容器性能参数的对比数据的差别，选择合适的资源调度的算法。
进一步，所述步骤(7)具体包括:
选择相应的数据源，分别对应服务器性能参数和容器性能参数；
通过编写sql语句来指定dashboard所获取的数据内容以及呈现形式如图或表；
将服务器性能参数和容器性能参数集成到同一张图或者表中，进行对比，具体而言，分为两种情况，第一种情况，假设一个容器申请了服务器20％的资源，容器自身的cpu使用率和内存使用率分别为30％和40％，当该容器内开始一个任务时，cpu使用率和内存使用率升为50％和60％，均上升20％，若20％*20％等于服务器cpu使用率和内存使用率的变化量，则只需考虑任务进行的效率，选择任务分配算法即可；第二种情况，若所述的20％*20％和服务器cpu使用率和内存使用率的变化量相差很大，则需要考虑容器资源的分配的算法和任务的分配算法。
进一步，所述数据镜像优化模块优化方法包括：
1)运行本地镜像分析器，对本地镜像存储情况进行检索，若本地没有保存镜像，则执行步骤2)，若本地已存有镜像，则执行步骤3)；
2)此时，对于新导入本地的镜像只进行分析，将新导入的镜像大小，基础镜像层大小、镜像各层SHA-256摘要值保存至本地；
3)若本地已存有镜像，检查本地保存镜像的个数，若超过20个镜像，本地镜像分析器会对所有镜像的基础镜像进行检查，通过基础镜像层共享计算方法，选取比例值最大的作为共享基础镜像层，并保存其中所包含的文件绝对路径、大小和MD5值，形成基础镜像文件指纹库；
4)选定共享镜像层后，对于以后所有新加入的镜像，都会先分析其基础镜像的SHA256摘要值，并与共享镜像层的SHA-256摘要值进行比对，若一致则可直接存入本地，无需进行修改；若不一致则执行步骤5)；
5)本地存储模块会对新加入的镜像进行分析，取得其中所包含的文件的MD5摘要值，并与文件指纹库中的摘要值进行比对，剔除所有重复部分，使用选定的共享基础镜像和剩余部分重新生成一个新的镜像；
所述的镜像导出模式包括下列步骤：
R1、当有镜像需要被导出时，执行镜像按需动态导出方法，根据要导出镜像的名称定位该镜像的文件访问信息表，若可以定位到目标表则执行步骤R2，否则，执行步骤R3；
R2、镜像内文件访问信息收集，在生成容器时，导入一个文件访问探针，实时收集容器在运行过程中访问到的文件，并以文本形式记录，制成文件访问信息表，为步骤R3中镜像导出提供依据；
R3、读取文件访问信息表，获取导出镜像的文件访问信息表，建立镜像导出文件预测模型，进而得到在镜像运行时依赖的相关文件，并将这些文件导出制成新镜像。
进一步，通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；具体包括：
步骤一，令待选容器的集合为选择容器节点
步骤二，计算PT与每个容器节点r构成的链路的信噪比并得到其中表示容器对信号sp的解码向量，gPT,r表示PT到容器节点的信道向量；
步骤三，计算容器节点的待选集合与PR构成的链路的信噪比其中
步骤四，比较与的大小；
步骤五，若选择能够获得最大的端到端频谱效率的单容器ropt；
步骤六，若选择两个容器SR1和ST2；获得不同容器环境下云工作流调度信息。
本发明的另一目的在于提供一种实现所述容器环境下云工作流调度方法的计算机程序。
本发明的另一目的在于提供一种终端，所述终端至少搭载实现所述容器环境下云工作流调度方法的控制器。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的容器环境下云工作流调度方法。
本发明的另一目的在于提供一种容器环境下云工作流调度系统，所述容器环境下云工作流调度系统包括：
资源获取模块，与主控模块连接，用于通过调度器从每个物理资源节点上获取剩余资源情况；
容器性能监控模块，与主控模块连接，用于通过监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
主控模块，与资源获取模块、容器性能监控模块、资源分配模块、数据镜像优化模块、分配报告模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；
资源分配模块，与主控模块连接，用于通过调度器将这些资源汇总之后进行资源的分配；
数据镜像优化模块，与主控模块连接，用于通过删减程序对容器镜像冗余数据进行删减优化操作；
分配报告模块，与主控模块连接，用于通过统计程序统计容器环境下云工作流调度详细报告；
数据存储模块，与主控模块连接，用于通过存储器存储容器环境下云工作流调度数据；
显示模块，与主控模块连接，用于通过显示器显示容器性能监测数据信息。
本发明的另一目的在于提供一种搭载所述容器环境下云工作流调度系统的互联网云工作流调度网站。
本发明的优点及积极效果为：
本发明通过容器性能监控模块既能简便地监控服务器的性能同时又能监控到容器性能，而且能产生错误警告，并且能将参数直观地通过图和表格的形式展现出来的方法；同时，通过数据镜像优化模块有效地降低镜像在本地存储时所占用的磁盘空间，同时也大大减小了导出的镜像的大小，便于镜像的发布和移植；在减小镜像大小的同时，通过导出模型的建立，保证删减后的镜像有较好的可靠性和可维护性，使得镜像在打包发布之后依然能够保证良好的再编辑性；支持现有Docker的所有文件驱动，通过将本地镜像先容器化，删减处理之后再导出，因而不依赖于特定文件驱动。
本发明通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；包括：令待选容器的集合为选择容器节点计算PT与每个容器节点r构成的链路的信噪比并得到其中表示容器对信号sp的解码向量，gPT,r表示PT到容器节点的信道向量；计算容器节点的待选集合与PR构成的链路的信噪比其中 比较与的大小；
若选择能够获得最大的端到端频谱效率的单容器ropt；若选择两个容器SR1和ST2；获得不同容器环境下云工作流调度信息。可以提高授权数据传输的频谱效率。
附图说明
图1是本发明实施例提供的容器环境下云工作流调度方法流程图。
图2是本发明实施例提供的容器环境下云工作流调度系统结构框图。
图中：1、资源获取模块；2、容器性能监控模块；3、主控模块；4、资源分配模块；5、数据镜像优化模块；6、分配报告模块；7、数据存储模块；8、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明提供的容器环境下云工作流调度方法包括以下步骤：
S101，通过资源获取模块利用调度器从每个物理资源节点上获取剩余资源情况；
S102，通过容器性能监控模块利用监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
S103，主控模块通过资源分配模块利用调度器将这些资源汇总之后进行资源的分配；
S104，通过数据镜像优化模块利用删减程序对容器镜像冗余数据进行删减优化操作；通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；
S105，通过数据存储模块利用存储器存储容器环境下云工作流调度数据；并通过显示模块利用显示器显示容器性能监测数据信息。
如图2所示，本发明实施例提供的容器环境下云工作流调度系统包括：资源获取模块1、容器性能监控模块2、主控模块3、资源分配模块4、数据镜像优化模块5、分配报告模块6、数据存储模块7、显示模块8。
资源获取模块1，与主控模块3连接，用于通过调度器从每个物理资源节点上获取剩余资源情况；
容器性能监控模块2，与主控模块3连接，用于通过监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
主控模块3，与资源获取模块1、容器性能监控模块2、资源分配模块4、数据镜像优化模块5、分配报告模块6、数据存储模块7、显示模块8连接，用于通过单片机控制各个模块正常工作；
资源分配模块4，与主控模块3连接，用于通过调度器将这些资源汇总之后进行资源的分配；
数据镜像优化模块5，与主控模块3连接，用于通过删减程序对容器镜像冗余数据进行删减优化操作；
分配报告模块6，与主控模块3连接，用于通过统计程序统计容器环境下云工作流调度详细报告；
数据存储模块7，与主控模块3连接，用于通过存储器存储容器环境下云工作流调度数据；
显示模块8，与主控模块3连接，用于通过显示器显示容器性能监测数据信息。
本发明提供的容器性能监控模块2监控方法如下：
(1)配置服务器监控平台用于监控服务器性能，通过监控平台的代理服务端采集服务器的性能参数；
(2)通过监控平台服务端收集其代理服务端发送来的性能参数，转存入对应的Mysql数据库中；
(3)根据用户的设置生成警告机制；
(4)配置容器性能监控平台用于监控容器性能，容器性能监控平台通过dockerstats的方式获取容器性能参数；
(5)容器性能监控平台将从容器获取到的性能参数转存储到已经连接的Influxdb数据库中；
(6)配置Grafana显示平台，用于集成服务器性能参数和容器性能参数；
(7)Grafana显示平台接收数据源发送来的数据，并且集成到同一个dashboard中通过图或者表格的形式显示出来，通过服务器性能参数和容器性能参数的对比数据的差别，选择合适的资源调度的算法。
本发明提供的步骤(7)具体包括:
选择相应的数据源，分别对应服务器性能参数和容器性能参数；
通过编写sql语句来指定dashboard所获取的数据内容以及呈现形式如图或表；
将服务器性能参数和容器性能参数集成到同一张图或者表中，进行对比，具体而言，分为两种情况，第一种情况，假设一个容器申请了服务器20％的资源，容器自身的cpu使用率和内存使用率分别为30％和40％，当该容器内开始一个任务时，cpu使用率和内存使用率升为50％和60％，均上升20％，若20％*20％等于服务器cpu使用率和内存使用率的变化量，则只需考虑任务进行的效率，选择任务分配算法即可；第二种情况，若所述的20％*20％和服务器cpu使用率和内存使用率的变化量相差很大，则需要考虑容器资源的分配的算法和任务的分配算法。
本发明提供的数据镜像优化模块5优化方法如下：
1)运行本地镜像分析器，对本地镜像存储情况进行检索，若本地没有保存镜像，则执行步骤2)，若本地已存有镜像，则执行步骤3)；
2)此时，对于新导入本地的镜像只进行分析，将新导入的镜像大小，基础镜像层大小、镜像各层SHA-256摘要值保存至本地；
3)若本地已存有镜像，检查本地保存镜像的个数，若超过20个镜像，本地镜像分析器会对所有镜像的基础镜像进行检查，通过基础镜像层共享计算方法，选取比例值最大的作为共享基础镜像层，并保存其中所包含的文件绝对路径、大小和MD5值，形成基础镜像文件指纹库；
4)选定共享镜像层后，对于以后所有新加入的镜像，都会先分析其基础镜像的SHA256摘要值，并与共享镜像层的SHA-256摘要值进行比对，若一致则可直接存入本地，无需进行修改；若不一致则执行步骤5)；
5)本地存储模块会对新加入的镜像进行分析，取得其中所包含的文件的MD5摘要值，并与文件指纹库中的摘要值进行比对，剔除所有重复部分，使用选定的共享基础镜像和剩余部分重新生成一个新的镜像；
本发明提供的镜像导出模式包括下列步骤：
R1、当有镜像需要被导出时，执行镜像按需动态导出方法，根据要导出镜像的名称定位该镜像的文件访问信息表，若可以定位到目标表则执行步骤R2，否则，执行步骤R3；
R2、镜像内文件访问信息收集，在生成容器时，导入一个文件访问探针，实时收集容器在运行过程中访问到的文件，并以文本形式记录，制成文件访问信息表，为步骤R3中镜像导出提供依据；
R3、读取文件访问信息表，获取导出镜像的文件访问信息表，建立镜像导出文件预测模型，进而得到在镜像运行时依赖的相关文件，并将这些文件导出制成新镜像。
本发明实施例提供的分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；具体包括：
步骤一，令待选容器的集合为选择容器节点
步骤二，计算PT与每个容器节点r构成的链路的信噪比并得到其中表示容器对信号sp的解码向量，gPT,r表示PT到容器节点的信道向量；
步骤三，计算容器节点的待选集合与PR构成的链路的信噪比其中
步骤四，比较与的大小；
步骤五，若选择能够获得最大的端到端频谱效率的单容器ropt；
步骤六，若选择两个容器SR1和ST2；
步骤五中，若选择能够获得最大的端到端频谱效率的单容器ropt；在第一阶段，授权用户发射端PT以功率广播消息sp，认知用户ST1以功率向SR1发送数据s1；若选择的容器节点为SR1，SR1分别恢复出sp与s1；若选择的容器节点为ST2，ST2对sp接收，SR1对s1接收；在第二阶段，ropt以功率向PR转发授权用户数据sp，ST2以功率向SR2发送数据s2，ropt协助主用户数据传输的发射功率计算如下，
其中，表示容器节点ropt转发sp前对信号进行预编码的预编码向量。
步骤六中，若选择两个容器SR1和ST2；在第一阶段，授权用户发射端PT以发送功率向认知用户广播消息sp，认知用户ST1以功率向SR1发送数据s1，ST2恢复sp并消除来自ST1的干扰，SR1分别恢复出sp与s1，SR2对sp接收；在第二阶段，SR1与ST2分别以功率和向PR转发授权用户数据sp，ST2以功率向SR2发送数据s2，SR2需要消除来自SR1与ST2的干扰，ST2设计发送方式，使其发送s2对PR不产生干扰；SR1和ST2协助主用户数据传输的总功率计算如下：
每个容器用于授权数据传输的功率为
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种容器环境下云工作流调度方法，其特征在于，所述容器环境下云工作流调度方法包括：
步骤一，通过资源获取模块利用调度器从每个物理资源节点上获取剩余资源情况；
步骤二，通过容器性能监控模块利用监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
步骤三，主控模块通过资源分配模块利用调度器将这些资源汇总之后进行资源的分配；
步骤四，通过数据镜像优化模块利用删减程序对容器镜像冗余数据进行删减优化操作；通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；
步骤五，通过数据存储模块利用存储器存储容器环境下云工作流调度数据；并通过显示模块利用显示器显示容器性能监测数据信息。
2.如权利要求1所述的容器环境下云工作流调度方法，其特征在于，所述容器性能监控模块监控方法包括：
(1)配置服务器监控平台用于监控服务器性能，通过监控平台的代理服务端采集服务器的性能参数；
(2)通过监控平台服务端收集其代理服务端发送来的性能参数，转存入对应的Mysql数据库中；
(3)根据用户的设置生成警告机制；
(4)配置容器性能监控平台用于监控容器性能，容器性能监控平台通过dockerstats的方式获取容器性能参数；
(5)容器性能监控平台将从容器获取到的性能参数转存储到已经连接的Influxdb数据库中；
(6)配置Grafana显示平台，用于集成服务器性能参数和容器性能参数；
(7)Grafana显示平台接收数据源发送来的数据，并且集成到同一个dashboard中通过图或者表格的形式显示出来，通过服务器性能参数和容器性能参数的对比数据的差别，选择合适的资源调度的算法。
3.如权利要求2所述的容器环境下云工作流调度方法，其特征在于，所述步骤(7)具体包括:
选择相应的数据源，分别对应服务器性能参数和容器性能参数；
通过编写sql语句来指定dashboard所获取的数据内容以及呈现形式如图或表；
将服务器性能参数和容器性能参数集成到同一张图或者表中，进行对比，具体而言，分为两种情况，第一种情况，假设一个容器申请了服务器20％的资源，容器自身的cpu使用率和内存使用率分别为30％和40％，当该容器内开始一个任务时，cpu使用率和内存使用率升为50％和60％，均上升20％，若20％*20％等于服务器cpu使用率和内存使用率的变化量，则只需考虑任务进行的效率，选择任务分配算法即可；第二种情况，若所述的20％*20％和服务器cpu使用率和内存使用率的变化量相差很大，则需要考虑容器资源的分配的算法和任务的分配算法。
4.如权利要求1所述的容器环境下云工作流调度方法，其特征在于，所述数据镜像优化模块优化方法包括：
1)运行本地镜像分析器，对本地镜像存储情况进行检索，若本地没有保存镜像，则执行步骤2)，若本地已存有镜像，则执行步骤3)；
2)此时，对于新导入本地的镜像只进行分析，将新导入的镜像大小，基础镜像层大小、镜像各层SHA-256摘要值保存至本地；
3)若本地已存有镜像，检查本地保存镜像的个数，若超过20个镜像，本地镜像分析器会对所有镜像的基础镜像进行检查，通过基础镜像层共享计算方法，选取比例值最大的作为共享基础镜像层，并保存其中所包含的文件绝对路径、大小和MD5值，形成基础镜像文件指纹库；
4)选定共享镜像层后，对于以后所有新加入的镜像，都会先分析其基础镜像的SHA256摘要值，并与共享镜像层的SHA-256摘要值进行比对，若一致则可直接存入本地，无需进行修改；若不一致则执行步骤5)；
5)本地存储模块会对新加入的镜像进行分析，取得其中所包含的文件的MD5摘要值，并与文件指纹库中的摘要值进行比对，剔除所有重复部分，使用选定的共享基础镜像和剩余部分重新生成一个新的镜像；
所述的镜像导出模式包括下列步骤：
R1、当有镜像需要被导出时，执行镜像按需动态导出方法，根据要导出镜像的名称定位该镜像的文件访问信息表，若可以定位到目标表则执行步骤R2，否则，执行步骤R3；
R2、镜像内文件访问信息收集，在生成容器时，导入一个文件访问探针，实时收集容器在运行过程中访问到的文件，并以文本形式记录，制成文件访问信息表，为步骤R3中镜像导出提供依据；
R3、读取文件访问信息表，获取导出镜像的文件访问信息表，建立镜像导出文件预测模型，进而得到在镜像运行时依赖的相关文件，并将这些文件导出制成新镜像。
5.如权利要求1所述的容器环境下云工作流调度方法，其特征在于，通过分配报告模块利用统计程序统计容器环境下云工作流调度详细报告；具体包括：
步骤一，令待选容器的集合为选择容器节点
步骤二，计算PT与每个容器节点r构成的链路的信噪比并得到其中表示容器对信号sp的解码向量，gPT,r表示PT到容器节点的信道向量；
步骤三，计算容器节点的待选集合与PR构成的链路的信噪比其中
步骤四，比较与的大小；
步骤五，若选择能够获得最大的端到端频谱效率的单容器ropt；
步骤六，若选择两个容器SR1和ST2；获得不同容器环境下云工作流调度信息。
6.一种实现权利要求1～5任意一项所述容器环境下云工作流调度方法的计算机程序。
7.一种终端，其特征在于，所述终端至少搭载实现权利要求1～5任意一项所述容器环境下云工作流调度方法的控制器。
8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的容器环境下云工作流调度方法。
9.一种容器环境下云工作流调度系统，其特征在于，所述容器环境下云工作流调度系统包括：
资源获取模块，与主控模块连接，用于通过调度器从每个物理资源节点上获取剩余资源情况；
容器性能监控模块，与主控模块连接，用于通过监测程序对云环境下的服务器性能以及节点上的容器性能进行监测；
主控模块，与资源获取模块、容器性能监控模块、资源分配模块、数据镜像优化模块、分配报告模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；
资源分配模块，与主控模块连接，用于通过调度器将这些资源汇总之后进行资源的分配；
数据镜像优化模块，与主控模块连接，用于通过删减程序对容器镜像冗余数据进行删减优化操作；
分配报告模块，与主控模块连接，用于通过统计程序统计容器环境下云工作流调度详细报告；
数据存储模块，与主控模块连接，用于通过存储器存储容器环境下云工作流调度数据；
显示模块，与主控模块连接，用于通过显示器显示容器性能监测数据信息。
10.一种搭载权利要求9所述容器环境下云工作流调度系统的互联网云工作流调度网站。
CN201811487860.7A 2018-12-06 2018-12-06 一种容器环境下云工作流调度方法及系统 Pending CN109639791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811487860.7A CN109639791A (zh) 2018-12-06 2018-12-06 一种容器环境下云工作流调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811487860.7A CN109639791A (zh) 2018-12-06 2018-12-06 一种容器环境下云工作流调度方法及系统

Publications (1)

Publication Number Publication Date
CN109639791A true CN109639791A (zh) 2019-04-16

Family

ID=66071762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811487860.7A Pending CN109639791A (zh) 2018-12-06 2018-12-06 一种容器环境下云工作流调度方法及系统

Country Status (1)

Country Link
CN (1) CN109639791A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698914A (zh) * 2020-12-30 2021-04-23 北京理工大学 一种工作流任务容器生成系统及方法
CN112948088A (zh) * 2021-03-17 2021-06-11 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN113225269A (zh) * 2021-04-16 2021-08-06 鹏城实验室 基于容器的工作流调度方法、装置、系统及存储介质
CN114265704A (zh) * 2022-03-03 2022-04-01 环球数科集团有限公司 一种基于凸优化的混合容器云调度系统
CN114881233A (zh) * 2022-04-20 2022-08-09 深圳市魔数智擎人工智能有限公司 一种基于容器的分布式模型推理服务方法
WO2024027148A1 (zh) * 2022-08-04 2024-02-08 华为云计算技术有限公司 资源调度方法、装置、计算设备集群、介质及程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202790A (zh) * 2014-09-01 2014-12-10 西安电子科技大学 一种基于功率自适应的mimo-ccrn瓶颈效应消除方法
CN106453492A (zh) * 2016-08-30 2017-02-22 浙江大学 基于模糊模式识别的Docker容器云平台下的容器调度方法
CN107070965A (zh) * 2016-12-22 2017-08-18 广东石油化工学院 一种虚拟化容器资源下的多工作流资源供给方法
CN107729126A (zh) * 2016-08-12 2018-02-23 中国移动通信集团浙江有限公司 一种容器云的任务调度方法和装置
CN107809467A (zh) * 2017-10-10 2018-03-16 暨南大学 一种云环境下容器镜像数据的删减方法
CN107908521A (zh) * 2017-11-10 2018-04-13 南京邮电大学 一种应用于云环境下的服务器性能以及节点上的容器性能的监控方法
CN108228347A (zh) * 2017-12-21 2018-06-29 上海电机学院 一种任务感知的Docker自适应调度系统
CN108572868A (zh) * 2017-09-25 2018-09-25 北京金山云网络技术有限公司 一种物理主机选择方法、装置、设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202790A (zh) * 2014-09-01 2014-12-10 西安电子科技大学 一种基于功率自适应的mimo-ccrn瓶颈效应消除方法
CN107729126A (zh) * 2016-08-12 2018-02-23 中国移动通信集团浙江有限公司 一种容器云的任务调度方法和装置
CN106453492A (zh) * 2016-08-30 2017-02-22 浙江大学 基于模糊模式识别的Docker容器云平台下的容器调度方法
CN107070965A (zh) * 2016-12-22 2017-08-18 广东石油化工学院 一种虚拟化容器资源下的多工作流资源供给方法
CN108572868A (zh) * 2017-09-25 2018-09-25 北京金山云网络技术有限公司 一种物理主机选择方法、装置、设备及可读存储介质
CN107809467A (zh) * 2017-10-10 2018-03-16 暨南大学 一种云环境下容器镜像数据的删减方法
CN107908521A (zh) * 2017-11-10 2018-04-13 南京邮电大学 一种应用于云环境下的服务器性能以及节点上的容器性能的监控方法
CN108228347A (zh) * 2017-12-21 2018-06-29 上海电机学院 一种任务感知的Docker自适应调度系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698914A (zh) * 2020-12-30 2021-04-23 北京理工大学 一种工作流任务容器生成系统及方法
CN112698914B (zh) * 2020-12-30 2022-12-27 北京理工大学 一种工作流任务容器生成系统及方法
CN112948088A (zh) * 2021-03-17 2021-06-11 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN112948088B (zh) * 2021-03-17 2022-10-04 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN113225269A (zh) * 2021-04-16 2021-08-06 鹏城实验室 基于容器的工作流调度方法、装置、系统及存储介质
CN113225269B (zh) * 2021-04-16 2022-11-22 鹏城实验室 基于容器的工作流调度方法、装置、系统及存储介质
CN114265704A (zh) * 2022-03-03 2022-04-01 环球数科集团有限公司 一种基于凸优化的混合容器云调度系统
CN114265704B (zh) * 2022-03-03 2022-05-17 环球数科集团有限公司 一种基于凸优化的混合容器云调度系统
CN114881233A (zh) * 2022-04-20 2022-08-09 深圳市魔数智擎人工智能有限公司 一种基于容器的分布式模型推理服务方法
WO2024027148A1 (zh) * 2022-08-04 2024-02-08 华为云计算技术有限公司 资源调度方法、装置、计算设备集群、介质及程序产品

Similar Documents

Publication Publication Date Title
CN109639791A (zh) 一种容器环境下云工作流调度方法及系统
US11106442B1 (en) Information technology networked entity monitoring with metric selection prior to deployment
CN109844781B (zh) 用于从日志文件识别处理流并使流可视化的系统和方法
CN109074377B (zh) 用于实时处理数据流的受管理功能执行
CN105989523B (zh) 用于分析的基于策略的数据收集处理及协商的方法与系统
US9992269B1 (en) Distributed complex event processing
Zhu et al. A framework-based approach to utility big data analytics
CN112181960B (zh) 一种基于AIOps的智能运维框架系统
CN109446274B (zh) 大数据平台bi元数据管理的方法和装置
CN106980669A (zh) 一种数据的存储、获取方法及装置
CN111475682A (zh) 一种基于超大规模数据系统的智能运维平台
CN105447681A (zh) 一种理化检测控制与信息管理系统
CN109002440A (zh) 用于大数据多维分析的方法、装置及系统
CN112286957A (zh) 基于结构化查询语言的bi系统的api应用方法及系统
CN111538720B (zh) 电力行业基础数据清理的方法及系统
CN105279138B (zh) 一种资讯研究报告自动生成系统
Balliu et al. A big data analyzer for large trace logs
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN110019044A (zh) 大数据集群准实时Yarn任务监控分析方法
Hsu Big data analysis and optimization and platform components
Kim-Hung et al. A scalable IoT framework to design logical data flow using virtual sensor
Borghesi et al. M100 ExaData: a data collection campaign on the CINECA’s Marconi100 Tier-0 supercomputer
Al-Ali et al. Role of IoT technologies in big data management systems: A review and Smart Grid case study
CN109951370B (zh) 多大数据中心分层互联互通方法及装置
Xu et al. Cloud computing boosts business intelligence of telecommunication industry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416