CN104753977A - 基于模糊聚类的地震处理解释基础设施云资源调度方法 - Google Patents

基于模糊聚类的地震处理解释基础设施云资源调度方法 Download PDF

Info

Publication number
CN104753977A
CN104753977A CN201310729545.1A CN201310729545A CN104753977A CN 104753977 A CN104753977 A CN 104753977A CN 201310729545 A CN201310729545 A CN 201310729545A CN 104753977 A CN104753977 A CN 104753977A
Authority
CN
China
Prior art keywords
node
resource
performance
fuzzy clustering
seismic processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310729545.1A
Other languages
English (en)
Inventor
李战强
段淼
董涛
邢占军
丛龙水
赵军民
刘峰
车晓萍
苗永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Original Assignee
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Geophysical Research Institute of Sinopec Shengli Oilfield Co filed Critical China Petroleum and Chemical Corp
Priority to CN201310729545.1A priority Critical patent/CN104753977A/zh
Publication of CN104753977A publication Critical patent/CN104753977A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基础设施云环境下的地震处理解释计算资源统一调度方法。该方法依据地震处理解释应用的资源需求特点，根据云服务和资源制定操作流程，使用模糊聚类分析的方法实现按需的计算资源调度。选择5个参数描述物理节点的实时性能，包括cpu利用率、内存利用率、网卡速度、硬盘读写速度和节点网络带宽分配率。根据资源各参数在节点工作过程中的作用，分派不同的权值，使用一定时间段内采集的节点参数值，建立各节点性能值，对节点性能值进行模糊聚类，根据备选节点及虚拟机的数量确定划分阈值，相似度在阈值范围内的物理节点可认为是性能相同的节点。该方法使用模糊聚类确定集群各节点性能相似，能够快速、高效地完成基础设施云环境下计算资源的统一调度。

Description

基于模糊聚类的地震处理解释基础设施云资源调度方法
技术领域
本发明涉及地震处理解释的云计算领域，特别是涉及到一种基于模糊聚类的地震处理解释基础设施云资源调度方法。
背景技术
云计算（Cloud computing）是基于网络的、可配置的共享计算资源池，能够方便的、随需访问的一种模式。它以市场需求为导向，以降低成本为主旨，利用网络来进行资源整合，以期提高企业的信息化水平。这些可配置的共享资源包括网络、服务器、存储、应用和服务。根据提供服务的种类不同，云计算中的云分为基础设施云、平台云和应用云。基础设施云即IaaS是以服务的形式提供计算等基础设施资源，这些资源可以根据用户的需求进行动态分配，由用户根据需要进行使用，能灵活适应用户的需求。现在云计算技术已在各个领域广泛开展应用，但在石油勘探领域发展比较薄弱。已有的一种云海操作系统及其资源调度方法，是在系统新建任务时，基于任务的优先级进行资源调度。这不能满足地震处理解释生产应用的需求，根据地震处理解释应用的资源需求特点，应用软件使用多个节点运行并行作业，需要一组配置相同的节点，这不仅指节点操作系统层面的配置，更重要的是节点的性能参数要一致。
发明内容
本发明的目的是提供一种基础设施云环境下的地震处理解释计算资源统一调度方法。该方法依据地震处理解释应用的资源需求特点，根据云服务和资源制定操作流程，使用模糊聚类分析的方法实现按需的计算资源调度。 
本发明的目的可通过如下技术措施来实现：地震处理解释基础设施云管理平台将计算机资源作为云服务提供给用户使用，云服务在实例化过程中要将虚拟机部署到物理节点，这使用一种计算资源的统一调度方法。该方法包括：步骤1，采集物理节点性能相关信息。根据地震处理解释应用的资源需求特点，应用软件在多个节点运行并行作业，使用一组配置相同的节点，这不仅指节点操作系统层面的配置，更重要的是节点的性能参数要一致。将虚拟机部署到物理节点时，使用一组性能相近的物理节点，此时有些物理节点已部署虚拟机，有些物理节点未部署虚拟机，物理节点的性能参数为空载性能与现有负载之差。步骤2，对备选节点根据资源值进行模糊聚类，确定性能相近节点。由于物理节点性能参数是随时间变化的，多个节点难以精确对比，所以本资源调度方法，在物理节点性能参数动态变化的过程中进行模糊比较，确定性能相近的物理节点并进行资源调度，实现云服务的实例化。
本发明的目的还可通过如下技术措施来实现：
在步骤1中，根据资源分类及资源在节点工作过程中的作用，选择以下5个参数进行节点类型划分。
(1)CPU-计算机运算速度，可以用MIPS、MHz 来衡量。符号C。
(2)MEMORY-内存，可以通过容量来度量。符号M。
(3)Net Adapter-网卡，用网卡的速度来度量。符号A。
(4)I/O-硬盘读写速度，用磁盘的I/O 带宽或磁盘转速来度量。符号I。
(5)NET-网络带宽分配率。符号N。
在步骤1中，根据各参数在划分过程中的权重。依然根据资源在节点工作过程中的作用，分派不同的权值，上述5类资源的权值分别表示如下：
(1)CPU：P1；(2)MEMORY：P2；(3)Net Adapter：P3；(4)I/O：P4；(5)NET：P5。其中，P1＋P2＋P3＋P4＋P5＝1，权值与属性参数个数相对应。
在步骤2中，研究参数数据的标准化，通过计算得出物理节点当前的资源值，根据资源值将节点进行划分，实现集群资源在资源数据库中的配置。资源值=C*P1+M*P2+A*P3+I*P4+N*P5。建立物理节点的性能参数矩阵，并将5个性能参数由不同的量纲数据规范到区间[0,1]上。根据节点的性能参数计算节点之间的模糊相似度并构建物理集群的节点间模糊相似矩阵R，根据模糊相似矩阵R，获得R的等价闭包矩阵R*，根据备选节点及虚拟机的数量确定划分阈值，相似度在阈值范围内的物理节点即是性能相同的节点。
上述方法还包括，在步骤1中，需要根据一段时间内采集的物理节点性能信息求性能信息平均值。
本发明方法依据地震处理解释应用的资源需求特点，选择5个参数描述物理节点的实时性能，包括cpu利用率、内存利用率、网卡速度、硬盘读写速度和节点网络带宽分配率，使用模糊聚类分析的方法实现按需的计算资源调度，是按照特定的要求对节点进行区分和分类的过程，仅靠物理节点间相似的性能参数作为类属划分的准则，有效地解决了多个物理节点性能难以精确对比的难题。该方法使用模糊聚类确定集群各节点性能相似，能够快速、高效地完成基础设施云环境下计算资源的统一调度。
附图说明
图1为本发明的基于模糊聚类的地震处理解释基础设施云资源调度方法的一具体实施例的流程图。
具体实施方式
为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下。
如图1所示，图1为本发明的基于模糊聚类的地震处理解释基础设施云资源调度方法的流程图。在步骤101，进行物理节点性能信息采集，作为资源调度的依据。信息采集使用一定时间间隔，如5秒、10秒、30秒等，时间间隔可根据需要设定。根据需求，采用一段时间内采集的性能信息作为资源调度依据，性能信息中(1)CPU；(2)MEMORY；(4)I/O需要求该段时间内的算数平均值，(3)Net Adapter 和(5)NET，使用最后一次的采集值。流程进入到步骤102。
在步骤102，根据一段时间内采集的物理节点性能信息平均值，计算物理节点资源值。(1)CPU：P1；(2)MEMORY：P2；(3)Net Adapter：P3；(4)I/O：P4；(5)NET：P5。其中，P1＋P2＋P3＋P4＋P5＝1，权值与属性参数个数相对应。资源值=C*P1+M*P2+A*P3+I*P4+N*P5。流程进入到步骤103。
在步骤103，建立物理节点的性能参数矩阵，并规范化数据。流程进入到步骤104。
在步骤104，构建物理集群的节点间模糊相似矩阵。流程进入到步骤105。
在步骤105，获得模糊相似矩阵的等价闭包矩阵。流程进入到步骤106。
在步骤106，确定划分阈值，得到性能相同的节点。

Claims (5)

1.基于模糊聚类的地震处理解释基础设施云资源调度方法，包括: 
步骤1，采集物理节点性能相关信息；
步骤2，对备选节点根据资源值进行模糊聚类，确定性能相近节点；
其中：
在步骤1中，根据资源分类及资源在节点工作过程中的作用，选择以下5个参数进行节点类型划分
(1)CPU-计算机运算速度，用MIPS、MHz 来衡量，符号C；
(2)MEMORY-内存，通过容量来度量，符号M；
(3)Net Adapter-网卡，用网卡的速度来度量，符号A；
(4)I/O-硬盘读写速度，用磁盘的I/O 带宽或磁盘转速来度量，符号I；
(5)NET-网络带宽分配率，符号N。
2.根据权利要求1所述的基于模糊聚类的地震处理解释基础设施云资源调度方法，其特征在于，该方法还包括，在步骤1中，需要根据一段时间内采集的物理节点性能信息求性能信息平均值。
3.根据权利要求1或2所述的基于模糊聚类的地震处理解释基础设施云资源调度方法，其特征在于，在步骤1中，根据各参数在划分过程中的权重以及资源在节点工作过程中的作用，分派不同的权值，上述5类资源的权值分别表示如下：
(1)CPU-P1；(2)MEMORY-P2；(3)Net Adapter-P3；(4)I/O-P4；(5)NET：P5，其中，P1＋P2＋P3＋P4＋P5＝1，权值与属性参数个数相对应。
4.根据权利要求3所述的基于模糊聚类的地震处理解释基础设施云资源调度方法，其特征在于，在步骤2中，分析参数数据的标准化，通过计算得出物理节点当前的资源值=C*P1+M*P2+A*P3+I*P4+N*P5，根据资源值将节点进行划分，实现集群资源在资源数据库中的配置。
5.根据权利要求3所述的基于模糊聚类的地震处理解释基础设施云资源调度方法，其特征在于，在步骤2中，建立物理节点的性能参数矩阵，并将5个性能参数由不同的量纲数据规范到区间[0,1]上，根据节点的性能参数计算节点之间的模糊相似度并构建物理集群的节点间模糊相似矩阵R，根据模糊相似矩阵R，获得R的等价闭包矩阵R*，根据备选节点及虚拟机的数量确定划分阈值，相似度在阈值范围内的物理节点即是性能相同的节点。
CN201310729545.1A 2013-12-26 2013-12-26 基于模糊聚类的地震处理解释基础设施云资源调度方法 Pending CN104753977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310729545.1A CN104753977A (zh) 2013-12-26 2013-12-26 基于模糊聚类的地震处理解释基础设施云资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310729545.1A CN104753977A (zh) 2013-12-26 2013-12-26 基于模糊聚类的地震处理解释基础设施云资源调度方法

Publications (1)

Publication Number Publication Date
CN104753977A true CN104753977A (zh) 2015-07-01

Family

ID=53593077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310729545.1A Pending CN104753977A (zh) 2013-12-26 2013-12-26 基于模糊聚类的地震处理解释基础设施云资源调度方法

Country Status (1)

Country Link
CN (1) CN104753977A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046378A (zh) * 2015-09-08 2015-11-11 电子科技大学 一种基于地震数据的作业调度方法
CN105607952A (zh) * 2015-12-18 2016-05-25 航天恒星科技有限公司 一种虚拟化资源的调度方法及装置
CN106412124A (zh) * 2016-12-01 2017-02-15 广州高能计算机科技有限公司 一种并序化云服务平台任务分配系统及任务分配方法
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106775921A (zh) * 2016-11-14 2017-05-31 中国石油化工股份有限公司 基于应用负载感知的虚拟cpu调度方法
CN107547595A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 云资源调度系统、方法及装置
CN110209494A (zh) * 2019-04-22 2019-09-06 西北大学 一种面向大数据的分布式任务调度方法及Hadoop集群
CN113535373A (zh) * 2020-04-15 2021-10-22 中国石油天然气集团有限公司 用于地震数据解释的交互资源分配方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360064A (zh) * 2008-09-27 2009-02-04 北京邮电大学 一种实现网络资源选择的方法和装置
CN102843420A (zh) * 2012-07-02 2012-12-26 上海交通大学 基于模糊划分的社交网络数据分发系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360064A (zh) * 2008-09-27 2009-02-04 北京邮电大学 一种实现网络资源选择的方法和装置
CN102843420A (zh) * 2012-07-02 2012-12-26 上海交通大学 基于模糊划分的社交网络数据分发系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
那丽春: "集群资源模糊聚类划分模型", 《计算机工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046378A (zh) * 2015-09-08 2015-11-11 电子科技大学 一种基于地震数据的作业调度方法
CN105607952A (zh) * 2015-12-18 2016-05-25 航天恒星科技有限公司 一种虚拟化资源的调度方法及装置
CN105607952B (zh) * 2015-12-18 2021-04-20 航天恒星科技有限公司 一种虚拟化资源的调度方法及装置
CN107547595A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 云资源调度系统、方法及装置
CN107547595B (zh) * 2016-06-27 2021-05-25 腾讯科技（深圳）有限公司 云资源调度系统、方法及装置
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106470242B (zh) * 2016-09-07 2019-07-19 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106775921A (zh) * 2016-11-14 2017-05-31 中国石油化工股份有限公司 基于应用负载感知的虚拟cpu调度方法
CN106412124B (zh) * 2016-12-01 2019-10-29 广州高能计算机科技有限公司 一种并序化云服务平台任务分配系统及任务分配方法
CN106412124A (zh) * 2016-12-01 2017-02-15 广州高能计算机科技有限公司 一种并序化云服务平台任务分配系统及任务分配方法
CN110209494A (zh) * 2019-04-22 2019-09-06 西北大学 一种面向大数据的分布式任务调度方法及Hadoop集群
CN110209494B (zh) * 2019-04-22 2022-11-25 西北大学 一种面向大数据的分布式任务调度方法及Hadoop集群
CN113535373A (zh) * 2020-04-15 2021-10-22 中国石油天然气集团有限公司 用于地震数据解释的交互资源分配方法及装置

Similar Documents

Publication Publication Date Title
CN104753977A (zh) 基于模糊聚类的地震处理解释基础设施云资源调度方法
CN110096349B (zh) 一种基于集群节点负载状态预测的作业调度方法
CN106529883B (zh) 分配数据对象的方法及装置
CN103729248B (zh) 一种基于缓存感知的确定待迁移任务的方法和装置
CN111399986B (zh) Pod资源配额配置方法及装置
CN103607459B (zh) 一种云计算平台IaaS层的动态资源监测及调度方法
CN104050042B (zh) Etl作业的资源分配方法及装置
US20180198855A1 (en) Method and apparatus for scheduling calculation tasks among clusters
Vazquez Time series forecasting of cloud data center workloads for dynamic resource provisioning
CN108108245B (zh) 一种云平台宽节点科学工作流的混合型调度方法及系统
CN104380260B (zh) 利用可伸缩网格计算的储层仿真
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
Canali et al. Improving scalability of cloud monitoring through PCA-based clustering of virtual machines
CN103593224A (zh) 虚拟机资源配置系统及方法
CN103475538A (zh) 一种基于多接口的自适应的云服务测试方法
JP2016042284A (ja) 並列計算機システム、管理装置、並列計算機システムの制御方法及び管理装置の制御プログラム
CN106471473A (zh) 用于控制数据中心中的服务器过高分配的机制
CN117573373B (zh) 一种基于云计算的cpu虚拟化调度方法及系统
CN105488134A (zh) 大数据处理方法及大数据处理装置
CN113168344A (zh) 通过提高集群多样性实现的分布式资源管理
Li et al. Scalable correlation-aware virtual machine consolidation using two-phase clustering
CN107370783B (zh) 一种云计算集群资源的调度方法及装置
CN115169634A (zh) 一种任务分配优化处理方法及装置
CN107273527A (zh) 一种Hadoop集群和分布式系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150701