CN106095335B - 一种电力大数据弹性云计算存储平台架构方法 - Google Patents

一种电力大数据弹性云计算存储平台架构方法 Download PDF

Info

Publication number
CN106095335B
CN106095335B CN201610396183.2A CN201610396183A CN106095335B CN 106095335 B CN106095335 B CN 106095335B CN 201610396183 A CN201610396183 A CN 201610396183A CN 106095335 B CN106095335 B CN 106095335B
Authority
CN
China
Prior art keywords
cloud computing
storage platform
computing storage
big data
electric power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610396183.2A
Other languages
English (en)
Other versions
CN106095335A (zh
Inventor
马建伟
孙芊
李强
宋宁希
王磊
杨磊
李红丹
牛雨
肖寒
赵理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Henan Electric Power Co Ltd
Electric Power Research Institute of State Grid Henan Electric Power Co Ltd
Henan Jiuyu Enpai Power Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Henan Electric Power Co Ltd
Electric Power Research Institute of State Grid Henan Electric Power Co Ltd
Henan Enpai High Tech Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Henan Electric Power Co Ltd, Electric Power Research Institute of State Grid Henan Electric Power Co Ltd, Henan Enpai High Tech Group Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610396183.2A priority Critical patent/CN106095335B/zh
Publication of CN106095335A publication Critical patent/CN106095335A/zh
Application granted granted Critical
Publication of CN106095335B publication Critical patent/CN106095335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Sources (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种电力大数据弹性云计算存储平台架构方法，包括以下步骤：首先搭建基于云计算存储平台底层架构，其次搭建基于云计算存储平台高层架构，最后将基于云计算存储平台架构磁盘分区；本发明所述的电力大数据弹性云计算存储平台架构方法通过设计基于云计算存储平台架构和磁盘分区方案，提供了一种新型的电力大数据弹性云计算存储平台架构方法，提供了一种易实现、易扩展、功能丰富的云基础架构解决方案；本发明所述的电力大数据弹性云计算存储平台架构方法提供的弹性云计算存储平台架构还能够为智能电网大数据提供了一种新型的存储方法，解决了电力大数据在使用时调用慢、计算慢的问题。

Description

一种电力大数据弹性云计算存储平台架构方法
技术领域
本发明涉及一种云计算存储领域，尤其涉及一种电力大数据弹性云计算存储平台架构方法。
背景技术
随着现代计算、通信和网络计算的发展，电力系统的互联程度和远距离输电系统的不断进步，能覆盖一个甚至多个大型区域的大规模电力系统正在不断地出现；伴随着电力系统规模的不断扩大和结构的越趋复杂，对于系统安全的评估、安全与经济运行、系统控制将变得越来越困难；此外，最近2年在世界范围内成为热潮的电力系统“智能化”趋势也给现有的电力系统分析计算和控制工具带来了极大挑战；但是，现有的大数据存储平台对于电力大数据的存储并不适合，导致电力大数据在使用时出现调用慢、计算慢等问题。
发明内容
本发明的目的是提供一种电力大数据弹性云计算存储平台架构方法，为智能电网大数据提供了一种新型的存储技术方法，解决了电力大数据在使用时调用慢、计算慢的问题
为了解决上述问题，本发明采用下述方法方案：
一种电力大数据弹性云计算存储平台架构方法，包括以下步骤：
A：搭建基于云计算存储平台底层架构，包括以下步骤：
A1：在本地物理机器上，创建不少于两台的可长时间运行虚拟机；
A2：将本地存储分别挂载到对应虚拟机；
A3：禁用不同虚拟机之间由于负载均衡引起的数据迁移策略；
A4：为同一台物理机器上运行的所有虚拟机，指定为相同的rack值；
A5：将Hadoop平台安装到虚拟机上；
B：搭建基于云计算存储平台高层架构，包括以下步骤；
B1：使用单个控制节点运行OpenStack的核心服务；
B2：使用多台计算节点运行OpenStack NOVA计算服务，每台计算节点上构建多台虚拟机；
B3：使用OpenStack中根磁盘类型，运行Hadoop架构中的HDFS组件；
B4：通过异步执行的后台任务定期地对根磁盘中的数据进行快照；
C：将基于云存储平台架磁盘分区。
所述的步骤C包括以下步骤：
C1：将基于云计算存储平台架构磁盘分区；
C2：增加一个与OpenStack中libvirt_images_volume_group类似的标志libvirt_localpersistent_volume_group，用来指定计算节点包含local_persistent卷；
C3：创建一个过滤器，以保证管理员能够利用过滤器调度控制仅在包含local_persistent的计算节点上启动长期运行的Hadoop虚拟机；
C4：修改Hadoop虚拟机本身的初始化序列，以避免对其连接的本地local_persistent磁盘进行格式化；
C5：通过常用的OpenStack访问控制机制来对这些卷进行访问。
步骤B2中所述的计算节点都采用了英特尔至强E3-1220 V2 @ 3.10GHz、8MB缓存、16 GB内存和1 TB硬盘的硬件配置；不同的节点之间通过两个不同的1G网络进行连接； 其中，一个1G网络用于OpenStack服务间的彼此通信；而另一个1G网络用于将计算节点连接到公共网络。
步骤B1中所述的OpenStack的核心服务包括Keystone，Glance，Cinder和Quantum；其中Cinder组件提供了卷管理服务，并将控制节点上生成的卷通过iSCSI协议连接到其他的虚拟机节点。
本发明所述的电力大数据弹性云计算存储平台架构方法通过设计基于云计算存储平台架构和磁盘分区方案，提供了一种新型的电力大数据弹性云计算存储平台架构方法，提供了一种易实现、易扩展、功能丰富的云基础架构解决方案；本发明所述的电力大数据弹性云计算存储平台架构方法提供的弹性云计算存储平台架构还能够为智能电网大数据提供了一种新型的存储方法，解决了电力大数据在使用时调用慢、计算慢的问题。
附图说明
图1为本发明所述的电力大数据弹性云计算存储平台架构方法的流程示意图；
图2为本发明所述搭建基于云计算存储平台高层架构的结构示意图；
图3为本发明所述计算节点的结构示意图。
具体实施方式
如图1至图3所示，本发明所述的电力大数据弹性云计算存储平台架构方法，包括以下步骤：
A：搭建基于云计算存储平台底层架构，包括以下步骤：
A1：在本地物理机器上，创建不少于两台的可长时间运行虚拟机；
A2：将本地存储分别挂载到对应虚拟机；
对于云计算系统，数据存储的主要制约因素是存储在本地的数据存储不是永久性的，将本地存储挂载到虚拟机上，并使用长时间运行的虚拟机能够保证本地存储可以提供较长时间的可用性；
A3：禁用不同虚拟机之间由于负载均衡引起的数据迁移策略；
对于云计算系统中常用的虚拟机迁移的负载平衡，由于其并没有将数据存放的位置因素考虑在内，因此不同虚拟机之间由于负载均衡引起的数据迁移策略应该被禁用；
A4：为同一台物理机器上运行的所有虚拟机，指定为相同的rack值；
由于在云计算系统中，包含同一个文件副本的多台虚拟机，有可能被调度在相同的物理机器上，为了保证Hadoop的复制功能不被破坏，我们使用Hadoop的rack awareness属性配置将同一台物理机器上运行的所有Hadoop虚拟机指定为相同的rack值，保证不同的物理机器上存在不同的数据副本。
A5：将Hadoop平台安装到虚拟机上；进入下一步；
B：搭建基于云计算存储平台高层架构，包括以下步骤：
B1：使用单个控制节点运行OpenStack的核心服务；
步骤B1中所述的OpenStack的核心服务包括Keystone，Glance，Cinder和Quantum；其中Cinder组件提供了卷管理服务，并将控制节点上生成的卷通过iSCSI协议连接到其他的虚拟机节点；
B2：使用多台计算节点运行OpenStack NOVA计算服务，每台计算节点上构建多台虚拟机；
每个计算节点都采用了英特尔至强E3-1220 V2 @ 3.10GHz，8MB缓存，16 GB内存和1 TB硬盘的硬件配置；不同的节点之间通过两个不同的1G网络进行连接； 其中，一个1G网络用于OpenStack服务间的彼此通信；而另一个1G网络用于将计算节点连接到公共网络；整个系统用OpenStack生成了大量长期运行的Hadoop虚拟机，这些虚拟机整体构成了与Hadoop集群类似的系统架构，其中每个虚拟机都类似于Hadoop集群的单个节点，与直接硬件构成的Hadoop集群相比，由于空闲的虚拟机并不会占用太多的硬件资源，因而，通过虚拟机的方式生成大于需求数量的Hadoop节点，并不会造成太大的性能影响；
B3：使用OpenStack中根磁盘类型，运行Hadoop架构中的HDFS组件；
在OpenStack架构中一共包含三种类型的存储：根磁盘，短暂磁盘和持久磁盘；其中，一台虚拟机的根磁盘是直接驻留在宿主机器而不附着于网络上，这也意味着其不依赖于网络延迟和带宽的影响；短暂磁盘的数据是非持久化的；持久磁盘是通过网络依附于OpenStack卷服务的持久化存储，其使用和性能都受到网络环境的影响；针对根磁盘，短暂磁盘和持久磁盘存储类型的特点，我们选择使用根磁盘类型来运行Hadoop架构中的HDFS组件，如图2所示，这样在运行实际Hadoop任务时能够避免数据通过网络进行传输带来的延迟影响；
B4：通过异步执行的后台任务定期地对根磁盘中的数据进行快照；
由于根磁盘类型存储不具有持续性，即存储在根磁盘的数据在虚拟机终止之后将会丢失，因此需要定期地对根磁盘中的数据进行快照，如果虚拟机崩溃，存储在根磁盘中的数据并不会立即消失，如果虚拟机能够进行快速重新启动，存储将不会丢失；进入下一步；
C：将基于云存储平台架构的磁盘分区，包括以下步骤：
在OpenStack架构中，无论是根磁盘或者短暂磁盘的具体实现方式均是在本地存储的一个文件；传统的磁盘使用方案是将本地存储磁盘进行分区，并将单个或者多个的分区附着到Hadoop虚拟机；但是，将本地存储磁盘进行分区的方案由于将静态地将磁盘的分区专用于Hadoop虚拟机，当存储数据需求需要对磁盘进行收缩或增长时，将本地存储磁盘进行分区的方案由于灵活性不足，并不能实现，因此提供一种基于云存储平台架构磁盘分区方案，包括以下步骤：
C1：将基于云存储平台的磁盘分区存储方案命名为local_persistent；
C2：增加一个与OpenStack中libvirt_images_volume_group类似的标志libvirt_localpersistent_volume_group，用来指定计算节点包含local_persistent卷；
OpenStack包含一个libvirt_images_volume_group配置标记，libvirt_images_volume_group配置标记用来指定在每个计算节点中包含的短暂磁盘卷组；增加一个类似的标志libvirt_localpersistent_volume_group用来指定包含local_persistent卷，以保证能够通过常用的OpenStack访问控制机制来对local_persistent卷进行访问；
C3：创建一个过滤器，以保证管理员能够利用过滤器调度控制仅在包含local_persistent的计算节点上启动长期运行的Hadoop虚拟机；
C4：修改Hadoop虚拟机本身的初始化序列，以避免对其连接的本地local_persistent磁盘进行格式化；
C5：通过常用的OpenStack访问控制机制来对这些卷进行访问。
本发明所述的电力大数据弹性云计算存储平台架构方法通过设计基于云计算存储平台架构和磁盘分区方案，提供了一种新型的电力大数据弹性云计算存储平台架构方法，提供了一种易实现、易扩展、功能丰富的云基础架构解决方案；本发明所述的电力大数据弹性云计算存储平台架构方法提供的弹性云计算存储平台架构还能够为智能电网大数据提供了一种新型的存储方法，解决了电力大数据在使用时调用慢、计算慢的问题。

Claims (3)

1.一种电力大数据弹性云计算存储平台架构方法，其特征在于：包括以下步骤：
A：搭建基于云计算存储平台底层架构，包括以下步骤：
A1：在本地物理机器上，创建不少于两台的可长时间运行虚拟机；
A2：将本地存储分别挂载到对应虚拟机；
A3：禁用不同虚拟机之间由于负载均衡引起的数据迁移策略；
A4：为同一台物理机器上运行的所有虚拟机，指定为相同的rack值；
A5：将Hadoop平台安装到虚拟机上；
B：搭建基于云计算存储平台高层架构，包括以下步骤；
B1：使用单个控制节点运行OpenStack的核心服务；
B2：使用多台计算节点运行OpenStack NOVA计算服务，每台计算节点上构建多台虚拟机；
B3：使用OpenStack中根磁盘类型，运行Hadoop架构中的HDFS组件；
B4：通过异步执行的后台任务定期地对根磁盘中的数据进行快照；
C：将基于云计算存储平台架构磁盘分区，包括以下步骤：
C1：将基于云存储平台的新型磁盘分区存储命名；
C2：增加一个与OpenStack中libvirt_images_volume_group类似的标志libvirt_localpersistent_volume_group，用来指定计算节点包含local_persistent卷；
C3：创建一个过滤器，以保证管理员能够利用过滤器调度控制仅在包含local_persistent的计算节点上启动长期运行的Hadoop虚拟机；
C4：修改Hadoop虚拟机本身的初始化序列，以避免对其连接的本地local_persistent磁盘进行格式化；
C5：通过常用的OpenStack访问控制机制来对这些卷进行访问。
2.根据权利要求1所述的一种电力大数据弹性云计算存储平台架构方法，其特征在于：步骤B2中所述的计算节点都采用了英特尔至强E3-1220 V2 @ 3.10GHz、8MB缓存、16 GB内存和1 TB硬盘的硬件配置；不同的节点之间通过两个不同的1G网络进行连接； 其中，一个1G网络用于OpenStack服务间的彼此通信；而另一个1G网络用于将计算节点连接到公共网络。
3.根据权利要求1所述的一种电力大数据弹性云计算存储平台架构方法，其特征在于：步骤B1中所述的OpenStack的核心服务包括Keystone，Glance，Cinder和Quantum；其中Cinder组件提供了卷管理服务，并将控制节点上生成的卷通过iSCSI协议连接到其他的虚拟机节点。
CN201610396183.2A 2016-06-07 2016-06-07 一种电力大数据弹性云计算存储平台架构方法 Active CN106095335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610396183.2A CN106095335B (zh) 2016-06-07 2016-06-07 一种电力大数据弹性云计算存储平台架构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610396183.2A CN106095335B (zh) 2016-06-07 2016-06-07 一种电力大数据弹性云计算存储平台架构方法

Publications (2)

Publication Number Publication Date
CN106095335A CN106095335A (zh) 2016-11-09
CN106095335B true CN106095335B (zh) 2019-01-11

Family

ID=57447335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610396183.2A Active CN106095335B (zh) 2016-06-07 2016-06-07 一种电力大数据弹性云计算存储平台架构方法

Country Status (1)

Country Link
CN (1) CN106095335B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919346B (zh) * 2017-02-21 2019-01-22 无锡华云数据技术服务有限公司 一种基于clvm的共享存储虚拟化实现方法
CN107566511A (zh) * 2017-09-20 2018-01-09 郑州云海信息技术有限公司 一种实现云存储的方法及云存储系统
CN108518315A (zh) * 2018-03-20 2018-09-11 深圳众厉电力科技有限公司 一种基于云存储技术的风电机组智能监测系统
CN108563756A (zh) * 2018-04-16 2018-09-21 广东电网有限责任公司 一种基于hdfs的电力设备监测大数据存储方法
CN109408597A (zh) * 2018-11-29 2019-03-01 广东电网有限责任公司 一种电网计量大数据存储系统及其创建方法
CN111638855A (zh) * 2020-06-03 2020-09-08 山东汇贸电子口岸有限公司 一种物理裸机支持Ceph后端卷的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227558A1 (en) * 2012-02-29 2013-08-29 Vmware, Inc. Provisioning of distributed computing clusters
CN104065716A (zh) * 2014-06-18 2014-09-24 江苏物联网研究发展中心 一种基于OpenStack的提供Hadoop服务的方法
CN105278874A (zh) * 2015-09-15 2016-01-27 中国联合网络通信集团有限公司 大数据平台系统及其运行方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227558A1 (en) * 2012-02-29 2013-08-29 Vmware, Inc. Provisioning of distributed computing clusters
CN104065716A (zh) * 2014-06-18 2014-09-24 江苏物联网研究发展中心 一种基于OpenStack的提供Hadoop服务的方法
CN105278874A (zh) * 2015-09-15 2016-01-27 中国联合网络通信集团有限公司 大数据平台系统及其运行方法

Also Published As

Publication number Publication date
CN106095335A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106095335B (zh) 一种电力大数据弹性云计算存储平台架构方法
CN111796908B (zh) 一种资源自动弹性伸缩的系统、方法及云平台
CA2978889C (en) Opportunistic resource migration to optimize resource placement
CN111124277B (zh) 一种深度学习数据集缓存方法、系统、终端及存储介质
US10356150B1 (en) Automated repartitioning of streaming data
CN106201702A (zh) 虚拟机迁移的方法、系统及云计算管理平台
Ye et al. A novel blocks placement strategy for Hadoop
US9747176B2 (en) Data storage with virtual appliances
US10860375B1 (en) Singleton coordination in an actor-based system
US10235473B2 (en) Methods and systems to allocate logical disk costs to virtual machines in a virtual data center
Ubarhande et al. Novel data-distribution technique for Hadoop in heterogeneous cloud environments
CN103034526B (zh) 一种虚拟化服务的实现方法和装置
CN110825543B (zh) 在故障存储设备上快速恢复数据的方法
CN112732408A (zh) 一种用于计算节点资源优化的方法
Shigeta et al. Design and implementation of a multi-objective optimization mechanism for virtual machine placement in cloud computing data center
CN109408597A (zh) 一种电网计量大数据存储系统及其创建方法
Riabko et al. Cluster fault tolerance model with migration of virtual machines.
US9690728B1 (en) Burst buffer appliance comprising multiple virtual machines
CN103986665A (zh) 云海os中网络负载均衡的方法
US20160350143A1 (en) Methods and systems to assess efficient usage of data-center resources by virtual machines
CN104536764A (zh) 程序运行方法和装置
CN106250251B (zh) 考虑共因和虚拟机故障迁移的云计算系统可靠性建模方法
Rangarajan et al. Managing the availability of VNFs with the availability management framework
US9348672B1 (en) Singleton coordination in an actor-based system
US11334397B2 (en) Application demand-based migration of virtual machines in logical clusters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 450052 No. 85 South Songshan Road, 27 District, Henan, Zhengzhou

Co-patentee after: STATE GRID HENAN ELECTRIC POWER Co.

Patentee after: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID HENAN ELECTRIC POWER Co.

Co-patentee after: State Grid Corporation of China

Co-patentee after: Henan jiuyu enpai Power Technology Co., Ltd

Address before: 450052 No. 85 South Songshan Road, 27 District, Henan, Zhengzhou

Co-patentee before: STATE GRID HENAN ELECTRIC POWER Co.

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID HENAN ELECTRIC POWER Co.

Co-patentee before: State Grid Corporation of China

Co-patentee before: HENAN ENPAI HIGH-TECH GROUP Co.,Ltd.

CP01 Change in the name or title of a patent holder