CN112732271A - 一种基于sdn技术的地震处理软件部署方法及系统 - Google Patents

一种基于sdn技术的地震处理软件部署方法及系统 Download PDF

Info

Publication number
CN112732271A
CN112732271A CN201910973081.6A CN201910973081A CN112732271A CN 112732271 A CN112732271 A CN 112732271A CN 201910973081 A CN201910973081 A CN 201910973081A CN 112732271 A CN112732271 A CN 112732271A
Authority
CN
China
Prior art keywords
sdn
mirror image
network
virtual
seismic processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910973081.6A
Other languages
English (en)
Inventor
曹永生
吕达
路曜宗
张代兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Geophysical Research Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201910973081.6A priority Critical patent/CN112732271A/zh
Publication of CN112732271A publication Critical patent/CN112732271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于SDN技术的地震处理软件部署方法及其系统，该方法包括：构建虚拟SDN网络；建立镜像模板；使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。该系统包括：虚拟网络构建模块，用于构建虚拟SDN网络；模板建立模块，用于建立镜像模板；部署模块，用于使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。本发明改进了地震数据处理软件的安装部署及网络部署方式，通过SDN技术将用户登陆与计算集群资源实现松耦合。

Description

一种基于SDN技术的地震处理软件部署方法及系统
技术领域
本发明属于地球科学领域中石油地球物理勘探技术领域，具体涉及一种基于SDN技术的地震处理软件部署方法及系统。
背景技术
随着计算机硬件装备技术的进步、廉价大规模计算机集群的迅速普及，计算处理能力得到了飞速的发展。从最初的模拟处理到数字处理；地震数据也从最早的二维工区演变到全三维工区，从陆上延伸到海洋，从简单二维到复杂山地资料，分辨率越来越高，数据规模也越来越大；每一次的变革都与计算机技术的进步及应用软件的发展息息相关。
从上世纪70年代以来，国外的相关软件公司(西方地球物理公司、法国CGG公司、LandMark公司、ParaDigm公司、中国东方地球物理公司以及中国石化股份有限公司等)就着手开发地震处理及解释软件系统，逐步形成了商业化软件并在全世界范围内推广应用。
目前而言，由于不同的地震处理解释软件使用的技术各有差别，安装部署还局限于集中共享式安装部署，随着最近几年来MR、Spark大规模数据并行技术的应用推广，使得并行计算模式较之原来的MPI并行有了较大的改进，节点间数据高效交换技术使得计算效率得到大幅度提升。随着云部署共享应用在物探行业逐渐兴起，如果很好地控制访问权限而又不影响正常使用体验成了一大难题。再加上这类专业软件不同于大众的商业软件，对系统配置管理提出了很高的要求，有时需要相关的专业技术背景，加上依赖的环境很多，本地搭建一套环境成本越来越高，初级人员很难解决环境部署的一些问题。同时集群环境的版本差异(常见的节点版本)及操作系统的差异(例如Node Sass依赖OS)都可能导致软件运行环境的缺陷或故障。而一旦集群环境大变动时，所有人的环境要重新部署，对于业务使用人员来讲，需要重新熟悉相关应用流程。
以基于Hadoop与Spark平台开发的π-Frame地震处理系统威力，在安装部署π-Frame地震处理系统时，首先需要先安装配置Hadoop集群服务，再安装配置Spark集群服务，最后再部署π-Frame地震处理系统应用程序。实际生产过程中，我们会部署不同的集群提供给不同的用户使用，但集群之间网络由于机房网络部署问题是互联互通的，会给用户的数据及信息安全带来影响。
因此，如何解决多种地震数据处理软件安装部署后，针对不同集群，不同架构的OS、不同软件版本的安装部署，需要针对性地根据应用用户接入权限等特定情况做出不同的硬件防火墙配置的情况，仍是本领域亟待解决的问题。
发明内容
本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。
为克服现有技术的问题，本发明提供一种基于SDN技术的地震处理软件部署方法，包括：
构建虚拟SDN网络；
建立镜像模板；
使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。
可选地，所述构建虚拟SDN网络包括：
使用ESXi结合vCenter构建一个虚拟化平台；
在所述虚拟化平台安装NSX Manager以及NSX Controller组件；
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
可选地，所述建立镜像模板包括：
将集群服务和地震处理系统应用安装在容器内；
将所述容器打包为镜像，并存放在镜像仓库。
可选地，所述使用所述镜像模板复制出另一套集群具体包括：
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。
本发明提供一种基于SDN技术的地震处理软件部署系统，包括：
虚拟网络构建模块，用于构建虚拟SDN网络；
模板建立模块，用于建立镜像模板；
部署模块，用于使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。
可选地，所述虚拟网络构建模块具体用于：
使用ESXi结合vCenter构建一个虚拟化平台；
在所述虚拟化平台安装NSX Manager以及NSX Controller组件；
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
可选地，所述模板建立模块具体用于：
将集群服务和地震处理系统应用安装在容器内；
将所述容器打包为镜像，并存放在镜像仓库。
可选地，所述部署模块具体用于：
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。
本发明提供一种基于SDN(Software Defined Network，软件定义网络)技术的地震处理软件部署方法，使得应用能为不同的人员提供不同的环境，大大提高软件安装部署效率，降低运维维护成本。
附图说明
图1为SDN网络架构的实际架构部署图。
图2为网络虚拟化部署图。
图3为本发明实施例的基于SDN技术的地震处理软件部署方法的流程示意图。
图4为本发明实施例的基于SDN技术的地震处理软件部署系统的结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述：
本发明中需要使用到NSX虚拟SDN技术，SDN网络架构的实际架构部署图如图1所示。最外层是外网物理交换机，在此交换机上设置相应的VLAN，然后建立虚拟分布式交换机，下层建立边界网关(NSX Edge)，再下层为多个平级的内网分布式路由器(DLR)，由各个内网分布式路由器下建立虚拟VXLAN网段，每一组虚拟机被划分在不同的VXLAN网段下，通过分布式防火墙可以灵活设定各个VXLAN网段间的连通性。
利用NSX网络虚拟化的套件在物理网络环境之上构建出虚拟SDN网络，如图2所示，其中，NSX网络虚拟化的套件包括管理层中的虚拟化管理服务器和NSX管理服务器及控制层中的NSX逻辑路由器控制虚拟及及NSX控制器。虚拟SDN网络在数据层体现为虚拟化主机、逻辑交换机、分布式逻辑路由器、NSX边界等。
基于此，如图3所示，本发明提供一种基于SDN技术的地震处理软件部署方法，包括步骤：
S10、构建虚拟SDN网络；
更具体地，先使用ESXi结合vCenter构建一个虚拟化平台；再在所述虚拟化平台安装NSX Manager以及NSX Controller组件；最后利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。其中包括NSX Logical Router(逻辑路由器)、虚拟分布式交换机(Distributed Services)、边界网关(NSX Edge)等功能。
S20、建立镜像模板；
本实施例中，将集群服务(包括Hadoop集群服务、Spark集群服务)和地震处理系统应用(例如是π-Frame地震处理系统应用)安装在容器内；再将所述容器打包为镜像，并存放在镜像仓库。本实施例中容器是部署在虚拟机上的。
S30、使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。
更具体地，在各个物理节点(实体服务器)上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。
利用SDN技术将集群网络与用户接入网络隔离，集群资源网络之间隔离，从而达到用户数据及处理技术安全目的。
需要说明的是，具体实施时，步骤S10、S20并不分先后。
在具体实施时，本发明提供的基于SDN技术的地震处理软件部署方法可以通过以下步骤实现：
第一步，为了满足在物理网络环境中搭建虚拟网络架构，首先我们需要在物理交互机中预先设置好相关的VLAN网段。
本实施例中，VLAN1001(172.17.11.0/24)作为整个虚拟网络对外出口的线路，VLAN998(172.17.1.0/24)将做为物理VLAN包封装为VXLAN需要的通信线路，(172.17.12.0/24 172.17.13.0/24)网段作为VXLAN使用的虚拟子网段
第二步，在虚拟化平台中部署NSX Manager及NSX Controller。
在NSX Controller节点下添加新的虚拟化网络IP地址，建立虚拟化节点。
第三步，为虚拟化节点安装SDN网络驱动
第四步，配置边界网关的上连端口
第五步，配置边界网关IP地址，配置下连线路及IP，并完成边界网关的配置
第六步，安装分布式逻辑交换机(内网DLR)，配置DLR的上连及下连网关，完成内网DLR的配置
第七步，配置边界网关与内网DLR的路由，配置边界网关与内网DLR直接的OSPF(路由自动学习功能)
第八步，使用制作完成的镜像模板，发布4台虚机制作Hadoop集群，测试组建的SDN网络是否可用，进入虚机测试Hadoop集群功能是否可用。本实施例中，镜像模板为Hadoop整套集群，至少5个虚机，包括Hadoop集群所需的登录节点，集群管理主节点、数据节点以及对应的数据库节点。
验证hadoop集群功能全部正常，作业也可以正常提交；为此我们在后续的Hadoop集群搭建时，就可以不再需要繁琐的安装配置工作，使用一套镜像模板瞬间复制出另一套集群，网络由SDN去虚拟出一个VXLAN网络段，所有的集群配置且可以保持不变，并且与其他集群互不干扰，真正做到了计算资源，存储，及网络分离的目的。
如图4所示，本发明提供一种基于SDN技术的地震处理软件部署系统，包括：虚拟网络构建模块10、模板建立模块20及部署模块30。
虚拟网络构建模块10用于构建虚拟SDN网络；更具体地，先使用ESXi结合vCenter构建一个虚拟化平台；再在所述虚拟化平台安装NSX Manager以及NSX Controller组件；最后利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。其中包括NSX Logical Router(逻辑路由器)、虚拟分布式交换机(DistributedServices)、边界网关(NSX Edge)等功能。
模板建立模块20用于建立镜像模板；本实施例中，将集群服务(包括Hadoop集群服务、Spark集群服务)和地震处理系统应用(例如是π-Frame地震处理系统应用)安装在容器内；再将所述容器打包为镜像，并存放在镜像仓库。本实施例中容器是部署在虚拟机上的。
部署模块30与虚拟网络构建模块10、模板建立模块20相连，部署模块30用于使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。更具体地，在各个物理节点(实体服务器)上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。利用SDN技术将集群网络与用户接入网络隔离，集群资源网络之间隔离，从而达到用户数据及处理技术安全目的。
本发明提供了一种基于SDN技术的地震处理软件部署方法及系统，改进了地震数据处理软件的安装部署及网络部署方式，通过SDN技术将用户登陆与计算集群资源实现松耦合。
本发明改进了地震数据处理软件的安装部署及网络部署方式，通过SDN技术将用户登陆与计算集群资源实现松耦合。从而实现了虚拟化技术打包复制部署集群镜像的目的；使用SDN技术将网络层抽离，可以动态调配网络。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本、发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (8)

1.一种基于SDN技术的地震处理软件部署方法，其特征在于，包括：
构建虚拟SDN网络；
建立镜像模板；
使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。
2.根据权利要求1所述基于SDN技术的地震处理软件部署方法，其特征在于，所述构建虚拟SDN网络包括：
使用ESXi结合vCenter构建一个虚拟化平台；
在所述虚拟化平台安装NSX Manager以及NSX Controller组件；
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
3.根据权利要求1所述基于SDN技术的地震处理软件部署方法，其特征在于，所述建立镜像模板包括：
将集群服务和地震处理系统应用安装在容器内；
将所述容器打包为镜像，并存放在镜像仓库。
4.根据权利要求3所述基于SDN技术的地震处理软件部署方法，其特征在于，所述使用所述镜像模板复制出另一套集群具体包括：
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。
5.一种基于SDN技术的地震处理软件部署系统，其特征在于，包括：
虚拟网络构建模块，用于构建虚拟SDN网络；
模板建立模块，用于建立镜像模板；
部署模块，用于使用所述镜像模板复制出另一套集群，并由SDN网络虚拟出对应的VXLAN网络段。
6.根据权利要求5所述基于SDN技术的地震处理软件部署系统，其特征在于，所述虚拟网络构建模块具体用于：
使用ESXi结合vCenter构建一个虚拟化平台；
在所述虚拟化平台安装NSX Manager以及NSX Controller组件；
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
7.根据权利要求5所述基于SDN技术的地震处理软件部署系统，其特征在于，所述模板建立模块具体用于：
将集群服务和地震处理系统应用安装在容器内；
将所述容器打包为镜像，并存放在镜像仓库。
8.根据权利要求7所述基于SDN技术的地震处理软件部署系统，其特征在于，所述部署模块具体用于：
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地，使用该镜像启动容器实例，并在容器内执行配置脚本，完成安装部署工作。
CN201910973081.6A 2019-10-14 2019-10-14 一种基于sdn技术的地震处理软件部署方法及系统 Pending CN112732271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910973081.6A CN112732271A (zh) 2019-10-14 2019-10-14 一种基于sdn技术的地震处理软件部署方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910973081.6A CN112732271A (zh) 2019-10-14 2019-10-14 一种基于sdn技术的地震处理软件部署方法及系统

Publications (1)

Publication Number Publication Date
CN112732271A true CN112732271A (zh) 2021-04-30

Family

ID=75588426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910973081.6A Pending CN112732271A (zh) 2019-10-14 2019-10-14 一种基于sdn技术的地震处理软件部署方法及系统

Country Status (1)

Country Link
CN (1) CN112732271A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297012A (zh) * 2022-08-03 2022-11-04 重庆奥普泰通信技术有限公司 Sdn控制器的离线测试方法、装置、控制器及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227460A (zh) * 2015-10-13 2016-01-06 电子科技大学 一种基于sdn的地震解释系统
CN105389196A (zh) * 2014-09-04 2016-03-09 中国石油化工股份有限公司 利用虚拟化技术进行地震资料处理的方法
CN106199696A (zh) * 2016-06-29 2016-12-07 中国石油天然气股份有限公司 地震数据处理系统和方法
CN109076028A (zh) * 2016-05-19 2018-12-21 思科技术公司 异构软件定义网络环境中的微分段
US20190166003A1 (en) * 2017-11-29 2019-05-30 Nicira, Inc. Agent-based network scanning in software-defined networking (sdn) environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389196A (zh) * 2014-09-04 2016-03-09 中国石油化工股份有限公司 利用虚拟化技术进行地震资料处理的方法
CN105227460A (zh) * 2015-10-13 2016-01-06 电子科技大学 一种基于sdn的地震解释系统
CN109076028A (zh) * 2016-05-19 2018-12-21 思科技术公司 异构软件定义网络环境中的微分段
CN106199696A (zh) * 2016-06-29 2016-12-07 中国石油天然气股份有限公司 地震数据处理系统和方法
US20190166003A1 (en) * 2017-11-29 2019-05-30 Nicira, Inc. Agent-based network scanning in software-defined networking (sdn) environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TEEMU TAKASUO: "Software-Defined Networking", SOFTWARE-DEFINED NETWORKING, vol. 2018, pages 278 - 288 *
樊重俊等编著: "《大数据在各行业的应用》", vol. 2016, 31 January 2016, 立信会计出版社, pages: 44 - 45 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297012A (zh) * 2022-08-03 2022-11-04 重庆奥普泰通信技术有限公司 Sdn控制器的离线测试方法、装置、控制器及介质
CN115297012B (zh) * 2022-08-03 2024-02-06 重庆奥普泰通信技术有限公司 Sdn控制器的离线测试方法、装置、控制器及介质

Similar Documents

Publication Publication Date Title
US11595252B2 (en) Composable edge device platforms
US11665053B2 (en) Initializing network device and server configurations in a data center
US20200004570A1 (en) Dynamically scaled hyperconverged system
US10033584B2 (en) Automatically reconfiguring physical switches to be in synchronization with changes made to associated virtual system
US11099910B2 (en) Deploying cloud-native services across control planes
US11469965B2 (en) Determining formal models using weighting factors for computing elements in multi-domain environments
CN115280728A (zh) 虚拟化计算机系统中的软件定义网络协调
CN111865641B (zh) 在数据中心中初始化服务器配置
CN104468791A (zh) 私有云IaaS平台的构建方法
CN109799998B (zh) OpenStack集群配置及批量部署方法及系统
US11941406B2 (en) Infrastructure (HCI) cluster using centralized workflows
US8995424B2 (en) Network infrastructure provisioning with automated channel assignment
CN114650223A (zh) 一种Kubernetes集群的网络配置方法、装置及电子设备
US11265224B1 (en) Logical network visualization
CN112732271A (zh) 一种基于sdn技术的地震处理软件部署方法及系统
US9697241B1 (en) Data fabric layer having nodes associated with virtual storage volumes of underlying storage infrastructure layer
US8396966B2 (en) Method and an apparatus for creating visual representations of farms that enables connecting farms securely
Khalel et al. Enhanced load balancing in kubernetes cluster by minikube
CN110795209A (zh) 一种控制方法和装置
Ugwuanyi et al. Network virtualization: proof of concept for remote management of multi-tenant infrastructure
Saini et al. Optimizing Edge Computing through Virtualization: A Comprehensive Review.
US11915059B2 (en) Virtual edge devices
US7840902B2 (en) Method and an apparatus for automatic creation of secure connections between segmented resource farms in a utility computing environment
CN109783198B (zh) 一种批量大数据实验环境的快速自动构建方法
EP4320525A1 (en) Composable edge device platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination