CN110780888A - 用于部署云数据库的方法 - Google Patents

用于部署云数据库的方法 Download PDF

Info

Publication number
CN110780888A
CN110780888A CN201910952188.2A CN201910952188A CN110780888A CN 110780888 A CN110780888 A CN 110780888A CN 201910952188 A CN201910952188 A CN 201910952188A CN 110780888 A CN110780888 A CN 110780888A
Authority
CN
China
Prior art keywords
image
database
data
configuration file
docker images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910952188.2A
Other languages
English (en)
Inventor
马建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing MetarNet Technologies Co Ltd
Original Assignee
Beijing MetarNet Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing MetarNet Technologies Co Ltd filed Critical Beijing MetarNet Technologies Co Ltd
Priority to CN201910952188.2A priority Critical patent/CN110780888A/zh
Publication of CN110780888A publication Critical patent/CN110780888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及用于部署云数据库的方法。本申请的一个实施例公开了：一种用于部署云数据库的方法，其包括：设置数据库的一个或多个独立的docker镜像，其中所述数据库的配置文件放置在所述一个或多个独立的docker镜像之外，且所述配置文件映射至所述一个或多个独立的docker镜像内部；基于终端设备的配置以及网络场景来自动调整所述一个或多个独立的docker镜像的所述配置文件；以及使用所述一个或多个独立的docker镜像加载所述配置文件。

Description

用于部署云数据库的方法
技术领域
本申请涉及通信技术领域，具体来说，涉及用于部署云数据库的方法。
背景技术
加气站、加油站、加盟超市、加盟餐饮等单位的管理都是单点管理，运营数据多为离线数据，各单位的运营数据不互通，陈旧的管理方式增加了管理难度，耗费较大的人力、物力，同时也限制了企业发展。
部分企业也通过互联网手段，实现了多站点的联网管理办法。随着业务规模的增大，企业的各项数据也日益庞大，数据已逐渐成了企业的发展命脉，数据安全也至关重要。
一些企业通过单机的个人计算机(Personal Computer,PC)端安装Mysql数据库，数据存储在PC的硬盘上，每个站点无法实现数据互通。从而衍生了一些典型问题：A站点发布的会员卡、B站点无法使用，A、B站点都需要配备统计员进行账目统计等。同时一旦站点PC产生灾难性的故障，数据无法恢复。还有一些企业将数据库单独部署在服务器上，设置防火墙，通过数据库集群进行数据库的灾备。但是这种自建数据中心的方法，往往安全性得不到保障，数据一旦泄露，对于企业是巨大损失。通过单机部署部署数据库无法实现企业的多点联网，自建数据中心成本高，安全性无法得到有效保障。
因此，需要一种新的部署数据库的方法，来解决这些问题。
发明内容
本申请的一个实施例公开了：一种用于部署云数据库的方法，其包括：设置数据库的一个或多个独立的docker镜像，其中所述数据库的配置文件放置在所述一个或多个独立的docker镜像之外，且所述配置文件映射至所述一个或多个独立的docker镜像内部；基于终端设备的配置以及网络场景来自动调整所述一个或多个独立的docker镜像的所述配置文件；以及使用所述一个或多个独立的docker镜像加载所述配置文件。
附图说明
图1展示了根据本申请的一个实施例所部署的云数据库。
具体实施方式
为了解决上述技术问题，本申请提出了一种部署云数据库的方法。通过将数据中心部署于云端，通过互联网或无线通信网络将企业的多个点位的运营管理数据实时传输到统一的数据中心管理平台，同时实时采集各个点位的销售收入、采购支出、财务数据等，实现多点位统一运营及管理。实现企业多点位的统一联网接入管理，一卡多点通用、数据多站点容灾备份，通过云端数据库中心，构建大数据WEB端查询，以及多点位的快速接入/快捷清算等管理方式，节省人力、物力成本。
图1展示了根据本申请的一个实施例所部署的云数据库。借由本申请提供的基于“云”实现多场景联网管理的方法，将数据中心部署在云上，例如：浪潮云，其通过无线或互联网连接至职能部门、用户、站点A、站点B以及站点C等等，并且站点A、站点B以及站点C均可以连接至移动设备，例如：手机、笔记本电脑，平板等等。云数据库具有防火墙、云盾(安全)以及云数据库。从云主机安全、虚拟化安全、网络安全、数据安全、运维安全五个维度打造了InCloud Security云安全体系，通过可信服务器、主机安全加固、虚拟化安全防护、云应用交付等等，极大地保证了网络环境的安全。
在一个实施例中，本申请的方法能够快速部署云数据库以及创建实例。首先准备好预置数据库的docker镜像。具体来说，先初始化好空数据目录，或者根据使用场景来预置数据，接着将数据库配置文件放置在docker镜像之外，通过映射的方式进入docker镜像内部。docker镜像可以有一个或多个，本申请无意对docker镜像的数量做出限制。
用户可以对实例资源做出选择，例如：用户可以选择中央处理器(centralprocessing unit,CPU)、内存等等。用户还可以对使用场景做出选择，例如联机事务处理过程(On-Line Transaction Processing,OLTP)或联机分析处理(On-Line AnalysisProcessing,OLAP)。基于所选择的实例资源和/或使用场景，系统自动计算最佳设置。例如：自动调整、优化配置文件中的一个或多个参数，例如：共享缓存、work_mem等等)。之后，使用docker镜像加载外置配置文件启动数据。
本申请的部署云数据库具有多种部署方式。在一个实施例中，可以采用单机的方式，也即仅有一个单独的docker镜像。在另一个实施例中，采用主备和负载均衡的方式。在这种方式中，需要配置的三个独立的docker镜像，分别将这三个镜像配置为主机、备机、读写分离节点，这三个节点的配置文件均在docker镜像的外部，并映射到内部运行。在启动时，根据用户的资源选择和网络场景，自动设置这三个节点的配置文件内容。在又一个实施例中，采用KADB集群的方式。在这种方式中，至少需要配置两个独立的docker镜像，其分别配置为数据节点、协调器节点等。这些节点的配置文件都放在docker镜像的外部，并映射到docker镜像的内部运行。接着，根据用户设置的实例资源和/或使用场景，自动分配节点数量并配置节点参数。
本申请的方法可以在云环境中，支持在线调整任何一个实例使用的资源。对于数据库而言，若分配的资源发生变化，例如：CPU、内存、磁盘等资源发生变化，数据库同样需要对于资源的变化进行相应的调整。
在一个实施例中，由于CPU主要影响数据库的并发连接数和并行参数，当CPU变化时，在本申请的云数据库中，可以动态调整并发连接数和并行参数。
在另一个实施例中，当内存发生变化时，可以动态调整以及动态扩展数据库的共享内存、排序内存等内存分配。
在又一个实施例中，当磁盘发生变化时，数据库可以配置表空间的存储，以及表存储、分区的存储，并动态使用改变后的磁盘资源。
另外，随着实际业务的增长，数据库集群的负载可能超出初始设计的承受能力，导致处理能力下降，不能够满足业务需求，所以数据库集群支持在线扩展，即在不影响系统正常使用的情况下，增加数据库的数据处理能力。
本申请的云数据库支持多租户模式，以实现多个租户之间的资源隔离。每个租户都创建自己的数据库，各自的数据库从元信息、用户数据到内存、以及日志信息，都是彼此隔离的。每个租户的数据库不可以彼此访问。同时各个租户的数据库可以方便的迁移和加载，支持各自的备份和恢复。
本申请的方法还可以向非关系型存储、大数据处理进行扩展。
在一个实施例中，针对通用数据库，分析型数据库：主要用于统计分析，数据挖掘应用。这种分析型数据库主要面向决策者和分析人员。对数据库的操作特点是：大量数据入库，大量复杂查询。
在另一个实施例中，本申请的方法可以与大数据平台进行互访。大数据计算平台，例如Spark、HIVE等，需要支持大数据计算平台与数据库互访。以大数据计算平台为中心，建立分析平台。
与大数据平台的互访包括大数据计算平台访问数据库。以大数据计算平台Spark为例，可以提供JdbcRDD来访问单机数据库系统，并且根据某列对表进行分区，并行读取，从而提升效率。对于集群数据库，Spark工作进程可以对每一个存储节点进行数据读取，通过这种并行的方式提升效率。
以大数据计算平台HIVE为例，需要在HIVE中注册数据库表信息，将数据库的表映射成HIVE表，通过Hive-SQL进行数据读取，并在HIVE中进行运算。
与大数据平台的互访还包括数据库访问大数据计算平台，大数据计算平台可以将数据，例如计算结果，写入到数据库中，接着在数据库中，利用SQL对数据进行分析。
本申请的方法还能够集成云数据。具体来说，包括与关系型数据库服务(Relational Database Service,RDS)的数据集成以及与大数据存储平台的数据集成等等。
针对与RDS的数据集成，本申请的方法中的数据库使用外部表技术，可以访问RDS中的其他数据。其支持多种格式的数据，支持访问和更新数据，同时，使用迁移工具实现到RDS的数据集成。
针对与大数据存储平台的数据集成，本申请的方法中的数据库提供外部表技术，可以将交易型和分析型数据库与其他存储平台对接，在数据库内部，通过外部表访问大数据存储平台中的数据，包括：与Hadoop分布式文件系统(HDFS)对接：外部表访问引擎(读写模块)，通过调用HDFS的访问接口(InputFormat，OutputFormat)，对Textfile、Avrofile以及ParquetFile的文件进行读写。可以在数据库中对HDFS中的数据进行计算，或者将结果保存在HDFS中。
本申请的方法还能够与Kafka对接：在数据库内部通过外部表的方式，将kafka的消息拉取到数据库。对集群数据库，每一个计算节点都会参与消息消费，因此可以达到很高的消费速率。
根据本申请的方法，本申请实现了以下技术效果：
-多场景联网管理，工作扁平化，提高了效率；
-云端数据中心建设，数据联网管理，实现多区域、多点一卡通；
-多点联网，数据统一能够对运营情况实时掌握，快速应对市场需求变化；
-统一云端数据中心，能够自动生成各点实时和周期报表，提供决策支持，经营安全系数高。
-统一云端数据中心，提升数据安全性，同时节省人力、物力。
在某些实施例中，云数据库可基于经由存储器组件、寄存器及类似物提供的计算机可执行指令执行各种操作。存储器组件或存储装置可为可充当用于存储处理器可执行代码、数据或类似物的介质的任何适当制品。这些制品可代表计算机可读介质(即，任何适当形式的存储器存储装置)，所述计算机可读介质可存储由云数据库使用来执行当前揭示技术的处理器可执行代码。存储器及存储装置也可用于存储数据、数据分析及类似物。存储器及存储装置可代表非暂时性计算机可读介质(即，任何适当形式的存储器或存储装置)，所述非暂时性计算机可读介质可存储由云数据库用于执行本文中描述的各种技术的处理器可执行代码。应注意，非暂时性仅指示介质是有形的且并非是信号。
虽然本文中描述的实施例可具有各种修改及替代形式，但是特定实施例已在图式中通过实例展示且已在本文中予以详细描述。本发明并不限于所揭示的特定形式。本发明涵盖落于如由权利要求书定义的本发明的精神及范围内的所有修改、等效物及替代。

Claims (8)

1.一种用于部署云数据库的方法，其包括：
设置数据库的一个或多个独立的docker镜像，其中所述数据库的配置文件放置在所述一个或多个独立的docker镜像之外，且所述配置文件映射至所述一个或多个独立的docker镜像内部；
基于终端设备的配置以及网络场景来自动调整所述一个或多个独立的docker镜像的所述配置文件；以及
使用所述一个或多个独立的docker镜像加载所述配置文件。
2.根据权利要求1所述的方法，其中所述一个或多个独立的docker镜像至少包括经配置为主机的第一镜像、经配置为备机的第二镜像以及经配置为读写分离节点的第二镜像。
3.根据权利要求2所述的方法，其中所述第一镜像的第一配置文件、所述第二镜像的第二配置文件以及所述第三镜像的第三配置文件分别位于所述第一镜像、所述第二镜像以及所述第三镜像之外，并分别映射至所述第一镜像、所述第二镜像以及所述第三镜像内部运行。
4.根据权利要求1所述的方法，其中所述一个或多个独立的docker镜像至少包括经配置为数据节点的第四镜像以及经配置为协调器节点的第五镜像。
5.根据权利要求4所述的方法，其中所述第四镜像的第四配置文件以及所述第五镜像的第五配置文件分别位于所述第四镜像以及所述第五镜像之外，并分别映射至所述第四镜像以及所述第五镜像内部运行。
6.根据权利要求1所述的方法，其中当所述终端设备的配置发生变化时，动态地调整所述数据库的所述配置文件中的一个或多个参数。
7.根据权利要求1所述的方法，其中所述数据库使用外部表技术来访问其他数据平台中的数据。
8.根据权利要求1所述的方法，其中所述数据库使用外部表技术将消息拉取到所述数据库中。
CN201910952188.2A 2019-10-09 2019-10-09 用于部署云数据库的方法 Pending CN110780888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910952188.2A CN110780888A (zh) 2019-10-09 2019-10-09 用于部署云数据库的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910952188.2A CN110780888A (zh) 2019-10-09 2019-10-09 用于部署云数据库的方法

Publications (1)

Publication Number Publication Date
CN110780888A true CN110780888A (zh) 2020-02-11

Family

ID=69385373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910952188.2A Pending CN110780888A (zh) 2019-10-09 2019-10-09 用于部署云数据库的方法

Country Status (1)

Country Link
CN (1) CN110780888A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527357A (zh) * 2020-12-14 2021-03-19 中国平安人寿保险股份有限公司 服务热加载更新方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491144A (zh) * 2013-09-09 2014-01-01 中国科学院计算技术研究所 一种广域网虚拟平台的构建方法
CN107016059A (zh) * 2017-03-10 2017-08-04 北京聚睿智能科技有限公司 一种数据库集群部署方法、装置及物理服务器
CN107547250A (zh) * 2017-06-26 2018-01-05 新华三云计算技术有限公司 在云计算管理平台中部署数据库的方法和装置
CN107562431A (zh) * 2017-09-25 2018-01-09 山东浪潮商用系统有限公司 一种终端系统的部署方法及装置
US20180095739A1 (en) * 2016-09-30 2018-04-05 International Business Machines Corporation Secure deployment of applications in a cloud computing platform
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
CN108958927A (zh) * 2018-05-31 2018-12-07 康键信息技术（深圳）有限公司 容器应用的部署方法、装置、计算机设备和存储介质
CN109271171A (zh) * 2018-09-17 2019-01-25 杭州安恒信息技术股份有限公司 一种基于Docker一键部署大数据平台的方法和装置
CN109814881A (zh) * 2017-11-21 2019-05-28 北京京东尚科信息技术有限公司 用于部署数据库集群的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491144A (zh) * 2013-09-09 2014-01-01 中国科学院计算技术研究所 一种广域网虚拟平台的构建方法
US20180095739A1 (en) * 2016-09-30 2018-04-05 International Business Machines Corporation Secure deployment of applications in a cloud computing platform
CN107016059A (zh) * 2017-03-10 2017-08-04 北京聚睿智能科技有限公司 一种数据库集群部署方法、装置及物理服务器
CN107547250A (zh) * 2017-06-26 2018-01-05 新华三云计算技术有限公司 在云计算管理平台中部署数据库的方法和装置
CN107562431A (zh) * 2017-09-25 2018-01-09 山东浪潮商用系统有限公司 一种终端系统的部署方法及装置
CN109814881A (zh) * 2017-11-21 2019-05-28 北京京东尚科信息技术有限公司 用于部署数据库集群的方法和装置
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
CN108958927A (zh) * 2018-05-31 2018-12-07 康键信息技术（深圳）有限公司 容器应用的部署方法、装置、计算机设备和存储介质
CN109271171A (zh) * 2018-09-17 2019-01-25 杭州安恒信息技术股份有限公司 一种基于Docker一键部署大数据平台的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527357A (zh) * 2020-12-14 2021-03-19 中国平安人寿保险股份有限公司 服务热加载更新方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US11030027B2 (en) System for technology anomaly detection, triage and response using solution data modeling
US10061830B2 (en) Reorganization of data under continuous workload
US20190361913A1 (en) Data replication technique in database management system
Abourezq et al. Database-as-a-service for big data: An overview
US9785515B2 (en) Directed backup for massively parallel processing databases
CN107180113B (zh) 一种大数据检索平台
CN105045929A (zh) 一种基于mpp构架的分布式关系型数据库
US11586646B2 (en) Transforming data structures and data objects for migrating data between databases having different schemas
CN103593420A (zh) 一种利用共享在线日志实现异构同平台的数据库集群搭建方法
CN102779138A (zh) 实时数据的硬盘存取方法
JP2015153123A (ja) アクセス制御プログラム、アクセス制御方法、およびアクセス制御装置
CN110780888A (zh) 用于部署云数据库的方法
CN106716400A (zh) 一种数据表的分区管理方法及装置
CN107273049B (zh) 一种应用在统一存储管理系统上的卷管理方法
CN109086296A (zh) 一种基于浏览器和服务器结构的电子商务系统
CN114003580A (zh) 一种运用于分布式调度系统的数据库构建方法及装置
KR101566884B1 (ko) 비정형 데이터 관리를 위한 분산 저장 시스템
US11500874B2 (en) Systems and methods for linking metric data to resources
US10331627B2 (en) Method and system for unified technological stack management for relational databases
CN105389368A (zh) 一种mpp架构数据库集群元数据管理方法
CN111984686A (zh) 一种数据处理的方法和装置
Singh NoSQL: A new horizon in big data
Pei et al. Design and Research of Big Data Collection and Analysis Platform Based on Cloud Computing
Elango Data replication for the distributed database using decision support systems
Sharma et al. Supportive architectural analysis for big data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination