CN109542970A - 一种基于容器的大规模异构数据管理方法 - Google Patents
一种基于容器的大规模异构数据管理方法 Download PDFInfo
- Publication number
- CN109542970A CN109542970A CN201811423614.5A CN201811423614A CN109542970A CN 109542970 A CN109542970 A CN 109542970A CN 201811423614 A CN201811423614 A CN 201811423614A CN 109542970 A CN109542970 A CN 109542970A
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- container
- center
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明针对现有大规模异构数据中心管理方法存在数据管理混乱、数据不具有隔离性、安全性低等问题，提供一种基于容器的大规模异构数据管理方法，流程如下：1、数据中心管理平台下发数据采集需求给数据端；2、数据端根据数据采集需求，将数据中心需要的数据从数据源进行采集，并存储到移动介质；3、数据中心安装部署数据管理所需环境；4、数据中心管理平台将采集的数据上传到数据中心的分布式存储集群；5、用户通过数据中心管理平台启动Docker容器，挂载数据文件，返回连接参数；6、用户使用数据中心管理平台统一管理数据中心的数据。本发明可有效缓解数据采集、存储、分析等困难，显著提高数据管理中心的效率以及数据的可靠性。
Description
技术领域
本发明属于数据中心大规模异构数据管理领域，具体涉及一种基于容器的大规模异构数据管理方法，主要针对大规模异构数据管理，提供一个大规模异构数据中心实现方案，包括数据的采集、迁移、存储、复现等。
背景技术
随着信息技术的飞速发展，应用所使用的存储数据库根据需要各不相同，所产生的数据量也在飞速增长，而许多的应用数据需要在数据中心备份，如各大政府部门、公司数据需要再备份到审计部门的数据中心以供审查等。然而由于各个部门使用的数据库不同且数据量大等特点，传统的数据中心不能提供一个高效、可靠的数据采集、迁移、重现策略，很大程度上影响了数据审计活动的效率。
目前大部分应用使用数据库存储数据，数据库的迁移和备份是非常耗时的过程，而传统的数据中心都是将被采集数据端的数据通过数据库中间文件导入到数据中心的数据库中，如需要采集oracle数据库的数据，则将被采集数据导出成oracle数据库的中间文件格式即dmp文件，然后将dmp文件迁移到数据中心，再根据一定规则将dmp文件导入到数据中心的汇总数据库中。数据导出成dmp文件和dmp文件的导入需要大量的时间消耗，并且数据中心将所有的数据导入到一个数据库中，数据之间的隔离性弱，数据迁移、备份困难，也不利于海量数据的管理。
同时，由于不同行业、公司使用的数据库类软件不同，不同数据库的数据需要导入到不同的数据库中，则需要在数据中心安装所有的数据库软件。数据中心单个机器运算性能、存储性能不能满足海量异构数据的存储需求，需要多个机器构成分布式集群。目前主流数据库的分布式实现困难，造成数据中心难以整合所有的机器资源，造成资源浪费。
上述方法不仅在数据采集、迁移、导入等步骤需要大量的时间消耗，并且每个步骤需要专业的数据库人才投入大量的时间。同时，数据的管理也面临很大困难、资源浪费严重。因此，上述方法难以大规模普及，对于目前数据中心海量的大规模异构数据管理已经完全不能满足需求。
根据调查显示，目前大部分主流数据库，数据迁移不但支持导出如dmp文件的静态文件然后导入到新数据库，而且支持数据文件的迁移，可以将源数据库的所有数据文件包括控制文件、日志信息、数据文件等都迁移到新数据库的对应位置，即可完整复现原始数据库。容器技术(Container)的出现为这种大规模异构数据中心构建和管理提供了一种新的技术方案。同时，目前在分布式系统上的容器编排技术Kubernetes已经非常成熟，得到大规模商用，具有很好的稳定性，可以很好的屏蔽不同硬件机器的差异，将不同机器组成一个大规模集群，并对于主流的分布式存储系统有良好的适用性，可以显著提供资源的利用率以及数据中心的效率。
发明内容
本发明的目的在于针对现有大规模异构数据中心进行数据管理时将各种数据端数据导入到数据中心一个库，导致数据管理混乱、数据不具有隔离性、安全性低等问题，提出了一种基于容器的大规模异构数据管理方法，有效缓解了数据采集、存储、分析等困难，显著提高数据管理中心的效率以及数据的可靠性。
本发明的技术方案包括以下步骤：
步骤1、数据中心管理平台下发数据采集需求给数据端；
步骤2、数据端根据数据采集需求，将数据中心需要的数据从数据源进行采集，并存储到移动介质；
步骤3、数据中心安装部署数据管理所需环境；
步骤4、数据中心管理平台将被采集的数据文件从移动存储介质上传到数据中心的分布式存储集群；
步骤5、用户通过数据中心管理平台选择对应的数据，通过Kubernetes启动一个与选择数据所使用数据库对应的Docker容器，并通过Docker容器的文件挂载技术挂载被选择的数据文件，启动完成后为用户返回数据库相应的连接参数；
步骤6、用户使用数据中心管理平台统一管理数据中心的数据。
作为本发明技术方案的进一步改进，步骤2中数据端采集数据中心需要的数据，具体执行以下步骤：
步骤2.1、数据端安装Docker容器，并导入与数据端数据库符合的Docker镜像；
步骤2.2、数据端启动一个与被采集数据所使用数据库相符合的Docker容器；
步骤2.3、数据端保存被采集数据的信息，如数据库类型、编码方式、采集人等，方便数据中心查看数据信息并溯源；
步骤2.4、数据端根据启动容器的连接参数连接容器数据库，并运行相应的数据采集脚本将需要上传到数据中心的数据导入到Docker容器中；
步骤2.5、将容器中数据库的数据文件拷贝到移动存储介质，然后转存到数据中心或者直接通过网络将数据文件上传到数据中心，此时数据采集结束。
所述步骤3中，数据中心安装部署数据管理所需环境，包括安装Docker软件包、Kubernetes软件包，导入需要的镜像，并在数据中心搭建高可靠分布式存储系统用于存储数据文件。
所述步骤6中用户使用数据中心管理平台统一管理数据中心的数据，具体包括以下内容：包括管理数据存储、启动、查看的数据，并根据需要进行数据汇总、数据校验操作。
所述方法中，数据中心管理平台基于Kubernetes实现对Docker数据集群的管理。
上述各步骤中，所用到的工具Docker、Kubernetes以及分布式存储都已经非常成熟，常用数据库的数据文件迁移也是数据库迁移常用的方法，具有很高的可靠性。
采用本发明可以达到以下技术效果：
本发明基于Docker容器技术，使数据的迁移不再需要导入导出，避免了数据导入导出的时间消耗，提高了数据的隔离性和安全性；同时使用Kubernetes、分布式存储将不同性能的机器组成一个数据集群，可以很好的屏蔽不同硬件机器的差异，将不同机器组成一个大规模集群，并且对于主流的分布式存储系统有良好的适用性，可以显著提供资源的利用率以及数据中心的效率。因此，本发明适用于大规模异构数据中心的数据管理。
附图说明
图1为本发明基于容器的大规模异构数据管理方法总体流程图；
图2为本发明数据端进行数据采集方法实施例一的流程图；
图3为本发明数据中心用户查看被采集数据方法实施例二的流程图。
具体实施方式
本发明主要针对大规模异构数据中心的数据管理，包括数据的采集、存储、查看以及分析。
如图2所示，为本发明数据端A公司根据数据中心需求采集数据流程图，具体执行以下步骤：
步骤201、数据端A公司收到数据中心下发的数据采集需求，需要采集本公司oracle数据库中2017年数据；
步骤202、数据端A公司安装Docker并导入Oracle镜像；
步骤203、启动Oracle容器，并返回连接参数如10.0.0.1:35113/orcl；
步骤204、采集人记录被采集数据的相关信息，如数据库类型、采集时间、联系人等方便数据中心进行数据溯源；
步骤205、使用参数10.0.0.1:35113/orcl连接容器中的oracle数据库并运行数据采集脚本将数据导入到容器中；
步骤206、将容器中的数据文件，包括控制文件、日志文件等拷贝到移动存储介质然后迁移到数据中心服务器或者通过网络上传到数据中心服务器。
该方法基于Docker容器技术进行数据采集，避免了传统数据采集方法频繁的数据导入导出造成的大量时间消耗，并且基于Docker容器采集的数据文件能够即插即用，可以快速的识别数据的正确性，避免了因错误数据导入引起的额外时间消耗，显著提升了数据采集的效率。
如图3所示，为本发明在大规模异构数据中心采集、存储、查看A公司和B公司2017年度数据流程图，具体执行以下步骤：
步骤301、数据中心向被采集数据端A公司和B公司下发采集需求，分别采集A公司和B公司2017年的数据；
步骤302、A公司和B公司分别通过数据采集步骤同时并行采集数据到数据中心；
步骤303、数据中心安装Docker、Kubernetes等必要软件并导入查看A公司数据库所需的oracle镜像和查看B公司数据看所需的mysql镜像，同时搭建一个高可用的分布式存储系统用于存储A公司和B公司采集的数据文件；
步骤304、将采集到的A公司2017年的oracle数据文件和B公司2017年的mysql数据文件上传到数据中心存储服务器上；
步骤305、用户通过数据中心管理平台选择A公司2017年的数据文件查看；
步骤306、数据中心管理平台通过Kubernetes启动一个oracle容器，并挂载A公司2017年的数据文件到oracle容器中，返回oracle容器的连接参数给用户10.0.0.1:35153/orcl；
步骤307、用户通过10.0.0.1:35153/orcl参数连接oracle容器查看A公司2017年的数据，并通过管理平台可以进行数据的汇总、校验等。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
Claims (5)
1.一种基于容器的大规模异构数据管理方法，其特征在于，包括以下步骤：
步骤1、数据中心管理平台下发数据采集需求给数据端；
步骤2、数据端根据数据采集需求，将数据中心需要的数据从数据源进行采集，并存储到移动介质；
步骤3、数据中心安装部署数据管理所需环境；
步骤4、数据中心管理平台将被采集的数据文件从移动存储介质上传到数据中心的分布式存储集群；
步骤5、用户通过数据中心管理平台选择对应的数据，通过Kubernetes启动一个与选择数据所使用数据库对应的Docker容器，并通过Docker容器的文件挂载技术挂载被选择的数据文件，启动完成后为用户返回数据库相应的连接参数；
步骤6、用户使用数据中心管理平台统一管理数据中心的数据。
2.如权利要求1所述的基于容器的大规模异构数据管理方法，其特征在于，所述步骤2中数据端采集数据中心需要的数据，具体执行以下步骤：
步骤2.1、数据端安装Docker容器，并导入与数据端数据库符合的Docker镜像；
步骤2.2、数据端启动一个与被采集数据所使用数据库相符合的Docker容器；
步骤2.3、数据端保存被采集数据的信息，如数据库类型、编码方式、采集人等，方便数据中心查看数据信息并溯源；
步骤2.4、数据端根据启动容器的连接参数连接容器数据库，并运行相应的数据采集脚本将需要上传到数据中心的数据导入到Docker容器中；
步骤2.5、将容器中数据库的数据文件拷贝到移动存储介质，然后转存到数据中心或者直接通过网络将数据文件上传到数据中心，此时数据采集结束。
3.如权利要求1所述的基于容器的大规模异构数据管理方法，其特征在于，所述步骤3中，数据中心安装部署数据管理所需环境，包括安装Docker软件包、Kubernetes软件包，导入需要的镜像，并在数据中心搭建高可靠分布式存储系统用于存储数据文件。
4.如权利要求1所述的基于容器的大规模异构数据管理方法，其特征在于，所述步骤6中用户使用数据中心管理平台统一管理数据中心的数据，具体包括以下内容：包括管理数据存储、启动、查看的数据，并根据需要进行数据汇总、数据校验操作。
5.如权利要求1至4中任意一项所述的基于容器的大规模异构数据管理方法，其特征在于，所述数据中心管理平台基于Kubernetes实现对Docker数据集群的管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811423614.5A CN109542970A (zh) | 2018-11-27 | 2018-11-27 | 一种基于容器的大规模异构数据管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811423614.5A CN109542970A (zh) | 2018-11-27 | 2018-11-27 | 一种基于容器的大规模异构数据管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109542970A true CN109542970A (zh) | 2019-03-29 |
Family
ID=65850757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811423614.5A Pending CN109542970A (zh) | 2018-11-27 | 2018-11-27 | 一种基于容器的大规模异构数据管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542970A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11249749B2 (en) | 2020-03-26 | 2022-02-15 | Red Hat, Inc. | Automatic generation of configuration files |
| CN114780168A (zh) * | 2022-03-30 | 2022-07-22 | 全球能源互联网研究院有限公司南京分公司 | 智能终端容器安全策略动态变更的方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281072A (zh) * | 2013-07-10 | 2015-01-14 | 张颖 | 一种基于异构数据流的传输设备 |
| CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
| CN108446326A (zh) * | 2018-02-11 | 2018-08-24 | 江苏微锐超算科技有限公司 | 一种基于容器的异构数据管理方法及系统 |
-
2018
- 2018-11-27 CN CN201811423614.5A patent/CN109542970A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281072A (zh) * | 2013-07-10 | 2015-01-14 | 张颖 | 一种基于异构数据流的传输设备 |
| CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
| CN108446326A (zh) * | 2018-02-11 | 2018-08-24 | 江苏微锐超算科技有限公司 | 一种基于容器的异构数据管理方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11249749B2 (en) | 2020-03-26 | 2022-02-15 | Red Hat, Inc. | Automatic generation of configuration files |
| CN114780168A (zh) * | 2022-03-30 | 2022-07-22 | 全球能源互联网研究院有限公司南京分公司 | 智能终端容器安全策略动态变更的方法、装置及电子设备 |
| CN114780168B (zh) * | 2022-03-30 | 2023-04-28 | 全球能源互联网研究院有限公司南京分公司 | 智能终端容器安全策略动态变更的方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309071B (zh) | 测试代码的生成方法及模块、测试方法及系统 | |
| CN108446326B (zh) | 一种基于容器的异构数据管理方法及系统 | |
| CN107370786B (zh) | 一种基于微服务架构的通用信息管理系统 | |
| CN106327055B (zh) | 一种基于大数据技术的电力费控方法及系统 | |
| CN107122360A (zh) | 数据迁移系统和方法 | |
| WO2014049804A1 (ja) | 分散システムにおけるシステム動作トレース方法 | |
| CN109582717A (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
| CN104462185A (zh) | 一种基于混合结构的数字图书馆云存储系统 | |
| CN106294128B (zh) | 一种导出报表数据的自动化测试方法及装置 | |
| CN110046202A (zh) | 基于内存键值数据库的综合电力系统实时数据管理方法 | |
| CN110414259A (zh) | 一种构建数据类目、实现数据共享的方法及设备 | |
| CN112559475A (zh) | 数据实时捕获和传输方法及系统 | |
| CN109542970A (zh) | 一种基于容器的大规模异构数据管理方法 | |
| CN111459900B (zh) | 大数据生命周期设置方法、装置、存储介质及服务器 | |
| CN110069376A (zh) | 一种关联造数的方法、装置、存储介质及计算机设备 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN113872813A (zh) | 一种载波通信设备全生命周期管理方法及系统 | |
| CN106780157B (zh) | 基于Ceph的电网多时态模型存储与管理系统及方法 | |
| CN106802928B (zh) | 电网历史数据管理方法及其系统 | |
| CN111913933A (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN111753015B (zh) | 支付清算系统的数据查询方法及装置 | |
| JP7328371B2 (ja) | 増分データ照合を実現するシステム及び方法 | |
| CN110825744B (zh) | 一种基于集群环境的空气质量监测大数据分区存储方法 | |
| CN111182006B (zh) | 一种物理集群映射为云计算资源的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 410000 Room 201, 13 Building, Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province Applicant after: Hunan Zhijing Technology Co., Ltd. Address before: 410000 No. 167, F26 Shop, Lugu Linyu District, 408 Tongzipo West Road, Changsha High-tech Development Zone, Hunan Province Applicant before: Changsha Zhi Qing Information Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: He Zhenyuan Inventor after: Xiao Licheng Inventor after: Zhong Jin Inventor after: Zheng Ying Inventor before: He Zhenyuan Inventor before: Xiao Licheng Inventor before: Yin Gang Inventor before: Zhong Jin Inventor before: Zheng Ying |
|
| CB03 | Change of inventor or designer information | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190329 |
|
| WD01 | Invention patent application deemed withdrawn after publication |