CN111143369B - 云端业务数据转存方法及装置、本地服务器及电子设备 - Google Patents
云端业务数据转存方法及装置、本地服务器及电子设备 Download PDFInfo
- Publication number
- CN111143369B CN111143369B CN201911377805.7A CN201911377805A CN111143369B CN 111143369 B CN111143369 B CN 111143369B CN 201911377805 A CN201911377805 A CN 201911377805A CN 111143369 B CN111143369 B CN 111143369B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- cloud
- local
- remote engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及信息处理技术领域,提供了一种云端业务数据转存方法及装置、本地服务器及电子设备,包括:每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。本发明能实现将存储在云端的业务数据转存到本地服务器,克服现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题。
Description
技术领域
本发明涉及信息处理技术领域,具体涉及一种云端业务数据转存方法及装置、本地服务器及电子设备。
背景技术
近年来,许多公司或团队,倾向于将业务数据库设置在云端服务器,例如阿里云的RDS(关系型数据库服务)数据库等,而不保存在本地。但当需要利用这些存储在云端的业务数据进行后期数据备份和数据再加工,以提高公司运营效率,为下一方向进行判断时,业务数据的获取变得十分不易,因此需要一种切实可行的伪实时对存储在云端的业务数据进行转存的方法。
目前,行业内主流的对存储在云端的业务数据进行转存的方法有主从复制、binlog日志备份、利用其它组件实时数据写入消息队列中,再抽取数据转存等。
但是,现有的对存储在云端的业务数据进行转存的方法均是基于数据库服务器有专人维护账户、有root权限的情况下进行云端业务数据转存,而一般的开发人员的用户账户仅有数据库查看权限,无法执行对存储在云端的业务数据进行转存操作。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种云端业务数据转存方法,能够获取存储在云端的业务数据,实现将存储在云端的业务数据转存到本地服务器,克服了现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题。
本发明还提供了一种云端业务数据转存装置。
本发明还提供了一种本地服务器。
本发明还提供了一种电子设备。
本发明还提供了一种非暂态计算机可读存储介质。
根据本发明一个实施例提供的云端业务数据转存方法,包括:
每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;
将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
根据本发明一个实施例提供的云端业务数据转存方法可知,本发明实施例通过每隔预设时间段,读取云端服务器存储的业务数据到本地数据仓库进行数据转存,因此,能够实现将存储在云端的业务数据转存到本地服务器,克服了现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题,不需要进行付费。
根据本发明一个实施例,所述每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,具体包括:
每隔预设时间段,通过数据库远程引擎,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
根据本发明一个实施例可知,采用数据库远程引擎,可以方便快速地实现读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
根据本发明一个实施例,所述云端服务器中包括:主数据库和从数据库,所述主数据库用于业务数据的写入,所述从数据库同步来自于所述主数据库中的业务数据,所述从数据库用于业务数据的读取;
相应地,所述每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,具体包括:
每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
根据本发明一个实施例可知,采用包括主数据库和从数据库的云端服务器,每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到本地数据仓库进行数据转存,可利用云端服务器中的主数据库和从数据库实现对业务数据的读写分离,提高云端业务数据转存的安全性。
根据本发明一个实施例,所述将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存,具体包括:
通过脚本,将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
根据本发明一个实施例可知,采用脚本,能够方便快速地实现将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
根据本发明一个实施例,在读取云端服务器存储的业务数据到预先创建的远程引擎数据库中之前,所述方法还包括:
预先创建本地数据仓库,包括:预先创建远程引擎数据库以及数据分析库。
根据本发明一个实施例可知,在本地服务器中预先创建本地数据仓库,本地数据仓库包括远程引擎数据库和数据分析库,可以方便后续在远程引擎数据库和数据分析库的基础上,实现将存储在云端的业务数据转存到本地服务器。
根据本发明一个实施例,所述预先创建本地数据仓库,还包括:
预先创建数据备份库;
相应地,在每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中之后,所述方法还包括:
将所述远程引擎数据库中的数据复制到预先创建的本地数据仓库的数据备份库中。
根据本发明一个实施例可知,通过预先创建数据备份库,可以实现利用本地预先创建的数据备份库,对远程引擎数据库中的数据进行备份,进而提高转存后的业务数据的安全性和稳定性。
根据本发明一个实施例,在将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存之后,所述方法还包括:
对所述数据分析库中存储的数据进行再加工处理,将再加工处理的结果存入预先创建的本地数据仓库的数据备份库中。
根据本发明一个实施例可知,根据实际需求,对所述数据分析库中存储的数据进行再加工处理,可以实现转存后的业务数据的二次开发。
根据本发明一个实施例,所述云端服务器包括:阿里云端服务器。
根据本发明一个实施例可知,采用阿里云端服务器可以实现阿里云端中主数据库和从数据库的主从架构,实现在云端服务器中对业务数据进行读写分离,提高云端业务数据转存的安全性。
需要说明的是,本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的云端业务数据转存方法的流程图;
图2是本发明一实施例提供的云端业务数据转存装置的结构示意图;
图3是本发明一实施例提供的本地服务器的结构示意图;
图4是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在信息处理领域,行业内主流的对存储在云端的业务数据进行转存的方法有主从复制、binlog日志备份、利用其它组件实时数据写入消息队列中,再抽取数据转存等。但是,现有的对存储在云端的业务数据进行转存的方法均是基于数据库服务器有专人维护账户、有root权限的情况下进行云端业务数据转存,而一般的开发人员的用户账户仅有数据库查看权限,无法执行对存储在云端的业务数据进行转存操作。本发明实施例为解决该问题,提出一种云端业务数据转存方法,本发明实施例能够获取存储在云端的业务数据,实现将存储在云端的业务数据转存到本地服务器,克服了现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题。下面将通过具体实施例对本发明提供的云端业务数据转存方法进行详细说明。
图1示出了本发明一实施例提供的云端业务数据转存方法的流程图,参见图1,本发明实施例提供的云端业务数据转存方法,包括:
步骤S1:每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
需要说明的是,本实施例提供的云端业务数据转存方法的执行主体为本地服务器。
在本实施例中,可以根据实际情况对本实施例中的每隔预设时间段进行设置,例如,可以将每隔预设时间段设置为5分钟、半小时、3小时或1天等,本实施例并不对其进行限制。
在本实施例中,每隔预设时间段,可以通过数据库远程引擎,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
在具体应用中,本实施例中采用的数据库远程引擎可以根据实际情况进行选择,例如,若所述云端服务器中的数据库、所述本地数据仓库中的远程引擎数据库和数据分析库均为MySQL数据库,则所述数据库远程引擎可以为Federated引擎,本实施例可每隔预设时间段,通过Federated引擎,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。本实施例采用数据库远程引擎,可以方便快速地实现读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
在本实施例中,需要每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,以便后续可以基于远程引擎数据库中的数据,实现将存储在云端的业务数据转存到本地服务器。
步骤S2:通过脚本,将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
在本实施例中,可以通过脚本,将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
在具体应用中,本实施例中使用的脚本可以包括:sql脚本、shell脚本、kettle脚本、java脚本或python脚本等,本实施例并不对其进行限制,当然还可以采用其他能够实现将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中进行数据转存的脚本。本实施例采用脚本,能够方便快速地实现将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。当然本实施例也可以采用其他技术手段,将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中进行数据转存,本实施例并不对其进行限制。
在本实施例中,在读取云端服务器存储的业务数据到预先创建的远程引擎数据库中之前,需要在本地服务器预先创建本地数据仓库,可以包括:预先创建远程引擎数据库以及数据分析库。因此,可以方便后续在远程引擎数据库和数据分析库的基础上,将云端服务器存储的业务数据读取到远程引擎数据库中,通过将远程引擎数据库中的增量数据推送至数据分析库中进行数据转存,进而实现将存储在云端的业务数据转存到本地服务器。本实施例可以利用本地高性能服务器搭建数据仓库,以提高云端业务数据转存的效率。
在本实施例中,由于数据库远程引擎具有不占用本地磁盘空间、实时连接远程数据库的特征,本实施例每隔预设时间段,利用数据库远程引擎,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,能够伪实时的获取存储在云端的业务数据,然后将远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中进行数据转存,能够实现将存储在云端的业务数据转存到本地服务器。
由上述技术方案可知,本发明实施例提供的云端业务数据转存方法,通过每隔预设时间段,读取云端服务器存储的业务数据到本地数据仓库进行数据转存,因此,能够实现将存储在云端的业务数据转存到本地服务器,克服了现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题,不需要进行付费。
基于上述实施例的内容,在本实施例中,所述云端服务器中可以包括:主数据库和从数据库,所述主数据库用于业务数据的写入,所述从数据库同步来自于所述主数据库中的业务数据,所述从数据库用于业务数据的读取;
相应地,所述每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,可具体包括:
每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
在本实施例中,云端服务器可以包括:阿里云端服务器等,本实施例并不对其进行限制,当然还可以采用其他云端服务器,只要能够实现云端数据库主从架构的云端服务器均可。本实施例采用阿里云端服务器可以实现阿里云端中主数据库和从数据库的RDS主从架构,实现在云端服务器中对业务数据进行读写分离,提高云端业务数据转存的安全性。
在本实施例中,需要利用云端服务器中的主数据库和从数据库对业务数据进行读写分离,即主数据库只用于业务数据的写入,从数据库只用于业务数据的读取,云端服务器中的主数据库和从数据库均是业务核心数据库,为正式生产库;然后每隔预设时间段(例如可以利用定时器),利用数据库远程引擎,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,以便后续可以基于远程引擎数据库中的数据,实现将存储在云端的业务数据转存到本地服务器,且由于云端服务器数据库的主从架构,可提高云端业务数据转存的安全性。
在本实施例中,所述云端服务器中的主数据库和从数据库、所述本地数据仓库中的远程引擎数据库和数据分析库可以均为MySQL数据库,本实施例可以通过Federated引擎,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
可以理解的是,本地MySQL数据库要访问远程MySQL数据库的表中的数据,可通过Federated引擎来实现。Federated引擎能够将多个分离的MySQL服务器链接起来,从多个物理服务器创建一个逻辑数据库,实现远程共享云端服务器中MySQL数据库中的数据,十分适合于分布式环境或数据集市环境。
在本实施例中,对于所述云端服务器和本地数据仓库中的数据库均为MySQL数据库的情况,采用MySQL的Federated引擎,根据远端(即云端服务器)的数据库表结构,创建虚拟远程表,连接远端时,连接远端的只读数据库,即连接云端服务器中的从数据库,可以有效地实现读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
基于上述实施例的内容,在本实施例中,所述预先创建本地数据仓库,还可以包括:
预先创建数据备份库;
相应地,在每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中之后,还可以包括:
将远程引擎数据库中的数据复制到预先创建的本地数据仓库的数据备份库中。
在本实施例中,通过预先创建数据备份库,可以实现利用本地预先创建的数据备份库,对远程引擎数据库中的数据进行备份,进而提高转存后的业务数据的安全性和稳定性。
基于上述实施例的内容,在本实施例中,在将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存之后,还可以包括:
对数据分析库中存储的数据进行再加工处理,将再加工处理的结果存入预先创建的本地数据仓库的数据备份库中。
可以理解的是,对于业务数据放在云端服务器的公司或团队,小量数据时会比较方便,此时主要是投入在业务拓展,对数据的再加工需求量不大。但后期稳定之后,需要再加工数据时,难度并不小,包括:无法直接维护数据库;业务数据无法轻易的获取到本地;业务数据的再开发难度高。直接使用业务源数据的话只能满足极少的开发需求,对于大量数据再加工需求难以轻易的满足。现有常规的方法可能是使用其他的高级语言,例如java、C++、python等语言或者其他的数据加工工具来清洗、整合、转存数据,这对于初创型的公司或者轻量级团队的人员要求比较高,且后期的维护有一定的难度。
在本实施例中,在利用预先创建的本地数据仓库中的数据分析库进行数据转存后,能够利用本地高性能服务器对数据分析库中存储的数据进行再加工处理,可以包括:对数据分析库中存储的数据进行数据清洗、多维度数据整合、数据分析、数据挖掘等再加工处理。本实施例可根据实际需求,对所述数据分析库中存储的数据进行再加工处理,实现转存后的业务数据的二次开发,将再加工处理的结果存入预先创建的本地数据仓库的数据备份库中,能够提高再加工处理后的业务数据的安全性和稳定性。
本实施例中,在利用预先创建的本地数据仓库中的数据分析库进行数据转存后,以本地数据库为其他业务核心,进行应用开发,以便于以后的数据备份、存储和维护。
本发明实施例提供的云端业务数据转存方法,能够实现将存储在云端的业务数据转存到本地服务器,克服了现有技术中仅有数据库查看权限的用户账户、无法执行对存储在云端的业务数据进行转存操作的问题,不需要进行付费,且由于云端服务器数据库的主从架构,可提高云端业务数据转存的安全性;能够利用本地高性能服务器搭建本地数据仓库,对本地数据仓库中的数据分析库中存储的数据进行再加工处理,实现转存后的业务数据的二次开发。
基于相同的发明构思,本发明另一实施例提供了一种云端业务数据转存装置,参见图2,本实施例提供的云端业务数据转存装置,包括:第一确定模块21、第二确定模块22和第三确定模块23,其中:
读取模块21,用于每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;
转存模块22,用于将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
需要说明的是,本实施例提供的云端业务数据转存装置应用于本地服务器。
基于上述实施例的内容,在本实施例中,所述读取模块21,可具体用于
每隔预设时间段,通过数据库远程引擎,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
基于上述实施例的内容,在本实施例中,所述云端服务器中包括:主数据库和从数据库,所述主数据库用于业务数据的写入,所述从数据库同步来自于所述主数据库中的业务数据,所述从数据库用于业务数据的读取;
相应地,所述读取模块21,可具体用于
每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
在本实施例中,云端服务器可以包括:阿里云端服务器等,本实施例并不对其进行限制,当然还可以采用其他云端服务器,只要能够实现云端数据库主从架构的云端服务器均可。本实施例采用阿里云端服务器可以实现阿里云端中主数据库和从数据库的RDS主从架构,实现在云端服务器中对业务数据进行读写分离,提高云端业务数据转存的安全性。
基于上述实施例的内容,在本实施例中,所述转存模块22,可具体用于
通过脚本,将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
基于上述实施例的内容,在本实施例中,云端业务数据转存装置还可以包括图中未示出的:
创建模块,用于预先创建本地数据仓库,包括:预先创建远程引擎数据库以及数据分析库。
基于上述实施例的内容,在本实施例中,所述创建模块,用于预先创建本地数据仓库,还可以包括:预先创建数据备份库;
相应地,云端业务数据转存装置还可以包括图中未示出的:
备份模块,用于将远程引擎数据库中的数据复制到预先创建的本地数据仓库的数据备份库中。
基于上述实施例的内容,在本实施例中,云端业务数据转存装置还可以包括图中未示出的:
再加工模块,用于对数据分析库中存储的数据进行再加工处理,将再加工处理的结果存入预先创建的本地数据仓库的数据备份库中。
由于本实施例提供的云端业务数据转存装置可以用于执行上述实施例所述的云端业务数据转存方法,其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明另一实施例提供了一种本地服务器,参见图3,本实施例提供的本地服务器包括如上面实施例所述的云端业务数据转存装置。
由于本实施例提供的本地服务器包括上面实施例所述的云端业务数据转存装置,因此其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明又一实施例提供了一种电子设备,参见图4,所述电子设备具体包括如下内容:处理器401、存储器402、通信接口403和通信总线404;
其中,所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信;所述通信接口403用于实现相关设备之间的传输;
所述处理器401用于调用所述存储器402中的计算机程序,所述处理器执行所述计算机程序时实现上述云端业务数据转存方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述云端业务数据转存方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:每隔预设时间段,读取云端服务器存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的云端业务数据转存方法。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种云端业务数据转存方法,应用于本地服务器,其特征在于,包括:
每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;
将所述远程引擎数据库中的数据复制到预先创建的所述本地数据仓库的数据备份库中;
将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存;
对所述数据分析库中存储的数据进行再加工处理,将再加工处理的结果存入所述数据备份库中。
2.根据权利要求1所述的云端业务数据转存方法,其特征在于,所述每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中,具体包括:
每隔预设时间段,通过数据库远程引擎,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中。
3.根据权利要求1所述的云端业务数据转存方法,其特征在于,所述云端服务器中包括:主数据库和从数据库,所述主数据库用于业务数据的写入,所述从数据库同步来自于所述主数据库中的业务数据,所述从数据库用于业务数据的读取。
4.根据权利要求1所述的云端业务数据转存方法,其特征在于,所述将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存,具体包括:
通过脚本,将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存。
5.根据权利要求1所述的云端业务数据转存方法,其特征在于,在读取云端服务器存储的业务数据到预先创建的远程引擎数据库中之前,所述方法还包括:
预先创建本地数据仓库,包括:预先创建远程引擎数据库以及数据分析库。
6.根据权利要求5所述的云端业务数据转存方法,其特征在于,所述预先创建本地数据仓库,还包括:
预先创建数据备份库。
7.根据权利要求2所述的云端业务数据转存方法,其特征在于,所述云端服务器包括:阿里云端服务器。
8.一种云端业务数据转存装置,应用于本地服务器,其特征在于,包括:
读取模块,用于每隔预设时间段,读取云端服务器的从数据库中存储的业务数据到预先创建的本地数据仓库的远程引擎数据库中;
复制模块,用于将所述远程引擎数据库中的数据复制到预先创建的所述本地数据仓库的数据备份库中;
转存模块,用于将所述远程引擎数据库中的增量数据推送至预先创建的本地数据仓库的数据分析库中,进行数据转存;
处理模块,用于对所述数据分析库中存储的数据进行再加工处理,将再加工处理的结果存入所述数据备份库中。
9.一种本地服务器,其特征在于,包括:如权利要求8所述的云端业务数据转存装置。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述云端业务数据转存方法的步骤。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述云端业务数据转存方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911377805.7A CN111143369B (zh) | 2019-12-27 | 2019-12-27 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911377805.7A CN111143369B (zh) | 2019-12-27 | 2019-12-27 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111143369A CN111143369A (zh) | 2020-05-12 |
CN111143369B true CN111143369B (zh) | 2023-02-07 |
Family
ID=70521026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911377805.7A Active CN111143369B (zh) | 2019-12-27 | 2019-12-27 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111143369B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417696B (zh) * | 2020-11-24 | 2022-10-18 | 天津九安医疗电子股份有限公司 | 一种智能灯、其点亮方法及转存、加载和应用灯状态模型的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515764A (zh) * | 2019-07-30 | 2019-11-29 | 国云科技股份有限公司 | 一种云数据库备份和跨云恢复的系统及方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402555A (zh) * | 2010-09-19 | 2012-04-04 | 上海众融信息技术有限公司 | 基于远程数据库的动态数据读取存储信息处理方法 |
CN103838781A (zh) * | 2012-11-27 | 2014-06-04 | 中兴通讯股份有限公司 | 数据库访问方法及系统 |
CN103605732B (zh) * | 2013-11-19 | 2018-03-30 | 北京京东尚科信息技术有限公司 | 基于Infobright的数据仓库和系统及其构建方法 |
CN104978324B (zh) * | 2014-04-03 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN104317800A (zh) * | 2014-09-19 | 2015-01-28 | 山东大学 | 一种海量智能用电数据混合存储系统及方法 |
CN106101176B (zh) * | 2016-05-27 | 2019-04-12 | 成都索贝数码科技股份有限公司 | 一种一体化的融媒体云生产发布系统与方法 |
CN106293701A (zh) * | 2016-07-26 | 2017-01-04 | 浪潮软件股份有限公司 | 基于云端服务器的多租户版本管理的应用引擎设计方法 |
CN106547898A (zh) * | 2016-10-27 | 2017-03-29 | 北京锐安科技有限公司 | 一种分布式数据库的数据处理方法及装置 |
US20180189501A1 (en) * | 2016-12-30 | 2018-07-05 | Kosei Ogawa | System and method of transferring data from a cloud-based database to a private network database for long-term storage |
US20180218119A1 (en) * | 2017-01-31 | 2018-08-02 | Konica Minolta Healthcare Americas, Inc. | Cloud-to-local, local-to-cloud switching and synchronization of medical images and data |
CN107402963B (zh) * | 2017-06-20 | 2020-10-02 | 阿里巴巴集团控股有限公司 | 搜索数据的构建方法、增量数据的推送方法及装置和设备 |
CN108228201A (zh) * | 2017-12-28 | 2018-06-29 | 广州亦云信息技术股份有限公司 | 基于软件仓库的软件管理方法、电子设备及存储介质 |
CN109684327B (zh) * | 2018-11-23 | 2021-04-13 | 武汉达梦数据库有限公司 | 一种数据库外部链接的数据获取方法 |
-
2019
- 2019-12-27 CN CN201911377805.7A patent/CN111143369B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515764A (zh) * | 2019-07-30 | 2019-11-29 | 国云科技股份有限公司 | 一种云数据库备份和跨云恢复的系统及方法 |
Non-Patent Citations (1)
Title |
---|
federated存储引擎实现跨服务器的数据访问;JOHN;《开发者社区》;20150412;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111143369A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107402963B (zh) | 搜索数据的构建方法、增量数据的推送方法及装置和设备 | |
US9575848B2 (en) | Remote data protection in a networked storage computing environment | |
Chandra | BASE analysis of NoSQL database | |
US9069800B2 (en) | Parallel database backup and restore | |
Garlasu et al. | A big data implementation based on Grid computing | |
US7702698B1 (en) | Database replication across different database platforms | |
EP2551854A1 (en) | System for updating an associative memory | |
US20100082630A1 (en) | Persisting external index data in a database | |
CN111324610A (zh) | 一种数据同步的方法及装置 | |
US9679037B2 (en) | System and method for implementing database replication configurations using replication modeling and transformation | |
US20220334925A1 (en) | Metadata management for scaled and high density backup environments | |
CN106663103A (zh) | 使用逻辑文档日志的可扩展最终一致性系统 | |
CN101697169A (zh) | 源数据库和目的数据库之间数据同步的方法、装置及系统 | |
US8959052B2 (en) | Database update control apparatus, database management system, and non-transitory computer-readable storage medium | |
CN104933173A (zh) | 一种用于异构多数据源的数据处理方法、装置和服务器 | |
US20160210228A1 (en) | Asynchronous garbage collection in a distributed database system | |
CN103747029A (zh) | 一种文件传输方法、设备和系统 | |
CN111143369B (zh) | 云端业务数据转存方法及装置、本地服务器及电子设备 | |
Maharatna et al. | Systems Design for Remote Healthcare | |
US11256713B2 (en) | Virtual transaction queues for database replication | |
CN112783436A (zh) | 用于信息生命周期管理的同步对象放置 | |
CN111984686A (zh) | 一种数据处理的方法和装置 | |
Chen et al. | Disaster Recovery of Online System Based on Cloud Computing | |
CN118012952B (zh) | 一种数据处理方法和装置、电子设备及存储介质 | |
Aven | Hadoop in 24 Hours, Sams Teach Yourself |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |