CN116781717A - 一种混合云数据同步的方法及系统 - Google Patents
一种混合云数据同步的方法及系统 Download PDFInfo
- Publication number
- CN116781717A CN116781717A CN202210234917.2A CN202210234917A CN116781717A CN 116781717 A CN116781717 A CN 116781717A CN 202210234917 A CN202210234917 A CN 202210234917A CN 116781717 A CN116781717 A CN 116781717A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud
- synchronizing
- private
- mysql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000000586 desensitisation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000003908 quality control method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 6
- 239000000523 sample Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000005641 tunneling Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于大数据领域，具体公开了一种混合云数据同步的方法及系统，所述系统包括云管理平台、私有云端和公有云端，所述云管理平台内设置有调度模块、流式质量控制模块和动态数据脱敏模块。本发明为用户提供公有云、私有云架构一致的云平台使用体验，降低部署成本，提升企业运维管理效率；充分利用已有IT资源，实现公有云、私有云、数据中心和网络的一站式管理；通过统一的管理界面实现不同云资源的整合，便于广大云用户实现实时数据同步的混合云支持，且能让本地MySQL也能实现与云上数据库的实时同步。
Description
技术领域
本发明涉及大数据领域，具体为一种混合云数据同步的方法及系统。
背景技术
随着大数据技术的深入发展，业内通常将企业级数据分为前、中、后三层结构，具体为前台应用、中台服务、后台存储计算，其中：前台是具体的数据应用，重点关注客户应用场景、解决企业消费者的实际问题；中台是数据交换与服务，重点关注数据的质量管理及如何安全共享；后台是存储与计算，重点关注数据处理速度与成本。
企业互联网用户每天都进行多种多样的交互,随时都在制造各种各样的数据,这些数据的数量是单机时代数据量的数倍。为了实现数据中心故障时数据中心之间的无缝对接，跨数据中心的数据同步变得 尤为重要。现有跨数据中心的数据同步方案需要频繁访问数据中心的线上服务，在待同步的数据中心的数目较多时，大大增加了数据中心的线上访问压力，不同数据库间数据实时同步较难。
发明内容
本发明的目的在于提供一种混合云数据同步的方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种混合云数据同步的方法包括如下具体步骤：
S1、在云管理平台内建立私有云端和公有云端的一体式架构，在私有云端的主机上自建MySQL和云数据库，在公有云端的IDC机房内自建MySQL；
S2、通过GRE、IPSEC隧道协议SD-WAN、裸光纤等方式将私有云和公有云的IDC打通；
S3、利用SD-WAN终端，将IOT设备数据通过云管理平台的智能广域网上传到云端服务器，进行统一处理；
S4、在私有云端的各个数据节点部署全闪配置NeonSAN作为大容量的数据盘存储，用于承载多个面向服务应用的MySQL数据库，多个MySQL RAC节点挂载同一个NeonSAN卷工作，支持MySQL ASM进行管理；
S5、在云管理平台内设置调度模块，根据云端服务器的负载、备份数据中心的负载、调度策略信息，激活数据调度操作，进行跨数据中心的数据访问，实现异步数据同步操作。
进一步的，步骤S3中，云管理平台对上传的数据进行流式质量控制和动态数据脱敏操作。
进一步的，所述流式质量控制具体包括如下步骤：
S31a、利用探针检测全流程数据是否会丢失，并检验数据延时情况，保证数据完整性；
S31b、对离线数据进行存储，所述离线数据包括最原始的数据、某个中间结果的数据以及某个数据的偏移量，在数据异常时，拿这些离线数据进行计算恢复数据曲线，保证上线变更导致的计算异常能够得到补救；
S31c、对私有云端的各个数据节点设定抽象指标，用于数据异常判断。
进一步的，所述探针可以是数据源提供的，也可以是自己仿造的。
进一步的，所述动态数据脱敏具体包括如下步骤：
S32a、判断私有云端用户发送的包含敏感数据的数据传输请求的类型，所述数据传输请求的类型包括数据下载请求和数据上传请求；
S32b、若确认所述数据传输请求的类型为数据下载请求，且所述数据下载请求对应的待下载数据总量大于或等于第一阈值，则对所述数据下载请求中的数据库查询指令进行数据脱敏处理；
S32c、根据经数据脱敏处理后的数据库查询指令在所述目标数据库中获取对应的待下载数据，并将所述待下载数据发送至对应的私有云端用户。
进一步的，所述数据下载请求中包括目标数据库的数据库查询指令。
本发明还提供一种混合云数据同步的系统，包括云管理平台、私有云端和公有云端，所述云管理平台内设置有调度模块、流式质量控制模块和动态数据脱敏模块。
与现有技术相比，本发明的有益效果是：
本发明为用户提供公有云、私有云架构一致的云平台使用体验，降低部署成本，提升企业运维管理效率；充分利用已有IT资源，实现公有云、私有云、数据中心和网络的一站式管理；通过统一的管理界面实现不同云资源的整合，便于广大云用户实现实时数据同步的混合云支持，且能让本地MySQL也能实现与云上数据库的实时同步。
附图说明
图1为本发明的混合云数据同步的系统框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：本发明提供一种技术方案：一种混合云数据同步的方法包括如下具体步骤：
S1、在云管理平台内建立私有云端和公有云端的一体式架构，在私有云端的主机上自建MySQL和云数据库，在公有云端的IDC机房内自建MySQL；
S2、通过GRE、IPSEC隧道协议SD-WAN、裸光纤等方式将私有云和公有云的IDC打通；
S3、利用SD-WAN终端，将IOT设备数据通过云管理平台的智能广域网上传到云端服务器，进行统一处理；
S4、在私有云端的各个数据节点部署全闪配置NeonSAN作为大容量的数据盘存储，用于承载多个面向服务应用的MySQL数据库，多个MySQL RAC节点挂载同一个NeonSAN卷工作，支持MySQL ASM进行管理；
S5、在云管理平台内设置调度模块，根据云端服务器的负载、备份数据中心的负载、调度策略信息，激活数据调度操作，进行跨数据中心的数据访问，实现异步数据同步操作。
在本实施例中，步骤S3中，云管理平台对上传的数据进行流式质量控制和动态数据脱敏操作。
在本实施例中，在云管理平台内具有云端服务器、云数据库RDS和MaxCompute分析型数据库AnalyticDB、Datahub，其云端服务器上自建MySQL，云数据库RDS为分布式数据库DRDS，实现MySQL或DRDS的数据实时同步，MySQL到OLAP（MaxCompute、分析型数据库AnalyticDB、Datahub）的数据实时同步。
实施例2：如图1所示，本发明还提供一种混合云数据同步的系统，包括云管理平台、私有云端和公有云端，所述云管理平台内设置有调度模块、流式质量控制模块和动态数据脱敏模块。
所述调度模块根据云端服务器的负载、备份数据中心的负载、调度策略信息，激活数据调度操作，进行跨数据中心的数据访问，实现异步数据同步操作；
所述流式质量控制模块用于对数据进行质量把控和监管，具体操作包括如下步骤：
S31a、利用探针检测全流程数据是否会丢失，并检验数据延时情况，保证数据完整性；所述探针可以是数据源提供的，也可以是自己仿造的；
S31b、对离线数据进行存储，所述离线数据包括最原始的数据、某个中间结果的数据以及某个数据的偏移量，在数据异常时，拿这些离线数据进行计算恢复数据曲线，保证上线变更导致的计算异常能够得到补救；
S31c、对私有云端的各个数据节点设定抽象指标，用于数据异常判断。
所述动态数据脱敏模块用于对调度数据进行脱敏操作，保障大数据中敏感数据的安全性、完整性和可用性，具体操作步骤如下：
S32a、判断私有云端用户发送的包含敏感数据的数据传输请求的类型，所述数据传输请求的类型包括数据下载请求和数据上传请求；所述数据下载请求中包括目标数据库的数据库查询指令；
S32b、若确认所述数据传输请求的类型为数据下载请求，且所述数据下载请求对应的待下载数据总量大于或等于第一阈值，则对所述数据下载请求中的数据库查询指令进行数据脱敏处理；
S32c、根据经数据脱敏处理后的数据库查询指令在所述目标数据库中获取对应的待下载数据，并将所述待下载数据发送至对应的私有云端用户。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种混合云数据同步的方法，其特征在于，包括如下具体步骤：
S1、在云管理平台内建立私有云端和公有云端的一体式架构，在私有云端的主机上自建MySQL和云数据库，在公有云端的IDC机房内自建MySQL；
S2、通过GRE、IPSEC隧道协议SD-WAN、裸光纤等方式将私有云和公有云的IDC打通；
S3、利用SD-WAN终端，将IOT设备数据通过云管理平台的智能广域网上传到云端服务器，进行统一处理；
S4、在私有云端的各个数据节点部署全闪配置NeonSAN作为大容量的数据盘存储，用于承载多个面向服务应用的MySQL数据库，多个MySQL RAC节点挂载同一个NeonSAN卷工作，支持MySQL ASM进行管理；
S5、在云管理平台内设置调度模块，根据云端服务器的负载、备份数据中心的负载、调度策略信息，激活数据调度操作，进行跨数据中心的数据访问，实现异步数据同步操作。
2.根据权利要求1所述的一种混合云数据同步的方法，其特征在于：步骤S3中，云管理平台对上传的数据进行流式质量控制和动态数据脱敏操作。
3.根据权利要求2所述的一种混合云数据同步的方法，其特征在于：所述流式质量控制具体包括如下步骤：
S31a、利用探针检测全流程数据是否会丢失，并检验数据延时情况，保证数据完整性；
S31b、对离线数据进行存储，所述离线数据包括最原始的数据、某个中间结果的数据以及某个数据的偏移量，在数据异常时，拿这些离线数据进行计算恢复数据曲线，保证上线变更导致的计算异常能够得到补救；
S31c、对私有云端的各个数据节点设定抽象指标，用于数据异常判断。
4.根据权利要求3所述的一种混合云数据同步的方法及系统，其特征在于：所述探针可以是数据源提供的，也可以是自己仿造的。
5.根据权利要求2所述的一种混合云数据同步的方法，其特征在于：所述动态数据脱敏具体包括如下步骤：
S32a、判断私有云端用户发送的包含敏感数据的数据传输请求的类型，所述数据传输请求的类型包括数据下载请求和数据上传请求；
S32b、若确认所述数据传输请求的类型为数据下载请求，且所述数据下载请求对应的待下载数据总量大于或等于第一阈值，则对所述数据下载请求中的数据库查询指令进行数据脱敏处理；
S32c、根据经数据脱敏处理后的数据库查询指令在所述目标数据库中获取对应的待下载数据，并将所述待下载数据发送至对应的私有云端用户。
6.根据权利要求5所述的一种混合云数据同步的方法，其特征在于：所述数据下载请求中包括目标数据库的数据库查询指令。
7.一种混合云数据同步的系统，其特征在于：包括云管理平台、私有云端和公有云端，所述云管理平台内设置有调度模块、流式质量控制模块和动态数据脱敏模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234917.2A CN116781717A (zh) | 2022-03-11 | 2022-03-11 | 一种混合云数据同步的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234917.2A CN116781717A (zh) | 2022-03-11 | 2022-03-11 | 一种混合云数据同步的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116781717A true CN116781717A (zh) | 2023-09-19 |
Family
ID=87995074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210234917.2A Pending CN116781717A (zh) | 2022-03-11 | 2022-03-11 | 一种混合云数据同步的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116781717A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117938857A (zh) * | 2024-03-21 | 2024-04-26 | 锱云(上海)物联网科技有限公司 | 一种物模型的同步管理方法和系统 |
-
2022
- 2022-03-11 CN CN202210234917.2A patent/CN116781717A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117938857A (zh) * | 2024-03-21 | 2024-04-26 | 锱云(上海)物联网科技有限公司 | 一种物模型的同步管理方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3258653A1 (en) | Message pushing method and device | |
| CN109412966B (zh) | 一种大规模日志传输方法、装置及系统 | |
| CN106534242B (zh) | 一种分布式系统中请求的处理方法以及装置 | |
| CN109254922B (zh) | 一种服务器BMC Redfish功能的自动化测试方法及装置 | |
| CN111915143B (zh) | 一种基于智能合约的复杂产品装配管控系统 | |
| CN110022221B (zh) | 一种系统接口数据的监控方法、装置及系统 | |
| CN107133231B (zh) | 一种数据获取方法和装置 | |
| CN104167817B (zh) | 一种电力设备实时信息集成的系统及方法 | |
| CN107070752B (zh) | 一种长连接容量的测试方法及测试系统 | |
| CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
| CN111338893A (zh) | 进程日志处理方法、装置、计算机设备以及存储介质 | |
| CN108924228B (zh) | 基于边缘计算的工业互联网优化系统 | |
| CN114070707A (zh) | 一种互联网性能监控方法及系统 | |
| CN116781717A (zh) | 一种混合云数据同步的方法及系统 | |
| Turcato et al. | Introducing a cloud based architecture for the distributed analysis of Real-Time Ethernet traffic | |
| CN113660136A (zh) | 双路交换机端口可用性检查方法、装置、设备及存储介质 | |
| CN114815673A (zh) | 一种基于城市智慧路灯监控系统接口机接入系统及方法 | |
| CN114745616B (zh) | 一种地下热信息远程监控预警系统和方法 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN111786979B (zh) | 一种基于多模态学习的电力攻击识别方法 | |
| CN113886472A (zh) | 一种数据接入系统、接入方法、计算机设备和存储介质 | |
| CN112667393A (zh) | 分布式任务计算调度框架搭建的方法、装置及计算机设备 | |
| CN112631996A (zh) | 日志搜索方法及装置 | |
| CN109992572A (zh) | 一种自适应均衡日志存储请求的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |