CN113342766A - 一种云边协同的跨国资源同步方法及系统 - Google Patents

一种云边协同的跨国资源同步方法及系统 Download PDF

Info

Publication number
CN113342766A
CN113342766A CN202110738726.5A CN202110738726A CN113342766A CN 113342766 A CN113342766 A CN 113342766A CN 202110738726 A CN202110738726 A CN 202110738726A CN 113342766 A CN113342766 A CN 113342766A
Authority
CN
China
Prior art keywords
resource
current region
file metadata
resource file
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110738726.5A
Other languages
English (en)
Inventor
林子森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shidi Intelligent Technology Co Ltd
Original Assignee
Guangdong Shidi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shidi Intelligent Technology Co Ltd filed Critical Guangdong Shidi Intelligent Technology Co Ltd
Priority to CN202110738726.5A priority Critical patent/CN113342766A/zh
Publication of CN113342766A publication Critical patent/CN113342766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明公开了一种云边协同的跨国资源同步方法及系统，包括以下步骤：1)对当前区域的资源文件元数据进行KV数据索引生成，并持久化到当前区域的资源数据库；2)端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，同时拉取其它区域的资源文件到当前区域的OSS云存储；本发明使多个模块解耦协同工作传输资源文件，合理集成控制成本，突破跨国复杂网络环境中数据传输难题，完成文件跨国同步，保障传输可靠稳定。

Description

一种云边协同的跨国资源同步方法及系统
技术领域
本发明涉及跨国数据同步传输的技术领域，尤其是指一种云边协同的跨国资源同步方法及系统。
背景技术
在经济全球一体化下，跨国传输过程中可能会受到许多未知的因素影响，出现传输中断、传输错误的情况。跨国传输大数据有以下技术瓶颈：一是数据的可靠性的问题，即网络传输的可靠性及写入存储介质的可靠性存在一定的差异；二是目前超大文件传输、海量文件传输的传输效率较低，需要提升传输效率，以达到在短时间内更快的传输；三是跨国网络对传输的影响。
如果因为选择不完善的文件传输解决方案导致数据泄露，那对于企业或是公司都是难以接受的。如何保障数据正确、完整地传输到目标地，确保源文件和目标文件100％一致需要详尽地考虑与设计。
发明内容
本发明目的在于为解决现有技术中的不足，提供了一种云边协同的跨国资源同步方法及系统，利用当今公有云服务，合理集成控制成本，突破跨国复杂网络环境中数据传输难题。
为实现上述目的，本发明所提供的技术方案为：一种云边协同的跨国资源同步方法，包括以下步骤：
1)对当前区域的资源文件元数据进行KV数据索引生成，并将当前区域的资源文件元数据持久化到当前区域的资源数据库；
2)当前区域的端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；
3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；
4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，生成新的KV数据索引并向当前区域的资源数据库写入相应的资源文件元数据记录，同时从其它区域拉取其它区域的资源文件到当前区域的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录。
进一步，所述资源文件元数据包括唯一ID、区域、状态和组织ID。
进一步，所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构。
进一步，在步骤2)中，当前区域的端侧是通过网络上传资源文件到当前区域的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
进一步，在步骤2)中，当前区域的端侧是通过组织内网上传资源文件到当前区域的边缘管道，文件流同步写入minio存储，并向当前区域的元数据中心服务上报该资源文件的资源文件元数据，同时当前区域的元数据中心服务向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
进一步，在步骤3)中，所述将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群，具体为：
资源文件元数据先从资源数据库中被订阅到中间服务解析，再通过高速网络通道发送到共享kafka集群。
进一步，在步骤4)中，在当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据时，将资源文件元数据的状态标记为0，待其它区域的资源文件传输完成后，将该资源文件元数据的状态标记更新为1。
本发明所提供的一种云边协同的跨国资源同步系统，包括：
KV数据索引存储模块，负责支撑资源文件元数据的快速检索；
资源文件元数据存储模块，负责把资源文件元数据的区域信息存储到资源数据库中；
上传资源文件模块，负责资源文件上传，通过TCP网络推流的方式推送到指定区域的管道服务并存储到OSS云存储或minio存储上；
数据发布模块，负责把资源数据库中的资源文件元数据记录发布到共享kafka集群中；
消费服务模块，负责把其它区域资源文件元数据记录同步到当前区域，并生成文件IO同步消息指令。
本发明与现有技术相比，具有如下优点与有益效果：
本发明通过将资源文件订阅发布到共享集群中，并利用公有云存储服务存储文件流，使多个模块解耦协同工作传输资源文件，合理集成控制成本，突破跨国复杂网络环境中数据传输难题，完成文件跨国同步，保障传输可靠稳定。
附图说明
图1为本发明的架构图。
图2为中央管道的服务架构图。
图3为边缘管道的服务架构图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
参见图1至图3所示，为本实施例所提供的云边协同的跨国资源同步方法法，包括以下步骤：
1)对当前区域1的资源文件元数据进行KV数据索引生成，并将当前区域1的资源文件元数据持久化到当前区域的资源数据库；其中，所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构，所述资源文件元数据包括唯一ID、区域、状态和组织ID。
2)当前区域1的端侧上传资源文件到当前区域1的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域1的资源数据库新增相应的资源文件元数据，具体如下：
当前区域1的端侧是通过网络上传资源文件到当前区域1的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据；
当前区域1的端侧是通过组织内网上传资源文件到当前区域1的边缘管道，文件流同步写入minio存储，并向当前区域1的元数据中心服务上报该资源文件的资源文件元数据，同时当前区域1的元数据中心服务向当前区域1的资源数据库新增一条状态标记为1的资源文件元数据。
3)将当前区域1的资源数据库中的所有资源文件元数据订阅到共享kafka集群，具体为：
资源文件元数据先从资源数据库中被订阅到中间服务解析，再通过高速网络通道发送到共享kafka集群。
4)当前区域1的文件同步服务从共享kafka集群消费其它区域2共享的资源文件元数据，生成新的KV数据索引并向当前区域1的资源数据库写入相应的资源文件元数据记录，将资源文件元数据的状态标记为0，同时从其它区域2拉取其它区域2的资源文件到当前区域1的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录，将该资源文件元数据的状态标记更新为1。
下面为本实施例云边协同的跨国资源同步系统，包括：
KV数据索引存储模块，负责支撑资源文件元数据的快速检索，具体如下：
将资源文件(fur/aabbcc.png)以key＝MD-RES-FILE:fur/8307289d48208a1e0030145b8b2b0e4d.PNG和value＝CN-SZ-PRO|US-USA-PRO结构存储在redis中。
资源文件元数据存储模块，负责把资源文件元数据的区域信息存储到资源数据库中，其中，所述资源数据库为postgresql数据库，所述资源文件元数据的记录格式具体如下：
Figure BDA0003140738840000051
上传资源文件模块，负责资源文件上传，通过TCP网络推流的方式推送到指定区域的管道服务并存储到OSS云存储或minio存储上；
数据发布模块，负责把postgresql数据库中的资源文件元数据记录发布到共享kafka集群中，并基于postgresql数据库逻辑复制流技术，解析test_coding日志数据实现数据订阅发布。
消费服务模块，负责把其它区域资源文件元数据记录同步到当前区域，并生成文件IO同步消息指令。
以上所述之实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种云边协同的跨国资源同步方法，其特征在于，包括以下步骤：
1)对当前区域的资源文件元数据进行KV数据索引生成，并将当前区域的资源文件元数据持久化到当前区域的资源数据库；
2)当前区域的端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；
3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；
4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，生成新的KV数据索引并向当前区域的资源数据库写入相应的资源文件元数据记录，同时从其它区域拉取其它区域的资源文件到当前区域的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录。
2.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述资源文件元数据包括唯一ID、区域、状态和组织ID。
3.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构。
4.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当前区域的端侧是通过网络上传资源文件到当前区域的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
5.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当前区域的端侧是通过组织内网上传资源文件到当前区域的边缘管道，文件流同步写入minio存储，并向当前区域的元数据中心服务上报该资源文件的资源文件元数据，同时当前区域的元数据中心服务向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。
6.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤3)中，所述将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群，具体为：
资源文件元数据先从资源数据库中被订阅到中间服务解析，再通过高速网络通道发送到共享kafka集群。
7.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤4)中，在当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据时，将资源文件元数据的状态标记为0，待其它区域的资源文件传输完成后，将该资源文件元数据的状态标记更新为1。
8.一种云边协同的跨国资源同步系统，其特征在于，包括：
KV数据索引存储模块，负责支撑资源文件元数据的快速检索；
资源文件元数据存储模块，负责把资源文件元数据的区域信息存储到资源数据库中；
上传资源文件模块，负责资源文件上传，通过TCP网络推流的方式推送到指定区域的管道服务并存储到OSS云存储或minio存储上；
数据发布模块，负责把资源数据库中的资源文件元数据记录发布到共享kafka集群中；
消费服务模块，负责把其它区域资源文件元数据记录同步到当前区域，并生成文件IO同步消息指令。
CN202110738726.5A 2021-06-30 2021-06-30 一种云边协同的跨国资源同步方法及系统 Pending CN113342766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738726.5A CN113342766A (zh) 2021-06-30 2021-06-30 一种云边协同的跨国资源同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738726.5A CN113342766A (zh) 2021-06-30 2021-06-30 一种云边协同的跨国资源同步方法及系统

Publications (1)

Publication Number Publication Date
CN113342766A true CN113342766A (zh) 2021-09-03

Family

ID=77481862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738726.5A Pending CN113342766A (zh) 2021-06-30 2021-06-30 一种云边协同的跨国资源同步方法及系统

Country Status (1)

Country Link
CN (1) CN113342766A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143339A1 (en) * 2012-02-24 2014-05-22 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and system for resource sharing
US20150237113A1 (en) * 2012-11-06 2015-08-20 Tencent Technology (Shenzhen) Company Limited Method and system for file transmission
US20200099742A1 (en) * 2017-05-22 2020-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Edge Cloud Broker and Method Therein for Allocating Edge Cloud Resources
CN111416875A (zh) * 2020-04-10 2020-07-14 中国人民解放军国防科技大学 一种面向云边协同的服务目录同步方法及系统
US20210042160A1 (en) * 2019-04-05 2021-02-11 Mimik Technology Inc. Method and system for distributed edge cloud computing
CN112463393A (zh) * 2020-12-14 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 基于Mongo集群技术的配电物联网边缘计算架构设计方法
CN112559133A (zh) * 2020-12-22 2021-03-26 北京滴普科技有限公司 一种基于原生容器技术的云边协同系统及云边协同方法
CN112565415A (zh) * 2020-12-03 2021-03-26 杭州谐云科技有限公司 一种基于云边协同的跨地域资源纳管系统和纳管方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143339A1 (en) * 2012-02-24 2014-05-22 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and system for resource sharing
US20150237113A1 (en) * 2012-11-06 2015-08-20 Tencent Technology (Shenzhen) Company Limited Method and system for file transmission
US20200099742A1 (en) * 2017-05-22 2020-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Edge Cloud Broker and Method Therein for Allocating Edge Cloud Resources
US20210042160A1 (en) * 2019-04-05 2021-02-11 Mimik Technology Inc. Method and system for distributed edge cloud computing
CN111416875A (zh) * 2020-04-10 2020-07-14 中国人民解放军国防科技大学 一种面向云边协同的服务目录同步方法及系统
CN112565415A (zh) * 2020-12-03 2021-03-26 杭州谐云科技有限公司 一种基于云边协同的跨地域资源纳管系统和纳管方法
CN112463393A (zh) * 2020-12-14 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 基于Mongo集群技术的配电物联网边缘计算架构设计方法
CN112559133A (zh) * 2020-12-22 2021-03-26 北京滴普科技有限公司 一种基于原生容器技术的云边协同系统及云边协同方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨绍光;房秉毅;王增森;郭澄宇;曲秀超;: "云边协同关键技术及应用场景研究", 信息通信技术, no. 04 *
王友祥等: "云边协同技术发展分析", 邮电设计技术, no. 3 *

Similar Documents

Publication Publication Date Title
CN103198159B (zh) 一种基于事务重做的异构集群多副本一致性维护方法
CN106790572B (zh) 一种分布式日志收集的系统和方法
CN106484329A (zh) 一种基于多级存储的大数据传输完整性保护机制
CN102279857B (zh) 一种实现数据复制的方法及系统
CN103514258A (zh) 一种基于离线缓存文件操作集中记录预处理并重放的方法
CN115481110A (zh) 一种基于元数据的资源共享交换设计方法
CN113342766A (zh) 一种云边协同的跨国资源同步方法及系统
CN111930862B (zh) 一种基于大数据平台的sql交互式分析方法及系统
CN106528667B (zh) 读写分离的低功耗海量数据全文检索系统框架
CN111400065B (zh) 一种分离全局zookeeper的pulsar消息异地多活方法及系统
CN103399943A (zh) 集群数据库并行查询的通讯方法和通讯装置
CN108763562A (zh) 一种基于大数据技术提升数据交换效率的构建方法
CN105760398A (zh) 一种日志记录系统及日志记录操作方法
CN111177191A (zh) 一种基于碳排放交易的关键指标计算分析方法
CN113468259A (zh) 一种数据实时采集入库方法及系统
CN114374701B (zh) 一种多级联动人工智能平台样本模型透明共享装置
CN109344192B (zh) 一种优化cimiss数据库系统及其适配方法
CN112416655A (zh) 一种基于企业服务门户的存储灾备系统及数据复制方法
CN111178911A (zh) 一种基于双活技术的客服工单处理方法及系统
CN218276756U (zh) 一种分布式存储系统
CN116644039B (zh) 一种基于大数据的在线能力运营日志自动采集分析的方法
CN116775665B (zh) 一种基于高速公路日常运维管理的全自动任务发布系统
CN117971589A (zh) 基于大数据技术的智能化运营日志自动采集分析方法
Guo Research on Information Interaction Technology Between Multi-service Application Systems of Power Grid
CN116155948A (zh) 一种易车消息平台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination