CN114925044A - 基于云存储的数据同步方法、装置、设备及存储介质 - Google Patents

基于云存储的数据同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114925044A
CN114925044A CN202210369249.4A CN202210369249A CN114925044A CN 114925044 A CN114925044 A CN 114925044A CN 202210369249 A CN202210369249 A CN 202210369249A CN 114925044 A CN114925044 A CN 114925044A
Authority
CN
China
Prior art keywords
data
update
synchronization
updating
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210369249.4A
Other languages
English (en)
Inventor
季小闯
刘剑
蔡丰令
朱嘉玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Asset Management Co Ltd
Original Assignee
Ping An Asset Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Asset Management Co Ltd filed Critical Ping An Asset Management Co Ltd
Priority to CN202210369249.4A priority Critical patent/CN114925044A/zh
Publication of CN114925044A publication Critical patent/CN114925044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及云存储技术领域，公开了一种基于云存储的数据同步方法、装置、设备及存储介质，包括：将数据湖中出现更新的数据设为更新数据，识别更新数据的更新类型；根据更新类型对更新数据进行数据分析处理得到分析数据，整合分析数据和更新类型得到结构更新数据；对结构更新数据进行数据预处理得到待更新数据，将待更新数据保存至缓存库中；向同步客户端发送更新公告，接收同步客户端发送的更新请求，根据更新请求对同步客户端进行认证处理得到认证权限信息；将缓存库中相应于认证权限信息的待更新数据作为目标更新数据。本发明避免了从所述数据湖中获取数据导致同步效率低下的问题，实现了在保证同步准确度的前提下，保证同步效率的技术效果。

Description

基于云存储的数据同步方法、装置、设备及存储介质
技术领域
本发明涉及云存储技术领域，尤其涉及一种基于云存储的数据同步方法、装置、设备及存储介质。
背景技术
数据同步指的是两个或多个数据库内容保持一致，或者按需要部分保持一致，用以确保每个数据源与其不同端点之间的一致性。
然而，发明人发现当前的数据同步工具很多，但是当前的数据同步工具因需要从数据湖中获取结构更新数据，导致服务器需要调用配置文件或数据更新表，从数据湖中获取所述结构更新数据，并将其同步至所述客户端导致数据同步操作效率低下的情况发生。
发明内容
本发明的目的是提供一种基于云存储的数据同步方法、装置、设备及存储介质，用于解决现有技术存在的当前的数据同步工具因需要从所述数据湖中获取结构更新数据，导致服务器需要调用配置文件或数据更新表，从所述数据湖中获取所述结构更新数据，并将其同步至所述客户端导致数据同步操作效率低下的情况发生的问题。
为实现上述目的，本发明提供一种基于云存储的数据同步方法，包括：
当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；
根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；
对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；
向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；
将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
上述方案中，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型之前，所述方法还包括：
与同步客户端构建通信连接和同步连接，所述通信连接用于与所述同步客户端之间进行通信交互，所述同步连接是用于与所述同步客户端之间进行数据同步的同步机制。
上述方案中，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型，包括：
监听数据湖中是否接收到同步客户端发送的数据更新指令，若是，则判定所述数据湖出现数据更新，并将发送所述数据更新指令的同步客户端设为上传客户端；
将数据湖中相应于所述数据更新指令的数据设为所述更新数据；
识别所述数据湖根据所述数据更新指令，对所述数据湖中的数据进行操作形成所述更新数据的操作方法；
若所述操作方法为变更方法，则判定所述更新类型为全量类型；
若所述操作方法为新增方法，则判定所述更新类型为增量类型。
上述方案中，所述根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，包括：
识别所述更新类型；
若所述更新类型为全量类型，则从所述数据湖中提取具有所述更新数据的数据表，并将所述数据表设为目标数据；
若所述更新类型为增量类型，则从所述数据湖中提取更新数据，并将所述更新数据设为目标数据。
对所述目标数据进行数据清洗处理，以消除所述目标数据中的异常数据并得到清洗数据；
按照预置的数据规则对所述清洗数据进行数据转换，使所述清洗数据的数据格式和数据颗粒度转为符合所述数据规则的分析数据。
上述方案中，所述对所述结构更新数据进行数据预处理得到待更新数据，包括：
根据预置的至少一个权限规则删除所述结构更新数据中的数据内容，得到至少一个相应于所述权限规则的权限更新数据；
对所述权限更新数据进行数据压缩处理得到压缩更新数据，并对所述压缩更新数据进行加密处理得到待更新数据。
上述方案中，所述根据所述更新请求对同步客户端进行认证处理得到认证权限信息，包括：
提取所述更新请求中表征所述同步客户端身份的身份信息，将所述身份信息与预置的认证库中的认证权限信息进行比对；
判断所述认证库中是否具有与所述身份信息对应的认证权限信息；
若是，则获取与所述身份信息对应的认证权限信息；
若否，则向所述同步客户端发送无权同步消息。
上述方案中，所述将所述目标更新数据传送至所述同步客户端之后，所述方法还包括：
识别所述同步客户端中相应于所述待更新数据的数据表，将所述待更新数据录入到所述数据表中；
所述将所述待更新数据录入到所述数据表中之后，所述方法还包括：
将所述待更新数据上传至区块链中。
为实现上述目的，本发明还提供一种基于云存储的数据同步装置，包括：
更新识别模块，用于在监测到数据湖中出现数据更新时，将数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；
结构更新模块，用于根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；
预处理模块，用于对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；
公告认证模块，用于向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；
数据同步模块，用于将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
为实现上述目的，本发明还提供一种计算机设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机设备的处理器执行所述计算机程序时实现上述数据同步方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述可读存储介质存储的所述计算机程序被处理器执行时实现上述数据同步方法的步骤。
本发明提供的基于云存储的数据同步方法、装置、设备及存储介质，通过从所述数据库中获取结构更新数据，通过对所述结构更新数据进行数据预处理得到待更新数据的方式，对所述结构更新数据进行预处理，以实现对有权同步所述结构更新数据的客户端进行数据同步，用以确保数据安全性，及实现对不同权限的同步客户端同步不同内容的数据，用以实现对不同权限的同步客户端进行数据同步，以及确保数据同步的效率。同时，通过将所述结构更新数据保存在所述缓存库中的方式，以避免从所述数据湖中获取结构更新数据，导致数据同步效率低下的问题发生。
通过向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息的方式，用以向同步客户端进行更新通告予以通知，使得所述同步客户端可根据所述更新通告按照其需求进行数据更新；若所述同步客户端需要进行数据更新时，则对所述同步客户端进行认证处理，确保所述同步客户端的具有数据同步的权限，且识别出所述同步客户端的权限等级。通过将所述目标更新数据传送至发送所述同步请求的同步客户端，实现对各所述同步客户端的增量同步或全量同步，进而实现在保证数据同步准确度的前提下，保证了数据同步的同步效率的技术效果。
附图说明
图1为本发明数据同步方法实施例一的流程图；
图2为本发明数据同步方法实施例二中数据同步方法的环境应用示意图；
图3是本发明数据同步方法实施例二中数据同步方法的具体方法流程图；
图4为本发明数据同步装置实施例三的程序模块示意图；
图5为本发明计算机设备实施例四中计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于云存储的数据同步方法、装置、设备及存储介质，适用于云存储技术领域，为提供一种基于更新识别模块、结构更新模块、预处理模块、公告认证模块、数据同步模块的数据同步方法。本发明通过将数据湖中出现更新的数据设为更新数据，识别更新数据的更新类型；根据更新类型对更新数据进行数据分析处理得到分析数据，整合分析数据和更新类型得到结构更新数据；对结构更新数据进行数据预处理得到待更新数据，将待更新数据保存至预置的缓存库中；向同步客户端发送更新公告，接收同步客户端发送的更新请求，根据更新请求对同步客户端进行认证处理得到认证权限信息；将缓存库中相应于认证权限信息的待更新数据作为目标更新数据。
实施例一：
请参阅图1，本实施例的一种基于云存储的数据同步方法，包括：
S102：当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型。
S103：根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据。
S104：对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中。
S105：向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息。
S106：将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
在示例性的实施例中，通过监测数据湖中出现数据更新，将数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型的方式，识别数据湖中出现更新的数据，并获取该更新的数据的更新类型，以便于后续对客户端进行增量同步或全量同步，在保证数据同步准确度的前提下，还保证了数据同步的同步效率。
通过调用预置的调度引擎，根据所述更新类型并通过所述数据分析处理，将所述数据湖中的更新数据加工到预置的数据库中，通过所述调度引擎，在生成用于对同步客户端进行数据同步的结构更新数据的同时，还使得每一次生成的结构更新数据，都是由所述调度引擎按照预置的有向图从所述数据湖中获取更新数据并对其进行数据分析处理的，因此，保证了每一次生成的结构更新数据的数据分析逻辑都是一致的，进而确保了数据更新的稳定性，其中，所述有向图表征了从所述数据湖中提取更新数据的逻辑，以保证每次出现更新数据时，其提取的逻辑均为一致。
通过从所述数据库中获取结构更新数据，通过对所述结构更新数据进行数据预处理得到待更新数据的方式，对所述结构更新数据进行预处理，以实现对有权同步所述结构更新数据的客户端进行数据同步，用以确保数据安全性，及实现对不同权限的同步客户端同步不同内容的数据，用以实现对不同权限的同步客户端进行数据同步，以及确保数据同步的效率。同时，通过将所述结构更新数据保存在所述缓存库中的方式，以避免从所述数据湖中获取结构更新数据，导致数据同步效率低下的问题发生。
通过向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息的方式，用以向同步客户端进行更新通告予以通知，使得所述同步客户端可根据所述更新通告按照其需求进行数据更新；若所述同步客户端需要进行数据更新时，则对所述同步客户端进行认证处理，确保所述同步客户端的具有数据同步的权限，且识别出所述同步客户端的权限等级。通过将所述目标更新数据传送至发送所述同步请求的同步客户端，实现对各所述同步客户端的增量同步或全量同步，进而实现在保证数据同步准确度的前提下，保证了数据同步的同步效率的技术效果。
实施例二：
本实施例为上述实施例一的一种具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。
下面，以在运行有数据同步方法的服务器中，根据数据湖中出现更新的数据的更新类型，对更新数据进行数据分析处理和数据预处理得到待更新数据，及将待更新数据同步到同步客户端为例，来对本实施例提供的方法进行具体说明。需要说明的是，本实施例只是示例性的，并不限制本发明实施例所保护的范围。
图2示意性示出了根据本申请实施例二的数据同步方法的环境应用示意图。
在示例性的实施例中，数据同步方法所在的服务器2通过网络3分别连接多个同步客户端4；所述服务器2可以通过一个或多个网络3提供服务，网络3可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网络3可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络3可以包括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物；所述同步客户端4可为智能手机、平板电脑、笔记本电脑、台式电脑等计算机设备。
图3是本发明一个实施例提供的一种数据同步方法的具体方法流程图，该方法具体包括步骤S201至S207。
S201：与同步客户端构建通信连接和同步连接，所述通信连接用于与所述同步客户端之间进行通信交互，所述同步连接是用于与所述同步客户端之间进行数据同步的同步机制。
为实现同步客户端能够跨网络访问服务器中的更新数据，并实现与所述服务器连接的多种网络的同步客户端的数据同步，本步骤通过构建通信连接，以作为同步客户端和服务器之间进行通信的专门通道，用以通知各同步客户端数据出现更新，以便于同步客户端根据其需求进行数据同步。
以及，通过构建同步连接实现跨区域的对同步客户端和服务器进行数据同步，实现了对处于不同网络的同步客户端的数据同步的技术效果。
于本实施例中，采用端口映射方法构建不同网络的同步客户端与服务器之间的通信连接，用以实现向不同网络区域中的同步客户端发送通知消息，及接收所述同步客户端发送的同步请求，其中，端口映射方法是NAT的一种，功能是把在公网的地址转翻译成私有地址，采用路由方式的ADSL宽带路由器拥有一个动态或固定的公网IP，ADSL直接接在HUB或交换机上，所有的电脑共享上网。
于本实施例中，采用ESG Portal网站，如：平安开放平台调用所述端口映射方法，所述平安开放平台是专门处理内调外和外调内对接用的计算机平台。
将通过预置的云存储系统构建与同步客户端之间的同步连接，其中，云存储系统是一种网上在线存储(英语：Cloud storage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。托管(hosting)公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storagepool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。云存储这项服务乃透过Web服务应用程序接口(API),或是通过Web化的用户界面，构建服务器和同步客户端之间的同步连接。
S202：当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型。
为实现对出现更新的数据进行及时的识别，本步骤通过监测数据湖中出现数据更新，将数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型的方式，识别数据湖中出现更新的数据，并获取该更新的数据的更新类型，以便于后续对客户端进行增量同步或全量同步，在保证数据同步准确度的前提下，还保证了数据同步的同步效率。
于本实施例中，采用hive作为所述数据湖，其中，hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
在一个优选的实施例中，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型，包括：
S21：监听数据湖中是否接收到同步客户端发送的数据更新指令，若是，则判定所述数据湖出现数据更新，并将发送所述数据更新指令的同步客户端设为上传客户端；
本步骤中，所述上传客户端是用于对数据湖中的数据进行新增或修改的终端，其中，所述上传客户端通过向所述数据湖中发送数据更新指令(例如：update指令)，用于在所述数据湖中写入新增的数据，或在所述数据湖中修改已存的数据；所述修改包括：修改所述数据湖中数据的内容和删除所述数据湖中的数据。
S22：将数据湖中相应于所述数据更新指令的数据设为所述更新数据；
本步骤中，识别所述数据湖中被上传客户端通过数据更新指令进行新增或修改的数据，并将该数据设为所述更新数据。
S23：识别所述数据湖根据所述数据更新指令，对所述数据湖中的数据进行操作形成所述更新数据的操作方法；
本步骤中，提取所述数据更新指令中的更新函数，用以识别形成所述更新数据的操作方法，所述操作方法包括：表征在所述数据湖中新增数据的insert()函数，表征在所述数据湖中修改数据的swap()函数，表征在所述数据湖中删除数据的delete()函数。
S24：若所述操作方法为变更方法，则判定所述更新类型为全量类型；
本步骤中，如果所述操作方法为swap()函数或delete()函数，则判定所述操作方法为变更方法。
S25：若所述操作方法为新增方法，则判定所述更新类型为增量类型。
本步骤中，如果所述操作方法为insert()函数，则判定所述操作方法为新增方法。
S203：根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据。
为生成便于对所述同步客户端进行数据同步的结构更新数据，本步骤通过调用预置的调度引擎，根据所述更新类型并通过所述数据分析处理，将所述数据湖中的更新数据加工到预置的数据库中，通过所述调度引擎，在生成用于对同步客户端进行数据同步的结构更新数据的同时，还使得每一次生成的结构更新数据，都是由所述调度引擎按照预置的有向图从所述数据湖中获取更新数据并对其进行数据分析处理的，因此，保证了每一次生成的结构更新数据的数据分析逻辑都是一致的，进而确保了数据更新的稳定性，其中，所述有向图表征了从所述数据湖中提取更新数据的逻辑，以保证每次出现更新数据时，其提取的逻辑均为一致。
于本实施例中，采用airflow作为所述调度引擎，采用ETL处理方法作为所述数据分析处理的方法，采用HBase作为所述数据库。
根据所述更新类型并构建用于进行增量同步或全量同步的结构更新数据，并将其存放在数据库中，使得用于进行数据同步的结构更新数据的数据量小于所述更新数据，进而降低数据同步作业的数据量大小。
需要说明的是，airflow是一个任务调度系统，采用python语言进行开发，是一个以编程方式编写，安排和监视工作流的平台，airflow可以按照提前编写好的程序，依次调度一组任务进行执行，并实时监控任务的运行，与此同时，airflow还提供了丰富的用户界面，可以更人性化的对任务进行调度。于本实施例中，所述airflow通过DAG中一组task进行调度，进行任务的有序处理以保持数据湖中的数据和数据库中的数据的数据处理逻辑的一致性，其中，DAG是Directed Acyclic Graphs(有向无环图)的缩写，是airflow进行一系列任务调度的单元，task是任务执行的单元。
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程；
HBase–Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。其中，HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。
在一个优选的实施例中，所述根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，包括：
S31：识别所述更新类型；
若所述更新类型为全量类型，则从所述数据湖中提取具有所述更新数据的数据表，并将所述数据表设为目标数据；
若所述更新类型为增量类型，则从所述数据湖中提取更新数据，并将所述更新数据设为目标数据。
本步骤中，通过预置的数据湖管理系统，与数据湖之间建立链接，并通过select语句访问所述数据湖中的更新数据，并将所述更新数据或具有所述更新数据的数据表设为目标数据。其中，数据湖管理系统(Database Management System)是一种操纵和管理数据湖的大型软件，用于建立、使用和维护数据湖，简称DBMS。
S32：对所述目标数据进行数据清洗处理，以消除所述目标数据中的异常数据并得到清洗数据。
本步骤中，所述异常数据包括不完整数据、出现错误的错误数据以及出现重复情况的重复数据。
于本实施例中，通过消除所述目标数据中不完整、和/或出现错误、和/或重复的数据，使所述目标数据转为清洗数据。
具体地，不完整数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。
于本实施例中，通过获取所述目标数据中的不完整数据并构建不完整表格(如：excel表格)，并将所述不完整表格传送至发送所述数据更新指令的同步客户端，用于使所述同步客户端补全所述不完整表格中的不完整数据并形成完整数据，及将所述同步客户端发送的所述完整数据录入所述目标数据中。
错误数据是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据湖造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等，其中，错误数据的类别包括第一类别和第二类别；
第一类别的错误数据是指目标数据中出现的全角字符、数据前后有不可见字符的问题，于本实施例中，通过预置的sql语句从所述目标数据中识别出第一类别的错误数据；
第二类别的错误数据是指目标数据中出现日期格式不正确的或者是日期越界的这一类错误，于本实施例中，识别所述目标数据中的错误数据，
将所述错误数据传送至发送所述数据更新指令的同步客户端，接收所述同步客户端对所述错误数据进行修改并发送的正确数据，将所述正确数据录入所述目标数据中。
重复数据是指目标数据中两个或两个以上内容一致的数据，于本实施例中，将所述目标数据中的所有重复数据导出并汇总形成重复表，将所述重复表传输至发送所述数据更新指令的同步客户端，获取所述同步客户端对所述重复表中的重复数据进行去重处理所生成的去重数据，将所述去重数据录入所述目标数据中。
S33：按照预置的数据规则对所述清洗数据进行数据转换，使所述清洗数据的数据格式和数据颗粒度转为符合所述数据规则的分析数据。
具体地，所述数据规则包括格式规则和粒度规则；
按照所述格式规则将所述清洗数据中数据内容的格式转为统一格式，并形成格式统一数据；于本实施例中，所述格式规则用于将不同业务系统的相同类型的数据统一，比如同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001，这样在抽取过来之后统一转换成一个编码，例如：同一转换成XX0001。
按照所述粒度规则对所述格式同一数据中的数据内容进行粒度聚合，使所述格式统一数据转为分析数据。其中，所述粒度规则用于针对指标数据的计算范围，如人口这个数据项在填表科室是以街区为范围还是一个社区为范围统计的，其用于表示某数据集的组成的最小单元。
S204：对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中。
为避免从所述数据湖中获取结构更新数据，导致服务器需要调用配置文件或数据更新表，从所述数据湖中获取所述结构更新数据，并将其同步至所述客户端导致数据同步操作效率低下，且同步的数据无法满足多种客户端的不同权限的情况发生。
本步骤从所述数据库中获取结构更新数据，通过对所述结构更新数据进行数据预处理得到待更新数据的方式，对所述结构更新数据进行预处理，以实现对有权同步所述结构更新数据的客户端进行数据同步，用以确保数据安全性，及实现对不同权限的同步客户端同步不同内容的数据，用以实现对不同权限的同步客户端进行数据同步，以及确保数据同步的效率。
同时，通过将所述结构更新数据保存在所述缓存库中的方式，以避免从所述数据湖中获取结构更新数据，导致数据同步效率低下的问题发生。
于本实施例中，采用云盘作为所述缓存库，所述云盘是云存储系统下的一项应用。而云存储本身，又是云计算技术发展而来的一项应用。云存储的核心是数据的存储与管理，它在云计算系统的基础上配置了海量的存储空间。在集群系统、网格技术、分布式文件系统等技术的支持下，云存储系统可以实现跨地域的大规模存储设备的协同工作，共同对外提供服务。云存储系统各种应用程序接口(API)的存在，使得开发者可以通过开发不同的应用，不断扩展云存储系统能提供的服务种类。于本实施例中，采用平安云IOBS云盘机制作为所述缓存库。
在一个优选的实施例中，所述对所述结构更新数据进行数据预处理得到待更新数据，包括：
S41：根据预置的至少一个权限规则删除所述结构更新数据中的数据内容，得到至少一个相应于所述权限规则的权限更新数据。
本步骤中，所述权限规则中记载了权限信息和与所述权限信息对应的权限元数据，识别所述结构更新数据中除所述权限元数据外的其他元数据，删除所述结构更新数据中的其他元数据及与所述其他元数据对应的数据内容，将所述权限信息载入删除所述数据内容的结构更新数据中，使所述结构更新数据转为所述权限更新数据，使得不同权限的同步客户端，能够根据其权限获取相应的待更新数据，实现对不同权限的同步客户端同步不同内容的数据，用以实现对不同权限的同步客户端进行数据同步。
S42：对所述权限更新数据进行数据压缩处理得到压缩更新数据，并对所述压缩更新数据进行加密处理得到待更新数据。
本步骤中，通过对所述权限更新数据进行数据压缩处理，以压缩数据空间，减少数据量大小，进而确保数据同步的效率；其中，所述数据压缩处理是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。
所述加密处理是通过预置的加密算法将作为明文的压缩更新数据转为，作为密文的待更新数据，以确保在进行数据同步操作时的数据安全，避免非法客户端截获所述待更新数据造成数据泄露的情况发生，以确保数据安全性。
S205：向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息。
通过向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息的方式，用以向同步客户端进行更新通告予以通知，使得所述同步客户端可根据所述更新通告按照其需求进行数据更新；若所述同步客户端需要进行数据更新时，则对所述同步客户端进行认证处理，确保所述同步客户端的具有数据同步的权限，且识别出所述同步客户端的权限等级。
在一个优选的实施例中，所述根据所述更新请求对同步客户端进行认证处理得到认证权限信息，包括：
S51：提取所述更新请求中表征所述同步客户端身份的身份信息，将所述身份信息与预置的认证库中的认证权限信息进行比对；
本步骤中，所述认证库包括相互对应的身份信息和认证权限信息，
于本实施例中，采用key-value的方式将所述身份信息和所述认证权限信息构建成键值对，并保存在所述认证库中，其中，所述身份信息为所述键值对的主键，所述认证权限信息为所述键值对的键值。具体地，将所述身份信息与所述认证库中的主键依次进行比对，以实现将所述身份信息与认证库中的认证权限信息进行比对的技术效果。
S52：判断所述认证库中是否具有与所述身份信息对应的认证权限信息；
本步骤中，如果所述认证库中具有与所述身份信息一致的主键，则判定所述认证库中具有与所述身份信息对应的认证权限信息，
如果所述认证库中不具有与所述身份信息一致的主键，则判定所述认证库中不具有与所述身份信息对应的认证权限信息。
S53：若是，则获取与所述身份信息对应的认证权限信息；
本步骤中，从所述认证库中获取与所述身份信息一致的主键对应的键值，从所述键值中提取认证权限信息，以作为与所述身份信息对应的认证权限信息。
S54：若否，则向所述同步客户端发送无权同步消息。
S206：将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
为确保同步客户端能够实时更新其中的数据，并避免同步客户端需要主动访问服务器进行数据同步，导致数据同步及时性差的问题发生，本步骤通过将所述目标更新数据传送至发送所述同步请求的同步客户端，实现对各所述同步客户端的增量同步或全量同步，进而实现在保证数据同步准确度的前提下，保证了数据同步的同步效率的技术效果。
S207：识别所述同步客户端中相应于所述待更新数据的数据表，将所述待更新数据录入到所述数据表中。
为实现自动的对同步客户端进行更新，本步骤通过识别所述同步客户端中相应于所述待更新数据的数据表，将所述待更新数据录入到所述数据表中的方式，识别所述同步客户端中相应于所述待更新数据的数据表，并将所述待更新数据录入所述数据表之中，使得无需同步客户端自行录入所述待更新数据，提高了数据同步自动化程度。
具体地，获取所述数据湖中相应于所述待更新数据的数据表，提取所述数据表的表名称，并将所述待更新数据录入所述同步客户端中相应于所述表名称的数据表中。
优选的，所述将所述待更新数据录入到所述数据表中之后，所述方法还包括：
将所述待更新数据上传至区块链中。
需要说明的是，基于待更新数据得到对应的摘要信息，具体来说，摘要信息由待更新数据进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证待更新数据是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
实施例三：
请参阅图4，本实施例的一种基于云存储的数据同步装置1，包括：
更新识别模块12，用于在监测到数据湖中出现数据更新时，将数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；
结构更新模块13，用于根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；
预处理模块14，用于对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；
公告认证模块15，用于向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；
数据同步模块16，用于将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
可选的，所述数据同步装置1还包括：
连接模块11，用于与同步客户端构建通信连接和同步连接，所述通信连接用于与所述同步客户端之间进行通信交互，所述同步连接是用于与所述同步客户端之间进行数据同步的同步机制。
可选的，所述数据同步装置1还包括：
数表更新模块17，用于识别所述同步客户端中相应于所述待更新数据的数据表，将所述待更新数据录入到所述数据表中。
可选的，所述更新识别模块12还包括：
更新监听单元121，用于监听数据湖中是否接收到同步客户端发送的数据更新指令，若是，则判定所述数据湖出现数据更新，并将发送所述数据更新指令的同步客户端设为上传客户端；
更新设定单元122，用于将数据湖中相应于所述数据更新指令的数据设为所述更新数据；
方法识别单元123，用于识别所述数据湖根据所述数据更新指令，对所述数据湖中的数据进行操作形成所述更新数据的操作方法；
全量判定单元124，用于在所述操作方法为变更方法时，判定所述更新类型为全量类型；
增量判定单元125，用于在所述操作方法为新增方法时，则判定所述更新类型为增量类型。
可选的，所述结构更新模块13还包括：
更新识别单元131，用于识别所述更新类型；
若所述更新类型为全量类型，则从所述数据湖中提取具有所述更新数据的数据表，并将所述数据表设为目标数据；
若所述更新类型为增量类型，则从所述数据湖中提取更新数据，并将所述更新数据设为目标数据；
数据清洗单元132，用于对所述目标数据进行数据清洗处理，以消除所述目标数据中的异常数据并得到清洗数据；
数据分析单元133，用于按照预置的数据规则对所述清洗数据进行数据转换，使所述清洗数据的数据格式和数据颗粒度转为符合所述数据规则的分析数据。
可选的，所述预处理模块14还包括：
数据删除单元141，用于根据预置的至少一个权限规则删除所述结构更新数据中的数据内容，得到至少一个相应于所述权限规则的权限更新数据；
数据压缩单元142，用于对所述权限更新数据进行数据压缩处理得到压缩更新数据，并对所述压缩更新数据进行加密处理得到待更新数据。
可选的，所述公告认证模块15还包括：
认证比对单元151，用于提取所述更新请求中表征所述同步客户端身份的身份信息，将所述身份信息与预置的认证库中的认证权限信息进行比对；
权限判断单元152，用于判断所述认证库中是否具有与所述身份信息对应的认证权限信息；
信息提取单元153，用于获取与所述身份信息对应的认证权限信息；
无权告知单元154，用于向所述同步客户端发送无权同步消息。
实施例四：
为实现上述目的，本发明还提供一种计算机设备5，实施例三的数据同步装置的组成部分可分散于不同的计算机设备中，计算机设备5可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个应用服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器51、处理器52，如图5所示。需要指出的是，图5仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器51(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器51可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器51也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器51还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器51通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例三的数据同步装置的程序代码等。此外，存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器52在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制计算机设备的总体操作。本实施例中，处理器52用于运行存储器51中存储的程序代码或者处理数据，例如运行数据同步装置，以实现实施例一和实施例二的数据同步方法。
实施例五：
为实现上述目的，本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器52执行时实现相应功能。本实施例的计算机可读存储介质用于存储实现所述数据同步方法的计算机程序，被处理器52执行时实现实施例一和实施例二的数据同步方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于云存储的数据同步方法，其特征在于，包括：
当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；
根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；
对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；
向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；
将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
2.根据权利要求1所述的数据同步方法，其特征在于，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型之前，所述方法还包括：
与同步客户端构建通信连接和同步连接，所述通信连接用于与所述同步客户端之间进行通信交互，所述同步连接是用于与所述同步客户端之间进行数据同步的同步机制。
3.根据权利要求1所述的数据同步方法，其特征在于，所述当监测到数据湖中出现数据更新时，将所述数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型，包括：
监听数据湖中是否接收到同步客户端发送的数据更新指令，若是，则判定所述数据湖出现数据更新，并将发送所述数据更新指令的同步客户端设为上传客户端；
将数据湖中相应于所述数据更新指令的数据设为所述更新数据；
识别所述数据湖根据所述数据更新指令，对所述数据湖中的数据进行操作形成所述更新数据的操作方法；
若所述操作方法为变更方法，则判定所述更新类型为全量类型；
若所述操作方法为新增方法，则判定所述更新类型为增量类型。
4.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，包括：
识别所述更新类型；
若所述更新类型为全量类型，则从所述数据湖中提取具有所述更新数据的数据表，并将所述数据表设为目标数据；
若所述更新类型为增量类型，则从所述数据湖中提取更新数据，并将所述更新数据设为目标数据；
对所述目标数据进行数据清洗处理，以消除所述目标数据中的异常数据并得到清洗数据；
按照预置的数据规则对所述清洗数据进行数据转换，使所述清洗数据的数据格式和数据颗粒度转为符合所述数据规则的分析数据。
5.根据权利要求1所述的数据同步方法，其特征在于，所述对所述结构更新数据进行数据预处理得到待更新数据，包括：
根据预置的至少一个权限规则删除所述结构更新数据中的数据内容，得到至少一个相应于所述权限规则的权限更新数据；
对所述权限更新数据进行数据压缩处理得到压缩更新数据，并对所述压缩更新数据进行加密处理得到待更新数据。
6.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述更新请求对同步客户端进行认证处理得到认证权限信息，包括：
提取所述更新请求中表征所述同步客户端身份的身份信息，将所述身份信息与预置的认证库中的认证权限信息进行比对；
判断所述认证库中是否具有与所述身份信息对应的认证权限信息；
若是，则获取与所述身份信息对应的认证权限信息；
若否，则向所述同步客户端发送无权同步消息。
7.根据权利要求1所述的数据同步方法，其特征在于，所述将所述目标更新数据传送至所述同步客户端之后，所述方法还包括：
识别所述同步客户端中相应于所述待更新数据的数据表，将所述待更新数据录入到所述数据表中；
所述将所述待更新数据录入到所述数据表中之后，所述方法还包括：
将所述待更新数据上传至区块链中。
8.一种基于云存储的数据同步装置，其特征在于，包括：
更新识别模块，用于在监测到数据湖中出现数据更新时，将数据湖中出现更新的数据设为更新数据，识别所述更新数据的更新类型；
结构更新模块，用于根据所述更新类型对所述更新数据进行数据分析处理得到分析数据，整合所述分析数据和所述更新类型得到结构更新数据；
预处理模块，用于对所述结构更新数据进行数据预处理得到待更新数据，将所述待更新数据保存至预置的缓存库中；
公告认证模块，用于向同步客户端发送更新公告，接收所述同步客户端发送的更新请求，根据所述更新请求对同步客户端进行认证处理得到认证权限信息；
数据同步模块，用于将所述缓存库中相应于所述认证权限信息的待更新数据作为目标更新数据，将所述目标更新数据传送至所述同步客户端。
9.一种计算机设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机设备的处理器执行所述计算机程序时实现权利要求1至7任一项所述数据同步方法的步骤。
10.一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，其特征在于，所述可读存储介质存储的所述计算机程序被处理器执行时实现权利要求1至7任一项所述数据同步方法的步骤。
CN202210369249.4A 2022-04-08 2022-04-08 基于云存储的数据同步方法、装置、设备及存储介质 Pending CN114925044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210369249.4A CN114925044A (zh) 2022-04-08 2022-04-08 基于云存储的数据同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210369249.4A CN114925044A (zh) 2022-04-08 2022-04-08 基于云存储的数据同步方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114925044A true CN114925044A (zh) 2022-08-19

Family

ID=82804857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210369249.4A Pending CN114925044A (zh) 2022-04-08 2022-04-08 基于云存储的数据同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114925044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168386A (zh) * 2022-09-07 2022-10-11 龙图腾网科技(合肥)股份有限公司 一种知识产权数据更新方法、装置、系统以及计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168386A (zh) * 2022-09-07 2022-10-11 龙图腾网科技(合肥)股份有限公司 一种知识产权数据更新方法、装置、系统以及计算机设备

Similar Documents

Publication Publication Date Title
US10193696B2 (en) Using a tree structure to segment and distribute records across one or more decentralized, acylic graphs of cryptographic hash pointers
US10671308B2 (en) Private and fault-tolerant storage of segmented data
US11212076B2 (en) Distributed platform for computation and trusted validation
KR20210133289A (ko) 블록체인 네트워크에서 데이터 추출
CN112100460B (zh) 基于区块链的网络页面存证方法、装置、介质及电子设备
CN111736775B (zh) 多源存储方法、装置、计算机系统及存储介质
CN113254466B (zh) 一种数据处理方法、装置、电子设备和存储介质
US11032063B2 (en) Distributed platform for computation and trusted validation
US9426219B1 (en) Efficient multi-part upload for a data warehouse
CN110413595B (zh) 一种应用于分布式数据库的数据迁移方法和相关装置
CN110266872B (zh) 通讯录数据的管控方法、装置及云通讯录系统、计算机设备、计算机可读存储介质
CN111327613B (zh) 分布式服务的权限控制方法、装置及计算机可读存储介质
CN115769241A (zh) 针对经许可的区块链的隐私保护架构
US11940978B2 (en) Distributed platform for computation and trusted validation
EP3744071B1 (en) Data isolation in distributed hash chains
CN111931220B (zh) 区块链网络的共识处理方法、装置、介质及电子设备
CN103546544A (zh) 一种基于云计算的数据管理系统
CN113535677B (zh) 数据分析查询管理方法、装置、计算机设备及存储介质
CN114925044A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
US9503351B1 (en) Deployment feedback for system updates to resources in private networks
WO2021174882A1 (zh) 数据分片校验方法、装置、计算机设备及可读存储介质
CN113721856A (zh) 一种数字化社区管理数据存储系统
CN113011960A (zh) 基于区块链的数据访问方法、装置、介质及电子设备
CN111444542A (zh) 一种针对版权文件的数据处理方法、装置及存储介质
CN115982133A (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination