CN114357252A - 跨源多域分布式数据的储存方法、系统及存储介质 - Google Patents

Abstract

本申请公开了一种跨源多域分布式数据的储存方法、系统及存储介质。本申请的存储方法应用于跨源多域分布式系统，跨源多域分布式系统包括数据接入层、数据核心服务层和数据存储适配层，数据核心服务层包括策略引擎，策略引擎设有存储策略，该存储方法包括：通过数据接入层接收到所适配的多方数据流的数据；通过数据核心服务层基于多方数据流的数据进行路由分发；通过数据核心服务层基于存储策略选择多方数据流的数据的存储位置；通过数据存储适配层基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据。通过上述方式，本申请提高了分布式系统数据存储的能力，实现数据的多方储存。

Description

跨源多域分布式数据的储存方法、系统及存储介质

技术领域

本申请涉及文件、数据存储领域，特别是涉及一种跨源多域分布式数据的储存方法、跨源多域分布式系统及计算机可读存储介质。

背景技术

国家大力支持物联网、5G、人工智能、区块链、云计算、大数据等前沿科技的发展。而在信息爆炸的时代，人们可以获取的数据呈指数倍的增长，因此对数据存储要求越来越高，而且大数据处理系统的数据多是来自于客户，数据的种类多，存储系统需要存储各种半结构化、非结构化的数据，如文档、图片、视频等，因此大数据的存储宜使用分布式文件系统来管理这些非结构化数据。而随着存储数据的增加，存储服务器也越来越多，同时存储压力也不断的上升，不仅增加了存储的高成本，同时这种传统的存储方式也在数据存储的安全性和可靠性方面存在很大的风险，一旦一台大型机器出现故障，那么整个系统将可能处于不可用的状态，后果非常的严重。相比传统的集中式存储存在数据安全性和可靠性的问题，分布式存储就可以很好地解决这一痛点。

在数据存储领域，随着存储技术越来越成熟，储存方式越来越多样化，数据存储方式也越来越细化，业务需求也越来越高，不同的业务场景对数据存储要求方式也不同，数据存储成本也有不同的要求，因此对数据存储也就要求更灵活，而对于数据存储技术细节希望无感知。目前主流的分布式文件系统有：谷歌文件系统(Google File System，GFS)、Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)、Ceph分布式文件系统、MINIO、Lustre、MogileFS、MooseFS、FastDFS、淘宝文件系统(Taobao File System，TFS)、GridFS等，企业级的：阿里云对象存储服务(Object Storage Service，OSS)、腾讯云对象存储服务(Cloud Object Storage，COS)、亚马逊简单存储服务(Amazon Simple StorageService，AWS S3)等，分布式存储服务：本地存储、文件传输协议(File TransferProtocol，FTP)、直连存储(Direct Attached Storage，DAS)、中心化存储等，数据存储区域涉及跨域(不同域名)、跨地区(华东、华北等)、跨地域(欧洲、美洲、亚洲等)。

目前存储技术多样，但是需要根据实际业务需求灵活使用，让数据流动起来比较困难。

发明内容

为解决上述问题，本申请提供一种跨源多域分布式数据的储存方法，应用于跨源多域分布式系统，跨源多域分布式系统包括数据接入层、数据核心服务层和数据存储适配层，数据核心服务层包括策略引擎，策略引擎设有存储策略。该存储方法包括以下步骤：通过数据接入层接收到所适配的多方数据流的数据；通过数据核心服务层基于多方数据流的数据进行路由分发；通过数据核心服务层基于存储策略选择多方数据流的数据的存储位置；通过数据存储适配层基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据。

其中，接收到客户端所适配的多方数据流的数据步骤之后包括：

数据接入层判断多方数据流的数据对应的网关协议与预设的网关协议是否相同；若是，则执行通过数据接入层接收到所适配的多方数据流的数据的步骤；若否，则数据接入层将多方数据流的数据对应的网关协议转换为预设网关协议，再执行通过数据接入层接收到所适配的多方数据流的数据的步骤。

其中，多方数据流适配于分布式文件数据接入模式、可兼容的软件开发数据接入模式及网络数据接入模式，分布式文件数据接入模式对应的网关协议包括标准协议；可兼容的软件开发数据接入模式对应的数据操作包括软件开发的数据操作；网络数据接入模式对应的网关协议包括预设网络协议。

其中，数据核心服务层包括第一路由器、服务器和策略引擎，基于存储策略选择多方数据流的数据的存储位置的步骤包括：

通过第一路由器分发多方数据流的数据至服务器；通过服务器基于策略引擎的存储策略选择多方数据流的数据的存储位置。

其中，数据存储适配层包括第二路由器，基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据的步骤包括：

数据存储适配层基于多方数据流的数据的存储位置，通过第二路由器将多方数据流的数据写入对应存储位置，以实现将多方数据流的数据进行同步存储并更新元数据。

为解决上述问题，本申请提供一种跨源多域分布式系统，该系统包括:

数据接入层，用于适配的多方数据流的数据接收；数据核心服务层，与数据接入层连接，用于进行网关协议转换，将多方数据流的数据进行路由分发及选择其存储位置；数据存储适配层，与数据核心服务层连接，用于基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据。

其中，数据接入层包括：

分布式文件数据接入口，用于接收分布式数据流的数据；可兼容的软件开发数据接入口，用于接收可兼容的软件开发数据流的数据；网络数据接入口，用于接收网络数据流的数据。

其中，数据核心服务层包括：

网关协议转换层，与数据接入层连接，用于将多方数据流的数据的网关协议进行转换统一；第一路由器，与网关协议转换层连接，第一路由器分发多方数据流的数据；服务器，与第一路由器连接，用于接收并处理多方数据流的数据；策略引擎，与服务器连接，用于基于策略引擎的存储策略选择多方数据流的数据的存储位置。

其中，数据存储适配层包括：

第二路由器，与策略引擎连接，将多方数据流的数据写入对应存储位置；多源文件存储层，与第二路由器连接，用于将多方数据流的数据进行数据同步存储并更新元数据。

为了解决上述技术问题，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现上述跨源多域分布式数据的储存方法。

本申请的有益效果在于：区别于现有技术，本申请的技术方案通过适配多方数据流的数据接收，进行网关协议转换并将多方数据流的数据基于存储策略进行同步储存，让数据存更加灵活，对于数据存储来，其存储技术细节无感知，能够实现不同数据存储、不同域名、不同区域、不同地域等分布式存储。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的跨源多域分布式系统的结构示意框图；

图2是本申请提供的跨源多域分布式数据的储存方法的一实施例的流程示意图；

图3是本申请提供的跨源多域分布式数据的储存方法的第二实施例的流程示意图；

图4是本申请提供的跨源多域分布式数据的储存方法的第三实施例的流程示意图；

图5是本申请提供的跨源多域分布式系统的另一实施例的结构示意框图；

图6是本申请计算机可读存储介质的一实施例的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图，对本申请的具体实施方式做详细的说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“设置有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请首先提出了一种跨源多域分布式系统100，请参阅图1，本实施的存储系统100包括数据接入层110、数据核心服务层120及数据存储适配层130。

数据接入层110用于接收适配的多方数据流的数据。数据核心服务层120与数据接入层110连接，用于进行网关协议转换，将多方数据流的数据进行路由分发及选择其存储位置。数据存储适配层130与数据核心服务层120连接，用于基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据。

数据接入层110接收多方数据流的数据，进行数据文件的写入；数据核心服务层120进行对多方数据流的数据网关协议转换，将不同协议转换为相同的网关协议，并将其进行分发和基于存储策略选择相应的存储位置。数据核心服务层120中的存储策略支持多样化的数据存储，并且基于规则化、策略画的进行灵活的数据管理，支持的数据包括不仅限于副本管理、生存时间(Time To Live，TLL)有效期管理、数据加解密、分级存储、文件级别数据存储管理、文件提纲管理、文件元数据管理、数据生命周期管理、数据安全管控、数据容灾备灾、数据回流、数据共享等等。数据存储适配层130将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据，数据存储适配层130可以通过不仅限于对接本地存储、HDFS、S3、OSS、COS、MINIO、星际文件系统(InterPlanetary FileSystem，IPFS)、网络附属存储(Network Attached Storage，NAS)、统计分析系统(Statistical Analysis System，SAS)、存储区域网络(Storage Area Network，SAN)、FTP、服务器信息块(Server Message Block，SMB)、网络文件系统(Network File System，NFS)等适配数据存储。本申请的跨源多域分布式系统100中，多方数据流的数据支持在传输中进行加密、动态加密、对接主要管理系统(Key Management System，KMS)及静态加密。

区别于现有技术，本申请的数据接入层110接收多方数据流的数据时，并不需要对接口进行调换，而是基于数据的类型自动匹配相应类型的数据接入模式。在数据核心服务层120和数据存储适配层130中，数据通过流式内存级别缓存，通过数据块的方式可以灵活进行分布式跨源同步存储，提升数据吞吐性能、安全性和稳定性。

可选地，请参阅图1，本实施例的数据接入层110包括分布式文件数据接入口111、可兼容的软件开发数据接入口112及网络数据接入口113。

其中，分布式文件数据接入口111用于接收分布式数据流的数据；可兼容的软件开发数据接入口112用于接收可兼容的软件开发数据流的数据；网络数据接入口113用于接收网络数据流的数据。

可选地，请参阅图1，本实施例的数据核心服务层120包括网关协议转换层121、第一路由器122、服务器123及策略引擎124。

其中，网关协议转换层121与数据接入层110连接，用于将多方数据流的数据的网关协议进行转换统一；第一路由器122与网关协议转换层121连接，第一路由器122用于分发多方数据流的数据；服务器123与第一路由器122连接，用于接收并处理多方数据流的数据；策略引擎124与服务器123连接，用于基于策略引擎124的存储策略选择多方数据流的数据的存储位置。

可选地，请参阅图1，本实施例的数据存储适配层130包括第二路由器131及多源文件存储层132。

其中，第二路由器131与策略引擎124连接，将多方数据流的数据写入对应存储位置；多源文件存储层132与第二路由器131连接，用于将多方数据流的数据进行数据同步存储并更新元数据。

请参阅图2，本申请进一步提出一种跨源多域分布式数据的储存方法，应用于上述跨源多域分布式系统100，跨源多域分布式系统100包括数据接入层110、数据核心服务层120和数据存储适配层130，数据核心服务层120包括策略引擎124，策略引擎124设有存储策略。该储存方法具体包括步骤S101至步骤S104：

步骤S101：通过数据接入层接收到所适配的多方数据流的数据。

当多方数据流的数据进行写入时，数据接入层110基于多方数据流的数据进行匹配，选择适配的数据接入模式，接收到所适配的多方数据流的数据。

可选地，本实施例多方数据流适配于分布式文件数据接入模式、可兼容的软件开发数据接入模式及网络数据接入模式，分布式文件数据接入模式对应的网关协议包括标准协议；可兼容的软件开发数据接入模式对应的数据操作包括软件开发的数据操作；网络数据接入模式对应的网关协议包括预设网络协议。

其中，分布式文件数据接入模式中，本申请可以通过标准协议包括不仅限于可移植操作系统接口(Portable Operating System Interface，POSIX)、SMB、NFS协议通过挂载方式挂载到windows、mac、linux等服务端或者客户端机器上直接使用。当使用分布式文件数据接入模式时，本申请可在上万台服务器同时挂载，并进行高效能并发读写，进行共享数据，能保证数据之间的强一致性。

可兼容的软件开发数据接入模式及网络数据接入模式中，本申请可以完全兼容包括不仅限于HDFS、S3、OSS、COS、Ceph、MINIO等可兼容的软件开发数据操作，也提供专用可兼容的软件开发数据操作方便使用方数据操作，让使用方操作更加灵活。

网络数据接入模式中，本申请可以提供包括不仅限于超文本传输协议(HyperText Transfer Protocol，HTTP)、超文本传输安全协议(Hyper Text Transfer Protocolover SecureSocket Layer，HTTPS)、FTP等协议对接可视化数据操作。

步骤S102：通过数据核心服务层基于多方数据流的数据进行路由分发。

当多方数据流的数据到达数据核心服务层120时，数据核心服务层120有多个第一路由器122将多方数据流的数据进路由分发，在进行分发时，其数据实现负载均衡，加快了多方数据流的数据的传输。

步骤S103：通过数据核心服务层基于存储策略选择多方数据流的数据的存储位置。

当多方数据流的数据在数据核心服务层120的服务器123时，策略引擎基于数据核心服务层120的存储策略选择多方数据流的数据的存储位置。

步骤S104：通过数据存储适配层基于存储策略将多方数据流的数据写入对应存储位置，对多方数据流的数据进行数据同步存储并更新元数据。

当多方数据流的数据基于存储策略选择其存储位置后，通过第二路由器131发送至对应存储位置。并在多源文件存储层132进行数据同步存储并更新元数据。

请参阅图3，图3是本实施例提供的跨源多域分布式数据的储存方法第二实施例的流程示意图。在步骤S101之后进一步包括步骤S201至步骤S203：

步骤S201:数据接入层判断多方数据流的数据对应的网关协议与预设的网关协议是否相同。

当数据接入层110接收多方数据流的数据，网关协议转换层121对多方数据流的数据进行判断，判断其网关协议与预设的网关协议是否相同。

步骤S202：执行通过数据接入层接收到所适配的多方数据流的数据的步骤。

若网关协议与预设的网关协议相同，执行通过数据接入层110接收到所适配的多方数据流的数据。

步骤S203：数据接入层将多方数据流的数据对应的网关协议转换为预设网关协议，再执行通过数据接入层接收到所适配的多方数据流的数据的步骤。

若网关协议与预设的网关协议不相同，网关协议转换层121将多方数据流的数据对应的网关协议转换为预设网关协议，再执行通过数据接入层110接收到所适配的多方数据流的数据。

请参阅图4，图4是本申请提供的跨源多域分布式数据的储存方法第三实施例的流程示意图。步骤S103进一步包括步骤S301至步骤S302：

步骤S301：通过第一路由器分发多方数据流的数据至服务器。

多方数据流的数据经过网关协议转换层121之后经由多个第一路由器122分发至服务器123中。

步骤S302：通过服务器基于策略引擎的存储策略选择多方数据流的数据的存储位置。

多方数据流的数据通过服务器123基于策略引擎的存储策略选择其存储位置。

可选地，本实施例的跨源多域分布式数据的储存方法的步骤S104进一步包括：

数据存储适配层基于多方数据流的数据的存储位置，通过第二路由器131将多方数据流的数据写入对应存储位置，以实现将多方数据流的数据进行同步存储并更新元数据。

请参阅图5，在一应用场景中，图5为跨源多域分布式系统200。该跨源多域分布式系统200包括与图1一致设置的数据接入层110、数据核心服务层220及数据存储适配层230。

多方数据流的数据经过数据接入层110后进行数据文件写入；到达数据核心服务层220后，经过网关协议层进行网关协议转换发送至分布式服务器fs服务器上，在数据核心服务层220经过统一的分布式文件系统服务，然后经过数据流，再经过统一分布式文件系统和分布式存储策略和内存缓冲存储文件系统，根据策略引擎的存储策略选择存储位置；在数据存储适配层230经过第二路由器发送至分布式存储适配器，根据存储策略写入对应的存储位置和多源文件存储层(HDFS、OSS、S3等)，进行数据的同步存储，并进行更新元数据，提供对外的数据服务。

请参阅图6，本申请还提出一种计算机可读存储介质300，图是本申请计算机可读存储介质300的一实施例的结构示意图，计算机可读存储介质300其上存储有程序指令310，程序指令310被处理器(图未示)执行时实现上述实施例中的跨源多域分布式数据的储存方法。

本实施例计算机可读存储介质300可以是但不局限于U盘、SD卡、PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器、FPGA或ASIC中的存储单元等。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种跨源多域分布式数据的储存方法，其特征在于，应用于跨源多域分布式系统，所述跨源多域分布式系统包括数据接入层、数据核心服务层和数据存储适配层，所述数据核心服务层包括策略引擎，所述策略引擎设有存储策略；所述储存方法包括：

通过所述数据接入层接收到所适配的多方数据流的数据；

通过所述数据核心服务层基于所述多方数据流的数据进行路由分发；

通过所述数据核心服务层基于所述存储策略选择所述多方数据流的数据的存储位置；

通过所述数据存储适配层基于所述存储策略将所述多方数据流的数据写入对应所述存储位置，对所述多方数据流的数据进行数据同步存储并更新元数据。

2.根据权利要求1所述的储存方法，其特征在于，在所述接收到客户端所适配的多方数据流的数据的步骤之后，所述存储方法还包括：

所述数据接入层判断所述多方数据流的数据对应的网关协议与预设网关协议是否相同；

若是，则执行所述通过所述数据接入层接收到所适配的多方数据流的数据的步骤；

若否，则所述数据接入层将所述多方数据流的数据对应的网关协议转换为所述预设网关协议，再执行所述通过所述数据接入层接收到所适配的多方数据流的数据的步骤。

3.根据权利要求2所述的储存方法，其特征在于，所述多方数据流适配于分布式文件数据接入模式、可兼容的软件开发数据接入模式及网络数据接入模式，所述分布式文件数据接入模式对应的网关协议包括标准协议；所述可兼容的软件开发数据接入模式对应的数据操作包括软件开发的数据操作；所述网络数据接入模式对应的网关协议包括预设网络协议。

4.根据权利要求3所述的储存方法，其特征在于，所述数据核心服务层包括第一路由器、服务器和策略引擎，所述基于所述存储策略选择所述多方数据流的数据的存储位置，包括：

通过所述第一路由器分发所述多方数据流的数据至所述服务器；

通过所述服务器基于所述策略引擎的所述存储策略选择所述多方数据流的数据的存储位置。

5.根据权利要求4所述的储存方法，其特征在于，所述数据存储适配层包括第二路由器，所述基于所述存储策略将所述多方数据流的数据写入对应所述存储位置，对所述多方数据流的数据进行数据同步存储并更新元数据，包括：

所述数据存储适配层基于所述多方数据流的数据的存储位置，通过所述第二路由器将所述多方数据流的数据写入对应所述存储位置，以实现将所述多方数据流的数据进行同步存储并更新元数据。

6.一种跨源多域分布式系统，其特征在于，包括：

数据接入层，用于适配的多方数据流的数据接收；

数据核心服务层，与所述数据接入层连接，用于进行网关协议转换，将所述多方数据流的数据进行路由分发及选择其存储位置；

数据存储适配层，与所述数据核心服务层连接，用于基于所述存储策略将所述多方数据流的数据写入对应所述存储位置，对所述多方数据流的数据进行数据同步存储并更新元数据。

7.根据权利要求6所述的跨源多域分布式系统，其特征在于，所述数据接入层，包括：

分布式文件数据接入口，用于接收分布式数据流的数据；

可兼容的软件开发数据接入口，用于接收可兼容的软件开发数据流的数据；

网络数据接入口，用于接收网络数据流的数据。

8.根据权利要求6所述的跨源多域分布式系统，其特征在于，所述数据核心服务层，包括：

网关协议转换层，与所述数据接入层连接，用于将所述多方数据流的数据的网关协议进行转换统一；

第一路由器，与所述网关协议转换层连接，所述第一路由器分发所述多方数据流的数据；

服务器，与所述第一路由器连接，用于接收并处理所述多方数据流的数据；

策略引擎，与所述服务器连接，用于基于所述策略引擎的存储策略选择所述多方数据流的数据的存储位置。

9.根据权利要求8所述的跨源多域分布式系统，其特征在于，所述数据存储适配层，包括:

第二路由器，与所述策略引擎连接，将所述多方数据流的数据写入对应所述存储位置；

多源文件存储层，与所述第二路由器连接，用于将所述多方数据流的数据进行数据同步存储并更新元数据。

10.一种计算机可读存储介质，其特征在于，其内部存储有程序指令，所述程序指令被执行以实现如权利要求1-5任一项所述的跨源多域分布式数据的储存方法。

Images