CN117951107A - 数据共享方法、装置、系统、设备及介质 - Google Patents

Abstract

本申请实施例公开了一种数据共享方法、装置、系统、设备及介质，涉及数据处理领域。该方法由数据共享系统中的云端数据中心执行，数据共享系统还包括本地数据中心和运行有数据应用的客户端，云端数据中心包括至少两个数据节点，至少两个数据节点相互连接该方法包括：获取本地数据中心发送的共享数据，共享数据是本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中的，本地数据节点与第一数据节点相连；将第一数据节点中的共享数据分发到云端数据中心的各个数据节点中；向客户端的数据节点工具包提供共享数据，数据节点工具包用于同步至少两个数据节点的数据目录和数据索引。该方法可以提高数据共享的性能和便捷性。

Description

数据共享方法、装置、系统、设备及介质

技术领域

本申请涉及数据处理领域，特别涉及一种数据共享方法、装置、系统、设备及介质。

背景技术

在新型智慧城市建设过程中，数据互通共享的需求与要求在不断的提升。但是在大数据场景下，数据的规模巨大，受限于服务器的处理能力，数据的使用性能得不到保障，发挥不出数据融合后的数据价值与数据服务能力。

相关技术中，不同区域的数据提供方可提供多种类型的数据到数据中台，由数据中台进行数据集成。数据中台将多种类型的数据集中到数据中台的数据仓库后，数据中台对数据进行清洗、加工和分类。而后，数据中台将数据分享给数据应用。

但是相关技术需要将数据集中到数据仓库中，但数据仓库对外的接口数量有限，使得相关技术的共享效率较低。

发明内容

本申请实施例提供了一种数据共享方法、装置、系统、设备及介质，该方法可以通过数据节点工具包获取云端数据中心中的共享数据，可以提高数据共享效率。所述技术方案如下：

根据本申请的一个方面，提供了一种数据共享方法，所述方法由数据共享系统中的云端数据中心执行，所述数据共享系统还包括本地数据中心和运行有数据应用的客户端，所述云端数据中心包括至少两个数据节点，所述至少两个数据节点相互连接，所述方法包括：

获取所述本地数据中心发送的共享数据，所述共享数据是所述本地数据中心通过本地数据节点将所述共享数据上传到所述云端数据中心的第一数据节点中的，所述本地数据节点与所述第一数据节点相连；

将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

向所述客户端的数据节点工具包提供所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

根据本申请的一个方面，提供了一种数据共享装置，该装置包括至少两个数据节点，所述至少两个数据节点相互连接，该装置包括：

获取模块，用于获取所述本地数据中心发送的共享数据，所述共享数据是所述本地数据中心通过本地数据节点将所述共享数据上传到所述云端数据中心的第一数据节点中的，所述本地数据节点与所述第一数据节点相连；

收发模块，用于将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

所述收发模块，还用于向所述客户端的数据节点工具包提供所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

根据本申请的一个方面，提供了一种数据共享系统，该系统包括云端数据中心、本地数据中心和运行有数据应用的客户端，所述云端数据中心包括至少两个数据节点，所述至少两个数据节点首相互连接；

所述本地数据中心，用于添加本地数据节点，所述本地数据节点与所述云端数据中心中的第一数据节点相连；

所述本地数据中心，还用于通过所述本地数据节点将共享数据上传到所述云端数据中心的第一数据节点中；

所述云端数据中心，用于将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

所述客户端，用于通过数据节点工具包从所述云端数据中心获取所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的数据共享方法。

根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的数据共享方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的数据共享方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中，本地数据中心通过数据节点工具包从云端数据中心中获取到共享数据。由于数据节点工具包可以直接同步至少两个数据节点的数据目录和数据索引，不需要通过API(Application Program Interface，应用程序接口)进行共享，可以提高数据共享的性能和便捷性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种数据共享系统的示意图；

图2示出了本申请实施例提供的一种云端数据中心的示意图；

图3示出了本申请实施例提供的一种数据共享系统的示意图；

图4示出了本申请实施例提供的一种数据共享方法的流程示意图；

图5示出了本申请实施例提供的一种数据共享方法的流程示意图；

图6示出了本申请实施例提供的一种数据共享装置的示意框图；

图7示出了本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中涉及的名词进行介绍：

SDK(Software Development Kit，软件开发工具包)：SDK可以提供专业服务的集合，比如提供安卓开发工具、或者基于硬件开发的服务等。SDK也可以针对某项软件功能提供服务，比如推送技术、图像识别技术、移动支付技术等。SDK还可以提供资源共享服务器，比如广告SDK提供盈利渠道、分发SDK提供产品下载渠道等。

分布式内存网格：是一种面向广域网上内存资源共享的新型网格系统，数据基于Hash(哈希)算法被分片分区分布式存储，具有较多新特性，能够支持每秒内成千上万的内存数据更新，还能对大量数据进行聚集扩展，数据网格支持热插拔扩展升级，可以基于Hash算法定位数据在网格中的位置，数据网格支持本地、复制、分区模式的数据集，可以使用标准SQL(Structured Query Language，结构化查询语言)语法方便地进行跨数据集查询，同时还支持在数据中进行分布式SQL关联。

需要进行说明的是，本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

图1示出了本申请实施例提供的一种数据共享系统的示意图，该系统100包括云端数据中心101、本地数据中心102和运行有数据应用的客户端103，云端数据中心101包括至少两个数据节点，至少两个数据节点相互连接。

本地数据中心102用于添加本地数据节点，本地数据节点102与云端数据中心101中的第一数据节点相连；

本地数据中心102还用于通过本地数据节点将共享数据上传到云端数据中心101的第一数据节点中；

云端数据中心101用于将第一数据节点中的共享数据分发到云端数据中心101的各个数据节点中；

客户端103用于通过数据节点工具包从云端数据中心101获取共享数据，数据节点工具包用于同步至少两个数据节点的数据目录和数据索引。

可选地，第一数据节点是云端数据中心101中的任意一个数据节点。在一些实施例中，第一数据节点是云端数据中心101中离本地数据中心102最近的数据节点。例如，云端数据中心包括3个数据节点，3个数据节点分别位于A地、B地和C地三个不同的地点，本地数据中心距B地最近，则将位于B地的数据节点作为第一数据节点。

可选地，云端数据中心101的至少两个数据节点两两连接。或者，云端数据中心101的至少两个数据节点依次连接成环。

可选地，客户端103还用于向云端数据中心101发送数据查询请求；云端数据中心101还用于根据数据查询请求向客户端103下发授权数据目录和与授权数据目录对应的授权数据索引；客户端103还用于根据授权数据目录和授权数据索引向云端数据中心101发送数据访问请求，数据访问请求是通过数据节点工具包发送的；云端数据中心101还用于根据数据访问请求向客户端的数据节点工具包返回共享数据。

在一些实施例中，授权数据索引包括缓存数据和持久化数据。授权数据目录包括允许本地数据中心访问的目录或者数据集，以及相对应的权限配置数据。

在一些实施例中，授权数据索引存在于云端数据中心101的数据节点和客户端103的数据节点工具包中。在一些实施例中，授权数据目录存在于云端数据中心101的数据节点和客户端103的数据节点工具包中。

在一些实施例中，数据访问请求用于向云端数据中心101请求共享数据。

可选地，云端数据中心101还用于通过第一数据节点对数据访问请求进行鉴权操作；在鉴权通过的情况下，根据数据访问请求中的授权数据目录从第一数据节点获取共享数据；云端数据中心101还用于向客户端103节点工具包返回共享数据。鉴权操作用于确定客户端103是否有访问云端数据中心101的权限。可选地，在鉴权未通过的情况下，向客户端103发送数据访问失败提示。

在一些实施例中，本地数据中心102通过在本地设置本地数据节点来上传共享数据，本地数据中心102还用于将共享数据写入到本地数据节点中；通过本地数据节点将共享数据传送到第一数据节点。示例性的，本地数据中心102将共享数据写入DataNode(数据节点)实例中，DataNode实例会实时将共享数据传送到云端数据中心101的数据节点中。

可选地，本地数据中心102还用于执行如下步骤的至少一种：

将共享数据中的调整部分传送到第一数据节点；

将共享数据中的新增部分传送到第一数据节点；

将共享数据中的删减部分传送到第一数据节点。

示例性的，在图1中，本地数据中心102包括B区域的本地数据中心，B区域的本地数据中心需要进行数据更新，则B区域的本地数据中心向数据源下发数据更新的通知，数据源从RMDB数据库(关系型数据库)中确定更新的数据。

示例性的，在图1中，本地数据中心102包括C区域的本地数据中心，C区域的本地数据中心需要进行数据查询，则C区域的本地数据中心向数据源下发数据查询的通知，数据源从NoSQL数据库(Non-relational Structured Query Language server database，非关系型数据库)中确定被查询的数据。

可选地，云端数据中心101还可以分析影响共享数据的因素。云端数据中心101还用于根据分析指标从共享数据中确定影响因子，影响因子是影响分析指标的指标群或指标。示例性的，云端数据中心101通过随机森林与MLR(Multiple Linear Regression，多元线性回归)模型算法，计算出影响共享数据的指标群或者具体指标。比如，在共享数据是A地的人数的情况下，影响因子是A地的人口流动量。

可选地，云端数据中心101还用于执行如下步骤的至少一种：将共享数据存储到与共享数据的数据形式对应的存储引擎中；将共享数据存储到与共享数据的使用场景对应的存储引擎中。数据形式包括数字数据、模拟数据、图形数据、符号数据、文字数据、图像数据中的至少一种。示例性的，共享数据包括A的图像和A的身高，则将A的图像保存到图像存储引擎中，将A的身高保存到身材存储引擎中。示例性的，共享数据B用于计算C地的人数，共享D用于计算C地的面积，则共享数据B和共享数据C的使用场景不同，将共享数据B和共享数据C存储到不同的存储引擎中。

在一些实施例中，为兼容现有的数据采集与集成方式，云端数据中心101可通过本地数据中心提供的数据源来完成数据上传。示例性的，在图1中，A地的本地数据中心直接通过MySQL数据库(一个关系型数据库管理系统)向云端数据中心101提供数据源。

示例性的，请参考图2，云端数据中心101的数据节点按照图2所示的形式首位连接成环。以图2中的数据节点201为例进行说明，数据节点包括文件系统202、节点管理器(NodeManager)203和数据存储业务适配层204。

文件系统202用于实现数据的分片和复制，还可以用于实施数据管理。在一些实施例中，文件系统202属于Ignite文件系统(Ignite文件系统是一个内存级的文件系统，可以在现有的缓存基础设施基础上对文件以及文件夹进行操作)。

节点管理器203用于实施数据节点的发现和数据节点之间的基础通信。在一些实施例中，节点管理器之间通过TCP(Transmission Control Protocol，传输控制协议)进行通信。

数据存储业务适配层204用于按照数据存储策略将数据节点201中的数据进行持久化存储与数据读取。示例性的，数据存储业务适配层204按照数据类型，将第一类型的共享数据进行持久化存储，第一类型的共享数据指共享次数达到预设次数的数据，或者，第一类型的共享数据是由技术人员预先设置的，或者，第一类型的共享数据是由特定本地数据中心提供的数据。在一些实施例中，数据节点201使用的数据库包括HDSF(HadoopDistributed File System，Hadoop分布式文件系统)、RMDB和NoSQL中的至少一个。其中，HDSF用于支持大数据文件存储格式，RMDB用于支持关系型数据库存储，NoSQL用于支持非关系型数据存储和NoSQL型数据存储。

在一些实施例中，在数据节点201通过文件系统202确定其它数据节点向数据节点201发送共享数据的情况下，数据节点201通过节点管理器203获取到其它数据节点发送的共享数据，由节点管理器203将共享数据提交给数据存储业务适配层204，数据存储业务适配层204根据共享数据的类型决定存储共享数据的数据库。

示例性的，为了实现数据共享需要对数据节点中的结构细化出不同功能点。请参考图3，数据节点301中的文件系统302包括文件数据(Cache Data)303、数据索引(DataIndex)304和数据目录(Data sets)305。其中，文件数据303用于缓存数据节点中的热数据和缓存数据，热数据指共享次数达到预设次数的数据，缓存数据指存储在硬盘内部的高速存储器的数据。数据索引304用于存储的数据节点中缓存数据与持久化数据的索引，持久化数据指存储到数据库中的数据。数据目录305用于存储数据节点允许访问的数据目录或者数据集，以及相对应的权限配置数据。

客户端中也设置有数据目录和数据索引，比如在图3中，客户端1中设置有数据目录1和数据索引1，而客户端2中设置有数据目录1和数据索引2。

在一些实施例中，客户端通过TCP与数据节点连接，数据节点验证客户端的身份通过，数据节点根据客户端的身份向客户端下发应用授权数据目录以及对应的授权数据索引，客户端拿到授权数据目录后就可以根据可访问的授权数据目录进行数据访问，数据访问请求会通过数据节点工具包发送到数据节点进行鉴权与验证，通过后会按照数据请求目录返回共享数据到数据节点工具包，完成共享数据的共享使用。

综上所述，本申请实施例中的本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中，本地数据中心通过数据节点工具包从云端数据中心中获取到共享数据。由于数据节点工具包可以直接同步至少两个数据节点的数据目录和数据索引，不需要通过API进行共享，可以提高数据共享的性能和便捷性。

图4示出了本申请实施例提供的一种数据共享方法的流程示意图。该方法可由图1所示的数据共享系统中的云端数据中心执行，数据共享系统还包括本地数据中心和运行有数据应用的客户端，云端数据中心包括至少两个数据节点，至少两个数据节点相互连接，该方法包括以下步骤：

步骤402：获取本地数据中心发送的共享数据，共享数据是本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中的，本地数据节点与第一数据节点相连。

可选地，第一数据节点是云端数据中心中的任意一个数据节点。在一些实施例中，第一数据节点是云端数据中心中离本地数据中心最近的数据节点。

可选地，云端数据中心的至少两个数据节点两两连接。或者，云端数据中心的至少两个数据节点依次连接成环。

在一些实施例中，本地数据中心通过在本地设置本地数据节点来上传共享数据，本地数据中心将共享数据写入到本地数据节点中；本地数据中心通过本地数据节点将共享数据传送到第一数据节点。

可选地，本地数据中心还用于执行如下步骤的至少一种：将共享数据中的调整部分传送到第一数据节点；将共享数据中的新增部分传送到第一数据节点；将共享数据中的删减部分传送到第一数据节点。

步骤404：将第一数据节点中的共享数据分发到云端数据中心的各个数据节点中。

可选地，云端数据中心还可以分析影响共享数据的因素。云端数据中心根据分析指标从共享数据中确定影响因子，影响因子是影响分析指标的指标群或指标。

可选地，云端数据中心还用于执行如下步骤的至少一种：将共享数据存储到与共享数据的数据形式对应的存储引擎中；将共享数据存储到与共享数据的使用场景对应的存储引擎中。

步骤406：向客户端的数据节点工具包提供共享数据，数据节点工具包用于同步至少两个数据节点的数据目录和数据索引。

可选地，客户端向云端数据中心发送数据查询请求；云端数据中心根据数据查询请求向客户端下发授权数据目录和与授权数据目录对应的授权数据索引；客户端根据授权数据目录和授权数据索引向云端数据中心发送数据访问请求，数据访问请求是通过数据节点工具包发送的；云端数据中心根据数据访问请求向客户端的数据节点工具包返回共享数据。

在一些实施例中，授权数据索引包括缓存数据和持久化数据。授权数据目录包括允许本地数据中心访问的目录或者数据集，以及相对应的权限配置数据。

在一些实施例中，授权数据索引存在于云端数据中心的数据节点和客户端的数据节点工具包中。在一些实施例中，授权数据目录存在于云端数据中心的数据节点和客户端的数据节点工具包中。

在一些实施例中，数据访问请求用于向云端数据中心请求共享数据。

可选地，为了提高云端数据中心向客户端提供共享数据的效率，在云端数据中心中设置了阻塞队列。云端数据中心从共享数据中确定队列数据，队列数据是共享频次大于预设共享频次的数据，或者，队列数据是目标客户端请求共享的数据；云端数据中心将队列数据添加到阻塞队列中；其中，阻塞队列用于客户端直接读取队列数据。其中，预设共享频次可由技术人员自行设置。由于云端数据中心对阻塞队列只做添加数据操作，而客户端对阻塞队列只做移除数据操作，云端数据中心在完成对客户端的鉴权后，客户端可直接从阻塞队列中取出共享数据，不需要与云端数据中心进行其他交互操作，可以减轻云端数据中心的响应需求，还可以提高客户端获取共享数据的效率。

在一些实施例中，目标客户端会向云端数据中心频繁请求共享数据，为了减轻云端数据中心的运行压力，云端数据中心可将目标客户端请求的共享数据添加到阻塞队列中，使得目标客户端只需单次请求就可从阻塞队列获取共享数据，以避免目标客户端的频繁请求。其中，目标客户端可以是通过帐号筛选模型确定的。例如，获取候选帐号的帐号特征，帐号特征包括候选帐号的历史共享数据、候选帐号的信誉度得分、候选帐号的类型中的至少一种；调用帐号筛选模型，通过帐号特征计算候选帐号的帐号得分；根据帐号得分从候选帐号中确定目标帐号。帐号筛选模型是中前馈神经网络、长短记忆神经网络、循环神经网络、U型神经网络的至少一种。

综上所述，本申请实施例中的本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中，本地数据中心通过数据节点工具包从云端数据中心中获取到共享数据。由于数据节点工具包可以直接同步至少两个数据节点的数据目录和数据索引，不需要通过API进行共享，可以提高数据共享的性能和便捷性。

图5示出了本申请实施例提供的一种数据共享方法的流程示意图。该方法可由图1所示的数据共享系统中的云端数据中心执行，数据共享系统还包括本地数据中心和运行有数据应用的客户端，云端数据中心包括至少两个数据节点，至少两个数据节点相互连接，该方法包括以下步骤：

步骤501：本地数据中心添加本地数据节点。

本地数据节点用于将共享数据传送到云端数据中心。

在一些实施例中，本地数据中心通过在本地设置本地数据节点来上传共享数据，本地数据中心将共享数据写入到本地数据节点中；本地数据中心通过本地数据节点将共享数据传送到第一数据节点。

步骤502：本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中。

可选地，第一数据节点是云端数据中心中的任意一个数据节点。在一些实施例中，第一数据节点是云端数据中心中离本地数据中心最近的数据节点。

可选地，云端数据中心的至少两个数据节点两两连接。或者，云端数据中心的至少两个数据节点依次连接成环。

在一些实施例中，本地数据中心将本地数据节点添加到云端数据中心内。

步骤503：云端数据中心将第一数据节点中的共享数据分发到云端数据中心的各个数据节点中。

可选地，本地数据中心通过在本地设置本地数据节点来上传共享数据，本地数据中心将共享数据写入到本地数据节点中；本地数据中心通过本地数据节点将共享数据传送到第一数据节点。

可选地，本地数据中心还用于执行如下步骤的至少一种：将共享数据中的调整部分传送到第一数据节点；将共享数据中的新增部分传送到第一数据节点；将共享数据中的删减部分传送到第一数据节点。

可选地，共享数据包括缓存数据和持久化数据。在一些实施方式中，共享数据包括数据标识，数据标识用于表示共享数据的数据类型，例如，在数据标识是1的情况下，该共享数据属于缓存数据；在数据标识是0的情况下，该共享数据属于持久化数据。在一些实施例中，云端数据中心根据共享数据的共享频次将共享数据分为缓存数据和持久化数据，例如，共享频次大于a(a为预设常数)的共享数据属于缓存数据，而共享频次不大于a的共享数据属于持久化数据。为了避免无用的数据占据云端数据中心的存储空间，云端数据中心将第一数据节点中的缓存数据分发到云端数据中心的各个数据节点中；云端数据中心将第一数据节点中的持久化数据存储到第一数据节点的数据库中。另一方面，在共享数据属于持久化数据的情况下，从第一数据节点的数据库中调用共享数据；将共享数据提供给第二数据节点，第二数据节点是至少两个数据节点中与客户端相互连接的数据节点，使得客户端仍然可以获取到云端数据中心存储的持久化数据。

步骤504：客户端向云端数据中心发送数据查询请求。

在一些实施例中，数据访问请求用于向云端数据中心请求共享数据。

在一些实施例中，客户端直接向云端数据中心中的第一数据节点发送数据查询请求。

在一些实施例中，数据查询请求是通过数据节点工具包发送的。客户端根据共享数据的类型从数据节点工具包中确定调用函数，客户端通过调用函数生成数据查询请求。

步骤505：云端数据中心根据数据查询请求向客户端下发授权数据目录和与授权数据目录对应的授权数据索引。

在一些实施例中，授权数据索引包括缓存数据和持久化数据。授权数据目录包括允许本地数据中心访问的目录或者数据集，以及相对应的权限配置数据。

在一些实施例中，授权数据索引存在于云端数据中心的数据节点和客户端的数据节点工具包中。在一些实施例中，授权数据目录存在于云端数据中心的数据节点和客户端的数据节点工具包中。

步骤506：客户端根据授权数据目录和授权数据索引向云端数据中心发送数据访问请求。

在一些实施例中，数据访问请求用于向云端数据中心请求共享数据。

可选地，数据访问请求包括授权数据目录和授权数据索引。

步骤507：云端数据中心根据数据访问请求向客户端的数据节点工具包返回共享数据。

可选地，云端数据中心根据授权数据目录确定用于存储共享数据的第一数据节点，云端数据中心根据授权数据索引从第一数据节点中确定共享数据。

可选地，客户端通过数据节点工具包从第一数据节点处获取共享数据。

综上所述，本申请实施例中的本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中，本地数据中心通过数据节点工具包从云端数据中心中获取到共享数据。由于数据节点工具包可以直接同步至少两个数据节点的数据目录和数据索引，不需要通过API进行共享，可以提高数据共享的性能和便捷性。

本实施例可以解决提高数据融合效率，提高数据使用性能，满足在基于大数据分析与数据共享的需求，实现异构数据源动态集成，低延迟及时同步，实现海量大数据级高性能共享互通，在数据共享性能方面保守估计会提升超几百倍倍以上，共享与接入效率方面可以提升几十倍以上的效率，能支撑当前多场景下大数据发掘与应用的需求，实现数据价值与符合业务高规格需求的数据服务能力。

下面为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。

图6示出了本申请的一个示例性实施例提供的数据共享装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，所述装置包括至少两个数据节点，所述至少两个数据节点相互连接，该装置600包括：

获取模块601，用于获取所述本地数据中心发送的共享数据，所述共享数据是所述本地数据中心通过本地数据节点将所述共享数据上传到所述云端数据中心的第一数据节点中的，所述本地数据节点与所述第一数据节点相连；

收发模块602，用于将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

所述收发模块602，还用于向所述客户端的数据节点工具包提供所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

在一个可选设计中，所述收发模块602，还用于根据所述客户端发送的数据查询请求向所述客户端下发授权数据目录和与所述授权数据目录对应的授权数据索引；接收所述客户端发送的数据访问请求，所述数据访问请求是所述客户端根据所述授权数据目录和所述授权数据索引向所述云端数据中心发送的，所述数据访问请求是通过所述数据节点工具包发送的；根据所述数据访问请求向所述客户端的所述数据节点工具包返回所述共享数据。

在一个可选设计中，所述收发模块602，还用于通过所述第一数据节点对所述数据访问请求进行鉴权操作；在鉴权通过的情况下，根据所述数据访问请求中的授权数据目录从所述第一数据节点获取所述共享数据；向所述客户端的所述数据节点工具包返回所述共享数据。

在一个可选设计中，所述收发模块602，还用于执行如下步骤的至少一种：获取所述本地数据中心发送的所述共享数据中的调整部分；获取所述本地数据中心发送的所述共享数据中的新增部分；获取所述本地数据中心发送的所述共享数据中的删减部分。

在一个可选设计中，所述获取模块601，还用于根据分析指标从所述共享数据中确定影响因子，所述影响因子是影响所述分析指标的指标群或指标。

在一个可选设计中，所述获取模块601，还用于执行如下步骤的至少一种：将所述共享数据存储到与所述共享数据的数据形式对应的存储引擎中；将所述共享数据存储到与所述共享数据的使用场景对应的存储引擎中。

在一个可选设计中，所述获取模块601，还用于从所述共享数据中确定队列数据，所述队列数据是共享频次大于预设共享频次的数据，或者，所述队列数据是目标客户端请求共享的数据；将所述队列数据添加到阻塞队列中；其中，所述阻塞队列用于所述客户端直接读取所述队列数据。

在一个可选设计中，所述共享数据包括缓存数据和持久化数据；所述获取模块601，还用于将所述第一数据节点中的所述缓存数据分发到所述云端数据中心的各个数据节点中；将所述第一数据节点中的所述持久化数据存储到所述第一数据节点的数据库中；所述获取模块601，还用于在所述共享数据属于所述持久化数据的情况下，从所述第一数据节点的数据库中调用所述共享数据；将所述共享数据提供给第二数据节点，所述第二数据节点是所述至少两个数据节点中与所述客户端相互连接的数据节点。

综上所述，本申请实施例中的本地数据中心通过本地数据节点将共享数据上传到云端数据中心的第一数据节点中，本地数据中心通过数据节点工具包从云端数据中心中获取到共享数据。由于数据节点工具包可以直接同步至少两个数据节点的数据目录和数据索引，不需要通过API进行共享，可以提高数据共享的性能和便捷性。

图7是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备700包括中央处理单元(Central Processing Unit，CPU)701、包括随机存取存储器(Random Access Memory，RAM)702和只读存储器(Read-Only Memory，ROM)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)706，和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。

所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机设备可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机设备可读介质(未示出)。

不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory，EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。

根据本公开的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备700可以通过连接在所述系统总线705上的网络接口单元712连接到网络711，或者说，也可以使用网络接口单元712来连接到其他类型的网络或远程计算机设备系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器701通过执行该一个或一个以上程序来实现上述数据共享方法的全部或者部分步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的数据共享方法。

本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的数据共享方法。

本申请还提供一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面实施例提供的数据共享方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种数据共享方法，其特征在于，所述方法由数据共享系统中的云端数据中心执行，所述数据共享系统还包括本地数据中心和运行有数据应用的客户端，所述云端数据中心包括至少两个数据节点，所述至少两个数据节点相互连接，所述方法包括：

获取所述本地数据中心发送的共享数据，所述共享数据是所述本地数据中心通过本地数据节点将所述共享数据上传到所述云端数据中心的第一数据节点中的，所述本地数据节点与所述第一数据节点相连；

将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

向所述客户端的数据节点工具包提供所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

2.根据权利要求1所述的方法，其特征在于，所述向所述客户端的数据节点工具包提供所述共享数据，包括：

根据所述客户端发送的数据查询请求向所述客户端下发授权数据目录和与所述授权数据目录对应的授权数据索引；

接收所述客户端发送的数据访问请求，所述数据访问请求是所述客户端根据所述授权数据目录和所述授权数据索引向所述云端数据中心发送的，所述数据访问请求是通过所述数据节点工具包发送的；

根据所述数据访问请求向所述客户端的所述数据节点工具包返回所述共享数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述数据访问请求向所述客户端的所述数据节点工具包返回所述共享数据，包括：

通过所述第一数据节点对所述数据访问请求进行鉴权操作；

在鉴权通过的情况下，根据所述数据访问请求中的授权数据目录从所述第一数据节点获取所述共享数据；

向所述客户端的所述数据节点工具包返回所述共享数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括如下步骤的至少一种：

获取所述本地数据中心发送的所述共享数据中的调整部分；

获取所述本地数据中心发送的所述共享数据中的新增部分；

获取所述本地数据中心发送的所述共享数据中的删减部分。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

根据分析指标从所述共享数据中确定影响因子，所述影响因子是影响所述分析指标的指标群或指标。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括如下步骤的至少一种：

将所述共享数据存储到与所述共享数据的数据形式对应的存储引擎中；

将所述共享数据存储到与所述共享数据的使用场景对应的存储引擎中。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

从所述共享数据中确定队列数据，所述队列数据是共享频次大于预设共享频次的数据，或者，所述队列数据是目标客户端请求共享的数据；

将所述队列数据添加到阻塞队列中；

其中，所述客户端从所述阻塞队列读取所述队列数据，所述云端数据中心向所述阻塞队列写入所述队列数据。

8.根据权利要求1至3任一项所述的方法，其特征在于，所述共享数据包括缓存数据和持久化数据；

所述将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中，包括：

将所述第一数据节点中的所述缓存数据分发到所述云端数据中心的各个数据节点中；

将所述第一数据节点中的所述持久化数据存储到所述第一数据节点的数据库中；

所述方法还包括：

在所述共享数据属于所述持久化数据的情况下，从所述第一数据节点的数据库中调用所述共享数据；

将所述共享数据提供给第二数据节点，所述第二数据节点是所述至少两个数据节点中与所述客户端相互连接的数据节点。

9.一种数据共享装置，其特征在于，所述装置包括至少两个数据节点，所述至少两个数据节点相互连接，所述装置包括：

获取模块，用于获取所述本地数据中心发送的共享数据，所述共享数据是所述本地数据中心通过本地数据节点将所述共享数据上传到所述云端数据中心的第一数据节点中的，所述本地数据节点与所述第一数据节点相连；

收发模块，用于将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

所述收发模块，还用于向所述客户端的数据节点工具包提供所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

10.一种数据共享系统，其特征在于，所述系统包括云端数据中心、本地数据中心和运行有数据应用的客户端，所述云端数据中心包括至少两个数据节点，所述至少两个数据节点相互连接；

所述本地数据中心，用于添加本地数据节点，所述本地数据节点与所述云端数据中心中的第一数据节点相连；

所述本地数据中心，还用于通过所述本地数据节点将共享数据上传到所述云端数据中心的第一数据节点中；

所述云端数据中心，用于将所述第一数据节点中的所述共享数据分发到所述云端数据中心的各个数据节点中；

所述客户端，用于通过数据节点工具包从所述云端数据中心获取所述共享数据，所述数据节点工具包用于同步所述至少两个数据节点的数据目录和数据索引。

11.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的数据共享方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至8任一项所述的数据共享方法。

13.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至8任一项所述的数据共享方法。