CN110704511A - 数据处理方法、设备、装置、介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、设备、装置以及计算机可读介质。所述数据处理方法包括：接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数；确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性；根据所述相关性确定用于所述时间序列数据集的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值；根据所述数据访问参数访问所述匹配数据块。

Description

数据处理方法、设备、装置、介质

技术领域

本公开涉及数据处理领域，具体的涉及一种时间序列数据的数据处理方法、设备、装置、介质。

背景技术

人工智能技术的出现已经对现代人经济生活产生较大影响，包括但不限于金融、能源、运输物流、医疗等领域。对于人工智能技术来说，数据的支持是必不可少的。在人工智能技术的发展过程中，大量的有效数据对于模型的建立和训练过程起到重大作用。在一些情况下，人工智能技术中数据的作用比模型本身的作用更大。

由于缺乏信任机制以及数据滥用的问题，获取大量有效的数据的成本是很高的。此外，由于数据采集的工作是由不同的独立主体完成的，数据被储存在不同的、独立的数据库中，因此数据交换的过程十分不便利。

发明内容

本公开提供了一种基于节点间数据共享的数据处理方法、设备、装置、介质。

根据本公开的一方面，提供了一种数据处理方法，包括：接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数；确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性；根据所述相关性确定用于所述时间序列数据集的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值；根据所述数据访问参数访问所述匹配数据块。

在一些实施例中，确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性包括：确定所述时间序列数据集和所述训练数据集之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度中的一个或多个，以得到所述时间序列数据集和所述训练数据集之间的相关性。

在一些实施例中，所述方法还包括响应于数据访问请求生成包含有私钥和公钥的密钥对，根据所述数据访问参数访问所述匹配数据块包括：响应于确定所述匹配数据块，利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。

在一些实施例中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型，根据所述数据访问参数访问所述匹配数据块包括：利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

在一些实施例中，所述匹配数据块中还存储所述训练数据集的数据分析结果，根据所述数据访问参数访问所述匹配数据块包括：基于所述数据访问参数访问所述匹配数据块中存储的训练数据集、人工智能模型、所述训练数据集的数据分析结果以及利用所述人工智能模型得到的用于所述时间序列数据集的数据处理结果中的一项或多项。

在一些实施例中，所述数据处理方法，还包括：在所述链式数据结构中创建新的数据块，其中所述新的数据块用于存储所述数据处理结果。

在一些实施例中，根据所述数据访问参数访问所述匹配数据块还包括：利用所述私钥对所述数据处理结果进行加密，并将加密数据发送至与所述数据访问请求相关联的主体。

在一些实施例中，所述数据处理方法还包括：响应于所述主体接收加密数据，向与匹配数据块关联的地址转移预定数量的代币资源。

在一些实施例中，所述数据处理方法还包括：基于共识机制执行数据交易的共识验证并在所述链式数据结构中的至少一个数据块中记录所述数据交易。

根据本申请的另一方面，还提供了一种数据处理设备，包括：接收单元，配置成接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数；相关性确定单元，配置成确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性；匹配单元，配置成根据所述相关性确定用于所述时间序列数据集的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值；访问单元，配置成根据所述数据访问参数访问所述匹配数据块。

在一些实施例中，所述相关性确定单元配置成：确定所述时间序列数据集和所述训练数据集之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度中的一个或多个，以得到所述时间序列数据集和所述训练数据集之间的相关性。

在一些实施例中，所述接收单元还配置成响应于数据访问请求生成包含有私钥和公钥的密钥对，所述访问单元还配置成响应于确定所述匹配数据块，利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。

在一些实施例中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型，所述访问单元还配置成：利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

在一些实施例中，所述匹配数据块中还存储所述训练数据集的数据分析结果，所述访问单元还配置成：基于所述数据访问参数访问所述匹配数据块中存储的训练数据集、人工智能模型、所述训练数据集的数据分析结果以及利用所述人工智能模型得到的用于所述时间序列数据集的数据处理结果中的一项或多项。

在一些实施例中，所述数据处理设备还包括创建单元，所述创建单元配置成在所述链式数据结构中创建新的数据块，其中所述新的数据块用于存储所述数据处理结果。

在一些实施例中，所述访问单元还配置成利用所述私钥对所述数据处理结果进行加密，并将加密数据发送至与所述数据访问请求相关联的主体。

在一些实施例中，所述数据处理设备还包括转移单元，所述转移单元配置成响应于所述主体接收加密数据，向与匹配数据块关联的地址转移预定数量的代币资源。

在一些实施例中，所述数据处理设备还配置成基于共识机制执行数据交易的共识验证并在所述链式数据结构中的至少一个数据块中记录所述数据交易。

根据本申请的又一方面，还提供了一种数据处理装置，包括：一个或多个处理器；和一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，执行如前所述的数据处理方法。

根据本申请的再一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的数据处理方法。

利用本申请提供的数据处理方法、设备、装置以及计算机可读介质，可以实现基于区块链技术的人工智能数据的一体化的系统。数据拥有者可以通过区块链这种去中心化，不可篡改，可追溯，多方维护的新型分布式数据管理系统进行数据管理，完全去中心化，完成非互信场景下的数据管理。人工智能数据信息采集者可以快速获取到需要的数据，并且在区块链的区块信息中得到已有对该数据分析的结果以及已经训练好的模型和/或利用训练好的模型得到的数据处理结果，提高了数据分析和数据处理的效率。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请的实施例的数据处理方法的示意性的流程图；

图2A示出了根据本申请的实施例的链式数据结构的示意图；

图2B示出了基于图2A中示出的区块链的数据共享系统；

图3示出了根据本申请的数据处理方法的示意性的过程；

图4示出了根据本申请的实施例的数据处理设备的示意性框图；

图5示出了根据本公开实施例的示例性计算设备的架构的示意图；

图6示出了根据本公开实施例的存储介质的示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步。

为了实现人工智能数据的快速和安全的共享，可以基于区块链技术构建数据库系统，使得实现人工智能数据的数据收集、数据传输、数据存储、数据计算以及数据交易体系成为可能。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

不同于基于传统数据库RethinkDB的底层实现，可以通过将底层的数据文件分发到区块链的各个节点设备上，从而解决数据共享过程中的可扩展性、可用性、安全性等问题。使用基于区块链技术的数据库系统能够提供应用程序快速部署、开发、监控和安全保障能力。

图1示出了根据本申请的实施例的数据处理方法的示意性的流程图。

如图1所示，在步骤S102中，可以接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数。

时间序列数据(time series data)是在不同时间上收集到的数据，用于所描述现象随时间变化的情况。这类数据反映了某一事物、现象等随时间的变化状态或程度。

如前所述，可以利用基于区块链的数据库存储采集到的时间序列数据集。示例性的时间序列数据可以包括天气数据(例如温度、降水量等)、股票数据、销售数据、流量数据(例如人流量、车流量的)等。时间序列数据可以是周期性的，也可以是非周期性的。

利用人工智能模型能够对时间序列数据进行描述、分析以及预测。时间序列数据可以是长期相关的、中期相关的或者短期相关的数据集。针对不同类型的时间序列数据，可以利用不同的人工智能模型对时间序列数据进行分析。例如，基于神经网络生成的模型是长期相关的，生成数据的平稳性依赖于模型的结构。而自回归移动平均模型生成的数据是短期相关的。

在针对时间序列数据的研究中，用户可能希望获取的数据类型可以包括：特定类型的时间序列数据本身、针对该类型的时间序列数据的分析、用于该类型的时间序列数据的模型和/或利用相应的模型对时间序列数据的数据处理结果等。

数据访问参数可以用于指示期望获取的数据类型。在一些实施例中，可以将数据访问参数设置为不同的值，其中不同的值指示不同的期望获取的数据类型。

例如，可以将数据访问参数的值设置成“0”来指示期望获取的数据类型的是特定类型的时间序列数据本身。可以将数据访问参数的值设置成“1”来指示期望获取的数据类型的是针对时间序列数据的分析。可以将数据访问参数的值设置成“2”来指示期望获取的数据类型的是用于该类型的时间序列数据的模型。可以将数据访问参数的值设置成“3”来指示期望获取的数据类型的是利用相应的模型对时间序列数据的数据处理结果。可以将数据访问参数的值设置成“4”来指示期望获取的数据类型的是用户自定义的其他类型。

尽管上文中以将数据访问参数的值设置成0、1、2、3、4来描述本公开的原理，本领域技术人员可以理解的是，事实上，数据访问参数的值可以被设置成任何数字或字符，只要能够区分不同的期望获取的数据类型即可。

在一些实施例中，数据访问参数还可以包括附加参数。其中，所述附加参数可以用于对期望获取的数据进行进一步的限定。在一些实现方式中，附加参数可以用于限定要访问的时间序列数据的时间参数。在一些示例中，可以通过附加参数限定仅访问特定时间区间内产生的数据。例如，可以通过设置附加参数访问指定年份内数据。在另一些示例中，可以通过附加参数限定仅访问特定类型的时间序列数据。例如，可以通过设置附加参数使得仅访问天气数据。利用上述数据访问参数和附加参数能够使得用户更容易寻找到期望的数据。在另一些实施例中，附加参数还可以用于限定要访问的时间序列数据的数量。例如，可以通过设置附加参数限制要访问的时间序列数据的数据量的大小。

在步骤S104中，可以确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性。其中所述链式数据结构中存储的训练数据集也是时间序列数据的集合。

根据本公开实施例，所述链式数据结构由至少一个数据块组成，所述数据块还可以表示为区块。所述至少一个数据块中的每个数据块可以包括用于存储数据的区块主体，其中，所述数据包括哈希值。数据块中还可以包括用于存储所述数据块的特征信息的区块头，其中，所述特征信息包括所述数据的特征值、版本号、时间戳和难度值。

图2A示出了根据本申请的实施例的链式数据结构的示意图。如图2A所示，链式数据结构210可以包括3个区块，其中，位于链式数据结构头部的第1个区块可以表示为创始块。所述创始块可以包括用于存储所述创始块的特征信息的区块头以及用于存储数据的区块主体。具体的，所述区块主体中存储的数据可以包括基于哈希函数得到的源数据的哈希值。所述特征信息可以包括输入信息的特征值、版本号、时间戳和难度值，例如，所述输入信息是指所述区块主体存储的数据，例如本申请中提供的数据块中存储的训练数据集、人工智能模型、数据分析结果和数据处理结果等。接着，如图2A所示出的，创始块的下一区块表示为区块1，所述区块1以所述创始块为父区块。类似地，所述区块1可以包括区块头和区块主体，区块头中存储所述区块1的输入信息特征值、父区块(即创始块)的区块头特征值、版本号、时间戳和难度值，区块主体中存储诸如哈希值的数据。区块1的下一区块2以所述区块1为父区块。类似地，所述区块2可以包括区块头和区块主体，区块头中存储所述区块2的输入信息特征值、父区块(即区块1)的区块头特征值、版本号、时间戳和难度值，区块主体中存储诸如哈希值的数据。以此类推，链式数据结构210中的每个区块中存储的数据均与父区块中存储的区块数据存在关联，保证了链式数据结构中的各个区块中输入信息的安全性以及一致性。

作为一个示例，可以基于区块链技术来实施所述链式数据结构，在此示例中，所述链式数据结构也可以称为区块链，所述区块链可以由一个或多个数据块(或者称为区块)组成。所述区块链技术是点对点通信、数字加密、多方协同共识算法、分布式账本等多个领域的融合技术，具有不可篡改、链上数据可溯源等特性。所述基于区块链技术的链式数据结构，能保证链上数据可信、可流转，有助于提高操作效率，降低业务成本。

图2B示出了基于图2A中示出的区块链的数据共享系统。具体的，所述数据共享系统200是指进行节点与节点之间数据共享的系统。该数据共享系统200可以由节点1、节点2、节点3和节点4组成。此外，需要注意的是，所述系统200还可以包括除了节点1、节点2、节点3和节点4之外的更多的节点。在如图2B所示出的数据共享系统200中，每个节点可以接收输入信息，并基于接收到的输入信息来实现数据共享，例如，所述输入信息可以是本申请提供的时间序列数据集以及基于时间序列数据集的数据分析结果和/或数据处理结果。

根据本公开实施例，图2B中示出的每个节点中可以存储各自的链式数据结构，作为所述共享数据，并且各个节点中的链式数据结构可以实现同步更新。为了保证数据共享系统200内的信息互通，例如用于实现所述同步更新，每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当数据共享系统200中的任意节点接收到输入信息时，数据共享系统200中的其他节点可以根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享系统200中所有节点中存储的数据保持一致，例如，使得各个节点中存储的链式数据结构保持一致。作为一个示例，如果当前节点1更新了在其中存储的链式数据结构，还可以更新数据共享系统200中其他节点中的链式数据结构，即，实现数据同步更新。关于数据共享系统200中的数据同步更新的过程将在下文详细描述。

对于图2B中的数据共享系统200中的每个节点，可以具有与该节点对应的节点标识，而且数据共享系统200中的每个节点均可以存储数据共享系统200中的其他节点的节点标识，以便根据其他节点的节点标识，将更新数据传输至数据共享系统200中的其他节点。其中，所述节点标识可以是IP(Internet Protocol)地址，或者是其他任一种能够用于标识该节点的信息。作为一个示例，每个节点中可以存储有如以下表1所示的节点标识列表。所述节点标识列表包括节点名称和与节点名称一一对应的节点标识(IP地址)。

表1

节点名称	节点标识
		节点1	117.114.151.174
节点2	117.116.189.145
		…	…
节点N	119.123.789.258

如上所述，每个节点中可以存储有各自的链式数据结构作为所述共享数据，并且各个节点中的链式数据结构可以实现同步更新。

返回参考图1，在步骤S104中，可以对数据访问请求中包含的时间序列数据集和链式数据结构的数据块中存储的训练数据集执行量化的相关性分析以确定所述时间序列数据及和所述训练数据集之间的相关性。可以利用任何现有的相关性分析的手段对两个数据集执行相关性分析。例如，可以计算两个数据集的数据之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度，利用上述表示两个数据集之间的相关性的参数中的一个或多个，可以以量化的方式表示所述时间序列数据及和所述训练数据集之间的相关性。

在步骤S106中，可以根据所述相关性确定用于所述时间序列数据的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值。

利用步骤S104中提供的方法，可以通过比较数据访问请求中的时间序列数据集和链式数据结构中的数据块中存储的训练数据集，在链式数据结构中确定一个或多个用于数据访问请求中的时间序列数据集的匹配数据块。其中，所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值。

可以认为，当利用步骤S104确定的相关性大于相关性阈值时，数据访问请求中的时间序列数据集和链式数据结构中的数据块中存储的训练数据集具有相似的性质。例如，所述时间序列数据集和所述训练数据集可以都是长期相关的时间序列数据，或都是短期相关的时间序列数据。因此，利用上述方式，可以在链式数据结构中确定存储有期望类型的数据的数据块。

在步骤S108中，可以根据所述数据访问参数访问所述匹配数据块。如前所述，数据访问参数可以用于指示期望获取的数据类型。因此，根据数据访问参数，用户可以访问匹配数据块中存储的数据或部分数据。

在一些实施例中，所述匹配数据块中还存储所述训练数据集的数据分析结果。上述数据分析结果可以是所述训练数据集的拥有者利用任何方式对训练数据集执行数据分析后得到的结果。例如，上述数据分析结果可以是利用人工方式对数据进行的总结，也可以是利用训练好的人工智能模型对训练数据集进行数据处理后得到的数据处理结果，也可以是利用其他任何数据分析工具对训练数据集进行处理后得到的结果。例如，数据分析结果可以是训练数据集的数据分类结果。

在一些实施例中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型。在这种情况下，在所述数据访问参数指示访问人工智能模型的数据处理结果的情况下，步骤S108还可以包括利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

利用上述方法，用户可以利用自己收集的数据集在链式数据结构中确定与所收集的数据集具有相似特性的数据集所关联的人工智能模型，并可以得到利用所关联的人工智能模型得到的数据处理结果。在这种情况下，用户无需自行收集大量的数据来训练的到恰当的人工智能模型，而是可以在链式数据结构中根据数据集的特性找到恰当的、训练好的人工智能模型，并得到相应地数据处理结果。利用上述方法能够使得在链式数据结构的用户之间共享模型训练的结果，并可以在用户之间共享算力，从而缓解单个用户在人工智能模型的训练和大数据的处理过程中所面临的计算压力和大量数据的处理压力。

在一些实现方式中，匹配数据块中可以存储有人工智能模型的结构和参数。在另一些实现方式中，匹配数据块中存储的也可以是链接到另一个存储有人工智能模型的结构和参数的数据块的模型标识符。在这种情况下，如果链式数据结构中具有多个存储有能够共享模型参数的训练数据集的数据块，无需在每个数据块中分别存储人工智能模型本身，而是可以通过存储的模型标识符访问存储有人工智能模型的数据块，从而节省链式数据结构的存储空间。

因此，步骤S108可以包括基于所述数据访问参数访问所述匹配数据块中存储的训练数据集、人工智能模型、所述训练数据集的数据分析结果以及利用所述人工智能模型得到的用于所述时间序列数据集的数据处理结果中的一项或多项。

在一些实施例中，可以使用预先配置的计算机协议实现步骤S108中的数据访问。例如，这样的计算机协议可以是开源的。示例性的计算机协议包括区块链中应用的智能合约技术。

例如，可以通过预先配置的计算机协议约定，在确定匹配数据块后，根据数据访问参数将匹配数据块中存储的至少一部分数据发送至与数据访问请求相关联的地址，或允许与数据访问请求相关联的主体访问匹配数据块中存储的至少一部分数据。例如，当数据访问参数的值设置成“0”时，可以将匹配数据块中存储的训练数据集本身发送至与数据访问请求相关联的地址，或允许与数据访问请求相关联的主体访问匹配数据块中存储的训练数据集。

在一些实施例中，将匹配数据块中存储的至少一部分数据发送至与数据访问请求相关联的地址之前，可以对要发送的数据进行加密。例如，要发送的数据可以是匹配数据块中存储的训练数据集本身、所述训练数据集的数据分析结果、与所述训练数据集相关联的人工智能模型、利用所述人工智能模型对所述数据访问请求中的时间序列数据集进行数据处理的结果等等。在一些实现方式中，可以响应于所述数据访问请求生成包含有私钥和公钥的密钥对。在确定了所述匹配数据块后，可以利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。在这种情况下，与所述数据访问请求相关联的主体可以利用对应的公钥对加密数据进行解码，从而获得未加密的原始数据。

在一些实施例中，方法100还可以包括在所述链式数据结构中创建新的数据块，其中所述新的数据块用于存储所述数据处理结果。下面描述基于前述基于匹配数据块存储的人工智能模型对时间序列数据的数据处理结果创建新的数据块，并将创建的数据块添加到链式数据结构所在的节点中的步骤进行详细描述。

链式数据结构所在的节点在接收到数据处理结果时，对数据处理结果进行校验，完成校验后，将数据处理结果存储至内存池中，并更新其用于记录数据处理结果的哈希树；之后，将更新时间戳更新为接收到数据处理结果的时间，并尝试不同的随机数，多次进行特征值计算，使得计算得到的特征值可以满足下述公式：

SHA256(SHA256(version+prev_hash+merkle_root+ntime+nbits+x))＜TARGET (1)

其中，SHA256为计算特征值所用的特征值算法；version(版本号)为链式数据结构中相关区块协议的版本信息；prev_hash为当前区块的父区块的区块头特征值；merkle_root为数据处理结果的特征值；ntime为更新时间戳的更新时间；nbits为当前难度，在一段时间内为定值，并在超出固定时间段后再次进行确定；x为随机数；TARGET为特征值阈值，该特征值阈值可以根据nbits确定得到。

这样，当计算得到满足上述公式(1)的随机数时，便可将信息对应存储，生成区块头和区块主体，得到新增区块。随后，链式数据结构所在节点根据数据共享系统中其他节点的节点标识，将新生成的区块分别发送给其所在的数据共享系统中的其他节点，由其他节点对新生成的区块进行校验，并在完成校验后将新生成的区块添加至其存储的链式数据结构中。由此，可以实现各个节点中的链式数据结构的同步更新。

在一些实施例中，还可以基于数据共享系统的各节点建立域索引，以实现数据的高效发现。

在一些实施例中，方法100还可以包括，基于预先设置的规则，响应于所述主体接收加密数据，向与匹配数据块关联的地址转移预定数量的代币资源。

其中所述代币资源可以是建立前述基于区块链的数据库系统是预先定义的资源。在上述基于区块链的数据库系统中可以分配、转移代币资源。在一些实现方式中，可以在例如智能合约的计算机协议中约定，在成功访问数据块中存储的数据的同时，向与所述数据块相关联的地址转移一定数量的代币资源，以完成数据交易。

在一些实施例中，可以基于共识机制对上述数据交易执行共识验证，并可以在所述链式数据结构中的至少一个数据块中记录所述数据交易。其中，共识机制可以包括工作量证明(POW)、股权证明(POS)、授权股权证明(DPOS)、实用拜占庭容错算法(PBFT)、重要性证明(POI)、参与度证明(POP)以及上述公式机制算法的任意组合。

利用本申请提供的数据处理方法，可以实现基于区块链技术的人工智能数据的一体化的系统。数据拥有者可以通过区块链这种去中心化，不可篡改，可追溯，多方维护的新型分布式数据管理系统进行数据管理，完全去中心化，完成非互信场景下的数据管理。人工智能数据信息采集者可以快速获取到需要的数据，并且在区块链的区块信息中得到已有对该数据分析的结果以及已经训练好的模型和/或利用训练好的模型得到的数据处理结果，提高了数据分析和数据处理的效率。

图3示出了根据本申请的数据处理方法的示意性的过程。如图3所示，数据拥有者可以利用如前所述的方法建立基于区块链技术的数据库。其中，数据拥有者和技术人员能够利用这样的数据库进行数据收集、数据储存、数据传输以及数据计算等处理，并可以访问和更新数据库中存储的内容，从而实现数据拥有者和技术人员之间的数据交换。

根据本公开的另一方面，还提供了一种数据处理设备。图4示出了根据本申请的实施例的数据处理设备的示意性框图。

如图4所示，所述数据处理设备400可以包括接收单元410、相关性确定单元420、匹配单元430以及访问单元440。

接收单元410可以配置成接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数。

时间序列数据(time series data)是在不同时间上收集到的数据，用于所描述现象随时间变化的情况。这类数据反映了某一事物、现象等随时间的变化状态或程度。

如前所述，可以利用基于区块链的数据库存储采集到的时间序列数据集。示例性的时间序列数据可以包括天气数据(例如温度、降水量等)、股票数据、销售数据、流量数据(例如人流量、车流量的)等。时间序列数据可以是周期性的，也可以是非周期性的。

利用人工智能模型能够对时间序列数据进行描述、分析以及预测。时间序列数据可以是长期相关的、中期相关的或者短期相关的数据集。针对不同类型的时间序列数据，可以利用不同的人工智能模型对时间序列数据进行分析。例如，基于神经网络生成的模型是长期相关的，生成数据的平稳性依赖于模型的结构。而自回归移动平均模型生成的数据是短期相关的。

在针对时间序列数据的研究中，用户可能希望获取的数据类型可以包括：特定类型的时间序列数据本身、针对该类型的时间序列数据的分析、用于该类型的时间序列数据的模型和/或利用相应的模型对时间序列数据的数据处理结果等。

数据访问参数可以用于指示期望获取的数据类型。在一些实施例中，可以将数据访问参数设置为不同的值，其中不同的值指示不同的期望获取的数据类型。

在一些实施例中，数据访问参数还可以包括附加参数。其中，所述附加参数可以用于对期望获取的数据进行进一步的限定。在一些实现方式中，附加参数可以用于限定要访问的时间序列数据的时间参数。在一些示例中，可以通过附加参数限定仅访问特定时间区间内产生的数据。例如，可以通过设置附加参数访问指定年份内数据。在另一些示例中，可以通过附加参数限定仅访问特定类型的时间序列数据。例如，可以通过设置附加参数使得仅访问天气数据。利用上述数据访问参数和附加参数能够使得用户更容易寻找到期望的数据。在另一些实施例中，附加参数还可以用于限定要访问的时间序列数据的数量。例如，可以通过设置附加参数限制要访问的时间序列数据的数据量的大小。

相关性确定单元420可以配置成确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性。其中所述链式数据结构中存储的训练数据集也是时间序列数据的集合。

在一些实施例中，相关性确定单元420可以配置成对数据访问请求中包含的时间序列数据集和链式数据结构的数据块中存储的训练数据集执行量化的相关性分析以确定所述时间序列数据及和所述训练数据集之间的相关性。可以利用任何现有的相关性分析的手段对两个数据集执行相关性分析。例如，可以计算两个数据集的数据之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度，利用上述表示两个数据集之间的相关性的参数中的一个或多个，可以以量化的方式表示所述时间序列数据及和所述训练数据集之间的相关性。

匹配单元430可以配置成根据所述相关性确定用于所述时间序列数据的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值。

利用相关性确定单元420，可以通过比较数据访问请求中的时间序列数据集和链式数据结构中的数据块中存储的训练数据集，在链式数据结构中确定一个或多个用于数据访问请求中的时间序列数据集的匹配数据块。其中，所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值。

可以认为，当利用相关性确定单元420确定的相关性大于相关性阈值时，数据访问请求中的时间序列数据集和链式数据结构中的数据块中存储的训练数据集具有相似的性质。例如，所述时间序列数据集和所述训练数据集可以都是长期相关的时间序列数据，或都是短期相关的时间序列数据。因此，利用上述方式，可以在链式数据结构中确定存储有期望类型的数据的数据块。

访问单元440可以配置成根据所述数据访问参数访问所述匹配数据块。如前所述，数据访问参数可以用于指示期望获取的数据类型。因此，根据数据访问参数，用户可以访问匹配数据块中存储的数据或部分数据。

在一些实施例中，所述匹配数据块中还存储所述训练数据集的数据分析结果。上述数据分析结果可以是所述训练数据集的拥有者利用任何方式对训练数据集执行数据分析后得到的结果。例如，上述数据分析结果可以是利用人工方式对数据进行的总结，也可以是利用训练好的人工智能模型对训练数据集进行数据处理后得到的数据处理结果，也可以是利用其他任何数据分析工具对训练数据集进行处理后得到的结果。例如，数据分析结果可以是训练数据集的数据分类结果。

在一些实施例中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型。在这种情况下，在所述数据访问参数指示访问人工智能模型的数据处理结果的情况下，访问单元440还可以配置成利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

利用上述方法，用户可以利用自己收集的数据集在链式数据结构中确定与所收集的数据集具有相似特性的数据集所关联的人工智能模型，并可以得到利用所关联的人工智能模型得到的数据处理结果。在这种情况下，用户无需自行收集大量的数据来训练的到恰当的人工智能模型，而是可以在链式数据结构中根据数据集的特性找到恰当的、训练好的人工智能模型，并得到相应地数据处理结果。利用上述方法能够使得在链式数据结构的用户之间共享模型训练的结果，并可以在用户之间共享算力，从而缓解单个用户在人工智能模型的训练和大数据的处理过程中所面临的计算压力和大量数据的处理压力。

在一些实现方式中，匹配数据块中可以存储有人工智能模型的结构和参数。在另一些实现方式中，匹配数据块中存储的也可以是链接到另一个存储有人工智能模型的结构和参数的数据块的模型标识符。在这种情况下，如果链式数据结构中具有多个存储有能够共享模型参数的训练数据集的数据块，无需在每个数据块中分别存储人工智能模型本身，而是可以通过存储的模型标识符访问存储有人工智能模型的数据块，从而节省链式数据结构的存储空间。

因此，访问单元440可以配置成基于所述数据访问参数访问所述匹配数据块中存储的训练数据集、人工智能模型、所述训练数据集的数据分析结果以及利用所述人工智能模型得到的用于所述时间序列数据集的数据处理结果中的一项或多项。

在一些实施例中，可以使用预先配置的计算机协议实现上述数据访问。例如，这样的计算机协议可以是开源的。示例性的计算机协议包括区块链中应用的智能合约技术。

在一些实施例中，将匹配数据块中存储的至少一部分数据发送至与数据访问请求相关联的地址之前，可以对要发送的数据进行加密。例如，要发送的数据可以是匹配数据块中存储的训练数据集本身、所述训练数据集的数据分析结果、与所述训练数据集相关联的人工智能模型、利用所述人工智能模型对所述数据访问请求中的时间序列数据集进行数据处理的结果等等。在一些实现方式中，所述接收单元可以响应于所述数据访问请求生成包含有私钥和公钥的密钥对。在确定了所述匹配数据块后，可以利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。在这种情况下，与所述数据访问请求相关联的主体可以利用对应的公钥对加密数据进行解码，从而获得未加密的原始数据。

在一些实施例中，所述数据处理设备400还可以包括创建单元(未图示)。所述创建单元可以用于在所述链式数据结构中创建新的数据块，其中所述新的数据块用于存储所述数据处理结果。

在一些实施例中，还可以基于数据共享系统的各节点建立域索引，以实现数据的高效发现。

在一些实施例中，所述数据处理设备400还可以包括转移单元(未图示)。所述转移单元可以配置成基于预先设置的规则，响应于所述主体接收加密数据，向与匹配数据块关联的地址转移预定数量的代币资源。

其中所述代币资源可以是建立前述基于区块链的数据库系统是预先定义的资源。在上述基于区块链的数据库系统中可以分配、转移代币资源。在一些实现方式中，可以在例如智能合约的计算机协议中约定，在成功访问数据块中存储的数据的同时，向与所述数据块相关联的地址转移一定数量的代币资源，以完成数据交易。

在一些实施例中，可以基于共识机制对上述数据交易执行工时验证，并可以在所述链式数据结构中的至少一个数据块中记录所述数据交易。

利用本申请提供的数据处理设备，可以实现基于区块链技术的人工智能数据的一体化的系统。数据拥有者可以通过区块链这种去中心化，不可篡改，可追溯，多方维护的新型分布式数据管理系统进行数据管理，完全去中心化，完成非互信场景下的数据管理。人工智能数据信息采集者可以快速获取到需要的数据，并且在区块链的区块信息中得到已有对该数据分析的结果以及已经训练好的模型和/或利用训练好的模型得到的数据处理结果，提高了数据分析和数据处理的效率。

根据本公开实施例的方法或装置也可以借助于计算设备的架构来实现。图5示出了根据本公开实施例的示例性计算设备的架构的示意图。如图5所示，计算设备500可以包括总线501、一个或多个CPU 502、只读存储器(ROM)503、随机存取存储器(RAM)504、连接到网络的通信端口505、输入/输出组件506、硬盘507等。计算设备500中的存储设备，例如ROM503或硬盘507可以存储本公开提供的基于节点间数据共享的数据处理方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备500还可以包括用户界面508。当然，图5所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图5示出的计算设备中的一个或多个组件。

根据本公开的又一方面，还提供了一种计算机可读存储介质。图6示出了根据本公开实施例的存储介质600的示意图。

如图6所示，所述计算机存储介质602上存储有计算机可读指令601。当所述计算机可读指令601由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的基于节点间数据共享的数据处理方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (15)

1.一种数据处理方法，包括：

接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数；

确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性；

根据所述相关性确定用于所述时间序列数据集的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值；

根据所述数据访问参数访问所述匹配数据块。

2.如权利要求1所述的数据处理方法，其中确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性包括：

确定所述时间序列数据集和所述训练数据集之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度中的一个或多个，以得到所述时间序列数据集和所述训练数据集之间的相关性。

3.如权利要求1所述的数据处理方法，还包括：响应于数据访问请求生成包含有私钥和公钥的密钥对，

其中，根据所述数据访问参数访问所述匹配数据块包括：

响应于确定所述匹配数据块，利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。

4.如权利要求1-3任一项所述的数据处理方法，其中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型，根据所述数据访问参数访问所述匹配数据块包括：

利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

5.如权利要求4所述的数据处理方法，其中，所述匹配数据块中还存储所述训练数据集的数据分析结果，根据所述数据访问参数访问所述匹配数据块包括：

基于所述数据访问参数访问所述匹配数据块中存储的训练数据集、人工智能模型、所述训练数据集的数据分析结果以及利用所述人工智能模型得到的用于所述时间序列数据集的数据处理结果中的一项或多项。

6.如权利要求4所述的数据处理方法，还包括：

在所述链式数据结构中创建新的数据块，其中所述新的数据块用于存储所述数据处理结果。

7.如权利要求6所述的数据处理方法，其中，根据所述数据访问参数访问所述匹配数据块还包括：

利用所述私钥对所述数据处理结果进行加密，并将加密数据发送至与所述数据访问请求相关联的主体。

8.如权利要求3或7所述的数据处理方法，还包括：

响应于所述主体接收加密数据，向与匹配数据块关联的地址转移预定数量的代币资源。

9.如权利要求7所述的数据处理方法，还包括：

基于共识机制执行数据交易的共识验证并在所述链式数据结构中的至少一个数据块中记录所述数据交易。

10.一种数据处理设备，包括：

接收单元，配置成接收数据访问请求，其中所述数据访问请求中包括时间序列数据集以及数据访问参数；

相关性确定单元，配置成确定所述时间序列数据集与链式数据结构中至少一个数据块中存储的训练数据集之间的相关性；

匹配单元，配置成根据所述相关性确定用于所述时间序列数据集的匹配数据块，其中所述匹配数据块中存储的训练数据集与所述时间序列数据集之间的相关性大于相关性阈值；

访问单元，配置成根据所述数据访问参数访问所述匹配数据块。

11.如权利要求1所述的数据处理设备，其中所述相关性确定单元配置成：

确定所述时间序列数据集和所述训练数据集之间的欧氏距离、马氏距离、闵可夫斯基距离、汉明距离、Tanimoto系数、皮尔逊相关系数、余弦相似度中的一个或多个，以得到所述时间序列数据集和所述训练数据集之间的相关性。

12.如权利要求1所述的数据处理设备，其中，

所述接收单元还配置成：

响应于数据访问请求生成包含有私钥和公钥的密钥对；

所述访问单元配置成：

响应于确定所述匹配数据块，利用所述私钥对所述匹配数据块中存储的训练数据进行加密，并将加密数据发送给与所述数据访问请求相关联的主体。

13.如权利要求10-12任一项所述的数据处理设备，其中，所述匹配数据块还用于存储与所述训练数据集相关联的人工智能模型，所述访问单元还配置成：

利用所述匹配数据块中存储的人工智能模型对所述时间序列数据集进行数据处理，并得到用于所述时间序列数据集的数据处理结果。

14.一种数据处理装置，包括：

一个或多个处理器；和

一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，执行如权利要求1-9中任一项所述的数据处理方法。

15.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的数据处理方法。

Images