CN110083610B - 数据处理方法、装置、系统、可信计算装置、设备和介质 - Google Patents

数据处理方法、装置、系统、可信计算装置、设备和介质 Download PDF

Info

Publication number
CN110083610B
CN110083610B CN201910357686.2A CN201910357686A CN110083610B CN 110083610 B CN110083610 B CN 110083610B CN 201910357686 A CN201910357686 A CN 201910357686A CN 110083610 B CN110083610 B CN 110083610B
Authority
CN
China
Prior art keywords
data
computing device
analysis
trusted computing
trusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910357686.2A
Other languages
English (en)
Other versions
CN110083610A (zh
Inventor
肖伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910357686.2A priority Critical patent/CN110083610B/zh
Publication of CN110083610A publication Critical patent/CN110083610A/zh
Application granted granted Critical
Publication of CN110083610B publication Critical patent/CN110083610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明实施例公开了一种数据处理方法、装置、系统、可信计算装置、设备和介质。其中,该方法由可信计算装置执行,所述可信计算装置基于硬件实现可信计算环境,该方法包括:接收数据使用方发起的数据分析请求;根据所述数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间;根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间;将所述处理结果反馈给所述数据使用方。通过本发明实施例提供的技术方案,可以实现数据联合分析处理,并且能够保障数据分析处理过程的可信性和安全性。

Description

数据处理方法、装置、系统、可信计算装置、设备和介质
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种数据处理方法、装置、系统、可信计算装置、设备和介质。
背景技术
在大数据时代,各种原始数据、二次处理数据都是有经济价值的无形资产。各类企业用户之间,既能够自己提供一些数据,也需要其他企业用户分享一些数据,因此出现了数据中心。各种用户将自己的数据提供至数据中心,供其他用户付费或免费试用。
在数据中心,数据都是集中处理的。不仅能够方便分享,还能够基于多份数据进行联合分析处理,这极大的提高了数据处理的能力和效率,也提供了更丰富的数据处理的方式。
但是,数据中心的处理方式也存在着一定的缺陷:要进行处理的所有数据必须被存储到数据中心,数据中心才能基于相应算法进行处理,产出处理结果。然而,在大数据时代,数据都是企业宝贵的财富,企业不想也不能把数据放到不受自身控制的数据中心,去完成数据分析和处理。然而,企业之间又存在将数据进行联合分析的需求。现有技术需要提供一种解决上述矛盾的数据处理方案。
发明内容
本发明实施例提供一种数据处理方法、装置、系统、可信计算装置、设备和介质,以实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
第一方面,本发明实施例提供了一种去中心化的数据处理方法,由可信计算装置执行,所述可信计算装置基于硬件实现可信计算环境,该方法包括:
接收数据使用方发起的数据分析请求;
根据所述数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间;
根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间;
将所述处理结果反馈给所述数据使用方。
第二方面,本发明实施例还提供了一种去中心化的数据处理方法,由数据中心执行,所述数据中心的私有存储空间用于存储数据,该方法包括:
接收可信计算装置的数据读取请求;
根据所述数据读取请求,将数据从所述私有存储空间中传输给所述可信计算装置的可信存储空间;其中,所述数据用于供所述可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于所述可信存储空间,并反馈给数据使用方。
第三方面,本发明实施例还提供了一种去中心化的数据处理装置,配置于可信计算装置中,所述可信计算装置基于硬件实现可信计算环境,该装置包括:
分析请求接收模块,用于接收数据使用方发起的数据分析请求;
数据读取模块,用于根据所述数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间;
数据处理模块,用于根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间;
处理结果反馈模块,用于将所述处理结果反馈给所述数据使用方。
第四方面,本发明实施例还提供了一种去中心化的数据处理装置,配置于数据中心中,所述数据中心的私有存储空间用于存储数据,该装置包括:
读取请求接收模块,用于接收可信计算装置的数据读取请求;
数据传输模块,用于根据所述数据读取请求,将数据从所述私有存储空间中传输给所述可信计算装置的可信存储空间;其中,所述数据用于供所述可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于所述可信存储空间,并反馈给数据使用方。
第五方面,本发明实施例还提供了一种可信计算装置,包括:
一个或多个处理器;
一个或多个存储器,作为可信存储空间,用于存储一个或多个程序,其中,所述处理器和所述存储器基于可信计算技术实现;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所述的去中心化的数据处理方法。
第六方面,本发明实施例还提供了一种设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第二方面所述的去中心化的数据处理方法。
第七方面,本发明实施例还提供了一种去中心化的数据处理系统,该系统包括:
多个数据中心,每个所述数据中心的私有存储空间用于存储数据;
一个或多个可信计算装置,所述可信计算装置采用第五方面所述的可信计算装置。
第八方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的去中心化的数据处理方法,或者实现第二方面所述的去中心化的数据处理方法。
本发明实施例提供的去中心化的数据处理方法、装置、系统、可信计算装置、设备和介质,通过根据接收到的数据使用方发起的数据分析请求,可从一个或多个数据中心中将分析所需的至少一份数据读取至可信计算装置的可信存储空间;之后,根据该数据分析请求,基于可信计算装置中运行的分析算法,对从一个或多个数据中心中读取的数据进行分析处理,进而产生处理结果,存储于可信存储空间并反馈给数据使用方。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
附图说明
图1是本发明实施例所适用的一种去中心化的数据处理系统架构图;
图2是本发明实施例一中提供的一种去中心化的数据处理方法的流程图;
图3是本发明实施例二中提供的一种去中心化的数据处理方法的流程图;
图4是本发明实施例三中提供的一种去中心化的数据处理方法的流程图;
图5是本发明实施例四中提供的一种去中心化的数据处理方法的流程图;
图6是本发明实施例五中提供的一种去中心化的数据处理方法的流程图;
图7是本发明实施例六中提供的一种去中心化的数据处理方法的流程图;
图8是本发明实施例七中提供的一种去中心化的数据处理装置的结构示意图;
图9是本发明实施例八中提供的一种去中心化的数据处理装置的结构示意图;
图10是本发明实施例九中提供的一种可信计算装置的结构示意图;
图11是本发明实施例十中提供的一种设备的结构示意图;
图12是本发明实施例十一中提供的一种去中心化的数据处理系统结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明各实施例之前,先对本发明实施例所涉及的系统架构进行说明。如图1所示,本实施例的去中心化的数据处理系统架构100可以包括:多个数据中心110、一个或多个可信计算装置120。
其中,每个数据中心110归属于一个发布数据的主体,例如某个企业,对应的,数据中心可以是该企业主体所拥有的计算设备或集群设备,用于将该企业主体所发布的数据存储在私有存储空间中,且受该企业主体的管理控制,进而可保证数据在可控范围内。进一步的,数据中心110对于所属企业主体是可信的,但对于其他主体是不可信的。
可信计算是在计算和通信系统等中广泛使用基于硬件安全模块支持下的可信计算平台,以提高系统整体的安全性;可信计算装置120可以是配置有可信器件的设备,如带SGX(Software Guard Extensions)的处理器(适用于Internet环境)的计算设备,或者带有TEE(Trusted Execution Environment)的移动终端等。基于数据分析数据量大等特点,本实施例中,可信计算装置120优选为配置有可信器件的计算设备。进一步的,可信计算装置120可以基于硬件实现一种可信计算环境,具体为通过硬件技术实现保证存储空间和计算过程可信的环境,可信计算环境可以保护运行在其中的代码和数据等不会被任何外部软件篡改和窃取。
示例性的,可信计算装置120可以是一个,能够读取所有数据中心110的数据并进行联合分析处理;还可以是多个,能够基于已有的并行处理方式协同处理数据,以提高数据分析处理的效率等。本实施例中,利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时本实施例中,一个或多个可信计算环境相当于基于多个数据中心的虚拟联合建模平台,可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。此外,本实施例中,可信计算装置可以是独立于数据中心的计算设备,还可以是集成于数据中心内部的局部空间,通过硬件技术来保证可信性。
可选的,本实施例的去中心化的数据处理系统架构还可以包括区块链网络130,用于记录各环节的数据指纹和相关信息,例如,可用于记录数据中心所发布数据的数据指纹和相关的数据描述信息,便于数据中心和可信计算装置查询和验证等。此外,基于区块链还能够监控数据联合分析处理的整个进程,进而保证整个使用流程的有序进行。
可选的,本实施例的去中心化的数据处理系统架构还可以包括数据使用方(图1未示出)。其中,数据使用方是指需要使用数据进行分析处理的主体,例如某个企业等。示例性的,数据使用方可以是某个数据中心的企业,对应的数据中心可以是构成去中心化的数据处理系统架构中的一个,进而数据使用方可基于其所属的数据中心参与到该系统中,实现自身数据分析需求;此外,数据使用方也可以不是数据中心所属主体,可以不是构成去中心化的数据处理系统架构中的任何一个数据中心,数据使用方可基于该系统设定的参与规则,参与到该系统中,进行访问,进而实现自身数据分析需求。
实施例一
图2为本发明实施例一中提供的一种去中心化的数据处理方法的流程图,本实施例可适用于对数据进行处理的情况,尤其适用于基于去中心化的数据系统架构中的一个或多个可信计算装置、多个数据中心、数据使用方等之间交互对数据进行处理的场景,以解决现有基于数据中心的矛盾的数据处理方式。本发明实施例的技术方案由可信计算装置来执行,其中,可信计算装置基于硬件实现可信计算环境。该方法可由去中心化的数据处理装置来执行,该装置可以配置于可信计算装置的计算设备中,以硬件和/或软件的方式来实现。参见图2,该方法具体包括:
S210,接收数据使用方发起的数据分析请求。
本实施例中,数据分析请求可以是数据使用方在具有数据分析需求时,向可信计算装置所发起的请求。具体可以为数据使用方在具有数据分析需求时,通过其所属的数据中心,基于设定的通信机制向可信计算装置所发送的请求;还可以为数据使用方在具有数据分析需求时,通过区块链网络向可信计算装置所发起的请求,用于请求区块链网络将该数据分析请求存储在区块链中,并将该数据分析请求发送给可信计算装置;还可以为数据使用方在具有数据分析需求时,基于设定的通信机制直接向可信计算装置所发送的请求等。
本实施例中,每个数据中心可以将其所属主体发布的数据存储于本地私有存储空间中,同时可基于设定的数据指纹确定方式,确定发布的数据的数据指纹;而后可依据所确定的数据指纹以及相关的数据描述信息如数据的存储位置、存储时间、数据标识、发布者标识以及信息概要介绍等,生成数据发布事务请求,并发送至区块链网络,以请求区块链网络将数据指纹以及相关的数据描述信息关联存储。其中,数据标识是一个起到唯一标识作用的标识符,若数据在数据中心的私有存储空间中是基于键值对存储的,则数据标识可以是键标识;发布者标识可以是用于证明数据发布者身份的唯一性标志符,例如可以是发布者ID,若发布者为企业,对应的,发布者标识可以为企业ID等;信息概要介绍用于简要介绍数据的用途(也就是说数据可被用于做什么)、可被应用的领域等。
数据使用方在具有数据分析需求时,可通过与区块链网络交互,从区块链中查询各个数据中心发布的数据描述信息,以获知各个数据中心可提供哪些数据,以及数据的存储位置等,进而可根据自身的实际分析需求等,确定分析所需的数据;同时,数据使用方可通过与可信计算装置交互,以获知可信计算装置所能够提供的分析算法;而后可根据自身的实际分析需求,分析所需的数据,以及可信计算装置所能够提供的分析算法,确定分析模型;并生成包括分析模型的数据分析请求,且向可信计算装置发起。进而可信计算装置可接收数据使用方发起的数据分析请求,可选的,数据分析请求中包括分析模型。
S220,根据数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间。
本实施例中,可信计算装置的可信存储空间是指可信计算装置预先设定的,可用于存储从各个数据中心读取的数据所需要的存储介质,可以是任何大容量的可被各个数据中心所信任的存储设备,如可以是内存存储空间,缓存等。由于缓存具有极快的存取速率等特性,因此便于快速对数据进行分析,本实施例中可信计算装置的可信存储空间优选为缓存。
需要说明的是,若某个可信计算装置位于一个数据中心的计算设备或集群设备中,由于该可信计算装置读取的数据可能是其他数据中心的,因此为了防止数据泄露,通常不允许可信计算装置将缓存中的数据写入其所在的数据中心的私有存储空间如磁盘中。但是,在一些特殊场景下,如对于保密级别要求较低的数据而言,可以写入。
本实施例中,可根据数据中心进行数据的划分,例如,可将从一个数据中心读取的数据称为一份数据;对于一个数据使用方而言,可能同时需要一个数据中心提供不同类型/用途的数据,进一步的,可根据数据中心和数据类型/用途两个维度进行数据的划分,例如,可将从一个数据中心读取的相同类型/用途的数据称为一份数据。
具体的,可信计算装置在接收到数据使用方发起的数据分析请求之后,可以根据数据分析请求中分析模型所指定的至少一份数据及其存储位置等,从存储位置所在的一个或多个数据中心中读取数据至可信存储空间中。
S230,根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间。
本实施例中,分析算法是指在系统架构创建时,或者运行过程中,经过参与的大多数/所有数据中心的认可如线下协商认可,确定的可信计算装置能够支持的数据分析算法;便于后续使用,可将经过参与的大多数/所有数据中心认可的分析算法的分析代码写入可信计算装置。示例性的,本实施例中,去中心化的数据处理方法还可以包括:接收经过多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。具体可以为,多个数据中心进行协商共识,由其中一个数据中心将分析算法发送至可信计算装置,进而可信计算装置可以直接接收该数据中心发送的经过多个数据中心确认的分析算法,并保存到可信计算装置的可信存储空间中,之后,参与协商确定的各数据中心均可对写入可信计算装置的分析算法的分析代码进行检查,进而降低分析算法被篡改的概率等。
进一步的,为了保证分析算法不可篡改以及分析处理的公平公正,在去中心化的数据处理系统架构包括区块链网络的情况下,数据中心可将经过多个数据中心确认的分析算法添加至链上存储事务请求中,并将该链上存储事务请求发送至区块链网络,以请求区块链网络将该分析算法写入区块链中。示例性的,接收经过多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中可以包括:从区块链网络中获取多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。具体可以为,可信计算装置可以从区块链网络中获取多个数据中心确认的分析算法,并将所获取的分析算法保存至可信计算装置的可信存储空间中。
具体的,可信计算装置可以根据数据分析请求中分析模型所指定的分析算法,从可信计算装置的可信存储空间中调用该分析算法;而后将读取的数据作为该分析算法的参数,基于可信计算装置所构建的可信计算环境运行该分析算法,以产生处理结果,并将该处理结果于可信存储空间。
为了保证数据的安全,可信计算装置根据数据分析请求中分析模型所指定的分析算法,从可信计算装置的可信存储空间中调用该分析算法之后,可先验证本次调用的分析算法是否运行在可信环境中,在验证通过的情况下,将读取的数据作为该分析算法的参数,基于可信计算装置所构建的可信计算环境运行该分析算法,以产生处理结果,并将该处理结果于可信存储空间。
S240,将处理结果反馈给数据使用方。
具体的,可信计算装置在根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,产生处理结果之后,可以将处理结果反馈给数据使用方。
进一步的,为了保证数据传输的安全性,可信计算装置可以优先采用预设的加密策略对处理结果进行加密而后反馈。示例性的,将处理结果反馈给数据使用方之前,还可以包括:将处理结果采用数据使用方的公钥进行加密。
具体的,可信计算装置在根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,产生处理结果之后,可以从本地或者与数据使用方交互获取数据使用方的公钥,而后采用数据使用方的公钥对处理结果进行加密,并将加密的处理结果反馈给数据使用方,以使数据使用方采用自身的私钥对加密的处理结果进行解密,进而获得处理结果。
本实施例中,可信计算装置还可以采用其他加密算法对处理结果进行加密。示例性的,将处理结果反馈给数据使用方之前,还可以包括:基于预设的加密算法,将处理结果采用数据使用方的公钥进行加密。具体的,可以将数据使用方的公钥作为加密算法的输入参数,而后采用带有输入参数的加密算法对处理结果进行加密,得到加密的处理结果。数据使用方获取到加密的处理结果之后,将其自身私钥作为加密算法的输入参数,而后采用带有输入参数的加密算法对处理结果进行解密,进而得到处理结果。
本发明实施例提供的技术方案,通过根据接收到的数据使用方发起的数据分析请求,可从一个或多个数据中心中将分析所需的至少一份数据读取至可信计算装置的可信存储空间;之后,根据该数据分析请求,基于可信计算装置中运行的分析算法,对从一个或多个数据中心中读取的数据进行分析处理,进而产生处理结果,存储于可信存储空间并反馈给数据使用方。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
实施例二
图3为本发明实施例二中提供的一种去中心化的数据处理方法的流程图,本实施例在上述实施例的基础上,在去中心化的数据处理系统架构包括区块链网络的情况下,进一步的优化。参见图3,该方法具体包括:
S310,接收数据使用方发起的数据分析请求。
S320,根据数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间。
S330,基于区块链网络中存储的每份数据的数据指纹,对读取的数据进行验证。
本实施例中,数据指纹是一种防伪签名方式,具有唯一性作用;对于每份数据而言,可按照实际需求,对其进行不同单位数据粒度的划分,进而每份数据可对应一个或多个数据指纹。具体为,每个数据中心,可基于其发布的每份数据的全量内容,按照设定算法,计算生成一个或多个数据指纹。其中,设定算法是各个数据中心预先约定的,用于生成数据指纹的算法,如可以是哈希算法。
需要说明的是,每份数据可对应一个或多个数据指纹,是由该份数据进行单位数据粒度的划分结果决定。其中,一个单位数据可以为一份数据、一个数据块或一个最小存储单位(KV键值对)。可选的,每个数据中心发布的每份数据中可以包括一个或多个单位数据,每个单位数据对应一个数据指纹。若一个单位数据为一份数据,则每个数据中心,可基于其发布的每份数据的全量内容,按照设定算法,计算生成一个数据指纹;若一个单位数据为一个数据块,则每个数据中心,可将其发布的每份数据划分为多个数据块,对于每个数据块,可基于该数据块的全量内容,按照设定算法生成一个数据指纹;若一个单位数据为一个最小存储单位,则每个数据中心,对于其发布的每份数据中的每个最小存储单位,可基于该最小存储单位的数据内容,按照设定算法生成一个数据指纹。
具体的,为了保证所读取的数据是有效的,可信计算装置从一个或多个数据中心,将分析所需的至少一份数据读取至可信计算装置的可信存储空间之后,可以从区块链中获取分析所需的至少一份数据的数据指纹;并基于分析所需的至少一份数据所包括的每个单位数据的全量内容,按照设定算法,计算每个单位数据的数据指纹,即计算得到分析所需的至少一份数据的一个或多个数据指纹;而后将计算得到的数据指纹,与从区块链中获取的获取分析所需的至少一份数据的数据指纹进行一致性比对,若一致,则确定所读取的数据是有效的;若存在不一致,也就是说某个/某些单位数据的数据指纹不一致,则可以将数据指纹不一致的单位数据丢掉。
此外,还可以是,可信计算装置从一个或多个数据中心每读取一个单位数据,则基于该单位数据的全量内容,按照设定算法,计算该单位数据的数据指纹,而后将计算得到的数据指纹,与区块链中存储的该数据单位的数据指纹进行一致性比对。按照此操作,直至分析所需的所有数据全部读取并验证完为止。
S340,如果验证通过,则确认读取的数据有效。
具体的,若分析所需的至少一份数据所包括的每个单位数据的数据指纹均验证通过,则确认读取的数据有效。若存在某个/某些单位数据的数据指纹未验证通过,则可以确定所读取的某个/某些单位数据无效,将其丢弃,并向数据使用方反馈数据分析失败信息;或者可以确定所读取的所有数据均无效,将所读取的所有数据丢弃,并向数据使用方反馈数据分析失败信息等。
S350,根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间。
S360,将处理结果反馈给数据使用方。
具体的,可信计算装置可以是将处理结果直接反馈给数据使用方,也可以是先采用数据使用方的公钥对处理结果进行加密,而后将加密的处理结果反馈给数据使用方。
S370,计算处理结果的数据指纹,上传至区块链网络中进行存储;其中,区块链网络中存储的处理结果的数据指纹,用于供数据使用方对接收到的处理结果进行验证。
本实施例中,可信计算装置在将处理结果反馈给数据使用方的同时或之后,可以按照预先设定的数据指纹确定方式,计算处理结果中每一个单位数据的数据指纹,并将计算得到的处理结果的数据指纹添加至链上存储事务请求中,生成并向区块链网络发送链上结果数据指纹存储事务请求,以请求区块链网络将处理结果的数据指纹写入区块链,还可以是请求区块链网络将数据分析请求与处理结果的数据指纹关联存储于区块链中等。进而数据使用方在获取到可信计算装置发送的处理结果之后,可计算该处理结果的数据指纹,而后将计算得到的处理结果的数据指纹,与从区块链网络获取的处理结果的数据指纹进行一致性比对,若一致,则确定处理结果有效,否则无效。
需要说明的是,处理结果也可相当于新发布的数据,因此,将处理结果的数据指纹存储于区块链网络中,之后其他数据使用方,在需要使用该数据时,可向可信计算装置发送数据分析请求,以使可信计算装置基于区块链网络中存储的处理结果的数据指纹,对其有效性进行验证。
为了便于后续溯源,查询和/或更新处理结果等,可信计算装置在产生处理结果之后,还可以建立数据分析请求、处理结果和分析所需的数据之间的关联关系,并将该关联关系发送至区块链网络,以请求区块链网络将处理结果和分析所需数据,与存储在区块链网络中的数据分析请求对应存储。示例性的,数据分析请求存储在区块链网络中,且处理结果和分析所需数据,与数据分析请求对应存储。进而,如果某个数据被证明是错误的、被篡改过、或升级更新了,则可以按照关联关系找到基于这个数据产生的处理结果,对这些处理结果进行更新。
本发明实施例提供的技术方案,为了保证所读取的数据是有效的,可信计算装置可通过与区块链网络交互,获取区块链网络中存储的分析所需的每份数据的数据指纹,而后基于区块链网络中存储的每份数据的数据指纹,对读取的数据进行验证;且在验证读取的数据有效的情况下,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间并反馈给数据使用方;同时,可信计算装置还将处理结果的指纹存储于区块链网络,便于数据使用方对处理结果进行验证。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。此外,利用区块链网络记录各环节的数据指纹和相关数据描述信息等,便于数据中心、数据使用方以及可信计算装置查询和验证等;而且基于区块链还能够监控数据分析处理的整个进程,进而保证整个使用流程的有序进行。
实施例三
图4为本发明实施例三中提供的一种去中心化的数据处理方法的流程图,本实施例在上述实施例的基础上,进一步的优化。参见图4,该方法具体包括:
S410,接收数据使用方发起的数据分析请求。
S420,根据数据分析请求,在可信存储空间中查询是否存在分析所需数据。
本实施例中,对于读入可信存储空间中的数据而言,由于可信存储空间使用策略的限定,需对可信存储空间进行清除,如可信存储空间满时,清除数据以释放可信存储空间,因此可信计算装置再次需要已读取过的数据时,需重新从数据中心中读取该数据;如果可信计算装置中存在需要使用的数据,则可直接使用,无需从数据中心中再次读取。
作为本实施例的一种可实施方式,若可信存储空间为缓存,对应的,可信存储空间使用策略为缓存使用策略,则本实施例中的去中心化的数据处理方法还可以包括:按照设定缓存使用策略,将可信存储空间中的数据释放清除。
其中,缓存使用策略是预先基于可信存储空间的容量大小、以及各个数据中心的需求等进行设定的;可选的,缓存使用策略可以是每进行一次分析处理后清除读入数据;还可以是可信存储空间存满数据后,进行一次清除;还可以是每次可信计算装置退出后,自动清除可信存储空间中读入的数据等。此外,还可以是其它合理的数据清除策略,本实施例对此不做限定。具体的,可信计算装置可实时按照缓存使用策略,将可信存储空间中的数据释放清除。
具体的,在接收到数据使用方发起的数据分析请求之后,可根据数据分析请求中分析模型所指定的至少一份数据,先在可信计算装置的可信存储空间中进行查询,以确定可信存储空间中是否存在分析所需数据。
S430,如果不存在,则从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间。
具体的,若可信存储空间存在分析所需的全部数据,则可以直接使用;若可信存储空间存在分析所需的部分数据,则可以从一个或多个数据中心中,将分析所需的剩余数据读取至可信计算装置的可信存储空间中。若可信存储空间不存在分析所需数据,则可以从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间。
S440,基于区块链网络中存储的每份数据的数据指纹,对读取的数据进行验证。
需要说明的是,对于读入可信存储空间中的数据而言,已被验证过,因此可直接使用无需再次验证;而对于重新从数据中心中读取的数据,需进行验证。
S450,如果验证通过,则确认读取的数据有效。
S460,根据数据分析请求,调用可信计算装置中预存的分析算法,并验证分析算法是否运行在可信计算环境中。
本实施例中,为了保证数据的安全,经过多个数据中心确认的分析算法中可包括自检代码段,一旦可信计算装置中预存的某一分析算法被调用,则该分析算法将会自动运行自检代码段,以验证自身是否运行在可信计算环境中。
具体的,可信计算装置可以根据数据分析请求中分析模型所指定的分析算法,从可信计算装置的可信存储空间中调用该分析算法,而后该分析算法将会自动运行自检代码段,以验证自身是否运行在可信计算环境中。
S470,如果验证通过,则允许继续执行分析算法,以对读取的数据进行分析处理。
本实施例中,可信计算装置可根据验证结果,确定是否继续执行该分析算法,以对读取的数据进行分析处理。具体的,若验证通过,则允许继续执行分析算法,以对读取的数据进行分析处理;若验证未通过,则不允许继续执行分析算法。
S480,根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间。
S490,将处理结果反馈给数据使用方。
本发明实施例提供的技术方案,通过可信计算装置对数据分析处理过程中涉及的操作如读取的数据的有效性进行验证、以及对分析算法是否运行在可信计算环境进行验证等,保证了各数据中心中的数据的安全性,以及处理过程的可靠性。
实施例四
图5为本发明实施例四中提供的一种去中心化的数据处理方法的流程图,本实施例可适用于对数据进行处理的情况,尤其适用于基于去中心化的数据系统架构中的一个或多个可信计算装置、多个数据中心、数据使用方等之间交互对数据进行处理的场景,以解决现有基于数据中心的矛盾的数据处理方式。本发明实施例的技术方案由数据中心来执行,其中,数据中心的私有存储空间用于存储数据。该方法可由去中心化的数据处理装置来执行,该装置可以配置于数据中心中,以硬件和/或软件的方式来实现。参见图5,该方法具体可以包括:
S510,接收可信计算装置的数据读取请求。
本实施例中,数据读取请求是指可信计算装置在接收到数据使用方发起的数据分析请求,并依据数据分析请求确定分析所需的至少一份数据,以及其存储位置之后,生成的包括所需的至少一份数据的数据标识及存储位置的数据读取请求。可选的,若分析所需的至少一份数据来自不同的数据中心,对于每个数据中心而言,可信计算装置则对应生成包括需要从该数据中心读取的数据的数据标识,以及其存储位置的数据读取请求,进而该数据中心可接收可信计算装置发送的数据读取请求。
S520,根据数据读取请求,将数据从私有存储空间中传输给可信计算装置的可信存储空间;其中,数据用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。
本实施例中,对于每个数据中心而言,其私有存储空间是指用于存储其所属主体发布的数据所需要的存储介质,可以是任何大容量的存储设备,如可以是内存存储空间,也可以是磁盘存储空间等。由于磁盘断电后保存的数据不会丢失,且在不清除的情况下永久保存,而数据中心所属主体所发布的数据具有保密以及永久存储等的需求,因此,本实施例优选私有存储空间为磁盘存储空间。
具体的,数据中心接收到可信计算装置发送的数据读取请求之后,可依据数据读取请求中包括的数据标识及存储位置等,从私有存储空间中读取数据,并基于预先设定的通信机制,将读取的数据传输至可信计算装置的可信存储空间中,用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。
本发明实施例提供的技术方案,各个数据中心将其所属主体发布的数据存储于各自的私有存储空间中,可保证各数据中心中的数据在可控制的范围内,进而保证数据的安全;同时接收到可信计算装置发送的数据读取请求的数据中心,可根据数据读取请求,将数据从私有存储空间中传输给可信计算装置的可信存储空间,用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
实施例五
图6为本发明实施例五中提供的一种去中心化的数据处理方法的流程图,本实施例在上述实施例的基础上,进一步的优化。参见图6,该方法具体可以包括:
S610,接收可信计算装置的数据读取请求。
S620,根据数据读取请求,将数据从私有存储空间中传输给可信计算装置的可信存储空间;其中,数据用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。
S630,将新发布的数据,存储在私有存储空间。
本实施例中,对于每个数据中心,若该数据中心接收到其所属主体新发布的数据,则将该新发布的数据存储在私有存储空间中。具体可以为,将新发布的数据,按照其存储数据的方式,如键值对形式,存储在私有存储空间中。
S640,计算新发布的数据的数据指纹。
本实施例中,数据指纹是一种防伪签名方式,具有唯一性作用;对于每份数据而言,可按照实际需求,对其进行不同单位数据粒度的划分,进而每份数据可对应一个或多个数据指纹。具体为,每个数据中心,可基于其发布的每份数据的全量内容,按照设定算法,计算生成一个或多个数据指纹。其中,设定算法是各个数据中心预先约定的,用于生成数据指纹的算法,如可以是哈希算法。
需要说明的是,每份数据可对应一个或多个数据指纹,是由该份数据进行单位数据粒度的划分结果决定。其中,一个单位数据可以为一份数据、一个数据块或一个最小存储单位(KV键值对)。可选的,新发布/已发布的每份数据中包括一个或多个单位数据,每个单位数据对应一个数据指纹。
具体的,针对每个数据中心,该数据中心将新发布的数据,存储在私有存储空间之后,可计算新发布的数据的数据指纹。具体的,若一个单位数据为一份数据,则可基于其新发布的每份数据的全量内容,按照设定算法,计算生成一个数据指纹;若一个单位数据为一个数据块,则可将其新发布的每份数据划分为多个数据块,对于每个数据块,可基于该数据块的全量内容,按照设定算法生成一个数据指纹;若一个单位数据为一个最小存储单位,则对于其新发布的每份数据中的每个最小存储单位,可基于该最小存储单位的数据内容,按照设定算法生成一个数据指纹。
S650,将数据指纹与新发布数据的数据描述信息,一并上传至区块链网络进行存储。
其中,数据指纹用于供可信计算装置在读取数据时进行验证,数据描述信息用于供数据使用方查询数据内容和数据存储位置。可选的,数据描述信息可以包括但不限于数据的存储位置、存储时间、数据标识、发布者标识以及信息概要介绍等。
具体的,针对每个数据中心,可以依据数据指纹与新发布数据的数据描述信息,生成数据发布事务请求,并发送至区块链网络,以请求区块链网络将数据指纹以及相关的数据描述信息关联存储。例如可以是,将数据指纹与新发布数据的数据描述信息添加至数据发布事务请求中,并将包括数据指纹和新发布数据的数据描述信息的数据发布事务请求发送至区块链网络,以请求区块链网络将数据指纹以及相关的数据描述信息关联存储。
需要说明的是,S630至S650对新发布数据的操作过程可以在S610和S620之后或之前执行,还可以独立执行,本发明实施例对此不做限定。
本发明实施例提供的技术方案,各个数据中心将其所属主体发布的数据存储于各自的私有存储空间中,可保证各数据中心中的数据在可控制的范围内,进而保证数据的安全;同时将发布的数据的数据指纹与发布数据的数据描述信息,一并上传至区块链网络进行存储,便于后续各数据中心、数据使用方以及可信计算装置查询和验证等。
实施例六
图7为本发明实施例六中提供的一种去中心化的数据处理方法的流程图,本实施例在上述实施例的基础上,提供了一种一个或多个可信计算装置、多个数据中心、数据使用方等之间交互对数据进行处理的优选实例。参见图7,该方法具体可以包括:
S710,数据使用方生成数据分析请求,并向可信计算装置发起。
S720,可信计算装置接收数据使用方发起的数据分析请求。
S730,可信计算装置根据数据分析请求,向一个或多个数据中心发送数据读取请求。
S740,一个或多个数据中心接收可信计算装置的数据读取请求,并根据数据读取请求,将数据从私有空间中传输给可信计算装置的可信存储空间。
S750,可信计算装置基于区块链网络中存储的每份数据的数据指纹,对读取的数据进行验证。
S760,如果验证通过,则可信计算装置确认读取的数据有效,根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间。
S770,可信计算装置将处理结果反馈给数据使用方。
本发明实施例提供的技术方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。此外,利用区块链网络记录各环节的数据指纹和相关数据描述信息等,便于数据中心、数据使用方以及可信计算装置查询和验证等;而且基于区块链还能够监控数据分析处理的整个进程,进而保证整个使用流程的有序进行。
实施例七
图8为本发明实施例七提供的一种去中心化的数据处理装置的结构示意图,该装置可配置于可信计算装置的计算设备中,可执行本发明实施例一至三所提供的去中心化的数据处理方法,具备执行方法相应的功能模块和有益效果。其中,可信计算装置基于硬件实现可信计算环境,如图8所示,该装置具体可以包括:
分析请求接收模块810,用于接收数据使用方发起的数据分析请求;
数据读取模块820,用于根据数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间;
数据处理模块830,用于根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间;
处理结果反馈模块840,用于将处理结果反馈给数据使用方。
本发明实施例提供的技术方案,通过根据接收到的数据使用方发起的数据分析请求,可从一个或多个数据中心中将分析所需的至少一份数据读取至可信计算装置的可信存储空间;之后,根据该数据分析请求,基于可信计算装置中运行的分析算法,对从一个或多个数据中心中读取的数据进行分析处理,进而产生处理结果,存储于可信存储空间并反馈给数据使用方。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
示例性的,上述装置还可以包括:数据验证模块,该模块具体可以用于:
在对读取的数据进行分析处理,以产生处理结果之前,基于区块链网络中存储的每份数据的数据指纹,对读取的数据进行验证;
如果验证通过,则确认读取的数据有效。
示例性的,上述装置还可以包括:结果数据指纹传输模块,该模块具体可以用于:
将处理结果反馈给数据使用方的同时或之后,计算处理结果的数据指纹,上传至区块链网络中进行存储;其中,区块链网络中存储的处理结果的数据指纹,用于供数据使用方对接收到的处理结果进行验证。
示例性的,上述装置还可以包括:
加密模块,用于在将处理结果反馈给数据使用方之前,将处理结果采用数据使用方的公钥进行加密。
示例性的,上述装置还可以包括:分析算法验证模块,该模块具体可以用于:
在根据数据分析请求,基于可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于可信存储空间之前,根据数据分析请求,调用可信计算装置中预存的分析算法,并验证分析算法是否运行在可信计算环境中;
如果验证通过,则允许继续执行分析算法,以对读取的数据进行分析处理。
示例性的,上述装置还可以包括:
分析算法接收模块,用于接收经过多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。
示例性的,分析算法接收模块具体可以用于:
从区块链网络中获取多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。
示例性的,数据读取模块820具体可以用于:
根据数据分析请求,在可信存储空间中查询是否存在分析所需数据;
如果不存在,则从一个或多个数据中心中,将分析所需的至少一份数据读取至可信计算装置的可信存储空间。
示例性的,若可信存储空间为缓存,则上述装置还可以包括:
数据清除模块,用于按照设定缓存使用策略,将可信存储空间中的数据释放清除。
示例性的,数据分析请求存储在区块链网络中,且处理结果和分析所需数据,与数据分析请求对应存储。
实施例八
图9为本发明实施例八提供的一种去中心化的数据处理装置的结构示意图,该装置可配置于数据中心中,可执行本发明实施例四至五所提供的去中心化的数据处理方法,具备执行方法相应的功能模块和有益效果。其中,数据中心的私有存储空间用于存储数据,如图9所示,该装置具体可以包括:
读取请求接收模块910,用于接收可信计算装置的数据读取请求;
数据传输模块920,用于根据数据读取请求,将数据从私有存储空间中传输给可信计算装置的可信存储空间;其中,数据用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。
本发明实施例提供的技术方案,各个数据中心将其所属主体发布的数据存储于各自的私有存储空间中,可保证各数据中心中的数据在可控制的范围内,进而保证数据的安全;同时接收到可信计算装置发送的数据读取请求的数据中心,可根据数据读取请求,将数据从私有存储空间中传输给可信计算装置的可信存储空间,用于供可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于可信存储空间,并反馈给数据使用方。本方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。
示例性的,上述装置还可以包括:
存储模块,用于将新发布的数据,存储在私有存储空间;
数据指纹计算模块,用于计算新发布的数据的数据指纹;
数据传输模块,用于将数据指纹与新发布数据的数据描述信息,一并上传至区块链网络进行存储;其中,数据指纹用于供可信计算装置在读取数据时进行验证,数据描述信息用于供数据使用方查询数据内容和数据存储位置。
示例性的,新发布的每份数据中包括一个或多个单位数据,每个单位数据对应一个数据指纹。
实施例九
图10为本发明实施例十提供的一种可信计算装置的结构示意图。图10示出了适于用来实现本发明实施方式的示例性可信计算装置1012的框图。图10显示的可信计算装置1012仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。可选的,可信计算装置典型可以为计算设备。
如图10所示,可信计算装置1012以通用计算设备的形式表现。可信计算装置1012的组件可以包括但不限于:一个或者多个处理器或者处理单元1016,一个或多个存储器1028,连接不同系统组件(包括存储器1028和处理单元1016)的总线1018。其中,一个或者多个处理器或者处理单元1016和存储器1028基于可信计算技术实现;存储器1428作为可信存储空间,存储器1028优选为缓存。
总线1018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
可信计算装置1012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被可信计算装置1012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器1028可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)1030和/或高速缓存存储器1032。可信计算装置1012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统1034可以用于读写不可移动的、非易失性磁介质(图10未显示,通常称为“硬盘驱动器”)。尽管图10中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线1018相连。存储器1028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块1042的程序/实用工具1040,可以存储在例如存储器1028中,这样的程序模块1042包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1042通常执行本发明所描述的实施例中的功能和/或方法。
可信计算装置1012也可以与一个或多个外部设备1014(例如键盘、指向设备、显示器1024等)通信,还可与一个或者多个使得用户能与该可信计算装置1012交互的设备通信,和/或与使得该可信计算装置1012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1022进行。并且,可信计算装置1012还可以通过网络适配器1020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1020通过总线1018与可信计算装置1012的其它模块通信。应当明白,尽管图中未示出,可以结合可信计算装置1012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元1016通过运行存储在存储器1028中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的去中心化的数据处理方法。
实施例十
图11为本发明实施例十提供的一种设备的结构示意图。图11示出了适于用来实现本发明实施方式的示例性设备1112的框图。图11显示的设备1112仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备1112典型可以是承载数据中心功能的计算设备,或者集群设备中任意的一个计算设备。
如图11所示,设备1112以通用计算设备的形式表现。设1112的组件可以包括但不限于:一个或者多个处理器或者处理单元1116,存储器1128,连接不同系统组件(包括存储器1128和处理单元1116)的总线1118。其中,存储器1128中包括有私有存储空间,用于存储数据。
总线1118表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备1112典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备1112访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器1128可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)1130和/或高速缓存存储器1132。设备1112可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统1134可以用于读写不可移动的、非易失性磁介质(图11未显示,通常称为“硬盘驱动器”)。尽管图11中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线1118相连。存储器1128可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块1142的程序/实用工具1140,可以存储在例如存储器1128中,这样的程序模块1142包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1142通常执行本发明所描述的实施例中的功能和/或方法。
设备1112也可以与一个或多个外部设备1114(例如键盘、指向设备、显示器1124等)通信,还可与一个或者多个使得用户能与该设备1112交互的设备通信,和/或与使得该设备1112能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1122进行。并且,设备1112还可以通过网络适配器1120与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1120通过总线1118与设备1112的其它模块通信。应当明白,尽管图中未示出,可以结合设备1112使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元1116通过运行存储在存储器1128中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的去中心化的数据处理方法。
实施例十一
图12为本发明实施例十一中提供的一种去中心化的数据处理系统结构示意图。该系统1200可以包括:多个数据中心1210,以及一个或多个可信计算装置1220。其中,每个数据中心1210的私有存储空间用于存储数据;可信计算装置1220采用实施例十所述的可信计算装置。
进一步的,该系统1200还可以包括:区块链网络1230,用于存储数据的数据指纹,供数据中心和可信计算装置查询。
示例性的,数据中心1210部署于独立物理设备中;
可信计算装置1220部署于任意一个或多个数据中心1210的物理设备中,或可信计算装置1220独立于数据中心1210部署于其他物理设备中。
本发明实施例提供的技术方案,通过利用可信计算装置,能够保证各数据中心中的数据不会存入其他数据中心的不可信存储空间中;同时还可实现数据联合分析处理,并且保障数据分析处理过程的可信性和安全性。此外,利用区块链网络记录各环节的数据指纹和相关数据描述信息等,便于数据中心、数据使用方以及可信计算装置查询和验证等;而且基于区块链还能够监控数据分析处理的整个进程,进而保证整个使用流程的有序进行。
实施例十二
本发明实施例十二还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例所述的去中心化的数据处理方法。该计算机可读存储介质,可以配置于数据中心上,也可配置于可信计算装置上。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (21)

1.一种去中心化的数据处理方法,其特征在于,由可信计算装置执行,所述可信计算装置基于硬件实现可信计算环境,所述方法包括:
接收数据使用方发起的数据分析请求;所述数据分析请求中包括分析模型,所述分析模型基于区块链网络中存储的各数据中心发布的数据描述信息,以及所述可信计算装置提供的分析算法确定;所述数据描述信息用于供所述数据使用方查询数据内容和数据存储位置;
根据所述数据分析请求中的分析模型,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间;
根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间;
将所述处理结果反馈给所述数据使用方;
计算所述处理结果的数据指纹,上传至区块链网络中进行存储;其中,所述区块链网络中存储的处理结果的数据指纹,用于供可信计算装置在对后续获取的其他数据使用方发起的数据分析请求处理的过程中,对处理结果的有效性进行验证。
2.根据权利要求1所述的方法,其特征在于,对读取的数据进行分析处理,以产生处理结果之前,还包括:
基于区块链网络中存储的每份数据的数据指纹,对读取的所述数据进行验证;
如果验证通过,则确认读取的所述数据有效。
3.根据权利要求1所述的方法,其特征在于,所述区块链网络中存储的处理结果的数据指纹,还用于供所述数据使用方对接收到的处理结果进行验证。
4.根据权利要求1或2或3所述的方法,其特征在于,将所述处理结果反馈给所述数据使用方之前,还包括:
将所述处理结果采用所述数据使用方的公钥进行加密。
5.根据权利要求1或2或3所述的方法,其特征在于,根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间之前,还包括:
根据所述数据分析请求,调用所述可信计算装置中预存的分析算法,并验证所述分析算法是否运行在可信计算环境中;
如果验证通过,则允许继续执行所述分析算法,以对读取的数据进行分析处理。
6.根据权利要求1或2或3所述的方法,其特征在于,还包括:
接收经过多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。
7.根据权利要求6所述的方法,其特征在于,接收经过多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中,包括:
从区块链网络中获取多个数据中心确认的分析算法,保存到可信计算装置的可信存储空间中。
8.根据权利要求1或2或3所述的方法,其特征在于,根据所述数据分析请求,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间,包括:
根据所述数据分析请求,在所述可信存储空间中查询是否存在分析所需数据;
如果不存在,则从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间。
9.根据权利要求1或2或3所述的方法,其特征在于,所述可信存储空间为缓存,则所述方法还包括:
按照设定缓存使用策略,将所述可信存储空间中的数据释放清除。
10.根据权利要求3所述的方法,其特征在于:所述数据分析请求存储在所述区块链网络中,且所述处理结果和分析所需数据,与所述数据分析请求对应存储。
11.一种去中心化的数据处理方法,其特征在于,由数据中心执行,所述数据中心的私有存储空间用于存储数据,所述方法包括:
接收可信计算装置的数据读取请求;所述数据读取请求基于数据使用方发起的数据分析请求生成;所述数据分析请求中包括分析模型,所述分析模型基于区块链网络中存储的各数据中心发布的数据描述信息,以及所述可信计算装置提供的分析算法确定;所述数据描述信息用于供所述数据使用方查询数据内容和数据存储位置;
根据所述数据读取请求,将数据从所述私有存储空间中传输给所述可信计算装置的可信存储空间;其中,所述数据用于供所述可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于所述可信存储空间,并反馈给数据使用方,同时计算所述处理结果的数据指纹,上传至区块链网络中进行存储;其中,所述区块链网络中存储的处理结果的数据指纹,用于供可信计算装置在对后续获取的其他数据使用方发起的数据分析请求处理的过程中,对处理结果的有效性进行验证。
12.根据权利要求11所述的方法,其特征在于,还包括:
将新发布的数据,存储在所述私有存储空间;
计算所述新发布的数据的数据指纹;
将所述数据指纹与所述新发布数据的数据描述信息,一并上传至区块链网络进行存储;
其中,所述数据指纹用于供所述可信计算装置在读取数据时进行验证,所述数据描述信息用于供所述数据使用方查询数据内容和数据存储位置。
13.根据权利要求12所述的方法,其特征在于,新发布的每份数据中包括一个或多个单位数据,每个单位数据对应一个数据指纹。
14.一种去中心化的数据处理装置,其特征在于,配置于可信计算装置中,所述可信计算装置基于硬件实现可信计算环境,所述装置包括:
分析请求接收模块,用于接收数据使用方发起的数据分析请求;所述数据分析请求中包括分析模型,所述分析模型基于区块链网络中存储的各数据中心发布的数据描述信息,以及所述可信计算装置提供的分析算法确定;所述数据描述信息用于供所述数据使用方查询数据内容和数据存储位置;
数据读取模块,用于根据所述数据分析请求中的分析模型,从一个或多个数据中心中,将分析所需的至少一份数据读取至所述可信计算装置的可信存储空间;
数据处理模块,用于根据所述数据分析请求,基于所述可信计算装置中运行的分析算法,对读取的数据进行分析处理,以产生处理结果,存储于所述可信存储空间;
处理结果反馈模块,用于将所述处理结果反馈给所述数据使用方;
结果数据指纹传输模块,用于计算所述处理结果的数据指纹,上传至区块链网络中进行存储;其中,所述区块链网络中存储的处理结果的数据指纹,用于供可信计算装置在对后续获取的其他数据使用方发起的数据分析请求处理的过程中,对处理结果的有效性进行验证。
15.一种去中心化的数据处理装置,其特征在于,配置于数据中心中,所述数据中心的私有存储空间用于存储数据,所述装置包括:
读取请求接收模块,用于接收可信计算装置的数据读取请求;所述数据读取请求基于数据使用方发起的数据分析请求生成;所述数据分析请求中包括分析模型,所述分析模型基于区块链网络中存储的各数据中心发布的数据描述信息,以及所述可信计算装置提供的分析算法确定;所述数据描述信息用于供所述数据使用方查询数据内容和数据存储位置;
数据传输模块,用于根据所述数据读取请求,将数据从所述私有存储空间中传输给所述可信计算装置的可信存储空间;其中,所述数据用于供所述可信计算装置中运行的分析算法进行分析处理,以产生处理结果,存储于所述可信存储空间,并反馈给数据使用方,同时计算所述处理结果的数据指纹,上传至区块链网络中进行存储;其中,所述区块链网络中存储的处理结果的数据指纹,用于供可信计算装置在对后续获取的其他数据使用方发起的数据分析请求处理的过程中,对处理结果的有效性进行验证。
16.一种可信计算装置,其特征在于,包括:
一个或多个处理器;
一个或多个存储器,作为可信存储空间,用于存储一个或多个程序,其中,所述处理器和所述存储器基于可信计算技术实现;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的去中心化的数据处理方法。
17.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求11-13中任一项所述的去中心化的数据处理方法。
18.一种去中心化的数据处理系统,其特征在于,包括:
多个数据中心,每个所述数据中心的私有存储空间用于存储数据;
一个或多个可信计算装置,所述可信计算装置采用权利要求16所述的可信计算装置。
19.根据权利要求18所述的系统,其特征在于,还包括:
区块链网络,用于存储数据的数据指纹,供所述数据中心和所述可信计算装置查询。
20.根据权利要求18所述的系统,其特征在于,
所述数据中心部署于独立物理设备中;
所述可信计算装置部署于任意一个或多个所述数据中心的物理设备中,或所述可信计算装置独立于所述数据中心部署于其他物理设备中。
21.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-10中任一所述的去中心化的数据处理方法,或者实现权利要求11-13中任一项所述的去中心化的数据处理方法。
CN201910357686.2A 2019-04-29 2019-04-29 数据处理方法、装置、系统、可信计算装置、设备和介质 Active CN110083610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910357686.2A CN110083610B (zh) 2019-04-29 2019-04-29 数据处理方法、装置、系统、可信计算装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910357686.2A CN110083610B (zh) 2019-04-29 2019-04-29 数据处理方法、装置、系统、可信计算装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110083610A CN110083610A (zh) 2019-08-02
CN110083610B true CN110083610B (zh) 2022-11-04

Family

ID=67417846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910357686.2A Active CN110083610B (zh) 2019-04-29 2019-04-29 数据处理方法、装置、系统、可信计算装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110083610B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539033B (zh) * 2020-07-08 2020-10-09 南京金宁汇科技有限公司 一种在区块链中实现数据计算可信的方法及系统
CN111737368B (zh) 2020-07-24 2020-12-18 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质
CN111814172A (zh) 2020-08-28 2020-10-23 支付宝(杭州)信息技术有限公司 一种数据授权信息的获取方法、装置及设备
CN111741036B (zh) 2020-08-28 2020-12-18 支付宝(杭州)信息技术有限公司 一种可信数据传输方法、装置及设备
CN113657960A (zh) 2020-08-28 2021-11-16 支付宝(杭州)信息技术有限公司 一种基于可信资产数据的匹配方法、装置及设备
CN111818094B (zh) 2020-08-28 2021-01-05 支付宝(杭州)信息技术有限公司 一种身份注册方法、装置及设备
CN115033919A (zh) 2020-09-04 2022-09-09 支付宝(杭州)信息技术有限公司 一种基于可信设备的数据获取方法、装置及设备
CN113434849A (zh) 2020-09-04 2021-09-24 支付宝(杭州)信息技术有限公司 一种基于可信硬件的数据管理方法、装置及设备
CN111814196B (zh) 2020-09-04 2021-01-05 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN111932426B (zh) 2020-09-15 2021-01-26 支付宝(杭州)信息技术有限公司 一种基于可信硬件的身份管理方法、装置及设备
CN113255005A (zh) 2020-09-15 2021-08-13 支付宝(杭州)信息技术有限公司 一种基于区块链的数据资产流转方法、装置及设备
CN111930846B (zh) 2020-09-15 2021-02-23 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN112527787B (zh) * 2020-12-18 2024-03-15 深圳市洞见智慧科技有限公司 一种安全可靠的多方数据去重系统、方法及装置
CN113609096A (zh) * 2021-07-19 2021-11-05 北京智思迪科技有限公司 一种数据处理方法及装置
CN113312272B (zh) * 2021-07-26 2022-07-01 中科三清科技有限公司 分析算法程序数据的方法及装置
CN113709150A (zh) * 2021-08-26 2021-11-26 四川启睿克科技有限公司 一种数据所有者数据共享使用系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122535B2 (en) * 2011-11-22 2015-09-01 Netapp, Inc. Optimizing distributed data analytics for shared storage
CN106203164B (zh) * 2016-07-01 2017-10-27 上海宽惠网络科技股份有限公司 基于可信计算和云计算的信息安全大数据资源管理系统
CN107273410B (zh) * 2017-05-03 2020-07-07 上海点融信息科技有限责任公司 基于区块链的分布式存储
CN107193490B (zh) * 2017-05-16 2020-04-17 北京中星仝创科技有限公司 一种基于区块链的分布式数据存储系统及方法
CN109146635A (zh) * 2018-08-24 2019-01-04 华东师范大学 基于区块链的地理大数据交换和交易系统及方法
CN109522363B (zh) * 2018-10-18 2021-02-05 上海达家迎信息科技有限公司 基于区块链的云平台同步方法、系统、设备及存储介质
CN109660358B (zh) * 2019-01-08 2022-04-08 余炀 一种基于区块链及安全执行环境的数据流通方法

Also Published As

Publication number Publication date
CN110083610A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110083610B (zh) 数据处理方法、装置、系统、可信计算装置、设备和介质
US11531732B2 (en) Systems and methods for providing identity assurance for decentralized applications
CN108810006B (zh) 资源访问方法、装置、设备及存储介质
US11178143B2 (en) System, method and apparatus for device authentication
US11381385B2 (en) Data processing method and apparatus for blockchain, and storage medium
JP6547079B1 (ja) 登録・認可方法、装置及びシステム
CN108923908B (zh) 授权处理方法、装置、设备及存储介质
CN103098070B (zh) 用于监视网络服务中数据位置的方法、装置和系统
US8997198B1 (en) Techniques for securing a centralized metadata distributed filesystem
US10270757B2 (en) Managing exchanges of sensitive data
CN110535648B (zh) 电子凭证生成及验证和密钥控制方法、装置、系统和介质
US20210243037A1 (en) Method for information processing in digital asset certificate inheritance transfer, and related device
CN110992027A (zh) 在区块链中实现隐私保护的高效交易方法及装置
CN111291339B (zh) 一种区块链数据的处理方法、装置、设备及存储介质
CN110084600B (zh) 决议事务请求的处理、验证方法、装置、设备及介质
CN108073823B (zh) 数据处理方法、装置及系统
CN110324416B (zh) 下载路径跟踪方法、装置、服务器、终端及介质
CN110070300B (zh) 数据审核和获取方法、装置、系统、设备及介质
CN109981680B (zh) 一种访问控制实现方法、装置、计算机设备及存储介质
US11604880B2 (en) Systems and methods to cryptographically verify information handling system configuration
JP2023520632A (ja) データの保護のためのノイズ・トランザクション
WO2022116761A1 (en) Self auditing blockchain
CN109828832B (zh) 基于区块链的数据流通方法、装置、设备和介质
CN114172663B (zh) 基于区块链的业务确权方法及装置、存储介质和电子设备
CN112184150A (zh) 数据共享交换中的多方审批方法、装置、系统和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant