CN110751485A - 一种数据处理方法及设备 - Google Patents

一种数据处理方法及设备 Download PDF

Info

Publication number
CN110751485A
CN110751485A CN201911033903.9A CN201911033903A CN110751485A CN 110751485 A CN110751485 A CN 110751485A CN 201911033903 A CN201911033903 A CN 201911033903A CN 110751485 A CN110751485 A CN 110751485A
Authority
CN
China
Prior art keywords
data
node
target
processing
ledger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911033903.9A
Other languages
English (en)
Other versions
CN110751485B (zh
Inventor
汪东艳
李茂材
王宗友
屠海涛
刘区城
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110854301.0A priority Critical patent/CN113506110A/zh
Priority to CN201911033903.9A priority patent/CN110751485B/zh
Publication of CN110751485A publication Critical patent/CN110751485A/zh
Priority to PCT/CN2020/117378 priority patent/WO2021082824A1/zh
Application granted granted Critical
Publication of CN110751485B publication Critical patent/CN110751485B/zh
Priority to US17/521,478 priority patent/US20220067730A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/389Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/383Anonymous user system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405Establishing or using transaction specific rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2220/00Business processing using cryptography

Abstract

本申请实施例提供一种数据处理方法、装置、设备及计算机存储介质,其中的方法包括:向数据节点发送数据获取请求;接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;采用所述操作账本对所述目标数据进行审计校验;若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。本申请实施例能够提升数据处理过程的安全性。

Description

一种数据处理方法及设备
技术领域
本发明涉及互联网技术领域,具体涉及数据处理技术领域,尤其涉及一种数据处理方法及一种数据处理设备。
背景技术
许多互联网应用场景(例如保险购买场景、银行借贷场景、广告投放场景等)都会涉及数据处理过程,由于被处理的数据中通常会包含一些隐私数据,例如用户的存款数据(如具体的存款金额)、用户的某些隐私社交数据(如个人住址、某些隐私图片)等等,因此数据处理过程需要设置保护机制,来保护隐私数据在处理过程中不被泄露。
现有技术普遍使用的保护机制是事前代码审核机制,具体是在执行数据处理过程之前,通过人工或借助于专业工具审核数据处理过程所使用的所有代码程序是否可靠,如果可靠就允许使用这些代码程序执行数据处理过程。然而,这种事前代码审核机制对数据的保护力度是有限的,很难预测代码程序在实际的执行过程中的安全性。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及计算机存储介质,能够提升保证数据处理过程的安全性。
第一方面,本申请实施例提供一种数据处理方法,包括:
向数据节点发送数据获取请求;
接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;
采用所述操作账本对所述目标数据进行审计校验;
若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。
第二方面,本申请实施例还提供另一种数据处理方法,包括:
接收处理节点发送的数据获取请求;
根据所述数据获取请求对源数据执行预处理操作,生成目标数据;
采用操作账本记录所述预处理操作的操作信息;
向所述处理节点返回所述目标数据和所述操作账本,以使得所述处理节点采用所述操作账本对所述目标数据进行审计校验,并在所述目标数据通过所述审计校验时,将所述目标数据添加至聚合数据集中。
第三方面,本申请实施例提供一种数据处理装置,包括:
发送单元,用于向数据节点发送数据获取请求;
接收单元,用于接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;
审计校验单元,用于采用所述操作账本对所述目标数据进行审计校验;
处理单元,用于若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。
第四方面,本申请实施例还提供另一种数据处理装置,包括:
接收单元,用于接收处理节点发送的数据获取请求;
预处理操作单元,用于根据所述数据获取请求对源数据执行预处理操作,生成目标数据;
记录单元,用于采用操作账本记录所述预处理操作的操作信息;
发送单元,用于向所述处理节点返回所述目标数据和所述操作账本,以使得所述处理节点采用所述操作账本对所述目标数据进行审计校验,并在所述目标数据通过所述审计校验时,将所述目标数据添加至聚合数据集中。
第五方面,本申请实施例提供一种数据处理设备,包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行上述第一方面的数据处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行上述第二方面的数据处理方法。
第六方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条指令适于由处理器加载并执行上述第一方面的数据处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行上述第二方面的数据处理方法。
本申请实施例中,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,该目标数据是对源数据进行预处理操作生成的数据;通过该审核校验过程可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被成功添加至聚合数据集中以被后续过程所使用,与此同时还不会泄露源数据中的隐私数据;同时也可保障聚合数据集中的所有数据都是可靠数据,从而有利于保证使用聚合数据集的后续过程的安全性,从而提升数据处理过程的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的区块链基础架构图;
图2示出了本申请一个示例性实施例提供的区块链的结构示意图;
图3示出了本申请一个示例性实施例提供的区块链网络的架构示意图;
图4示出了本申请一个示例性实施例提供的一种典型的数据处理系统的架构示意图;
图5示出了本申请一个示例性实施例提供的一种数据处理方法的流程图;
图6示出了本申请一个示例性实施例提供的一种操作账本的存储示意图;
图7a示出了本申请一个示例性实施例提供的一种审计智能合约的示意图;
图7b示出了本申请一个示例性实施例提供的另一种审计智能合约的示意图;
图8示出了本申请一个示例性实施例提供的一种数据处理方法的流程图;
图9示出了本申请一个示例性实施例提供的一种数据处理方法的数据流向示意图;
图10示出了本申请一个示例性实施例提供的一种数据处理装置的结构示意图;
图11示出了本申请一个示例性实施例提供的另一种数据处理装置的结构示意图;
图12示出了本申请一个示例性实施例提供的一种数据处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例中涉及区块链。区块链是指一套去中心化、具备分布式存储特点的基础架构,具体是一种按照时间顺序将数据区块用类似链表的方式组成的数据结构,能够安全存储有先后关系的、能在系统内进行验证的数据,并以密码学方式保证数据不可篡改和不可伪造。
图1示出了本申请一个示例性实施例提供的区块链基础架构图;如图1所示,区块链基础架构按照由底至上的顺序主要包括101-105共5个层级结构。其中:
(1)信息数据和默克尔(Merkle)树位于底层101。此处的信息数据是指请求发布至区块链网络,但尚未形成区块的原始数据,例如可以是借贷数据、交易数据等等。这些原始数据需要进一步加工(例如经过区块链网络中各节点的验证、进行散列运算等)才能被写入区块内。Merkle树是区块链技术的重要组成部分,区块链不会直接保存明文的原始数据,原始数据需要被执行散列运算,以散列值的方式被存储。默克尔树就用于将多个原始数据经散列运算形成的散列值按照二叉树结构组织起来,保存在区块的块体中。
(2)区块位于层级102。区块即数据块,底层101的信息数据经过进一步加工之后被写入至层级102中的区块内。多个区块按序连接成链式结构,即形成区块链。图2示出了本申请一个示例性实施例提供的区块链的结构示意图;如图2所示,区块201、区块202和区块203按序连接成链式结构。其中,区块202分为区块头和区块体两部分,区块头包含前一区块201的摘要值、本区块202的摘要值及本区块的默克尔(Merkle)根。区块体包含本区块202的完整数据,并以Merkle树的形式组织在一起。
(3)区块链所遵循的协议与机制位于层级103。这些协议可包括:P2P(Peer-to-Peer,对等式网络)协议;机制可包括但不限于:广播机制、共识机制(包括PoW(Proof OfWork,工作量证明)机制、POS(Proof Of Stake,权益证明)机制等核心机制)。
(4)区块链网络位于层级104。区块链网络由多个节点组成;可作为节点的设备可包括但不限于:PC(Personal Computer,个人计算机)、服务器、用于比特币挖矿设计的矿机、智能手机、平板电脑、移动计算机等等。图3示出了本申请一个示例性实施例提供的区块链网络的架构示意图;图中以7个节点为例进行说明,区块链网络中各节点以P2P方式组网,节点与节点之间按照P2P协议相互通信;各节点共同遵循广播机制、共识机制(包括PoW机制、POS机制等核心机制),共同保证区块链上的数据的不可篡改、不可伪造性,同时实现区块链的去中心化、去信任化等特性。
(5)智能合约位于上层105。智能合约是一组情景——应对型的程序化规则和逻辑,是部署在区块链上的去中心化、可信息共享的程序代码。签署合约的各参与方就合约内容达成一致,以智能合约的形式部署在区块链中,即可不依赖任何中心机构自动化地代表各签署方执行合约。
由于区块链具备去中心化、分布式存储、数据的不可篡改、不可伪造等特性,越来越多的业务活动(例如借贷活动、金融交易活动)基于区块链技术展开,以利用区块链的特性来保证业务活动的公平性和公开性。
本申请实施例中涉及聚合计算。所谓聚合计算是指将多个数据聚合为一个数据的计算过程。许多互联网应用场景的数据处理过程中,通常会涉及聚合计算的过程;例如:在保险购买场景中,对用户应缴保费的核定是以该用户的保险基础数据为依据的,而该用户的保险基础数据则是通过该用户的多个历史行为数据进行聚合计算得到的,此处的多个历史行为数据可以是该用户在设定的历史时间段内在多个医疗机构的历史诊疗数据,等等。再如:在银行借贷场景中,对用户允许的借贷金额的评定是以该用户的借贷资质评估数据为依据的,而该用户的借贷资质评估数据是对该用户的多个历史资产数据进行聚合计算得到的,此处的多个历史资产数据可以是该用户在多个银行的历史存款数据或历史贷款数据。再如:在广告投放场景中,决定为用户投放什么类型的广告是以该用户的兴趣数据为依据的,而该用户的兴趣数据则是通过对该用户的多个历史社交数据进行聚合计算得到的,此处的多个历史社交数据可以是该用户在多个社交平台中的历史社交数据。
图4示出了本申请一个示例性实施例提供的一种典型的数据处理系统的架构示意图;如图4所示,该数据处理系统包括处理节点402,与所述处理节点402相连接的多个数据节点401,以及与所述处理节点相连接的业务节点403。其中:
数据节点401是指能够提供适于数据处理过程(如聚合计算过程)所使用的目标数据的设备,具体实现中,该数据节点可以包括但不限于:PC(PersonalComputer,个人计算机)、PDA(平板电脑)、手机、智能可穿戴设备、服务器等设备。在一种实施方式中,数据节点401可以是源数据的拥有方,且该数据节点401具备预处理能力,能够对源数据进行预处理操作得到目标数据,并将目标数据提供给聚合计算过程。在另一种实施方式中,数据节点401可以是独立于源数据的拥有方的一个设备,该数据节点401能够从源数据的拥有方获得源数据,并对该源数据进行预处理操作得到目标数据。此处,源数据的拥有方可以是存储源数据的设备,例如:源数据为用户的历史诊疗数据,该源数据的拥有方可以是该用户历史求诊过的各医疗机构的、用于存储用户的历史诊疗数据的服务设备;再如:源数据为用户的历史存款数据或历史贷款数据,那么该源数据的拥有方可以是该用户历史光顾过的各银行的、用于存储用户的历史存款数据或历史贷数据的服务设备;再如:源数据为用户的历史社交数据,则该源数据的拥有方可以是该用户历史访问过的各社交平台系统的、用于存储该用户的历史社交数据的服务设备。
业务节点403是发起数据处理请求,以请求获得聚合后的响应数据的请求设备;该业务节点403可以包括但不限于:PC、PDA(平板电脑)、手机、智能可穿戴设备、服务器等设备;例如:保险购买场景中,保险公司从业人员基于核定用户的应缴保费的需求而通过终端设备向处理节点发起数据处理请求,以请求处理节点402对该用户在设定的历史时间段内在多个医疗机构的历史诊疗数据进行聚合计算得到该用户的保险基础数据,那么该保险公司从业人员所使用的终端设备即为业务节点403。再如:在银行借贷场景中,银行工作人员基于对用户允许的借贷金额的评定的需求而使用终端设备发起数据处理请求,以请求处理节点402对该用户的多个历史资产数据进行聚合计算得到该用户的借贷资质评估数据,那么该保险公司从业人员所使用的终端设备即为业务节点403。再如:在广告投放场景中,广告商基于决定为用户投放什么类型的广告的需求而使用广告商的服务器发起数据处理请求,以请求对该用户的多个历史社交数据进行聚合计算得到该用户的兴趣数据,那么广告商所使用的服务器即为业务节点403。
处理节点402可以用于执行数据处理(如智能计算)的过程,该业务节点402可以包括但不限于:PC、PDA(平板电脑)、手机、智能可穿戴设备、服务器等设备。具体地,处理节点402可以接收业务节点403的数据处理请求,根据该数据处理请求确定相关的多个数据节点401,触发该多个数据节点401提供用于聚合计算的目标数据;再对这些目标数据进行聚合计算得到业务节点需求的响应数据;最后再将响应数据返回给业务节点403。例如:在保险购买场景中,处理节点402接收业务节点403(保险公司从业人员所使用的终端设备)发送的数据处理请求,分析该数据处理请求可确定多个医疗机构的服务设备为数据节点,并触发这些数据节点401提供该用户的历史诊疗数据,并对这些历史诊疗数据进行聚合计算得到该用户的保险基础数据返回给业务节点403。再如:在银行借贷场景中,处理节点402接收业务节点403(银行工作人员所使用的终端设备)发送的数据处理请求,分析该数据处理请求可确定多个银行的服务设备为数据节点401,触发这些数据节点401提供该用户的历史存款数据或历史贷款数据,并对这些历史存款数据或历史贷款数据进行聚合计算得到该用户的借贷资质评估数据返回给业务节点403。再如:在广告投放场景中,处理节点401接收业务节点403(广告商所使用的服务器)发送的数据处理请求,分析该数据处理请求可确定多个社交平台的服务设备为数据节点401,触发这些数据节点401提供该用户的历史社交数据,并对这些历史社交数据进行聚合计算得到该用户的兴趣数据返回给业务节点403。需要说明的是,处理节点402可以是一个独立的设备,也可以是多个设备的组合;具体地,处理节点402所执行的数据处理过程可被划分为多个子过程,例如依据上述描述,处理节点402所执行的数据处理过程可以包括聚合计算过程、对业务节点发送的数据处理请求的接收和响应过程;那么,如果一个设备同时具备聚合计算能力及与业务节点之间的通信能力,那么这个设备可以作为处理节点402独立执行数据处理流程。当然,如果一个设备仅具备聚合计算能力,另一个设备具备与业务节点之间的通信能力,那么这两个设备的组合可作为一个处理节点402,该两个设备协同执行数据处理流程,例如:具备通信能力的设备接收业务节点发送的数据处理请求,并传输给具备聚合计算能力的设备,触发具备聚合计算能力的设备进行聚合计算,当具备聚合计算能力的设备完成聚合计算得到响应数据后传输回具备通信能力的设备,由具备通信能力的设备将响应数据返回给业务节点。
在数据处理过程中,聚合计算所需的目标数据来自于源数据,这些源数据中通常会包含隐私数据,该隐私数据例如包括:用户的诊疗结果(如该用户被确诊所患疾病的详情信息)、用户的存款数据(如具体的存款金额)、用户的某些隐私社交数据(如个人住址、某些隐私图片)等。因此,数据处理过程需要设置保护机制,来保护隐私数据在处理过程中不被泄露。本申请的相关技术中提及,现有技术普遍使用的保护机制是事前代码审核机制,具体是:在执行数据处理过程之前,要求获取数据处理过程所使用的所有代码程序,包括对源数据进行预处理操作的代码程序,聚合计算的代码程序,以及数据处理过程中所涉及的其他操作(如请求操作、接口操作等)的代码程序;人工或借助于专业工具审核这些代码程序是否可靠,如果可靠就证实数据处理过程不会窃取隐私数据,这样才会允许使用这些代码程序执行数据处理过程。然而,上述现有技术这种事前代码审核机制对数据的保护力度是有限的,例如:如果代码程序中存在部分代码使用微码(一种不开源的代码),那么审核过程中很难确认这些代码程序是否有后门程序,也很难预测这些代码程序在实际的执行过程中会否出现异常操作,这样就可能给数据处理过程留下安全隐患;另外,这些代码程序也有需要保护的需求,实际应用中不可能完全被开放用于审核,那么就无法保护数据处理过程的安全性。
为了提升数据处理过程中的安全性,本申请实施例提出一种数据处理方案,该方案主要包括如下几个技术改进点:①在执行数据处理过程之前不再进行事前代码审核操作,而直接执行数据处理过程,该数据处理过程包括两个子过程,分别为预处理过程和聚合计算过程,该两个子过程分别进行,但在这两个子过程中之间引入安全审计的过程;②预处理过程由数据节点执行,用于对源数据进行预处理操作得到目标数据,该预处理操作只有保证是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行,才能保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;③提出操作账本的概念,采用操作账本记录预处理操作的操作信息;此处的操作账本是一种矢量账本,矢量账本与常规的分布式账本的差异在于:首先,虽然分布式账本与矢量账本均用于记录事实数据,但是分布式账本记录的事实数据是单一的数据;而矢量账本记录的是基于多方(操作所涉及的各方,如业务需求方、数据拥有方、数据处理方等)互相验证的数据流;例如操作账本记录的操作信息(或操作流),这些操作信息包括按照数据被操作的时间顺序依次记录的各操作方(源数据侧的实体设备、接口设备、目标数据侧的实体设备)的操作内容,任何一方对数据的篡改可能导致矢量账本的操作流不能连续,由此保障矢量账本的不可篡改特性。其次,虽然常规的分布式账本同样具有不可篡改特性,但其不可篡改特性是由大量节点备份相同的事实数据来保障的;而矢量账本的不可篡改特性是依据多个操作方之间的操作信息的相关性来保障的,即矢量账本涉及的节点之间基于操作信息的相关性而相互关联,并且节点之间可互相验证,无需通过大量节点的备份,从而在一定程度上节省了成本。另外,矢量账本的部署形态较为丰富,例如,在矢量账本形成初期,可存在矢量账本与分布式账本互联的形态,矢量账本的参考事实及参考时间可与现存的时间戳节点为基准;当越来越多的可以互相验证的数据流使用矢量账本记录时,在成本降低的推动力下,矢量账本会不断延伸,覆盖各行各业。在一定时间范围内,由于矢量账本基于时序的因果关系验证,当虚假数据被记录到矢量账本时,这些虚假数据是可以被发现和标记的,例如,矢量账本可以与大数据处理以及人工智能推理相结合,利用大数据处理、人工智能处理的方法等方法对矢量账本所记录的数据流中的虚假数据进行标记。可见,矢量账本与大数据处理以及人工智能推理的结合,将进一步强化矢量账本的不可篡改的特性。④在新增加的安全审计过程中,提出依据操作账本进行可信的审计校验的方案,根据矢量账本记录的预处理操作的操作信息,可追溯预处理操作的每个操作环节,并对这些操作环节进行审计校验;如果发现操作账本中记录有违反审计规则的操作发生,则可认定预处理操作为非法操作,进而对预处理操作得到目标数据进行拦截,不准许该目标数据参与聚合计算的过程。安全审计过程将预处理过程与聚合计算过程之间进行有效衔接,通过安全审计过程,既可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;同时也可保障参与聚合计算过程的所有目标数据都是可靠数据,从而保证聚合计算过程的安全性,提升数据处理过程的整体安全性。⑤安全审计过程中所使用的审计规则可以通过可信的智能合约的方式被发布及执行,这样可提升安全审计过程的效率和智能性。⑥数据处理过程涉及的数据节点、处理节点、业务节点均可以是区块链网络中的节点设备,且数据处理过程中通过交易账本的形式进行交易,并提出了交易账本之间的层级关系,以及交易账本之间与操作账本之间的关联性,保障了数据处理过程的高可信度。
图5示出了本申请一个示例性实施例提供的一种数据处理方法的流程图;该方法可以由图4所示的数据节点401与处理节点402进行交互来实现;该方法可包括以下步骤S501-S509:
S501,处理节点向数据节点发送数据获取请求。
S502,数据节点接收处理节点发送的数据获取请求。
处理节点发送的数据获取请求用于触发数据节点对源数据进行预处理操作。
S503,数据节点根据所述数据获取请求对源数据执行预处理操作,生成目标数据。
预处理操作可包括以下至少一种:格式转换操作和脱敏处理操作。其中,格式转换操作用于按照聚合计算的格式要求对所述源数据的格式执行转换处理。格式转换操作的目的是将不满足或不完全满足聚合计算的格式要求的源数据,转换为完全满足聚合计算的格式要求且适于聚合计算的目标数据;例如:各个医疗机构的历史诊疗数据是按照医疗机构各自的格式策略来进行存储的,这些历史诊疗数据的格式并不一定满足聚合计算的格式要求,如源数据(即原始存储的历史诊疗数据)为自然语句格式的描述文本,那么需要转换为二进制格式的数字文本来进行聚合计算。脱敏处理操作用于对所述源数据中的隐私数据执行屏蔽处理;隐私数据即为源数据拥有方不能或不想公开的数据,例如:按照法律法规的要求,医疗机构不得对外公开患者的一些私隐(如患者用户的诊疗结果);或者医疗机构基于自身的运营需求,不想对外公开患者的一些私隐(如患者用户的诊疗费用),那么这些不能或不想公开的隐私数据则需要被执行脱敏处理操作。脱敏处理操作的目的是在不影响聚合计算的前提下,保护源数据中的隐私数据不被泄露。需要说明的是,预处理操作并不限于格式转换操作和/或脱敏处理操作,还可以包括其他操作,例如:标记化(Tokenization)处理操作。
S504,数据节点采用操作账本记录所述预处理操作的操作信息。
S505,数据节点向所述处理节点返回所述目标数据和所述操作账本。
操作账本是一种矢量账本。图6示出了本申请一个示例性实施例提供的一种操作账本的存储示意图;如图6所示,操作账本中记录的操作信息包括操作代码和操作参数;其中,所述操作代码包括以下至少一种:操作指令与操作函数;所述操作参数包括源数据、源数据的地址、目标数据的地址、目标数据及操作引起的数据变化情况。当所述源数据的地址指向源实体设备(包括但不限于:PC、PDA、手机、智能可穿戴设备、服务器等设备),所述目标数据的地址指向目标实体设备(包括但不限于:PC、PDA、手机、智能可穿戴设备、服务器等设备),并且所述源实体设备与所述目标实体设备之间通过接口互联时,所述操作信息还包括操作流;所述操作流包括:源实体设备的操作时间与操作内容,接口操作的操作时间和操作内容,目标实体设备的操作时间和操作内容。此处的操作时间可以采用时间戳进行表示。操作内容可包括但不限于以下内容:操作者的标识、被操作的数据标识、接口数据流(如被操作的数据由哪里被传输至哪里)、数据由于操作而产生的变化情况(如被操作的数据从什么格式变化为什么格式,或被操作的数据由什么值变化为什么值等等)等等。由此可见,操作账本是一种基于操作时间顺序的矢量账本。在一种实施方式中,操作信息被加密处理为收据(receipt),并存储于所述操作账本中;此处的加密处理可以基于各种加密算法实现,该加密算法可包括以下任一种:对称加密算法、非对称加密算法及哈希(HASH)算法。
S506,处理节点接收所述数据节点返回的目标数据和操作账本。
S507,处理节点采用所述操作账本对所述目标数据进行审计校验。
审计校验是以操作账本为依据来执行的。由于操作账本是一种基于操作时间顺序的矢量账本,依据操作账本中记录的预处理操作的操作信息,可追溯预处理操作的每个操作环节,那么就可以采用相匹配的审计规则来对这些操作环节进行审计校验。在一种实施例中,步骤S507具体包括如下子步骤s1-s3:
s1,处理节点获取与所述操作账本相匹配的目标审计规则;
s2,处理节点审核所述操作账本中的操作信息是否符合所述目标审计规则;
s3,若符合,则处理节点确认所述目标数据通过审计校验;若不符合,则处理节点确认所述目标数据未通过所述审核校验。
其中,目标审计规则是与操作账本相匹配的,并且是根据实际情况预先制定的、数据拥有方(如数据节点)与处理节点共同认可的规则。所谓相匹配是指目标审计规则是依据操作账本中所记录的操作所对应的属性(包括但不限于类型、领域)来制定的,适用于对操作账本中所记录的操作进行审计校验;例如:针对用户的历史诊疗数据的预处理操作,其匹配的审计规则可以根据聚合计算的格式要求、医疗机构的隐私要求及医疗相关的法律法规来制定。再如:针对用户的历史存款数据和历史贷款数据的预处理操作,其匹配的审计规则可以根据聚合计算的格式要求、银行或金融机构的隐私要求及金融相关的法律法规来制定。再如:针对用户的历史社交数据的预处理操作,其匹配的审计规则可以根据聚合计算的格式要求、社交平台的隐私要求及互联网相关的法律法规来制定。如果发现操作账本中记录有违反审计规则的操作发生,则可认定预处理操作为非法操作,进而确认目标数据未通过审计校验,该目标数据不适于参与聚合计算过程。如果发现操作账本中记录的所有操作均符合审计规则,则可认定预处理操作为合法操作,进而确认目标数据通过审计校验,该目标数据可以参与聚合计算过程。
在另一个实施例中,目标审计规则可以审计智能合约的形式被发布至区块链网络中;那么,子步骤s2具体包括如下分步骤s21-s22:
s21,调用所述区块链网络中的所述审计智能合约。
s22,运行所述审计智能合约中声明的与所述目标审计规则对应的执行程序,审核所述操作账本中的操作信息是否符合所述目标审计规则。
在一种实施方式中,一个审计智能合约中仅包含一个审计规则,一个审计规则与一个操作账本相匹配;图7a示出了本申请一个示例性实施例提供的一种审计智能合约的示意图;参见图7a所示,操作账本一与审计规则一相匹配,而审计规则一对应审计智能合约一;操作账本二与审计规则二相匹配,而审计规则二对应审计智能合约二,以此类推。那么,针对多个操作账本,则需要分别调用多个审计智能合约来执行审计校验。
在另一种实施方式中,一个审计智能合约中可包括多个审计规则,每个审计规则与一个操作账本相匹配;图7b示出了本申请一个示例性实施例提供的另一种审计智能合约的示意图;参见图7b所示,操作账本一与审计规则一相匹配,操作账本二与审计规则二相匹配,而审计规则一和审计规则二共同对应审计智能合约一。那么,针对多个操作账本,可以调用同一个审计智能合约来执行审计校验。
可以理解的是,审计规则是根据实际情况预先制定的、数据拥有方(如数据节点)与处理节点共同认可的规则;一个审计规则通常包含多条细则,这些细则可包括但不限于:数据拥有方(如数据节点)与处理节点共同认可的隐私保护细则,数据拥有方(如数据节点)与处理节点共同认可的数据质量细则,数据拥有方(如数据节点)与处理节点共同认可的数据格式细则等等。在一种可行的实现中,这些细则可以被存储在同一设备(例如存储在处理节点中),也可以被分布存储于不同的设备中;并且在使用时可以根据需要对多条细则进行灵活组装得到审计规则,例如:审计规则一包括细则1和细则2,则将细则1和细则2组装为审计规则一;审计规则二包括细则1和细则3,将细则1和细则3组装为审计规则二;这样就可以提高细则(如上述的细则1)的复用性。
S508,若所述目标数据通过所述审计校验,处理节点则将所述目标数据添加至聚合数据集中。
如前述,目标数据通过审计校验,表示操作账本中记录的所有操作均符合审计规则,预处理操作为合法操作,该目标数据可以参与聚合计算过程;因此可以将该目标数据添加至聚合数据集中。此处,聚合数据集中包括多个通过审核校验的数据,也就是说,聚合数据集中的所有数据均是通过审计校验的数据。聚合数据集是聚合计算过程的基础,用于为聚合计算过程提供所需的数据。
在一种可行的实施方式中,所述方法还可包括步骤S505:若所述目标数据未通过所述审计校验,则拦截所述目标数据。如前述,如果目标数据未通过审核校验,说明操作账本中记录有违反审计规则的操作发生,则认定预处理操作为非法操作,如果该目标数据被用于参与聚合计算过程,则可能导致聚合计算过程存在安全风险,因此该目标数据不适于参与聚合计算过程,可以对目标数据进行拦截,禁止该目标数据加入至聚合数据集,从而禁止该目标数据参与聚合计算过程。
本实施例中,处理节点可以是一个独立的设备,也可以是多个设备的组合;具体地,如果一个设备同时具备数据存储能力、审计校验能力、聚合计算能力等,那么该设备可独立作为处理节点,数据节点发送的目标数据和操作账本可一并发送至设备,由该设备独立执行所执行对目标数据的存储过程、审计校验过程和聚合计算过程。当然可以理解的是,如果一个设备具备数据存储能力,另一个设备具备聚合计算能力,再一个设备具备审计校验过程,那么这三个设备的组合可作为一个处理节点402,那么,数据节点向处理节点402返回的目标数据将被发送给具备数据存储能力的设备,数据节点向处理节点402返回的操作账本将被发送给具备审计校验能力的设备,而聚合计算的过程则能具备聚合计算能力的设备来执行,三个设备协同完成数据处理流程。
本申请实施例中,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,这样既可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;同时也可保障参与聚合计算过程的所有数据都是可靠数据,从而有利于保证后续执行的聚合计算过程的安全性,从而提升了整个数据处理过程的安全性。
图8示出了本申请一个示例性实施例提供的一种数据处理方法的流程图;该方法可以由图4所示的数据节点401、处理节点402和业务节点403交互来实现;该方法可包括以下步骤S801-S812:
S801,业务节点向处理节点发送数据处理请求。
S802,处理节点接收业务节点发送的数据处理请求。
业务节点的数据处理请求可以是在某个数据处理交易平台上发起的。此处的数据处理交易平台可以是以下任一平台:网站、APP(Application,应用程序)、接入到APP的一些小程序或子程序。业务需求方(如保险公司从业人员、银行工作人员或广告商)通过业务节点进入到数据处理交易平台后,可以在该数据处理交易平台的服务页面中执行数据处理请求操作(如点击数据处理请求按键或选择数据处理请求选项),那么业务节点则会向处理节点发送数据处理请求。
S803,处理节点向数据节点发送数据获取请求。
S804,数据节点接收处理节点发送的数据获取请求。
S805,数据节点根据所述数据获取请求对源数据执行预处理操作,生成目标数据。
S806,数据节点采用操作账本记录所述预处理操作的操作信息。
S807,数据节点向所述处理节点返回所述目标数据和所述操作账本。
S808,处理节点接收所述数据节点返回的目标数据和操作账本。
S809,处理节点采用所述操作账本对所述目标数据进行审计校验。
S810,若所述目标数据通过所述审计校验,则处理节点将所述目标数据添加至聚合数据集中。所述聚合数据集中包含多个通过审计校验的数据。
S811,处理节点对所述聚合数据集中的多个数据进行聚合计算,得到响应数据。
聚合计算可以基于聚合算法来实现,此处的聚合算法可包括但不限于:聚类算法、合并算法、最大值最小值求取算法、平均值计算法等等,本申请实施例并不对其进行限定。响应数据是聚合计算的结果,其类型依据业务节点的实际需求而定,例如:在保险购买场景中,响应数据是指用户的保险基础数据;在银行借贷场景中,响应数据是用户的借贷资质评估数据;而在广告投放场景中,响应数据是用户的兴趣数据。
S812,处理节点向所述业务节点发送所述响应数据。
图9示出了本申请一个示例性实施例提供的一种数据处理方法的数据流向示意图。在一个实施例中,数据处理过程中的各节点可共同维护同一个操作账本。具体地,操作账本可以由数据节点发送至处理节点,那么操作账本除了用于记录数据节点所执行的预处理操作的操作信息之外,还可以用于记录处理节点所执行的其他操作的操作信息,例如:操作账本还可以用于记录处理节点所执行的安全审计操作的操作信息;这样利用操作账本还可以验证安全审计过程的合法性。再如:操作账本还可以记录处理节点所执行的聚合计算操作的操作信息,这样利用操作账本追溯验证聚合计算操作的合法性,如验证聚合计算操作使用了哪些数据,或验证聚合计算采用了什么样的算法或计算模型等等。操作账本还可以由处理节点发送至业务节点,这样操作账本还可以用于记录业务节点的操作信息;即操作账本可以在数据处理过程所涉及的各节点(业务节点、数据节点、处理节点)之间进行交互,并用于记录各节点分别在数据处理过程中所执行的操作的操作信息,这样,采用操作账本可以对数据处理过程所涉及的所有操作进行追溯验证。另外,各节点所维护的该同一个操作账本是一种矢量账本,在该矢量账本中可以采用矢量块(Vectorized Block)来存储各节点的操作信息,例如:操作账本中包含矢量块一、矢量块二、矢量块三、矢量块四,其中,矢量块一用于存储数据节点执行的预处理操作的操作信息(包括操作时间、操作数据流等等),矢量块二用于存储处理节点执行的安全计算操作的操作信息,矢量块三用于存储处理节点执行的聚合计算操作的操作信息,矢量块四用于存储业务节点所执行的操作的操作信息,各个矢量块按照各自所记录的操作时间相关联且呈现连接性。可见,矢量账本是矢量块的集合,也即是由连续地、可互相验证的多个节点的操作数据流所组成的账本数据集合。
在另一个实施例中,数据处理过程中的各节点可以各自维护各自的操作账本,但各节点的操作账本之间相互关联。具体地,数据节点可以维护一个操作账本,该操作账本中用于记录数据节点执行预处理操作的操作信息。处理节点也可以维护一个操作账本,该操作账本用于记录处理节点执行的安全审计操作的操作信息和聚合计算操作的操作信息。业务节点也可以维护一个操作账本,该操作账本可用于记录业务节点后续对响应数据的一系列处理(例如发送给其他设备的处理等等)。由于各节点的操作账本服务于同一数据处理过程,这些操作账本之间相互关联;这样,各节点的操作账本及各节点的操作账本之间的关联关系本身也是一个矢量账本,通过各节点的操作账本既可以验证数据处理过程中所有操作的合法性,同时各节点的操作账本之间也可以相互验证。
一个交易通常是从一个请求(request)开始,到一个响应(response)结束;简化而言,一个交易可由一个请求与一个响应构成。本实施例中,业务节点发送数据处理请求的目的在于获得响应数据,那么数据处理请求与响应数据构成一个交易,可以将数据处理请求和响应数据均记录在二级交易账本中。同理,处理节点向数据节点发送数据获取请求的目的在于获得目标数据,那么,数据获取请求和目标数据构成一个交易,可以将数据获取请求和目标数据均记录在一级交易账本中。其中,一级交易账本和二级交易账本用于体现交易账本之间的层级关系,此层级关系以聚合计算过程为参考依据,一级交易账本用于记录聚合计算过程的上游交易,而二级交易账本用于记录聚合计算过程的下游交易。具体地:由于数据处理请求和响应数据构成的交易是在聚合计算过程结束之后才完成的,该交易属于聚合计算过程的下游交易,因此被记录在二级交易账本中;而数据获取请求和目标数据构成的交易是在聚合计算过程开始之前完成的,该交易属于聚合计算过程的上游交易,因此被记录在一级交易账本中。
在一种实施方式中,本申请实施例可通过账本的形式进行交易,如图9所示,具体地:处理节点发送的数据获取请求是通过一级交易账本发送至数据节点的,即处理节点将一级交易账本(该一级交易账本中记录了数据获取请求)发送至数据节点;目标数据是所述数据节点通过所述一级交易账本返回给处理节点的,即数据节点向处理节点发送一级交易账本(该一级交易账本中同时记录了数据获取请求和目标数据),处理节点采用数据节点发送的一级交易账本对处理节点本地存储的一级交易账本进行更新,即完成交易后数据节点侧的一级交易账本记录的内容与处理节点侧的一级交易账本记录的内容一致。同理,数据处理请求是由所述业务节点通过所述二级交易账本发送给处理节点的,即业务节点将二级交易账本(该二级交易账本中记录了数据处理请求)发送至处理节点;响应数据是处理节点通过所述二级交易账本发送至所述业务节点的,即处理节点将二级交易账本(该二级交易账本中同时记录了数据处理请求和响应数据)发送至业务节点,业务节点采用处理节点发送的二级交易账本对业务节点本地存储的二级交易账本进行更新,即完成交易后业务节点侧的二级交易账本记录的内容与处理节点侧的二级交易账本记录的内容一致。可以理解的是,一级交易账本与二级交易账本之间是相关联的,具体地:一级交易账本中的数据获取请求是由于二级交易账本中的数据处理请求进行触发的,二级交易账本中的响应数据是由一级交易账本中的目标数据进行聚合计算得到的。进一步,一级交易账本和二级交易账本均与操作账本相关联;具体地:二级交易账本中的数据处理请求触发生成操作账本及一级交易账本中的目标数据,而操作账本又可作为对一级交易账本中的目标数据进行审计校验的依据,进一步,依据操作账本所执行的审计校验过程又会影响二级交易账本中的响应数据的结果。也就是说,本申请实施例的数据处理过程中所涉及的各账本之间既有层级关系,又有关联关系,宏观而言,账本之间的层级关系及关联关系本身也是一个矢量账本,那么各账本之间也可以相互验证。
在一种实施方式中,由于账本之间可以相互验证,那么当所述操作账本中存在缺失的操作信息时,可以将一级交易账本中记录的数据和/或二级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据,即通过一级交易账本中记录的数据和/或二级交易账本中记录的数据来为操作账本进行验证和补充。
在另一种实施方式中,如图9所示,数据节点可以采用专业的预处理计算引擎来对源数据进行预处理操作,处理节点可以采用专业的聚合计算引擎来对聚合数据集中的多个数据进行聚合计算。图9中的N为正整数。其中预处理计算引擎和聚合计算引擎可以由第三方服务机构,在数据处理过程被执行之前,预处理计算引擎和聚合计算引擎需要预先向处理节点进行注册,此处的注册过程需要由待注册的引擎提供该待注册的引擎的标识,此处的标识可包括但不限于该待注册的引擎的URI(User Registration Interface,用户注册界面)、identity(标识号)或其他可寻址到该引擎的标识。注册成功的预处理计算引擎才可以被用于执行预处理操作,同理,注册成功的聚合计算引擎才可以被用于执行聚合计算操作。注册机制可以保证只有注册成功的计算引擎才能被参与到数据处理过程中,从而进一步保证数据处理过程的安全性。
再一种实施方式中,数据节点、业务节点和处理节点均可以是区块链网络中的节点设备(例如图3所示的节点设备)。此处的区块链网络包括以下任一种:私有链网络、联盟链网络和公有链网络。这就相当于基于区块链网络来执行本申请实施例的数据处理过程,可以理解的是,本实施例的数据处理过程可以全部在区块链网络中执行,例如:数据节点的预处理操作、操作账本的生成过程、安全审计过程、聚合计算过程以及通过交易账本所执行的交易等均可以在区块链网络中执行;这样借助于区块链的公平性和公开性的特点,使得数据处理的全过程更为可信,进一步提升数据处理过程的安全性。当然,本实施例的数据处理过程也可以部分在区块链网络中执行,例如:数据节点的预处理操作、操作账本的生成过程可以在链下执行,安全审计过程可以在区块链网络中执行,聚合计算过程可以在链下执行,通过交易账本所执行的交易可以在区块链网络中执行。这样,既可以利用链下操作的可扩展特性,又可以利用区块链的公平公开特性,使得数据处理过程更为灵活,同时也保证数据处理过程的安全性。
本申请实施例中,首先,由业务节点的数据处理请求触发数据节点对源数据进行预处理操作得到目标数据和操作账本,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,这样可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;其次,通过审计校验的目标数据被添加至聚合数据集中,对聚合数据集中多个通过审计校验的数据进行聚合计算得到响应数据返回给业务节点。这样使得参与聚合计算过程的所有数据都是可靠数据,从而保证了聚合计算过程的安全性;从而提升了整个数据处理过程的安全性。再次,数据处理过程中通过账本的形式进行交易,多个账本之间具备层级关系和关联关系,且多个账本之间可相到验证来共同维护数据处理过程的可靠性;还可以将数据处理过程基于区块链网络实现,进一步提升了数据处理过程的安全性。
图10示出了本申请一个示例性实施例提供的一种数据处理装置的结构示意图;该数据处理装置可以是运行于处理节点402中的一个计算机程序(包括程序代码),例如可以是处理节点402中的一个应用软件;该数据处理装置可以用于执行图5或图8所示的方法中的相应步骤。请参见图10,该数据处理装置包括如下单元:
发送单元1001,用于向数据节点发送数据获取请求;
接收单元1002,用于接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;
审计校验单元1003,用于采用所述操作账本对所述目标数据进行审计校验;
处理单元1004,用于若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。
在一种实施方式中,所述处理单元1004还用于:若所述目标数据未通过所述审计校验,则拦截所述目标数据。
在另一种实施方式中,所述操作账本是一种矢量账本;所述操作信息包括操作代码和操作参数;其中,所述操作代码包括以下至少一种:操作指令与操作函数;所述操作参数包括源数据、源数据的地址、目标数据的地址、目标数据及操作引起的数据变化情况;
所述操作信息被加密处理为收据,并存储于所述操作账本中。
在另一种实施方式中,当所述源数据的地址指向源实体设备,所述目标数据的地址指向目标实体设备,并且所述源实体设备与所述目标实体设备之间通过接口互联时,所述操作信息还包括操作流;
所述操作流包括:源实体设备的操作时间与操作内容,接口操作的操作时间和操作内容,目标实体设备的操作时间和操作内容。
在另一种实施方式中,所述审计校验单元1003具体用于:
获取与所述操作账本相匹配的目标审计规则;
审核所述操作账本中的操作信息是否符合所述目标审计规则;
若符合,则确认所述目标数据通过审计校验;若不符合,则确认所述目标数据未通过所述审核校验。
在另一种实施方式中,所述目标审计规则以审计智能合约的形式被发布至区块链网络中;所述审计校验单元1003具体用于:
调用所述区块链网络中的所述审计智能合约;
运行所述审计智能合约中声明的与所述目标审计规则对应的执行程序,审核所述操作账本中的操作信息是否符合所述目标审计规则。
在另一种实施方式中,所述数据获取请求被记录在一级交易账本中;所述数据获取请求是通过所述一级交易账本发送至所述数据节点的;
所述目标数据被记录在所述一级交易账本中;所述目标数据是所述数据节点通过所述一级交易账本返回的;
所述一级交易账本与所述操作账本相关联。
在另一种实施方式中,所述聚合数据集中包括多个通过审核校验的数据;所述处理单元1004还用于:对所述聚合数据集中的多个数据进行聚合计算,得到响应数据。
在另一种实施方式中,所述接收单元1002还用于:接收业务节点发送的数据处理请求;
所述发送单元1001还用于:向所述业务节点发送所述响应数据。
在另一种实施方式中,所述数据处理请求被记录在二级交易账本中;所述数据处理请求是由所述业务节点通过所述二级交易账本发送的;
所述响应数据被记录在所述二级交易账本中;所述响应数据是通过所述二级交易账本发送至所述业务节点的;
所述二级交易账本与所述操作账本相关联。
在另一种实施方式中,所述处理单元1004还用于:
当所述操作账本中存在缺失的操作信息时,将所述一级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据。
在另一种实施方式中,所述处理单元1004还用于:
当所述操作账本中存在缺失的操作信息时,将所述二级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据。
在再一种实施方式中,所述数据节点和所述业务节点均为区块链网络中的节点设备;所述区块链网络包括以下任一种:私有链网络、联盟链网络和公有链网络。
根据本发明的一个实施例,图10所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5或图8中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图10中所示的数据处理装置,以及来实现本发明实施例的基于区块链的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中,首先,由业务节点的数据处理请求触发数据节点对源数据进行预处理操作得到目标数据和操作账本,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,这样可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;其次,通过审计校验的目标数据被添加至聚合数据集中,对聚合数据集中多个通过审计校验的数据进行聚合计算得到响应数据返回给业务节点。这样使得参与聚合计算过程的所有数据都是可靠数据,从而保证了聚合计算过程的安全性;从而提升了整个数据处理过程的安全性。再次,数据处理过程中通过账本的形式进行交易,多个账本之间具备层级关系和关联关系,且多个账本之间可相到验证来共同维护数据处理过程的可靠性;还可以将数据处理过程基于区块链网络实现,进一步提升了数据处理过程的安全性。
图11示出了本申请一个示例性实施例提供的另一种数据处理装置的结构示意图。该数据处理装置可以是运行于数据节点401中的一个计算机程序(包括程序代码),例如可以是数据节点401中的一个应用软件;该数据处理装置可以用于执行图5或图8所示的方法中的相应步骤。请参见图11,该数据处理装置包括如下单元:
接收单元1101,用于接收处理节点发送的数据获取请求;
预处理操作单元1102,用于根据所述数据获取请求对源数据执行预处理操作,生成目标数据。
记录单元1103,用于采用操作账本记录所述预处理操作的操作信息。
发送单元1104,用于向所述处理节点返回所述目标数据和所述操作账本,以使得所述处理节点采用所述操作账本对所述目标数据进行审计校验,并在所述目标数据通过所述审计校验时,将所述目标数据添加至聚合数据集中。
在一种实施方式中,所述预处理操作包括以下至少一种:格式转换操作和脱敏处理操作;所述格式转换操作用于按照聚合计算的格式要求对所述源数据的格式执行转换处理;所述脱敏处理操作用于对所述源数据中的隐私数据执行屏蔽处理。
根据本发明的一个实施例,图11所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5或图8中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图11中所示的数据处理装置,以及来实现本发明实施例的基于区块链的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,这样既可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;同时也可保障参与聚合计算过程的所有数据都是可靠数据,从而有利于保证后续执行的聚合计算过程的安全性,从而提升了整个数据处理过程的安全性。
图12示出了本申请一个示例性实施例提供的一种数据处理设备的结构示意图。请参见图12,该数据处理设备至少包括处理器1201、输入设备1202、输出设备1203以及计算机存储介质1204。其中,处理器1201、输入设备1202、输出设备1203以及计算机存储介质1204可通过总线或者其它方式连接。计算机存储介质1204可以存储在终端的存储器中,所述计算机存储介质1204用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1201用于执行所述计算机存储介质1104存储的程序指令。处理器1201(或称CPU(CentralProcessing Unit,中央处理器))是数据处理设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是数据处理设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括数据处理设备中的内置存储介质,当然也可以包括数据处理设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了数据处理设备的操作系统。并且,在该存储空间中还存放了适于被处理器1201加载并执行的一条或多条的指令,这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,该数据处理设备可以是图4所示的处理节点402;该计算机存储介质中存储有一条或多条第一指令;由处理器1201加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述数据处理方法实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器1201加载并执行如下步骤:
向数据节点发送数据获取请求;
接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;
采用所述操作账本对所述目标数据进行审计校验;
若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。
在一种实施方式中,计算机存储介质中的一条或多条第一指令由处理器1201加载并且还执行如下步骤:
若所述目标数据未通过所述审计校验,则拦截所述目标数据。
在另一种实施方式中,所述操作账本是一种矢量账本;所述操作信息包括操作代码和操作参数;其中,所述操作代码包括以下至少一种:操作指令与操作函数;所述操作参数包括源数据、源数据的地址、目标数据的地址、目标数据及操作引起的数据变化情况;
所述操作信息被加密处理为收据,并存储于所述操作账本中。
在另一种实施方式中,当所述源数据的地址指向源实体设备,所述目标数据的地址指向目标实体设备,并且所述源实体设备与所述目标实体设备之间通过接口互联时,所述操作信息还包括操作流;
所述操作流包括:源实体设备的操作时间与操作内容,接口操作的操作时间和操作内容,目标实体设备的操作时间和操作内容。
在另一种实施方式中,计算机存储介质中的一条或多条第一指令由处理器1201加载并执行所述采用所述操作账本对所述目标数据进行审计校验的步骤时,具体执行如下步骤:
获取与所述操作账本相匹配的目标审计规则;
审核所述操作账本中的操作信息是否符合所述目标审计规则;
若符合,则确认所述目标数据通过审计校验;若不符合,则确认所述目标数据未通过所述审核校验。
在另一种实施方式中,所述目标审计规则以审计智能合约的形式被发布至区块链网络中;计算机存储介质中的一条或多条第一指令由处理器1201加载并执行所述审核所述操作账本中的操作信息是否符合所述目标审计规则的步骤时,具体执行如下步骤:
调用所述区块链网络中的所述审计智能合约;
运行所述审计智能合约中声明的与所述目标审计规则对应的执行程序,审核所述操作账本中的操作信息是否符合所述目标审计规则。
在另一种实施方式中,所述数据获取请求被记录在一级交易账本中;所述数据获取请求是通过所述一级交易账本发送至所述数据节点的;
所述目标数据被记录在所述一级交易账本中;所述目标数据是所述数据节点通过所述一级交易账本返回的;
所述一级交易账本与所述操作账本相关联。
在另一种实施方式中,所述聚合数据集中包括多个通过审核校验的数据;计算机存储介质中的一条或多条第一指令由处理器1201加载并且还执行如下步骤:
对所述聚合数据集中的多个数据进行聚合计算,得到响应数据。
在另一种实施方式中,计算机存储介质中的一条或多条第一指令由处理器1201加载并执行所述向数据节点发送数据获取请求的步骤之前,还执行如下步骤:接收业务节点发送的数据处理请求;
计算机存储介质中的一条或多条第一指令由处理器1201加载并执行所述对所述聚合数据集中的多个数据进行聚合计算,得到响应数据的步骤之后,还执行如下步骤:向所述业务节点发送所述响应数据。
在另一种实施方式中,所述数据处理请求被记录在二级交易账本中;所述数据处理请求是由所述业务节点通过所述二级交易账本发送的;
所述响应数据被记录在所述二级交易账本中;所述响应数据是通过所述二级交易账本发送至所述业务节点的;
所述二级交易账本与所述操作账本相关联。
在另一种实施方式中,计算机存储介质中的一条或多条第一指令由处理器1201加载并且还执行如下步骤:
当所述操作账本中存在缺失的操作信息时,将所述一级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据。
在另一种实施方式中,计算机存储介质中的一条或多条第一指令由处理器1201加载并且还执行如下步骤:
当所述操作账本中存在缺失的操作信息时,将所述二级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据。
在再一种实施方式中,所述数据节点和所述业务节点均为区块链网络中的节点设备;所述区块链网络包括以下任一种:私有链网络、联盟链网络和公有链网络。
在另一个实施例中,该数据处理设备可以是图4所示的数据节点401;该计算机存储介质中存储有一条或多条第二指令;由处理器1201加载并执行计算机存储介质中存放的一条或多条第二指令,以实现上述数据处理方法实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条第二指令由处理器1201加载并执行如下步骤:
接收处理节点发送的数据获取请求;
根据所述数据获取请求对源数据执行预处理操作,生成目标数据;
采用操作账本记录所述预处理操作的操作信息;
向所述处理节点返回所述目标数据和所述操作账本,以使得所述处理节点采用所述操作账本对所述目标数据进行审计校验,并在所述目标数据通过所述审计校验时,将所述目标数据添加至聚合数据集中。
在一种实施方式中,所述预处理操作包括以下至少一种:格式转换操作和脱敏处理操作;所述格式转换操作用于按照聚合计算的格式要求对所述源数据的格式执行转换处理;所述脱敏处理操作用于对所述源数据中的隐私数据执行屏蔽处理。
本申请实施例中,首先,由业务节点的数据处理请求触发数据节点对源数据进行预处理操作得到目标数据和操作账本,利用操作账本来对数据节点所提供的目标数据进行安全可信的审计校验,这样可以保障预处理操作是按照源数据拥有方(如数据节点)与处理节点共同认可的处理规则执行的,保证目标数据能够被聚合计算过程所使用,与此同时还不会泄露源数据中的隐私数据;其次,通过审计校验的目标数据被添加至聚合数据集中,对聚合数据集中多个通过审计校验的数据进行聚合计算得到响应数据返回给业务节点。这样使得参与聚合计算过程的所有数据都是可靠数据,从而保证了聚合计算过程的安全性;从而提升了整个数据处理过程的安全性。再次,数据处理过程中通过账本的形式进行交易,多个账本之间具备层级关系和关联关系,且多个账本之间可相到验证来共同维护数据处理过程的可靠性;还可以将数据处理过程基于区块链网络实现,进一步提升了数据处理过程的安全性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种数据处理方法,其特征在于,所述方法包括:
向数据节点发送数据获取请求;
接收所述数据节点返回的目标数据和操作账本,所述目标数据是对源数据执行预处理操作生成的数据,所述操作账本用于记录所述预处理操作的操作信息;
采用所述操作账本对所述目标数据进行审计校验;
若所述目标数据通过所述审计校验,则将所述目标数据添加至聚合数据集中。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标数据未通过所述审计校验,则拦截所述目标数据。
3.如权利要求1所述的方法,其特征在于,所述操作账本为矢量账本;
所述操作信息包括操作代码和操作参数;其中,所述操作代码包括以下至少一种:操作指令与操作函数;所述操作参数包括源数据、源数据的地址、目标数据的地址、目标数据及操作引起的数据变化情况;
所述操作信息被加密处理为收据,并存储于所述操作账本中。
4.如权利要求3所述的方法,其特征在于,当所述源数据的地址指向源实体设备,所述目标数据的地址指向目标实体设备,并且所述源实体设备与所述目标实体设备之间通过接口互联时,所述操作信息还包括操作流;
所述操作流包括:源实体设备的操作时间与操作内容,接口操作的操作时间和操作内容,目标实体设备的操作时间和操作内容。
5.如权利要求1所述的方法,其特征在于,所述采用所述操作账本对所述目标数据进行审计校验,包括:
获取与所述操作账本相匹配的目标审计规则;
审核所述操作账本中的操作信息是否符合所述目标审计规则;
若符合,则确认所述目标数据通过审计校验;若不符合,则确认所述目标数据未通过所述审核校验。
6.如权利要求5所述的方法,其特征在于,所述目标审计规则以审计智能合约的形式被发布至区块链网络中;
所述审核所述操作账本中的操作信息是否符合所述目标审计规则,包括:
调用所述区块链网络中的所述审计智能合约;
运行所述审计智能合约中声明的与所述目标审计规则对应的执行程序,审核所述操作账本中的操作信息是否符合所述目标审计规则。
7.如权利要求1所述的方法,其特征在于,所述数据获取请求被记录在一级交易账本中;所述数据获取请求是通过所述一级交易账本发送至所述数据节点的;
所述目标数据被记录在所述一级交易账本中;所述目标数据是所述数据节点通过所述一级交易账本返回的;
所述一级交易账本与所述操作账本相关联。
8.如权利要求1所述的方法,其特征在于,所述聚合数据集中包括多个通过审核校验的数据;所述方法还包括:
对所述聚合数据集中的多个数据进行聚合计算,得到响应数据。
9.如权利要求8所述的方法,其特征在于,所述向数据节点发送数据获取请求之前,所述方法还包括:
接收业务节点发送的数据处理请求;
所述对所述聚合数据集中的多个数据进行聚合计算,得到响应数据之后,还包括:
向所述业务节点发送所述响应数据。
10.如权利要求9所述的方法,其特征在于,所述数据处理请求被记录在二级交易账本中;所述数据处理请求是由所述业务节点通过所述二级交易账本发送的;
所述响应数据被记录在所述二级交易账本中;所述响应数据是通过所述二级交易账本发送至所述业务节点的;
所述二级交易账本与所述操作账本相关联。
11.如权利要求7或10所述的方法,其特征在于,所述方法还包括:
当所述操作账本中存在缺失的操作信息时,将所述一级交易账本或二级交易账本中记录的数据设置为所述操作账本中缺失的操作信息的参考事实数据。
12.如权利要求9所述的方法,其特征在于,所述数据节点和所述业务节点均为区块链网络中的节点设备;
所述区块链网络包括以下任一种:私有链网络、联盟链网络和公有链网络。
13.一种数据处理方法,其特征在于,所述方法包括:
接收处理节点发送的数据获取请求;
根据所述数据获取请求对源数据执行预处理操作,生成目标数据;
采用操作账本记录所述预处理操作的操作信息;
向所述处理节点返回所述目标数据和所述操作账本,以使得所述处理节点采用所述操作账本对所述目标数据进行审计校验,并在所述目标数据通过所述审计校验时,将所述目标数据添加至聚合数据集中。
14.如权利要求13所述的方法,其特征在于,所述预处理操作包括以下至少一种:格式转换操作和脱敏处理操作;
所述格式转换操作用于按照聚合计算的格式要求对所述源数据的格式执行转换处理;
所述脱敏处理操作用于对所述源数据中的隐私数据执行屏蔽处理。
15.一种数据处理设备,包括输入接口和输出接口,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-13任一项所述的数据处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求14所述的数据处理方法。
CN201911033903.9A 2019-10-28 2019-10-28 一种数据处理方法及设备 Active CN110751485B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110854301.0A CN113506110A (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备
CN201911033903.9A CN110751485B (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备
PCT/CN2020/117378 WO2021082824A1 (zh) 2019-10-28 2020-09-24 数据处理方法、设备及计算机可读存储介质
US17/521,478 US20220067730A1 (en) 2019-10-28 2021-11-08 Data processing method and device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033903.9A CN110751485B (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110854301.0A Division CN113506110A (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备

Publications (2)

Publication Number Publication Date
CN110751485A true CN110751485A (zh) 2020-02-04
CN110751485B CN110751485B (zh) 2021-08-17

Family

ID=69280588

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911033903.9A Active CN110751485B (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备
CN202110854301.0A Pending CN113506110A (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110854301.0A Pending CN113506110A (zh) 2019-10-28 2019-10-28 一种数据处理方法及设备

Country Status (3)

Country Link
US (1) US20220067730A1 (zh)
CN (2) CN110751485B (zh)
WO (1) WO2021082824A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400761A (zh) * 2020-03-17 2020-07-10 吉林亿联银行股份有限公司 数据共享方法及装置、存储介质及电子设备
CN111415144A (zh) * 2020-03-17 2020-07-14 深圳市前海随手财富管理有限公司 出款计划的数据校验方法、装置、计算机设备和存储介质
CN112395367A (zh) * 2020-11-10 2021-02-23 中国人寿保险股份有限公司 一种数据库数据处理方法及装置
WO2021082824A1 (zh) * 2019-10-28 2021-05-06 腾讯科技(深圳)有限公司 数据处理方法、设备及计算机可读存储介质
CN113434603A (zh) * 2021-02-07 2021-09-24 支付宝(杭州)信息技术有限公司 一种基于可信账本数据库的数据存储方法、装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971702B (zh) * 2022-05-13 2023-11-24 中移互联网有限公司 一种业务处理系统、方法、服务设备及联邦分发中心
CN115981910B (zh) * 2023-03-20 2023-06-16 建信金融科技有限责任公司 处理异常请求的方法、装置、电子设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170102848A (ko) * 2017-08-30 2017-09-12 주식회사 비즈모델라인 계좌 브릿지를 이용한 거래 운영 방법
CN109102404A (zh) * 2018-08-09 2018-12-28 全链通有限公司 区块链实名通信的隐私保护方法和系统
CN109189334A (zh) * 2018-08-16 2019-01-11 北京京东尚科信息技术有限公司 一种区块链网络服务平台及其扩容方法、存储介质
CN109255250A (zh) * 2018-09-21 2019-01-22 大连莫比嗨客智能科技有限公司 一种基于联盟链的数据安全加密装置及使用方法
CN110232749A (zh) * 2019-06-17 2019-09-13 阿里巴巴集团控股有限公司 基于区块链的巡检存证方法、装置和电子设备
CN110266807A (zh) * 2019-06-28 2019-09-20 中兴通讯股份有限公司 物联网数据处理方法及装置
KR20190110399A (ko) * 2018-03-20 2019-09-30 애드오에스 주식회사 블록체인 기반의 알트코인 광고 장치 및 방법
CN110351381A (zh) * 2019-07-18 2019-10-18 湖南大学 一种基于区块链的物联网可信分布式数据共享方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527013B (zh) * 2009-04-03 2012-08-22 宇龙计算机通信科技(深圳)有限公司 数据协同的方法、终端及系统
CN107689002B (zh) * 2017-09-11 2021-11-12 卓米私人有限公司 提现请求的审核方法、装置、电子设备及存储介质
US10304062B1 (en) * 2018-03-23 2019-05-28 Td Professional Services, Llc Computer architecture incorporating blockchain based immutable audit ledger for compliance with data regulations
US20190318348A1 (en) * 2018-04-13 2019-10-17 Dubset Media Holdings, Inc. Media licensing method and system using blockchain
CN108833355B (zh) * 2018-05-21 2020-12-29 深圳云之家网络有限公司 数据处理方法、装置、计算机设备和计算机可读存储介质
US20200092084A1 (en) * 2018-09-18 2020-03-19 TERNiO, LLC System and methods for operating a blockchain network
CN109347804B (zh) * 2018-09-19 2020-02-07 电子科技大学 一种用于区块链的拜占庭容错共识优化方法
CN110751485B (zh) * 2019-10-28 2021-08-17 腾讯科技(深圳)有限公司 一种数据处理方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170102848A (ko) * 2017-08-30 2017-09-12 주식회사 비즈모델라인 계좌 브릿지를 이용한 거래 운영 방법
KR20190110399A (ko) * 2018-03-20 2019-09-30 애드오에스 주식회사 블록체인 기반의 알트코인 광고 장치 및 방법
CN109102404A (zh) * 2018-08-09 2018-12-28 全链通有限公司 区块链实名通信的隐私保护方法和系统
CN109189334A (zh) * 2018-08-16 2019-01-11 北京京东尚科信息技术有限公司 一种区块链网络服务平台及其扩容方法、存储介质
CN109255250A (zh) * 2018-09-21 2019-01-22 大连莫比嗨客智能科技有限公司 一种基于联盟链的数据安全加密装置及使用方法
CN110232749A (zh) * 2019-06-17 2019-09-13 阿里巴巴集团控股有限公司 基于区块链的巡检存证方法、装置和电子设备
CN110266807A (zh) * 2019-06-28 2019-09-20 中兴通讯股份有限公司 物联网数据处理方法及装置
CN110351381A (zh) * 2019-07-18 2019-10-18 湖南大学 一种基于区块链的物联网可信分布式数据共享方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WALSH, TOM: "Privacy and Security Audits of Electronic Health Information", 《JOURNAL OF AHIMA》 *
于雷: "区块链全局账本数据的拆分技术研究", 《高技术通讯》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021082824A1 (zh) * 2019-10-28 2021-05-06 腾讯科技(深圳)有限公司 数据处理方法、设备及计算机可读存储介质
CN111400761A (zh) * 2020-03-17 2020-07-10 吉林亿联银行股份有限公司 数据共享方法及装置、存储介质及电子设备
CN111415144A (zh) * 2020-03-17 2020-07-14 深圳市前海随手财富管理有限公司 出款计划的数据校验方法、装置、计算机设备和存储介质
CN111400761B (zh) * 2020-03-17 2022-04-22 吉林亿联银行股份有限公司 数据共享方法及装置、存储介质及电子设备
CN112395367A (zh) * 2020-11-10 2021-02-23 中国人寿保险股份有限公司 一种数据库数据处理方法及装置
CN113434603A (zh) * 2021-02-07 2021-09-24 支付宝(杭州)信息技术有限公司 一种基于可信账本数据库的数据存储方法、装置及系统

Also Published As

Publication number Publication date
CN113506110A (zh) 2021-10-15
US20220067730A1 (en) 2022-03-03
CN110751485B (zh) 2021-08-17
WO2021082824A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN110751485B (zh) 一种数据处理方法及设备
US11954214B2 (en) Systems and methods for controlled access to policy data on blockchain
US11277260B2 (en) Off-chain notification of updates from a private blockchain
US20200184448A1 (en) Cognitive blockchain for customized interchange determination
US11664973B2 (en) Trust-varied relationship between blockchain networks
CN111414434B (zh) 基于区块链的数据交易管理网络、交易设备和存储介质
US20220311611A1 (en) Reputation profile propagation on blockchain networks
US20210217098A1 (en) Blockchain-based message services for time-sensitive events
JP2022055352A (ja) 方法、システム及びコンピュータプログラム(ブロックチェーンネットワークにおけるコンプライアンスメカニズム)
Bhamidipati et al. Claimchain: Secure blockchain platform for handling insurance claims processing
CN115705571A (zh) 保护可审计的帐户的隐私
US20210166188A1 (en) Computation of supply-chain metrics
Oladejo Blockchain technology: Disruptor or enhancer to the accounting and auditing profession
KR20230005353A (ko) 탈중앙화된 데이터베이스에서 허가된 이벤팅
EP3841550B1 (en) Storage management based on message feedback
US20210174292A1 (en) Anonymization of partners
US20230085691A1 (en) Trifocal key for controlling custodians of digital assets
US20230070625A1 (en) Graph-based analysis and visualization of digital tokens
US20210312302A1 (en) Contextual integrity preservation
US11887146B2 (en) Product exploration-based promotion
Stampernas Blockchain technologies and smart contracts in the context of the Internet of Things
US20230419302A1 (en) Api for incremental and periodic crypto asset transfer
US20230419309A1 (en) Blockchain-based security token for kyc verification
US20240161185A1 (en) Decision tree model training process
G'sell et al. The Impact of Blockchains for Human Rights, Democracy, and the Rule of Law

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022311

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant