CN113222744A - 一种数据可信处理的方法、装置、存储介质及电子设备 - Google Patents

一种数据可信处理的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113222744A
CN113222744A CN202010071671.2A CN202010071671A CN113222744A CN 113222744 A CN113222744 A CN 113222744A CN 202010071671 A CN202010071671 A CN 202010071671A CN 113222744 A CN113222744 A CN 113222744A
Authority
CN
China
Prior art keywords
event data
data
preprocessing
information
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010071671.2A
Other languages
English (en)
Inventor
徐剑军
张绚
李奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Caizhi Technology Co ltd
Original Assignee
Beijing Caizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Caizhi Technology Co ltd filed Critical Beijing Caizhi Technology Co ltd
Priority to CN202010071671.2A priority Critical patent/CN113222744A/zh
Publication of CN113222744A publication Critical patent/CN113222744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Abstract

本发明提供了一种数据可信处理的方法、装置、存储介质及电子设备,其中,该方法包括:获取事件数据组,并确定事件数据组的默克尔树,事件数据组包括多个事件数据;根据事件数据组进行预处理,生成预处理信息;根据默克尔树和预处理信息确定目标信息,并将目标信息写入预设区块链系统的区块链中。通过本发明实施例提供的数据可信处理的方法、装置、存储介质及电子设备,可以保证事件数据是可信的,并可以保证事件数据的隐私性,实现对事件数据的保护。由数据系统本地执行自稽核处理等预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率,可以适用于交易量很大、交易速度要求很高的交易场景。

Description

一种数据可信处理的方法、装置、存储介质及电子设备
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据可信处理的方法、装置、存储介质及电子设备。
背景技术
“交易”是人类社会生活中的一个重要行为。“交易”的发生除了交易双方以及交易标的之外,又往往需要一些交易指标(如价格、赔率等);同时现代社会为了“交易”便利化,往往通过一个中心化的交易场所(包括集中交易系统等)完成,这时,“交易”存在一个是否可信的问题。
目前中心化的交易几乎都是在中心化的交易所完成,一些交易所必须提供足够信用(如政府信用背书)才能吸引到投资者进行交易,而另一些交易所几乎无法向投资者提供信用,只能靠投资者自行判断。股票交易所,或是数字货币交易所中的交易都是中心化的交易;其他如彩票销售系统,也可以看作一个中心化的彩票交易所。对于中心化的交易都需要机构自身能够提供足够的信用,以促使投资者对交易过程拥有足够的信任。此外,即使拥有强大的信用背书,但是相对投资者仅掌握极小部分交易信息而言,交易所因掌握全部交易信息而过于强大,并且没有途径能够保证或者在事后验证在交易所的交易是可信的、没有被操纵的。而交易记录的一些具体信息往往不适合完全公开,如交易参与方的隐私类信息、以及彩票交易时的投注选号方案等。在不能完全公开的情况下,又需要交易“可信”,这就导致传统方式下中心化交易所(或交易系统)无法通过技术手段让相关方对其交易记录真实性与合规性、交易指标的合规性与准确性等进行验证。完全中心化的交易必然有一方掌控着全部的交易过程,拥有全部的交易数据,极易作恶。如交易量造假,提供虚假的交易指标等。当发生投资人利益损害时,很难对交易数据进行稽核审计和追查。
而随着区块链技术的发展,目前也存在基于区块链的非中心化交易方案,在该方案中,所有交易数据均保存到区块链上,对所有用户均可见,隐私性不强。此外,大多数类型的区块链都存在区块大小的限制以及区块需要在区块链网络上多个节点的同步和验证,所以每次处理的交易数据量有限并且需要等待数个节点的确认完成。对于交易量小和交易速度要求不太高的场景可以接受。但是对于海量交易数据量大,且交易速度要求高的情况,完全基于区块链的交易则无法满足要求。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种数据可信处理的方法、装置、存储介质及电子设备。
第一方面,本发明实施例提供了一种数据可信处理的方法,包括:
获取事件数据组,并确定所述事件数据组的默克尔树,所述事件数据组包括多个事件数据;
根据所述事件数据组进行预处理,生成相应的预处理信息,所述预处理包括指标生成处理,或者,所述预处理包括指标生成处理和自稽核处理;
根据所述默克尔树和所述预处理信息确定目标信息,并将所述目标信息写入预设区块链系统的区块链中。
第二方面,本发明实施例还提供了一种数据可信处理的方法,包括:
获取数据系统发送的目标信息,并将所述目标信息写入区块链中;所述目标信息为基于事件数据组的默克尔树和对所述事件数据组进行预处理后生成的预处理信息所确定的信息,所述事件数据组包括所述数据系统获取到的多个事件数据。
第三方面,本发明实施例还提供了一种数据可信处理的装置,包括:
默克尔树确定模块,用于获取事件数据组,并确定所述事件数据组的默克尔树,所述事件数据组包括多个事件数据;
自稽核模块,用于根据所述事件数据组进行预处理,生成相应的预处理信息,所述预处理包括指标生成处理,或者,所述预处理包括指标生成处理和自稽核处理;
处理模块,用于根据所述默克尔树和所述预处理信息确定目标信息,并将所述目标信息写入预设区块链系统的区块链中。
第四方面,本发明实施例还提供了一种数据可信处理的装置,包括:
入链模块,用于获取数据系统发送的目标信息,并将所述目标信息写入区块链中;所述目标信息为基于事件数据组的默克尔树和对所述事件数据组进行预处理后生成的预处理信息所确定的信息,所述事件数据组包括所述数据系统获取到的多个事件数据。
第五方面,本发明实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于上述任意一项所述的数据可信处理的方法。
第六方面,本发明实施例还提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任意一项所述的数据可信处理的方法。
本发明实施例上述第一方面提供的方案中,数据系统基于事件数据生成与默克尔树和预处理信息二者均相关的目标信息,之后将目标信息写入区块链中存证,若数据系统中事件数据的默克尔树与区块链中的目标信息一致,则可说明该事件数据为可信的;同时,由数据系统存储原始的事件数据,数据系统所公开的目标信息中没有包含原始的事件数据,从而可以保证事件数据的隐私性,实现对事件数据的保护。此外,由数据系统本地执行自稽核处理等预处理过程,不需要区块链系统执行预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率,可以适用于交易量很大、交易速度要求很高的交易场景。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种数据可信处理的方法的流程图;
图2示出了本发明实施例所提供的数据可信处理的方法中,网络架构的一种结构示意图;
图3示出了本发明实施例所提供的另一种数据可信处理的方法的流程图;
图4示出了本发明实施例所提供的一种数据可信处理的装置的结构示意图;
图5示出了本发明实施例所提供的用于执行数据可信处理的方法的电子设备的结构示意图。
具体实施方式
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种数据可信处理的方法,由可以获取到事件数据的数据系统执行,该数据系统可以为某个具有处理功能的设备终端、服务器,也可以为分布式系统,本实施例对此不做限定。参见图1所示,该方法包括:
步骤101:获取事件数据组,并确定事件数据组的默克尔树,事件数据组包括多个事件数据。
本发明实施例中,“事件”指的是随着时间生成或发生的操作或行为,如交易事件等,当两个用户之间发生了交易行为,即可生成相应的交易事件;同时,每个事件对应相应的事件数据,该事件数据记录有与该事件相关的信息。例如,某交易事件的事件数据可以包括交易时间、交易金额、买方信息、卖方信息等。其中,该事件数据可以由业务系统产生,数据系统从该业务系统中可以获取到事件数据。
本实施例中,事件数据可以按照时间顺序实时产生,且可以划分为多个预设时间段,每个预设时间段内可以存在一个或多个事件数据;其中,该预设时间段可以为一个周期性的时间段,也可以为按照需求所划分的不同长度的时间段,在确定该预设时间段之后,即可将该多个事件数据作为一个事件数据组进行后继续处理。本实施例中,可以将预设时间段内所有事件数据作为一个事件数据组,也可以将选取出所需的或有效的事件数据作为一个事件数据组。例如,以十分钟为周期,即将每个十分钟作为一个预设时间段,并可以将相应的十分钟内的全部事件数据作为一个事件数据组。
此外,在确定事件数据组之后,可以基于该事件数据组内的所有事件数据确定该事件数据组的默克尔(Merkle)树;其中,可以基于每个事件数据的哈希(Hash)值确定该事件数据组的默克尔树。具体的,上述步骤101“获取事件数据组,确定事件数据组的默克尔树”包括:
步骤A1:根据预设规则划分出多个事件数据作为一个事件数据组,预设规则为按照预设时间段划分、按照预设时间点划分或按照预设条件划分。
步骤A2:确定事件数据组内每个事件数据的哈希值,并根据事件数据组内所有事件数据的哈希值生成事件数据组的默克尔树。
本发明实施例中,事件数据为按照时间顺序产生的数据,故事件数据组内的事件数据也可以按照相应的时间顺序排列,本实施例中可以基于预设规则对获取到的事件数据进行划分,从而划分出多个事件数据组;具体的,该预设规则可以为按照预设时间段划分,即如上所述,可以将一个预设时间段内的事件数据作为一个事件数据组;或者,可以按照预设时间点进行划分,此时可以将相邻的两个预设时间点之间的事件数据作为一个事件数据组;或者,可以按照预设条件划分,该预设条件具体可以为业务条件,如交易事件条件等。在确定事件数据组之后,即可计算每个事件数据的哈希值,并基于默克尔树的含义生成该事件数据组的默克尔树。
步骤102:根据事件数据组进行预处理,生成相应的预处理信息。
本发明实施例中,数据系统本地可以对该事件数据组进行包括自稽核处理和/或指标生成处理的预处理过程;具体的,该预处理的过程包括指标生成处理的过程,或者,还可以进一步包括自稽核处理的过程,即预处理包括指标生成处理和自稽核处理。通过自稽核处理,数据系统可以生成相应的自稽核结果,通过指标生成处理,可以确定相应的事件指标。具体的,该自稽核处理对数据进行基本检查或统计,且其过程不对数据进行外部的关联;不同类型的数据,自稽核要求也不同。本实施例中,自稽核处理的过程包括检查事件数据组内事件数据的完整性、检查数据内在逻辑的正确性等。本实施例中,该自稽核的内容可以包括:①字段得完备性(必须/非必须的字段);②字段对应值的格式,例如消费金额只能是数字,且不可能小于0;③字段对应值的范围,例如时间范围是否正确;④字段之间的逻辑,例如总的消费金额是否等于单价×数量;⑤消费金额总计。数据系统通过对事件数据组进行自稽核处理,即可生成相应的自稽核结果,该自稽核结果中具体可以包含该事件数据组是否完整、内在逻辑是否正确等。
本实施例中,在指标生成处理的过程中,数据系统基于该事件数据组和/或之前的历史事件数据组,可以直接汇总生成相应的事件指标;该事件指标为影响相关方利益的指标,例如股票交易中的价格,彩票交易中的奖池资金总数等。在确定自稽核结果和事件指标之后,即可生成需要上链的预处理信息;其中,由于该预处理过程包含指标生成处理的过程,故该预处理信息包含事件指标;若该预处理过程还包括自稽核处理的过程,则预处理信息也可以进一步包含自稽核结果,即包含事件指标和自稽核结果,本实施例对此不做限定。为了降低上链的数据量,该预处理信息中一般可以只包含事件指标。
本实施例中,由数据系统本地执行自稽核处理等预处理过程,不需要区块链系统执行该预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率。
步骤103:根据默克尔树和预处理信息确定目标信息,并将目标信息写入预设区块链系统的区块链中。
本发明实施例中,在确定事件数据组的默克尔树和预处理信息之后,即可基于该默克尔树和预处理信息生成可公开的目标信息,进而将该目标信息写入区块链中即可。本实施例中,预先设置包含多个节点的区块链系统,由该区块链系统内的节点维护生成相应的区块链,在需要将目标信息公开时,数据系统可以将目标信息发送至该区块链系统,实现目标信息上链。本实施例中所用的一种网络架构结构图可参见图2所示,图2中以区块链网络包含m+n个节点为例说明。具体的,数据系统可以将该目标信息发送至区块链网络上的一个或多个节点,之后基于区块链工作原理,所有节点达成共识后,该目标信息写入区块链。其中,该目标信息可以以一条数据的形式存储在区块链的一个区块内,生成区块链的过程为本领域的成熟技术,此处不做赘述。
本实施例中,该目标信息中可以包含预处理信息和完整的默克尔树;或者,由于默克尔树的结构较大,且为了避免事件数据的哈希值被随意公开,本实施例中的“根据默克尔树和预处理信息确定目标信息”具体可以为根据默克尔树的默克尔树根和预处理信息生成目标信息,即目标信息中不包含完整的默克尔树,而是包含默克尔树根。本实施例中,将该目标信息存储在区块链中,利用区块链的特点使得目标信息难以更改;若数据系统中的事件数据被篡改,则会导致基于该事件数据所确定的默克尔树(或默克尔树根)与区块链中记录的默克尔树(或默克尔树根)不一致,从而使得用户可以得知数据系统中的事件数据发生了更改。此外,原始的事件数据存储在数据系统中的一个或多个设备中,一般的用户或节点不能获取到该事件数据,且与事件数据相关的目标信息只包含默克尔树(或默克尔树根),该目标信息中也没有直接包含原始的事件数据,从而可以保证事件数据的隐私性。
本发明实施例提供的一种数据可信处理的方法,数据系统基于本地存储的事件数据生成与默克尔树和预处理信息二者均相关的目标信息,之后将目标信息写入区块链中存证,若数据系统中事件数据的默克尔树与区块链中的目标信息一致,则可说明该事件数据为可信的;同时,由数据系统存储原始的事件数据,数据系统所公开的目标信息中没有包含原始的事件数据,从而可以保证事件数据的隐私性,实现对事件数据的保护。此外,由数据系统本地执行自稽核处理等预处理过程,不需要区块链系统执行该预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率,可以适用于交易量很大、交易速度要求很高的交易场景。
在上述实施例的基础上,本发明实施例中,区块链系统中包含一个或多个允许读取数据系统中的事件数据的节点,本实施例中将该类节点称为授权节点,基于该授权节点可以实现数据稽核、验证等功能。如图2所示,区块链系统中包含m个授权节点和n个普通的节点。需要说明的是,在不同场景下或对于不同的事件数据组,授权节点可能是不同的,即可能是区块链系统中的其他m个节点为授权节点,或者区块链系统中存在多于m或少于m个的授权节点,具体可基于实际情况而定。
具体的,在步骤103“将目标信息写入预设区块链系统的区块链中”之后,该方法还包括:
步骤B1:获取授权节点发送的用于读取事件数据组的读取请求,授权节点为区块链系统中能够用于进行合规性稽核处理或第三方数据验证处理的节点。
步骤B2:在读取请求鉴权通过时,允许授权节点读取事件数据组。
本发明实施例中,当授权节点需要对数据系统中的事件数据进行相应处理(例如需要对事件数据进行合规性稽核处理,或者需要对第三方数据进行验证处理)时,该授权节点可以读取数据系统中存储的原始的事件数据,即可以读取事件数据组。具体的,数据系统获取到授权节点发送的读取请求时,若数据系统允许该授权节点读取事件数据组,即可将相应的事件数据组发送该授权节点,使得该授权节点后续可以进行相应的处理。其中,数据系统中非公开的事件数据仅对被授权的节点(即授权节点)可见,其他普通的节点均不可见。
本发明实施例还提供一种由区块链系统中的节点所执行的数据可信处理的方法,参见图3所示,该方法包括:
步骤301:获取数据系统发送的目标信息,并将目标信息写入区块链中。与上述实施例相对应,该目标信息为基于事件数据组的默克尔树和对事件数据组进行预处理后生成的预处理信息所确定的信息,事件数据组包括数据系统获取到的所有的事件数据。
本发明实施例中,在数据系统将目标信息发送至区块链系统之后,该区块链系统中的节点即可执行该步骤301,即将该目标信息写入区块链中,从而可以保证事件数据是可信的。
可选的,该目标信息包括预处理信息;参见图3所示,在上述步骤301“将目标信息写入区块链中”之后,该方法还包括:
步骤302:获取区块链中存证的前k个预处理信息,根据前k个预处理信息生成最终事件指标。
本发明实施例中,区块链中存储的目标信息为已存证的信息,该目标信息中可以包含预处理信息(还可以包括默克尔树根等);本实施例中,预先设置生成最终事件指标的规则,之后在需要确定最终事件指标时,可以获取已经存证的最新的前k个预处理信息,并按照预先设置的规则,根据该前k个预处理信息计算当前时间点的最终事件指标,该最终事件指标可以为最终的交易事件指标,例如体育彩票竞猜投注比率等。本实施中,最终事件指标可以有多种,不同种的最终事件指标的生成规则不同;同时,由于数据系统会实时获取事件数据,进而也会按照时间顺序将相应的目标信息依次存储到区块链中,故每当区块链中新增了目标信息时,即可生成一个当前的最终事件指标,且每一次生成最终事件指标,k值可能是固定值,也可能是变化值。本实施例中,最终事件指标的计算过程也不需要公开事件数据,同样可以保证事件数据的安全性。
可选的,该预处理信息中可以包含数据系统本身生成的事件指标,之后区块链的节点可以基于区块链中存储的事件指标生成该最终事件指标。
在上述实施例的基础上,在将目标信息写入区块链中之后,区块链中的节点还可执行其他处理过程,例如稽核处理、验证处理等。其中,处理系统或其他系统可以公开经多方认可的稽核方式和/或验证方式,并将相应的稽核方式和/或验证方式转换为智能合约的代码,并将其安装在区块链系统的节点上,使得区块链中的节点基于该智能合约可以进行相应稽核处理或验证处理;其中,该智能合约的代码也是经过多方审核和认可的。本发明实施例中,在步骤301“将目标信息写入区块链中”之后,区块链中的节点还可以用户事件数据验证过程、执行合规性稽核过程、第三方数据验证过程中的一项或多项。
本实施例中,普通用户可以拥有与自身相关的事件数据,即用户事件数据,由于数据系统中的事件数据不对普通用户公开,故普通用户不能直接通过与数据系统中事件数据进行对比的方式来确定自身的用户事件数据的真实性,本实施例中基于区块链中的默克尔树的相关信息实现对用户事件数据的验证。
具体的,在用户需要验证自己的用户事件数据时,可以通过用户终端向区块链系统中的节点发送包括用户事件数据的哈希值的验证请求,如图2所示。区块链系统中的节点在接收到该验证请求之后,可以定位到与该用户事件数据的哈希值相对应的区块,以及相对应的默克尔树信息,之后将该默克尔树信息发送至用户终端,用户终端即可基于该默克尔树信息以及用户事件数据的哈希值来确定该用户事件数据是否真实。其中,该默克尔树信息包括目标信息中与默克尔树相关的信息,该默克尔树信息具体可以为默克尔树根,或者是默克尔树根到用户事件数据的哈希值的路径;或者,该默克尔树信息包括默克尔树根、以及默克尔树根到用户事件数据的哈希值的路径,例如数据系统上传的完整的默克尔树结构(此时包含默克尔树根,以及默克尔树根到用户事件数据的哈希值的路径),具体可基于实际情况而定;一般情况下,由于目标信息中只包含默克尔树根,该默克尔树信息也为默克尔树根。此外,区块链系统中的节点也可以从其他公开渠道(例如该数据系统,或其他可信任的节点或系统等)获取到默克尔树根到用户事件数据的哈希值的路径,即用户事件数据的哈希值是默克尔树的一个叶子节点;此时,也可将该默克尔树根到用户事件数据的哈希值的路径作为默克尔树信息中的一项信息;即默克尔树信息可以包括默克尔树根和/或默克尔树根到用户事件数据的哈希值的路径。
或者,用户终端也可以自主从公开渠道获取该默克尔树根到用户事件数据的哈希值的路径,本实施例对此不做限定。此外,该“默克尔树根到用户事件数据的哈希值的路径”中包含了部分(不是全部)其他事件数据的哈希值或默克尔树部分中间节点的哈希值,使得基于用户事件数据的哈希值可以还原得到默克尔树根,若还原得到的默克尔树根与默克尔树信息中的默克尔树根相同,则说明数据系统中存有该用户事件数据,即该用户事件数据是真实的。其中,基于默克尔树的默克尔树根和路径来验证叶子节点的哈希值是现有成熟技术,此处不做详述。
或者,也可以由区块链系统中的节点来执行大部分的验证过程。具体的,用户终端可以向区块链系统中的节点发送验证请求,该验证请求包括用户事件数据的哈希值。区块链系统中的节点获取到用户终端发送的验证请求之后,即可根据验证请求在区块链中查询与用户事件数据的哈希值对应的默克尔树信息,并根据默克尔树信息判断用户事件数据的哈希值是否真实存在,从而判断用户事件数据的真实性,之后将判断结果反馈至用户终端即可。其中,区块链系统中的节点“根据默克尔树信息判断用户事件数据的哈希值是否真实”与上述的用户终端利用默克尔树结构进行判断的原理相同,此处不做赘述。
本实施例中,在一般情况下,若确定数据系统中存有该用户事件数据,即可认为该用户事件数据是真实的。此外,需要说明的是,本实施例中的“包括用户事件数据的哈希值的验证请求”指的是直接或间接包括用户事件数据的哈希值的验证请求,即用户终端可以基于公开的计算哈希值的方法,基于用户事件数据来计算该用户事件数据的哈希值,此时用户终端发送的验证请求可以直接包含用户事件数据的哈希值;或者,用户终端可以只将用户事件数据发送至区块链系统中的节点,由该节点计算该用户事件数据的哈希值,即验证请求中包含用户事件数据本身,并没有直接含有用户事件数据的哈希值,但区块链系统中的节点可以基于该验证请求中的用户事件数据计算得到相应的哈希值,即验证请求间接包含了该用户事件数据的哈希值。
现有的基于区块链或数字签名等技术对交易事件等事件数据存证方式存两个问题:一是在验证上,基于区块链或基于数字签名这两种方式的事件数据存证,都需要在出现交易纠纷时,把原始交易记录的事件数据通过一定的计算操作与在区块链或基于数字签名进行存证的数据指纹(或类似的存证数据)进行全量验证。这种全量验证的局限性非常明显,它无法高效的对单条记录进行验证,对单条事件数据验证效率极其低下,同时验证的自动化程序较低。二是在交易指标上,基于区块链或基于数字签名这两种方式的事件数据存证,无法解决交易指标等事件指标可信生成的问题,事件指标(如交易指标)与存证的事件数据(如交易存证等)之间的关系是间接的,这明显降低了在动态交易过程中对交易的可信保护程度低。本实施例中利用默克尔树结构可以快速对单条的事件数据(如上述的用户事件数据)进行验证,验证效率高;且如上述实施例所述,区块链中的节点基于准实时地生成事件指标,在动态交易过程中也可以使得交易具有较高的可信度。
此外,由于数据系统在上传目标信息时,数据系统进行了自稽核处理,但某些情况下还需要进行合规性稽核。例如,一般要求一次交易最大数量不能超过100件,但实际存在超过100件的交易,该数据可以通过自稽核过程,但无法通过合规性稽核,故此时需要继续进行合规性稽核,即稽查复核该数据系统的事件数据组是否合规,是否符合交易规则;其中,自稽核和合规性稽核均为一种稽核处理过程,只是二者的稽核方式并不完全相同。本实施例中,由于合规性稽核过程需要基于原始的事件数据,故需要基于能够读取数据系统中事件数据的授权节点进行合规性稽核,如图2中m个授权节点中的一个或多个可以进行合规性稽核。具体的,区块链系统中的节点(此时为授权节点)进行合规性稽核过程包括:
步骤C1:向数据系统发送用于读取事件数据组的第一读取请求,并获取数据系统在鉴权通过后反馈的第一事件数据组。
步骤C2:根据反馈的第一事件数据组进行合规性稽核处理,生成合规性稽核结果,并将合规性稽核结果写入区块链中。
本发明实施例中,授权节点在需要进行合规性稽核时,向数据系统发送第一读取请求,进而可以访问并获取到合规性稽核时所需的第一事件数据组,该第一事件数据组的数量可以为一个,也可以为多个,具体基于实际情况而定。授权节点在获取到第一事件数据组之后,即可对该第一事件数据组进行合规性稽核处理,以确定第一事件数据组中的事件数据是否合规,并生成相应的合规性稽核结果;同时,还可以将该合规性稽核结果写入到区块链中,供用户查阅。
此外,由于可能存在多个数据系统,例如货物系统、收银系统等,对于同一个事件,不同的数据系统之间的事件数据不同,但相互之间存在相应的数据关联关系(如勾稽关系等),本实施例中利用存证的数据系统可以验证其他数据系统中的数据,即验证第三方数据。此外,由于第三方数据验证过程也需要基于数据系统内原始的事件数据,故需要基于能够读取数据系统中事件数据的授权节点进行第三方数据验证。本实施例中,第三方数据验证过程包括:
步骤D1:向数据系统发送用于读取事件数据组的第二读取请求,并获取数据系统在鉴权通过后反馈的第二事件数据组。
步骤D2:根据反馈的第二事件数据组对第三方数据进行验证处理,生成验证结果,并将验证结果和第三方数据的可公开信息写入区块链中。
本发明实施中,在需要对其他系统的第三方数据进行验证时,授权节点向该存证的数据系统发送用于读取事件数据组的第二读取请求,并获取数据系统在鉴权通过后反馈的第二事件数据组,其中,该第二事件数据组的数量也可以为一个,也可以为多个。授权节点在获取到第二事件数据组之后,由于第二事件数据组内的事件数据是可信的,故可以根据第二事件数据组与第三方数据之间的数据关联关系验证该第三方数据的真实性,以确定该第三方数据是否验证通过,并生成相应的验证结果供用户或第三方查看。同时,可以将验证结果写入区块链中,并将第三方数据中可公开的信息写入区块链中,供公众查阅;且区块链中的第三方数据部分为可公开信息,能有效降低第三方数据被完全公开的风险,能保护第三方数据。
需要说明的是,本实施例中执行用户事件数据验证过程、执行合规性稽核过程、第三方数据验证过程的节点可以为一个,也可以为多个;当需要将处理结果(如合规性稽核结果、验证结果等)存入区块链时,需要多个节点执行处理,并达成共识。
本发明实施例提供的一种数据可信处理的方法,数据系统基于本地存储的事件数据生成与默克尔树和预处理信息二者均相关的目标信息,之后将目标信息写入区块链中存证,若数据系统中事件数据的默克尔树与区块链中的目标信息一致,则可说明该事件数据为可信的;同时,由数据系统存储原始的事件数据,数据系统所公开的目标信息中没有包含原始的事件数据,从而可以保证事件数据的隐私性,实现对事件数据的保护。此外,由数据系统本地执行自稽核处理等预处理过程,不需要区块链系统执行该预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率,可以适用于交易量很大、交易速度要求很高的交易场景,在动态交易过程中也可以使得交易具有较高的可信度。利用链上的默克尔树结构,用户可以自行验证自己的用户事件数据的真实性,验证效率高;在不公开事件数据的前提下,基于区块链上的智能合约即可可信地验证事件的合规性,也可实现对第三方数据的验证。
以上详细介绍了数据可信处理的方法的流程,该方法也可以通过相应的装置实现,下面详细介绍该装置的结构和功能。
本发明实施例提供了一种位于数据系统侧的数据可信处理的装置,参见图4所示,该装置包括:
默克尔树确定模块41,用于获取事件数据组,并确定所述事件数据组的默克尔树,所述事件数据组包括多个事件数据;
预处理模块42,用于根据所述事件数据组进行预处理,生成预处理信息,所述预处理包括指标生成处理,或者,所述预处理包括指标生成处理和自稽核处理;
处理模块43,用于根据所述默克尔树和所述预处理信息确定目标信息,并将所述目标信息写入预设区块链系统的区块链中。
在上述实施例的基础上,所述默克尔树确定模块41获取事件数据组,确定所述事件数据组的默克尔树,包括:
根据预设规则划分出多个事件数据作为一个事件数据组,所述预设规则为按照预设时间段划分、按照预设时间点划分或按照预设条件划分;
确定所述事件数据组内每个事件数据的哈希值,并根据所述事件数据组内所有所述事件数据的哈希值生成所述事件数据组的默克尔树。
在上述实施例的基础上,该装置还包括鉴权模块;
在所述处理模块43将所述目标信息写入预设区块链系统的区块链中之后,所述鉴权模块用于:
获取授权节点发送的用于读取事件数据组的读取请求,所述授权节点为所述区块链系统中能够用于进行合规性稽核处理或第三方数据验证处理的节点;在所述读取请求鉴权通过时,允许所述授权节点读取所述事件数据组。
本发明实施还提供了一种位于区块链系统节点侧的数据可信处理的装置,包括:
入链模块,用于获取数据系统发送的目标信息,并将所述目标信息写入区块链中;所述目标信息为基于事件数据组的默克尔树和对所述事件数据组进行预处理后生成的预处理信息所确定的信息,所述事件数据组包括所述数据系统获取到的多个事件数据。
在上述实施例的基础上,所述目标信息包括所述预处理信息;该装置还包括指标生成模块。
在所述入链模块将所述目标信息写入区块链中之后,所述指标生成模块用于:获取所述区块链中存证的前k个所述预处理信息,根据前k个所述预处理信息生成最终事件指标。
在上述实施例的基础上,该装置还包括稽核验证模块;
在所述入链模块将所述目标信息写入区块链中之后,所述稽核验证模块用于执行合规性稽核过程、用户事件数据验证过程、第三方数据验证过程中的一项或多项。其中,所述合规性稽核过程包括:
向所述数据系统发送用于读取事件数据组的第一读取请求,并获取所述数据系统在鉴权通过后反馈的第一事件数据组;根据反馈的所述第一事件数据组进行合规性稽核处理,生成合规性稽核结果,并将所述合规性稽核结果写入所述区块链中;
所述用户事件数据验证过程包括:获取用户终端发送的包括用户事件数据的哈希值的验证请求;根据所述验证请求在所述区块链中查询与所述用户事件数据的哈希值对应的默克尔树信息,并将所述默克尔树信息反馈至所述用户终端;或者,获取用户终端发送的包括用户事件数据的哈希值的验证请求,根据所述验证请求在所述区块链中查询与所述用户事件数据的哈希值对应的默克尔树信息,根据所述默克尔树信息判断所述用户事件数据的哈希值是否真实存在从而判断用户事件数据的真实性,并将判断结果反馈至所述用户终端;其中,所述默克尔树信息包括默克尔树根和/或默克尔树根到所述用户事件数据的哈希值的路径;
所述第三方数据验证过程包括:向所述数据系统发送用于读取事件数据组的第二读取请求,并获取所述数据系统在鉴权通过后反馈的第二事件数据组;根据反馈的所述第二事件数据组对第三方数据进行验证处理,生成验证结果,并将所述验证结果和所述第三方数据的可公开信息写入所述区块链中。
本发明实施例提供的一种数据可信处理的装置,数据系统基于本地存储的事件数据生成与默克尔树和预处理信息二者均相关的目标信息,之后将目标信息写入区块链中存证,若数据系统中事件数据的默克尔树与区块链中的目标信息一致,则可说明该事件数据为可信的;同时,由数据系统存储原始的事件数据,数据系统所公开的目标信息中没有包含原始的事件数据,从而可以保证事件数据的隐私性,实现对事件数据的保护。此外,由数据系统本地执行自稽核处理等预处理过程,不需要区块链系统执行该预处理过程,即存证过程中的预处理是在链下执行的,可以提高数据处理的效率,可以适用于交易量很大、交易速度要求很高的交易场景,在动态交易过程中也可以使得交易具有较高的可信度。利用链上的默克尔树结构,用户可以自行验证自己的用户事件数据的真实性,验证效率高;在不公开事件数据的前提下,基于区块链上的智能合约即可可信地验证事件的合规性,也可实现对第三方数据的验证。
本发明实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,其包含用于执行上述的数据可信处理的方法的程序,该计算机可执行指令可执行上述任意方法实施例中的方法。
其中,所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图5示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。
该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中,处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信,其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU,或者是专用集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块,并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行,以使处理器1110能够执行上述任意方法实施例中的数据可信处理的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换的实施方式,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据可信处理的方法,其特征在于,包括:
获取事件数据组,并确定所述事件数据组的默克尔树,所述事件数据组包括多个事件数据;
根据所述事件数据组进行预处理,生成相应的预处理信息,所述预处理包括指标生成处理,或者,所述预处理包括指标生成处理和自稽核处理;
根据所述默克尔树和所述预处理信息确定目标信息,并将所述目标信息写入预设区块链系统的区块链中。
2.根据权利要求1所述的方法,其特征在于,所述获取事件数据组,确定所述事件数据组的默克尔树,包括:
根据预设规则划分出多个事件数据作为一个事件数据组,所述预设规则为按照预设时间段划分、按照预设时间点划分或按照预设条件划分;
确定所述事件数据组内每个事件数据的哈希值,并根据所述事件数据组内所有所述事件数据的哈希值生成所述事件数据组的默克尔树。
3.根据权利要求1或2所述的方法,其特征在于,在所述将所述目标信息写入预设区块链系统的区块链中之后,还包括:
获取授权节点发送的用于读取事件数据组的读取请求,所述授权节点为所述区块链系统中能够用于进行合规性稽核处理或第三方数据验证处理的节点;
在所述读取请求鉴权通过时,允许所述授权节点读取所述事件数据组。
4.一种数据可信处理的方法,其特征在于,包括:
获取数据系统发送的目标信息,并将所述目标信息写入区块链中;所述目标信息为基于事件数据组的默克尔树和对所述事件数据组进行预处理后生成的预处理信息所确定的信息,所述事件数据组包括所述数据系统获取到的多个事件数据。
5.根据权利要求4所述的方法,其特征在于,所述目标信息包括所述预处理信息;
在所述将所述目标信息写入区块链中之后,该方法还包括:
获取所述区块链中存证的前k个所述预处理信息,根据前k个所述预处理信息生成最终事件指标。
6.根据权利要求4或5所述的方法,其特征在于,在所述将所述目标信息写入区块链中之后,该方法还包括合规性稽核过程、用户事件数据验证过程、第三方数据验证过程中的一项或多项;
其中,所述合规性稽核过程包括:
向所述数据系统发送用于读取事件数据组的第一读取请求,并获取所述数据系统在鉴权通过后反馈的第一事件数据组;根据反馈的所述第一事件数据组进行合规性稽核处理,生成合规性稽核结果,并将所述合规性稽核结果写入所述区块链中;
所述用户事件数据验证过程包括:
获取用户终端发送的包括用户事件数据的哈希值的验证请求;根据所述验证请求在所述区块链中查询与所述用户事件数据的哈希值对应的默克尔树信息,并将所述默克尔树信息反馈至所述用户终端;或者,获取用户终端发送的包括用户事件数据的哈希值的验证请求,根据所述验证请求在所述区块链中查询与所述用户事件数据的哈希值对应的默克尔树信息,根据所述默克尔树信息判断所述用户事件数据的哈希值是否真实,并将判断结果反馈至所述用户终端;其中,所述默克尔树信息包括默克尔树根和/或默克尔树根到所述用户事件数据的哈希值的路径;
所述第三方数据验证过程包括:
向所述数据系统发送用于读取事件数据组的第二读取请求,并获取所述数据系统在鉴权通过后反馈的第二事件数据组;根据反馈的所述第二事件数据组对第三方数据进行验证处理,生成验证结果,并将所述验证结果和所述第三方数据的可公开信息写入所述区块链中。
7.一种数据可信处理的装置,其特征在于,包括:
默克尔树确定模块,用于获取事件数据组,并确定所述事件数据组的默克尔树,所述事件数据组包括多个事件数据;
预处理模块,用于根据所述事件数据组进行预处理,生成相应的预处理信息,所述预处理包括指标生成处理,或者,所述预处理包括指标生成处理和自稽核处理;
处理模块,用于根据所述默克尔树和所述预处理信息确定目标信息,并将所述目标信息写入预设区块链系统的区块链中。
8.一种数据可信处理的装置,其特征在于,包括:
入链模块,用于获取数据系统发送的目标信息,并将所述目标信息写入区块链中;所述目标信息为基于事件数据组的默克尔树和对所述事件数据组进行预处理后生成的预处理信息所确定的信息,所述事件数据组包括所述数据系统获取到的多个事件数据。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1-6任意一项所述的数据可信处理的方法。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6任意一项所述的数据可信处理的方法。
CN202010071671.2A 2020-01-21 2020-01-21 一种数据可信处理的方法、装置、存储介质及电子设备 Pending CN113222744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071671.2A CN113222744A (zh) 2020-01-21 2020-01-21 一种数据可信处理的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071671.2A CN113222744A (zh) 2020-01-21 2020-01-21 一种数据可信处理的方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113222744A true CN113222744A (zh) 2021-08-06

Family

ID=77085310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071671.2A Pending CN113222744A (zh) 2020-01-21 2020-01-21 一种数据可信处理的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113222744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116112458A (zh) * 2023-02-09 2023-05-12 网易(杭州)网络有限公司 通信方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684375A (zh) * 2018-12-07 2019-04-26 深圳市智税链科技有限公司 在区块链网络中查询交易信息的方法、记账节点和介质
CN110351239A (zh) * 2019-05-24 2019-10-18 平安普惠企业管理有限公司 一种基于区块链的电子合同存储方法及装置、电子设备
CN111801910A (zh) * 2017-12-15 2020-10-20 区块链控股有限公司 基于证明验证的用于认证链外数据的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801910A (zh) * 2017-12-15 2020-10-20 区块链控股有限公司 基于证明验证的用于认证链外数据的系统和方法
CN109684375A (zh) * 2018-12-07 2019-04-26 深圳市智税链科技有限公司 在区块链网络中查询交易信息的方法、记账节点和介质
CN110351239A (zh) * 2019-05-24 2019-10-18 平安普惠企业管理有限公司 一种基于区块链的电子合同存储方法及装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武卿: "区块链真相", vol. 1, 31 August 2019, 机械工业出版社, pages: 19 - 21 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116112458A (zh) * 2023-02-09 2023-05-12 网易(杭州)网络有限公司 通信方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11444777B2 (en) Method and system for providing validated, auditable, and immutable inputs to a smart contract
US20200382490A1 (en) Method and system for trustworthiness using digital certificates
US10812274B2 (en) Transferring ledger assets between blockchains via pegged sidechains
US20200027066A1 (en) Blockchain-Based Digital Token Utilization
US20210049715A1 (en) Blockchain-based data procesing method, apparatus, and electronic device
WO2022046313A1 (en) Cryptographic-asset collateral management
KR101937220B1 (ko) 키 관리가 필요없는 블록체인을 기반한 전자서명 또는 메시지 인증 코드를 생성 및 검증 방법
US11443307B2 (en) Cross-border resource transfer authenticity verification method, device and electronic equipment
US20190073645A1 (en) Systems and Methods of Decentralized Geospatial Data Gathering
CN112261020B (zh) 一种分布式远程外包数据审计方法
US11570005B2 (en) Systems and methods for proving immutability of blockchains
CN115456773A (zh) 基于区块链的支付控制方法、装置、设备及介质
CN110210857B (zh) 一种基于公有链的通证交易方法及装置
CN110930158A (zh) 一种基于奖惩机制的区块链DPoS共识方法
CN113222744A (zh) 一种数据可信处理的方法、装置、存储介质及电子设备
CN112132669A (zh) 在线拍卖系统、方法、装置和电子设备
CN113034275A (zh) 一种基于区块链网络的管理系统、方法及终端设备
CN111209542A (zh) 一种权限管理方法、装置、存储介质及电子设备
CN115052007A (zh) 一种云存储数据完整性可溯源公开验证方法、系统及终端
CN110910091A (zh) 一种数据处理方法、设备及介质
CN114462998A (zh) 一种日志防篡改方法、系统及存储介质
CN111383092A (zh) 基于区块链的云计算大数据信贷额度估计方法及系统
CN112967049B (zh) 通过区块链发行应收账款的方法及装置
CN117273926A (zh) 数字藏品平台交易系统
CN116644480A (zh) 基于区块链的询证信息处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination