CN111444194B - 一种块链式账本中索引的清除方法、装置及设备 - Google Patents

一种块链式账本中索引的清除方法、装置及设备 Download PDF

Info

Publication number
CN111444194B
CN111444194B CN202010537110.7A CN202010537110A CN111444194B CN 111444194 B CN111444194 B CN 111444194B CN 202010537110 A CN202010537110 A CN 202010537110A CN 111444194 B CN111444194 B CN 111444194B
Authority
CN
China
Prior art keywords
data
block
index
record
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537110.7A
Other languages
English (en)
Other versions
CN111444194A (zh
Inventor
俞本权
杨新颖
张渊
李亿泽
闫文远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010537110.7A priority Critical patent/CN111444194B/zh
Publication of CN111444194A publication Critical patent/CN111444194A/zh
Application granted granted Critical
Publication of CN111444194B publication Critical patent/CN111444194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Abstract

公开了一种块链式账本中索引的清除方法、装置及设备。通过本说明书实施例中所提供的方案,针对被清除部分数据块的账本,在接收到用户的操作指令时,即根据用户的操作指令中所包含的业务属性在索引中进行查询,进而获取账本的当前最小块高,并针对索引记录的值中块高小于账本最小块高的位置信息进行清除。

Description

一种块链式账本中索引的清除方法、装置及设备
技术领域
本说明书实施例涉及信息技术领域,尤其涉及一种块链式账本中索引的清除方法、装置及设备。
背景技术
在中心化的数据库服务方以块链式的账本对外提供服务时,账本中记录了相关用户所需要保存的相关数据记录。同时,基于用户的业务需求,还会根据用户的业务属性创建相应的索引,以便进行后续诸如查询、验证等操作。用户可能会需要对自己账本中的冗余数据进行相应的清除,因此需要对账本的索引所包含的信息同时进行相应的清除,以保障账本中信息的一致性。
发明内容
本申请实施例的目的是提供一种块链式账本中对索引中的相关信息进行清除的方案。
为解决上述技术问题,本申请实施例是这样实现的:
一种块链式账本中索引的清除方法,应用于通过块链式账本存储数据的数据库服务端,包括:
接收用户的操作指令,其中,所述操作指令中包含有业务属性;
根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息,其中,所述位置信息包含数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量;
获取所述块链式账本中的当前最小块高;
在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息。
对应的,本说明书实施例还提供一种块链式账本中索引的清除装置,应用于通过块链式账本存储数据的数据库服务端,包括:
指令接收模块,接收用户的操作指令,其中,所述操作指令中包含有业务属性;
查询模块,根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息,其中,所述位置信息包含数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量;
获取模块,获取所述块链式账本中的当前最小块高;
清除模块,在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息。
通过本说明书实施例中所提供的方案,针对被清除部分了数据块的账本,在接收到用户的操作指令时,即根据用户的操作指令中所包含的业务属性在索引中进行查询,进而获取账本的当前最小块高,并针对索引记录的值中块高小于账本最小块高的位置信息进行清除,以保持账本和索引中信息的一致性的同时,合理的配置系统资源,避免系统短时间内过载,提高系统的稳定性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书实施例。
此外,本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本说明书实施例所涉及的系统架构示意图;
图2为本说明书实施例所提供的一种生成块链式账本的流程示意图;
图3为本说明书实施例所提供的一种数据块的块头的示意图;
图4是本说明书实施例提供的一种数据记录的索引创建方法的流程示意图;
图5为本说明书实施例所提供的一种链式账本中索引的清除方法的流程示意图;
图6是本说明书实施例提供的一种块链式账本中索引的清除装置的结构示意图;
图7是用于配置本说明书实施例方法的一种设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于保护的范围。
首先对本说明书实施例中所涉及的块链式账本进行说明。数据库服务端面向的常常为各种机构,各机构则可以将它们与第三方用户(包括其它机构或者个人)之间所产生的数据记录在数据库服务方进行存储。如图1所示,图1为本说明书实施例所涉及的系统架构示意图。在该示意图中,一个企业机构可以面向多名用户,而每个用户均可以通过其对应的企业机构向数据库服务提供方进行查询。
例如,数据库服务端对接的机构是某金融产品公司,数据记录可以是个人用户在该金融产品公司的理财记录;或者,对接的机构可以是政府部门,其中的数据记录是政府部门对于该部门所管理的公共项目的开销明细;或者,数据库服务方对接的机构是某个医院,其中的数据记录是病人的病历;或者,数据库服务方对接的机构是第三方支付机构,数据记录可以是个人用户通过该机构的支付记录,等等。
在中心化的数据库服务端,块链式的账本通过如下方式生成,如图2所示,图2为本说明书实施例所提供的一种生成块链式账本的流程示意图,包括:
S201,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性。
如前所述,此处的待存储的数据记录,可以是客户端个人用户的各种消费记录,也可以是应用服务器基于用户的指令,在执行业务逻辑时产生的业务结果、中间状态以及操作记录等等。具体的业务场景可以包括消费记录、审计日志、供应链条、政府监管记录、医疗记录等等。
在本说明书实施例中,数据记录中包含有业务属性,在每个与数据库服务方对接的机构中,所述业务属性在所述对接机构中,一般而言是唯一存在的,业务属性基于不同的业务场景,可以包括用户名、用户身份证号、驾照编号、手机号、项目唯一编号等等。
例如,对于第三方支付机构而言,数据记录是用户的消费记录,此时的业务属性即为用户标识(包括手机号、身份证号、用户名等等),或者对该用户标识进行哈希算法所得到的哈希值;或者,对于政府机构而言,数据记录为多个公共项目的开销流水,则此时的业务属性可以为每个项目的唯一编号。
业务属性可以存储于数据记录中的指定字段(例如,数据记录的头部或者尾部),从而可以方便数据库服务端以及用户从中获取该数据记录的业务属性。
需要说明的是,在同一账本中,可以包含有多条数据记录。这些数据记录的业务属性则很可能是不一样的。例如,在一个账本面向多个用户开放时,数据记录可能来源于不同的用户,若业务属性为用户标识, 则容易理解不同的数据记录中常常包含了不同的用户标识。
S203,当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块。
所述预设的成块条件包括:待存储的数据记录数量达到数量阈值,例如,每接收到一千条数据记录时,生成一个新数据块,将一千条数据记录写入块中;或者,距离上一次成块时刻的时间间隔达到时间阈值,例如,每隔5分钟,生成一个新数据块,将在这5分钟内接收到的数据记录写入块中。
此处的N指的是数据块的序号,换言之,在本说明书实施例中,数据块是以块链的形式,基于成块时间的顺序先后排列,具有很强的时序特征。其中,数据块的块高基于成块时间的先后顺序单调递增。块高可以是序号,此时第N个数据块的块高即为N;块高也可以其它方式生成。
当N=1时,即此时的数据块为初始数据块。初始数据块的哈希值和块高基于预设方式给定。例如,初始数据块中不包含数据记录,哈希值则为任一给定的哈希值,块高blknum=0;又例如,初始数据块的生成触发条件与其它数据块的触发条件一致,但是初始数据块的哈希值由对初始数据块中的所有内容取哈希确定。
当N>1时,由于前一数据块的内容和哈希值已经确定,则此时,可以基于前一数据块(即第N-1个数据块)的哈希值生成当前数据块(第N个数据块)的哈希值,例如,一种可行的方式为,确定每一条将要写入第N个块中的数据记录的哈希值,按照在块中的排列顺序,生成一个默克尔树,将默克尔树的根哈希值和前一数据块的哈希值拼接在一起,再次采用哈希算法,生成当前块的哈希值。又例如,还可以按照块中数据记录的顺序进行拼接并取哈希得到整体数据记录的哈希值,拼接前一数据块的哈希值和整体数据记录的哈希值,并对拼接得到的字串进行哈希运算,生成数据块的哈希值。
用户在上传数据成功后,即可以得到对应的数据记录的哈希值以及所处的数据块的哈希值,并保存,并且可以基于该哈希值发起完整性验证。具体的验证方式包括重新计算数据记录自身的哈希值以及所处的数据块的哈希值,与本地所保存的进行对比。
上述方式生成的数据块,可以包括块头和块体两个部分。块体中可以用于存储拼接数据的明文,或者拼接数据的哈希值等等;块头中可以用于存储有关本数据块的元数据,例如,账本的版本号,前一数据块的哈希值,自身数据块中的拼接数据所组成的默克尔树的根哈希值,自身数据块的哈希值,用于记录拼接数据的被操作状态的状态数组等等。如图3所示,图3为本说明书实施例所提供的一种数据块的块头的示意图。
通过前述的数据块的生成方式,每一个数据块通过哈希值确定,数据块的哈希值由数据块中的数据记录的内容、顺序以及前一数据块的哈希值决定。用户可以随时基于数据块的哈希值发起完整性验证,对于数据块中任何内容(包括对于数据块中数据记录内容或者顺序的修改)的修改都会造成在验证时计算得到的数据块的哈希值和数据块生成时的哈希值不一致,而导致验证失败,从而实现了中心化下的不可篡改。
完整性验证包括对于一个数据块的完整性验证,即,根据数据块中数据记录的哈希值重新组成默克尔树,计算默克尔树的根哈希值,并且根据默克尔树的根哈希值与前一数据块的哈希值重新计算该数据块的哈希值,与事先保存的数据块的哈希值进行一致性对比。
完整性验证还可以包括对于若干连续数据块的完整性验证,即根据数据块的块头中所保存的默克尔树的根哈希值与前一数据块的哈希值重新计算该数据块的哈希值,并与事先保存的数据块的哈希值进行对比。
完整性验证还可以包括对某条数据记录进行的完整性验证。在块链式账本中,对于数据记录的完整性进行验证时,一种方式可以是:确定数据记录所处的数据块,并且根据该数据块中的数据记录构建默克尔树,并计算当前的默克尔树的根哈希值,从而可以与块头中所存储的默克尔树的根哈希值进行一致性对比,若不一致,则说明该数据记录已经被篡改。
另一种方式则可以是,在用户或者对接机构将数据记录上传服务端时,自己本地保存有数据记录的备用副本或者备用副本的哈希值,从而可以计算该数据记录的当前哈希值,并且与备用副本的哈希值进行一致性对比,以实现完整性验证。
通过前述的数据块的生成方式,每一个数据块通过哈希值确定,数据块的哈希值由数据块中的数据记录的内容、顺序以及前一数据块的哈希值决定。用户可以随时基于数据块的哈希值发起验证,对于数据块中任何内容(包括对于数据块中数据记录内容或者顺序的修改)的修改都会造成在验证时计算得到的数据块的哈希值和数据块生成时的哈希值不一致,而导致验证失败,从而实现了中心化下的不可篡改。
如前所述,这些数据记录在写入账本时虽然已经有了较强的时序特征,但是对于用户而言,其数据记录通常是分散式的存储在多个数据块中的。例如,医院对于所有病人的病历记录按照时间产生的顺序,依次上传。而对于医院的某个用户而言,其病史可能有多条,时间间隔又比较大,如果医院或者该用户需要从账本中将该用户的数据记录挑选出来,则需要根据之前在存储时所确定的每条病历记录的哈希值从账本中进行查询,很不方便。
基于此,本说明书实施例提供一种数据记录的索引创建方法,创建出以业务属性为主键的倒排索引,方便对接机构的业务处理,提高用户体验。如图4所示,图4是本说明书实施例提供的一种数据记录的索引创建方法的流程示意图,该流程具体包括如下步骤:
S401,获取数据记录中的业务属性。
在每个与数据库服务方对接的机构中,所述业务属性在所述对接机构中,一般而言是唯一存在的,业务属性基于不同的业务场景,可以包括用户名、用户身份证号、驾照编号、手机号、项目唯一编号等等。
例如,对于第三方支付机构而言,数据记录是用户的消费记录,此时的业务属性即为用户标识(包括手机号、身份证号、用户名等等),或者对该用户标识进行哈希算法所得到的哈希值;或者,对于政府机构而言,数据记录为多个公共项目的开销流水,则此时的业务属性可以为每个项目的唯一编号。
业务属性的具体位置以及获取方式可以是数据库服务方和对接机构事先协商。例如,对接机构所提供的数据记录为标准结构化的数据记录时,业务属性可以从数据记录中指定偏移量获取,或者由特定字符标识起始位置和结束位置;又或者,对接机构所提供的数据记录为非结构化的数据时,在对接机构上传时可以直接在每条数据记录的开头拼接上包含业务属性的头部,数据库服务方可以直接从头部获取每条数据记录的业务属性。
S403,确定所述数据记录在账本中的位置信息,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
如前所述,一个块链式的账本由多个数据块组成,同时,一个数据块中通常包含多个数据记录。因此,在本说明书实施例中,所述的位置信息具体指的是一条数据记录被保存时,处于账本中的哪个数据块上,以及,在该数据块中的什么位置。
在本说明书实施例所提供的数据块中,可以有多种方式用来标识不同的数据块,包括数据块的哈希值或者块高。
数据块的哈希值为根据前一区块哈希值和自身数据记录进行哈希计算而得到的哈希值,可以用于唯一、明确地标识一个数据块。在块链式的账本中,通常第一个数据块其块高为0,以后每增加一个数据块,块高加1;或者,还可以将数据块的成块时间转换为一个大的单调递增整型数据(一般为12至15位)序列,作为数据块的块高。因此,一个数据块通常有一个明确的块高。
又例如,在一个已经确定的要写入数据库的数据块,其中数据记录的排序也已经固定,因此一个数据记录在该数据块中的序号也是明确的,在数据记录的长度为固定单位时,序号同样可以用于明确该数据记录在其所处的数据块中的位置信息。即,序号同样也可以用于指示偏移量。
同时,在一个数据块中,由于通常包含了多个数据记录,因此,还可以用各数据记录在该数据块中的地址偏移量来分别标识数据块中的数据记录。显而易见,在同一个数据块中,各数据记录的地址偏移量并不相同。
当然,由于在本说明书实施例所提供的方式中,数据块的具体格式是可以自定义的(例如,数据块的块头中所包含的元数据信息和备注信息,数据块的块高所采取的形式等等),在不同的格式下,位置信息的内容也会有所不同,这并不构成对本方案的限定。
S405,建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
即,该索引是一个倒排索引。在该索引中,主键是数据记录中所包含的业务属性。具体的写入方式为,当索引中的主键不包含所述业务属性时,在索引表中创建以所述业务属性为主键的索引记录。
当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录。需要说明的是,此处的写入不是覆盖性的写入,而是将位置信息添加到该索引记录的值中,与其它位置信息并列存在与该索引记录的值中。
如表1所示,表1为本说明书实施例所提供的一种示例性索引表。其中Key(主键)即为业务属性的具体值,Value(值)部分的每个数组即为一条位置信息,每个数组中的前部分块高,后部分为数据记录在该数据块中的序号,通过块高和序号即可以唯一的确定一条数据记录。容易理解,在索引表中,一个key所对应的值中可以包含多个位置信息。
Figure 219387DEST_PATH_IMAGE001
通过本说明书实施例所提供的方案,对于写入账本的数据记录,确定出数据记录的业务属性,以及在账本中的存储位置,建立起二者的对应关系,创建以业务属性为主键的倒排索引,不必了解用户的业务详情,从索引中即可以基于业务属性对于数据记录进行相应统计,以及后续的查询和验证。
在索引表中,由于一个业务属性可以对应于多个位置信息(即对应于多个数据记录),在将位置信息写入索引中时,还可以将位置信息按照数据记录在账本中的先后顺序依次进行排列,有利于用户的查询以及验证。数据记录在账本中的先后顺序即可以数据记录被写入账本的时间戳(即数据块的成块时间戳)来体现,以及,对于同一数据块中的数据记录,则可以通过在数据块中的排序先后来体现。
前述部分对于块链式账本和索引进行了说明。在实际应用中,由于用户的数据不断的增加,导致存储空间占用的越来越多,或者一些较长时间的历史数据对于用户已经不再有价值此时,数据库服务方还可以基于用户的需求,对数据块进行相应的部分清除,例如,对于账本中的前100个数据块进行清除。
首先需要说明的是,清除并不完全相当于普通数据库中的删除。清除是从账本的初始数据块至指定的数据块视为一个整体,进行整体性的进行移除。这种移除也通常不是完全意义上的删除,而是将其移动到可被找回的次级存储单元中,只是在对账本进行相应的查询、验证以及统计时不再使用到这部分被清除的数据块。
例如,用户指定账本ID以及块高,服务方基于块高确定块高之前的数据块均为需要清除的数据块,然后清除这些确定需要清除的数据块,具体的,可以由清除指令PURGE(lgid,blkbound) 实现。其中的“lgid”为账本ID,“blkbound”为块高。
又例如,用户指定账本ID以及时间点,服务方基于时间点确定在该时间点之前最后一个生成的数据块,将该数据块之前生成的数据块均确定为需要清除的数据块,然后清除这些确定需要清除的数据块,具体的,可以由清除指令PURGE(lgid, ‘timestmp’) 实现。其中的“timestmp”为时间点。
由于清除后的数据块链的第一个数据块的哈希值是基于前一数据块的哈希值生成的,此时,还需要生成一个伪初始数据块,伪初始数据块的哈希值等于被确定的需要清除的最后一个数据块的哈希值,这样,可以避免在以后进行验证时出现错误。最后一个数据块的哈希值可以从预先建立的索引中查询获取,也可以从初始数据块开始进行顺序计算得到该数据块的哈希值,或者从该数据块中查询获取。
需要说明的是,账本中从初始数据块开始进行部分清除之后,所得到的新的账本中的数据块并不会被改变。例如,假设一个账本中是以自然数序列作为每个数据块的块高,并且针对前100个数据块进行了删除。从而新生成的伪初始数据块即以“100”作为自身的块高,而后续数据块的块高仍然将是“101”,“102”等等,从而保障针对数据记录或者数据块的验证不会出现系统错误。
对于账本中的数据块进行了部分清除之后,即需要保障索引和数据块中的信息的一致性。此时可以在接收到用户的清除指令时即根据清除指令中所包含的参数进行同步的索引清除,以实现一致性。
在实际应用中,由于对账本的“清除”和索引的清除本身都需要消耗较多的资源,特别在用户可能包含较多的业务属性时,进行遍历式的对位置信息进行搜索,将会需要消耗大量系统开销,如果还同时进行索引中的位置信息进行清除,将会增加系统的负载。因此,此时可以先对账本清除进行处理,在账本清除结束之后再进行索引清除。
基于此,本说明书实施例提供一种块链式账本中索引的清除方方案,应用于已经被清除了部分数据块的账本,但账本对应的索引中还未清除位置信息的场景下。如图5所示,图5为本说明书实施例所提供的一种链式账本中索引的清除方法的流程示意图,该流程包括以下步骤:
S501,接收用户的操作指令,其中,所述操作指令中包含有业务属性。
接收到的操作指令可以是另一个清除指令,但是在实际应用中,通常用户并不会连续发送两个清除指令对账本中的数据块进行清除。更通常的情形下,用户在清除指令后都会发送诸如查询SELECT、添加数据APPEND等消耗系统资源较少的指令。
换言之,在一种实施例中,还可以限定作为触发执行索引清除的操作指令不包含有清除指令,以及,还可以限定作为触发执行索引清除的操作指令是某些特定的指令,例如仅在接收到查询SELECT指令之后进行索引清除。
此外,需要说明的是,业务属性的唯一性指的是同一个业务属性只会有一个对应的物理解释,而不是指同一个账本中业务属性的取值唯一。例如,一个身份证号只能指代一个现实的人物身份,但是在医院机构的病历账本中,则可能有多个不同的身份证号。
同时,即使是在仅有一个用户有操作权限的账本中的数据块中,也并不是每条数据记录都会包含有业务属性。例如,账本中用于记录一个用户通过第三方支付客户端进行金融产品的买入/卖出等数据记录时,其中的业务属性可以是用户重点关注某一个或者某个几个金融产品的名称或者编号,而对于其它的数据记录则不包含业务属性。
在一种场景下,用户发送过来的操作指令中还有可能不包含业务属性,在这种情形下,则不会触发后续的索引清除。
S503,根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息。
索引的创建方式在前述部分已经进行了说明,此处不再赘述。获取得到位置信息应当是业务属性所对应的全量的位置信息。
例如,假设用户的操作指令中包含有业务属性“0X123456”,则此时获取得到的位置信息即为其所对应的四个位置信息“(2,08),(2,10),(300,89),(300,999)”。
S505,获取所述块链式账本中的当前最小块高。
在一种实施例中,每次账本中进行数据块的清除之后,即可以对已经被清除的数据块进行清除点(清除点用于表征块高在该数值之前的数据块已经被清除)的记录,并写入相应的配置文件中。因此,可以从配置文件中直接获取2清除点,并将其作为块链式账本中的当前最小块高。
在一种实施例中,如前所述,每次账本中进行数据块的清除之后,都会创建一个新的伪初始数据块,由于账本中数据块的块高是单调递增的,显然伪初始数据块的块高即为当前最小块高。
在实际应用中,伪初始数据块的块高即为已经被清除的数据块中的最后一个数据块的块高,并且被记载在伪初始数据块的块头中,因此,可以直接从伪初始数据块的块头中获取初始数据块的块高,并确定为当前最小块高。
S507,在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息。
续前例而言,假设账本中前100个数据块已经被清除完毕。如果用户再发送包含有业务属性“0X123456”的操作指令,则此时即可以直接在表1中以“0X123456”为主键的索引记录中清除掉位置信息“(2,08),(2,10)”。
在一种实施例中,由于索引记录中的值中所包含的位置信息可能均被清除,此时若清除所述位置信息后的索引记录的值为空,删除所述索引记录,避免索引中的无效记录占用空间,节省资源。
在一种实施例中,如果用户的一条操作指令中包含了多个业务属性,由于在索引中每个业务属性所对应的位置是互相不影响的,因此可以对每个业务属性所对应的位置信息分别进行独立的查询,并进行后续的索引清除。
通过本说明书实施例中所提供的方案,针对被清除部分了数据块的账本,在接收到用户的操作指令时,即根据用户的操作指令中所包含的业务属性在索引中进行查询,进而获取账本的当前最小块高,并针对索引记录的值中块高小于账本最小块高的位置信息进行清除,以保持账本和索引中信息的一致性的同时,合理的配置系统资源,避免系统短时间内过载。
对应的,本说明书实施例还提供一种块链式账本中索引的清除装置,应用于通过块链式账本存储数据的数据库服务端,如图6所示,图6是本说明书实施例提供的一种块链式账本中索引的清除装置的结构示意图,包括:
指令接收模块601,接收用户的操作指令,其中,所述操作指令中包含有业务属性;
查询模块603,根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息,其中,所述位置信息包含数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量;
获取模块605,获取所述块链式账本中的当前最小块高;
清除模块607,在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息。
进一步地,所述装置还包括索引创建模块609,获取数据记录中的业务属性;确定所述数据记录在账本中的位置信息;建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
进一步地,所述索引创建模块609,当所述索引中的主键不包含所述业务属性时,在所述索引表中创建以所述业务属性为主键,以所述位置信息为值的索引记录;当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
进一步地,所述索引创建模块609,确定数据记录的时间戳;在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值。
进一步地,所述获取模块605,获取所述块链式账本中的伪初始数据块,将伪初始数据块的块高确定为所述块链式账本中的当前最小块高。
进一步地,所述清除模块607还用于,若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
进一步地,所述装置还包括数据块生成模块611,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
进一步地,所述预设的成块条件包括:待存储的数据记录数量达到数量阈值;或者,距离上一次成块时刻的时间间隔达到时间阈值。
本说明书实施例还提供一种计算机设备,其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行所述程序时实现图5所示的索引的清除方法。
图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现图5所示的索引的清除方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、方法、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (15)

1.一种块链式账本中索引的清除方法,应用于通过块链式账本存储数据的数据库服务端,包括:
接收用户的操作指令,其中,所述操作指令中包含有业务属性;
根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息,其中,所述位置信息包含数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量;
获取所述块链式账本中的当前最小块高;
在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息;
其中,所述索引通过如下方式预先建立:
获取数据记录中的业务属性;确定所述数据记录在账本中的位置信息;建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
2.如权利要求1所述的方法,写入以所述业务属性为主键,以位置信息为值的索引,包括:
当所述索引中的主键不包含所述业务属性时,在所述索引中创建以所述业务属性为主键,以所述位置信息为值的索引记录;
当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
3.如权利要求2所述的方法,将所述位置信息写入所述业务属性所处的索引记录的值中,包括:
确定数据记录的时间戳;
在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值中。
4.如权利要求1所述的方法,获取所述块链式账本中的当前最小块高,包括:
获取所述块链式账本中的伪初始数据块,将伪初始数据块的块高确定为所述块链式账本中的当前最小块高。
5.如权利要求1所述的方法,还包括:
若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
6.如权利要求1所述的方法,在中心化的数据库服务提供方,数据块通过如下方式预先生成:
接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;
当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
7.如权利要求6所述的方法,所述预设的成块条件包括:
待存储的数据记录数量达到数量阈值;或者,
距离上一次成块时刻的时间间隔达到时间阈值。
8.一种块链式账本中索引的清除装置,应用于通过块链式账本存储数据的数据库服务端,包括:
指令接收模块,接收用户的操作指令,其中,所述操作指令中包含有业务属性;
查询模块,根据所述业务属性在预先建立的索引中查询所述业务属性所对应的位置信息,其中,所述位置信息包含数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量;
获取模块,获取所述块链式账本中的当前最小块高;
清除模块,在所述索引中,清除所述业务属性所对应的位置信息中包含的块高不超过所述最小块高的位置信息;
索引创建模块,获取数据记录中的业务属性;确定所述数据记录在账本中的位置信息;建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
9.如权利要求8所述的装置,所述索引创建模块,当所述索引中的主键不包含所述业务属性时,在所述索引中创建以所述业务属性为主键,以所述位置信息为值的索引记录;当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
10.如权利要求8所述的装置,所述索引创建模块,确定数据记录的时间戳;在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值中。
11.如权利要求8所述的装置,所述获取模块,获取所述块链式账本中的伪初始数据块,将伪初始数据块的块高确定为所述块链式账本中的当前最小块高。
12.如权利要求8所述的装置,所述清除模块还用于,若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
13.如权利要求8所述的装置,还包括数据块生成模块,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
14.如权利要求13所述的装置,所述预设的成块条件包括:待存储的数据记录数量达到数量阈值;或者,距离上一次成块时刻的时间间隔达到时间阈值。
15.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。
CN202010537110.7A 2020-06-12 2020-06-12 一种块链式账本中索引的清除方法、装置及设备 Active CN111444194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537110.7A CN111444194B (zh) 2020-06-12 2020-06-12 一种块链式账本中索引的清除方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537110.7A CN111444194B (zh) 2020-06-12 2020-06-12 一种块链式账本中索引的清除方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111444194A CN111444194A (zh) 2020-07-24
CN111444194B true CN111444194B (zh) 2020-10-30

Family

ID=71655539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537110.7A Active CN111444194B (zh) 2020-06-12 2020-06-12 一种块链式账本中索引的清除方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111444194B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364010B (zh) * 2021-01-12 2021-04-23 支付宝(杭州)信息技术有限公司 一种重要业务记录的存在性验证方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059084A (zh) * 2019-01-31 2019-07-26 阿里巴巴集团控股有限公司 一种数据存储方法、装置及设备
CN110188096A (zh) * 2019-04-18 2019-08-30 阿里巴巴集团控股有限公司 一种数据记录的索引创建方法、装置及设备
CN110442577A (zh) * 2019-07-15 2019-11-12 杭州复杂美科技有限公司 一种状态数据存储、查询和管理方法、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569141B2 (en) * 2014-03-28 2017-02-14 Intel Corporation Hash map support in a storage device
US10915513B2 (en) * 2016-07-20 2021-02-09 International Business Machines Corporation Archival of data in a relational database management system using block level copy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059084A (zh) * 2019-01-31 2019-07-26 阿里巴巴集团控股有限公司 一种数据存储方法、装置及设备
CN110188096A (zh) * 2019-04-18 2019-08-30 阿里巴巴集团控股有限公司 一种数据记录的索引创建方法、装置及设备
CN110442577A (zh) * 2019-07-15 2019-11-12 杭州复杂美科技有限公司 一种状态数据存储、查询和管理方法、设备及存储介质

Also Published As

Publication number Publication date
CN111444194A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN110188096B (zh) 一种数据记录的索引创建方法、装置及设备
CN110162526B (zh) 一种块链式账本中数据记录的查询方法、装置及设备
CN110162662B (zh) 一种块链式账本中数据记录的验证方法、装置及设备
CN110825737A (zh) 索引创建和数据查询方法、装置及设备
CN111444196B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN111352935B (zh) 一种块链式账本中的索引创建方法、装置及设备
CN110347679B (zh) 一种基于收据的数据存储方法、装置及设备
CN110837502B (zh) 一种块链式账本中的数据存储方法、装置及设备
CN110716965B (zh) 一种块链式账本中的查询方法、装置及设备
CN111046069B (zh) 一种块链式账本中的聚合计算方法、装置及设备
CN110349019B (zh) 一种块链式账本中的验证方法、装置及设备
CN110008743B (zh) 一种块链式账本中的数据属性标识方法、装置及设备
CN110879687B (zh) 一种基于磁盘存储的数据读取方法、装置及设备
CN110061843B (zh) 一种链式账本中的块高创建方法、装置及设备
US10999062B2 (en) Blockchain-type data storage
CN111046052B (zh) 一种数据库中的操作记录存储方法、装置及设备
CN110059088B (zh) 一种块链式账本中的数据属性标识方法、装置及设备
CN110750533A (zh) 一种基于多条业务属性的数据存储方法、装置及设备
CN110362570B (zh) 一种数据存储方法、装置及设备
CN111444194B (zh) 一种块链式账本中索引的清除方法、装置及设备
CN110059087B (zh) 一种块链式账本中的数据属性标识方法、装置及设备
CN110636042B (zh) 一种服务端已验证块高的更新方法、装置及设备
CN110688664B (zh) 一种块链式账本中的权限管理方法、装置及设备
CN111444195B (zh) 一种块链式账本中索引的清除方法、装置及设备
CN111444215A (zh) 一种块链式账本中的成块方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40034071

Country of ref document: HK