CN111694852A - 基于分布式事务的数据处理方法、装置、终端及存储介质 - Google Patents

基于分布式事务的数据处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111694852A
CN111694852A CN202010467837.2A CN202010467837A CN111694852A CN 111694852 A CN111694852 A CN 111694852A CN 202010467837 A CN202010467837 A CN 202010467837A CN 111694852 A CN111694852 A CN 111694852A
Authority
CN
China
Prior art keywords
transaction
database
data
block
block height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010467837.2A
Other languages
English (en)
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010467837.2A priority Critical patent/CN111694852A/zh
Priority to PCT/CN2020/099295 priority patent/WO2021114627A1/zh
Publication of CN111694852A publication Critical patent/CN111694852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及区块链技术领域，提供一种基于分布式事务的数据处理方法、装置、终端及存储介质，所述方法包括：获取区块高度校验请求携带的数据库标识；根据数据库标识确定用于执行区块高度校验操作的目标数据库；监听目标数据库的第一区块高度与原始数据库的第二区块高度；检测第一区块高度与第二区块高度是否一致；当检测结果为不一致时，计算目标数据库与原始数据库的区块高度差值，并从原始数据库中调取区块高度差值对应的交易数据；确定交易数据的交易类型，并根据交易类型匹配出对应属性的目标数据；存储目标数据至目标数据库中。通过本申请，能够避免网络异常等原因造成的数据读取异常的情况，从而提高数据读取准确性。

Description

基于分布式事务的数据处理方法、装置、终端及存储介质
技术领域
本发明涉及区块链技术领域，尤其涉及一种基于分布式事务的数据处理方法、装置、终端及存储介质。
背景技术
目前，区块链技术由于具有去中心化、开放性、自治性、信息不可篡改性及匿名性等重要特征而被广泛应用，各种不同的区块链技术纷纷涌现出来，区块链之间的互操作(也即跨链操作)成为了一个非常重要而又迫切的需求。例如，企业用户可能需要在不同的链之间进行业务迁移；普通用户可能需要在不同的链之间进行资产交换；央行的数字法币可能会需要在各个区块链上流通等。
跨链操作必然涉及到不同区块节点的交易数据增删改查，为了满足不同节点的交易数据的ACID(原子性、一致性、隔离性及持久性)特性，需要在跨链技术中引入分布式事务的操作。然而，由于网络延迟等原因，事务的关联数据库存储的交易数据量会出现不一致的情况，导致读事务操作无法读取到一致数据，造成数据读取异常。
因而，有必要提供一种方法，能够校验关联数据库的数据量是否一致，并对不一致的数据及时处理，从而增加数据读取准确性。
发明内容
鉴于以上内容，有必要提出一种基于分布式事务的数据处理方法、基于分布式事务的数据处理装置、终端及计算机可读存储介质，利用本申请，能够避免由于网络延迟等原因造成的数据读取异常的问题，增加数据读取准确性。
本发明实施例第一方面提供一种基于分布式事务的数据处理方法，应用于区块链的跨链操作中，所述基于分布式事务的数据处理方法包括：
当接收到区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；
根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；
监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；
检测所述第一区块高度与所述第二区块高度是否一致；
当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；
确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；
存储所述目标数据至所述目标数据库中。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，所述从所述原始数据库中调取所述区块高度差值对应的交易数据的步骤包括：
调取所述原始数据库中的区块文件；
反序列化所述区块文件中的原始交易数据；
获取所述原始交易数据携带的时间戳；
根据所述时间戳确定所述原始交易数据中与所述区块高度差值对应的交易数据。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，当所述目标数据库包括状态数据库、历史数据库及分布式事务数据库时，所述确定所述区块高度差值对应的交易数据的步骤包括：
计算所述目标数据库与所述原始数据库的区块高度差值集；
确定所述区块高度差值集中差值最大值；
调取所述差值最大值对应的交易数据；
根据所述差值最大值对应的交易数据分别确定所述原始数据库与所述状态数据库、所述历史数据库、所述分布式事务数据库的区块高度差值对应的交易数据。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，当所述目标数据库为状态数据库和/或历史数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：
当所述交易类型为普通交易时，获取所述普通交易对应交易数据的key值与value值；
当所述交易类型为分布式事务交易时，获取所述分布式事务交易的阶段性质，并根据所述阶段性质确定所述目标数据。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，所述根据所述阶段性质确定所述目标数据的步骤包括：
判断所述阶段性质是否处于第一阶段；
当判断结果为所述阶段性质处于第一阶段时，确定所述分布式事务交易在所述区块文件中的目标位置，并将所述目标位置写入Index数据库中；
当判断结果为所述阶段性质处于第二阶段时，确定所述分布式事务交易的交易状态，并当所述交易状态为committed时，根据分布式事务ID获取所述Index数据库中第一阶段对应的目标位置，并根据所述目标位置从所述区块文件中提取所述分布式事务交易的写集的数据key值与value值。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，当所述目标数据库为分布式事务数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：
判断所述分布式事务交易是否处于第一阶段；
当判断结果为所述分布式事务交易处于第一阶段时，获取所述分布式事务交易的读集与写集；
当判断结果为所述分布式事务交易处于第二阶段时，根据分布式事务ID确定并删除所述目标数据库中第一阶段对应交易的读集与写集。
进一步地，在本发明实施例提供的上述基于分布式事务的数据处理方法中，所述方法还包括：
调用监控进程获取当前区块链网络的网络数据，其中，所述网络数据包括网络连接数据与负载数据；
检测所述网络数据是否存在异常；
当检测结果为所述网络数据存在异常时，接收区块高度校验请求。
本发明实施例第二方面提供一种基于分布式事务的数据处理装置，应用于区块链的跨链操作中，所述基于分布式事务的数据处理装置包括：
标识获取模块，用于当接收到事务请求方输出的区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；
数据库确定模块，用于根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；
高度监听模块，用于监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；
高度检测模块，用于检测所述第一区块高度与所述第二区块高度是否一致；
数据调取模块，用于当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；
数据匹配模块，用于确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；
数据存储模块，用于存储所述目标数据至所述目标数据库中。
本发明实施例第三方面还提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述任意一项所述基于分布式事务的数据处理方法。
本发明实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述基于分布式事务的数据处理方法。
本发明实施例提供一种基于分布式事务的数据处理方法、基于分布式事务的数据处理装置、终端及计算机可读存储介质，当接收到区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；检测所述第一区块高度与所述第二区块高度是否一致；当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；存储所述目标数据至所述目标数据库中。利用本申请，通过对不同数据库的区块高度进行校验，能够发现区块高度不一致的数据库，并及时对区块高度不一致的数据库进行数据处理，能够避免网络异常等原因造成的数据读取异常的情况，从而提高数据读取准确性。
附图说明
图1是本发明第一实施方式提供的基于分布式事务的数据处理方法的流程图。
图2是本发明一实施方式的终端的结构示意图。
图3是图2所示的终端的示例性的功能模块图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例提供的基于分布式事务的数据处理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于分布式事务的数据处理方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
图1是本发明第一实施方式提供的基于分布式事务的数据处理方法的流程图。所述基于分布式事务的数据处理方法应用于区块链技术的跨链操作中，如图1所示，所述基于分布式事务的数据处理方法包括如下步骤：
S11、当接收到区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识。
在本发明的至少一实施例中，当区块链网络上发起新的读事务时，由事务请求方输出区块高度校验请求，用于请求校验关联数据库中的区块高度(也即交易数据的数据量)是否一致。所述区块高度是指区块链接在主链的个数，也即链接在区块链上的块数。所述区块高度可以用来标识区块在区块链上位置，所述区块高度中包含区块相关的基础属性与交易数据，其中，所述基础属性包括神奇数(区块之间的分隔符)、区块大小及版本号等信息；所述交易数据包括交易计数(当前区块所记录的交易数)及交易详情(例如，交易时间戳等)。
优选地，当区块链网络遇到某些突发性原因导致服务器当机，或由于服务器承载的压力过大时，才需要对关联数据库的区块高度进行校验。因而，为了减少区块高度的校验次数，提高事务处理效率，所述方法还包括：调用监控进程获取当前区块链网络的网络数据，其中，所述网络数据包括网络连接数据与负载数据；检测所述网络数据是否存在异常；当检测结果为所述网络数据存在异常时，执行区块高度校验操作。具体地，所述检测所述网络数据是否异常的步骤包括：检测所述网络连接数据中是否存在断开数据；当检测结果为所述网络连接数据存在断开数据时，确定所述网络数据存在异常。其中，所述断开数据为预设数据格式的数据，通过检测是否存在预设数据格式的数据能够确定是否存在断开数据。或者，所述检测所述网络数据是否异常的步骤还包括：检测所述负载数据是否超过预设负载数据阈值；当检测结果为所述负载数据超过预设负载数据阈值时，确定所述网络数据存在异常。所述预设负载数据阈值为预先设置的，能够保证区块链网络正常的阈值，所述预设负载数据阈值可以通过神经网络训练得到，也可以基于经验给出。
在本发明的至少一实施例中，所述区块高度校验请求中携带有数据库标识，所述数据库标识用于标识某一个数据库，所述数据库标识的具体形式可以根据实际需求配置，例如，所述数据库标识具体可以是数据库名称、数据库ID等。所述数据库标识的个数可以为一个，也可以为多个。在一实施例中，所述数据库标识的个数为3个，分别对应状态数据库、历史数据库以及分布式事务数据库。
S12、根据所述数据库标识确定用于执行区块高度校验操作的目标数据库。
在本发明的至少一实施例中，根据所述数据库标识确定用于执行区块高度校验操作的目标数据库，所述目标数据库可以为状态数据库、历史数据库以及分布式事务数据库中的一个或多个。其中，所述状态数据库中存储有不同交易类型交易的当前状态信息，所述交易类型可以包括普通交易与分布式事务交易，所述当前状态信息为该交易的最新状态信息，包括：正在执行(running)、正在准备(preparing)、正在提交(committing)、正在回滚(aborting)、提交完成(committed)以及回滚完成(aborted)等状态。所述历史数据库中存储有不同交易类型交易的历史状态信息。所述分布式事务数据库中存储有交易类型为分布式事务的交易数据。
S13、监听所述目标数据库的第一区块高度与原始数据库的第二区块高度。
在本发明的至少一实施例中，所述原始数据库中存储有原始交易数据，所述原始数据库中存储的交易数据是完整的，不会出现遗漏的情况。因而，可以通过区块高度监听器监听每一所述目标数据库的第一区块高度与原始数据库的第二区块高度来判断所述目标数据库中的交易数据是否完整。所述区块高度监听器可以用于监听数据库中的交易数据。所述区块高度监听器的个数可以为一个，也可以为需要执行区块高度校验的目标数据库的个数。
S14、检测所述第一区块高度与所述第二区块高度是否一致，当检测结果为所述第一区块高度与所述第二区块高度不一致时，执行步骤S15。
在本发明的至少一实施例中，检测所述第一区块高度与所述第二区块高度是否一致，当检测结果为所述第一区块高度与所述第二区块高度一致时，向所述事务请求方返回区块高度一致的结果。可以理解的是，对于目标数据库的第一区块高度与原始数据库的第二区块高度一致的情况，此时若区块链网络上有新的读事务操作时，不会产生数据读取异常的情况。
S15、计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据。
在本发明的至少一实施例中，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据。具体地，所述从所述原始数据库中调取所述区块高度差值对应的交易数据的步骤包括：调取所述原始数据库中的区块文件；反序列化所述区块文件中的原始交易数据；获取所述原始交易数据携带的时间戳；根据所述时间戳确定所述原始交易数据中与所述区块高度差值对应的交易数据。其中，所述区块文件中存储有原始交易数据，所述原始交易数据经序列化处理后存储至所述区块文件中，序列化规则可以包括Protobuf协议、Thrift协议或Java serialization协议中的一种或多种，在此不做限制。调用与所述序列化规则对应的反序列化规则对所述原始交易数据进行反序列处理，从而得到能够查看与分析的原始交易数据。
优选地，当所述目标数据库的个数为多个时(例如，当所述目标数据库包括状态数据库、历史数据库及分布式事务数据库时)，为了获取所述目标数据库与所述原始数据库的区块高度差值，需要多次读取所述区块文件，数据处理效率较低。为了减少对所述区块文件的读取次数，提高数据处理效率，所述确定所述区块高度差值对应的交易数据的步骤包括：计算所述目标数据库与所述原始数据库的区块高度差值集；确定所述区块高度差值集中差值最大值；调取所述差值最大值对应的交易数据；根据所述差值最大值对应的交易数据分别确定所述原始数据库与所述状态数据库、所述历史数据库、所述分布式事务数据库的区块高度差值对应的交易数据。
示例性地，当所述原始数据库的第二区块高度为100时，对应的所述状态数据库的第一区块高度为97，所述历史数据库的第一区块高度为95，所述分布式事务数据库的第一区块高度为93。由此可知，所述原始数据库与所述状态数据库、历史数据库、分布式事务数据库的区块高度差值分别为3,5,7。由于最大的区块高度差值为7，则从所述原始数据库中调取区块高度为94-100的区块对应的交易数据。可以理解的是，通过一次调取所述最大值对应的交易数据，并将调取的数据依次存储至对应的目标数据库中，能够一次读取所述区块文件，减少了区块文件反序列化的处理过程，提高了数据处理效率。
S16、确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据。
确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据。所述交易类型包括普通交易与分布式事务交易。对于分布式事务交易，其整个交易过程是基于二阶段协议进行的，因而，本申请提供的基于分布式事务的数据处理方法也基于二阶段协议进行。
在本发明的至少一实施例中，当所述目标数据库为状态数据库和/或历史数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：当所述交易类型为普通交易时，获取所述普通交易对应交易数据的key值与value值；当所述交易类型为分布式事务交易时，获取所述分布式事务交易的阶段性质，并根据所述阶段性质确定所述目标数据。所述阶段性质包括第一阶段与第二阶段。
具体地，所述根据所述阶段性质确定所述目标数据的步骤包括：判断所述阶段性质是否处于第一阶段；当判断结果为所述阶段性质处于第一阶段时，确定所述分布式事务交易在所述区块文件中的目标位置，并将所述目标位置写入Index数据库中(此时，并不需要将分布式事务交易的key值与value值写入目标数据库中)；当判断结果为所述阶段性质处于第二阶段时，确定所述分布式事务交易的交易状态，并当所述交易状态为committed时，根据分布式事务ID获取所述Index数据库中第一阶段对应的目标位置，并根据所述目标位置从所述区块文件中提取所述分布式事务交易的写集的数据key值与value值。其中，所述分布式事务交易在第二阶段的交易状态还包括aborted，当所述交易状态为aborted状态时，无需读取数据。
在本发明的至少一实施例中，当所述目标数据库为分布式事务数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：判断所述分布式事务交易是否处于第一阶段；当判断结果为所述分布式事务交易处于第一阶段时，获取所述分布式事务交易的读集与写集；当判断结果为所述分布式事务交易处于第二阶段时，根据分布式事务ID确定并删除所述目标数据库中第一阶段对应交易的读集与写集。通过将处于第一阶段的分布式事务交易的读集与写集存储至分布式事务数据库中，能够将这部分数据锁住，避免其他交易更改这部数据。当分布式事务交易处于第二阶段时，删除所述目标数据库中第一阶段对应交易的读集与写集，将此部分数据解锁。
可以理解的是，当交易类型为普通交易时，无需将普通交易的交易数据存储至所述分布式事务数据库中。
S17、存储所述目标数据至所述目标数据库中。
在本发明的至少一实施例中，存储所述目标数据至所述目标数据库中，从而使得所述目标数据库的第一区块高度与所述原始数据库的第二区块高度一致。
当所述目标数据库为状态数据库和/或历史数据库时，所述存储所述目标数据至所述目标数据库中的步骤包括：将普通交易的交易数据的key值与value值存储至所述状态数据库和/或历史数据库；将处于第二阶段且交易状态为committed的分布式事务交易的写集的数据key值与value值存储至所述状态数据库和/或历史数据库。当所述目标数据库为分布式事务数据库时，将处于第一阶段的分布式事务交易的读集与写集存储至所述分布式事务数据库中。
本发明实施例提供的一种基于分布式事务的数据处理方法，通过对不同数据库的区块高度进行校验，能够发现区块高度不一致的数据库，并及时对区块高度不一致的数据库进行数据处理，能够避免网络异常等原因造成的数据读取异常的情况，从而提高数据读取准确性。
以上是对本发明实施例所提供的方法进行的详细描述。根据不同的需求，所示流程图中方块的执行顺序可以改变，某些方块可以省略。下面对本发明实施例所提供的终端1进行描述。
图2是本发明一实施方式的终端的结构示意图，如图2所示，终端1包括存储器10，存储器10中存储有所述基于分布式事务的数据处理装置100。所述终端1可以是计算机、平板电脑、个人数字助理等具有数据处理、分析、程序执行及显示等功能的电子设备。所述基于分布式事务的数据处理装置100在接收到区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；检测所述第一区块高度与所述第二区块高度是否一致；当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；存储所述目标数据至所述目标数据库中。利用本申请，通过对不同数据库的区块高度进行校验，能够发现区块高度不一致的数据库，并及时对区块高度不一致的数据库进行数据处理，能够避免网络异常等原因造成的数据读取异常的情况，从而提高数据读取准确性。
本实施方式中，终端1还可以包括显示屏20及处理器30。存储器10、显示屏20可以分别与处理器30电连接。
所述的存储器10可以是不同类型存储设备，用于存储各类数据。例如，可以是终端1的存储器、内存，还可以是可外接于该终端1的存储卡，如闪存、SM卡(Smart Media Card，智能媒体卡)、SD卡(Secure Digital Card，安全数字卡)等。此外，存储器10可以包括包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。存储器10用于存储各类数据，例如，所述终端1中安装的各类应用程序(Applications)、应用上述基于分布式事务的数据处理方法而设置、获取的数据等信息。
显示屏20安装于终端1，用于显示信息。
处理器30用于执行所述基于分布式事务的数据处理方法以及所述终端1内安装的各类软件，例如操作系统及应用显示软件等。处理器30包含但不限于处理器(CentralProcessing Unit，CPU)、微控制单元(Micro Controller Unit，MCU)等用于解释计算机指令以及处理计算机软件中的数据的装置。
所述的基于分布式事务的数据处理装置100可以包括一个或多个的模块，所述一个或多个模块被存储在终端1的存储器10中并被配置成由一个或多个处理器(本实施方式为一个处理器30)执行，以完成本发明实施例。当所述基于分布式事务的数据处理装置100应用于集群管理器时，例如，参阅图3所示，所述基于分布式事务的数据处理装置100可以包括标识获取模块101、数据库确定模块102、高度监听模块103、高度检测模块104、数据调取模块105、数据匹配模块106以及数据存储模块107。本发明实施例所称的模块可以是完成一特定功能的程序段，比程序更适合于描述软件在处理器30中的执行过程。
可以理解的是，对应上述基于分布式事务的数据处理方法中的各实施方式，基于分布式事务的数据处理装置100可以包括图3中所示的各功能模块中的一部分或全部，各模块的功能将在以下具体介绍。需要说明的是，以上基于分布式事务的数据处理方法的各实施方式中相同的名词、相关名词及其具体的解释说明也可以适用于以下对各模块的功能介绍。为节省篇幅及避免重复起见，在此就不再赘述。
标识获取模块101可以用于当接收到事务请求方输出的区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识。
数据库确定模块102可以用于根据所述数据库标识确定用于执行区块高度校验操作的目标数据库。
高度监听模块103可以用于监听所述目标数据库的第一区块高度与原始数据库的第二区块高度。
高度检测模块104可以用于检测所述第一区块高度与所述第二区块高度是否一致。
数据调取模块105可以用于当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据。
数据匹配模块106可以用于确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据。
数据存储模块107可以用于存储所述目标数据至所述目标数据库中。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器30执行时实现上述任一实施方式中的基于分布式事务的数据处理方法的步骤。
所述基于分布式事务的数据处理装置100如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述基于分布式事务的数据处理装置100/终端1的控制中心，利用各种接口和线路连接整个基于分布式事务的数据处理装置100/终端1的各个部分。
所述存储器10用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现所述基于分布式事务的数据处理装置100/终端1的各种功能。所述存储器10可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端1的使用所创建的数据等。
在本发明所提供的几个具体实施方式中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。
以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (10)

1.一种基于分布式事务的数据处理方法，应用于区块链的跨链操作中，其特征在于，所述基于分布式事务的数据处理方法包括：
当接收到区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；
根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；
监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；
检测所述第一区块高度与所述第二区块高度是否一致；
当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；
确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；
存储所述目标数据至所述目标数据库中。
2.根据权利要求1所述的基于分布式事务的数据处理方法，其特征在于，所述从所述原始数据库中调取所述区块高度差值对应的交易数据的步骤包括：
调取所述原始数据库中的区块文件；
反序列化所述区块文件中的原始交易数据；
获取所述原始交易数据携带的时间戳；
根据所述时间戳确定所述原始交易数据中与所述区块高度差值对应的交易数据。
3.根据权利要求2所述的基于分布式事务的数据处理方法，其特征在于，当所述目标数据库包括状态数据库、历史数据库及分布式事务数据库时，所述确定所述区块高度差值对应的交易数据的步骤包括：
计算所述目标数据库与所述原始数据库的区块高度差值集；
确定所述区块高度差值集中差值最大值；
调取所述差值最大值对应的交易数据；
根据所述差值最大值对应的交易数据分别确定所述原始数据库与所述状态数据库、所述历史数据库、所述分布式事务数据库的区块高度差值对应的交易数据。
4.根据权利要求3所述的基于分布式事务的数据处理方法，其特征在于，当所述目标数据库为状态数据库和/或历史数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：
当所述交易类型为普通交易时，获取所述普通交易对应交易数据的key值与value值；
当所述交易类型为分布式事务交易时，获取所述分布式事务交易的阶段性质，并根据所述阶段性质确定所述目标数据。
5.根据权利要求4所述的基于分布式事务的数据处理方法，其特征在于，所述根据所述阶段性质确定所述目标数据的步骤包括：
判断所述阶段性质是否处于第一阶段；
当判断结果为所述阶段性质处于第一阶段时，确定所述分布式事务交易在所述区块文件中的目标位置，并将所述目标位置写入Index数据库中；
当判断结果为所述阶段性质处于第二阶段时，确定所述分布式事务交易的交易状态，并当所述交易状态为committed时，根据分布式事务ID获取所述Index数据库中第一阶段对应的目标位置，并根据所述目标位置从所述区块文件中提取所述分布式事务交易的写集的数据key值与value值。
6.根据权利要求3所述的基于分布式事务的数据处理方法，其特征在于，当所述目标数据库为分布式事务数据库时，所述确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据的步骤包括：
判断所述分布式事务交易是否处于第一阶段；
当判断结果为所述分布式事务交易处于第一阶段时，获取所述分布式事务交易的读集与写集；
当判断结果为所述分布式事务交易处于第二阶段时，根据分布式事务ID确定并删除所述目标数据库中第一阶段对应交易的读集与写集。
7.根据权利要求1所述的基于分布式事务的数据处理方法，其特征在于，所述方法还包括：
调用监控进程获取当前区块链网络的网络数据，其中，所述网络数据包括网络连接数据与负载数据；
检测所述网络数据是否存在异常；
当检测结果为所述网络数据存在异常时，接收区块高度校验请求。
8.一种基于分布式事务的数据处理装置，应用于区块链的跨链操作中，其特征在于，所述基于分布式事务的数据处理装置包括：
标识获取模块，用于当接收到事务请求方输出的区块高度校验请求时，获取所述区块高度校验请求携带的数据库标识；
数据库确定模块，用于根据所述数据库标识确定用于执行区块高度校验操作的目标数据库；
高度监听模块，用于监听所述目标数据库的第一区块高度与原始数据库的第二区块高度；
高度检测模块，用于检测所述第一区块高度与所述第二区块高度是否一致；
数据调取模块，用于当检测结果为所述第一区块高度与所述第二区块高度不一致时，计算所述目标数据库与所述原始数据库的区块高度差值，并从所述原始数据库中调取所述区块高度差值对应的交易数据；
数据匹配模块，用于确定所述交易数据的交易类型，并根据所述交易类型匹配出对应属性的目标数据；
数据存储模块，用于存储所述目标数据至所述目标数据库中。
9.一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述基于分布式事务的数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述基于分布式事务的数据处理方法。
CN202010467837.2A 2020-05-28 2020-05-28 基于分布式事务的数据处理方法、装置、终端及存储介质 Pending CN111694852A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010467837.2A CN111694852A (zh) 2020-05-28 2020-05-28 基于分布式事务的数据处理方法、装置、终端及存储介质
PCT/CN2020/099295 WO2021114627A1 (zh) 2020-05-28 2020-06-30 基于分布式事务的数据处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010467837.2A CN111694852A (zh) 2020-05-28 2020-05-28 基于分布式事务的数据处理方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN111694852A true CN111694852A (zh) 2020-09-22

Family

ID=72478467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010467837.2A Pending CN111694852A (zh) 2020-05-28 2020-05-28 基于分布式事务的数据处理方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111694852A (zh)
WO (1) WO2021114627A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488836A (zh) * 2020-11-30 2021-03-12 成都质数斯达克科技有限公司 交易发送方法、装置、电子设备及可读存储介质
CN113515534A (zh) * 2021-05-18 2021-10-19 深圳大学 基于区块链的并发交易数据处理方法、装置、设备及介质
WO2022156574A1 (zh) * 2021-01-20 2022-07-28 腾讯科技（深圳）有限公司 基于区块链的数据处理方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107332876A (zh) * 2017-05-31 2017-11-07 深圳前海微众银行股份有限公司 区块链状态的同步方法及装置
WO2019178772A1 (zh) * 2018-03-21 2019-09-26 深圳蓝贝科技有限公司 数据库主从区块一致性校验方法、装置和系统
CN110597907A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 跨区块链的数据信息同步方法、装置、设备及介质
CN110928950A (zh) * 2019-11-25 2020-03-27 深圳壹账通智能科技有限公司 区块链交易信息管理方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145205B (zh) * 2018-07-27 2020-09-01 阿里巴巴集团控股有限公司 一种基于区块链的跨链数据操作方法和装置
CN109165229B (zh) * 2018-08-23 2020-06-05 京东数字科技控股有限公司 本地区块同步的检验方法、装置、设备及存储介质
CN109272311A (zh) * 2018-09-29 2019-01-25 亚洲数字科技有限公司 一种基于数字钱包的跨链逻辑系统
CN109857724B (zh) * 2019-02-12 2022-12-02 众安信息技术服务有限公司 基于区块链实现支持多种数据库的方法及设备
CN110300172B (zh) * 2019-06-28 2022-06-07 深圳市迅雷网络技术有限公司 一种区块链数据的共识方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107332876A (zh) * 2017-05-31 2017-11-07 深圳前海微众银行股份有限公司 区块链状态的同步方法及装置
WO2019178772A1 (zh) * 2018-03-21 2019-09-26 深圳蓝贝科技有限公司 数据库主从区块一致性校验方法、装置和系统
CN110597907A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 跨区块链的数据信息同步方法、装置、设备及介质
CN110928950A (zh) * 2019-11-25 2020-03-27 深圳壹账通智能科技有限公司 区块链交易信息管理方法、装置、计算机设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488836A (zh) * 2020-11-30 2021-03-12 成都质数斯达克科技有限公司 交易发送方法、装置、电子设备及可读存储介质
CN112488836B (zh) * 2020-11-30 2023-06-02 成都质数斯达克科技有限公司 交易发送方法、装置、电子设备及可读存储介质
WO2022156574A1 (zh) * 2021-01-20 2022-07-28 腾讯科技（深圳）有限公司 基于区块链的数据处理方法、装置、设备及可读存储介质
CN113515534A (zh) * 2021-05-18 2021-10-19 深圳大学 基于区块链的并发交易数据处理方法、装置、设备及介质
CN113515534B (zh) * 2021-05-18 2023-09-01 深圳大学 基于区块链的并发交易数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2021114627A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN110121727B (zh) 一种为智能合同提供经证实、可审计和不可变输入的方法和系统
CN111694852A (zh) 基于分布式事务的数据处理方法、装置、终端及存储介质
CN109598147B (zh) 基于区块链的数据处理方法及装置、电子设备
CN110088744B (zh) 一种数据库维护方法及其系统
CN111709756A (zh) 一种可疑社团的识别方法、装置、存储介质和计算机设备
CN112559831A (zh) 链路监控方法、装置、计算机设备及介质
US9852291B2 (en) Computer system and signature verification server
US11570005B2 (en) Systems and methods for proving immutability of blockchains
CN114022151A (zh) 区块链数据可视化方法、系统、电子设备和存储介质
CN111612616A (zh) 区块链账户评估方法、装置、终端设备及计算机可读介质
CN114219596A (zh) 一种基于决策树模型的数据处理方法及相关设备
CN112216374A (zh) 一种医疗服务监管方法、装置及设备
CN111476597A (zh) 一种资源量预估结果的处理方法及相关设备
CN111694851B (zh) 分布式事务的交易处理方法及相关设备
CN111242779A (zh) 金融数据特征选择和预测方法、装置、设备及存储介质
CN115757107A (zh) 埋点检测方法、装置、服务器及存储介质
CN112905437A (zh) 一种测试用例的方法、装置及存储介质
CN112039893B (zh) 私密交易处理方法、装置、电子设备及可读存储介质
CN114925033A (zh) 信息上链方法、装置、系统及存储介质
CN114372293A (zh) 基于区块链的数据审批方法、装置、设备及存储介质
CN114331661A (zh) 数据核验方法、装置、电子设备及存储介质
CN113656842A (zh) 一种数据验证方法、装置及设备
CN113592645A (zh) 数据验证的方法和装置
CN111553796A (zh) 一种汇率管理方法、装置及计算机可读存储介质
CN111222928A (zh) 一种用于监控企业规范开具发票的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination