CN109583861B - key-value数据库中的数据压缩方法、访问方法和系统 - Google Patents

key-value数据库中的数据压缩方法、访问方法和系统 Download PDF

Info

Publication number
CN109583861B
CN109583861B CN201811412843.7A CN201811412843A CN109583861B CN 109583861 B CN109583861 B CN 109583861B CN 201811412843 A CN201811412843 A CN 201811412843A CN 109583861 B CN109583861 B CN 109583861B
Authority
CN
China
Prior art keywords
data
key
value
simplified
complete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811412843.7A
Other languages
English (en)
Other versions
CN109583861A (zh
Inventor
江树浩
颜俊超
鄢贵海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yusur Technology Co ltd
Original Assignee
Yusur Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yusur Technology Co ltd filed Critical Yusur Technology Co ltd
Priority to CN201811412843.7A priority Critical patent/CN109583861B/zh
Publication of CN109583861A publication Critical patent/CN109583861A/zh
Application granted granted Critical
Publication of CN109583861B publication Critical patent/CN109583861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G06Q20/06—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme
    • G06Q20/065—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme using e-cash
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种key‑value数据库中的数据压缩方法、访问方法和系统，所述数据压缩方法包括：数据压缩操作，截取初始key‑value数据中完整key域数据的部分字节生成简化key域数据，基于简化key域数据和初始value域数据生成简化后的key‑value数据，其中所述完整key域数据具有完整key值，所述简化key域数据具有简化key值；存储操作，将简化后的key‑value数据存储在key‑value数据库中，并利用线性数据表存储存在哈希映射地址冲突和简化key值冲突的key‑value数据，所存储的key‑value数据包括完整key域数据和对应的value域数据。本发明实施例的方法和系统，能够提高区块链数据库中的访存性能。

Description

key-value数据库中的数据压缩方法、访问方法和系统
技术领域
本发明涉及计算机数据处理技术领域，尤其涉及面向区块链应用的数据处理技术，更具体地涉及一种key-value数据库中的数据压缩方法、访问方法和系统。
背景技术
区块链是随着比特币等数字加密货币的日益普及而逐渐兴起的一种全新技术，它提供了一种去中心化的、无需信任积累的信用建立范式，目前已经引起金融行业、科研机构、政府部门和投资公司的高度重视与广泛关注。
区块链起源于比特币，作为比特币的底层技术，本质上是一个去中心化的数据库。区块链技术是一种不依赖第三方、通过自身分布式节点进行网络数据的存储、验证、传递和交流的一种技术方案。区块链技术被认为是互联网发明以来最具颠覆性的技术创新，它依靠密码学和数学巧妙的分布式算法，在无法建立信任关系的互联网上，无需借助任何第三方中心的介入就可以使参与者达成共识，以极低的成本解决了信任与价值的可靠传递难题。
在区块链中，节点通过特定的共识算法以及交易验证算法实现去中心化交易。交易数据被分为两类，一类是块数据(block)，里面包含了已经被确认的数字资产交易，这类数据以区块的形式存储至数据库中，区块以链的方式组成区块链；另一类数据是未花费交易数据(UTXO，Unspent Transaction Output)，它是块数据的子集，是专门为提高交易验证速度而设立的数据。交易数据都被存储在数据库中，交易数据在写入区块前需要执行一系列的验证过程，在这些过程中需要访问和更新数据库，因此数据库的效率，尤其是存储UTXO的数据库效率，对区块链的交易性能至关重要。
UTXO数据是验证交易签名的必不可少的数据，大多数区块链系统采用key-value数据库来存储UTXO数据，key-value数据库包括key域数据和value域数据，其中key域数据与交易ID相关，value域数据与节点地址相关，每一个(key，value)对(可简称为(K，V)对)被称为一个条目，区块链系统可以根据key值(简称K)快速映射到存储对应(key，value)条目中的节点地址。区块链系统中，其key域数据可由交易ID和输出索引组成，其value域数据由节点地址、交易金额等组成。对应key-value数据库，如果其数据在内存中，则可以很快的存取数据(～20us/opr)，但如果数据在硬盘中，其访存速度会变得降低接近3个数量级(～10ms/opr)，由于区块链巨大的交易量，数据库所存储的UTXO数据已达到3GB左右，而且还在继续增长，目前的内存容量越来越难以满足UTXO数据的增长，导致部分数据被放置于硬盘中，从而极大地降低了数据库的访存性能。
另外，由于key-value数据库的地址映射机制(哈希映射)，在数据访存时会有一定数量的冲突产生，即不同key值的条目会被映射到相同的地址。这种冲突主要通过开放地址法或链表法解决，但是如果冲突率过高，数据库处理冲突的事件开销就会增大，从而也会降低数据库的访存性能。
如何提高区块链数据库的访存性能，是一个有待解决的问题。
发明内容
鉴于此，本发明实施例提供了一种key-value数据库中的数据压缩方法、装置和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的技术方案如下：
根据本发明的一方面，提供了一种key-value数据库中的数据压缩方法，该方法包括以下步骤：
数据压缩操作，截取初始key-value数据中完整key域数据的部分字节生成简化key域数据，基于简化key域数据和初始key-value数据中的value域数据生成简化后的key-value数据，其中所述完整key域数据具有完整key值，所述简化key域数据具有简化key值；
数据存入操作，将简化后的key-value数据存储在key-value数据库中，并利用线性数据表存储存在哈希映射地址冲突和简化key值冲突的key-value数据，所存储的key-value数据包括完整key域数据和对应的value域数据。
优选地，所述完整key域数据包括交易ID和输出索引，所述截取初始key-value数据中完整key域数据的部分字节，作为简化key域数据的步骤包括：将完整key域数据中的交易ID的字节数m0和/或输出索引的字节数n0缩短，得到简化key域数据，使得简化key域数据中的字节数满足m+n＜m0+n0，其中，m和n分别为简化key域数据中交易ID的字节数m0和输出索引的字节数。
优选地，基于如下公式确定m和n：
Figure GDA0001970688890000031
Figure GDA0001970688890000032
其中，E1为哈希映射相关的平均碰撞次数，E2为线性数据表大小，2s为用于存储key-value数据的数据桶的数量，t为要存储的key-value数据的条目数量。
优选地，所述初始key-value数据为区块链交易数据中的未花费交易数据(UTXO)；所述m被设置为大于n。
优选地，所述key-value数据库中的数据和所述线性数据表存储在内存中。
优选地，所述存在哈希映射地址冲突和简化key值冲突的key-value数据包括具有不同的完整key值，被哈希映射到相同的地址，且对应相同的简化key值的多条key-value数据。
优选地，在进行数据存入时执行的所述数据存入操作包括：针对要存储的初始key-value数据，对完整key值哈希，得到key-value数据库中对应数据桶的地址；在对应数据桶中没有数据的情况下，存储简化后的key-value数据；在对应数据桶中存在数据的情况下，将当前简化后的key-value数据的简化key值与对应数据桶中的简化key值相比较，如果对应数据桶中不存在相同的简化key值，则按照预定的冲突解决法寻找对应的存储地址并进行存储，如果对应数据桶中存在相同的简化key值，则将要存储的初始key-value数据存储在线性数据表中。
根据本发明的另一方面，提供一种基于如前所述的key-value数据库中的数据压缩方法的数据访问方法，该数据访问方法包括以下步骤：
对给定的完整key值进行哈希映射，得到key-value数据库中对应数据桶的地址；
在对应数据桶中存在数据的情况下，查找线性数据表中是否记录有该给定的完整key值，如果线性数据表中没有记录该给定的完整key值，则从key-value数据库中返回该简化key值对应的value值，如果线性数据表中记录有当前给定的完整key值，则从所述线性数据表中获得该完整key值对应的value值。
根据本发明的另一方面，提供一种数据压缩系统，该系统包括处理器和存储器，所述存储器包括内存和硬盘，所述存储器还用于存储key-value数据库和线性数据表，所述存储器还用于存储计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法的步骤。
根据本发明的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前所述方法的步骤。
本发明实施例提供的方法和系统，能够使得内存能够利用系统的存储空间存储更多的key-value数据(如UTXO)，从而可以改善key-value数据库的访存性能。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中key-value数据库的数据压缩方法的示例性流程。
图2为本发明一实施例中的key域数据压缩方法图。
图3为本发明一实施例中的线性数据表图。
图4为本发明一实施例中数据库系统的示意图。
图5为本发明一实施例中的数据存入操作的流程图。
图6为本发明一实施例中的数据访问操作的流程图。
图7为本发明一实施例中数据压缩系统的示意性框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
图1所示为本发明实施例中key-value数据库的数据压缩方法的示例性流程。如图1所示，该方法包括以下步骤：
步骤S110，数据压缩操作，截取初始key-value数据(或称key-value条目)中完整key域数据的部分字节生成简化key域数据，基于简化key域数据和初始key-value数据中的value域数据生成简化后的key-value数据。
本步骤中截取的字节顺序和字节位置可以自行设定。截取前完整key域数据具有完整key值K，截取字节后得到的简化key域数据具有简化key值K′，简化key值小于完整key值，即K′＜K。
作为示例，初始key-value数据为区块链应用中的UTXO条目，但本发明并不限于此，还可适于在key-value数据库中存储的其他类型的key-value数据。
通常，诸如UTXO条目之类的key-value数据的key域数据包括交易ID和输出索引，在这种情况下，本步骤可以包括：
1、将key域中的交易ID缩短为简化交易ID。该简化交易ID的操作包括：截取交易ID中的部分(m)字节作为简化交易ID，截取的字节顺序和字节位置可以自行设定。
以典型区块链应用为例，区块链应用中的交易ID是交易信息的哈希(HASH)值，共32字节，因此截取字节的位置和顺序可以任意选取，例如，可以简单地截取交易ID的最高位的m个字节作为简化交易ID。
2、将key域中的输出索引数据缩短为简化索引。该简化输出索引的操作包括：截取索引数据的部分(n)字节作为简化索引，截取的字节顺序和字节位置可以自行设定。
仍以区块链应用为例，它的输出索引为4字节，一般的索引值较小，本发明中可截取索引数据的低n位字节作为简化索引。
简化交易ID和简化输出索引组合成为新的key域数据，如图2所示。简化前的初始的key-value数据可简称为(K,V)数据，简化后的key-value数据可简称为(K′,V)数据。
如上描述的是将初始key域数据中交易ID的字节数(m0)和输出索引的字节数(n0)均进行缩短，得到简化key域数据。在本发明另选实施例中，还可以将交易ID的字节数(m0)和输出索引的字节数(n0)中的任一个进行缩短。
总之，简化key域数据中的字节数要满足m+n＜m0+n0，其中m≤m0，n≤n0。
本步骤可以对key-value数据库中原有的key-value数据进行压缩，也可以对将要存入key-value数据库的key-value进行压缩。
步骤S120，数据存入操作，将简化后的key-value数据存储在key-value数据库中，并利用线性数据表存储存在哈希映射地址冲突和简化key值冲突的key-value数据。
本步骤中将新的简化后的key域数据和原有对应的value数据一起存储在key-value数据库中，也即key-value数据库所存储的key-value数据包括简化后的key域数据和原有的value域数据。压缩后的数据和原数据的存储方式以及对应关系一致，但存储相同数量的key-value数据(UTXO条目)，将占用更少的内存，此外数据库也具备冲突处理方法。
本发明实施例中，使用简化的key域数据会造成现有的冲突处理方法在特定情况下失效，该特定情况为：当不同的完整key值被哈希映射到相同的地址而同时又具有相同的简化key值，即存在哈希映射地址冲突和简化key值冲突。这是因为现有的冲突处理算法都是根据key值区分冲突，而在上述情况中，不同完整key值的简化key值一致会导致算法无法区分冲突的条目。
为此，本发明的方法中，针对存在哈希映射地址冲突和简化key值冲突的key-value数据，创建了线性数据表。具体地，将被哈希映射到相同的地址而同时又具有相同的简化key值而导致发生冲突的key-value条目存储在该线性数据表中，当系统访问和改写这些冲突的数据时将被定位到新数据表中的对应条目。本发明的线性数据表中存储的是key-value条目的完整数据而不是简化数据，如图3所示。
进一步地，本发明的方法中，可以通过合理确定简化后字节位数(m+n)来保证或提高数据库系统的访存性能。这是因为，key域数据压缩后的字节位数m和n会影响压缩后的key-value数据在数据库中的碰撞率，m和n过大使得数据压缩效果不明显，数据库性能的提高有限。而m和n过小会导致碰撞率过高从而使数据库访问缓慢，另一方面也会增加线性数据表的大小，过大的数据表同样会降低数据表的访问性能。因此，m和n可以根据需要参考碰撞次数和线性数据表的尺寸来决定。一般而言，因为线性数据表尺寸对性能的影响更大，根据线性数据表的大小来决定m和n即可。一实施例中，m和n可以基于如下公式确定：
Figure GDA0001970688890000061
Figure GDA0001970688890000062
其中，E1为哈希映射相关的平均碰撞次数，E2为线性数据表大小，2s为用于存储key-value数据的数据桶的数量，t为要存储的key-value数据的条目数量。
根据上述公式可以由m和n得到对应的碰撞次数E1和数据表尺寸E2，同理地，如果设定E1和E2的数值，利用上述公式可以确定m和n的值。以区块链应用为例，设定E2的大小不能多于100个条目，同时给定t＝50M，s＝32，同时因为原交易ID长度大于索引长度，可尽量使m比n大，则最后计算得出的满足要求的m和n值分别为m＝3，n＝1，此时线性数据表大小为32。合理地确定了m和n的数值或m+n的数值，可以防止线性数据表过大而大大降低数据库访存性能。
如上确定m和n的方式仅为示例，本发明并不限于此。
图5所示为本发明一实施例中的数据存入操作的流程图。如图5所示，对于给定的初始key-value数据(具有完整key值K和完整value值V，即(K,V)数据)，存入操作流程包括：对完整key值K哈希，得到数据库中对应数据桶的地址，如果桶里没有数据，说明当前没有冲突，则把经前述数据压缩操作步骤简化后的key-value数据(即(K′,V)数据)存储到该桶中。如果桶里已有数据，说明发生了哈希映射地址冲突，将当前简化后的key-value数据的简化key值与对应数据桶中的简化key值相比较，如果对应数据桶中不存在相同的简化key值，则按照预定的冲突解决法寻找对应的存储地址进行存储，如按照传统的开放地址法或链表法寻找对应的存储地址进行存储，把(K′,V)数据存储到数据库中；如果对应数据桶中存在相同的简化key值，说明发生了哈希映射地址冲突和简化key值冲突，则把对应的(K,V)，即初始key-value数据，存储在线性数据表中。图4示出了本发明一实施例中存储有key-value数据库和线性数据表的数据库系统。
基于如上所述的针对key域数据的数据压缩方法，对数据库系统的数据访问操作如图6所示。给定完整key值K，想要在数据库系统中获取对应的value值V，具体的数据访问操作包括：对K哈希，得到数据库中对应的桶的地址，如果对应桶里没有数据，则说明对于K没有条目被记录，访问操作返回空；如果有数据，说明数据库有对应条目，但是可能存在冲突的情况，需要继续访问线性数据表，查看完整K是否在线性数据表有记录，如果在线性数据表中没有记录，说明key-value数据库中存储的条目是K对应的条目，返回其value值即可；如果线性数据表中存有记录，则说明真正的条目存在线性数据表中，将线性数据表的value数据返回。
通过如上所述的针对key域数据的数据压缩方法，在key-value数据库中存储相同数量的key-value数据条目，如UTXO条目，将占用更少的存储空间，这意味着同样存储空间的内存可以存储更多的key-value数据条目，从而可以大大提高数据的访存速度。此外，本发明通过设计合理的简化后的字节数，可以控制数据库处理冲突事件的开销过大，并保证了线性数据表不会过大而影响数据库的访存性能，从而保证了系统性能的提高。
本公开的方法不仅适于区块链中的交易数据，同样可以应用于适于在key-value数据库中存储的其他类型的数据，如物联网中的交易数据。
与前述方法相应地，本发明还提供一种数据压缩系统，该系统包括处理器和存储器，存储器包括内存和硬盘，存储器中存储有数据库，该数据库包括key-value数据桶和线性数据表，存储器还用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，在计算机指令被处理器执行时该数据压缩系统实现如前所述各个方法步骤。优选地，key-value数据桶和线性数据表优先存储在存储器的内存中，从而提高系统访存性能。
在本公开的一些实施例中，数据压缩系统可以包括收发单元，该收发单元可包括接收器和发送器，如图7所示，处理器、存储器、接收器和发送器可通过总线系统连接，处理器可控制收发单元收发key-value数据。
作为一种实现方式，本发明中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式，可以将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。
本公开还涉及存储介质，其上可以存储有计算机程序代码，当程序代码被执行时可以实现本发明的方法的各种实施例，该存储介质可以是有形存储介质，诸如光盘、U盘、软盘、硬盘等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
软件可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种key-value数据库中的数据压缩方法，其特征在于，该方法包括以下步骤：
数据压缩操作，截取初始key-value数据中完整key域数据的部分字节生成简化key域数据，基于简化key域数据和初始key-value数据中的value域数据生成简化后的key-value数据，其中所述完整key域数据具有完整key值，所述简化key域数据具有简化key值；以及
数据存入操作，将简化后的key-value数据存储在key-value数据库中，并利用线性数据表存储存在哈希映射地址冲突和简化key值冲突的key-value数据，所存储的key-value数据包括完整key域数据和对应的value域数据；
其中，所述完整key域数据包括交易ID和输出索引，所述截取初始key-value数据中完整key域数据的部分字节，作为简化key域数据的步骤包括：将完整key域数据中的交易ID的字节数m0和/或输出索引的字节数n0缩短，得到简化key域数据，使得简化key域数据中的字节数满足m+n＜m0+n0，其中，m和n分别为简化key域数据中交易ID的字节数m0和输出索引的字节数。
2.根据权利要求1所述的方法，其特征在于，基于如下公式确定m和n：
Figure FDA0002269711080000011
Figure FDA0002269711080000012
其中，E1为哈希映射相关的平均碰撞次数，E2为线性数据表大小，2s为用于存储key-value数据的数据桶的数量，t为要存储的key-value数据的条目数量。
3.根据权利要求1所述的方法，其特征在于：
所述初始key-value数据为区块链交易数据中的未花费交易数据UTXO；
所述m被设置为大于n。
4.根据权利要求1所述的方法，其特征在于：
所述key-value数据库中的数据和所述线性数据表存储在内存中。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述存在哈希映射地址冲突和简化key值冲突的key-value数据包括具有不同的完整key值，被哈希映射到相同的地址，且对应相同的简化key值的多条key-value数据。
6.根据权利要求1-4中任意一项所述的方法，其特征在于，所述数据存入操作包括：
针对要存储的初始key-value数据，对完整key值哈希，得到key-value数据库中对应数据桶的地址；
在对应数据桶中没有数据的情况下，存储简化后的key-value数据；在对应数据桶中存在数据的情况下，将当前简化后的key-value数据的简化key值与对应数据桶中的简化key值相比较，如果对应数据桶中不存在相同的简化key值，则按照预定的冲突解决法寻找对应的存储地址，如果对应数据桶中存在相同的简化key值，则将要存储的初始key-value数据存储在线性数据表中。
7.一种基于如权利要求1-6中任意一项所述的key-value数据库中的数据压缩方法的数据访问方法，其特征在于，该数据访问方法包括以下步骤：
对给定的完整key值进行哈希映射，得到key-value数据库中对应数据桶的地址；
在对应数据桶中存在数据的情况下，查找线性数据表中是否记录有该给定的完整key值，如果线性数据表中没有记录该给定的完整key值，则从key-value数据库中返回该简化key值对应的value值，如果线性数据表中记录有当前给定的完整key值，则从所述线性数据表中获得该完整key值对应的value值。
8.一种数据压缩系统，该系统包括处理器和存储器，所述存储器包括内存和硬盘，其特征在于，所述存储器存储有key-value数据库和线性数据表，所述存储器还用于存储计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现权利要求1-7中任意一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201811412843.7A 2018-11-23 2018-11-23 key-value数据库中的数据压缩方法、访问方法和系统 Active CN109583861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811412843.7A CN109583861B (zh) 2018-11-23 2018-11-23 key-value数据库中的数据压缩方法、访问方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811412843.7A CN109583861B (zh) 2018-11-23 2018-11-23 key-value数据库中的数据压缩方法、访问方法和系统

Publications (2)

Publication Number Publication Date
CN109583861A CN109583861A (zh) 2019-04-05
CN109583861B true CN109583861B (zh) 2020-04-03

Family

ID=65923986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811412843.7A Active CN109583861B (zh) 2018-11-23 2018-11-23 key-value数据库中的数据压缩方法、访问方法和系统

Country Status (1)

Country Link
CN (1) CN109583861B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611238B (zh) * 2020-04-08 2021-08-31 中科驭数（北京）科技有限公司 数据的管理方法及装置
US11645424B2 (en) * 2020-04-27 2023-05-09 International Business Machines Corporation Integrity verification in cloud key-value stores
CN112685422A (zh) * 2020-12-31 2021-04-20 卓尔智联(武汉)研究院有限公司 一种处理utxo数据库的方法、装置及电子设备
CN112765113B (zh) * 2021-01-31 2024-04-09 云知声智能科技股份有限公司 索引压缩方法、装置、计算机可读存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833541A (zh) * 2010-04-26 2010-09-15 华为技术有限公司 哈希数据处理方法和装置
CN102521228A (zh) * 2011-11-01 2012-06-27 浙江省电力试验研究院 一种线性数据表键值映射方法
CN103593477A (zh) * 2013-11-29 2014-02-19 华为技术有限公司 一种哈希数据库的配置方法和装置
CN107094145A (zh) * 2017-05-02 2017-08-25 北京汇通金财信息科技有限公司 基于区块链的数据处理方法、服务器及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179778A1 (en) * 2010-01-22 2012-07-12 Brutesoft, Inc. Applying networking protocols to image file management
CN103823865A (zh) * 2014-02-25 2014-05-28 南京航空航天大学 一种数据库主存索引方法
CN104615750B (zh) * 2015-02-12 2017-11-03 中国农业银行股份有限公司 一种主机系统下的内存数据库的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833541A (zh) * 2010-04-26 2010-09-15 华为技术有限公司 哈希数据处理方法和装置
CN102521228A (zh) * 2011-11-01 2012-06-27 浙江省电力试验研究院 一种线性数据表键值映射方法
CN103593477A (zh) * 2013-11-29 2014-02-19 华为技术有限公司 一种哈希数据库的配置方法和装置
CN107094145A (zh) * 2017-05-02 2017-08-25 北京汇通金财信息科技有限公司 基于区块链的数据处理方法、服务器及系统

Also Published As

Publication number Publication date
CN109583861A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583861B (zh) key-value数据库中的数据压缩方法、访问方法和系统
JP6875557B2 (ja) サービス・データをブロックチェーン・システムに書き込むための方法およびデバイス
CN109508334B (zh) 针对区块链数据库的数据压缩方法、访问方法和系统
WO2021068726A1 (zh) 一种区块链中的交易哈希值存储和搜索方法及装置
CN111295650B (zh) 在基于区块链的系统中执行映射迭代
CN108733507A (zh) 文件备份和恢复的方法和设备
EP3769233B1 (en) Performing map iterations in a blockchain-based system
US20190340128A1 (en) Low-overhead index for a flash cache
CN104679816B (zh) 一种嵌入式系统下的sqlite数据库应用方法
CN109542908B (zh) key-value数据库中的数据压缩方法、存储方法、访问方法和系统
US20130325817A1 (en) Linear sweep filesystem checking
EP3243182A1 (en) Method and apparatus for processing transactions
CN114936188A (zh) 数据处理方法、装置、电子设备及存储介质
CN110175318A (zh) 一种保险理赔附件生成方法及装置
CN115777101A (zh) 使用高速缓存的部分散列值的存储器保护
CN110928923A (zh) 一种基于区块链的数据存储方法及系统
CN110598467A (zh) 一种内存数据块完整性检验方法
KR20230083479A (ko) 블록체인 시뮬레이션 플랫폼 내의 복수의 가상 노드 사이에 공유된 데이터 액세스 방법 및 이를 이용하는 블록체인 시뮬레이션 플랫폼
CN113297210A (zh) 数据处理方法及装置
US11822803B2 (en) Method, electronic device and computer program product for managing data blocks
CN113641681B (zh) 一种空间自适应的海量数据查询方法
US20230385240A1 (en) Optimizations for data deduplication operations
CN116029822A (zh) 区块链交易验证方法及系统
WO2020223901A1 (zh) 查询数据的方法和服务器
CN115438072A (zh) 异常账户匹配方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant