CN113065964A - 一种采用可变步长跳表的数据存储系统及方法 - Google Patents

一种采用可变步长跳表的数据存储系统及方法 Download PDF

Info

Publication number
CN113065964A
CN113065964A CN202110392614.9A CN202110392614A CN113065964A CN 113065964 A CN113065964 A CN 113065964A CN 202110392614 A CN202110392614 A CN 202110392614A CN 113065964 A CN113065964 A CN 113065964A
Authority
CN
China
Prior art keywords
data
nodes
list
linked list
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110392614.9A
Other languages
English (en)
Other versions
CN113065964B (zh
Inventor
陈一默
谌鹏
朱贤
高昀
王鹏
刘远远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SSE INFONET Ltd
Original Assignee
SSE INFONET Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SSE INFONET Ltd filed Critical SSE INFONET Ltd
Priority to CN202110392614.9A priority Critical patent/CN113065964B/zh
Publication of CN113065964A publication Critical patent/CN113065964A/zh
Application granted granted Critical
Publication of CN113065964B publication Critical patent/CN113065964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及行情数据技术领域，具体来说是一种采用可变步长跳表的数据存储系统及方法，包括若干链表节点和若干层不同步长的跳表层，每个链表节点设有指向前一个链表节点的前序指针和指向后一个链表节点的后序指针；每一层跳表层以可变步长的若干链表节点作为跳表节点，每个跳表节点设有步长记录值以及根据步长记录值的数值指向所述的跳表层的后一个跳表节点的后序指针。本发明对逐笔行情数据内容的存储、查询、回补方式的优化改进，针对逐笔行情数据的数据量大、有序队列等特点以及分段查询、回补数据的需求，创新设计一种可变步长的跳转表，改进逐笔数据存储和查询方法，解决了逐笔数据“查询慢、回补难”的问题，有助于优化市场行情服务的性能。

Description

一种采用可变步长跳表的数据存储系统及方法
技术领域
本发明涉及行情数据技术领域，具体来说是一种采用可变步长跳表的数据存储系统及方法。
背景技术
沪深市场的逐笔行情数据包括在交易时段生成的逐笔委托、逐笔成交的行情内容，每日的数据量十分庞大。目前上海市场逐笔成交每日约2400万笔，单只股票最高成交数约27万笔，深圳市场逐笔成交每日约4800万笔，单只股票最高成交数约75万笔，深圳市场逐笔委托每日约5500万笔，单只股票最高成交数约800万笔。而逐笔数据常用于展示、量化回测等场景，随着证券市场的发展，成交量日益增大，投资者更加成熟，对逐笔快速查询的需求也越来越大。
如今市场上主流的行情软件皆为投资者提供了个股全天的逐笔数据展示服务，导致客户端存在大量根据区间段查询的需求；同时为了保证数据完整性，服务端若在接收逐笔数据时发生丢包现象，需要向上游请求数据回补，并把回补的数据正确插入到有序的逐笔数据队列中。因此，针对数据量庞大且有序的逐笔数据，服务端要解决两个难题，一是如何快速处理终端的数据请求，定位到指定区间段的逐笔数据并提供给投资者；二是如何将回补的数据插入到逐笔数据队列中，且不影响服务质量。
目前行业内大多行情服务系统都采用高速缓存组件，比如共享内存、Redis来存储逐笔数据，这种方式可以满足区间段查询的需求，但查询的效率仍有优化空间，且处理回补数据时会产生数据移位，存在较大的性能瓶颈。因此，为保证逐笔数据服务的安全性、及时性和连续性，需要设计一种采用可变步长跳表的数据存储系统及方法，从而优化服务品质，满足市场需求。
发明内容
本发明的目的在于解决现有技术的不足，提供一种采用可变步长跳表的数据存储系统及方法，解决数据查询慢、回补难的问题，尤其适用于证券期货业行情数据中的逐笔数据。
为了实现上述目的，设计一种采用可变步长跳表的数据存储系统，包括若干链表节点和若干层不同步长的跳表层，每个链表节点设有指向前一个链表节点的前序指针和指向后一个链表节点的后序指针；每一层跳表层以可变步长的若干链表节点作为跳表节点，每个跳表节点设有步长记录值以及根据步长记录值的数值指向所述的跳表层的后一个跳表节点的后序指针。。
优选地，对于所述的若干层不同步长的跳表层，第一层的跳表层的步长为N1，第N层的跳表层的步长为Nn，其中N、N1、Nn为自然数。
优选地，所述的采用可变步长跳表的数据存储系统包括存储器和处理器，所述的存储器用于存储所述的链表节点、跳表层及数据；所述的处理器用于根据链表中链表节点的增加或插入，相应修改所述的链表节点、增加所述的跳表节点、变更所述的步长记录值的数值。
本发明还涉及一种数据存储系统的数据存储方法，通过所述的采用可变步长跳表的数据存储系统进行数据的存储。
优选地，新增的链表节点按序链接于现有的链表末，插入的链表节点链接于链表中。
优选地，根据链表中链表节点的增加，相应修改所述的链表节点及增加所述的跳表节点。
优选地，根据链表中链表节点的插入，相应修改所述的链表节点、增加所述的跳表节点并变更所述的步长记录值的数值。优选地，当所述的跳表节点的步长记录值大于设定值时，将所述的跳表节点分裂为两个跳表节点。
优选地，当所述的跳表节点的步长记录值的增加至大于原始的步长记录值的一半时，将所述的跳表节点分裂为两个跳表节点。
本发明还涉及一种采用所述的采用可变步长跳表的数据存储系统的数据查询方法，根据待查询的数据所处的链表节点的位置，通过与所述的链表节点最接近的跳表节点对所述的链表节点进行定位并进行数据的查询。
本发明同现有技术相比，其优点在于：本发明对逐笔行情数据内容的存储、查询、回补方式的优化改进，针对逐笔行情数据的数据量大、有序队列等特点以及分段查询、回补数据的需求，创新设计一种可变步长的跳转表，改进了逐笔数据存储和查询方法，解决了逐笔数据“查询慢、回补难”的问题，有助于优化市场行情服务的性能。
附图说明
图1示例性示出了逐笔数据的示意图。
图2示例性示出了若干层跳表层的示意图。
图3示例性示出了可变步长的跳表结构的示意图。
图4示例性示出了实施例1的示意图。
图5示例性示出了实施例2中场景一的示意图。
图6示例性示出了实施例2中场景二的示意图。
具体实施方式
下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施方式提供一种采用可变步长跳表的数据存储系统，包括若干链表节点和若干层不同步长的跳表层，其中，每个链表节点设有指向前一个链表节点的前序指针和指向后一个链表节点的后序指针；每一层跳表层以可变步长的若干链表节点作为跳表节点，每个所述的跳表节点设有步长记录值以及根据步长记录值的数值指向所述的跳表层的后一个跳表节点的后续指针。
所述的采用可变步长跳表的数据存储系统尤其适用于证券期货业行情数据中的逐笔数据，参见图1所示，所述的逐笔数据是指证券期货业行情数据中的逐笔委托、逐笔成交类行情，与快照类的切片数据不同，这类数据揭示了全天交易中整个市场每一笔委托、撤销与成交信息，因此这类数据具有数据量庞大、时序排列等特性。
具体地，在本实施方式中，直接存储逐笔数据的是双向链表结构，每个链表节点由last(前序指针)、value(逐笔数据)和next(后序指针)组成。链表节点的last指针指向前一个链表节点，next指针指向后一个节链表节点。所以，从每个链表中的链表节点开始，都可以很方便地顺序访问它的前序及后序链表节点。
在一般情况下，随着每一笔逐笔数据的增加，链表会新增链表节点并链接在末尾，即把最后一个链表节点的next指针指向新的链表节点，把新的链表节点的last指针指向最后一个链表节点。如果发生逐笔数据回补操作，则插入新的链表节点到链表中间，先顺序找到要插入的位置，再修改相连的两个链表节点的指针信息。
以上述的双向链表结构作为逐笔数据存储的基础，能满足数据节点的正常新增和回补需求，也方便了从任意位置的链表节点向前序、后序访问链表节点数据的需求，但有时用户需要访问的只是一段范围内的逐笔数据，单纯的双向链表就显现出相应的劣势了。例如，当用户需要访问第500笔成交到第600笔成交之间的逐笔数据，此时原始的双向链表只能先从第一个链表节点开始按顺序寻找到第500个链表节点，再顺序获取所需的逐笔数据信息。
因而，为了解决快速定位逐笔数据位置的需求，参见图2所示，本实施方式增加了步长大于1的多层链表作为原始链表的索引，构建了多层跳表层，从而组成一种跳表的数据结构。每一层跳表层以设定的不同步长建立跳表节点，并建立与该层跳表层的下一个跳表节点的对应关系。而每个跳表节点除了last(前序指针)和next(后序指针)之外，还设有pointer(下层指针)。跳表节点的last指针指向前一个跳表节点，next指针指向后一个跳表节点，而pointer指针则指向下一层级跳表层的跳表节点。如第一层跳表层的步长为N1，则第一层跳表层中依次设置的跳表节点的pointer指针应该指向原始的双向链表的第1、N1、2*N1……个链表节点；第二层跳表层的步长为N2＝2*N1，则第二层跳表层中依次设置的跳表节点应该对应第一层跳表层的第1、3、5……个跳表节点。
多层链表的机制方便了逐笔数据的快速定位，如建立一层标准步长为100的跳表层，则当用户需要访问第500笔成交到第600笔成交之间的逐笔数据时，只需先找到第一层跳表层的第6个节点(指向原始的双向链表的第500个节点)，再从原始的双向链表的第500个节点开始顺序获取所需的逐笔数据信息即可。
但是，虽然上述的跳表机制可以加速数据索引的定位，但是在逐笔数据回补的场景下需要插入数据，导致原有节点的位置发生变化，此时需要重新建立跳表节点对应关系，在插入位置之后的所有节点都需要变化。这种机制在数据回补场景下节点信息较难维护，回补频繁时会严重影响服务性能，为了解决这一场景的需求，本实施方式还进一步地在跳表机制的基础上加入了可变步长的概念。
可变步长的跳表结构即是能在固定的初始步长的基础上，在一定范围内灵活变动跳表节点之间步长距离的跳表结构。具体地，参见图3所示，跳表节点除了设有last(前序指针)、pointer(下层指针)、next(后序指针)以外，还设有length(步长记录值)，以记录与next(后序指针)所指向的跳表节点的步长距离。跳表一开始建立时，每一层跳表层的所有跳表节点的length为该层的标准步长，随着原始链表中数据的插入，各层相对应的跳表节点的length会增加。为了保证跳表的查询效率，当某个跳表节点的length增加超过限制范围时，则当前的跳表节点会分裂为两个跳表节点。
这种可变步长的多层跳表结构，既满足了逐笔数据时序存储的需求，同时也具备多层跳表在大数据量定位查询下的优势，更为回补的场景提供了灵活的变化形式，成功解决了逐笔数据“查询慢、回补难”的问题。
在使用时，根据待查询的数据所处的链表节点的位置，通过与所述的链表节点最接近的跳表节点对所述的链表节点进行定位即可进行数据的查询。并且在回补数据时，根据链表中链表节点的插入，处理器相应修改所述的链表节点、增加所述的跳表节点并变更所述的步长记录值的数值，当所述的跳表节点的步长记录值大于设定值时，例如，当所述的跳表节点的步长记录值的增加量大于原始的步长记录值的一半时，则将所述的跳表节点分裂为两个跳表节点，以避免当前层跳表层的步长过大。
以下实施例以本发明方法在逐笔行情数据的实际处理使用为例，对本发明进行说明。本发明用于解决现有逐笔行情存取、回补中存在的问题，实现逐笔行情数据的方便存储、快速查询、灵活回补的功能。
实施例1：存储与查询
本实施例采取了单一的队列存储全市场逐笔数据，其中对于每只证券代码，都有对应的逐笔数据的双向链表存储该代码的每一笔逐笔数据，以及对应的多层跳表链接到双向链表的相应节点上。具体结构可参见图4所示，左侧为全市场的逐笔数据列表，其中标注的A1代表StockA的第一笔逐笔数据，B2代表StockB的第二笔逐笔数据，以此类推；右侧为StockA的三层跳表结构的示意图，第一层标准步长为100，第二层为1000，第三层为10000。
StockA对应的逐笔数据双向链表节点存储在左侧纵向队列中，由A1、A2、A3一直链接到最新的一笔逐笔数据。若接收到StockA的新的逐笔数据，则加入逐笔数据列表的末尾，并将新的链表节点链接到原始的双向链表上。当逐笔数据的个数达到某层跳表层的步长时，则在该层跳表层增加一个新的节点，并指向下一层的对应节点。查询时，只需要从最高一层跳表层的起始节点开始跳转查询相应区间，大大提高查询效率。
例如，图4中左侧的逐笔数据列表存储着所有的逐笔数据，其中StockA的原始链表由A1一直链接到A11000，对应生成了右侧第一层跳表的A1、A100、A200、……、A11000节点，第二层跳表的A1、A1000、A2000、……、A11000节点，第三层跳表的A1、A10000节点。若要查询StockA的第11000笔逐笔数据，则不需要从A1开始一直顺序查找到A11000，可通过从第三层跳表层的A1、A10000跳转到第二层跳表层的A10000、A11000，再跳转到第一层跳表层的A11000节点，直接指向原始链表中StockA的第11000笔逐笔数据。
实施例2：回补
当逐笔数据回补发生时，可执行以下步骤：
1)将数据加入到逐笔数据列表的末尾；
2)更改回补的逐笔数据前后节点的链表指针；
3)将各层可变步长跳表对应区间的步长增大；
4)若步长超过阈值，则节点根据规则分裂成多个节点。
以下根据回补的数据量大小，分两个场景来举例说明回补场景下可变步长跳表发生的变化。
场景一：回补数据量较少，跳表节点步长变化、数量不变
如图5所示，触发回补操作后接收到了m条StockA的逐笔数据(此m条数据实际顺序在先前第100条逐笔数据之前)，后续会执行以下操作：
步骤a.回补的数据直接增加到逐笔数据队列末尾，如图5左侧列表尾端增加了m条回补数据。
步骤b.对于StockA的逐笔数据原始链表，删除了第99条逐笔数据(A99)指向第100条逐笔数据(A100)的指针，改为由A99指向第一条回补数据，最后一条回补数据再指向第100+m条逐笔数据，即A(100+m)(回补前是A100，在前方插入了m条数据)。调整后的StockA的逐笔数据原始链表如图5右侧底层链表所示。
步骤c.对于StockA的每层跳表，将回补数据所在的区间步长增加。如图5，右侧第一层跳表的前两个节点之间步长原本为标准步长100，由于插入的m条回补数据前两个节点之间，所以步长变化成100+m。同理，第二层跳表层的前两个跳表节点步长变化为1000+m。
场景二：回补数据量较多，跳表节点步长变化、数量增加
通过场景一中描述的步骤，跳表可以在逐笔数据回补时灵活适应，保证跳表的结构与特性。但当逐笔回补数据量较大的时候，单一增加某个区间的步长会导致跳表不平衡，影响查询这段区间内数据的效率。因此，当两个跳表节点之间回补的数据量超过阈值，会采取跳表节点分裂的操作。例如设阈值为标准步长L的一半，当两个跳表节点之间的步长超过(1+1/2)L时，则会裂变成三个间隔等步长的跳表节点。以第一层跳表的标准步长为100，回补数据超过50的情况举例，具体步骤如下：
步骤a.对于逐笔数据列表和StockA的逐笔数据原始链表的变化同场景一，在A1与A100之间发生m条数据回补，StockA的逐笔数据原始链表调整为由A99指向m条回补数据，再指向A(100+m)(回补前是A100)，调整后的StockA的逐笔数据原始链表如图6右侧底层链表所示。
步骤b.对于StockA的第一层跳表，由于m条回补数据处于前两个节点之间，按场景一的步骤，前两个节点之间的步长变化成100+m。此时由于第一层跳表的标准步长L为100，阈值为标准步长
Figure BDA0003017335510000101
假设回补数据m大于50小于100，第一层跳表的前两个节点之间的区间要按照规则平均拆分。跳表节点如图6中第一层跳表所示发生分裂，产生处于A1与A(100+m)之间的新的节点
Figure BDA0003017335510000102
与二者的步长距离为
Figure BDA0003017335510000103
若插入数据量更大，则相应节点之间的区间同理拆分为更小的区间。而第二层跳表的前两个跳表节点步长变化为1000+m，但由于m小于500，因此第二层跳表节点不变。

Claims (9)

1.一种采用可变步长跳表的数据存储系统，其特征在于包括若干链表节点和若干层不同步长的跳表层，其中，
每个链表节点设有指向前一个链表节点的前序指针和指向后一个链表节点的后续指针；
每一层跳表层以间隔可变步长的若干链表节点作为跳表节点，每个所述的跳表节点设有步长记录值以及根据步长记录值的数值指向所述的跳表层的后一个跳表节点的后序指针。
2.如权利要求1所述的采用可变步长跳表的数据存储系统，其特征在于对于所述的若干层跳表层，第一层的跳表层的步长为N1，第N层的跳表层的步长为Nn，其中N、N1、Nn为自然数。
3.如权利要求1所述的采用可变步长跳表的数据存储系统，其特征在于包括存储器和处理器，所述的存储器用于存储所述的链表节点、跳表层及数据；所述的处理器用于根据链表中链表节点的增加或插入，相应修改所述的链表节点、增加所述的跳表节点、变更所述的步长记录值的数值。
4.一种数据存储系统的数据存储方法，其特征在于通过如权利要求1-3任一所述的采用可变步长跳表的数据存储系统进行数据的存储。
5.如权利要求4所述的数据存储系统的数据存储方法，其特征在于新增的链表节点按序链接于现有的链表末，插入的链表节点链接于链表中。
6.如权利要求5所述的数据存储系统的数据存储方法，其特征在于根据链表中链表节点的增加或插入，相应修改所述的链表节点及增加所述的跳表节点。
7.如权利要求6所述的数据存储系统的数据存储方法，其特征在于当所述的跳表节点的步长记录值大于设定值时，将所述的跳表节点分裂为两个跳表节点。
8.如权利要求7所述的数据存储系统的数据存储方法，其特征在于当所述的跳表节点的步长记录值的增加至大于原始的步长记录值的一半时，将所述的跳表节点分裂为两个跳表节点。
9.一种采用如权利要求1-3任一所述的采用可变步长跳表的数据存储系统的数据查询方法，其特征在于根据待查询的数据所处的链表节点的位置，通过与所述的链表节点最接近的跳表节点对所述的链表节点进行定位并进行数据的查询。
CN202110392614.9A 2021-04-13 2021-04-13 一种采用可变步长跳表的数据存储系统及方法 Active CN113065964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110392614.9A CN113065964B (zh) 2021-04-13 2021-04-13 一种采用可变步长跳表的数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110392614.9A CN113065964B (zh) 2021-04-13 2021-04-13 一种采用可变步长跳表的数据存储系统及方法

Publications (2)

Publication Number Publication Date
CN113065964A true CN113065964A (zh) 2021-07-02
CN113065964B CN113065964B (zh) 2024-05-03

Family

ID=76566417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110392614.9A Active CN113065964B (zh) 2021-04-13 2021-04-13 一种采用可变步长跳表的数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN113065964B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023028833A1 (zh) * 2021-08-31 2023-03-09 深圳市大疆创新科技有限公司 一种数据处理的方法、装置、设备、程序及介质
CN116069267A (zh) * 2023-04-06 2023-05-05 苏州浪潮智能科技有限公司 一种raid卡的写缓存方法、系统、设备及存储介质
WO2024055571A1 (zh) * 2022-09-16 2024-03-21 山东云海国创云计算装备产业创新中心有限公司 一种namespace设置方法、装置及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425802A (zh) * 2013-09-10 2013-12-04 北京信息科技大学 一种磁盘文件的快速检索方法
CN103970795A (zh) * 2013-01-31 2014-08-06 杭州勒卡斯广告策划有限公司 一种数据处理方法、装置及系统
US20170017420A1 (en) * 2015-07-15 2017-01-19 Innovium, Inc. System And Method For Enabling High Read Rates To Data Element Lists
US20170091244A1 (en) * 2015-09-24 2017-03-30 Microsoft Technology Licensing, Llc Searching a Data Structure
CN106649790A (zh) * 2016-12-28 2017-05-10 华中科技大学 一种多层链接分离的skiplist构造方法及系统
WO2017161589A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种字符串序列的压缩索引方法及装置
US20190149823A1 (en) * 2017-11-13 2019-05-16 Electronics And Telecommunications Research Institute Method and apparatus for quantization
CN111861743A (zh) * 2020-06-29 2020-10-30 浪潮电子信息产业股份有限公司 一种基于逐笔数据重构市场行情的方法、装置及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970795A (zh) * 2013-01-31 2014-08-06 杭州勒卡斯广告策划有限公司 一种数据处理方法、装置及系统
CN103425802A (zh) * 2013-09-10 2013-12-04 北京信息科技大学 一种磁盘文件的快速检索方法
US20170017420A1 (en) * 2015-07-15 2017-01-19 Innovium, Inc. System And Method For Enabling High Read Rates To Data Element Lists
US20170091244A1 (en) * 2015-09-24 2017-03-30 Microsoft Technology Licensing, Llc Searching a Data Structure
WO2017161589A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种字符串序列的压缩索引方法及装置
CN108780455A (zh) * 2016-03-25 2018-11-09 华为技术有限公司 一种字符串序列的压缩索引方法及装置
CN106649790A (zh) * 2016-12-28 2017-05-10 华中科技大学 一种多层链接分离的skiplist构造方法及系统
US20190149823A1 (en) * 2017-11-13 2019-05-16 Electronics And Telecommunications Research Institute Method and apparatus for quantization
CN111861743A (zh) * 2020-06-29 2020-10-30 浪潮电子信息产业股份有限公司 一种基于逐笔数据重构市场行情的方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU JIAN ET AL.: "Optimized Algorithms for Flexible Length-Based Authenticated Skip List", 《中国通信》, no. 01 *
何婧 等: "SLC:基于跳表的可扩展云数据索引（英文）", 《JOURNAL OF CENTRAL SOUTH UNIVERSITY》, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023028833A1 (zh) * 2021-08-31 2023-03-09 深圳市大疆创新科技有限公司 一种数据处理的方法、装置、设备、程序及介质
WO2024055571A1 (zh) * 2022-09-16 2024-03-21 山东云海国创云计算装备产业创新中心有限公司 一种namespace设置方法、装置及可读存储介质
CN116069267A (zh) * 2023-04-06 2023-05-05 苏州浪潮智能科技有限公司 一种raid卡的写缓存方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113065964B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN113065964A (zh) 一种采用可变步长跳表的数据存储系统及方法
US11580176B2 (en) Search infrastructure
CN110113420B (zh) 基于nvm的分布式消息队列管理系统
US7827182B1 (en) Searching for a path to identify where to move entries among hash tables with storage for multiple entries per bucket during insert operations
US20040205044A1 (en) Method for storing inverted index, method for on-line updating the same and inverted index mechanism
CN110134648A (zh) 日志处理方法、装置、设备、系统及计算机可读存储介质
US9262511B2 (en) System and method for indexing streams containing unstructured text data
CN109033462B (zh) 在大数据存储的存储设备中确定低频数据项的方法及系统
CN111722918A (zh) 业务标识码生成方法、装置、存储介质及电子设备
CN108200112A (zh) 分布式存储方法及系统
CN108874930A (zh) 文件属性信息统计方法、装置、系统、设备及存储介质
CN107168966B (zh) 一种搜索引擎索引构建方法及装置
CN111651631B (zh) 高并发视频数据处理方法、电子设备、存储介质及系统
CN114968953A (zh) 日志的存储检索方法、系统、终端设备及介质
EP3644196B1 (en) Systems and methods for storing data in an integrated array and linked list based structure
US20180181647A1 (en) System and Method for Editing a Linked List
CN115964002B (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN111666045A (zh) 基于Git系统的数据处理方法、系统、设备及存储介质
CN111901416B (zh) 一种解决大数据平台数据冲击的系统和方法
CN108614879A (zh) 小文件处理方法与装置
CN108804681A (zh) 一种数据自适应传输方法、装置及计算机存储介质
CN109634914B (zh) 一种对讲语音小文件整存散分和分叉检索的优化方法
US11599583B2 (en) Deep pagination system
CN113986962A (zh) 排行榜生成方法、装置、设备及存储介质
CN110109881B (zh) 文件拆分的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant