CN112579607B - 数据访问方法和装置、存储介质、电子设备 - Google Patents

数据访问方法和装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112579607B
CN112579607B CN202011551424.9A CN202011551424A CN112579607B CN 112579607 B CN112579607 B CN 112579607B CN 202011551424 A CN202011551424 A CN 202011551424A CN 112579607 B CN112579607 B CN 112579607B
Authority
CN
China
Prior art keywords
data
accessed
file
paging block
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011551424.9A
Other languages
English (en)
Other versions
CN112579607A (zh
Inventor
张育铭
赵凯凯
詹珣
李领新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202011551424.9A priority Critical patent/CN112579607B/zh
Publication of CN112579607A publication Critical patent/CN112579607A/zh
Application granted granted Critical
Publication of CN112579607B publication Critical patent/CN112579607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/114—Pagination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本公开是关于一种数据访问方法和装置、存储介质以及电子设备，涉及数据处理技术领域，该方法包括：获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述唯一标识；当所述值缓存中不存在所述唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。本公开减少了冷启动数据访问时间。

Description

数据访问方法和装置、存储介质、电子设备
背景技术
随着计算机技术和移动智能终端的飞速发展，拥有个人计算机和移动智能终端的用户越来越多，基于个人计算机和移动智能终端的娱乐应用也越来越丰富多彩。急速增长的娱乐应用需求对游戏的可玩性、表现力和流畅度要求越来越高，同时对游戏中数据访问的要求也越来越高。
实际游戏开发中通过策划填写Excel表格来保证游戏的可玩性，在实际游戏开发过程中，需要将策划的Excel表转成游戏引擎可读的数据格式。大型的游戏玩法非常丰富，策划的Excel表的数量和内容都非常多，如果使用现有的游戏数据访问方法访问Excel数据，会导致冷启动访问时间长，游戏进程卡顿。
因此，需要提供一种新的数据访问方法。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种数据访问识别方法、数据访问装置、存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据冷启动访问时间长的问题。
根据本公开的一个方面，提供一种数据访问方法，包括：
获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；
根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
在本公开的一种示例性实施例中，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识，包括：
当所述值缓存中存在所述待访问数据的唯一标识时，返回解码后的实例对象。
在本公开的一种示例性实施例中，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件，包括：
获取所述待访问数据表，将所述待访问数据表中包括的数据存储到分页块，并根据分页块生成数据文件；
将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件；
根据所述索引文件、所述待访问数据表的表名以及所述数据文件中包括的分页块的数量生成清单文件；
根据所述待访问数据表的表名，得到与所述表名对应的清单文件并获取所述清单文件中包括的索引文件。
在本公开的一种示例性实施例中，获取所述待访问数据表，将所述数据表中包括的数据存储到分页块，包括：
根据所述待访问数据表中包括的所述待访问数据的唯一标识对所述待访问数据进行排序，得到排好序的数据表；
获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中。
在本公开的一种示例性实施例中，获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中，包括：
通过顺序序列化对所述排好序的数据表中包括的数据进行序列化，得到序列化数据；
通过压缩算法对所述序列化数据进行压缩，得到压缩数据，并将所述压缩数据存储到分页块中。
在本公开的一种示例性实施例中，分页块包括：所述压缩数据的大小、所述序列化数据的大小以及所述压缩数据。
在本公开的一种示例性实施例中，将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件，包括：
获取所述待访问数据表的表头个数以及所述待访问数据的唯一标识，将所述表头个数以及所述待访问数据唯一标识存储到元数据表中；
根据所述元数据表以及所述索引信息表生成所述索引文件。
在本公开的一种示例性实施例中，根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，包括：
当所述分页块缓存中不包括与所述分页块的序号对应的分页块时，判断读缓存中是否包括与所述数据文件的编号对应的数据文件；
当所述读缓存中不包括与所述数据文件的编号对应的数据文件时，根据所述数据文件的编号读取所述数据文件，并将读取到的数据文件缓存到所述读缓存中；
根据所述索引信息访问所述数据文件中的数据，并将访问到的数据缓存到分页块缓存中。
根据本公开的一个方面，提供一种数据访问装置，其特征在于，包括：
唯一标识查询模块，用于获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
索引文件获取模块，用于当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；
分页块获取模块，用于根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
待查询数据获取模块，用于根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任意一项所述的数据访问方法。
根据本公开的一个方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据访问方法。
本发明实施例提供的一种数据访问方法，一方面，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据，由于通过索引文件找到待访问数据所在的数据文件的编号以及分页块的序号，根据数据文件的编号、分页块的序号以及偏移量得到待访问数据所在的分页块，对分页块中包括的数据进行解压缩以及反序列化得到待访问数据，解决了现有技术中冷启动访问时间长的问题，有效减少了冷启动的数据访问时间；另一方面，当访问待访问数据时，首先判断缓存中是否包含与待访问数据对应的唯一标识，当缓存中包含时，通过访问缓存中的数据得到待访问数据，因此提高了数据访问效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本发明示例实施例的一种数据访问方法的流程图。
图2示意性示出根据本发明示例实施例的一种确定与待访问数据表对应的索引文件的方法流程图。
图3示意性示出根据本发明示例实施例的一种将数据表中包括的数据存储到分页块中的方法流程图。
图4示意性示出根据本发明示例实施例的一种数据文件的存储结构图。
图5示意性示出根据本发明示例实施例的一种索引文件的存储结构图。
图6示意性示出根据本发明示例实施例的一种清单文件的存储结构图。
图7示意性示出根据本发明示例实施例的一种分页块缓存与数据文件的映射关系图。
图8示意性示出根据本发明示例实施例的一种数据访问装置的框图。
图9示意性示出根据本发明示例实施例的一种用于实现上述数据访问方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式首先提供了一种数据访问方法，该方法可以运行于服务器，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例实施例对此不做具体限定。参考图1所示，该数据访问方法可以包括以下步骤：
步骤S110.获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
步骤S120.当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；
步骤S130.根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
步骤S140.根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
上述数据访问方法，一方面，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据，由于通过索引文件找到待访问数据所在的数据文件的编号以及分页块的序号，根据数据文件的编号、分页块的序号以及偏移量得到待访问数据所在的分页块，对分页块中包括的数据进行解压缩以及反序列化得到待访问数据，解决了现有技术中冷启动访问时间长的问题，有效减少了冷启动的数据访问时间；另一方面，当访问待访问数据时，首先判断缓存中是否包含与待访问数据对应的唯一标识，当缓存中包含时，通过访问缓存中的数据得到待访问数据，因此提高了数据访问效率。
以下，对本发明示例实施例的数据访问方法中涉及的各步骤进行详细的解释以及说明。
首先，对本发明示例实施例的应用场景以及发明目的进行解释以及说明。
具体的，本发明示例实施例可以用于策划的Excel表数量和内容都很多的大型游戏中，主要用于生成策划表的三级存储结构，通过访问三级存储结构，减少游戏中需要加载的文件的数量，进而降低游戏的冷启动访问时间，其中，游戏的冷启动访问时间为第一次进入该游戏进程时，访问到与该游戏相关的数据的访问时间。
本发明示例实施例以待访问数据为基础，通过利用三级存储结构对待访问数据进行存储，减少了游戏中加载的文件数量，并且通过建立与三级存储结构对应的缓存，当需要访问数据时，先在缓存中进行查找，提高了数据的访问效率。具体如下：一方面，将待访问数据进行分页压缩生成分页块，根据分页块生成索引文件，再次，根据索引文件生成清单文件，减少了文件的数量；另一方面，访问数据时，先根据待访问数据表的唯一标识在值缓存中进行查询，当值缓存中不包含该唯一标识时，根据表名在清单文件中获取待访问数据的索引文件，并根据索引文件得到待访问数据所在分页块的序号，进而得到待访问数据，减少了冷启动数据访问时间。
其次，对步骤S110-步骤S140进行解释以及说明。
在步骤S110中，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识。
其中，值缓存用来缓存已经反序列化好的实例化对象，实例化对象可以为Python对象，也可以为Java对象，在本示例实施例中不做具体限定。
在本示例实施例中，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识，包括：
当所述值缓存中存在所述待访问数据的唯一标识时，返回解码后的实例对象。
具体的，在值缓存中查询是否包含有待访问数据的唯一标识，当值缓存中包含的实例化对象的属性中包含有该待访问数据的唯一标识时，可以对该实例化对象进行解码并返回。当值缓存中包含的实例化对象的属性不包含该待访问数据的唯一标识时，可以根据待访问数据表的表名在表缓存中进行查找，判断是否存在与待访问数据表的表名对应的清单文件。
在步骤S120中，当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件。
其中，表缓存可以用于缓存已经解析好的表对象，当表缓存中不包括待访问数据表的表名时，可以通过读取清单文件创建表实例，具体的，可以通过读取清单文件中包括的元数据表和索引文件中包括的数据，通过读取到的数据创建表实例，并将创建好的表实例缓存在表缓存中，当再次访问该表名时，可以在表缓存中得到该表名，提高了数据访问的效率。
在本示例实施例中，为了获取与待访问数据表对应的清单文件，首先可以创建待访问数据的三级存储结构，参考图2所示的确定与待访问数据表对应的索引文件的方法流程图，该获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件，包括：
步骤S210.获取所述待访问数据表，将所述待访问数据表中包括的数据存储到分页块，并根据分页块生成数据文件。
在本示例实施例中，参考图3所示，获取所述待访问数据表，将所述数据表中包括的数据存储到分页块，包括：
步骤S310.根据所述待访问数据表中包括的所述待访问数据的唯一标识对所述待访问数据进行排序，得到排好序的数据表；
步骤S320.获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的顺序表中包括的数据存储到分页块中。
以下，将对步骤S310、步骤S320进行解释以及说明，具体的：首先，可以获取待访问数据表中包括的所有数据的唯一标识，根据数据的唯一标识对数据进行排序，得到排好序的待访问数据表。通过根据待访问数据表的唯一标识对当访问数据表中包括的数据进行排序，提高了缓存的命中率，举例而言，在游戏任务数据表中，每一行数据代表一个等级对应的任务数据，通过对每一行数据进行排序，将唯一标识最小的数据放在数据表的前列，由于所有玩家都是从最低等级的任务开始，因此可以提高缓存的命中率；其次，对排好序的数据表中包括的数据进行顺序序列化，并将经过序列化的数据存储在分页块中，进一步的，获取所述排好序的数据表中的包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中，包括：
通过顺序序列化对所述排好序的数据表中包括的数据进行序列化，得到序列化数据；
通过压缩算法对所述序列化数据进行压缩，得到压缩数据，并将所述压缩数据存储到分页块中。
其中，分页块中可以存储唯一标识不同的数据，且分页块的大小尽量不超过4096字节，分页块数据中包括：压缩数据的大小、序列化数据的大小以及压缩数据，压缩数据为经过压缩算法处理的数据，其大小可以为整型，序列化数据为经过顺序序列化未经过压缩的数据，其大小可以为整型，通过在分页块中设置压缩数据的大小和序列化数据的大小，进一步提高了数据访问的效率，即，当压缩数据解压后的大小和序列化数据的大小相同时，该数据是正常数据，可以作为待访问数据。压缩算法可以是Lz4(Extremely FastCompression algorithm，最快压缩算法)，也可以是RLE(Run Length Encoding，游程编码)算法，还可以是哈夫曼编码，在本示例实施例中对压缩算法不做具体的限定，本领域技术人员可以根据需要选择不同的压缩算法。
优选地，在本示例实施例中，当分页块的大小在4096字节以内时，运行时可以快速地解压缩得到序列化数据，即，得到与待访问数据的唯一标识对应的数据段，再对该数据段进行反序列化得到待访问数据，提高了解压缩的效率，进而提高了数据访问的效率。
可选地，在本示例实施例中，当分页块的大小大于4096字节时，运行时可以通过解压缩得到序列化数据，即，得到与待访问数据的唯一标识对应的数据段，再对该数据段进行反序列化得到待访问数据。但是，解压缩以及反序列化的效率会低于分页块的大小在4096字节以内时的效率。
进一步的，由于访问单个关键字对应的数据是不需要读取待访问数据表的所有数据，因此对待访问数据表中唯一标识对应的数据进行压缩以及序列化操作，并将经过序列化的数据存储在分页块中。数据文件中可以存储不同的分页块，参考图4所示的数据文件的存储结构，其中，数据文件的大小不超过2M字节，存储结构可以包括头部和尾部，头部存储的是分页块的总数401以及每个分页块所在的数据文件的位置相对于第一个分页块所在位置的偏移量402，尾部存储的是经过压缩算法压缩的分页块数据403，其中，分页块数据403中可以包括：压缩数据的大小4031、序列化数据的大小4032以及压缩数据4033。
步骤S220.将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件。
在本示例实施例中，将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件，包括：
获取所述待访问数据表的表头个数以及所述待访问数据的唯一标识，将所述表头个数以及所述待访问数据的唯一标识存储到元数据表中；
根据所述元数据表以及所述索引信息表生成所述索引文件。
其中，参考图5所示的索引文件的存储结构，该索引文件包括：元数据表以及索引信息表两部分。
其中，索引信息表中包括的数据的类型可以为整型也可以为字符串型，在本示例实施例中不做具体限定，索引信息表中针对每个唯一标识对应的数据只存储四个关键信息，包括：待访问数据所在数据文件的编号501、待访问数据所在分页块的序号502、待访问数据在分页块中的偏移量503以及分页块的大小504，通过索引信息表得到与待访问数据的唯一标识对应的数据块所在的数据文件的编号，根据数据文件头部所包括的分页块的偏移量得到待访问数据所在的分页块，进一步的，对待访问数据所在的分页块中的压缩数据进行解压，得到待访问数据；
元数据表中包括：待访问数据表的表头个数与待访问数据表中包括的数据的唯一标识，其中待访问数据表的表头个数与待访问数据表中包括的唯一标识的个数相对应，唯一标识可以为中文唯一标识也可以为英文唯一标识，在本示例实施例中不做具体限定。元数据表可以为列表，元数据表中表头关键字为字符串类型，由于列表是有序的，因此在进行数据文件编码时，可以直接使用唯一标识在列表中的下标建立索引信息表的索引，即，当唯一标识在元数据表中的下标为2时，与该唯一标识对应的待访问数据的索引信息在索引信息表中的唯一标识为2。元数据表以及索引信息表合在一起组成一个索引文件，其中每个索引文件的大小尽量不超过64K字节。
步骤S230.根据所述索引文件、所述待访问数据表的表名以及所述数据文件中包括的分页块的数量生成清单文件。
其中，参考图6所示清单文件的存储结构，该清单文件中可以包括：待访问数据表的表名601、与待访问数据表的表名对应的索引文件602以及数据文件中包括的分页块的数量603。
步骤S240.根据所述待访问数据表的表名，得到与所述表名对应的清单文件并获取所述清单文件中包括的索引文件。
当需要对待访问数据进行访问时，通过在清单文件中查找待访问数据表的表名，进而得到与到访问数据表表名对应的索引文件，利用待访问数据的唯一标识在索引文件中进行查找，得到待访问数据所在的数据文件以及待访问数据所在的分页块的编号，进而得到待访问数据。
在步骤S130中，根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小。
具体的，索引文件中包括元数据表以及索引信息表，首先，在元数据表中对待访问数据表的唯一标识进行查询，得到待访问数据表的唯一标识在元数据表中的下标；然后，根据该唯一标识在元数据表中的下标得到索引信息表中与该待访问数据对应的索引信息；最后，根据索引信息得到待访问数据所在的数据文件的编号、分页块的序号、分页块在数据文件中的偏移量以及该分页块的大小。
在步骤S140中，根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
具体的，分页块缓存用来缓存已经解压缩好的分页块。参考图7所示的分页块缓存与数据文件的映射关系图，其中，分页块缓存中可以包括多个分页块，分页块缓存中的每个分页块可以包括数据文件中的一个或者对个分页块，数据文件中可以包括多个分页块，分别为分页块1、分页块2…分页块K；分页块缓存可以使用LRU(Least Recently Used，最近最少使用)缓存结构，也可以使用FIFO(First Input First Output，先进先出)缓存结构，还可以使用LFU(Least frequently used，最少使用)缓存结构，在本示例实施例中对分页缓存的缓存结构不做具体限定。
举例而言，当分页块缓存采用LRU缓存结构时，可以设定最大的缓存容量，读取数据时将分页块的数据读取到内存中，并放入内存块缓存中进行管理，当内存快缓存使用的内存超过最大的缓存容量时，则对最老的分页块所占用的内存进行释放，通过设置LRU缓存结构，在游戏运行时读表所占用内存最大只能为设定的缓存块的最大内存，不会出现内存爆炸的现象。
在本示例实施例中，当分页缓存块中不包含与待访问数据的唯一标识对应的分页块时，根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，包括：
当所述分页块缓存中不包括与所述分页块的序号对应的分页块时，判断读缓存中是否包括与所述数据文件的编号对应的数据文件；
当所述读缓存中不包括与所述数据文件的编号对应的数据文件时，根据所述数据文件的编号读取所述数据文件，并将读取到的数据文件缓存到所述读缓存中；
根据所述索引信息访问所述数据文件中的数据，并将访问到的数据缓存到分页块缓存中。
具体的，读缓存用来缓存已经访问过的数据。首先，当分页块缓存中不包括与待访问数据表的表头关键字对应的分页块时，判断读缓存中是否包括该数据，即，判断该待访问的数据是否已经被访问过，当该待访问数据没有被访问过，则根据该待访问数据表的唯一标识获取该待访问数据所在的数据文件的编号，根据该数据文件的编号获取该数据文件，并将该数据文件缓存到读缓存中，并且通过与该待访问数据表的表名对应的索引文件访问分页块中包括的数据，并将与待访问数据对应的分页块缓存在分页块缓存中；当待访问数据已经被访问过，即，读缓存中包含该待访问数据的数据文件，则通过与该待访问数据表的表名对应的索引文件访问分页块中包括的数据，并将该分页块缓存在分页块缓存中。
获取与待访问数据表的表名对应的分页块之后，对该分页块中包括的数据进行解压缩，得到解压缩的数据，并对解压缩数据进行反序列化得到待访问数据
本发明示例实施例提供的数据访问方法至少具有以下优点：
一方面，对待访问数据进行存储生成三级存储结构，有效减少了数据读取过程中文件的数量；
另一方面，访问数据时，只需要通过访问索引文件得到待访问数据所在的数据文件的编号以及分页块序号，根据数据文件的编号以及分页块的序号得到对应的数据，对该数据进行解压缩并通过反序列化操作，便可得到待访问数据，有效减少了冷启动的数据访问时间；
再一方面，通过对分页块缓存采用LRU缓存结构，当缓存中的内存达到预设的最高内存时注定释放旧的内存数据，有效控制游戏运行时占用内存的大小。
本发明示例实施例还提供了一种数据访问装置，参考图8所示，该数据访问装置可以包括：唯一标识查询模块810、索引文件获取模块820、分页块获取模块830以及待查询数据获取模块840。其中：
唯一标识查询模块810，用于获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
索引文件获取模块820，用于当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；
分页块获取模块830，用于根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
待查询数据获取模块840，用于根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
在本公开的一种示例性实施例中，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识，包括：
当所述值缓存中存在所述待访问数据的唯一标识时，返回解码后的实例对象。
在本公开的一种示例性实施例中，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件，包括：
获取所述待访问数据表，将所述待访问数据表中包括的数据存储到分页块，并根据分页块生成数据文件；
将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件；
根据所述索引文件、所述待访问数据表的表名以及所述数据文件中包括的分页块的数量生成清单文件；
根据所述待访问数据表的表名，得到与所述表名对应的清单文件并获取所述清单文件中包括的索引文件。
在本公开的一种示例性实施例中，获取所述待访问数据表，将所述数据表中包括的数据存储到分页块，包括：
根据所述待访问数据表中包括的所述待访问数据的唯一标识对所述待访问数据进行排序，得到排好序的数据表；
获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中。
在本公开的一种示例性实施例中，获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中，包括：
通过顺序序列化对所述排好序的数据表中包括的数据进行序列化，得到序列化数据；
通过压缩算法对所述序列化数据进行压缩，得到压缩数据，并将所述压缩数据存储到分页块中。
在本公开的一种示例性实施例中，分页块包括：所述压缩数据的大小、所述序列化数据的大小以及所述压缩数据。
在本公开的一种示例性实施例中，将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件，包括：
获取所述待访问数据表的表头个数以及所述待访问数据的唯一标识，将所述表头个数以及所述待访问数据唯一标识存储到元数据表中；
根据所述元数据表以及所述索引信息表生成所述索引文件。
在本公开的一种示例性实施例中，根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，包括：
当所述分页块缓存中不包括与所述分页块的序号对应的分页块时，判断读缓存中是否包括与所述数据文件的编号对应的数据文件；
当所述读缓存中不包括与所述数据文件的编号对应的数据文件时，根据所述数据文件的编号读取所述数据文件，并将读取到的数据文件缓存到所述读缓存中；
根据所述索引信息访问所述数据文件中的数据，并将访问到的数据缓存到分页块缓存中。
上述数据访问装置中各模块的具体细节已经在对应的数据访问方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参考图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930以及显示单元940。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的步骤S110：获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；步骤S120：当所述值缓存中不存在所述待访问数据的唯一标识时，获取与表缓存对应的清单文件，基于所述清单文件，根据所述表名得到所述待访问数据表的索引文件；步骤S130：根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；步骤S140：根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据访问方法，其特征在于，包括：
获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
获取所述待访问数据表，将所述待访问数据表中包括的数据存储到分页块，并根据分页块生成数据文件；
将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件；
根据所述索引文件、所述待访问数据表的表名以及所述数据文件中包括的分页块的数量生成清单文件；
当所述值缓存中不存在所述待访问数据的唯一标识时，根据所述待访问数据表的表名，得到与所述表名对应的清单文件并获取所述清单文件中包括的索引文件；
根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
2.根据权利要求1所述的数据访问方法，其特征在于，获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识，包括：
当所述值缓存中存在所述待访问数据的唯一标识时，返回解码后的实例对象。
3.根据权利要求1所述的数据访问方法，其特征在于，获取所述待访问数据表，将所述数据表中包括的数据存储到分页块，包括：
根据所述待访问数据表中包括的所述待访问数据的唯一标识对所述待访问数据进行排序，得到排好序的数据表；
获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中。
4.根据权利要求3所述的数据访问方法，其特征在于，获取所述排好序的数据表中包括的数据，并通过顺序序列化将所述排好序的数据表中包括的数据存储到分页块中，包括：
通过顺序序列化对所述排好序的数据表中包括的数据进行序列化，得到序列化数据；
通过压缩算法对所述序列化数据进行压缩，得到压缩数据，并将所述压缩数据存储到分页块中。
5.根据权利要求4所述的数据访问方法，其特征在于，分页块包括：所述压缩数据的大小、所述序列化数据的大小以及所述压缩数据。
6.根据权利要求1所述的数据访问方法，其特征在于，将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件，包括：
获取所述待访问数据表的表头个数以及所述待访问数据的唯一标识，将所述表头个数以及所述待访问数据唯一标识存储到元数据表中；
根据所述元数据表以及所述索引信息表生成所述索引文件。
7.根据权利要求1所述的数据访问方法，其特征在于，根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，包括：
当所述分页块缓存中不包括与所述分页块的序号对应的分页块时，判断读缓存中是否包括与所述数据文件的编号对应的数据文件；
当所述读缓存中不包括与所述数据文件的编号对应的数据文件时，根据所述数据文件的编号读取所述数据文件，并将读取到的数据文件缓存到所述读缓存中；
根据所述索引信息访问所述数据文件中的数据，并将访问到的数据缓存到分页块缓存中。
8.一种数据访问装置，其特征在于，包括：
唯一标识查询模块，用于获取待访问数据表的表名以及待访问数据的唯一标识，判断值缓存中是否存在所述待访问数据的唯一标识；
索引文件获取模块，用于获取所述待访问数据表，将所述待访问数据表中包括的数据存储到分页块，并根据分页块生成数据文件；
将所述数据文件的编号、分页块的序号、偏移量以及大小存储到索引信息表中，并根据所述索引信息表生成索引文件；
根据所述索引文件、所述待访问数据表的表名以及所述数据文件中包括的分页块的数量生成清单文件；
当所述值缓存中不存在所述待访问数据的唯一标识时，根据所述待访问数据表的表名，得到与所述表名对应的清单文件并获取所述清单文件中包括的索引文件；
分页块获取模块，用于根据所述索引文件得到与所述待访问数据的唯一标识对应的数据所在的数据文件的编号、分页块的序号、偏移量以及大小；
待查询数据获取模块，用于根据所述数据文件的编号、分页块的序号以及偏移量在分页块缓存中得到与所述待访问数据对应的压缩数据，对所述压缩数据解压并进行反序列化操作，得到所述待访问数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的数据访问方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的数据访问方法。
CN202011551424.9A 2020-12-24 2020-12-24 数据访问方法和装置、存储介质、电子设备 Active CN112579607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551424.9A CN112579607B (zh) 2020-12-24 2020-12-24 数据访问方法和装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551424.9A CN112579607B (zh) 2020-12-24 2020-12-24 数据访问方法和装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112579607A CN112579607A (zh) 2021-03-30
CN112579607B true CN112579607B (zh) 2023-05-16

Family

ID=75139502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551424.9A Active CN112579607B (zh) 2020-12-24 2020-12-24 数据访问方法和装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112579607B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970935A (zh) * 2017-01-20 2017-07-21 朗坤智慧科技股份有限公司 实时数据存储结构、数据写入方法及数据读取方法
CN108369516A (zh) * 2015-12-20 2018-08-03 英特尔公司 用于加载-索引和预取-分散操作的指令和逻辑
CN110457281A (zh) * 2019-08-14 2019-11-15 北京博睿宏远数据科技股份有限公司 数据处理方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917494B2 (en) * 2008-07-11 2011-03-29 Adobe Software Trading Company Limited System and method for a log-based data storage
CN102841860B (zh) * 2012-08-17 2015-09-16 珠海世纪鼎利通信科技股份有限公司 一种大数据量信息存储与访问方法
CN107025243B (zh) * 2016-02-02 2020-04-24 北京神州泰岳软件股份有限公司 一种资源数据的查询方法、查询客户端和查询系统
US10095680B1 (en) * 2016-04-26 2018-10-09 Servicenow, Inc. Systems and methods for reduced memory usage when processing spreadsheet files
CN106599062A (zh) * 2016-11-18 2017-04-26 北京奇虎科技有限公司 一种SparkSQL系统中的数据处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369516A (zh) * 2015-12-20 2018-08-03 英特尔公司 用于加载-索引和预取-分散操作的指令和逻辑
CN106970935A (zh) * 2017-01-20 2017-07-21 朗坤智慧科技股份有限公司 实时数据存储结构、数据写入方法及数据读取方法
CN110457281A (zh) * 2019-08-14 2019-11-15 北京博睿宏远数据科技股份有限公司 数据处理方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络地理信息服务中的空间数据缓存算法研究;王浩;喻占武;曾武;潘少明;;测绘学报(第04期);全文 *

Also Published As

Publication number Publication date
CN112579607A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US5659737A (en) Methods and apparatus for data compression that preserves order by using failure greater than and failure less than tokens
US7924183B2 (en) Method and system for reducing required storage during decompression of a compressed file
US10116325B2 (en) Data compression/decompression device
US11755565B2 (en) Hybrid column store providing both paged and memory-resident configurations
US8782018B2 (en) Storage device and data processing device utilizing determined dictionary compression
US7616137B2 (en) Method and apparatus for compression and decompression of an executable code with a RISC processor
CN111090628A (zh) 一种数据处理方法、装置、存储介质及电子设备
US8489555B2 (en) Method of managing storage and retrieval of data objects
US10044370B1 (en) Lossless binary compression in a memory constrained environment
CA2103445A1 (en) Data compression usin multipel levels
US10649905B2 (en) Method and apparatus for storing data
US10963377B2 (en) Compressed pages having data and compression metadata
US20090204626A1 (en) Systems and methods for information compression
CN106506007A (zh) 一种无损数据压缩和解压缩装置及其方法
CN104579356A (zh) 在存在重现的霍夫曼树的情况下加速解压缩的方法和系统
CN109582231B (zh) 数据存储方法、装置、电子设备及存储介质
CN111611250A (zh) 数据存储设备、数据查询方法、装置、服务器及存储介质
CN111857574A (zh) 一种写请求数据压缩方法、系统、终端及存储介质
KR100968675B1 (ko) Ｊｐｅｇ 어플리케이션의 가변 길이 코드 디코딩
US6654867B2 (en) Method and system to pre-fetch compressed memory blocks using pointers
CN112579607B (zh) 数据访问方法和装置、存储介质、电子设备
CN111767280A (zh) 数据处理方法、装置及存储介质
CN114817160A (zh) 文件解压方法、装置、电子设备及计算机可读存储介质
CN112084141A (zh) 一种全文检索系统扩容方法、装置、设备及介质
CN109491620A (zh) 存储数据重写方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant