CN105718561A - 一种特定分布式数据存储文件结构去冗余构造方法及系统 - Google Patents

一种特定分布式数据存储文件结构去冗余构造方法及系统 Download PDF

Info

Publication number
CN105718561A
CN105718561A CN201610037778.9A CN201610037778A CN105718561A CN 105718561 A CN105718561 A CN 105718561A CN 201610037778 A CN201610037778 A CN 201610037778A CN 105718561 A CN105718561 A CN 105718561A
Authority
CN
China
Prior art keywords
storage file
key
data
value pair
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610037778.9A
Other languages
English (en)
Inventor
查礼
谷靖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201610037778.9A priority Critical patent/CN105718561A/zh
Publication of CN105718561A publication Critical patent/CN105718561A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种特定分布式数据存储文件结构去冗余构造方法及系统，涉及分布式系统技术领域，采用该方法构造的数据存储文件不会影响分布式顺序表的访问方式，本方法侧重存储文件构造中数据转换过程的优化，包括数据拆分步骤、数据合并步骤、数据拼接步骤，具体步骤为：创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取，本发明能够减少底层存储文件的冗余信息，减少数据加载时计算资源的消耗，同时减少生成的存储文件的大小，提高了加载性能。

Description

一种特定分布式数据存储文件结构去冗余构造方法及系统
技术领域
本发明涉及分布式系统技术领域，特别涉及一种特定分布式数据存储文件结构去冗余构造方法及系统。
背景技术
随着网络应用数据量的不断增大，对数据存储系统的存取性能、开销以及可靠性等方面都有更高的要求，而分布式存储系统可以满足上述的存储。分布式顺序表是分布式存储系统中比较常用的数据组织格式，在数据存储文件中数据按照键值对的方式存储，文件中的键值对按照键值对的主键的顺序排列，分布式顺序表的数据文件组织格式如图1所示。
在已有方法和技术中，针对分布式顺序表的数据加载一般通过两种途径实现，(1)通过分布式顺序表系统外部接口实现，类似数据库ODBC/JDBC接口，分布式顺序表也提供外部API，通过调用这个API可以实现单条记录的写入操作，反复调用该接口可实现批量数据的加载任务，这种方法只适用于少量数据的交互式写入操作，并不适用于大批量数据的加载。
(2)利用MapReduce的框架直接生成分布式顺序表底层数据存储文件，再通过激活操作使分布式顺序表系统能够访问该文件中存储的新的表数据，图2展示了一种分布式顺序表数据的并行加载方法(例如发明“一种分布式顺序表的数据导入方法及其系统”)的流程图，该并行数据加载方法分为了数据读入、数据排序、数据分片、数据转换、数据写入以及数据加载共六个步骤，其中从数据排序开始，到数据写入均可并行执行，虽然该方法已经利用了并行数据处理技术加速了数据加载性能，但是受限于外排序过程的耗时过长，使得多服务器磁盘聚合I/O吞吐率只能达到约50MB/s，无法随服务器数量增加而增长。
通过对现有的数据加载方式进行研究发现其技术缺点是：(1)加载性能不够理想；(2)生成的数据文件庞大，这两个缺点的存在原因是数据文件的数据格式有比较多的冗余，使得在数据加载过程中，构建数据文件的时候会增加数据字段拼接次数，以及增加生成数据文件大小。
发明专利“一种分布式顺序表的数据导入方法及其系统”，该发明公开了一种分布式顺序表的数据导入方法及其系统，方法包括：S1、使用Map函数将待导入数据转换为键值对；S2、将所述键值对按照键进行排序；S3、对排序后的键值对进行分片，分别将每个分片分配给一个Reduce函数；S4、各Reduce函数对各自分配的分片进行格式转换，将所述分片转换为所述分布式顺序表的底层数据存储文件要求的格式，将所述格式转换后的分片写入到底层数据存储文件中；S5、将所述底层数据存储文件加载到所述分布式顺序表中。该发明把待导入数据直接写入分布式顺序表的底层数据存储文件，能节省分片定位时间，加快导入速度，该发明是将需要导入的数据分片，然后利用通用的Map/Reduce并行计算模型对数据分片进行并行排序和并行数据写入，从而提高数据导入的性能，但因为受制于分布式顺序表的文件存储结构，该发明的数据导入(数据写入)性能无法得到进一步提高，而本发明针对上述发明中的性能问题加以改进，通过将目标数据文件中的冗余数据加以合理归并，从而大大减少写入的数据量，因此能够提高数据加载的性能。
发明专利“一种电网时序大数据并行加载方法”，该发明公开了一种电网时序大数据并行加载方法，以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。该发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围，对待加载的海量历史时序数据做保持数据局部性的处理，经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销，避免单节点加载海量历史时序数据时负载过重带来的性能问题。该方法能充分利用分布式并行处理能力，大大减少海量历史时序数据加载的时间。该发明是利用多计算机通过对待加载数据进行分区预先处理，从而降低多客户端并行加载数据时出现的瓶颈问题，与该发明解决问题不同，本发明主要针对分布式顺序表的并行加载问题，另外，本发明的要点主要在于如何减少分布式顺序表存储文件中的冗余数据。
发明内容
现有技术中上述两种缺陷是由于分布式顺序表的底层数据存储文件有较多的冗余导致的，这些冗余主要是为了在分布式顺序表查询的过程中能够加快查询速度，但是这些冗余增加了数据加载过程中的计算机性能的消耗，并且增大了生成数据文件的大小，降低了加载性能，解决上述两项缺陷可以通过减少底层存储数据文件的冗余来实现，即对现有的分布式顺序表的数据加载过程中的写入的底层存储数据文件格式进行修改，将文件中属于同一行数据的键值对合并成一个键值对，减少底层存储数据文件的冗余，故本发明提出一种特定分布式数据存储文件结构的去冗余构造方法及系统。
本发明提出一种特定分布式数据存储文件结构去冗余构造方法，包括：
步骤1，创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
步骤2，设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
所述创建底层存储文件格式的具体步骤为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
所述步骤2包括当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
所述步骤2的具体步骤为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。
本发明还提出一种特定分布式数据存储文件结构去冗余构造系统，包括：
创建底层存储文件格式模块，用于创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
读取模块，用于设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
所述创建底层存储文件格式模块的具体用于为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
所述读取模块用于当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
所述读取模块具体用于为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。
由以上方案可知，本发明的优点在于：
图6展示了使用不同的优化方法时，数据加载执行时间的对比，其中，“缺省参数”和“经验参数”是使用不同的参数执行数据加载程序所得到的执行时间，没有使用其他任何优化手段。可以看出在使用“缺省参数”的情况下，在加载数据量较小时，与“经验参数”相比并没有很大的性能差距，而在加载数据量增大的情况下，参数设置不合理的问题逐步显露出来，与“经验参数”的加载性能拉开了差距。“经验参数+文件压缩”是运用DataBlock级别的文件压缩技术之后的数据加载执行时间，与“经验参数”相比性能提升了21％左右。“经验参数+文件压缩+加载优化”是在“经验参数+文件压缩”的基础上运用本发明中新的文件存储格式优之后的数据加载执行时间，与“经验参数+文件压缩”相比性能提升35％左右，总体来说，与“经验参数”相比，最终的数据加载性能均提升了约50％；与“缺省参数”相比，最终的数据加载性能均提升了约60％。
综上，本发明与现有的分布式顺序表的数据加载技术相比，数据加载性能提升较为明显，本发明能够减少底层存储文件的冗余信息，减少数据加载时计算资源的消耗，同时减少生成的存储文件的大小，提高了加载性能，经实验表明数据加载时间较常用优化方法平均缩短了35％。
附图说明
图1为分布式顺序表的数据文件组织格式图；
图2为一种分布式顺序表的数据加载方法的流程图；
图3为本发明的分布式顺序表的数据文件组织格式图
图4为数据转换流程图；
图5为文件读取流程图；
图6为使用不同的优化方法时，数据加载执行时间的对比图。
具体实施方式
本发明提出一种特定分布式数据存储文件结构去冗余构造方法，包括：
步骤1，创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
步骤2，设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
所述创建底层存储文件格式的具体步骤为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
所述步骤2包括当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
具体步骤为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。
本发明的目的是解决上述现有技术的数据加载性能不理想，生成的数据文件庞大这两项问题，提出了一种特定分布式数据存储文件结构去冗余构造方法及系统。
本发明设置一种新的分布式顺序表的底层存储文件格式，该底层存储文件格式的要点是将文件中属于同一行数据的键值对合并成一个键值对，从而减少了数据冗余程度。
本发明设置一种对应于所述底层存储文件格式的新的存储文件读取方式，修改了存储文件格式之后，需要修改存储文件的读取方式，以避免对上层应用访问文件时产生不兼容问题。
首先具体描述一下修改后的分布式顺序表的底层存储文件格式，图1是分布式顺序表的底层存储文件的格式，其中每个键值对只存储一个单元中的数据，所以一行数据需要存储为多个键值对，其数量与一行的列数相等，对于同属于一行数据的键值对中的键除了列名不同以外，其他信息都是相同的，这就造成了数据的冗余，本发明将一行数据全部存储在同一键值对中，文件结构如图3所示，这样处理之后，同一行数据的键的冗余减少了，同时计算机所需要写入文件的键值对个数变少，减少了计算机性能的消耗。
具体实施例1
一般的分布式顺序表的数据加载过程包含数据读入、数据排序、数据分片、数据转换、数据写入以及数据加载这六个步骤，本发明侧重于在数据转换这一步骤的优化，所以对于其他步骤就不再赘述。
在数据转换这一步骤的顺序图如图4所示，包含了以下几个步骤：首先，数据拆分步骤，将一行数据拆分成多列数据；其次，数据合并步骤，将多列数据合并到一个值中；最后，按照图3所示的格式，数据拼接步骤，将主键和值组合成一对键值对。
具体实施例2
在本例中会详细描述如何从修改格式后的存储文件中读取数据，与未修改之前的文件格式相比，修改之后的文件中的一个键值对是原始多个键值对合并在一起，所以，在读取文件的时候，需要将键值对中的数据拆分出来，才能得到正确的数据，而对于一般的分布式顺序表，在读取数据的时候会一次性读出多对键值对，并将其缓存在内存中，加速下次读取的速度，所以，在本发明中，为了能够充分利用缓存技术，在读取数据的时候，会将多对键值对从修改后的文件中读出，并转换为原始的键值对格式，之后将这些键值对缓存在内存，以便加速下次查询，由于这种方式是修改的底层程序接口，所以这种读取方法对上层透明。
完整的读取流程图如图5所示，包含以下3个步骤：(1)通过查找的主键定位到需要拆分的键值对的位置；(2)将该键值对及后续多条键值对读取出来；(3)将这些键值对转换成原始格式的键值对并缓存在内存中。
本发明还提出一种特定分布式数据存储文件结构去冗余构造系统，包括：
创建底层存储文件格式模块，用于创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
读取模块，用于设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
所述创建底层存储文件格式模块的具体用于为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
所述读取模块用于当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
所述读取模块具体用于为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。

Claims (8)

1.一种特定分布式数据存储文件结构去冗余构造方法，其特征在于，包括：
步骤1，创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
步骤2，设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
2.如权利要求1所述的特定分布式数据存储文件结构去冗余构造方法，其特征在于，所述创建底层存储文件格式的具体步骤为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
3.如权利要求1所述的特定分布式数据存储文件结构去冗余构造方法，其特征在于，所述步骤2包括当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
4.如权利要求3所述的特定分布式数据存储文件结构去冗余构造方法，其特征在于，具体步骤为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。
5.一种特定分布式数据存储文件结构去冗余构造系统，其特征在于，包括：
创建底层存储文件格式模块，用于创建底层存储文件格式，将底层存储文件以所述底层存储文件格式进行存储，生成新底层存储文件；
读取模块，用于设置读取所述新底层存储文件的存储文件读取方式，将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件，并进行读取。
6.如权利要求5所述的特定分布式数据存储文件结构去冗余构造系统，其特征在于，所述创建底层存储文件格式模块的具体用于为将所述底层存储文件的一行数据拆分成多列数据；将所述多列数据合并到一个值中；将底层存储文件的主键与所述值组合成一对键值对。
7.如权利要求5所述的特定分布式数据存储文件结构去冗余构造系统，其特征在于，所述读取模块用于当读取数据的时，将多对键值对从所述新底层存储文件中读出，并转换为分布式系统能够识别的键值对格式，并将分布式系统能够识别的键值对格式的键值对缓存在内存。
8.如权利要求7所述的特定分布式数据存储文件结构去冗余构造系统，其特征在于，所述读取模块具体用于为通过查找主键定位到需要拆分的键值对的位置；将所述键值对及后续多条键值对读取出来；将读取出的键值对转换为分布式系统能够识别的键值对并缓存在内存中。
CN201610037778.9A 2016-01-20 2016-01-20 一种特定分布式数据存储文件结构去冗余构造方法及系统 Pending CN105718561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610037778.9A CN105718561A (zh) 2016-01-20 2016-01-20 一种特定分布式数据存储文件结构去冗余构造方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610037778.9A CN105718561A (zh) 2016-01-20 2016-01-20 一种特定分布式数据存储文件结构去冗余构造方法及系统

Publications (1)

Publication Number Publication Date
CN105718561A true CN105718561A (zh) 2016-06-29

Family

ID=56147999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610037778.9A Pending CN105718561A (zh) 2016-01-20 2016-01-20 一种特定分布式数据存储文件结构去冗余构造方法及系统

Country Status (1)

Country Link
CN (1) CN105718561A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445839A (zh) * 2016-10-09 2017-02-22 国云科技股份有限公司 一种高性能文件存储系统及其实现方法
CN106649451A (zh) * 2016-09-22 2017-05-10 北京奇虎科技有限公司 数据更新方法及装置
CN107402950A (zh) * 2017-04-28 2017-11-28 阿里巴巴集团控股有限公司 基于分库分表的文件处理方法和装置
CN110287199A (zh) * 2019-07-01 2019-09-27 联想(北京)有限公司 一种数据库的处理方法及电子设备
CN110580253A (zh) * 2019-09-10 2019-12-17 网易（杭州）网络有限公司 时序数据组的加载方法、装置、存储介质及电子设备
CN110674356A (zh) * 2019-09-30 2020-01-10 中南民族大学 一种针对温度感知数据的时间相关性去冗余方法
CN113806249A (zh) * 2021-09-13 2021-12-17 济南浪潮数据技术有限公司 一种对象存储有序列举方法、装置、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077183A (zh) * 2012-12-14 2013-05-01 北京普泽天玑数据技术有限公司 一种分布式顺序表的数据导入方法及其系统
CN104407879A (zh) * 2014-10-22 2015-03-11 江苏瑞中数据股份有限公司 一种电网时序大数据并行加载方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077183A (zh) * 2012-12-14 2013-05-01 北京普泽天玑数据技术有限公司 一种分布式顺序表的数据导入方法及其系统
CN104407879A (zh) * 2014-10-22 2015-03-11 江苏瑞中数据股份有限公司 一种电网时序大数据并行加载方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷靖宇: "分布式存储系统数据加载技术研究", 《豆丁网HTTP://WWW.DOCIN.COM/P-1055413931.HTML》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649451A (zh) * 2016-09-22 2017-05-10 北京奇虎科技有限公司 数据更新方法及装置
CN106445839A (zh) * 2016-10-09 2017-02-22 国云科技股份有限公司 一种高性能文件存储系统及其实现方法
CN107402950A (zh) * 2017-04-28 2017-11-28 阿里巴巴集团控股有限公司 基于分库分表的文件处理方法和装置
CN107402950B (zh) * 2017-04-28 2020-05-29 阿里巴巴集团控股有限公司 基于分库分表的文件处理方法和装置
CN110287199A (zh) * 2019-07-01 2019-09-27 联想(北京)有限公司 一种数据库的处理方法及电子设备
CN110287199B (zh) * 2019-07-01 2021-11-16 联想(北京)有限公司 一种数据库的处理方法及电子设备
CN110580253A (zh) * 2019-09-10 2019-12-17 网易（杭州）网络有限公司 时序数据组的加载方法、装置、存储介质及电子设备
CN110674356A (zh) * 2019-09-30 2020-01-10 中南民族大学 一种针对温度感知数据的时间相关性去冗余方法
CN113806249A (zh) * 2021-09-13 2021-12-17 济南浪潮数据技术有限公司 一种对象存储有序列举方法、装置、终端及存储介质
CN113806249B (zh) * 2021-09-13 2023-12-22 济南浪潮数据技术有限公司 一种对象存储有序列举方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN105718561A (zh) 一种特定分布式数据存储文件结构去冗余构造方法及系统
EP3238106B1 (en) Compaction policy
US9223820B2 (en) Partitioning data for parallel processing
CN102141963B (zh) 一种数据分析方法和设备
US8364751B2 (en) Automated client/server operation partitioning
CN103440290A (zh) 大数据加载系统和方法
CN103488687A (zh) 用于大数据的搜索系统和搜索方法
US9483493B2 (en) Method and system for accessing a distributed file system
CN112905854A (zh) 数据处理方法、装置、计算设备及存储介质
CN114138776A (zh) 图结构和图属性分离设计的方法、系统、装置和介质
CN111400246B (zh) 异步导入文件方法、装置、计算机设备和存储介质
CN116204575A (zh) 将数据导入数据库的方法、装置、设备及计算机存储介质
US20200183604A1 (en) Partitioning graph data for large scale graph processing
CN105138649A (zh) 数据的搜索方法、装置及终端
US10642817B2 (en) Index table update method, and device
CN104573112A (zh) Oltp集群数据库中页面查询方法及数据处理节点
CN105808451A (zh) 一种数据缓存方法以及相关装置
CN105426119A (zh) 一种存储设备及数据处理方法
CN112000703A (zh) 数据入库处理方法、装置、计算机设备和存储介质
US20210149960A1 (en) Graph Data Storage Method, System and Electronic Device
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
CN111221814A (zh) 二级索引的构建方法、装置及设备
US20210149746A1 (en) Method, System, Computer Readable Medium, and Device for Scheduling Computational Operation Based on Graph Data
US20140074785A1 (en) Open file rebalance
CN115544096B (zh) 数据查询方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629

WD01 Invention patent application deemed withdrawn after publication