CN115292373A - 一种切分数据块的方法及装置 - Google Patents

一种切分数据块的方法及装置 Download PDF

Info

Publication number
CN115292373A
CN115292373A CN202211224109.4A CN202211224109A CN115292373A CN 115292373 A CN115292373 A CN 115292373A CN 202211224109 A CN202211224109 A CN 202211224109A CN 115292373 A CN115292373 A CN 115292373A
Authority
CN
China
Prior art keywords
data
loading
node
file
buffer area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211224109.4A
Other languages
English (en)
Other versions
CN115292373B (zh
Inventor
吴明远
李龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Nankai University General Data Technologies Co ltd
Original Assignee
Tianjin Nankai University General Data Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Nankai University General Data Technologies Co ltd filed Critical Tianjin Nankai University General Data Technologies Co ltd
Priority to CN202211224109.4A priority Critical patent/CN115292373B/zh
Publication of CN115292373A publication Critical patent/CN115292373A/zh
Application granted granted Critical
Publication of CN115292373B publication Critical patent/CN115292373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供的一种切分数据块的方法及装置，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；将临时缓存在缓冲区的数据存储至所述节点对应的存储位置，可以同时进行多个节点的数据缓存，充分调用多个计算节点并行加载数据。

Description

一种切分数据块的方法及装置
技术领域
本发明属于分布式数据库技术领域，尤其是涉及一种切分数据块的方法及装置。
背景技术
在大规模分布式事务型数据库集群系统中，往往需要加载来自外部数据源的大批量数据。面对大量的数据库集群节点和海量的外部数据，使用尽可能多的集群节点执行并行数据加载，是实现各加载节点间的负载均衡和提高总体加载速度的有效方法。如何高效、可靠地切分连续数据是提高总体加载速度的关键因素。
发明内容
有鉴于此，本发明旨在提出一种切分数据块的方法及装置，以实现高效、可靠地切分连续数据。
为达到上述目的，本发明的技术方案是这样实现的：
本申请提出一种切分数据块的方法，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，具体步骤包括：
S1、所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；
S2、根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；
S3、将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
可选的，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，具体方法如下：
根据加载文件数据大小，将加载文件的数据均分到所有用于加载所述加载文件的节点，确定每个节点的加载信息。
可选的，所述加载信息包括偏移地址和数据长度，所述偏移地址为节点对应加载文件进行数据加载起始位置，所述数据长度为节点加载加载文件的数据长度。
可选的，步骤S1中，所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载，包括：
若加载信息内的偏移地址为零，数据加载步骤如下：
S101、加载文件中加载数据的起始位置之前无数据，从偏移地址对应加载文件的数据位置加载数据至接收缓存；
S102、所述接收缓存存储到设定条件，将接收缓存中的数据缓存到缓冲区；
S103、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存；
S104、重复步骤S102-S103；
若加载信息内的偏移地址不为零，数据加载步骤如下：
S111、从所述偏移地址对应加载文件的数据位置开始加载数据至接收缓存，并从所述数据位置向后查找分隔符；
S112、若找到分隔符则将分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存；
S113、所述接收缓存存储到设定条件，将接收缓存中的数据缓存到缓冲区；
S114、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存；
S115、重复步骤S113-S114。
可选的，所述统计信息的具体获取步骤如下：
统计信息统计所述节点加载本次加载文件时，对应的接收缓存中缓存过的所有数据的数据长度。
可选的，根据所述数据加载过程中的统计信息判断该节点加载是否结束，具体方法包括：
根据统计信息中统计的加载数据长度与所述节点需要加载数据长度对比，若等于或超过所述节点需要加载的数据长度，则加载结束。
可选的，步骤S2中，若加载结束则进行缓冲区切换，具体方法如下：
若加载结束，则从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
可选的，步骤S2中，若超过设定阈值则进行缓冲区切换，具体方法如下：
若超过设定阈值，则设置缓冲区满标志，并从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
另一方面，本申请还提出一种切分数据块的装置，包括数据获取模块、数据加载模块、缓冲区切换模块和数据存储模块，
所述数据获取模块用于根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息；
所述数据加载模块用于所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；
所述缓冲区切换模块用于根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；
所述数据存储模块用于将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
相对于现有技术，本发明所述的一种切分数据块的方法及装置具有以下有益效果：
（1）本发明所述的一种切分数据块的方法及装置，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；将临时缓存在缓冲区的数据存储至所述节点对应的存储位置，可以同时进行多个节点的数据缓存，充分调用多个计算节点并行加载数据。
（2）本发明所述的一种切分数据块的方法及装置，节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载，需要考虑偏移地址是否为零，若为零，则可直接进行数据加载，若不为零，则需要从加载文件中加载数据的起始位置向后查找分隔符，保证每条数据加载完整性，避免加载数据起始位置位于每条数据中间位置，加载结束或进行缓冲区切换也要从当前加载数据向后查找分隔符，保证每次保存的每条数据的完整性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种切分数据块的方法流程图。
图2为本发明实施例所述的一种切分数据块的装置结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
本申请提出一种切分数据块的方法，包括，
参见图1为一种切分数据块的方法流程图，以两个计算节点（假设为节点A和节点B）的场景为例，一种切分数据块的方法实施过程如下：
S401、获取待加载文件大小M，获取节点个数2，确定每个节点的加载信息。
确定加载信息可以用多种方法，可与通过均分的方法确定每个节点上加载数据的长度， L = M/N， R = M%N，可得到A的偏移地址为0， B的偏移地址为L， A的数据长度为L，B的数据长度为L + R；
S402、A节点的偏移地址为0，不需要确定起始地址；B偏移地址非0，需要根据偏移地址在加载文件中查找对应的数据位置，并从所述数据位置向后查找分隔符确定加载数据起始位置。
所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载，需要考虑偏移地址是否为零，若为零，则可直接进行数据加载，若不为零，则需要从加载文件中加载数据的起始位置向后查找分隔符，保证每条数据加载完整性，避免加载数据起始位置位于每条数据中间位置。
S403、A、B节点各自判断是否加载结束及缓冲区是否超过设置阈值。
是否加载结束即判断接收数据长度是否大于各自分配的数据长度，A分配的数据长度为L， B分配的数据长度为L + R。
若加载结束，则从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
若超过设定阈值，则设置缓冲区满标志，并从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
所述接收缓存为临时缓存，用于向缓存区进行数据传输。
加载结束或进行缓冲区切换也要从当前加载数据向后查找分隔符，保证每次保存的每条数据的完整性。
如果单条记录过长会出现查找记录失败问题，需要调整缓冲区阈值；
S404、将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
所述存储位置可以是硬盘等存储器设置的数据库系统，也可以是其他进行数据存储的系统。
参见图2为一种切分数据块的装置结构图，包括数据获取模块、数据加载模块、缓冲区切换模块和数据存储模块，
所述数据获取模块用于根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息；
所述数据加载模块用于所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；
所述缓冲区切换模块用于根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；
所述数据存储模块用于将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种切分数据块的方法，其特征在于，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，具体步骤包括：
S1、所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；
S2、根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；
S3、将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
2.根据权利要求1所述的一种切分数据块的方法，其特征在于，根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息，具体方法如下：
根据加载文件数据大小，将加载文件的数据均分到所有用于加载所述加载文件的节点，确定每个节点的加载信息。
3.根据权利要求1所述的一种切分数据块的方法，其特征在于，所述加载信息包括偏移地址和数据长度，所述偏移地址为节点对应加载文件进行数据加载起始位置，所述数据长度为节点加载加载文件的数据长度。
4.根据权利要求1所述的一种切分数据块的方法，其特征在于，步骤S1中，所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载，包括：
若加载信息内的偏移地址为零，数据加载步骤如下：
S101、加载文件中加载数据的起始位置之前无数据，从偏移地址对应加载文件的数据位置加载数据至接收缓存；
S102、所述接收缓存存储到设定条件，将接收缓存中的数据缓存到缓冲区；
S103、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存；
S104、重复步骤S102-S103；
若加载信息内的偏移地址不为零，数据加载步骤如下：
S111、从所述偏移地址对应加载文件的数据位置开始加载数据至接收缓存，并从所述数据位置向后查找分隔符；
S112、若找到分隔符则将分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存；
S113、所述接收缓存存储到设定条件，将接收缓存中的数据缓存到缓冲区；
S114、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存；
S115、重复步骤S113-S114。
5.根据权利要求4所述的一种切分数据块的方法，其特征在于，所述统计信息的具体获取步骤如下：
统计信息统计所述节点加载本次加载文件时，对应的接收缓存中缓存过的所有数据的数据长度。
6.根据权利要求5所述的一种切分数据块的方法，其特征在于，根据所述数据加载过程中的统计信息判断该节点加载是否结束，具体方法包括：
根据统计信息中统计的加载数据长度与所述节点需要加载数据长度对比，若等于或超过所述节点需要加载的数据长度，则加载结束。
7.根据权利要求1所述的一种切分数据块的方法，其特征在于，步骤S2中，若加载结束则进行缓冲区切换，具体方法如下：
若加载结束，则从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
8.根据权利要求1所述的一种切分数据块的方法，其特征在于，步骤S2中，若超过设定阈值则进行缓冲区切换，具体方法如下：
若超过设定阈值，则设置缓冲区满标志，并从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存，直至找到所述分隔符，将接收缓存中的数据缓存到缓冲区，将所述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。
9.一种切分数据块的装置，其特征在于，包括数据获取模块、数据加载模块、缓冲区切换模块和数据存储模块，
所述数据获取模块用于根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息；
所述数据加载模块用于所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置，并进行数据加载；
所述缓冲区切换模块用于根据所述数据加载过程中的统计信息判断该节点加载是否结束，并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值，若加载结束或超过设定阈值则进行缓冲区切换；
所述数据存储模块用于将临时缓存在缓冲区的数据存储至所述节点对应的存储位置。
CN202211224109.4A 2022-10-09 2022-10-09 一种切分数据块的方法及装置 Active CN115292373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211224109.4A CN115292373B (zh) 2022-10-09 2022-10-09 一种切分数据块的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211224109.4A CN115292373B (zh) 2022-10-09 2022-10-09 一种切分数据块的方法及装置

Publications (2)

Publication Number Publication Date
CN115292373A true CN115292373A (zh) 2022-11-04
CN115292373B CN115292373B (zh) 2023-01-24

Family

ID=83834256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211224109.4A Active CN115292373B (zh) 2022-10-09 2022-10-09 一种切分数据块的方法及装置

Country Status (1)

Country Link
CN (1) CN115292373B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171110A (zh) * 2023-09-15 2023-12-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722555A (zh) * 2012-05-28 2012-10-10 北京网尚数字电影院线有限公司 一种多媒体文件的缓存方法及系统
CN102841860A (zh) * 2012-08-17 2012-12-26 珠海世纪鼎利通信科技股份有限公司 一种大数据量信息存储与访问方法
CN103227812A (zh) * 2013-03-19 2013-07-31 青岛海信宽带多媒体技术有限公司 智能设备中支持断点续传的下载方法和装置
CN103246975A (zh) * 2013-05-22 2013-08-14 王晚丁 任务数据共享系统和方法
CN106354831A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 一种切分数据块的加载方法及装置
JP2018114684A (ja) * 2017-01-18 2018-07-26 富士ゼロックス株式会社 情報処理装置、三次元造形システム、及びプログラム
JP2020113923A (ja) * 2019-01-15 2020-07-27 富士通株式会社 動画像符号化プログラム、及び動画像符号化装置
CN111639076A (zh) * 2020-05-14 2020-09-08 民生科技有限责任公司 一种跨平台高效键值存储方法
CN112579692A (zh) * 2019-09-29 2021-03-30 杭州海康威视数字技术股份有限公司 一种数据同步方法、装置、系统、设备及存储介质
CN113672619A (zh) * 2021-08-17 2021-11-19 天津南大通用数据技术股份有限公司 一种按照hash规则切分数据使其更均匀的方法
CN114253930A (zh) * 2021-12-09 2022-03-29 中信银行股份有限公司 数据处理方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722555A (zh) * 2012-05-28 2012-10-10 北京网尚数字电影院线有限公司 一种多媒体文件的缓存方法及系统
CN102841860A (zh) * 2012-08-17 2012-12-26 珠海世纪鼎利通信科技股份有限公司 一种大数据量信息存储与访问方法
CN103227812A (zh) * 2013-03-19 2013-07-31 青岛海信宽带多媒体技术有限公司 智能设备中支持断点续传的下载方法和装置
CN103246975A (zh) * 2013-05-22 2013-08-14 王晚丁 任务数据共享系统和方法
CN106354831A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 一种切分数据块的加载方法及装置
JP2018114684A (ja) * 2017-01-18 2018-07-26 富士ゼロックス株式会社 情報処理装置、三次元造形システム、及びプログラム
JP2020113923A (ja) * 2019-01-15 2020-07-27 富士通株式会社 動画像符号化プログラム、及び動画像符号化装置
CN112579692A (zh) * 2019-09-29 2021-03-30 杭州海康威视数字技术股份有限公司 一种数据同步方法、装置、系统、设备及存储介质
CN111639076A (zh) * 2020-05-14 2020-09-08 民生科技有限责任公司 一种跨平台高效键值存储方法
CN113672619A (zh) * 2021-08-17 2021-11-19 天津南大通用数据技术股份有限公司 一种按照hash规则切分数据使其更均匀的方法
CN114253930A (zh) * 2021-12-09 2022-03-29 中信银行股份有限公司 数据处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171110A (zh) * 2023-09-15 2023-12-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质
CN117171110B (zh) * 2023-09-15 2024-04-05 北京云枢创新软件技术有限公司 一种指定目标位置的定位方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN115292373B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
US8806175B2 (en) Hybrid hash tables
JP6014925B2 (ja) メモリ回収方法および装置
CN101655861B (zh) 基于双计数布鲁姆过滤器的哈希方法和哈希装置
CN115292373B (zh) 一种切分数据块的方法及装置
CN105512129A (zh) 一种海量数据检索方法及装置、海量数据存储方法及系统
CN106155915A (zh) 数据存储的处理方法及装置
US20020147785A1 (en) Efficient connection and memory management for message passing on a single SMP or a cluster of SMPs
CN105763595A (zh) 一种提高数据处理效率的方法及服务器
CN110765143A (zh) 数据处理方法、装置、服务器和存储介质
CN114610708A (zh) 一种向量数据处理方法及装置、电子设备及存储介质
CN107766258B (zh) 内存存储方法与装置、内存查询方法与装置
CN110008289B (zh) 一种关系数据库、电网模型数据存储及检索方法
CN110750515A (zh) 数据库查询方法及处理装置
CN111625600B (zh) 数据存储的处理方法、系统、计算机设备及存储介质
CN100487697C (zh) 一种应用改进的哈希方法进行查找的方法
US8700822B2 (en) Parallel aggregation system
CN114338725A (zh) 一种提升大规模集群渲染上限的分布式存储调度方法
CN109766462B (zh) 输电线路监控系统中的图像文件读取方法、装置及系统
CN113360551A (zh) 一种靶场中时序数据的存储与快速统计方法及系统
CN107967273A (zh) 数据获取方法、数据节点及系统
CN106970964B (zh) 基于共享内存的gps数据信息查询方法及系统
CN110765190A (zh) 一种数据库集群自动扩容的方法、装置和电子设备
CN117075966B (zh) 指令处理方法、装置、设备及可读存储介质
CN116431107B (zh) 一种基于大数据的软件模块划分方法及系统
CN116303140B (zh) 一种基于硬件的排序算法优化方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant