CN114063931A - 一种基于大数据的数据存储方法 - Google Patents

一种基于大数据的数据存储方法 Download PDF

Info

Publication number
CN114063931A
CN114063931A CN202111416813.5A CN202111416813A CN114063931A CN 114063931 A CN114063931 A CN 114063931A CN 202111416813 A CN202111416813 A CN 202111416813A CN 114063931 A CN114063931 A CN 114063931A
Authority
CN
China
Prior art keywords
storage
data
address
target data
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111416813.5A
Other languages
English (en)
Other versions
CN114063931B (zh
Inventor
钟芙蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Creation Vocational College
Original Assignee
Chongqing Creation Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Creation Vocational College filed Critical Chongqing Creation Vocational College
Priority to CN202111416813.5A priority Critical patent/CN114063931B/zh
Publication of CN114063931A publication Critical patent/CN114063931A/zh
Application granted granted Critical
Publication of CN114063931B publication Critical patent/CN114063931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于大数据的数据存储方法，主要解决现有数据存储方法存储速度慢、服务器内存开销大，不适于大数据高速存储的问题。该方法包括以下步骤：(S1)接收目标数据存储的操作请求；(S2)通过预置的通用数据操作接口确定所述操作请求对应的存储映射关系；(S3)基于目标数据的键值信息，在可用存储空间中确定起始位置及可用存储空间中数据块的大小；(S4)根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由；(S5)将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。该方法减少了数据写入和读取的次数，使存储速度得到提高，并且由于不需要将数据缓存至内存中，因此可以减少内存开销。

Description

一种基于大数据的数据存储方法
技术领域
本发明属于大数据存储技术领域，具体地说，是涉及一种基于大数据的数据存储方法。
背景技术
对于“大数据”，研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”；从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
目前，对于大数据的存储服务要求特越来越高，现有存储系统的存储方式中，数据处理服务器从用户端接收到数据之后，一般先将数据缓存到内存中，再将内存中的数据写入磁盘中存储。但是，这种方式存在多次写入和读出数据的问题，导致存储速度低，并且会增加数据处理服务器的内存开销，不满足大数据高速存储与读出的需要。
发明内容
本发明的目的在于提供一种基于大数据的数据存储方法，主要解决现有数据存储方法存储速度慢、服务器内存开销大，不适于大数据高速存储的问题。
为实现上述目的，本发明采用的技术方案如下：
一种基于大数据的数据存储方法，包括以下步骤：
(S1)接收目标数据存储的操作请求；
(S2)通过预置的通用数据操作接口确定所述操作请求对应的存储映射关系；
(S3)基于目标数据的键值信息，在可用存储空间中确定起始位置及可用存储空间中数据块的大小；
(S4)根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由；
(S5)将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。
进一步地，在本发明中，所述步骤(S2)包括：
(S21)将所述通用数据操作接口地址作为存储地址的偏移地址，将所述通用数据操作接口地址所属数据操作接口作为第m存储接口，将从所述通用数据操作接口地址偏移地址至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段，所述m为不小于0的整数，所述n为不小于0的整数；
(S22)判断所述第m片段的长度是否大于所述目标数据的长度；
(S23)若是，建立所述目标数据存储至所述第m片段的映射关系，并建立所述目标数据存储至第k备份片段的映射关系，所述第k备份片段为所述可用存储空间中与所述第m片段的长度相同且位置不同的区域，所述k为不小于0的整数；
(S24)若否，以所述目标数据的首个数据为起始位置，按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据，作为第m截取部分数据，并建立所述第m截取部分数据存储至所述第m片段的映射关系，并建立所述第m截取部分数据存储至所述第k备份片段的映射关系。
进一步地，在本发明中，所述步骤(S3)中的目标数据的键值信息用于表征存储空间中确定存储地址的起始位置，所述起始位置对应于所述目标数据的存储地址。
进一步地，在本发明中，在步骤(S4)中，基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地址的哈希信息，并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确定.
如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
进一步地，在本发明中，所述存储空间中还包括存储中断地址，并且基于所述目标数据存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起始位置，若目标数据存储地址被确定作为所述存储中断地址的一个子地址，则基于所述目标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信息，并且相较于所述存储中断地址，先存储所述目标数据存储地址的哈希信息和所述目标数据；否则，则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所述目标数据存储地址的哈希信息。
进一步地，在本发明中，在所步骤(S1)中，当接收到预设类型的操作请求时，查询所述操作请求对应的存储路由；根据所述存储路由将所述操作请求所指向的目标数据从当前的服务器异步复制至相同存储类型的其他服务器。
进一步地，在本发明中，所述步骤(S2)之前，还包括：
基于服务器发送路由配置请求，获取多个服务器的服务部署信息；将根据所述服务部署信息生成的路由配置页面发送至所述服务器；所述路由配置页面展示有多个服务器标识及多种业务类型；将所述服务器基于所述路由配置页面返回的每种业务类型及服务器标识的关联关系作为存储路由进行存储。
与现有技术相比，本发明具有以下有益效果：
(1)本发明的存储方式中，在接收目标数据存储的操作请求后，预置的通用数据操作接口建立对应的存储映射关系，并基于目标数据的键值信息确定存储空间中可用存储空间的起始位置及可用存储空间中数据块的大小，由此，按照存储映射关系，目标数据可以直接存储至对应的磁盘数据块中，整个过程只需要一次写入，减少了数据写入和读取的次数，使存储速度得到提高，并且由于不需要将数据缓存至内存中，因此可以减少内存开销。
(2)本发明能够提升存储数据的更新速度，能够获得与存储服务器匹配的性能，并且对存储数据的任何修改都会反映到存储服务器中，并能通过存储中断地址及时中断不同类型数据的存储，能够实现并发操作。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法中存储映射关系建立的流程示意图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
实施例1
本实施例作为本发明的一种基本实施方式，如图1、2所示，其公开了一种基于大数据的数据存储方法，包括以下步骤：
首先，接收目标数据存储的操作请求；当接收到预设类型的操作请求时，查询所述操作请求对应的存储路由；根据所述存储路由将所述操作请求所指向的目标数据从当前的服务器异步复制至相同存储类型的其他服务器。
其次，通过预置的通用数据操作接口确定所述操作请求对应的存储映射关系。具体包括将所述通用数据操作接口地址作为存储地址的偏移地址，将所述通用数据操作接口地址所属数据操作接口作为第m存储接口，将从所述通用数据操作接口地址偏移地址至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段，所述m为不小于0的整数，所述n为不小于0的整数。判断所述第m片段的长度是否大于所述目标数据的长度。若是，建立所述目标数据存储至所述第m片段的映射关系，并建立所述目标数据存储至第k备份片段的映射关系，所述第k备份片段为所述可用存储空间中与所述第m片段的长度相同且位置不同的区域，所述k为不小于0的整数。若否，以所述目标数据的首个数据为起始位置，按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据，作为第m截取部分数据，并建立所述第m截取部分数据存储至所述第m片段的映射关系，并建立所述第m截取部分数据存储至所述第k备份片段的映射关系。
然后再基于目标数据的键值信息，在可用存储空间中确定起始位置及可用存储空间中数据块的大小；其中，所述目标数据的键值信息用于表征存储空间中确定存储地址的起始位置，所述起始位置对应于所述目标数据的存储地址。
根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由。具体方式是基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地址的哈希信息，并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确定。如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
且在本实施例中，所述存储空间中还包括存储中断地址，并且基于所述目标数据存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起始位置，若目标数据存储地址被确定作为所述存储中断地址的一个子地址，则基于所述目标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信息，并且相较于所述存储中断地址，先存储所述目标数据存储地址的哈希信息和所述目标数据；否则，则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所述目标数据存储地址的哈希信息。最后将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。
通过上述方法，按照存储映射关系，目标数据可以直接存储至对应的磁盘数据块中，整个过程只需要一次写入，减少了数据写入和读取的次数，使存储速度得到提高，并且由于不需要将数据缓存至内存中，因此可以减少内存开销。
实施例2
本实施例作为本发明的一种基本实施方式，如图1、2所示，其公开了一种基于大数据的数据存储方法，包括以下步骤：
首先，接收目标数据存储的操作请求；当接收到预设类型的操作请求时，查询所述操作请求对应的存储路由；根据所述存储路由将所述操作请求所指向的目标数据从当前的服务器异步复制至相同存储类型的其他服务器。
在本实施例中，接收操作请求后，本实施例还通过基于服务器发送路由配置请求，获取多个服务器的服务部署信息；将根据所述服务部署信息生成的路由配置页面发送至所述服务器；所述路由配置页面展示有多个服务器标识及多种业务类型；将所述服务器基于所述路由配置页面返回的每种业务类型及服务器标识的关联关系作为存储路由进行存储。
随后，通过预置的通用数据操作接口确定所述操作请求对应的存储映射关系。具体包括将所述通用数据操作接口地址作为存储地址的偏移地址，将所述通用数据操作接口地址所属数据操作接口作为第m存储接口，将从所述通用数据操作接口地址偏移地址至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段，所述m为不小于0的整数，所述n为不小于0的整数。判断所述第m片段的长度是否大于所述目标数据的长度。若是，建立所述目标数据存储至所述第m片段的映射关系，并建立所述目标数据存储至第k备份片段的映射关系，所述第k备份片段为所述可用存储空间中与所述第m片段的长度相同且位置不同的区域，所述k为不小于0的整数。若否，以所述目标数据的首个数据为起始位置，按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据，作为第m截取部分数据，并建立所述第m截取部分数据存储至所述第m片段的映射关系，并建立所述第m截取部分数据存储至所述第k备份片段的映射关系。
然后再基于目标数据的键值信息，在可用存储空间中确定起始位置及可用存储空间中数据块的大小；其中，所述目标数据的键值信息用于表征存储空间中确定存储地址的起始位置，所述起始位置对应于所述目标数据的存储地址。
根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由。具体方式是基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地址的哈希信息，并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确定。如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
且在本实施例中，所述存储空间中还包括存储中断地址，并且基于所述目标数据存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起始位置，若目标数据存储地址被确定作为所述存储中断地址的一个子地址，则基于所述目标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信息，并且相较于所述存储中断地址，先存储所述目标数据存储地址的哈希信息和所述目标数据；否则，则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所述目标数据存储地址的哈希信息。最后将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。
通过上述方法，按照存储映射关系，目标数据可以直接存储至对应的磁盘数据块中，整个过程只需要一次写入，减少了数据写入和读取的次数，使存储速度得到提高，并且由于不需要将数据缓存至内存中，因此可以减少内存开销。因此，与现有技术相比，本发明具有突出地实质性特点和显著的进步。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (7)

1.一种基于大数据的数据存储方法，其特征在于，包括以下步骤：
(S1)接收目标数据存储的操作请求；
(S2)通过预置的通用数据操作接口确定所述操作请求对应的存储映射关系；
(S3)基于目标数据的键值信息，在可用存储空间中确定起始位置及可用存储空间中数据块的大小；
(S4)根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由；
(S5)将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。
2.根据权利要求1所述的一种基于大数据的数据存储方法，其特征在于，所述步骤(S2)包括：
(S21)将所述通用数据操作接口地址作为存储地址的偏移地址，将所述通用数据操作接口地址所属数据操作接口作为第m存储接口，将从所述通用数据操作接口地址偏移地址至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段，所述m为不小于0的整数，所述n为不小于0的整数；
(S22)判断所述第m片段的长度是否大于所述目标数据的长度；
(S23)若是，建立所述目标数据存储至所述第m片段的映射关系，并建立所述目标数据存储至第k备份片段的映射关系，所述第k备份片段为所述可用存储空间中与所述第m片段的长度相同且位置不同的区域，所述k为不小于0的整数；
(S24)若否，以所述目标数据的首个数据为起始位置，按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据，作为第m截取部分数据，并建立所述第m截取部分数据存储至所述第m片段的映射关系，并建立所述第m截取部分数据存储至所述第k备份片段的映射关系。
3.根据权利要求2所述的一种基于大数据的数据存储方法，其特征在于，所述步骤(S3)中的目标数据的键值信息用于表征存储空间中确定存储地址的起始位置，所述起始位置对应于所述目标数据的存储地址。
4.根据权利要求3所述的一种基于大数据的数据存储方法，其特征在于，在步骤(S4)中，基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地址的哈希信息，并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确定；
如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由，则基于所述目标数据存储地址的哈希信息，对在所述存储空间的与所述目标数据存储地址哈希相关的存储路由进行更新。
5.根据权利要求4所述的一种基于大数据的数据存储方法，其特征在于，所述存储空间中还包括存储中断地址，并且基于所述目标数据存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起始位置，若目标数据存储地址被确定作为所述存储中断地址的一个子地址，则基于所述目标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信息，并且相较于所述存储中断地址，先存储所述目标数据存储地址的哈希信息和所述目标数据；否则，则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所述目标数据存储地址的哈希信息。
6.根据权利要求5所述的一种基于大数据的数据存储方法，其特征在于，在所步骤(S1)中，当接收到预设类型的操作请求时，查询所述操作请求对应的存储路由；根据所述存储路由将所述操作请求所指向的目标数据从当前的服务器异步复制至相同存储类型的其他服务器。
7.根据权利要求6所述的一种基于大数据的数据存储方法，其特征在于，所述步骤(S2)之前，还包括：
基于服务器发送路由配置请求，获取多个服务器的服务部署信息；将根据所述服务部署信息生成的路由配置页面发送至所述服务器；所述路由配置页面展示有多个服务器标识及多种业务类型；将所述服务器基于所述路由配置页面返回的每种业务类型及服务器标识的关联关系作为存储路由进行存储。
CN202111416813.5A 2021-11-26 2021-11-26 一种基于大数据的数据存储方法 Active CN114063931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111416813.5A CN114063931B (zh) 2021-11-26 2021-11-26 一种基于大数据的数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111416813.5A CN114063931B (zh) 2021-11-26 2021-11-26 一种基于大数据的数据存储方法

Publications (2)

Publication Number Publication Date
CN114063931A true CN114063931A (zh) 2022-02-18
CN114063931B CN114063931B (zh) 2023-04-25

Family

ID=80276254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111416813.5A Active CN114063931B (zh) 2021-11-26 2021-11-26 一种基于大数据的数据存储方法

Country Status (1)

Country Link
CN (1) CN114063931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891409A (zh) * 2024-03-13 2024-04-16 济南浪潮数据技术有限公司 分布式存储系统数据管理方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010000201A1 (zh) * 2008-06-30 2010-01-07 华为技术有限公司 存储、查找路由表的方法及装置
CN104008111A (zh) * 2013-02-27 2014-08-27 深圳市腾讯计算机系统有限公司 一种数据的存储管理方法及装置
CN107145362A (zh) * 2016-03-01 2017-09-08 瑞萨电子株式会社 嵌入式设备以及程序更新方法
CN107911461A (zh) * 2017-11-24 2018-04-13 网宿科技股份有限公司 云存储系统中的对象处理方法、存储服务器及云存储系统
CN107924291A (zh) * 2015-10-19 2018-04-17 株式会社日立制作所 存储系统
WO2018099107A1 (zh) * 2016-12-02 2018-06-07 深圳市中兴微电子技术有限公司 一种哈希表管理的方法和装置、计算机存储介质
US20190179561A1 (en) * 2017-12-11 2019-06-13 SK Hynix Inc. Data storage device, operating method thereof, and storage system having the same
CN110764700A (zh) * 2019-10-12 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN111177719A (zh) * 2019-08-13 2020-05-19 腾讯科技（深圳）有限公司 地址类别判定方法、装置、计算机可读存储介质及设备
CN111752466A (zh) * 2019-03-27 2020-10-09 深圳市茁壮网络股份有限公司 一种数据存储方法及装置
CN112119383A (zh) * 2019-10-12 2020-12-22 深圳市大疆创新科技有限公司 一种数据处理方法、设备、系统及存储介质
CN112632069A (zh) * 2020-12-22 2021-04-09 中科驭数（北京）科技有限公司 哈希表数据存储管理方法、装置、介质和电子设备
WO2021093249A1 (zh) * 2019-11-13 2021-05-20 国微集团(深圳)有限公司 外部设备访问计算机内存的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010000201A1 (zh) * 2008-06-30 2010-01-07 华为技术有限公司 存储、查找路由表的方法及装置
CN104008111A (zh) * 2013-02-27 2014-08-27 深圳市腾讯计算机系统有限公司 一种数据的存储管理方法及装置
CN107924291A (zh) * 2015-10-19 2018-04-17 株式会社日立制作所 存储系统
CN107145362A (zh) * 2016-03-01 2017-09-08 瑞萨电子株式会社 嵌入式设备以及程序更新方法
WO2018099107A1 (zh) * 2016-12-02 2018-06-07 深圳市中兴微电子技术有限公司 一种哈希表管理的方法和装置、计算机存储介质
CN107911461A (zh) * 2017-11-24 2018-04-13 网宿科技股份有限公司 云存储系统中的对象处理方法、存储服务器及云存储系统
US20190179561A1 (en) * 2017-12-11 2019-06-13 SK Hynix Inc. Data storage device, operating method thereof, and storage system having the same
CN111752466A (zh) * 2019-03-27 2020-10-09 深圳市茁壮网络股份有限公司 一种数据存储方法及装置
CN111177719A (zh) * 2019-08-13 2020-05-19 腾讯科技（深圳）有限公司 地址类别判定方法、装置、计算机可读存储介质及设备
CN110764700A (zh) * 2019-10-12 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN112119383A (zh) * 2019-10-12 2020-12-22 深圳市大疆创新科技有限公司 一种数据处理方法、设备、系统及存储介质
WO2021093249A1 (zh) * 2019-11-13 2021-05-20 国微集团(深圳)有限公司 外部设备访问计算机内存的方法
CN112632069A (zh) * 2020-12-22 2021-04-09 中科驭数（北京）科技有限公司 哈希表数据存储管理方法、装置、介质和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891409A (zh) * 2024-03-13 2024-04-16 济南浪潮数据技术有限公司 分布式存储系统数据管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114063931B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110191428B (zh) 一种基于智能云平台的数据分配方法
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
CN111460023A (zh) 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质
CN110995776B (zh) 区块链的区块分发方法、装置、计算机设备和存储介质
US20140156586A1 (en) Big-fast data connector between in-memory database system and data warehouse system
US8280917B1 (en) Batching content management operations to facilitate efficient database interactions
CN103139300A (zh) 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN109766318B (zh) 文件读取方法及装置
CN103312624A (zh) 一种消息队列服务系统和方法
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
US8930518B2 (en) Processing of write requests in application server clusters
US20150039715A1 (en) Publisher-assisted, broker-based caching in a publish-subscription environment
CN111858586A (zh) 一种数据处理的方法和装置
CN106649530B (zh) 云详单查询管理系统及方法
CN114063931A (zh) 一种基于大数据的数据存储方法
CN112699187A (zh) 关联数据处理方法、装置、设备、介质及产品
CN101459599A (zh) 一种实现缓存数据访问与加载并发进行的方法及系统
CN112148705A (zh) 数据迁移的方法和装置
CN116069810A (zh) 数据查询方法、装置及终端设备
CN110297842B (zh) 一种数据比对方法、装置、终端和存储介质
CN114116908A (zh) 一种数据管理方法、装置及电子设备
CN109815295A (zh) 分布式集群数据导入方法及装置
KR100959898B1 (ko) 인터넷 서비스를 위한 부하 분산형 스케줄링 구조를 가지는서비스 서버 및 그 서비스 방법
CN109710673B (zh) 作品处理方法、装置、设备和介质
CN113608703B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant