CN112559483A - 基于hdfs的数据管理方法、装置、电子设备及介质 - Google Patents

基于hdfs的数据管理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112559483A
CN112559483A CN202011532758.1A CN202011532758A CN112559483A CN 112559483 A CN112559483 A CN 112559483A CN 202011532758 A CN202011532758 A CN 202011532758A CN 112559483 A CN112559483 A CN 112559483A
Authority
CN
China
Prior art keywords
data
project
node
data blocks
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011532758.1A
Other languages
English (en)
Inventor
黄友俊
李星
吴建平
金东勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERNET Corp
Original Assignee
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CERNET Corp filed Critical CERNET Corp
Priority to CN202011532758.1A priority Critical patent/CN112559483A/zh
Publication of CN112559483A publication Critical patent/CN112559483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于HDFS的数据管理方法，包括：接收用户上传的项目数据，将项目数据按照业务类型划分为多个数据块，其中，各数据块的业务类型不同，将多个数据块存入HDFS集群中对应的项目节点中。该方法将数据按项目及项目包括的业务类型分块存储，可知用户查询数据时直接遍历获取到指定数据，而不需要先遍历项目，在从项目数据中遍历获取指定的业务类型的数据，提高了数据提取的效率。此外，本公开还提供了相应的装置、电子设备和可读存储介质。

Description

基于HDFS的数据管理方法、装置、电子设备及介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种基于HDFS的数据管理方法、装置、电子设备及计算机可读存储介质。
背景技术
HDFS分布式文件系统是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
发明内容
本公开一方面提供了一种基于HDFS的数据管理方法，包括：接收用户上传的项目数据；将所述项目数据按照业务类型划分为多个数据块，其中，各所述数据块的业务类型不同；将所述多个数据块存入HDFS集群中对应的项目节点中。
可选地，所述将所述多个数据块存入HDFS集群中对应的项目节点之前，所述方法还包括：判断所述HDFS集群中是否已存在与所述多个数据块对应的项目节点；若不存在所述项目节点，则在所述HDFS集群中创建新的项目节点，并将所述多个数据块存于所述新的项目节点中；若已存在所述项目节点，则在所述项目节点下获取存储空间后，将所述多个数据块存入所述项目节点。
可选地，所述若不存在所述项目节点，则在所述HDFS集群中创建新的项目节点，并将所述多个数据块存于所述新的项目节点中包括：将所述多个数据块存储于第一数据队列中；通过所述HDFS集群的Blockmap的索引机制创建所述新的项目节点的存储空间及所述存储空间的一级索引；将所述第一数据队列中的所述多个数据块依次分块存储于所述新的项目节点的存储空间中。
可选地，所述若已存在所述项目节点，则在所述项目节点下获取存储空间后，将所述多个数据块存入所述项目节点包括：将所述多个数据块存储于第二数据队列中；通过所述项目节点的一级索引查找到所述项目节点，判断所述多个数据块的所有业务类型是否均存在于所述项目节点中；当所述多个数据块中包括新的数据类型时，在所述项目节点中追加所述新的数据类型的存储空间；将所述多个数据块存储于所述项目节点的存储空间中。
可选地，所述将所述多个数据块存储于对应的数据类型的数据块存储空间之前，所述方法还包括：判断各数据类型的数据块存储空间的剩余容量是否大于对应的所述数据块的大小；当所述剩余容量小于所述对应的所述数据块的大小时，创建新的数据块存储空间及所述数据块存储空间的二级索引；将所述数据块存入所述新的数据块存储空间中；当所述剩余容量大于所述对应的所述数据块的大小时，将所述数据块存入所述数据块存储空间。
可选地，所述方法还包括：当用户查找指定项目的指定业务数据时，遍历所述HDFS集群中对应的项目类型节点中的所有数据块，获取所述指定业务数据。
可选地，当所述项目类型节点包括二级索引时，所述方法还包括：当用户查找指定项目的指定业务数据时，遍历对应的项目类型节点的一级索引和二级索引下的所有数据块，获取所述指定业务数据。
本公开另一方面提供了一种基于HDFS的数据管理装置，包括：数据接收模块，用于接收用户上传的项目数据；数据分块模块，用于将所述项目数据按照业务类型划分为多个数据块，其中，各所述数据块的业务类型不同；数据存储模块，用于将所述多个数据块存入HDFS集群中对应的项目节点中。
本公开另一方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现第一方面中的任一项所述基于HDFS的数据管理方法中的各个步骤。
本公开另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面中的任一项所述基于HDFS的数据管理方法中的各个步骤。
在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
本公开提供的一种基于HDFS的数据管理方法可以减少检索次数，提高检索效率，还可以提高数据读取效率，以及，提高数据块空间利用率。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了本公开实施例提供的一种基于HDFS的数据管理方法的流程图；
图2示意性示出了本公开实施例提供的一种基于HDFS的数据管理装置的结构示意图；
图3示意性示出了本公开实施例提供的一种基于HDFS的数据管理方法的场景示意图。
图4示意性示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
图1示意性示出了本公开实施例提供的一种基于HDFS的数据管理方法的流程图。
如图1所示，本公开提供的一种基于HDFS的数据管理方法，包括步骤S110～S140。
S110，接收用户上传的项目数据。
在本公开实施例中，用户可以一次上传一个项目的项目数据，也可以一次上传多个项目的项目数据，且项目数据中可包括一个或多个业务类型的数据。
S120，将项目数据按照业务类型划分为多个数据块，其中，各数据块的业务类型不同。
在本公开实施例中，针对同一项目的项目数据，将其按业务类型分为多个数据块，并存储于队列中等待存储，不同项目的数据块存储于不同的队列中。
S130，将多个数据块存入HDFS集群中对应的项目节点中。
在本公开实施例中，在HDFS集群中给每一项目的项目数据均创建一项目节点，以分别存储各项目的数据块，以便于查找。
该方法还包括步骤S140：当用户查找指定项目的指定业务数据时，遍历HDFS集群中对应的项目类型节点中的所有数据块，获取指定业务数据。
根据本公开实施例提供的一种基于HDFS的数据管理方法，将各项目的数据分别存储，且将各项目的不同业务类型的数据块分别存储，当需要查询指定项目的指定业务类型的数据时，通过各级索引即可快速获取，与传统的数据存储方式相比，不需要先遍历各项目节点再遍历各数据块才能获取数据，减少了检索次数，提高了检索效率，同时，还提高数据块空间利用率。
步骤S130，将多个数据块存入HDFS集群中对应的项目节点之前，方法还包括步骤S131～S132。
S131，判断HDFS集群中是否已存在与多个数据块对应的项目节点。
在本公开实施例中，可预设一本地记录表记录各项目数据信息，项目数据信息可以包括项目名称、对应项目下的业务类型名称等，在存储数据前，查询该本地记录表中是否已存在对应项目的项目数据信息，以便执行步骤S132或步骤S133。
S132，若不存在项目节点，则在HDFS集群中创建新的项目节点，并将多个数据块存于新的项目节点中。
在本公开实施例中，在HDFS集群中创建新的创建项目节点实际为给该项目的项目数据开辟存储空间，且该存储空间还分为该多个数据块对应的数据块存储空间，以便将各数据块单独存储。在创建新的项目节点的同时，在本地记录表中记录该多个数据块所属项目的名称及各数据块的业务类型。
具体的，步骤S132包括步骤S1321～S1323。
S1321，将多个数据块存储于第一数据队列中。
S1322，通过HDFS集群的Blockmap的索引机制创建新的项目节点的存储空间及存储空间的一级索引。
S1323，将第一数据队列中的多个数据块依次分块存储于新的项目节点的存储空间中。
在本公开实施例中，通过一级索引，可快速查询到该项目节点内存储的数据。
S133，若已存在项目节点，则在项目节点下获取存储空间后，将多个数据块存入项目节点。
在本公开实施例中，若已存在项目节点，则需要判断该存储空间是否能存储下当前该多个数据块，且该存储空间中是否包括该多个数据块的所有数据类型，若没有，则需要开辟新的数据块存储空间，具体步骤包括步骤S1331～S1334。
S1331，将多个数据块存储于第二数据队列中。
S1332，通过项目节点的一级索引查找到项目节点，判断多个数据块的所有业务类型是否均存在于项目节点中。
S1333，当多个数据块中包括新的数据类型时，在项目节点中追加新的数据类型的存储空间。
S1334，将多个数据块存储于项目节点的存储空间中。
将多个数据块存储于对应的数据类型的数据块存储空间之前，步骤S133还包括步骤S1335～S1338。
S1335，判断各数据类型的数据块存储空间的剩余容量是否大于对应的数据块的大小。
S1336，当剩余容量小于对应的数据块的大小时，创建新的数据块存储空间及数据块存储空间的二级索引。
S1337，将数据块存入新的数据块存储空间中。
S1338，当剩余容量大于对应的数据块的大小时，将数据块存入数据块存储空间。
由于HDFS的数据块标准存储空间为64MB，并且通常情况下单次单项目单业务所上传数据量较小。若将单次单项目单业务所上传数据直接作为一个数据块存储，则会极大增加一个项目下的数据块的数量，增加索引遍历的时间。若欲合并的业务数据大于当前目标数据块的剩余空间时，将数据切割并分别存储至目标数据块与新数据块中，则查询数据时需同时从2个或2个以上的数据块中提取欲查询数据，同样会增加索引遍历的时间。因此当欲合并的业务数据大于当前目标数据块的剩余空间时，数据将以新数据块的形式存入至HDFS集群中，此方式同时兼顾了数据读取效率问题及项目节点存储空间的利用率问题。
通过上述步骤，可保证该多个数据块能完整且独立的存储于该存储空间中，通过一级索引和二级索引，可快速对数据进行查找。
当项目类型节点包括二级索引时，对数据进行查找包括步骤S141：当用户查找指定项目的指定业务数据时，遍历对应的项目类型节点的一级索引和二级索引下的所有数据块，获取指定业务数据。
HDFS数据常规存储方法为，将大量不同业务类型的数据混合存储在一个数据块中，用户查询该业务数据时，则要对该数据块进行2次遍历查询，即先遍历项目，再遍历业务类型，使得数据查询效率降低。
根据本公开实施例提供的一种基于HDFS的数据管理方法，相同项目相同业务类型的数据存储在同一数据块中，则会减少一次遍历查询，可较高的提升数据查询效率，同时提高了存储空间的利用率。
图2示意性示出了本公开实施例提供的一种基于HDFS的数据管理装置的结构示意图。
如图2所示，本公开另一方面提供了一种基于HDFS的数据管理装置，包括：数据接收模块210，数据分块模块220，数据存储模块230。
数据接收模块210，用于接收用户上传的项目数据。
数据分块模块220，用于将项目数据按照业务类型划分为多个数据块，其中，各数据块的业务类型不同。
数据存储模块230，用于将多个数据块存入HDFS集群中对应的项目节点中。
需要说明的是，本公开实施例提供的一种基于HDFS的数据管理装置与图1所示的方法具有相同的技术特征和技术效果，故在此不再赘述。
可以理解的是，数据接收模块210、数据分块模块220、数据存储模块230可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或二者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，数据接收模块210、数据分块模块220、数据存储模块230中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，数据接收模块210、数据分块模块220、数据存储模块230中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图3示意性示出了本公开实施例提供的一种基于HDFS的数据管理方法的场景示意图。
如图3所示，客户端相当于数据接收模块210，数据预处理模块相当于数据分块模块220，其余各模块相当于所述数据存储模块230。用户通过客户端向数据预处理模块上传项目数据。预处理模块将项目数据按照包括的业务类型分为多个数据块，其中，业务类型可以包括合同业务、免税业务、清关业务、付汇业务、结算业务。将数据存入各项目节点之前，查询本地项目信息(即本地记录表)，确认判断HDFS集群中是否已存在与该多个数据块对应的项目节点(对应图中的DataNode)。若不存在项目节点，将该多个数据块存入为该项目数据生成的第一数据队列中，并在HDFS集群中创建新的项目节点，并将第一数据队列中的多个数据块存于新的项目节点中，如图3所示，A1、A2、A3、A4表示数据块；若已存在项目节点，则在项目节点DataNode下获取存储空间后，将多个数据块存入项目节点。需要说明的是，查找项目节点的存储空间是通过BlockMap索引查询的。
图4示意性示出了本公开实施例提供的一种电子设备的结构框图。
如图4所示，本实施例中所描述的电子设备，包括：电子设备400包括处理器410、计算机可读存储介质420。该电子设备400可以执行上面参考图1描述的方法，以实现对特定操作的检测。
具体地，处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行参考图1描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质420，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质420可以包括计算机程序421，该计算机程序421可以包括代码/计算机可执行指令，其在由处理器410执行时使得处理器410执行例如上面结合图1所描述的方法流程及其任何变形。
计算机程序421可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序421中的代码可以包括一个或多个程序模块，例如包括421A、模块421B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器410执行时，使得处理器410可以执行例如上面结合图1所描述的方法流程及其任何变形。
根据本发明的实施例，数据接收模块210、数据分块模块220、数据存储模块230中的至少一个可以实现为参考图4描述的计算机程序模块，其在被处理器410执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种基于HDFS的数据管理方法，其特征在于，包括：
接收用户上传的项目数据；
将所述项目数据按照业务类型划分为多个数据块，其中，各所述数据块的业务类型不同；
将所述多个数据块存入HDFS集群中对应的项目节点中。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个数据块存入HDFS集群中对应的项目节点之前，所述方法还包括：
判断所述HDFS集群中是否已存在与所述多个数据块对应的项目节点；
若不存在所述项目节点，则在所述HDFS集群中创建新的项目节点，并将所述多个数据块存于所述新的项目节点中；
若已存在所述项目节点，则在所述项目节点下获取存储空间后，将所述多个数据块存入所述项目节点。
3.根据权利要求2所述的方法，其特征在于，所述若不存在所述项目节点，则在所述HDFS集群中创建新的项目节点，并将所述多个数据块存于所述新的项目节点中包括：
将所述多个数据块存储于第一数据队列中；
通过所述HDFS集群的Blockmap的索引机制创建所述新的项目节点的存储空间及所述存储空间的一级索引；
将所述第一数据队列中的所述多个数据块依次分块存储于所述新的项目节点的存储空间中。
4.根据权利要求1所述的方法，其特征在于，所述若已存在所述项目节点，则在所述项目节点下获取存储空间后，将所述多个数据块存入所述项目节点包括：
将所述多个数据块存储于第二数据队列中；
通过所述项目节点的一级索引查找到所述项目节点，判断所述多个数据块的所有业务类型是否均存在于所述项目节点中；
当所述多个数据块中包括新的数据类型时，在所述项目节点中追加所述新的数据类型的存储空间；
将所述多个数据块存储于所述项目节点的存储空间中。
5.根据权利要求4所述的方法，其特征在于，所述将所述多个数据块存储于对应的数据类型的数据块存储空间之前，所述方法还包括：
判断各数据类型的数据块存储空间的剩余容量是否大于对应的所述数据块的大小；
当所述剩余容量小于所述对应的所述数据块的大小时，创建新的数据块存储空间及所述数据块存储空间的二级索引；
将所述数据块存入所述新的数据块存储空间中；
当所述剩余容量大于所述对应的所述数据块的大小时，将所述数据块存入所述数据块存储空间。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当用户查找指定项目的指定业务数据时，遍历所述HDFS集群中对应的项目类型节点中的所有数据块，获取所述指定业务数据。
7.根据权利要求5或6所述的方法，其特征在于，当所述项目类型节点包括二级索引时，所述方法还包括：
当用户查找指定项目的指定业务数据时，遍历对应的项目类型节点的一级索引和二级索引下的所有数据块，获取所述指定业务数据。
8.一种基于HDFS的数据管理装置，其特征在于，包括：
数据接收模块，用于接收用户上传的项目数据；
数据分块模块，用于将所述项目数据按照业务类型划分为多个数据块，其中，各所述数据块的业务类型不同；
数据存储模块，用于将所述多个数据块存入HDFS集群中对应的项目节点中。
9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任一项所述基于HDFS的数据管理方法中的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任一项所述基于HDFS的数据管理方法中的各个步骤。
CN202011532758.1A 2020-12-22 2020-12-22 基于hdfs的数据管理方法、装置、电子设备及介质 Pending CN112559483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011532758.1A CN112559483A (zh) 2020-12-22 2020-12-22 基于hdfs的数据管理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011532758.1A CN112559483A (zh) 2020-12-22 2020-12-22 基于hdfs的数据管理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112559483A true CN112559483A (zh) 2021-03-26

Family

ID=75032164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011532758.1A Pending CN112559483A (zh) 2020-12-22 2020-12-22 基于hdfs的数据管理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112559483A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434492A (zh) * 2021-06-21 2021-09-24 青岛海尔科技有限公司 数据的检测方法、装置、存储介质和电子装置
CN113849508A (zh) * 2021-09-22 2021-12-28 广东电网有限责任公司 一种数据存储方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810061A (zh) * 2014-01-28 2014-05-21 河南科技大学 一种高可用云存储方法
CN104615419A (zh) * 2013-11-01 2015-05-13 索尼电脑娱乐公司 信息处理设备、程序和记录介质
CN106302656A (zh) * 2016-08-01 2017-01-04 成都鼎智汇科技有限公司 云存储平台的医药数据处理方法
CN106959948A (zh) * 2016-01-08 2017-07-18 普华诚信信息技术有限公司 针对分布式特性对大数据进行预处理的系统及其预处理方法
CN109766313A (zh) * 2018-12-05 2019-05-17 中国地质调查局发展研究中心 地质项目数据处理方法、装置及计算机设备
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615419A (zh) * 2013-11-01 2015-05-13 索尼电脑娱乐公司 信息处理设备、程序和记录介质
CN103810061A (zh) * 2014-01-28 2014-05-21 河南科技大学 一种高可用云存储方法
CN106959948A (zh) * 2016-01-08 2017-07-18 普华诚信信息技术有限公司 针对分布式特性对大数据进行预处理的系统及其预处理方法
CN106302656A (zh) * 2016-08-01 2017-01-04 成都鼎智汇科技有限公司 云存储平台的医药数据处理方法
CN109766313A (zh) * 2018-12-05 2019-05-17 中国地质调查局发展研究中心 地质项目数据处理方法、装置及计算机设备
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文贤馗: "《小水电功率预测技术研究及工程应用》", 贵州大学出版社, pages: 117 - 118 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434492A (zh) * 2021-06-21 2021-09-24 青岛海尔科技有限公司 数据的检测方法、装置、存储介质和电子装置
CN113849508A (zh) * 2021-09-22 2021-12-28 广东电网有限责任公司 一种数据存储方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US20170220614A1 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US11580061B2 (en) System and method for file archiving using machine learning
US9952940B2 (en) Method of operating a shared nothing cluster system
US10574752B2 (en) Distributed data storage method, apparatus, and system
CN102725755B (zh) 文件访问方法及系统
CN105159895A (zh) 用于存储和查询数据的方法和系统
CN109783076A (zh) 基于git的代码管理方法、装置、设备和存储介质
US8812492B2 (en) Automatic and dynamic design of cache groups
US20190273772A1 (en) Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system
CN110888837B (zh) 对象存储小文件归并方法及装置
CN112559483A (zh) 基于hdfs的数据管理方法、装置、电子设备及介质
CN107506484B (zh) 运维数据关联审计方法、系统、设备及存储介质
US9813331B2 (en) Assessing response routes in a network
US20140229496A1 (en) Information processing device, information processing method, and computer program product
Aljubayrin et al. Finding non-dominated paths in uncertain road networks
CN109213898A (zh) 视频监控系统的录像检索方法及装置
US20200089776A1 (en) Method for migrating data records from a source database to a target database
US20210149868A1 (en) Dynamic index management for computing storage resources
US10135926B2 (en) Shuffle embedded distributed storage system supporting virtual merge and method thereof
US20180006885A1 (en) Processing command line templates for database queries
US20170262482A1 (en) Data management system, data management device, data management method, and storage medium
US9852166B2 (en) Task handling in a multisystem environment
US20230188619A1 (en) Methods and systems for event management
CN112307272B (zh) 确定对象之间关系信息的方法、装置、计算设备及存储介质
CN110866380A (zh) 一种填写信息字段内容的方法、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326

RJ01 Rejection of invention patent application after publication