CN114661676B - 分布式数据库管理系统、方法、电子设备及可读存储介质 - Google Patents

分布式数据库管理系统、方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114661676B
CN114661676B CN202210410649.5A CN202210410649A CN114661676B CN 114661676 B CN114661676 B CN 114661676B CN 202210410649 A CN202210410649 A CN 202210410649A CN 114661676 B CN114661676 B CN 114661676B
Authority
CN
China
Prior art keywords
data
database
file
directory
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210410649.5A
Other languages
English (en)
Other versions
CN114661676A (zh
Inventor
韩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210410649.5A priority Critical patent/CN114661676B/zh
Publication of CN114661676A publication Critical patent/CN114661676A/zh
Application granted granted Critical
Publication of CN114661676B publication Critical patent/CN114661676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据管理技术领域，公开了一种分布式数据库管理系统、方法、电子设备及可读存储介质，该系统通过选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据，将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性。

Description

分布式数据库管理系统、方法、电子设备及可读存储介质
技术领域
本发明涉及数据管理技术领域，尤其涉及一种分布式数据库管理系统、方法、电子设备及可读存储介质。
背景技术
分布式数据库通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS((Database Management System，数据库管理系统)的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
由于分布式数据库是一种复杂的存储系统，对数据存储的一致性、可用性要求极高。而目前，HDFS(Hadoop Distributed File System，分布式文件系统)、GFS(google FileSystem，Google分布式文件系统)等大部分分布式文件系统在设计上将文件、磁盘数据块分开管理，不仅延长了I/O(input/output，输入/输出)路径，而且增加系统的复杂度，导致存储数据的一致性难以控制，数据库的稳定性很低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点，本发明公开了一种分布式数据库管理系统、方法、电子设备及可读存储介质，以提高分布式数据库中存储数据的一致性，进而提高数据库稳定性。
本发明公开了一种分布式数据库管理系统，包括：数据库端，用于通过多个数据库磁盘分布式存储数据库文件；服务器端，包括多个元数据服务进程，所述服务器端用于选取任一元数据服务进程作为数据库管理模块，其中，所述数据库管理模块包括生成单元和管理单元；所述生成单元用于生成各数据库文件对应的数据标识，根据所述数据标识建立对应的管理数据，所述管理数据包括所述数据库文件对应的文件目录数据和/或所述数据库磁盘对应的磁盘镜像数据；所述管理单元，用于基于所述管理数据响应接收到的文件管理指令，以对所述数据库文件进行管理。
可选地，所述生成单元通过以下方式生成文件目录数据：获取多个原始目录，生成各所述原始目录对应的数据标识和目录配置信息，其中，所述原始目录包括一个总目录和若干分目录，所述目录配置信息包括目录容量信息、连接池信息和数据库文件类型中的至少一种；从所述原始目录和所述数据库文件中确定各所述数据标识对应的上级目录，生成各所述数据标识对应的数据结构字段，其中，所述数据结构字段包括第一字段和第二字段，所述第一字段用于表征所述数据标识对应的上级目录，所述第二字段用于表征所述数据标识对应的数据库文件或原始目录；基于所述数据结构字段将各所述数据标识填入预设的树形结构体中，得到所述数据库文件对应的树形目录数据；根据所述数据标识、所述数据结构字段、所述树形目录数据中的至少一种生成文件目录数据。
可选地，所述数据库管理模块还包括：文件属性生成单元，用于获取各所述数据库文件对应的文件属性信息，将所述文件属性信息加入所述文件目录数据。
可选地，所述生成单元通过以下方式生成磁盘镜像数据：对所述数据库磁盘的磁盘存储空间进行区域划分，得到所述数据库磁盘对应的数据块序列，其中，所述数据块序列包括多个磁盘数据块以及各所述磁盘数据块对应的数据块序号；获取所述数据库文件对应的文件定位信息，基于所述文件定位信息建立所述数据标识与磁盘块组之间的磁盘对应关系，其中，所述磁盘块组包括一个或多个磁盘数据块；根据所述磁盘对应关系从所述磁盘数据块中确定空数据块，基于所述数据块序号的顺序分别建立每两个相邻空数据块之间的双向指针，得到所述数据块序列对应的空数据块链表；根据所述数据块序列、所述磁盘对应关系、所述空数据块链表中的至少一种生成磁盘镜像数据。
可选地，所述数据库管理模块还包括以下至少一种：数据块属性生成单元，用于生成各所述磁盘数据块对应的数据块属性信息，将所述数据块属性信息加入所述磁盘镜像数据。
可选地，所述管理单元包括以下至少一种：存储子单元，用于获取待存储文件和存储位置信息，生成所述待存储文件对应的数据标识、数据结构字段和磁盘对应关系，更新所述树形目录数据和所述空数据块链表，并将所述待增加文件和所述增加位置信息发送至所述数据库端；删除子单元，用于获取待删除文件标识，从所述管理数据中删除所述待删除文件标识对应的数据标识、数据结构字段和磁盘对应关系，更新所述树形目录数据和所述空数据块链表；重命名子单元，用于获取待修改文件标识和命名规则，从所述数据结构字段中确定待修改文件标识对应的待修改字段，基于命名规则修改所述待修改字段；移动子单元，用于获取待移动文件标识和移动位置信息，从所述数据结构字段中确定待移动文件标识对应的待移动字段，并从所述数据标识中确定所述移动位置信息对应的待移动标识，根据所述待移动标识修改所述待移动字段的第一字段；扫描子单元，用于获取待扫描目录，将表征所述待扫描目录的第一字段确定为待扫描字段，则将包含所述待扫描字段的数据结构字段确定为目标字段，将所述目标字段对应的原始目录和/或数据库文件确定为扫描结果；容量计算子单元，用于获取待计算目录，基于所述数据结构字段从所述数据标识中确定所述待计算目录对应的目录内标识，根据所述目录内标识对应的存储数据块确定待计算目录对应的目录容量。
可选地，所述服务器端还包括：一个或多个总控服务进程，所述总控服务进程与存储磁盘连接，所述存储磁盘包括至少一部分数据库磁盘；所述总控服务进程用于在所述存储磁盘增加或减少的情况下，获取所述存储磁盘的当前时刻磁盘状态，将所述当前时刻磁盘状态发送至所述数据库管理模块，触发所述数据库管理模块根据接收到的当前时刻磁盘状态更新所述管理数据，并更新所述总控服务进程和所述数据库磁盘之间的连接关系。
本发明公开了一种分布式数据库管理方法，包括：从服务器端的多个元数据服务进程中确定一个主节点进程；所述主节点进程生成各数据库文件对应的数据标识，其中，所述数据库文件分布式存储在多个数据库磁盘；根据所述数据标识建立对应的管理数据，其中，所述管理数据包括所述数据库文件对应的文件目录数据和/或所述数据库磁盘对应的磁盘镜像数据；基于所述管理数据响应接收到的文件管理指令，以对所述数据库文件进行管理。
本发明公开了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果：
通过服务器端选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据。这样，将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性。
附图说明
图1是本发明实施例中一个分布式数据库管理系统的结构示意图；
图2-a是本发明实施例中一个空数据块链表的结构示意图；
图2-b是本发明实施例中另一个空数据块链表的结构示意图；
图2-c是本发明实施例中另一个空数据块链表的结构示意图；
图2-d是本发明实施例中另一个空数据块链表的结构示意图；
图3是本发明实施例中一个树形目录数据的结构示意图；
图4是本发明实施例中一个分布式数据库管理方法的流程示意图；
图5是本发明实施例中一个电子设备的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供了一种分布式数据库管理系统，包括数据库端101和服务器端102。
数据库端101用于通过多个数据库磁盘分布式存储数据库文件。
服务器端102包括多个元数据服务进程(MD server)1021，服务器端102用于选取任一元数据服务进程1021作为数据库管理模块1022；
其中，数据库管理模块1022包括生成单元10221和管理单元10222；生成单元10221用于生成各数据库文件对应的数据标识，根据数据标识建立对应的管理数据，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据；管理单元10222用于基于管理数据响应接收到的文件管理指令，以对数据库文件进行管理。
采用本公开实施例提供的分布式数据库管理系统，通过服务器端选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据。这样，将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性。
可选地，数据库端和服务器端之间通过数据线、有线/无线网络、蓝牙等方式连接。
可选地，每个数据库文件都有一个用于全局的唯一数据标识，该数据标识通常为64位。
可选地，结合图1所示，服务器端还包括一个或多个总控服务进程(PD sever)1023，总控服务进程与存储磁盘连接，存储磁盘包括至少一部分数据库磁盘，总控服务进程用于在存储磁盘增加或减少的情况下，获取存储磁盘的当前时刻磁盘状态，将当前时刻磁盘状态发送至数据库管理模块，触发数据库管理模块根据接收到的当前时刻磁盘状态更新管理数据，并更新总控服务进程和数据库磁盘之间的连接关系。
在一些实施例中，PD(Placement Driver，总控)服务进程是一个管理模块，用于管理分布式数据库的I/O(input/output，输入/输出)端口。
可选地，生成单元通过以下方式生成文件目录数据：获取多个原始目录，生成各原始目录对应的数据标识和目录配置信息，其中，原始目录包括一个总目录和若干分目录，目录配置信息包括目录容量信息、连接池信息和数据库文件类型中的至少一种；从原始目录和数据库文件中确定各数据标识对应的上级目录，生成各数据标识对应的数据结构字段，其中，数据结构字段包括第一字段和第二字段，第一字段用于表征数据标识对应的上级目录，第二字段用于表征数据标识对应的数据库文件或原始目录；基于数据结构字段将各数据标识填入预设的树形结构体中，得到数据库文件对应的树形目录数据；根据数据标识、数据结构字段、树形目录数据中的至少一种生成文件目录数据。
在一些实施例中，总目录为各分目录的上级目录，分目录根据用户需求进行创建，通过对应的目录配置信息区分不同的用户需求，其中，连接池信息包括连接池自定义名称、数据库驱动、数据库连接地址、数据库用户名、数据库用户名对应的密码等信息。
可选地，数据结构字段中，将数据标识对应的上级目录的数据标识确定为第一字段，将数据标识对应的数据库文件或原始目录的文件名称确定为第二字段，例如，ParentID/File Name。
可选地，数据库管理模块还包括文件属性生成单元，用于获取各数据库文件对应的文件属性信息，将文件属性信息加入文件目录数据。
可选地，文件属性信息包括数据库文件对应的文件名称、数据库文件对应的数据标识(File ID)、父目录对应的数据标识(Parent ID)、文件创建时间(CTime)、文件修改时间(MTime)、文件类型(Type)、文件大小(Size)、文件日志、纠删信息(Ec)中的至少一种。
可选地，生成单元通过以下方式生成磁盘镜像数据：对数据库磁盘的磁盘存储空间进行区域划分，得到数据库磁盘对应的数据块序列，其中，数据块序列包括多个磁盘数据块以及各磁盘数据块对应的数据块序号；获取数据库文件对应的文件定位信息，基于文件定位信息建立数据标识与磁盘块组之间的磁盘对应关系，其中，磁盘块组包括一个或多个磁盘数据块；根据磁盘对应关系从磁盘数据块中确定空数据块，基于数据块序号的顺序分别建立每两个相邻空数据块之间的双向指针，得到数据块序列对应的空数据块链表；根据数据块序列、磁盘对应关系、空数据块链表中的至少一种生成磁盘镜像数据。
在一些实施例中，每个磁盘数据块的容量为32-128MB，例如64MB。
可选地，一个数据库文件的数据标识对应一个或多个磁盘块组，一个磁盘块组包括一个或多个磁盘数据块。
可选地，文件目录数据与磁盘镜像数据分别存储在数据库管理模块中的两个集合中。
如图2-a所示，在一些实施例中，当该系统启动时，加载所有数据库磁盘，并对所有数据库磁盘的磁盘存储空间进行区域划分，得到数据库磁盘对应的数据块序列其中，数据块序列包括多个磁盘数据块以及各磁盘数据块对应的数据块序号，数据块序列包括0、1、2、3、4......、n-1、n，且各磁盘数据块均为空数据块，通过数组索引序号(index)建立每两个相邻空数据块之间的双向指针，得到空数据块链表，具体为index 1<＝>index 2<＝>index3<＝>index 4<＝>index 5……index n-1<＝>index n。
如图2-b所示，在一些实施例中，获取各磁盘数据块与数据标识之间的磁盘对应关系，数据块序列2对应的磁盘数据块存储有数据标识100对应的数据库文件，更新空数据块链表，得到index 1<＝>index 3<＝>index 4<＝>index 5……index n-1<＝>index n。
如图2-c所示，在一些实施例中，若在数据库磁盘中添加数据库文件，则将该数据库文件的数据标识确定为101，根据负载均衡策略原则从数据库磁盘的空数据块链表中选择数据块序列3对应的空数据块，建立数据块序列3与数据标识101之间的磁盘对应关系，并更新空数据块链表，index 1<＝>index 4<＝>index 5……index n-1<＝>index n。
如图2-d所示，在一些实施例中，若在数据库磁盘中删除数据标识100对应的数据库文件，则删除数据块序列2与数据标识100之间的磁盘对应关系，并更新空数据块链表，index 1<＝>index 2<＝>index 4<＝>index 5……index n-1<＝>index n。
这样，在单一元数据服务进程中构建磁盘镜像数据，避免在分布式数据库的各数据节点之间或各服务进程之间进行网络通信，实现对数据库文件与磁盘数据块之间的快速分配，保持流程的一致性，没有数据残留，同时，当分布式数据库的数据库磁盘从异常中恢复，能够通过磁盘镜像数据确定需要恢复的磁盘数据块，避免不必要的磁盘恢复，从而达到磁盘的均衡管理，提高数据库的管理效率。
可选地，数据库管理模块还包括以下至少一种：数据块属性生成单元，用于生成各磁盘数据块对应的数据块属性信息，将数据块属性信息加入磁盘镜像数据。
可选地，数据块属性信息(Block)包括当前块组对应的块组序号、当前块组对应的偏移量、当前磁盘的磁盘标识、磁盘数据块对应的父目录标识(Root ID)、数据块序号、数据块日志、纠删信息(Ec)中的至少一种，当前块组包括磁盘数据块所在的数据块组，当前磁盘包括磁盘数据块所在的数据库磁盘。
这样，在本公开实施例提供的分布式数据库管理系统启动时，由于通过各磁盘数据块单独保存同一数据库文件，该系统只需要加载数据块序列，并根据磁盘对应关系和空数据块链表确定已经使用的磁盘数据块和未被使用的磁盘数据块，同时，根据数据块属性信息，能够快速建立磁盘镜像数据，极大提升数据库效率。
可选地，管理单元包括以下至少一种：存储子单元，用于获取待存储文件和存储位置信息，生成待存储文件对应的数据标识、数据结构字段和磁盘对应关系，更新树形目录数据和空数据块链表，并将待增加文件和增加位置信息发送至数据库端；删除子单元，用于获取待删除文件标识，从管理数据中删除待删除文件标识对应的数据标识、数据结构字段和磁盘对应关系，更新树形目录数据和空数据块链表；重命名子单元，用于获取待修改文件标识和命名规则，从数据结构字段中确定待修改文件标识对应的待修改字段，基于命名规则修改待修改字段；移动子单元，用于获取待移动文件标识和移动位置信息，从数据结构字段中确定待移动文件标识对应的待移动字段，并从数据标识中确定移动位置信息对应的待移动标识，根据待移动标识修改待移动字段的第一字段；扫描子单元，用于获取待扫描目录，将表征待扫描目录的第一字段确定为待扫描字段，则将包含待扫描字段的数据结构字段确定为目标字段，将目标字段对应的原始目录和/或数据库文件确定为扫描结果；容量计算子单元，用于获取待计算目录，基于数据结构字段从数据标识中确定待计算目录对应的目录内标识，根据目录内标识对应的存储数据块确定待计算目录对应的目录容量。
在一些实施例中，结合表1所示，总目录的数据结构字段记作“/”，总目录对应的数据标识为1；分目录root1和分目录root2的上级目录为总目录，则分目录root1的数据结构字段为1/root1，分目录root1的数据标识确定为2，分目录root2的数据结构字段为1/root2，分目录root2的数据标识确定为7；数据库文件test1和数据库文件test2的上级目录为分目录root1，则数据库文件test1的数据结构字段为2/test1，数据库文件test1的数据标识确定为3，数据库文件test2的数据结构字段为2/test2，数据库文件test2的数据标识确定为4；数据库文件test4的上级目录为数据库文件test1，数据库文件test4数据结构字段为3/test4，数据库文件test4的数据标识确定为5；数据库文件a.log的上级目录为数据库文件test4，数据库文件a.log数据结构字段为5/a.log，数据库文件a.log的数据标识确定为6；数据库文件test5的上级目录为分目录root2，数据库文件test5数据结构字段为7/test5，数据库文件test5的数据标识确定为8；数据库文件b.log和数据库文件test6的上级目录为数据库文件test5，则数据库文件b.log数据结构字段为8/b.log，数据库文件b.log的数据标识确定为9，数据库文件test6数据结构字段为8/test6，数据库文件test6的数据标识确定为10。
表1
文件名称 上级目录对应的数据标识 文件对应的数据标识 数据结构字段
总目录 1 /
root1 1 2 1/root1
test1 2 3 2/test1
test2 2 4 2/test2
test4 3 5 3/test4
a.log 5 6 5/a.log
root2 1 7 1/root2
test5 7 8 7/test5
b.log 8 9 8/b.log
test6 8 10 8/test6
在一些实施例中，基于表1数据结构字段将各数据标识填入预设的树形结构体，得到树形目录数据如图3所示。
在一些实施例中，若创建数据库文件并申请该数据库文件对应的若干磁盘数据块，则建立该数据库文件的数据标识与各磁盘数据块的数据块序号之间的键值对，并生成各磁盘数据块对应的数据块属性信息。
在一些实施例中，若删除数据库文件或原始目录,则从磁盘镜像数据中删除该数据库文件或该原始目录的数据标识，再从文件目录数据中删除该数据库文件或该原始目录对应的文件目录数据。这样，删除原始目录或数据库文件时，直接通过从磁盘镜像数据中删除该数据库文件的数据标识来释放空间，再删除数据库文件对应的文件目录数据，能够快速删除原始目录或数据库文件，以加快数据库磁盘的容量释放。
在一些实施例中，若修改数据块属性信息，则获取数据块属性信息对应的数据标识，获取该数据标识对应的磁盘数据块，并修改获取到的各磁盘数据块对应的数据块属性信息，以修改数据块属性信息。
在一些实施例中，若将/root1/test2重命名为/root1/testx，则根据数据结构字段1/root1查询对应的文件属性信息，得到分目录root1的数据标识为2；根据数据结构字段2/test2生成新的数据结构字段2/testx，再删除2/test2。
在一些实施例中，若将/root1/test1移动到/root1/test2目录下，则根据数据结构字段2/test2查询对应的文件属性信息，得到数据库文件test2的数据标识为4；根据数据结构字段1/root1查询对应的文件属性信息，得到分目录root1的数据标识为2；根据数据结构字段2/test1生成新的数据结构字段4/test1，再删除2/test1。
在一些实施例中，若读取数据库文件，则从文件目录数据中获取该数据库文件对应的数据标识，在从磁盘镜像数据中获取该数据标识对应的磁盘数据块，根据获取到的磁盘数据块对应的磁盘序号从对应的数据库磁盘位置读取数据库文件。
在一些实施例中，若通过函数scandir扫描/root1/test1/test4，则根据数据结构字段1/root1查询对应的文件属性信息，得到分目录root1的数据标识为2；根据数据结构字段2/test1查询对应的文件属性信息，得到数据库文件test1的数据标识为3；根据数据结构字段3/test4查询对应的文件属性信息，得到数据库文件test4的数据标识为5；查询所有5为第一字段的数据结构字段对应的数据库文件，得到5/a.log。在一些实施例中，基于数据结构字段从数据标识中确定待计算目录对应的目录内标识，根据目录内标识对应的存储数据块确定待计算目录对应的目录容量。这样，总目录和分目录不需要保存容量使用信息，从而减少更新，保持容量一致。
采用本公开实施例提供的分布式数据库管理系统，通过服务器端选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据，具有以下优点：
1.将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性；
2.在单一元数据服务进程中构建磁盘镜像数据，避免在分布式数据库的各数据节点之间或各服务进程之间进行网络通信，实现对数据库文件与磁盘数据块之间的快速分配，缩短元数据访问路径，提升访问效率；
3.通过数据结构字段和树形目录数据管理数据库文件，提升了文件、磁盘访问效率，容量管理更加方便，不仅对于重命名、移动、增加、删除、修改等操作不需要实际移动文件或修改数据，而且对于扫描scandir等操作不需要遍历所有数据后进行过滤，使得数据库管理更加简单高效；
4.元数据管理进程的内存信息在启动时逆向构建而成，从而得到无状态元数据服务进程，在故障时易于切换接管。
结合图4所示，本公开实施例提供了一种分布式数据库管理方法，包括：
步骤S401，从服务器端的多个元数据服务进程中确定一个主节点进程；
步骤S402，主节点进程生成各数据库文件对应的数据标识；
其中，数据库文件分布式存储在多个数据库磁盘；
步骤S403，根据数据标识建立对应的管理数据；
其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据；
步骤S404，基于管理数据响应接收到的文件管理指令，以对数据库文件进行管理。
采用本公开实施例提供的分布式数据库管理系统，通过服务器端选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据。这样，将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性。
结合图5所示，本公开实施例提供了一种电子设备，包括：处理器(processor)500及存储器(memory)501；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。可选地，该电子设备还可以包括通信接口(Communication Interface)502和总线503。其中，处理器500、通信接口502、存储器501可以通过总线503完成相互间的通信。通信接口502可以用于信息传输。处理器500可以调用存储器501中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器501中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器501作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器500通过运行存储在存储器501中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器501可包括存储程序区和数据库文件区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；数据库文件区可存储根据终端设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非说易失性存储器。
采用本公开实施例提供的电子设备，通过服务器端选取任一元数据服务进程作为数据库管理模块，通过数据库管理模块的生成单元生成各数据库文件对应的数据标识，并根据数据标识建立对应的管理数据，通过数据库管理模块的管理单元响应接收到的文件管理指令，以通过管理数据对数据库文件进行管理，其中，管理数据包括数据库文件对应的文件目录数据和/或数据库磁盘对应的磁盘镜像数据。这样，将数据库文件和数据库磁盘通过数据标识进行关联，进而通过同一进程对数据库进行集中管理，提高分布式数据库中存储数据的一致性，进而提升了对数据库文件和数据库磁盘的访问效率，并提高了数据库稳定性。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (8)

1.一种分布式数据库管理系统，其特征在于，包括：
数据库端，用于通过多个数据库磁盘分布式存储数据库文件；
服务器端，包括多个元数据服务进程，所述服务器端用于选取任一元数据服务进程作为数据库管理模块，其中，所述数据库管理模块包括生成单元和管理单元；
所述生成单元用于生成各数据库文件对应的数据标识，根据所述数据标识建立对应的管理数据，所述管理数据包括所述数据库文件对应的文件目录数据和/或所述数据库磁盘对应的磁盘镜像数据；
所述管理单元，用于基于所述管理数据响应接收到的文件管理指令，以对所述数据库文件进行管理;
所述生成单元通过以下方式生成文件目录数据，获取多个原始目录，生成各所述原始目录对应的数据标识和目录配置信息，其中，所述原始目录包括一个总目录和若干分目录，所述目录配置信息包括目录容量信息、连接池信息和数据库文件类型中的至少一种；从所述原始目录和所述数据库文件中确定各所述数据标识对应的上级目录，生成各所述数据标识对应的数据结构字段，其中，所述数据结构字段包括第一字段和第二字段，所述第一字段用于表征所述数据标识对应的上级目录，所述第二字段用于表征所述数据标识对应的数据库文件或原始目录；基于所述数据结构字段将各所述数据标识填入预设的树形结构体中，得到所述数据库文件对应的树形目录数据；根据所述数据标识、所述数据结构字段、所述树形目录数据中的至少一种生成文件目录数据；
所述生成单元通过以下方式生成磁盘镜像数据，对所述数据库磁盘的磁盘存储空间进行区域划分，得到所述数据库磁盘对应的数据块序列，其中，所述数据块序列包括多个磁盘数据块以及各所述磁盘数据块对应的数据块序号；获取所述数据库文件对应的文件定位信息，基于所述文件定位信息建立所述数据标识与磁盘块组之间的磁盘对应关系，其中，所述磁盘块组包括一个或多个磁盘数据块；根据所述磁盘对应关系从所述磁盘数据块中确定空数据块，基于所述数据块序号的顺序分别建立每两个相邻空数据块之间的双向指针，得到所述数据块序列对应的空数据块链表；根据所述数据块序列、所述磁盘对应关系、所述空数据块链表中的至少一种生成磁盘镜像数据。
2.根据权利要求1所述的系统，其特征在于，所述数据库管理模块还包括：
文件属性生成单元，用于获取各所述数据库文件对应的文件属性信息，将所述文件属性信息加入所述文件目录数据。
3.根据权利要求1所述的系统，其特征在于，所述数据库管理模块还包括以下至少一种：
数据块属性生成单元，用于生成各所述磁盘数据块对应的数据块属性信息，将所述数据块属性信息加入所述磁盘镜像数据。
4.根据权利要求1所述的系统，其特征在于，所述管理单元包括以下至少一种：
存储子单元，用于获取待存储文件和存储位置信息，生成所述待存储文件对应的数据标识、数据结构字段和磁盘对应关系，更新所述树形目录数据和所述空数据块链表，并将所述待存储文件和所述存储位置信息发送至所述数据库端；
删除子单元，用于获取待删除文件标识，从所述管理数据中删除所述待删除文件标识对应的数据标识、数据结构字段和磁盘对应关系，更新所述树形目录数据和所述空数据块链表；
重命名子单元，用于获取待修改文件标识和命名规则，从所述数据结构字段中确定待修改文件标识对应的待修改字段，基于命名规则修改所述待修改字段；
移动子单元，用于获取待移动文件标识和移动位置信息，从所述数据结构字段中确定待移动文件标识对应的待移动字段，并从所述数据标识中确定所述移动位置信息对应的待移动标识，根据所述待移动标识修改所述待移动字段的第一字段；
扫描子单元，用于获取待扫描目录，将表征所述待扫描目录的第一字段确定为待扫描字段，则将包含所述待扫描字段的数据结构字段确定为目标字段，将所述目标字段对应的原始目录和/或数据库文件确定为扫描结果；
容量计算子单元，用于获取待计算目录，基于所述数据结构字段从所述数据标识中确定所述待计算目录对应的目录内标识，根据所述目录内标识对应的存储数据块确定待计算目录对应的目录容量。
5.根据权利要求1至4任一项所述的系统，其特征在于，所述服务器端还包括：
一个或多个总控服务进程，所述总控服务进程与存储磁盘连接，所述存储磁盘包括至少一部分数据库磁盘；
所述总控服务进程用于在所述存储磁盘增加或减少的情况下，获取所述存储磁盘的当前时刻磁盘状态，将所述当前时刻磁盘状态发送至所述数据库管理模块，触发所述数据库管理模块根据接收到的当前时刻磁盘状态更新所述管理数据，并更新所述总控服务进程和所述数据库磁盘之间的连接关系。
6.一种分布式数据库管理方法，其特征在于，包括：
从服务器端的多个元数据服务进程中确定一个主节点进程；
所述主节点进程生成各数据库文件对应的数据标识，其中，所述数据库文件分布式存储在多个数据库磁盘；
根据所述数据标识建立对应的管理数据，其中，所述管理数据包括所述数据库文件对应的文件目录数据和/或所述数据库磁盘对应的磁盘镜像数据；
基于所述管理数据响应接收到的文件管理指令，以对所述数据库文件进行管理；
通过以下方式生成文件目录数据，获取多个原始目录，生成各所述原始目录对应的数据标识和目录配置信息，其中，所述原始目录包括一个总目录和若干分目录，所述目录配置信息包括目录容量信息、连接池信息和数据库文件类型中的至少一种；从所述原始目录和所述数据库文件中确定各所述数据标识对应的上级目录，生成各所述数据标识对应的数据结构字段，其中，所述数据结构字段包括第一字段和第二字段，所述第一字段用于表征所述数据标识对应的上级目录，所述第二字段用于表征所述数据标识对应的数据库文件或原始目录；基于所述数据结构字段将各所述数据标识填入预设的树形结构体中，得到所述数据库文件对应的树形目录数据；根据所述数据标识、所述数据结构字段、所述树形目录数据中的至少一种生成文件目录数据；
通过以下方式生成磁盘镜像数据，对所述数据库磁盘的磁盘存储空间进行区域划分，得到所述数据库磁盘对应的数据块序列，其中，所述数据块序列包括多个磁盘数据块以及各所述磁盘数据块对应的数据块序号；获取所述数据库文件对应的文件定位信息，基于所述文件定位信息建立所述数据标识与磁盘块组之间的磁盘对应关系，其中，所述磁盘块组包括一个或多个磁盘数据块；根据所述磁盘对应关系从所述磁盘数据块中确定空数据块，基于所述数据块序号的顺序分别建立每两个相邻空数据块之间的双向指针，得到所述数据块序列对应的空数据块链表；根据所述数据块序列、所述磁盘对应关系、所述空数据块链表中的至少一种生成磁盘镜像数据。
7.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求6所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求6所述的方法。
CN202210410649.5A 2022-04-19 2022-04-19 分布式数据库管理系统、方法、电子设备及可读存储介质 Active CN114661676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210410649.5A CN114661676B (zh) 2022-04-19 2022-04-19 分布式数据库管理系统、方法、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210410649.5A CN114661676B (zh) 2022-04-19 2022-04-19 分布式数据库管理系统、方法、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114661676A CN114661676A (zh) 2022-06-24
CN114661676B true CN114661676B (zh) 2023-03-21

Family

ID=82034355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210410649.5A Active CN114661676B (zh) 2022-04-19 2022-04-19 分布式数据库管理系统、方法、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114661676B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290839A (zh) * 2020-05-09 2020-06-16 南京江北新区生物医药公共服务平台有限公司 一种基于openstack的iaas云平台系统
CN112100146A (zh) * 2020-09-21 2020-12-18 重庆紫光华山智安科技有限公司 一种高效的纠删分布式存储写入方法、系统、介质及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296368B2 (en) * 2016-03-09 2019-05-21 Commvault Systems, Inc. Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount)
CN111078120B (zh) * 2018-10-18 2023-11-03 深信服科技股份有限公司 一种分布式文件系统的数据迁移方法、系统及相关组件
US20210158268A1 (en) * 2019-11-27 2021-05-27 Sap Se Process improvement based on user behavior mining
CN111459412B (zh) * 2020-03-30 2023-07-04 北京百度网讯科技有限公司 磁盘管理方法、装置以及电子设备
CN111488198B (zh) * 2020-04-16 2023-05-23 湖南麒麟信安科技股份有限公司 一种超融合环境下的虚拟机调度方法、系统及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290839A (zh) * 2020-05-09 2020-06-16 南京江北新区生物医药公共服务平台有限公司 一种基于openstack的iaas云平台系统
CN112100146A (zh) * 2020-09-21 2020-12-18 重庆紫光华山智安科技有限公司 一种高效的纠删分布式存储写入方法、系统、介质及终端

Also Published As

Publication number Publication date
CN114661676A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US7788303B2 (en) Systems and methods for distributed system scanning
CN102932415B (zh) 一种镜像文件存储方法及装置
JP2019519025A (ja) 分散システムにおける範囲の分割および移動
CN109471838B (zh) 目录文档的操作方法、装置、电子设备、可读存储介质
CN101356527A (zh) 通过节点编号的文件系统转储/恢复
CN113127848A (zh) 一种权限系统数据的存储方法及相关设备
JP2012008854A (ja) ストレージ仮想化装置
CN113297432B (zh) 用于分区拆分与合并的方法、处理器可读介质和系统
CN114610680A (zh) 分布式文件系统元数据管理方法、装置、设备及存储介质
JP4951139B2 (ja) データベースの管理方法
CN113553458A (zh) 图数据库中的数据导出方法及装置
CN115918110A (zh) 使用键值存储库的空间搜索
CN114661676B (zh) 分布式数据库管理系统、方法、电子设备及可读存储介质
CN113641686B (zh) 数据处理方法、装置、电子设备、存储介质及程序产品
CN112384905A (zh) 针对内容复制的浅高速缓冲存储器
KR102354343B1 (ko) 블록체인 기반의 지리공간 데이터를 위한 공간 데이터 인덱싱 방법 및 장치
CN111770158B (zh) 云平台恢复方法、装置、电子设备及计算机可读存储介质
EP3995972A1 (en) Metadata processing method and apparatus, and computer-readable storage medium
KR20220099745A (ko) 지리공간 블록체인 데이터 검색을 위한 공간 분할 기반의 트리 인덱싱 및 질의어 처리 방법 및 장치
WO2014054173A1 (ja) 分散データ管理システム及びプログラム
CN114443598A (zh) 写数据方法、装置、计算机设备及存储介质
ELomari et al. New data placement strategy in the HADOOP framework
KR101919816B1 (ko) 데이터베이스 샤딩 환경에서의 정합성 검사
CN114115699A (zh) 一种数据处理方法、装置及系统
CN113282551B (zh) 数据处理方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant