CN117076552B - 分布式数据库操作分离方法、装置、数据库及电子设备 - Google Patents

分布式数据库操作分离方法、装置、数据库及电子设备

Info

Publication number
CN117076552B
CN117076552B CN202210504301.2A CN202210504301A CN117076552B CN 117076552 B CN117076552 B CN 117076552B CN 202210504301 A CN202210504301 A CN 202210504301A CN 117076552 B CN117076552 B CN 117076552B
Authority
CN
China
Prior art keywords
local
database
parameters
parameter
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210504301.2A
Other languages
English (en)
Other versions
CN117076552A (zh
Inventor
刘娟
宋睿
班正波
秦志超
董宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guizhou Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210504301.2A priority Critical patent/CN117076552B/zh
Publication of CN117076552A publication Critical patent/CN117076552A/zh
Application granted granted Critical
Publication of CN117076552B publication Critical patent/CN117076552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式数据库操作分离方法、装置、数据库及电子设备,涉及数据存储技术领域,本发明可以在获得待存储的本地输入数据时,采集所述分布式数据库的目标本地参数,其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;然后将所述本地输入数据和所述目标本地参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;最后按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库。

Description

分布式数据库操作分离方法、装置、数据库及电子设备
技术领域
本发明涉及数据存储技术领域,尤其涉及分布式数据库操作分离方法、装置、数据库及电子设备。
背景技术
分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方,每台计算机中都可能有DBMS(数据库管理系统,Database Management System)的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
现有的分布式数据库沿用共享机制进行数据共享,其中包括存储机制的共享,即分布式数据库中的各个数据库均采用统一的存储模式。如此在搜索时,从查询端口进入分布式数据库的任意节点读取任意一个数据库中的内容,各个数据库的读取方式相同。这使得从形式上而言,分布式数据库中的各个数据库呈现一体化,导致现有的分布式数据库未能实现区别化的多个子系统,从而无法形成系统的操作分离。
发明内容
本发明实施例提供一种分布式数据库操作分离方法、装置、数据库及电子设备,能在共享数据的基础上,实现分布式数据库中的各个数据库的区别化,针对各个不同的数据库依据不同的存储机制进行读取。
第一方面,本发明实施例提供了一种分布式数据库操作分离方法,所述分布式数据库包括本地数据库和异地数据库,所述方法包括:
在获得待存储的本地输入数据时,采集所述分布式数据库的目标本地参数,其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
将所述本地输入数据和所述目标本地参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;
按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库。
第二方面,本发明实施例提供了一种本地数据库,包括:本地数据输入端、本地参数采集端以及存储模型,所述本地数据库能够与异地数据库连接,其中:
所述本地数据输入端,用于接收本地输入数据,并将所述本地输入数据输入所述存储模型;
所述本地参数采集端,用于获得所述分布式数据库的目标本地参数,并将所述目标本地参数输入所述存储模型;其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
所述存储模型,用于根据所述本地输入数据和所述目标本地参数,确定与所述本地输入数据对应的存储机制,并按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库;其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置。
第三方面,本发明实施例提供了一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下步骤:
在获得待存储的本地输入数据时,采集所述分布式数据库的目标本地参数,其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
将所述本地输入数据和所述目标本地参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;
按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库。
本发明实施例采用下述技术方案:
在获得待存储的本地输入数据时,采集所述分布式数据库的目标本地参数,其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
将所述本地输入数据和所述目标本地参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;
按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果:
本发明实施例基于待存储的本地输入数据的内容不同,获得本地输入数据时采集分布式数据库的目标本地参数的不同,将不同的目标本地参数和不同本地输入数据输入本地数据库中既定的存储模型,可以获得该本地输入数据符合本地数据存储模式的存储机制,再按照该存储机制将本地输入数据进行存储,能实现存储于分布式数据库中的该本地输入数据带有本地数据库存储模式的特征,实现了本地数据库存储模式的固化,从形式上将分布式数据库中的各个数据库独立并加以区别,在共享数据的基础上实现了分布式数据库中的各个数据库相对分离。本发明分布式数据库中的各个数据库均有自己既定的存储模型,且存储于分布式数据库中的各个数据是基于不同的存储模型所确定的存储机制进行存储的,如此提高了数据存储的有序性。在读取数据时,可以针对不同的数据库依据不同的存储模式进行读取,数据的读取速率也能有效提高。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例分布式数据库操作分离方法的步骤流程图
图2为本发明一实施例本地数据库的部分功能模块示意图;
图3为本发明一实施例的本地数据库的功能模块的连接示意图;
图4为本发明实施例一种分布式数据库的结构示意图;
图5为本发明一实施例为实现对系统参数进行生成或更新的方法的结构示意图;
图6为本发明的一个实施例电子设备的结构示意图;
附图标记说明:
201-本地数据输入端,202-本地参数采集端,203-存储模型,204-模型建立系统,205-本地信息源,206-系统参数输入端,207-子数据库集群,208-本地数据副本,209-参数融合系统。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
实施例一:
参考图1,图1示出了本发明实施例分布式数据库操作分离方法的步骤流程图,该分布式数据库可以包括本地数据库和异地数据库。
其中,在本发明各个实施例中,分布式数据库中会有多个数据库,其中,本地数据库、异地数据库都只是前述多个数据库中的任意一个。特别的,本地数据库指分布式数据库中当前被用户接入,正在执行查询操作的数据库,例如是分布式数据库中当前获得待存储的本地输入参数的数据库。异地数据库指分布式数据库中的除本地数据库之外的数据库。分布式数据库中的任一数据库均可以是本地数据库,也可以是异地数据库,本地数据库和异地数据库的称法是相对而言的,例如:同一时刻,某一数据库对于某一用户而言属于本地数据库,但对于其他用户正在操作的数据库而言可能属于异地数据库。
如图1所示,该方法可以包括以下步骤:
步骤S102,在获得待存储的本地输入数据时,采集分布式数据库的目标本地参数,其中,目标本地参数包括本地数据库的当前本地参数和异地数据库的当前本地参数;
其中,本地输入数据指本地数据库当前所接收到的数据。具体可以为本地数据库所接入的本地信息源的自身属性数据、运行产生的数据以及接受或发出的数据。本地信息源为本地数据库所在地的数据获取端点。如本地信息源为电机,那么本地输入数据可以是电机自身的属性参数;如本地信息源为传感器,那么本地输入数据可以是传感器采集的参数;如本地信息源为计数器,那么本地输入数据可以是计数器采集的数据。具体的数据内容本发明实施例在此不做限制。
本地数据库的本地参数可以是本地数据库自身的相关参数,如本地数据库的地址、存储空间情况等。异地数据库的本地参数可以是异地数据库自身的相关参数,如本地数据库的地址、存储空间情况等。受不同情况的影响,不同时刻的数据库的本地参数可能不同。因此,本发明实施例的本地数据库可以在接收到本地输入数据时,对本地数据库的当前本地参数进行采集以及对异地数据库的当前本地参数进行采集。
步骤S104,将本地输入数据和目标本地参数输入至本地数据库中的预先确定的存储模型,以输出得到与本地输入数据对应的存储机制,其中,存储机制用于在本地数据库和异地数据库中确定本地输入数据对应的存储位置;
在本发明实施例中,存储模型是指用于确定存储策略的模型。存储模型在获得本地输入数据和目标本地参数后,会得到该本地输入数据的数据量和重要程度等信息,以及从目标本地参数中的本地数据库的当前本地参数知晓本地数据库的存储地址以及当前存储空间等信息,从目标本地参数中的异地数据库的当前本地参数知晓异地数据库的存储地址以及当前存储空间等信息。接着,存储模型就可以依据该本地输入数据的数据量和重要程度等信息,本地数据库的存储地址以及当前存储空间等信息以及异地数据库的存储地址以及当前存储空间等信息,确定该本地输入数据所存入的本地数据库中的存储位置、异地数据库中的存储位置,然后将该本地输入数据分别按照该存储位置存入本地数据库和异地数据库。
步骤S106,按照该存储机制,将本地输入数据存入本地数据库和异地数据库。
基于步骤S104所确定的本地输入数据在本地数据库和异地数据库中的存储位置,在步骤S106中,本发明实施例具体执行本地输入数据的存储,即将本地输入数据存入本地数据库的该存储位置和异地数据库中的该存储位置。
综上,基于待存储的本地输入数据的内容不同,获得本地输入数据时采集分布式数据库的目标本地参数的不同,将不同的目标本地参数和不同本地输入数据输入本地数据库中既定的存储模型,可以获得该本地输入数据符合本地数据存储模式的存储机制,再按照该存储机制将本地输入数据进行存储,能实现存储于分布式数据库中的该本地输入数据带有本地数据库存储模式的特征,实现了本地数据库存储模式的固化,从形式上将分布式数据库中的各个数据库独立并加以区别,在共享数据的基础上实现了分布式数据库中的各个数据库相对分离。本发明分布式数据库中的各个数据库均有自己既定的存储模型,且存储于分布式数据库中的各个数据是基于不同的存储模型所确定的存储机制进行存储的,如此提高了数据存储的有序性。在读取数据时,可以针对不同的数据库依据不同的存储模式进行读取,数据的读取速率也能有效提高。
在本发明一个或多个实施例中,还提供有以下方法:
步骤11,在将目标本地参数输入至本地数据库中的预先确定的存储模型之前,判断目标本地参数是否需要引入系统参数进行补偿;
通常情况下,依据本地输入数据和如前述的目标本地参数即可满足本地数据库中的存储模型确定该本地输入数据的存储位置。但若采集的目标本地参数不存在用于确定待存储数据的存储位置的相关参数的情况下,或该相关参数并不确切的情况下,本发明实施例提出引用系统参数进行补偿。
步骤12,在目标本地参数需要引入系统参数进行补偿的情况下,获取本地数据库的系统参数;
其中,系统参数的来源可以如下:
采集本地数据库的初始本地参数以及异地数据库的初始本地参数;
根据本地数据库的初始本地参数和/或异地数据库的初始本地参数,生成系统参数。
具体而言,本地数据库的初始本地参数可以指本地数据库上一次采集的本地参数或是该本地数据库最初始采集的本地参数,具体采用哪次本地参数,可依据该本地参数中是否有用于确定待存储数据的存储位置的相关参数来决定。异地数据库的初始本地参数可以指本地数据库上一次接收到的异地数据库的本地参数或本地数据库最初始接收到的异地数据库的本地参数,具体采用哪次异地参数,可依据该异地数据库的本地参数中是否有用于确定待存储数据的存储位置的相关参数来决定。本发明实施例可以仅根据本地数据库的初始本地参数来生成系统参数,或是仅根据异地数据库的初始本地参数生成系统参数,或是结合本地数据库的初始本地参数以及异地数据库的初始本地参数,生成该系统参数。
生成的系统参数可以预先保留在本地数据库中或异地数据库中。
步骤13,对目标本地参数和系统参数进行融合处理,生成以目标本地参数为主、系统参数为辅的调整后参数。
在目标本地参数需要引入系统参数进行补偿的情况下,步骤S104的实现步骤可以包括:将本地输入数据和调整后参数输入至本地数据库中的预先确定的存储模型,以输出得到与本地输入数据对应的存储机制。
本发明实施例的本地数据库在收到目标本地参数和系统参数后,以本地数据库的当前本地参数和异地数据库的当前本地参数为主、系统参数为辅,形成完成的参数数据,即该调整后参数。然后再依据该调整后参数和本地输入数据去输入本地数据库中的存储模型,如此可以得到符合本地数据存储模式的本地输入数据对应的存储机制。
在本发明一实施例中,进一步提供了系统参数的一种更新方法:
步骤21,在新增数据库作为异地数据库接入分布式数据库时,获取新增数据库的相关参数;
步骤22,根据新增数据库的相关参数,更新系统参数。
在本发明实施例中,当一个新数据库作为新增数据库接入分布式数据库所在共享网络后,本地数据库可以向该新增数据库发送相关参数的获取请求,该新增数据库会采集自身的本地参数作为相关参数并返回给本地数据库。本地数据库在接收到该新增数据库的相关参数后,重新分析计算获得新的系统参数,如此可以将系统参数更新。本发明实施例相比以固定频率更新系统参数的方法,能够减少系统参数计算次数和频次,减少系统运算量。
在本发明一实施例中,进一步提供了系统参数的另一种更新方法:
步骤31,在采集得到目标本地参数时,将目标本地参数与上一次采集的分布式数据库的历史本地参数进行比较;
步骤32,在目标本地参数与历史本地参数存在差异的情况下,依据目标本地参数,更新系统参数。
受数据库自身性能、所在环境或其他因素的影响,每次数据库所采集的本地参数不一定和上一次采集的本地参数相同。因此,在采集得到目标本地参数后,都可以将该目标本地参数与上一次采集的分布式数据库的历史本地参数,具体是本地数据库的当前本地参数与本地数据库的历史本地参数进行比较,异地数据库的当前本地参数与异地数据库的历史本地参数进行比较,判断是否至少任一存在差异。即在本地数据库的当前本地参数与本地数据库的历史本地参数存在差异时,可以依据本地数据库的当前本地参数,对本地数据库的当前本地参数进行重新分析,计算获得新的系统参数;在异地数据库的当前本地参数与异地数据库的历史本地参数存在差异时,可以依据异地数据库的当前本地参数,对异地数据库的该当前本地参数进行重新分析,计算获得新的系统参数;在本地数据库的本地参数和异地数据库的本地参数都与其历史本地参数存在差异时,可以同时结合本地数据库的当前本地参数和异地数据库的当前本地参数,计算获得新的系统参数。本发明实施例相比以固定频率更新系统参数的方法,能够减少系统参数计算次数和频次,减少系统运算量。
实施例二:
基于同一发明构思,为实现前述的分布式数据库操作分离方法,本发明实施例还提供了一种本地数据库。
参考图2,图2示出了本发明一实施例本地数据库1的部分功能模块示意图,包括:本地数据输入端201、本地参数采集端202以及存储模型203,本地数据库1能够与异地数据库连接,其中:
本地数据输入端201,用于接收本地输入数据,并将本地输入数据输入存储模型203;
本地参数采集端202,用于获得分布式数据库的目标本地参数,并将目标本地参数输入存储模型203;其中,目标本地参数包括本地数据库1的当前本地参数和异地数据库的当前本地参数;
存储模型203,用于根据本地输入数据和目标本地参数,确定与本地输入数据对应的存储机制,并按照存储机制,将本地输入数据存入本地数据库1和异地数据库;其中,存储机制用于在本地数据库1和异地数据库中确定本地输入数据对应的存储位置。
在本发明实施例中,本地数据输入端201可以理解为本地数据库1的数据接入端口,如外挂的U盘或相关传输接口。在本发明一实施例中,提供了本地数据输入端201获得本地输入数据的方法。具体而言:
本地信息源,表征为本地数据库1所在地的数据获取端点,其中,本地输入数据包括本地信息源自身的属性数据、运行产生的数据以及接受或发出的数据;本地信息源与本地数据输入端201连接,用于将本地信息源自身的属性数据、运行产生的数据以及接受或发出的数据作为本地输入数据发送给本地数据输入端201。其中,数据获取端点可以为本地数据库1所在地的设备整体或部分零部件等,如部分零部件可以为传感器、计数器、电机等。
本地参数采集端202用于采集本地数据库1的本地参数或接收异地数据库的本地参数。关于本地参数采集端202的具体结构,以及本地参数采集端202如何能接收异地数据库的本地参数可以参考后文内容。
在本发明实施例中,本地数据输入端201、本地参数采集端202与存储模型203之间的通信关系,具体实现方式可以包括:1)本地数据输入端201和本地参数采集端202与存储模型203直接连接,以将本地输入数据和目标本地参数分别输入存储模型203;2)本地数据输入端201与本地参数采集端202连接,而本地参数采集端202与存储模型203直接连接,如此本地数据输入端201通过本地参数采集端202间接将本地输入数据输入存储模型203;3)本地数据输入端201与本地参数采集端202连接,由本地数据输入端201与存储模型203直接连接,如此本地参数采集端202通过本地数据输入端201将该目标本地参数间接输入存储模型203。4)优选的,本发明实施例的本地数据库1还可以包括模型建立系统。参考图3,示出了本发明一实施例的本地数据库1的功能模块的连接示意图,在图3中,由模型建立系统204与存储模型203连接,而本地参数采集端202与模型建立系统204直接连接,本地数据输入端201与本地参数采集端202直接连接,本地信息源205于本地数据输入端201连接,如此,本地数据输入端201接收的本地输入数据依次通过本地参数采集端202、模型建立系统204间接输入存储模型203,本地参数采集端202获得的该目标本地参数通过模型建立系统204间接输入存储模型203。
在本发明实施例中,存储模型203在获得本地输入数据和目标本地参数后,会得到该本地输入数据的数据量和重要程度等信息,以及从目标本地参数中的本地数据库1的当前本地参数知晓本地数据库1的存储地址以及当前存储空间等信息,从目标本地参数中的异地数据库的当前本地参数知晓异地数据库的存储地址以及当前存储空间等信息。接着,存储模型203就可以依据该本地输入数据的数据量和重要程度等信息,本地数据库1的存储地址以及当前存储空间等信息以及异地数据库的存储地址以及当前存储空间等信息,确定该本地输入数据所存入的本地数据库1中的存储位置、异地数据库中的存储位置,然后将该本地输入数据分别按照该存储位置存入本地数据库1和异地数据库。最终按照存储机制所确定本地输入数据对应的存储位置,将本地输入数据存入本地数据库1和异地数据库。
综上,基于待存储的本地输入数据的内容不同,获得本地输入数据时采集分布式数据库的目标本地参数的不同,将不同的目标本地参数和不同本地输入数据输入本地数据库1中既定的存储模型203,可以获得该本地输入数据符合本地数据存储模式的存储机制,再按照该存储机制将本地输入数据进行存储,能实现存储于分布式数据库中的该本地输入数据带有本地数据库1存储模式的特征,实现了本地数据库1存储模式的固化,从形式上将分布式数据库中的各个数据库独立并加以区别,在共享数据的基础上实现了分布式数据库中的各个数据库相对分离。本发明分布式数据库中的各个数据库均有自己既定的存储模型203,且存储于分布式数据库中的各个数据是基于不同的存储模型203所确定的存储机制进行存储的,如此提高了数据存储的有序性。在读取数据时,可以针对不同的数据库依据不同的存储模式进行读取,数据的读取速率也能有效提高。
参考图4,示出了本发明实施例一种分布式数据库的结构示意图,如图4所示,本地数据库1能够与异地数据库2连接的方式可以是:
本地数据库1上设置有同域网络接口和异域网络接口;在本地数据库1的同域网络接口和异地数据库2的同域网络接口连接的情况下,连接处形成同域网络节点;在本地数据库1的异域网络接口和异地数据库2的异域网络接口连接的情况下,连接处形成异域网络节点。
即在本发明实施例中,本地数据库1能够通过该同域网络节点和异域网络节点获得来自异地数据库2的本地参数。关于本地参数采集端202如何能接收异地数据库2的本地参数的可实现方式可以为:1)本地参数采集端202能够直接与该同域网络节点和异域网络节点连接,如此能够通过同域网络节点和异域网络节点直接获得异地数据库2的本地参数;2)本地参数采集端202通过其他介质与该同域网络节点和异域网络节点连接,然后由其他介质将来自同域网络节点和异域网络节点的异地数据库2的本地参数发送给本地参数采集端202;如后文的参数融合系统作为该介质,参数融合系统可以与同域网络节点和异域网络节点直接连接,本地参数采集端202可以将采集异地数据库2的当前本地参数的命令通过参数融合系统发送给同域网络节点和异域网络节点,由同域网络节点和异域网络节点将该命令传输给异地数据库2,然后由异地数据库2采集其当前本地参数并传输到该同域网络节点和异域网络节点,如此参数融合系统可从该同域网络节点和异域网络节点获得异地数据库2的当前本地参数,并发送给本地参数采集端202。
在本发明一实施例中,提高了本地参数采集端202可选的具体结构:
本地参数采集端202可以包括:输入单元,与输入单元连接的识别单元,以及与识别单元分别连接的删除单元和分类单元,其中:
输入单元,用于接收本地数据库1的本地参数;
识别单元,用于辨别本地数据库1的本地参数属于有效数据或无效数据,在本地数据库1的本地参数为有效数据的情况下,将本地数据库1的本地参数发送给分类单元,在本地数据库1的本地参数为无效数据的情况下,将本地数据库1的本地参数发送给删除单元;
删除单元,用于将接收的本地数据库1的本地参数删除;
分类单元,可与模型建立系统204连接,用于将本地数据库1的本地参数进行归类,并将归类后的本地数据库1的本地参数分别发送给模型建立系统204,以供该模型建立系统204将本地数据库1的本地参数输入存储模型203。
通过本发明实施例的本地参数采集端202的具体结构,能够过滤掉无用的数据,对数据进行筛选,从而获得有效的本地参数。
在本发明实施例中,分类单元还可以与参数融合系统209连接,如此能将本地数据库1的本地参数通过参数融合系统209发送给其他异地数据库2,以实现如本发明实施例的分布式数据库操作分离方法;同理,分类单元也能通过该参数融合系统获得异地数据库2的来自经过如本发明实施例的本地参数采集端202采集的本地参数。
在本发明一实施例中,对应目标本地参数需要引入系统参数进行补偿的情况,本地数据库1可依据以下功能模块进行实现,可继续参考图3。本地数据库1还包括:系统参数输入端206、模型建立系统204,模型建立系统204与本地参数采集端202202、系统参数输入端206以及存储模型203分别连接,其中:
系统参数输入端206,用于接收系统参数;
模型建立系统204,用于接收本地参数采集端202发送的目标本地参数和系统参数输入端206发送的系统参数,并在目标本地参数需要引入系统参数进行补偿的情况下,对目标本地参数和系统参数进行融合处理,生成以目标本地参数为主、系统参数为辅的调整后参数,并将本地输入数据和调整后参数输入存储模型203,以输出得到与本地输入数据对应的存储机制。
在本发明实施例中,在目标本地参数需要引入系统参数进行补偿的情况下,得到以目标本地参数为主、系统参数为辅的调整后参数,可以由模型建立系统204与本地参数采集端202、系统参数输入端分别通信来实现。该调整后参数为更完善的参数数据,能从本质上将分布式数据库中的各个数据库独立并加以区别,从而可以得到符合本地数据存储模式的本地输入数据对应的存储机制。
在本发明一实施例中,参考图5,图5示出了本发明一实施例为实现对系统参数进行生成或更新的方法的结构示意图,本地数据库1还可以包括:
参数融合系统209,参数融合系统209与本地参数采集端202、系统参数输入端206分别连接,以及参数融合系统209能够与异地数据库2连接;
参数融合系统209,用于接收本地参数采集端202发送的本地数据库1的本地参数和接收异地数据库2发送的异地参数,并针对本地参数或异地参数,生成或更新系统参数,将系统参数发送给系统参数输入端206。
其中,该异地参数可以为新增数据库的相关参数或是异地数据库2的当前本地参数。如此,参数融合系统209可以根据该异地参数的具体内容和本地参数的具体内容,生成系统参数,或按照如步骤21-步骤22的方式更新系统参数,按照如步骤31-步骤32的方式更新系统参数。关于系统参数具体的生成步骤和更新步骤本发明实施例在此不多赘述。参数融合系统209在生成或更新完系统参数后可以将该系统参数发送给系统参数输入端206。
在本发明一实施例中,参考图3,存储模型203按该存储机制执行将本地输入数据存入本地数据库1和异地数据库2的实现过程,以及与异地数据库2实现数据共享的过程,具体可以如下:
本地数据库1还包括:与存储模型203分别连接的子数据库集207、本地数据副本208,子数据库集群207能够与异地数据库2连接,其中:
存储模型203,用于对本地输入数据进行数据处理,并按照存储机制,将经数据处理后的本地输入数据作为本地数据包分别存入子数据库集群207中的本地输入数据对应的存储位置和本地数据副本208中的本地输入数据对应的存储位置;以及将子数据库集群207输入的异地数据包存入本地数据副本208;
子数据库集群207,用于在本地输入数据对应的存储位置存储本地数据包,并将本地数据包备份后共享至异地数据库2,以及接收来自异地数据库2的异地数据包,将异地数据包输入存储模型203;
本地数据副本208,用于将存储模型203存入的本地数据包和异地数据包进行存储,以及生成包含本地数据包和异地数据包的共享数据包,并将共享数据包共享至异地数据库2。
在本发明实施例中,子数据库集群为本地数据库1的存储核心,子数据库集群中有多个子数据库,用于分类存储本地数据信息,并将本地数据信息共享至同域网络节点以及异域网络节点,建立数据共享机制。子数据库集群中的本地输入数据对应的存储位置可以是该子数据库集群中指定的一个或多个子数据库。关于子数据库集群如何分类的由于不属于本发明的重点,在此不多赘述。
参考图4所示的分布式数据库的结构,子数据库集群可以与本地数据库1的同域网络节点和异域网络节点分别连接,如此子数据库集群可以将存储模型203存入的本地数据包(即本地数据信息)共享至同域网络节点和异域网络节点,以此实现将该本地数据包共享至异地数据库2。同理,子数据库集群可以接收来自同域网络节点和/或异域网络节点的异地数据库2的异地数据包,并发送给本地数据库1的存储模型203,由该存储模型203将异地数据包分配给本地数据副本,实现对异地数据库2的数据的备份。在上述备份过程中,由于异地数据包的备份也经过了本地数据库1的存储模型203的处理,使得异地数据包的备份更加符合本地数据库1的存储模式。
在本发明实施例中,本地数据副本可以直接与该同域网络节点和异域网络节点分别连接,以此实现将生成包含本地数据包和异地数据包的共享数据包通过该同域网络节点和异域网络节点发送给异地数据库2。当然,也可如图6所示,本地数据副本与子数据库集群连接,如此本地数据副本通过该子数据库集群将共享数据包共享至该同域网络节点和异域网络节点,进而实现共享数据包共享至异地数据库2。
在本发明实施例中,本地数据库1可设置搜索模块和显示模块;
搜索模块,用于在获得待查询内容时,按照与待查询内容相关的目标存储数据对应的目标存储机制,以本地数据库1为基点,沿同域网络节点和异域网络节点为搜索路径,读取分布式数据库中的目标存储数据;其中,不同的存储数据对应不同的存储机制,存储机制依据本地数据库1中的存储模型203确定;
显示模块,用于将目标存储数据进行显示。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图6是本发明的一个实施例电子设备的结构示意图。请参考图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
在获得待存储的本地输入数据时,采集分布式数据库的目标本地参数,其中,目标本地参数包括本地数据库的当前本地参数和异地数据库的当前本地参数;
将本地输入数据和目标本地参数输入至本地数据库中的预先确定的存储模型,以输出得到与本地输入数据对应的存储机制,其中,存储机制用于在本地数据库和异地数据库中确定本地输入数据对应的存储位置;
按照存储机制,将本地输入数据存入本地数据库和异地数据库。
当然,除了软件实现方式之外,本发明的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
总之,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (8)

1.一种分布式数据库操作分离方法,其特征在于,所述分布式数据库包括本地数据库和异地数据库,所述方法包括:
在获得待存储的本地输入数据时,采集所述分布式数据库的目标本地参数,其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
判断所述目标本地参数是否需要引入系统参数进行补偿;
在所述目标本地参数需要引入系统参数进行补偿的情况下,获取所述本地数据库的系统参数;
对所述目标本地参数和所述系统参数进行融合处理,生成以所述目标本地参数为主、所述系统参数为辅的调整后参数;
将所述本地输入数据和所述目标本地参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,具体包括:将所述本地输入数据和所述调整后参数输入至所述本地数据库中的预先确定的存储模型,以输出得到与所述本地输入数据对应的存储机制,其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;
按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集所述本地数据库的初始本地参数以及所述异地数据库的初始本地参数;
根据所述本地数据库的初始本地参数和/或所述异地数据库的初始本地参数,生成所述系统参数。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在新增数据库作为异地数据库接入所述分布式数据库时,获取所述新增数据库的相关参数;
根据所述新增数据库的相关参数,更新所述系统参数。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在采集得到所述目标本地参数时,将所述目标本地参数与上一次采集的所述分布式数据库的历史本地参数进行比较;
在所述目标本地参数与所述历史本地参数存在差异的情况下,依据所述目标本地参数,更新所述系统参数。
5.一种本地数据库,其特征在于,包括:本地数据输入端、本地参数采集端以及存储模型、系统参数输入端、模型建立系统,所述模型建立系统与所述本地参数采集端、所述系统参数输入端以及所述存储模型分别连接,所述本地数据库能够与异地数据库连接,其中:
所述本地数据输入端,用于接收本地输入数据,并将所述本地输入数据输入所述存储模型;
所述本地参数采集端,用于获得所述分布式数据库的目标本地参数,并将所述目标本地参数输入所述存储模型;其中,所述目标本地参数包括所述本地数据库的当前本地参数和所述异地数据库的当前本地参数;
所述存储模型,用于根据所述本地输入数据和所述目标本地参数,确定与所述本地输入数据对应的存储机制,并按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库;其中,所述存储机制用于在所述本地数据库和所述异地数据库中确定所述本地输入数据对应的存储位置;
所述系统参数输入端,用于接收系统参数;
所述模型建立系统,用于接收所述本地参数采集端发送的所述目标本地参数和所述系统参数输入端发送的所述系统参数,并在所述目标本地参数需要引入系统参数进行补偿的情况下,对所述目标本地参数和所述系统参数进行融合处理,生成以所述目标本地参数为主、所述系统参数为辅的调整后参数,并将所述本地输入数据和所述调整后参数输入所述存储模型,以输出得到与所述本地输入数据对应的存储机制。
6.根据权利要求5所述的本地数据库,其特征在于,所述本地数据库还包括:与所述存储模型分别连接的子数据库集群、本地数据副本,所述子数据库集群能够与异地数据库连接,其中:
所述存储模型,用于按照所述存储机制,将所述本地输入数据存入所述本地数据库和所述异地数据库,包括:
所述存储模型,用于对所述本地输入数据进行数据处理,并按照所述存储机制,将经数据处理后的所述本地输入数据作为本地数据包分别存入所述子数据库集群中的所述本地输入数据对应的存储位置和所述本地数据副本中的所述本地输入数据对应的存储位置;以及将所述子数据库集群输入的所述异地数据包存入所述本地数据副本;
所述子数据库集群,用于在所述本地输入数据对应的存储位置存储所述本地数据包,并将所述本地数据包备份后共享至所述异地数据库,以及接收来自所述异地数据库的异地数据包,将所述异地数据包输入所述存储模型;
所述本地数据副本,用于将所述存储模型存入的所述本地数据包和所述异地数据包进行存储,以及生成包含所述本地数据包和所述异地数据包的共享数据包,并将所述共享数据包共享至所述异地数据库。
7.根据权利要求5所述的本地数据库,其特征在于,所述本地数据库上设置有同域网络接口和异域网络接口;
在所述本地数据库的同域网络接口和所述异地数据库的同域网络接口连接的情况下,连接处形成同域网络节点;
在所述本地数据库的异域网络接口和所述异地数据库的异域网络接口连接的情况下,连接处形成异域网络节点。
8.一种电子设备,其特征在于,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1-4任一项所述的分布式数据库操作分离方法。
CN202210504301.2A 2022-05-10 2022-05-10 分布式数据库操作分离方法、装置、数据库及电子设备 Active CN117076552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504301.2A CN117076552B (zh) 2022-05-10 2022-05-10 分布式数据库操作分离方法、装置、数据库及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504301.2A CN117076552B (zh) 2022-05-10 2022-05-10 分布式数据库操作分离方法、装置、数据库及电子设备

Publications (2)

Publication Number Publication Date
CN117076552A CN117076552A (zh) 2023-11-17
CN117076552B true CN117076552B (zh) 2026-01-27

Family

ID=88712088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504301.2A Active CN117076552B (zh) 2022-05-10 2022-05-10 分布式数据库操作分离方法、装置、数据库及电子设备

Country Status (1)

Country Link
CN (1) CN117076552B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119590A (zh) * 2010-09-24 2013-05-22 日立数据系统有限公司 在分布式数据库中管理完整性的方法和系统
CN110598051A (zh) * 2019-09-17 2019-12-20 国家电网有限公司 一种电力行业监控系统、方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7739296B2 (en) * 2006-07-12 2010-06-15 International Business Machines Corporation System and method for virtualization of relational stored procedures in non-native relational database systems
US20140195675A1 (en) * 2013-01-09 2014-07-10 Giga Entertainment Media Inc. Simultaneous Content Data Streaming And Interaction System
CN110019469B (zh) * 2017-12-07 2022-06-21 金篆信科有限责任公司 分布式数据库数据处理方法、装置、存储介质及电子装置
US11960473B2 (en) * 2019-01-15 2024-04-16 Fisher-Rosemount Systems, Inc. Distributed ledgers in process control systems
US11115218B2 (en) * 2019-01-15 2021-09-07 Fisher-Rosemount Systems, Inc. System for secure metering from systems of untrusted data derived from common sources
US11042147B2 (en) * 2019-01-15 2021-06-22 Fisher-Rosemount Systems, Inc. Machine-to-machine transactions using distributed ledgers in process control systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119590A (zh) * 2010-09-24 2013-05-22 日立数据系统有限公司 在分布式数据库中管理完整性的方法和系统
CN110598051A (zh) * 2019-09-17 2019-12-20 国家电网有限公司 一种电力行业监控系统、方法及装置

Also Published As

Publication number Publication date
CN117076552A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US10725981B1 (en) Analyzing big data
US9361320B1 (en) Modeling big data
CN111897875A (zh) 城市多源异构数据的融合处理方法、装置和计算机设备
US20200226133A1 (en) Knowledge map building system and method
CN110162522B (zh) 一种分布式数据搜索系统及方法
CN111797134A (zh) 分布式数据库的数据查询方法、装置和存储介质
CN111881223A (zh) 数据管理方法、设备、系统及存储介质
CN108197311A (zh) 房源数据聚合展示方法、装置、设备及可读存储介质
CN114168588A (zh) 一种向量数据库存储与检索方法
CN111241137A (zh) 数据处理方法、装置、电子设备及存储介质
CN111797422A (zh) 数据隐私保护查询方法、装置、存储介质及电子设备
CN117609278A (zh) 基于深度度量学习的多模态电力数据管理方法与系统
CN116126620B (zh) 数据库日志处理方法、数据库变更查询方法及相关装置
CN117076552B (zh) 分布式数据库操作分离方法、装置、数据库及电子设备
JP2010186256A (ja) 逐次クラスタリング装置とその方法及びプログラム
CN114116723B (zh) 快照处理方法、装置及电子设备
CN111797175A (zh) 数据存储方法、装置、存储介质及电子设备
CN117194426A (zh) 一种数据分区归档方法、系统、设备和介质
CN111897490B (zh) 删除数据的方法以及装置
CN110377647B (zh) 一种基于分布式数据库需求信息查询方法及系统
CN119248796B (zh) 基于数据对照表的多源数据一致性处理方法
CN117555867B (zh) 针对大科学装置的科学实验数据管理方法、装置和系统
CN114625729B (zh) 一种业务数据的存储方法、装置、电子设备和存储介质
GB2405504A (en) Determining wire capacitance for a VLSI circuit
CN119621009A (zh) 信息处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant