CN109885619A - 基于分布式数据库的数据写入与读取方法和装置 - Google Patents

Abstract

本发明涉及一种基于分布式数据库的数据写入与读取方法和装置，该方法包括：确定分片映像表和分配映像表，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。满足了数据存储中面对大容量存储和高并发访问量的需求，有效防止数据丢失。

Description

基于分布式数据库的数据写入与读取方法和装置

技术领域

本发明涉及数据库技术领域，具体涉及一种基于分布式数据库的数据写入与读取方法和装置。

背景技术

数据库，可视为电子化的文件柜，用来存储电子文件，用户可以对文件中的数据运行新增、截取、更新或删除等操作。“数据库”是以一定方式存储在一起，能与多个用户共享，具有尽可能小的冗余度，且与应用程序彼此独立的数据集合。集中式计算机网络包括一个大型的中央系统包括各个终端，终端可以是客户机，数据全部存储在中央系统，由数据库管理系统进行管理，全部处理操作由中央系统完成，终端只是用来输入和输出，终端不做任何处理，全部任务都在主机的中央系统上进行。

随着数据处理技术的发展，传统的集中式数据库越来越无法满足数据存储中对更大的存储容量和更高的并发访问量的需求，且受限于自身机制无法有效的防止数据丢失。

发明内容

有鉴于此，提供一种基于分布式数据库的数据写入与读取方法和装置，以解决传统的数据库无法满足数据存储中面对大容量存储和高并发访问量的需求，以及无法有效防止数据丢失的问题。

本发明采用如下技术方案：

第一方面，本申请提供了一种基于分布式数据库的数据写入与读取方法，该方法包括：

确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；

将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；

根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

进一步的，所述确定分片映像表包括：

获取业务系统的全局表；

根据预先设定的分片规则对所述全局表进行分片；

根据分片结果生成分片映像表。

进一步的，所述确定分配映像表包括：

获取各个站点的属性信息；

根据所述各个站点的属性信息以及预先设定的分配规则将各个分片分配到各个站点。

进一步的，根据接收到的用户查询指令查询所述更新后的分片映像表，包括：

分析所述用户查询指令，得到查询属性、查询条件和全局表信息；

根据所述查询属性、查询条件和全局表信息，查询更新后的分片映像表，确定待查询的数据所属的分片。

进一步的，还包括：

若所述待查询的数据所属的分片为多个，则选择其中数据量小于设定阈值的分片确定为待查询的数据所属的分片。

进一步的，根据接收到的用户查询指令查询所述更新后的分配映像表，包括：

根据所述查询属性、查询条件和全局表信息，查询所述更新后的分配映像表，确定待查询的数据所属的分片存储的站点。

进一步的，还包括：

若所述待查询的数据所属分片为单副本分片，则进入所述待查询的数据所属的分片对应的站点的本地数据库查询分片，其中，所述单副本分片包括一个分片所属的站点数量为一个的分片；

若所述待查询的数据所属分片为多副本分片，则进入所述各个分片对应的站点中存储数据量最小的站点的本地数据库查询分片，其中，所述多副本分片包括一个分片所属的站点数量为多个的分片。

进一步的，还包括：

若在单个站点的本地数据库对分片进行查询，则将查询结果返回给用户；

若在多个站点的本地数据库对分片进行查询，则将全部查询结果进行合并，并将合并结果返回给用户。

第二方面，本申请实施例提供了一种基于分布式数据库的数据写入与读取装置，该装置包括：

映象表确定模块，用于确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；

更新模块，用于将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；

查询模块，用于根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

进一步的，所述映像表确定模块具体用于：

获取业务系统的全局表；

根据预先设定的分片规则对所述全局表进行分片；

根据分片结果生成分片映像表。

本发明采用以上技术方案，首先确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系，在面对大容量存储和高并发访问需求时，应用分片技术，解决了传统的数据无法满足大容量存储和高并发访问需求的问题；其次，将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表，也即，将目标存储数据进行分片并存储，还可以有效防止数据丢失；根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户，满足了用户的读写需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种基于分布式数据库的数据写入与读取方法的流程图；

图2是本发明实施例二提供的一种基于分布式数据库的数据写入与读取装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

实施例一

图1为本发明实施例一提供的一种基于分布式数据库的数据写入与读取方法的流程图，该方法可以由本发明实施例提供的基于分布式数据库的数据写入与读取装置执行，该装置可采用软件和/或硬件的方式实现。参考图1，该方法具体可以包括如下步骤：

S101、确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系。

首先，说明“分片”的概念，互联网协议允许分片，例如，当数据包比链路最大传输单元大时，就可以被分解为很多的足够小的片段，以便进行传输。分片是数据库分区的一种，将大型数据库分成更小、更快、更容易管理的部分。

本申请实施例中，确定的分片映像表中存储有全局表的分片记录，确定的分配映像表中存储有各个分片与分配到的站点的对应关系，其中，确定分片映像表和确定分配映像表的过程为指令的记录过程，在这两个过程中，并没有执行指令，也即，并没有进行数据的分片与存储。

S102、将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表。

具体的，实际的分片过程和查询过程即为上述指令的执行过程，将目标存储数据按照分片映像表进行分片，也即，执行了存储数据的分片指令，这个过程称为分片映像表的更新过程；并按照分配映像表将目标存储数据分布式存储到各个站点，也即，执行了数据的写入功能，这个过程称为分配映像表的更新过程。在实际的应用过程中，上述更新过程完成后，即完成了目标存储数据的写入过程。

S103、根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

接下来是目标存储数据的读取过程，其中，用户查询指令可以是用户发送的具体的查询语句，接收用户发送的查询语句。可选的，查询语句中可以包括查询属性、查询条件和全局表信息。具体的，根据接收到的用户查询指令查询更新后的分片映像表和分配映像表，将查询结果返回给用户。

本发明采用以上技术方案，首先确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系，在面对大容量存储和高并发访问需求时，应用分片技术，解决了传统的数据无法满足大容量存储和高并发访问需求的问题；其次，将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表，也即，将目标存储数据进行分片并存储，还可以有效防止数据丢失；根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户，满足了用户的读写需求。

可选的，确定分片映像表可以通过如下方式实现包括：获取业务系统的全局表；根据预先设定的分片规则对所述全局表进行分片；根据分片结果生成分片映像表。

其中，业务系统以企业业务系统为例，企业业务系统是指一个企业把自己的产品推向市场并取得最大化收益的一个企业分系统。确定分片映像表的过程中，首先要获取全局表，然后根据预先设定的分片规则对全局表进行分片，示例性的，预先设定的分片规则可以根据用户的需求设定，还可以根据研发人员的要求进行设定，还可以是系统默认的分片规则。最后，根据分片结果生成分片映像表。

可选的，确定分配映像表可以通过如下方式实现：获取各个站点的属性信息；根据所述各个站点的属性信息以及预先设定的分配规则将各个分片分配到各个站点。

其中，确定分配映像表的方式如下：获取各个站点的属性信息，站点可以是数据传输过程中的节点，根据各个站点的属性信息以及预先设定的分配规则将各个分片分配到各个站点。需要说明的是，一个分片可以分配到多个站点。

示例性的，根据接收到的用户查询指令查询所述更新后的分片映像表，包括：分析所述用户查询指令，得到查询属性、查询条件和全局表信息；根据所述查询属性、查询条件和全局表信息，查询更新后的分片映像表，确定待查询的数据所属的分片。

具体的，在分片映像表的更新过程中，首先分析用户查询指令，获取的查询指令中的查询属性、查询条件和全局表信息；然后根据查询属性、查询条件和全局表信息，查询更新后的分片映像表，以此来确定待查询的数据所属的分片。需要说明的是，待查询数据所属的分片不唯一。

在上述技术方案的基础上，本申请的技术方案还包括：若所述待查询的数据所属的分片为多个，则选择其中数据量小于设定阈值的分片确定为待查询的数据所属的分片。

具体的，当待查询的数据所属的分片为多个，分别计算每个分片对应的数据的数据量，选择其中数据量小于设定阈值的分片，作为待查询的数据所属的分片。其中，设定阈值可以是研发人员自行设定，还可以是研发人员根据用户的需求设定。

此外，根据接收到的用户查询指令查询所述更新后的分配映像表，包括：根据所述查询属性、查询条件和全局表信息，查询所述更新后的分配映像表，确定待查询的数据所属的分片存储的站点。

示例性的，查询属性可以包括该次查询的属性特征，例如查询比对、查询修改或查询校正等；查询条件可以包括该次查询满足的时间条件或数据类型条件等；全局表信息可以包括该次查询中应用到的全局表的信息。具体的，根据查询属性、查询条件和全局表信息，查询更新后的分配映像表，以确定待查询的数据所属的分片存储的站点。

在上述技术方案的基础上，还包括：若所述待查询的数据所属分片为单副本分片，则进入所述待查询的数据所属的分片对应的站点的本地数据库查询分片，其中，所述单副本分片包括一个分片所属的站点数量为一个的分片；若所述待查询的数据所属分片为多副本分片，则进入所述各个分片对应的站点中存储数据量最小的站点的本地数据库查询分片，其中，所述多副本分片包括一个分片所属的站点数量为多个的分片。

具体的，单副本分片是指，一个分片所属的站点的数量为一个，多副本分片是指，一个分片所属的站点数量为多个。在实施例的应用过程中，待查询的数据所属分片为单副本分片时，则直接进入待查询的数据所属的分片对应的站点的本地数据库查询分片；待查询的数据所述分片为多副本分片时，则确定多副分片对应的各个站点中的存储的数据量，进入各个分片对应的站点中存储数据量最小的站点的本地数据库进行查询。其中，存储数据量最小也表明负载最轻。

在上述技术方案的基础上，还包括：若在单个站点的本地数据库对分片进行查询，则将查询结果返回给用户；若在多个站点的本地数据库对分片进行查询，则将全部查询结果进行合并，并将合并结果返回给用户。

示例性的，若在单个站点的本地数据库对分片进行查询，则将查询结果返回给用户，用户获取到的为单个站点的唯一查询结果；若在多个站点的本地数据库对分片进行查询，则将在各个站点的本地数据库中的查询结果进行合并，并将合并结果返回给用户。在一个具体的例子中，合并可以是指，将查询结果进行分类汇总，或者是，按照查询到的时间顺序进行排序汇总，在此不进行限定。

为了使方案的表述更容易理解，下面从具体的应用场景中说明本申请实施例的技术方案与现有技术相比带来的优势。

一个具有高性能的分布式存储通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据(通常为使用频率较高的数据)映射到高速存储中，来提高系统响应速度；一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。

在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存，多个数据节点有这个操作，避免了一个节点损坏后数据丢失的问题。此外，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还可以进行故障重现，从而进行分析和研究，避免灾难在之后再次发生。多副本技术、数据条带化放置、多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。因此，本申请实施例的技术方案应用在上述场景中，能够高效地管理读写缓存，并且支持自动的分级存储。

实施例二

图2是本发明是实施例二提供的一种基于分布式数据库的数据写入与读取装置的结构示意图，该装置适用于执行本发明实施例提供给的一种基于分布式数据库的数据写入与读取方法。如图2所示，该装置具体可以包括：

映象表确定模块201，用于确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；

更新模块202，用于将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；

查询模块203，用于根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

进一步的，映像表确定模块201具体用于：

获取业务系统的全局表；

根据预先设定的分片规则对所述全局表进行分片；

根据分片结果生成分片映像表。

进一步的，映像表确定模块201还用于：

获取各个站点的属性信息；

根据所述各个站点的属性信息以及预先设定的分配规则将各个分片分配到各个站点。

进一步的，查询模块203具体用于：

分析所述用户查询指令，得到查询属性、查询条件和全局表信息；

根据所述查询属性、查询条件和全局表信息，查询更新后的分片映像表，确定待查询的数据所属的分片。

进一步的，还包括分片确定模块，用于当所述待查询的数据所属的分片为多个时，选择其中数据量小于设定阈值的分片确定为待查询的数据所属的分片。

进一步的，查询模块203具体用于：

根据所述查询属性、查询条件和全局表信息，查询所述更新后的分配映像表，确定待查询的数据所属的分片存储的站点。

进一步的，还包括分片查询模块，用于在所述待查询的数据所属分片为单副本分片时，进入所述待查询的数据所属的分片对应的站点的本地数据库查询分片，其中，所述单副本分片包括一个分片所属的站点数量为一个的分片；在所述待查询的数据所属分片为多副本分片时，进入所述各个分片对应的站点中存储数据量最小的站点的本地数据库查询分片，其中，所述多副本分片包括一个分片所属的站点数量为多个的分片。

进一步的，还包括查询结果返回模块，用于在单个站点的本地数据库对分片进行查询时，将查询结果返回给用户；在多个站点的本地数据库对分片进行查询时，将全部查询结果进行合并，并将合并结果返回给用户。

本发明实施例提供的基于分布式数据库的数据写入与读取装置可执行本发明任意实施例提供的基于分布式数据库的数据写入与读取方法，具备执行方法相应的功能模块和有益效果。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于分布式数据库的数据写入与读取方法，其特征在于，包括：

确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；

将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；

根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

2.根据权利要求1所述的方法，其特征在于，所述确定分片映像表包括：

获取业务系统的全局表；

根据预先设定的分片规则对所述全局表进行分片；

根据分片结果生成分片映像表。

3.根据权利要求2所述的方法，其特征在于，所述确定分配映像表包括：

获取各个站点的属性信息；

根据所述各个站点的属性信息以及预先设定的分配规则将各个分片分配到各个站点。

4.根据权利要求1所述的方法，其特征在于，根据接收到的用户查询指令查询所述更新后的分片映像表，包括：

分析所述用户查询指令，得到查询属性、查询条件和全局表信息；

根据所述查询属性、查询条件和全局表信息，查询更新后的分片映像表，确定待查询的数据所属的分片。

5.根据权利要求4所述的方法，其特征在于，还包括：

若所述待查询的数据所属的分片为多个，则选择其中数据量小于设定阈值的分片确定为待查询的数据所属的分片。

6.根据权利要求4所述的方法，其特征在于，根据接收到的用户查询指令查询所述更新后的分配映像表，包括：

根据所述查询属性、查询条件和全局表信息，查询所述更新后的分配映像表，确定待查询的数据所属的分片存储的站点。

7.根据权利要求6所述的方法，其特征在于，还包括：

若所述待查询的数据所属分片为单副本分片，则进入所述待查询的数据所属的分片对应的站点的本地数据库查询分片，其中，所述单副本分片包括一个分片所属的站点数量为一个的分片；

若所述待查询的数据所属分片为多副本分片，则进入所述各个分片对应的站点中存储数据量最小的站点的本地数据库查询分片，其中，所述多副本分片包括一个分片所属的站点数量为多个的分片。

8.根据权利要求6所述的方法，其特征在于，还包括：

若在单个站点的本地数据库对分片进行查询，则将查询结果返回给用户；

若在多个站点的本地数据库对分片进行查询，则将全部查询结果进行合并，并将合并结果返回给用户。

9.一种基于分布式数据库的数据写入与读取装置，其特征在于，包括：

映象表确定模块，用于确定分片映像表和分配映像表，其中，所述分片映像表中存储有全局表的分片记录，所述分配映像表中存储有各个分片与分配到的站点的对应关系；

更新模块，用于将目标存储数据按照所述分片映像表进行分片以更新所述分片映像表，并按照所述分配映像表将所述目标存储数据的各个分片数据分布式存储到各个站点，以更新所述分配映像表；

查询模块，用于根据接收到的用户查询指令查询所述更新后的分片映像表和所述更新后分配映像表，将查询结果反馈给用户。

10.根据权利要求9所述的装置，其特征在于，所述映像表确定模块具体用于：

获取业务系统的全局表；

根据预先设定的分片规则对所述全局表进行分片；

根据分片结果生成分片映像表。