CN114185972A - 计算机实现数据读写分离的系统和方法 - Google Patents

Abstract

本发明公开了一种计算机实现数据读写分离的系统和方法，所述系统包括在数据交互层设置多个数据库读操作层和数据库写操作层，同时在数据库层中设置多个读数据库和写数据库，通过SpringBoot框架对数据交互层和数据库层中的数据库读操作层、数据库写操作层与读数据库和写数据库中建立映射关系，使读写操作分别按照不同的数据链路和进程独立实现读和写操作，从而克服现有技术中随着前段请求数量级增加而导致系统运行速度变慢，用户体验变差，用户流失以及出现设计到应用系统管理功能的各种问题。

Description

计算机实现数据读写分离的系统和方法

技术领域

本发明涉及到计算机应用后台开发技术领域，尤其涉及到计算机实现数据读写分离的系统和方法。

背景技术

在目前的计算机应用后台开发领域中，SpringBoot以轻量级，内嵌容器，灵活的可配置性成为了最主流的应用开发框架之一。而数据库领域中，开源数据库在中低端应用中逐渐流行起来，占据了很大的市场份额。开源数据库具有免费使用、配置简单、稳定性好、性能优良等特点，而MySQL数据库正是开源数据库中的杰出代表。是以基于SpringBoot框架和MySQL数据库进行搭建的后台是目前最普遍应用到的计算机后台架构之一。

以SpringBoot和MySQL实现的计算机应用后台实现流程为，请求端往SpringBoot后台(服务端)发送请求数据，后台接收到请求数据后，进行解析，然后根据程序设计和业务逻辑，执行相应的数据操作，并将操作结果返回给前端用于显示或进行通知。本质上是通过服务器作为介质实现前端与数据库进行数据交互。

而目前的大部分计算机后台是以一个服务端，连接一台数据库的形式实现的。但是很多前端请求发送到服务端后，并不是直接就进行数据库读写操作，然后返回结果。往往服务端需要将前端发送的请求数据进行进一步解析；根据前端需要得到的反馈数据，将数据库读写任务进行进一步的细分；同时为了避免执行多请求执行数据库读写任务引起数据混乱等问题；服务端会将需要执行的读写任务分解组成事务，实现在数据库不脏读，幻读的情况下，正确的执行前端所需操作，并返回正确的结果。MySQL数据库主要以锁的形式来配合事务执行，并保证数据的一致性和正确性。随着应用系统的使用人数增加，数据库保存数据的增加；前端发送的请求增多，服务端需要调用数据库执行更多的读写任务，数据库因为数据量增加，读写操作也会相对的消耗更多时间。长此以往就会导致系统运行速度变慢，用户体验变差，用户流失以及出现设计到应用系统管理功能的各种问题。并且在单一数据库的情况下，一旦数据库异常，系统将无法使用，直到异常解决为止。

发明内容

本发明的目的在于提供一种计算机实现数据读写分离的系统和方法，其目的在于解决现有技术中前端向服务器端发送数据以一个单一数据库连接方式的情况下，导致系统运行速度变慢，用户体验变差，用户流失以及出现设计到应用系统管理功能的各种问题。

本发明公开的计算机实现数据读写分离的系统包括应用后台，所述应用后台用于读写分离的实现数据操作，所述应用后台包括：

请求前端，所述请求前端用于向后端发送数据库操作请求；

交互层，所述交互层用于接收所述请求前端数据或者从后端向所述请求前端反馈数据结果；

业务层，所述业务层用于接收所述交互层的前端数据和请求，并分解所述请求形成请求信息，划分具体的数据库操作步骤，发送操作指令、前端数据和所述请求信息；

数据库，所述数据库包括数据交互层和数据库层，所述数据库交互层对数据库内数据进行读写操作，所述数据库层用于储存所述数据库交互层读写操作后的最终数据记录；

所述数据交互层包括至少一个数据库写操作层和数据库读操作层，所述数据库写操作层用于对数据库内部及所述业务层发送来的前端数据进行独立的写操作，所述数据库读操作层用于对所述数据库层内的数据进行读操作；

所述数据库层内划分有至少三个子数据库，分别为写数据库、主数据库和读数据库；所述写数据库和所述主数据库互为主从关系，均用于对各自内部的数据内容进行写操作，并在写操作后同步数据；所述读数据库与所述主数据库数据连接，所述读数据库用于读取所述主数据库的内部数据，从而实现独立的读操作。

本发明公开的计算机实现数据读写分离的方法包括：

步骤S1：配置应用后台，所述数据后台包括数据交互层和数据库层；在数据交互层中设置至少一个数据库写操作层和至少一个数据库读操作层，在数据库层中建立并设置至少三个子数据库，分别为写数据库、主数据库和读数据库；建立写数据库和主数据库的主从关系，使所述写数据库和主数据库用于进行数据写操作并同步写操作后的数据，使所述读数据库用于读取所述主数据库中的数据；

步骤S2：接收请求端数据请求；

步骤S3：划分数据库操作步骤，并分配独立的数据库读操作层和数据库写操作层，使得所述数据库读操作层和多个所述读数据库之间建立映射，使得所述数据库写操作层与多个所述写数据库中间建立映射；所述写数据库和所述读数据库根据建立的映射关系实现数据链路分配和计算；

步骤S4：所述数据交互层与所述数据库层根据分配的数据链路分别独立的进行读操作和写操作，并在写操作后在写数据库和主数据库之间同步数据；

步骤S5：数据交互层接收多次数据库的读写请求后，分别通过预设且不同的数据链路进行独立的写操作和读操作，并反馈读操作结果。

本发明还可以在另一方面提高系统的稳定性，利用多数据源(即多写数据库、多读数据库)的冗余特点，当有一个数据库出现异常时，可以及时修改SpringBoot配置信息将出现异常的数据源切换为另外无异常的数据源，快速解决应用系统问题，等数据库异常解决后再恢复数据源；

根据以上实施例的技术方案，前端请求，在服务端中被解析，拆分成不同的读写任务，然后根据任务类型请求到不同的数据库中，降低了每个数据库在同一时间处理请求的任务数量；并且分离读写操作也极大程度缓解了MySQL数据库X锁(排它锁)和S锁(共享锁)争用；极大程度的提高了数据库运行效率，从而提升应用系统的运行效率；同时，因为存在主从数据库，也可快速解决由一个数据源异常引起的系统错误等问题，提高稳定性。

附图说明

图1是本发明计算机实现数据读写分离的系统的模块示意图；

图2为本发明实施例提供的与前端进行完整信息交互的流程图；

图3为本发明实施例数据库异常时快速解决示意图。

具体实施方式

下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:

如图1所示，本发明公开的计算机实现数据读写分离的系统包括应用后台，所述应用后台包括：

请求前端，所述请求前端用于向后端发送数据库操作请求；

交互层，所述交互层用于接收所述请求前端数据或者从后端向所述请求前端反馈数据结果；

业务层，所述业务层用于接收所述交互层的前端数据和请求，并分解所述请求形成请求信息，划分具体的数据库操作步骤，发送操作指令、前端数据和所述请求信息；

数据库，所述数据库包括数据交互层和数据库层，所述数据库交互层对数据库内数据进行读写操作，所述数据库层用于储存所述数据库交互层读写操作后的最终数据记录；

所述数据交互层包括至少一个数据库写操作层和数据库读操作层，所述数据库写操作层用于对数据库内部及所述业务层发送来的前端数据进行独立的写操作，所述数据库读操作层用于对所述数据库层内的数据进行读操作；

所述数据库层内划分有至少三个子数据库，分别为写数据库、主数据库和读数据库；所述写数据库和所述主数据库互为主从关系，均用于对各自内部的数据内容进行写操作，并在写操作后同步数据；所述读数据库与所述主数据库数据连接，所述读数据库用于读取所述主数据库的内部数据，从而实现独立的读操作。

其中，所述数据库读操作层与所述读数据库之间建立映像连接关系，并彼此通信。

其中，所述数据读操作层具有多个，所述读数据库具有多个，所述数据读操作层与所述读数据库之间的映射关系包括一一映射和多对一映射。

其中，所述写数据库具有多个，多个所述写数据库与所述主数据库互为主从关系，均用于对各自内部的数据内容进行写操作，并在写操作后同步数据。

其中，至少一个所述读数据库异常时，多个所述数据库读操作层自动规避异常的所述读数据库，并向其他所述读数据库发送读数据请求，获得所述数据库层中的数据。

其中，异常的所述读数据库经过数据库修复重新配置后恢复，恢复后的所述读数据库再次参与到所述数据库层中的数据读操作中。在本实施方式中，当数据库采用SpringBoot框架时，可以利用软件程序基于SpringBoot框架对数据库属性进行监测，修改和隔离，或者分配新的所述读数据库。

在发明中，请求前端是指，往应用后台发送请求的信息发送端，其可以是同一项目的Web前端，也可以是开放给第三方的请求接口。是用户往后台发送请求，和查看请求结果的地方。

交互层，用于接收请求端发送数据，和将请求的结果进行反馈，作为应用后台的出入口。以http或tcp的形式进行数据交互，数据传输主要为json格式，具体的数据请求格式由请求端和开发人员进行具体定制。可以确定具体的入口地址，和根据数据请求格式进行请求数据的初步过滤，和初步的数据校验。

业务层，作为后台的中枢层次，作用是将交互层接收的请求信息，进一步解析；校验数据的合法性，然后根据分解的请求信息，划分成具体的操作步骤，调用不同的数据库操作层进行数据库操作。

数据交互层，作为直接操作数据库的层级，每一个数据库操作层，正现有技术中都单独对应一个单独的读数据库或写数据库；并且数据库操作层的每一个入口都单独是实现一个独立的数据库操作。系统也可根据业务需求，将多个数据操作组合成业务，进行同步执行。图1中数据交互层设置了一个数据库写操作层，两个数据库读操作层；在实际应用中，可根据具体的需求进行层级的增减，如数据库操作的数量大小，读写操作的数量比例等。

数据库层，作为数据的最终存储地，独立出来的主数据库可以进一步确保数据库的安全性，和应用系统后台的稳定性。然后根据数据交互层级进一步划分多个主从数据库；与主数据库互为主从的数据库作为写数据库，可将后台写入数据同步到主数据库，然后主数据库将数据库同步到其余的从数据库；从数据库作为读数据库，只需确保数据内容与主数据库一直，保证后台查询业务执行结果的正确性即可。同样的，图1中数据库层设置了一个写数据库，两个读数据库和一个主数据库；在实际应用中可以根据数据库操作量需求，和成本限制对数据库的数量进行减少或增加，即使最低只有两个数据库互为主从，也实现数据读写分离，和增加系统稳定性的效果。

参阅图2，本发明同时还提供了一种计算机实现数据读写分离的方法，所述方法包括：

步骤S201：后台接收到前端的请求数据，初步判断数据格式的正确性。

步骤S202：解析接收到的请求信息，判断数据的合法性，和实效性。

步骤S203：业务逻辑判断，根据请求数据，进行不同的业务逻辑判断，调用不同的操作执行入口。

步骤S204：执行数据库操作，根据请求数据要求，执行具体的数据库操作。

步骤S205：返回操作结果，数据库操作执行完毕，返回操作结果。

同时参阅图3，为本发明提高系统稳定性的原理示意图。

当读数据库1(305)出现异常时，管理人员可修改应用后台的配置文件，使得数据库读操作层1(302)的关联数据库变成读数据库2(306)，使得程序可继续正常运行。而后再由相关技术人员解决读数据库1(305)的异常，异常解决之后再恢复层原先的关联配置。有必要时也可将数据操作关联到主数据库(307)。

多数据源配置说明；

首先，在配置文件中，设置好对应的数据源信息，如下所示：

#主数据源

spring.datasource.masterdb.jdbc-url＝jdbc:mysql://127.0.0.1:3306/camera-pcl？useUnicode＝true&characterEncoding＝UTF-8&useSSL＝false

spring.datasource.masterdb.driver-class-name＝com.mysql.jdbc.Driver

spring.datasource.masterdb.username＝root

spring.datasource.masterdb.password＝root

#副数据源

spring.datasource.devdb1.jdbc-url＝jdbc:mysql://127.0.0.1:3306/jsds？useUnicode＝true&characterEncoding＝UTF-8&useSSL＝false

spring.datasource.devdb1.driver-class-name＝com.mysql.jdbc.Driver

spring.datasource.devdb1.username＝root

spring.datasource.devdb1.password＝root

不同数据源之间的区别主要在于配置文件中对应的参数名称，可根据具体情况进行具体的配置，如上所示，为一主数据源masterdb和一副数据源devdb1。然后对每一个数据源编写单独的config配置类，和设置单独的数据库操作层。

主从数据库原理和配置说明；

通过binlog日志进行异步数据库同步，主要通过主从数据库中的三个线程来进行实现，从数据库中的Sql线程和IO线程，主数据库中的IO线程。通过从数据往主数据库做IO请求，得到数据差异情况，和数据库操作信息，再通过Sql线程进行数据库修改，实现两边的数据统一。

主数据库配置说明：

#服务的唯一编号

server-id＝1

#开启mysqlbinlog功能

log-bin＝mysql-bin

#指定需要复制的数据库名为test2021，如不指定则复制所有数据库

binlog-do-db＝test2021

从数据库配置说明：

#服务的唯一编号

server-id＝2

#开启mysqlbinlog功能

log-bin＝mysql-bin

#指定需要复制的数据库名为test2021，如不指定则复制所有数据库

replicate-do-db＝test2021

随后通过Start slave；和Stop slave；启动或停止数据库同步，来实现主从数据库的配置。

对于本发明的方法的进一步说明的是，所述方法包括以下步骤：

步骤S1：配置应用后台，所述数据后台包括数据交互层和数据库层；在数据交互层中设置至少一个数据库写操作层和至少一个数据库读操作层，在数据库层中建立并设置至少三个子数据库，分别为写数据库、主数据库和读数据库；建立写数据库和主数据库的主从关系，使所述写数据库和主数据库用于进行数据写操作并同步写操作后的数据，使所述读数据库用于读取所述主数据库中的数据；

步骤S2：接收请求端数据请求；

步骤S3：划分数据库操作步骤，并分配独立的数据库读操作层和数据库写操作层，使得所述数据库读操作层和多个所述读数据库之间建立映射，使得所述数据库写操作层与多个所述写数据库中间建立映射；所述写数据库和所述读数据库根据建立的映射关系实现数据链路分配和计算；

步骤S4：所述数据交互层与所述数据库层根据分配的数据链路分别独立的进行读操作和写操作，并在写操作后在写数据库和主数据库之间同步数据；

步骤S5：数据交互层接收多次数据库的读写请求后，分别通过预设且不同的数据链路进行独立的写操作和读操作，并反馈读操作结果。

进一步地，所述数据读操作层具有多个，所述读数据库具有多个，所述数据读操作层与所述读数据库之间的映射关系包括一一映射和多对一映射。

进一步地，至少一个所述读数据库异常时，多个所述数据库读操作层自动规避异常的所述读数据库，并向其他所述读数据库发送读数据请求，获得所述数据库层中的数据。

进一步地，所述方法应用于SpringBoot框架和MySQL数据库实现数据读写分离的过程中。

根据以上实施例的技术方案，应用后台接收到的请求数据库，通过后台的请求解析和逻辑判断，将请求分解，进入不同的操作层执行。在数据库执行每条数据库操作语句的时间相差不大的情况下，通过分流的形式，极大的减少了每个数据库在同一时间段执行的操作数量，使得运行效率有大幅度提高。用户操作时，也能更快的得到反馈，提高用户的操作体验。而多个数据库的主从配置，保障了数据的一致性，防止出现不同用户在执行统一操作，出现不同结果的情况。同时多数据库的冗余性，可以确保当其中一个数据库异常时，管理人员可通过快速切换数据配置，将异常数数据源连接到其他正常数据库上，提高系统的稳定性，降低维护时间。进一步提高用户体验。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (11)

1.一种计算机实现数据读写分离的系统，其特征在于，所述系统包括应用后台，所述应用后台用于读写分离的实现数据操作，所述应用后台包括：

请求前端，所述请求前端用于向后端发送数据库操作请求；

交互层，所述交互层用于接收所述请求前端数据或者从后端向所述请求前端反馈数据结果；

业务层，所述业务层用于接收所述交互层的前端数据和请求，并分解所述请求形成请求信息，划分具体的数据库操作步骤，发送操作指令、前端数据和所述请求信息；

数据库，所述数据库包括数据交互层和数据库层，所述数据库交互层对数据库内数据进行读写操作，所述数据库层用于储存所述数据库交互层读写操作后的最终数据记录；

所述数据交互层包括至少一个数据库写操作层和数据库读操作层，所述数据库写操作层用于对数据库内部及所述业务层发送来的前端数据进行独立的写操作，所述数据库读操作层用于对所述数据库层内的数据进行读操作；

所述数据库层内划分有至少三个子数据库，分别为写数据库、主数据库和读数据库；所述写数据库和所述主数据库互为主从关系，均用于对各自内部的数据内容进行写操作，并在写操作后同步数据；所述读数据库与所述主数据库数据连接，所述读数据库用于读取所述主数据库的内部数据，从而实现独立的读操作。

2.如权利要求1所述的计算机实现数据读写分离的系统，其特征在于，所述数据库交互层内包括数据库写操作层和至少一个数据库读操作层，所述数据库读操作层与所述读数据库之间建立映像连接关系，并彼此通信。

3.如权利要求3所述的计算机实现数据读写分离的系统，其特征在于，所述数据读操作层具有多个，所述读数据库具有多个，所述数据读操作层与所述读数据库之间的映射关系包括一一映射和多对一映射。

4.如权利要求4所述的计算机实现数据读写分离的系统，其特征在于，所述写数据库具有多个，多个所述写数据库与所述主数据库互为主从关系，均用于对各自内部的数据内容进行写操作，并在写操作后同步数据。

5.如权利要求4所述的计算机实现数据读写分离的系统，其特征在于，至少一个所述读数据库异常时，多个所述数据库读操作层自动规避异常的所述读数据库，并向其他所述读数据库发送读数据请求，获得所述数据库层中的数据。

6.如权利要求5所述的计算机实现数据读写分离的系统，其特征在于，异常的所述读数据库经过数据库修复重新配置后恢复，恢复后的所述读数据库再次参与到所述数据库层中的数据读操作中。

7.如权利要求1所述的计算机实现数据读写分离的系统，其特征在于，所述系统基于SpringBoot框架和MySQL数据库实现数据读写分离。

8.一种计算机实现数据读写分离的方法，其特征在于，所述方法包括以下步骤：

步骤S1：配置应用后台，所述数据后台包括数据交互层和数据库层；在数据交互层中设置至少一个数据库写操作层和至少一个数据库读操作层，在数据库层中建立并设置至少三个子数据库，分别为写数据库、主数据库和读数据库；建立写数据库和主数据库的主从关系，使所述写数据库和主数据库用于进行数据写操作并同步写操作后的数据，使所述读数据库用于读取所述主数据库中的数据；

步骤S2：接收请求端数据请求；

步骤S3：划分数据库操作步骤，并分配独立的数据库读操作层和数据库写操作层，使得所述数据库读操作层和多个所述读数据库之间建立映射，使得所述数据库写操作层与多个所述写数据库中间建立映射；所述写数据库和所述读数据库根据建立的映射关系实现数据链路分配和计算；

步骤S4：所述数据交互层与所述数据库层根据分配的数据链路分别独立的进行读操作和写操作，并在写操作后在写数据库和主数据库之间同步数据；

步骤S5：数据交互层接收多次数据库的读写请求后，分别通过预设且不同的数据链路进行独立的写操作和读操作，并反馈读操作结果。

9.如权利要求8所述的计算机实现数据读写分离的方法，其特征在于，所述数据读操作层具有多个，所述读数据库具有多个，所述数据读操作层与所述读数据库之间的映射关系包括一一映射和多对一映射。

10.如权利要求9所述的计算机实现数据读写分离的方法，其特征在于，至少一个所述读数据库异常时，多个所述数据库读操作层自动规避异常的所述读数据库，并向其他所述读数据库发送读数据请求，获得所述数据库层中的数据。

11.如权利要求10所述的计算机实现数据读写分离的方法，其特征在于，所述方法应用于SpringBoot框架和MySQL数据库实现数据读写分离的过程中。

Images