CN108200196B - 基于分布式架构的数据储存、查询方法及系统 - Google Patents

Abstract

本申请公开了一种基于分布式架构的数据储存、查询方法及系统。所述系统采用分布式部署架构的方式，通过设置网站服务器，业务服务器，数据访问服务器和/或数据写入服务器，且以上各个服务器均可进行水平扩展，并可采用分布式缓存及开放搜索。达到了便于对系统进行扩展的目的，并实现了提升系统性能的技术效果。采用该分布式部署架构可以使数据架构支持超百亿级数据库；数据架构扩展性强适用于所有工业品领域；采用分布式部署架构，可适应多用户高并发访问。

Description

基于分布式架构的数据储存、查询方法及系统

技术领域

本申请涉及数据处理领域，具体而言，涉及一种基于分布式架构的数据储存、查询方法及系统。

背景技术

越来越多的公司随着的经营时间及客户量的发展，业务量及访问量逐渐增大，服务器的负载压力也会越来越大，具体原因如下所述：

1、公司有不同分支机构或较小的分散站点与公司总部的网络连接通常是低带宽、高滞后或不可靠的；

2、公司总部网络无法处理中心位置的服务流量；

3、分支机构有自己的服务器、企业网络、域控制器和系统管理员，包含数目不定的用户；

4、用户要求有更快的邮箱访问速度、更佳的用户体验和可用性；

5、邮箱、文字、图片、视频等所有数据媒介及业务系统等的用户数量大，并发线程多；

6、对于安全要求高，需要把服务器按不同的功能分开部署。

但是，相关技术中对于多用户高并发访问的系统承受能力较差。且网站服务器，业务服务器，数据存储服务拓展性差，较难提升系统性能。

发明内容

本申请的主要目的在于提供一种基于分布式架构的数据储存、查询方法及系统，以解决相关技术中存在的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于分布式架构的数据查询方法，包括：

接收数据访问请求；

根据所述数据访问请求生成相应的访问业务逻辑调用请求；

根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；所述数据读取数据库中预先存储有供读取的数据；

根据所述数据读取指令读取所述数据读取数据库中的相应数据；

将所述相应数据返回给接收所述数据访问请求的一端。

进一步的，如前述的基于分布式架构的数据查询方法，在所述接收数据访问请求之后，还包括：

将所述数据访问请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器。

进一步的，如前述的基于分布式架构的数据查询方法，在所述根据所述数据访问请求生成相应的访问业务逻辑调用请求之后，还包括：

将所述访问业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述访问业务逻辑的服务器。

进一步的，如前述的基于分布式架构的数据查询方法，还包括：

预先设置数据读取数据库，所述数据读取数据库只响应数据的读取访问操作。

为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式架构的数据存储方法，包括：

接收数据写入请求及写入数据；

根据所述数据写入请求生成相应的存储业务逻辑调用请求；

根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；所述数据写入数据库用于存储所述写入数据；

根据所述数据写入指令在所述数据写入数据库中写入所述写入数据。

进一步的，如前述的基于分布式架构的数据查询方法，在所述接收数据写入请求及写入数据之后，还包括：

将所述数据存储请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器。

进一步的，如前述的基于分布式架构的数据查询方法，在所述根据所述数据写入请求生成相应的存储业务逻辑调用请求之后，还包括：

将所述存储业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述存储业务逻辑的服务器。

进一步的，如前述的基于分布式架构的数据查询方法，还包括：

预先设置数据写入数据库，所述数据写入数据库只响应数据的写入操作。

为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式架构的数据查询系统，包括：

网站服务器，用于接收数据访问请求，并根据所述数据访问请求生成相应的访问业务逻辑调用请求；

业务服务器，用于根据所述数据访问请求生成相应的访问业务逻辑调用请求；

数据访问服务器，用于根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；并根据所述数据读取指令读取所述数据读取数据库中的相应数据；所述数据读取数据库中预先存储有供读取的数据；

数据读取服务器，用于预先存储供所述数据访问服务器进行数据读取的所述数据读取数据库；

所述网站服务器、业务服务器以及数据读取服务器采用分布式部署架构，且依次通信连接。

为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式架构的数据存储系统，包括：

网站服务器，用于接收数据写入请求及写入数据，并根据所述数据写入请求生成相应的存储业务逻辑调用请求；

业务服务器，用于根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；

数据访问服务器，用于根据所述数据写入指令在所述数据写入数据库中写入所述写入数据；所述数据写入数据库用于存储所述写入数据；

数据写入服务器，用于提供存储空间供存储所述写入数据；

所述网站服务器、业务服务器以及数据写入服务器采用分布式部署架构，且依次通信连接。

在本申请实施例中，采用分布式部署架构的方式，通过设置网站服务器，业务服务器，数据访问服务器和/或数据写入服务器，且以上各个服务器均可进行水平扩展，并可采用分布式缓存及开放搜索。达到了便于对系统进行扩展的目的，并实现了提升系统性能的技术效果。采用该分布式部署架构可以使数据架构支持超百亿级数据库；数据架构扩展性强适用于所有工业品领域；采用分布式部署架构，可适应多用户高并发访问。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一种实施例的数据查询方法流程示意图；

图2是本申请一种实施例的数据存储方法流程示意图；

图3是本申请一种实施例的系统结构示意图；

图4是本申请一种实施例的数据查询系统结构示意图；以及

图5是本申请一种实施例的数据存储系统结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，根据本发明实施例，提供了一种基于分布式架构的数据查询方法，如图1所示，该方法包括如下的步骤S11至步骤S15：

S11.接收数据访问请求；一般的，接收客户端诸如：IE、谷歌、火狐浏览器，平板、智能手机等设备的访问请求，以适应未来的移动化办公需求，同时采用主流的HTML5、JQuery、CSS3、Bootstrap等前端展示技术，响应式布局，兼容上述多种浏览器，并根据所述数据访问请求开始对具体问题的操作；

S12.根据所述数据访问请求生成相应的访问业务逻辑调用请求；具体的，所有业务逻辑都封装在业务服务层，优选的，以WCF服务的方式对外提供业务服务，WCF服务具有高内聚、低耦合的特点；因而能够有效提高系统运行效率；

S13.根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；所述数据读取数据库中预先存储有供读取的数据；具体的，根据所述业务逻辑调用请求调取相应的业务逻辑，并在执行所述业务逻辑后；生成具体如何对数据进行读取的数据读取指令；优选的，可以进行开放搜索和表存储相应的操作；

S14.根据所述数据读取指令读取所述数据读取数据库中的相应数据；该步骤主要是对所述数据读取数据库中的非原始数据(数据库或者文本文件等存放数据的形式)进行操作，而不是指原始数据，也就是说，是对数据库的操作，而不是数据；优选的，使用ADO.NETEF和SqlClient两种方式进行数据访问，满足不同场景下对数据访问的要求。

S15.将所述相应数据返回给接收所述数据访问请求的一端。

在一些实施例中，如前述的基于分布式架构的数据查询方法，在所述接收数据访问请求之后，还包括：

将所述数据访问请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器。具体的，可以通过负载均衡器实现上述功能。采用该设置，可以使各个网站服务器收到的访问量及负载压力基本一致，能够有效防止某个网站服务器承担过多访问及负载压力，以及某些网站服务器处理性能的浪费。整体提高系统运行效率及稳定性。

在一些实施例中，如前述的基于分布式架构的数据查询方法，在所述根据所述数据访问请求生成相应的访问业务逻辑调用请求之后，还包括：

将所述访问业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述访问业务逻辑的服务器。具体的，可以通过负载均衡器实现上述功能。采用该设置，可以使各个业务服务器收到的请求量及负载压力基本一致，能够有效防止某个业务服务器承担过多请求及负载压力，以及某些业务服务器处理性能的浪费。整体提高系统运行效率及稳定性。

在一些实施例中，如前述的基于分布式架构的数据查询方法，还包括：

预先设置数据读取数据库，所述数据读取数据库只响应数据的读取访问操作。优选的，所述数据读取数据库使用MySql进行数据持久化，并进行读写分离，能够有效提高多用户访问时的性能。

如图2所示，为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式架构的数据存储方法，包括：

S21.接收数据写入请求及写入数据；

S22.根据所述数据写入请求生成相应的存储业务逻辑调用请求；

S23.根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；所述数据写入数据库用于存储所述写入数据；

S24.根据所述数据写入指令在所述数据写入数据库中写入所述写入数据。

在一些实施例中，如前述的基于分布式架构的数据查询方法，在所述接收数据写入请求及写入数据之后，还包括：

将所述数据存储请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器。

在一些实施例中，如前述的基于分布式架构的数据查询方法，在所述根据所述数据写入请求生成相应的存储业务逻辑调用请求之后，还包括：

将所述存储业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述存储业务逻辑的服务器。

在一些实施例中，如前述的基于分布式架构的数据查询方法，还包括：

预先设置数据写入数据库，所述数据写入数据库只响应数据的写入操作。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了实现上述目的，根据本申请的另一方面，如图3及图4所示，提供了一种基于分布式架构的数据查询系统，包括：

网站服务器1，用于接收数据访问请求，并根据所述数据访问请求生成相应的访问业务逻辑调用请求；优选的，所述网站服务器采用主流的HTML5、JQuery、CSS3、Bootstrap等前端展示技术，响应式布局，兼容多种浏览器。

业务服务器2，用于根据所述数据访问请求生成相应的访问业务逻辑调用请求；优选的，所有业务逻辑都封装在业务服务器中，以WCF服务的方式对外提供业务服务，具有高内聚、低耦合的特点。

数据访问服务器3，用于根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；并根据所述数据读取指令读取所述数据读取数据库中的相应数据；所述数据读取数据库中预先存储有供读取的数据；所述数据访问服务器，在系统中承担数据访问层的功能，其功能主要是负责数据库的访问，可以访问数据库系统、二进制文件、文本文档或是XML文档。用于实现对数据表的Select，Insert，Update，Delete的操作。如果要加入ORM的元素，那么就会包括对象和数据表之间的mapping，以及对象实体的持久化。

数据读取服务器4，用于预先存储供所述数据访问服务器进行数据读取的所述数据读取数据库；优选的，所述数据读取服务器中的数据使用MySql进行数据持久化，进行读写分离，提高多用户访问时的性能；且在该实施例中只具有数据读取功能。

所述网站服务器1、业务服务器2以及数据读取服务器4采用分布式部署架构，且依次通信连接。

为了实现上述目的，根据本申请的另一方面，如图3及图5所示，提供了一种基于分布式架构的数据存储系统，包括：

网站服务器1，用于接收数据写入请求及写入数据，并根据所述数据写入请求生成相应的存储业务逻辑调用请求；

业务服务器2，用于根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；

数据访问服务器3，用于根据所述数据写入指令在所述数据写入数据库中写入所述写入数据；所述数据写入数据库用于存储所述写入数据；

数据写入服务器5，用于提供存储空间供存储所述写入数据；优选的，所述数据读取服务器中的数据使用MySql进行数据持久化，进行读写分离，提高多用户访问时的性能；且在该实施例中只具有数据写入功能。

所述网站服务器1、业务服务器2以及数据写入服务器采用分布式部署架构，且依次通信连接。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于分布式架构的数据查询方法，其特征在于，包括：

接收数据访问请求；

根据所述数据访问请求生成相应的访问业务逻辑调用请求；

根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；所述数据读取数据库中预先存储有供读取的数据；

根据所述数据读取指令读取所述数据读取数据库中的相应数据；

将所述相应数据返回给接收所述数据访问请求的一端；

在所述接收数据访问请求之后，还包括：

将所述数据访问请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器；

在所述根据所述数据访问请求生成相应的访问业务逻辑调用请求之后，还包括：

将所述访问业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述访问业务逻辑的服务器；

还包括：

预先设置数据读取数据库，所述数据读取数据库只响应数据的读取访问操作。

2.一种基于分布式架构的数据存储方法，其特征在于，包括：

接收数据写入请求及写入数据；

根据所述数据写入请求生成相应的存储业务逻辑调用请求；

根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；所述数据写入数据库用于存储所述写入数据；

根据所述数据写入指令在所述数据写入数据库中写入所述写入数据；

在所述接收数据写入请求及写入数据之后，还包括：

将所述数据存储请求根据各个网站服务器的负载进行分配，用于平衡各个网站服务器的负载；所述网站服务器为进行前端展示，并响应终端访问的服务器；

在所述根据所述数据写入请求生成相应的存储业务逻辑调用请求之后，还包括：

将所述存储业务逻辑调用请求根据各个业务服务器的负载进行分配，用于平衡各个业务服务器的负载；所述业务服务器为封装有所述存储业务逻辑的服务器；

还包括：

预先设置数据写入数据库，所述数据写入数据库只响应数据的写入操作。

3.一种基于分布式架构的数据查询系统，其特征在于，包括：

网站服务器，用于接收数据访问请求，并根据所述数据访问请求生成相应的访问业务逻辑调用请求；

业务服务器，用于根据所述数据访问请求生成相应的访问业务逻辑调用请求；

数据访问服务器，用于根据所述访问业务逻辑调用请求生成对数据读取数据库进行读取的数据读取指令；并根据所述数据读取指令读取所述数据读取数据库中的相应数据；所述数据读取数据库中预先存储有供读取的数据；

数据读取服务器，用于预先存储供所述数据访问服务器进行数据读取的所述数据读取数据库；

所述网站服务器、业务服务器以及数据读取服务器采用分布式部署架构，且依次通信连接。

4.一种基于分布式架构的数据存储系统，其特征在于，包括：

网站服务器，用于接收数据写入请求及写入数据，并根据所述数据写入请求生成相应的存储业务逻辑调用请求；

业务服务器，用于根据所述存储业务逻辑调用请求生成对数据写入数据库进行写入的数据写入指令；

数据访问服务器，用于根据所述数据写入指令在所述数据写入数据库中写入所述写入数据；所述数据写入数据库用于存储所述写入数据；

数据写入服务器，用于提供存储空间供存储所述写入数据；

所述网站服务器、业务服务器以及数据写入服务器采用分布式部署架构，且依次通信连接。

Images