CN109284276B - 一种基于大数据架构的数据库加速方法 - Google Patents

Abstract

本发明公开了一种基于大数据架构的数据库加速方法，首先参考原有业务系统数据库信息，对nana数据库代理进行相应参数配置；然后修改原有业务系统的数据库连接，将原有数据库的连接信息替换为nana数据库代理连接信息；完成数据库信息替换后，nana数据库代理层将根据业务系统推送过来的数据库操作，将增、删、改操作代理到原有业务数据库系统，保障事务正确，而将查询操作代理到nana数据库，提升性能；用户也可以对代理进行干涉，只将指定的查询代理到nana平台，本发明在不修改现有业务系统的基础上，进修改数据库配置，就可以让现有业务系统迁移到大数据平台，并保证原有系统的业务数据事务一致性。

Description

一种基于大数据架构的数据库加速方法

技术领域

本发明属于大数据技术领域，具体涉及一种基于大数据架构的数据库加速方法。

背景技术

近几年，随着数据量的不断增加，部分基于传统数据库架构的系统，在分析查询上已经非常慢了。同时，基于大数据架构的方案也越来越成熟。

对于已有的基于数据库架构的信息化系统，想改造成大数据架构成本非常高。

基于大数据架构的数据库加速方法,正是基于此背景而来，它采用成熟的大数据平台架构，让已有的信息化系统，在不改变现有的业务系统逻辑的前提下，通过简单的改造即可在需要的情况下，使用上大数据平台的性能。

发明内容

本发明的目的是提供一种基于大数据架构的数据库加速方法，解决了现有技术中存在的传统数据库架构系统运行速度慢的问题。

本发明所采用的技术方案是，一种基于大数据架构的数据库加速方法，具体按照以下步骤实施：

步骤1、安装nana产品包，创建nana数据库；

步骤2、配置nana数据库代理信息，将nana数据库与原有数据库进行配置连接；

步骤3、配置数据库同步。

本发明的特点还在于，

步骤1中nana是一款基于开源大数据平台改造而成的数据库加速产品，它采用大数据技术解决数据库查询、分析慢的场景，nana包含一层数据库代理层，它代理业务系统的数据库连接，业务系统将传统的数据库连接改为 nana的数据库代理层连接，代理层通过辨识业务系统送过来的sql类型，分配给业务数据库或nana集群处理，nana集群是一个分面式系统，主要负责存储及分析数据，包括存储及计算模块，存储模块主要负责把数据分块，之后按块存放到多台机器上，同时为每个块提供备份，以提高数据的容灾力及吞吐率，分块是把数据横向的截断，默认是100W行为一块，分块之后，每块数据要存储到指定的节点硬盘上，为了节省空间、节省写入时间、加快扫描速度，nana使用列式存储，计算模块主要负责把分块存储之后的数据，按照指定的要求进行统计、分析，某个计算结点在对某个块计算时，会优先使用本地的块备份，如果没有，使用本机架的块备份，否则使用其它机架的块备份。以尽可能的减少数据移动导致的开销，计算结点在对块进行查询、分析的时候，按页进行查询，以尽量减少数据的读取，增加速度对于数据库的增删改，nana代理层直接将此请求转到原有的数据库，以确保事务的正确性，对于查询请求，nana代理层将此请求代理到大数据平台，以提升性能， nana不需要用户修改业务代码逻辑来满足大数据平台的要求，只需要简单的配置即可完成。

步骤1具体按照以下步骤实施：

步骤1.1、首先安装mysql，并创建nana数据库；

步骤1.2、将nana安装包放到指定目录下进行安装。

步骤2具体按照以下步骤实施：

步骤2.1、参考原有业务系统数据库信息，对nana数据库代理进行相应参数配置；

步骤2.2、修改原有业务系统的数据库连接，将原有数据库的连接信息替换为nana数据库代理连接信息；

步骤2.3、完成数据库信息替换后，nana数据库代理层将根据业务系统推送过来的数据库操作，将增、删、改操作代理到原有业务数据库系统，保障事务正确，而将查询操作代理到nana数据库，提升性能；

步骤2.4、用户也可以对代理进行干涉，只将指定的查询代理到nana平台。

步骤3具体按照以下步骤实施：

当原有业务系统数据发生变化时，会将变化的数据信息同步到nana数据库中。

当原有业务系统数据发生变化时，将变化的数据信息同步到nana数据库中有三种方式：

方式A、定时同步：即nana定时从业务数据库中抽取新数据到集群中，此种方式适用于只增不改、且实时性要求不高的场景，即容忍分钟级延迟；

方式B、触发器同步：即业务数据库中一旦有数据改变，即会把相关的信息写入“中间表”，nana定时从“中间表”中同步数据，适用于实时性要求不高的场景，即容忍分钟级延迟，支持增、删、改功能；

方式C、流日志同步：利用数据库的归档日志进行同步，适用于实时性要求高的场景，支持增、删、改功能。

本发明的有益效果是,一种基于大数据架构的数据库加速方法，在不修改现有业务系统的基础上，进修改数据库配置，就可以让现有业务系统迁移到大数据平台，并保证原有系统的业务数据事务一致性。

附图说明

图1是本发明一种基于大数据架构的数据库加速方法中nana集群示意图；

图2是本发明一种基于大数据架构的数据库加速方法中nana集群存储示意图；

图3是本发明一种基于大数据架构的数据库加速方法中nana集群存储- 分块示意图；

图4是本发明一种基于大数据架构的数据库加速方法中nana集群-存储- 结构示意图；

图5是本发明一种基于大数据架构的数据库加速方法中nana集群-计算示意图；

图6是本发明一种基于大数据架构的数据库加速方法nana原理示意图；

图7是本发明一种基于大数据架构的数据库加速方法中定时同步示意图；

图8是本发明一种基于大数据架构的数据库加速方法中触发器同步示意图；

图9是本发明一种基于大数据架构的数据库加速方法中流日志同步示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于大数据架构的数据库加速方法，具体按照以下步骤实施：

步骤1、安装nana产品包，创建nana数据库，如图1～图2所示，nana 是一款基于开源大数据平台改造而成的数据库加速产品，它采用大数据技术解决数据库查询、分析慢的场景，nana包含一层数据库代理层，它代理业务系统的数据库连接，业务系统将传统的数据库连接改为nana的数据库代理层连接，代理层通过辨识业务系统送过来的sql类型，分配给业务数据库或 nana集群处理，如图3～图5所示，nana集群是一个分面式系统，主要负责存储及分析数据，包括存储及计算模块，存储模块主要负责把数据分块，之后按块存放到多台机器上，同时为每个块提供备份，以提高数据的容灾力及吞吐率，分块是把数据横向的截断，默认是100W行为一块，分块之后，每块数据要存储到指定的节点硬盘上，为了节省空间、节省写入时间、加快扫描速度，nana使用列式存储，计算模块主要负责把分块存储之后的数据，按照指定的要求进行统计、分析，某个计算结点在对某个块计算时，会优先使用本地的块备份，如果没有，使用本机架的块备份，否则使用其它机架的块备份。以尽可能的减少数据移动导致的开销，计算结点在对块进行查询、分析的时候，按页进行查询，以尽量减少数据的读取，增加速度，如图6所示，对于数据库的增删改，nana代理层直接将此请求转到原有的数据库，以确保事务的正确性，对于查询请求，nana代理层将此请求代理到大数据平台，以提升性能，nana不需要用户修改业务代码逻辑来满足大数据平台的要求，只需要简单的配置即可完成；

步骤1具体按照以下步骤实施：

步骤1.1、首先安装mysql，并创建nana数据库；

步骤1.2、将nana安装包放到指定目录下进行安装；

步骤2、配置nana数据库代理信息，将nana数据库与原有数据库进行配置连接，具体按照以下步骤实施：

步骤2.1、参考原有业务系统数据库信息，对nana数据库代理进行相应参数配置；

步骤2.2、修改原有业务系统的数据库连接，将原有数据库的连接信息替换为nana数据库代理连接信息；

步骤2.3、完成数据库信息替换后，nana数据库代理层将根据业务系统推送过来的数据库操作，将增、删、改操作代理到原有业务数据库系统，保障事务正确，而将查询操作代理到nana数据库，提升性能；

步骤2.4、用户也可以对代理进行干涉，只将指定的查询代理到nana平台；

步骤3、配置数据库同步，具体按照以下步骤实施：

当原有业务系统数据发生变化时，会将变化的数据信息同步到nana数据库中，有三种方式，如图7～图9：

方式A、定时同步：即nana定时从业务数据库中抽取新数据到集群中，此种方式适用于只增不改、且实时性要求不高的场景，即容忍分钟级延迟；

方式B、触发器同步：即业务数据库中一旦有数据改变，即会把相关的信息写入“中间表”，nana定时从“中间表”中同步数据，适用于实时性要求不高的场景，即容忍分钟级延迟，支持增、删、改功能；

方式C、流日志同步：利用数据库的归档日志进行同步，适用于实时性要求高的场景，支持增、删、改功能。

Claims (4)

1.一种基于大数据架构的数据库加速方法，其特征在于，具体按照以下步骤实施：

步骤1、安装nana产品包，创建nana数据库；

所述步骤1中nana是一款基于开源大数据平台改造而成的数据库加速产品，nana采用大数据技术解决数据库查询、分析慢的场景，nana包含一层数据库代理层，它代理业务系统的数据库连接，业务系统将传统的数据库连接改为nana的数据库代理层连接，代理层通过辨识业务系统送过来的sql类型，分配给业务数据库或nana集群处理，nana集群负责存储及分析数据，包括存储及计算模块，存储模块负责把数据分块，之后按块存放到多台机器上，同时为每个块提供备份，以提高数据的容灾力及吞吐率，分块是把数据横向的截断，默认是100W行为一块，分块之后，每块数据要存储到指定的节点硬盘上，为了节省空间、节省写入时间、加快扫描速度，nana使用列式存储，计算模块负责把分块存储之后的数据，按照指定的要求进行统计、分析，某个计算结点在对某个块计算时，会优先使用本地的块备份，如果没有，使用本机架的块备份，否则使用其它机架的块备份，以减少数据移动导致的开销，计算结点在对块进行查询、分析的时候，按页进行查询，以减少数据的读取，增加速度，对于数据库的增、删、改，nana代理层直接将此请求转到原有的数据库，以确保事务的正确性，对于查询请求，nana代理层将此请求代理到大数据平台，以提升性能，nana不需要用户修改业务代码逻辑来满足大数据平台的要求，只需要简单的配置即完成；

所述步骤1具体按照以下步骤实施：

步骤1.1、首先安装mysql，并创建nana数据库；

步骤1.2、将nana安装包放到指定目录下进行安装；

步骤2、配置nana数据库代理信息，将nana数据库与原有数据库进行配置连接；

步骤3、配置数据库同步。

2.根据权利要求1所述的一种基于大数据架构的数据库加速方法，其特征在于，所述步骤2具体按照以下步骤实施：

步骤2.1、参考原有业务系统数据库信息，对nana数据库代理进行相应参数配置；

步骤2.2、修改原有业务系统的数据库连接，将原有数据库的连接信息替换为nana数据库代理连接信息；

步骤2.3、完成数据库信息替换后，nana数据库代理层将根据业务系统推送过来的数据库操作，将增、删、改操作代理到原有业务数据库系统，保障事务正确，而将查询操作代理到nana数据库，提升性能；

步骤2.4、用户对代理进行干涉，只将指定的查询代理到nana平台。

3.根据权利要求2所述的一种基于大数据架构的数据库加速方法，其特征在于，所述步骤3具体按照以下步骤实施：

当原有业务系统数据发生变化时，会将变化的数据信息同步到nana数据库中。

4.根据权利要求3所述的一种基于大数据架构的数据库加速方法，其特征在于，所述当原有业务系统数据发生变化时，将变化的数据信息同步到nana数据库中有三种方式：

方式A、定时同步：即nana定时从业务数据库中抽取新数据到集群中，此种方式适用于只增不改、且实时性要求不高的场景，即容忍分钟级延迟；

方式B、触发器同步：即业务数据库中一旦有数据改变，即会把相关的信息写入中间表，nana定时从中间表中同步数据，适用于实时性要求不高的场景，即容忍分钟级延迟，支持增、删、改功能；

方式C、流日志同步：利用数据库的归档日志进行同步，适用于实时性要求高的场景，支持增、删、改功能。

Images