CN110019312B - 读写数据分离调度方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了读写数据分离调度方法、装置、设备及介质。其中，该方法包括：收集SQL信息和其对应的服务信息；对SQL信息进行语法解析为提示HINT信息；根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池；调用SQL资源池的信息，对提示HINT信息加和运算，根据运算结果生成服务的读写类型；根据服务的读写类型查询与读写类型对应的数据源连接标签；并发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度。本发明能够实现应用和数据的松耦合，灵活的实现系统读写的分离，解决了读写分离不彻底和控制不灵活的问题。

Description

读写数据分离调度方法、装置、设备及介质

技术领域

本发明涉及电信行业业务支撑的整体架构技术领域，尤其涉及一种读写数据分离调度方法、读写数据分离调度装置、计算机设备及计算机可读介质。

背景技术

目前业务支撑系统变得越来越大，底层数据的读写次数也越来越频繁，过多的读写给系统I/O带来了巨大的开销，尤其过多的跨节点读写操作对于RAC模式的数据库架构会带来大量的global buffer cache，这对数据库的运行带来了巨大的挑战。

为了解决高I/O带来的系统瓶颈，目前首先是不断提升硬件的性能外，但是该方案治标不治本，其次就是应用架构优化，由于目前支撑系统(CRM/BOSS)中读I/O占了总体I/O量的60％以上，如果能够将这些读I/O操作从生产系统分离，那么将会极大的降低生产系统的I/O压力,提升系统的处理能力，所以提出了采用读写分类应用架构，目前在支撑系统中的读写分离(方法)架构有如下几种：

第一种：将应用系统中的报表，稽核等完全读类的业务进行梳理，然后采用数据复制技术或者应用传输，将这些业务所需的数据复制到独立数据库，然后通过应用配置，将这些业务单独连接到独立数据库，实现读写分离。这种模式对业务的实时性要求较低，允许数据复制有一定的延迟。

第二种：将应用系统中的报表，稽核等完全只读类的业务进行梳理，通过配置将此类业务的数据库源连接到现有的容灾系统数据库或者应急系统数据库，实现一定程度的只读业务分离。

如图1所示的现有读写分离结构示意图，现有技术方案存在的问题：

开发受限：由于系统服务需要单独的配置和指向不同的数据库，应用梳理比较困难，而且这种方式在应用架构上需要单独考虑开发某些功能(如采用和生产不同的表)，造成了应用系统架构复杂，很多的代码重复开发。

使用受限：在生产系统出现应急或者灾备切换后，给该部分只读类业务系统独立使用的数据源将会受到影响(使用的应急数据库已经承担了生产在或者无法复制数据)，从而导致这些拆分的只读应用功能不可用或者启用后导致灾备性系统能急剧下降。

范围受限：该模式只能考虑和日常生产可以严格分离的某些业务种类，从而造成了读写分类的业务类型有限，不利于进行全量应用控制，无法从根本上解决读写共用造成的数据库GLOBAL BUFFER CAChe的问题。

综上所述，提出一种基于HINT方式实现的支撑系统应用层读写分离的数据代理层技术方案成为亟待解决的技术问题。

发明内容

本发明实施例提供了读写数据分离调度方法、读写数据分离调度装置、计算机设备及计算机可读存储介质。

第一方面，本发明实施例提供了一种读写数据分离调度方法，方法包括：收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；对SQL信息进行语法解析，将SQL信息转化为提示HINT信息；根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池；调用SQL资源池的信息，根据服务名称对提示HINT信息加和运算，根据运算结果生成服务的读写类型；根据服务的读写类型从连接标签信息库中查询与读写类型对应的数据源连接标签；将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度。

第二方面，本发明实施例提供了一种读写数据分离调度装置，装置包括：收集模块，用于收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；解析模块，用于对SQL信息进行语法解析，将SQL信息转化为提示HINT信息；注册模块，用于根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池；运算单元，用于调用SQL资源池的信息，根据服务名称对提示HINT信息加和运算，根据运算结果生成服务的读写类型；查询单元，用于根据服务的读写类型从连接标签信息库中查询与读写类型对应的数据源连接标签；发送单元，用于将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度。

第三方面，本发明实施例提供了一种计算机设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的读写数据分离调度方法、装置、设备及介质，采用了数据库+应用代码双层收集SQL的方法收集应用服务器和数据库服务器的SQL信息和其对应的服务信息，弥补了传统模式下手工收集SQL或者只能从数据库中抓取SQL的不足；对SQL信息进行语法解析，将SQL信息转化为提示HINT信息，基于提示HINT信息进行服务的读写分离调度，实现了读写数据分离的控制与调度、应用和数据的松耦合以及灵活的实现系统读写的分离，解决了读写分离不彻底和控制不灵活的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了当前读写数据分离调度架构的示意图；

图2示出了本发明一个实施例提供的读写数据分离调度方法的流程示意图；

图3示出了本发明另一个实施例提供的读写数据分离调度装置的流程示意图；

图4示出了本发明一个具体实施例提供的读写数据分离调度系统架构的示意图；

图5示出了本发明一个具体实施例提供的数据代理层40工作流程示意图；

图6示出了本发明一个具体实施例提供的SQL管理流程示意图；

图7示出了本发明一个具体实施例提供的服务(program)管理流程示意图；

图8示出了本发明实施例提供的计算机设备的硬件结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明第一方面的实施例提供了一种读写数据分离调度方法，图2示出了本发明一个实施例提供的读写数据分离调度方法的流程示意图。该方法包括：

步骤202，收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；

步骤204，对SQL信息进行语法解析，将SQL信息转化为提示HINT信息；

步骤206，根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池；

步骤208，调用SQL资源池的信息，根据服务名称对提示HINT信息加和运算，根据运算结果生成服务的读写类型；

步骤210，根据服务的读写类型从连接标签信息库中查询与读写类型对应的数据源连接标签；

步骤212，将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度。

本发明实施例提供的读写数据分离调度方法，采用了数据库+应用代码双层收集SQL的方法收集应用服务器和数据库服务器的SQL信息和其对应的服务信息，弥补了传统模式下手工收集SQL或者只能从数据库中抓取SQL的不足；对SQL信息进行语法解析，将SQL信息转化为提示HINT信息，基于提示HINT信息进行服务的读写分离调度，实现了读写数据分离的控制与调度、应用和数据的松耦合以及灵活的实现系统读写的分离，解决了读写分离不彻底和控制不灵活的问题。

在一个示例中，在步骤202收集应用服务器和数据库服务器的SQL信息和其对应的服务信息之前，还包括：将数据库代理部署在应用服务器和数据库服务器上；收集应用服务器和数据库服务器的SQL信息和其对应的服务信息具体为：应用数据库代理从数据库服务器和应用服务器的应用代码中收集SQL信息和服务信息。

在该示例中，通过数据库代理部署在应用服务器和数据库服务器上，应用数据库代理的设计，屏蔽了应用程序直接访问数据库的弊端，实现了应用和数据的松耦合；采用了数据库+应用代码双层收集SQL的方法，弥补了传统模式下手工收集SQL或者只能从数据库中抓取SQL的不足。

在一个示例中，步骤204对SQL信息进行语法解析，将SQL信息转化为提示HINT信息，包括：解析SQL信息的语句关键字；根据语句关键字确定SQL信息的语句类型；若语句类型为DML语句，则将SQL信息的HINT信息表示为只读标识等于1；若语句类型为DQL语句，则将SQL信息的HINT信息表示为只读标识等于0。

在该示例中，通过SQL信息的语法解析，将其转化了Read HINT的SQL语法，为实现自动控制和分配读写应用的数据指向，以及系统读写的分离提供基础。

在一个示例中，预设结构信息包括：服务名称、功能、过程、对象归属、对象名称、SQL内容、SQL的只读标识、主数据库。

在该示例中，通过根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池，完成SQL信息注册过程，如表1示出了一个具体示例的SQL资源池信息表结构，通过SQL信息注册至SPL资源池，以便后续根据SQL资源注册信息实时的进行扫描处理，完成数据读写分离调度。

表1

其中，Base_db指该dgagent部署的数据库或者应用服务器指向的主数据库，在某些系统中会存在多个业务数据库，但是同类服务只能隶属于同一个主数据库(可读写)或者其备库。处理该过程的模块中存放的为与生产相关的所有元数据对象信息，如果该模块中未注册的对象，则认为该服务为非法服务，服务信息无法进行入库，后续流程均无效。

在一个示例中，步骤208调用SQL资源池的信息，根据服务名称对提示HINT信息加和运算，根据运算结果生成服务的读写类型，包括：扫描SQL资源池的信息，将同一服务名称的信息划分为一组；对每组信息内所有的SQL信息的只读标识进行加和运算；若任一组信息的只读标识的加和结果等于0，则任一组信息对应的服务为只读类服务；若任一组信息的只读标识的加和结果大于0，则任一组信息对应的服务为读写类服务。

在该示例中，通过上述过程，进行服务管理，扫描服务会根据SQL资源池注册信息的变化情况实时的进行扫描处理。在一个具体示例中，该过程包括：

第一步：program_scan扫描SQL资源池的变动情况或者对资源池进行初始化扫描；

第二步：对获取的信息以服务名称(program)为单位，对其所有的SQL的read_flag进程sum(加和)运算；

第三步：对运算后的服务信息进行写入服务状态调度表；

如果sum(read_flag)＝0，则该服务为只读类服务；

如果sum(read_flag)>0，则该服务为读写类服务。

生成服务状态调度表结构如表2所示：

表2(服务状态调度信息表)

Program	Srv_Read_flag	Base_db
			RcustQry	0	crm
RcustCfm	5	crm
			……	……

其中，Srv_Read_flag＝0表示为只读类服务，大于0为读写类服务。

在一个示例中，在步骤202收集应用服务器和数据库服务器的SQL信息和其对应的服务信息之前，还包括：接收数据源接入生产系统请求；确定数据源的读写类型；若数据源的读写类型为读写数据源，则将数据源确定为主数据源；若数据源的读写类型为只读数据源，则将数据源确定为备数据源；根据数据源的读写类型生成数据源配置信息表，以完成数据库注册。

在该示例中，每个新的数据源接入生产系统后，都需要注册，在数据库注册过程中，备用数据源信息不能为空(如果没有备用只读数据源则默认指定为自己)，同时根据系统架构特点和读写分离的特征，每个数据源都有自身的读写特点，其中读写数据库为主数据源，数据可读写并自动同步到只读数据库，只读数据库为备数据源，数据为只读状态，不能进行数据修改。如表3示出了一个具体示例的数据源配置信息表：

表3

其中，数据源类型说明：0代表只读数据库，1代表读写数据库。

在一个示例中，在根据数据源的读写类型生成数据源配置信息表，以完成数据库注册之后，还包括：根据数据源配置信息表为主数据源和备数据源配置预设数量的数据源连接标签，生成连接标签信息库。

在该示例中，新的应用服务器入网后，根据业务需求从标签库中选择对应的数据库连接标签，读取该标签信息自动同步到应用服务器上进行注册，创建对应的jdbc连接池。通过管理全量的数据库连接标签信息库，实现为应用服务器提供数据库连接标签，数据库信息注册完成后，自动生成数据库连接信息并写入连接标签信息库，在一个具体示例中，要求每对主备数据源必须至少生成三个连接标签，生成如表4所示的数据源连接标签信息配置表。

表4

其中，rw为读写连接标签；r为只读连接标签，e为应急模式连接标签，标签状态0代表有效，1代表无效。

在一个示例中，在步骤212将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度之后，还包括：当接收到应用服务器发送的数据调度失败信息时，根据调度失败信息从连接标签信息库中为应用服务器分配新的数据源连接标签；将新的数据源连接标签发送至应用服务器，使应用服务器根据新的数据源连接标签与对应的数据库建立连接，以进行数据调度。

在该示例中，在服务正常模式下，在分发完数据库标签后，建立长连接，不需要每次访问都重新连接数据库，在服务重启是需要重复上述流程重新建立连接。在服务出现异常时(只读服务失败)后，按照流程进行处理，实现数据库标签的正确分发，以及读写数据的正确调度，可以在数据调度的过程中进行监控与校正。

在一个示例中，在当接收到应用服务器发送的数据调度失败信息时，根据调度失败信息从连接标签信息库中为应用服务器分配新的数据源连接标签的同时，还包括：根据调度失败信息重新解析SQL信息；根据解析结果更新服务的读写类型，以在应用服务器重启时，根据更新后的读写类型与对应的数据库建立连接。

在该示例中，通过重新对异常服务进行解析和入库，实现在下次服务重启时自动的进行路由分发或者通过数据库代理层手工进行路由连接，实现了自动连接正确数据库，实现自动控制和分配读写应用的数据指向，灵活的实现系统读写的分离。

在一个示例中，数据源连接标签包括：读写连接标签、只读连接标签、应急模式连接标签。

在该示例中，通过不同的连接标签进行对应数据库的连接，实现自动连接对应的数据库，实现读写数据的自动分离调度。

在一个示例中，步骤212将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度，包括：若数据源连接标签为读写连接标签，则应用服务器根据读写连接标签与主数据库建立连接，进行数据读写调度；若数据源连接标签为只读连接标签，则应用服务器根据读写连接标签与备数据库建立连接，进行数据只读调度。

在该示例中，读写连接标签对应主数据，连接主数据库，可不但可以进行数据的读操作，还可修改数据进行写操作；只读连接标签对应备数据库，连接备数据库，只能进行数据读操作，不能对数据进行修改。

本发明第二方面的实施例提供了一种读写数据分离调度装置300，图3示出了本发明一个实施例提供的读写数据分离调度装置300的示意框图。如图3所示，读写数据分离调度装置300包括：收集模块302、解析模块304、注册模块306、运算模块308、查询模块310、发送模块312。

本发明实施例提供的读写数据分离调度装置300中，收集模块302，用于收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；解析模块304，用于对SQL信息进行语法解析，将SQL信息转化为提示HINT信息；注册模块306，用于根据提示HINT信息将SQL信息和对应的服务信息按照预设结构信息注册至SQL资源池；运算模块308，用于调用SQL资源池的信息，根据服务名称对提示HINT信息加和运算，根据运算结果生成服务的读写类型；查询模块310，用于根据服务的读写类型从连接标签信息库中查询与读写类型对应的数据源连接标签；发送模块312，用于将数据源连接标签发送至应用服务器，使应用服务器根据数据源连接标签连接对应的数据库，以进行读写数据的分离调度。该读写数据分离调度装置300采用了数据库+应用代码双层收集SQL的方法收集应用服务器和数据库服务器的SQL信息和其对应的服务信息，弥补了传统模式下手工收集SQL或者只能从数据库中抓取SQL的不足；对SQL信息进行语法解析，将SQL信息转化为提示HINT信息，基于提示HINT信息进行服务的读写分离调度，实现了读写数据分离的控制与调度、应用和数据的松耦合以及灵活的实现系统读写的分离，解决了读写分离不彻底和控制不灵活的问题。

在一个示例中，读写数据分离调度装置300还包括部署模块314。部署模块314用于将数据库代理部署在应用服务器和数据库服务器上。收集模块302具体用于应用数据库代理从数据库服务器和应用服务器的应用代码中收集SQL信息和服务信息。

在一个示例中，解析模块304具体用于解析SQL信息的语句关键字；根据语句关键字确定SQL信息的语句类型；若语句类型为DML语句，则将SQL信息的HINT信息表示为只读标识等于1；若语句类型为DQL语句，则将SQL信息的HINT信息表示为只读标识等于0。

在一个示例中，预设结构信息包括：服务名称、功能、过程、对象归属、对象名称、SQL内容、SQL的只读标识、主数据库。

在一个示例中，运算模块308具体用于扫描SQL资源池的信息，将同一服务名称的信息划分为一组；对每组信息内所有的SQL信息的只读标识进行加和运算；若任一组信息的只读标识的加和结果等于0，则任一组信息对应的服务为只读类服务；若任一组信息的只读标识的加和结果等大于0，则任一组信息对应的服务为读写类服务。

在一个示例中，读写数据分离调度装置300还包括数据源管理模块316。数据源管理模块316用于接收数据源接入生产系统请求；确定数据源的读写类型；若数据源的读写类型为读写数据源，则将数据源确定为主数据源；若数据源的读写类型为只读数据源，则将数据源确定为备数据源；根据数据源的读写类型生成数据源配置信息表，以完成数据库注册。

在一个示例中，读写数据分离调度装置300还包括配置模块318。配置模块318用于根据数据源配置信息表为主数据源和备数据源配置预设数量的数据源连接标签，生成连接标签信息库。

在一个示例中，读写数据分离调度装置300还包括异常处理管理模块320。处理管理模块320用于当接收到应用服务器发送的数据调度失败信息时，根据调度失败信息从连接标签信息库中为应用服务器分配新的数据源连接标签；将新的数据源连接标签发送至应用服务器，使应用服务器根据新的数据源连接标签与对应的数据库建立连接，以进行数据调度。

在一个示例中，异常处理管理模块320还用于根据调度失败信息重新解析SQL信息；根据解析结果更新服务的读写类型，以在应用服务器重启时，根据更新后的读写类型与对应的数据库建立连接。

在一个示例中，数据源连接标签包括：读写连接标签、只读连接标签、应急模式连接标签。

在一个示例中，发送模块312具体用于若数据源连接标签为读写连接标签，则应用服务器根据读写连接标签与主数据库建立连接，进行数据读写调度；若数据源连接标签为只读连接标签，则应用服务器根据读写连接标签与备数据库建立连接，进行数据只读调度。

下面结合图4、图5、图6和图7说明本发明的一个具体实施例。

如图4所示的具体实施例的读写数据分离调度系统的架构，zookper集中控制模式的读写分离数据库代理层设计方案，其主要的目的是通过数据代理层40，实现服务的读写分离的控制与调度，数据库代理层调度中心基于zookeeper实现，zookeeper作为系统的协调器监控和管理系统资源，zookper有状态监控report和调度管理manager两个部分，report部署在数据库服务器、WebLogic应用服务器上，负责向zookeeper上报数据库实例的状态和应用服务器状态，监控主备库同步状态，manager根据数据库状态和应用服务器情况管理数据库代理层的工作任务。数据代理层40分为路由管理模块402和SQL及服务管理模块404两部分组成，通过其管理应用与数据库的交互，其交互的基本流程如图5所示。

在该具体实施例中，SQL及服务管理模块404是实现读写数据分离调度的核心部分，通过SQL语句管理及对象管理最终形成服务的读写状态，为读写分离提供基础依据。

其中，图6示出了SQL管理流程，该流程包括：

步骤602，从应用代码和数据库中采集SQL信息和及对应的服务名称：DBAgent部署在应用服务器端和数据库服务器端，用来收集数据库层和应用中相关的SQL信息rsqlinfo及对应的服务名称：

{"program":"0","count":"","service_name":,"insertcount":"","selectcount":"","sql_id":"33091","querycount":"","sql_text":"","updatecount":"","usable":"0","ver":"1.0"}

为了提升采集SQL的完整性，采用了数据库+应用代码双层收集SQL的方法，弥补了传统模式下手工收集SQL或者只能从数据库中抓取SQL的不足。

步骤604，将SQL信息上传至SQL语法管理器；

步骤606，SQL语法管理器对SQL语句进行解析，判断SQL信息是否属于DQL语句，是，则进入步骤608，否则进入步骤610；

步骤608，将SQL语句转化为read hint的SQL语法，将该语句的read_flag标志为0：Select phone_no from dbcrmaadm.users；自动转化为添加read hint的语句；Select/*read*/phone_no from dbcrmaadm.users；

步骤610，直接生成该语句的read_flag＝1；

步骤612，SQL信息注册：将信息收集完成后的SQL语句按照下列的格式注册到SQL资源池中，如果某个porgram中存在多个SQL语句，则重复步骤606到步骤608的过程，直到所有的sql信息注册完毕。

服务(program)管理流程，通过SQL管理流程收集完program和SQL并将其信息注册完成后，服务管理模块的扫描服务program_scan会根据SQL资源池注册信息的变化情况实时的进行扫描处理，其步骤如下：

第一步：program_scan扫描SQL资源池的变动情况或者对资源池进行初始化扫描；

第二步：对获取的信息以服务名称(program)为单位，对其所有的SQL的read_flag进程sum运算；

第三步：对运算后的服务信息进行写入服务状态调度表

如果sum(read_flag)＝0，则该服务为只读类服务；

如果sum(read_flag)>0，则该服务为读写类服务。

具体过程的流程如图7所示。

在该具体实施例中，路由管理模块402主要是通过路由控制代替原有的应用程序通过JDBC配置或者tns配置直接连接数据库模式，该模块会根据判定好的读写分离的规则并结合应用代码规则分发数据库连接标签，实现灵活的路由分发和读写分离控制。

数据库代理层40的读分离控制由路由管理模块402完成，路由管理模块402分为路由控制模块422和读写分离控制模块424两部分，路由控制模块422负责管理所有的数据库路由信息，读写分离控制模块424负责服务读写分离管理，读写分离控制模块424从服务状态表中读取服务的读写状态，然后传递给路由控制模块422，路由控制模块422根据读写分离控制模块424的信息读取获取数据库连接标签，自动提供读写分离的路由服务。

其中，路由控制模块422具有两个功能：

(1)数据源管理功能

数据源管理功能包括数据源注册功能和数据源分类功能，每个新的数据源接入生产系统后，都需要在路由控制模块422注册，在数据库注册过程中，备用数据源信息不能为空(如果没有备用只读数据源则默认指定为自己)，同时根据系统架构特点和读写分离的特征，每个数据源都有自身的读写特点，其中读写数据库为主数据源，数据可读写并自动同步到只读数据库，在该示例中采用的是dataguard技术进行同步，只读数据库为备数据源，数据为只读状态，不能进行数据修改。

(2)生成数据库连接标签

路由管理模块管理全量的数据库连接标签信息库，并为应用服务器提供数据库连接标签，数据库信息注册完成后，该模块会自动生成数据库连接信息并写入连接标签信息库，并要求每对主备数据源必须至少生成三个连接标签。

读写分离控制模块424正常工作流程如下：

第一步：业务请求通过负载均衡发送到数据代理层40，路由控制模块422接受该请求，并记录该需要访问的服务名称；

第二步：路由控制模块422将接收到的服务请求名称(program)传递给读写分离控制模块424；

第三步：读写分离控制模块424从服务状态调度表中读取该服务的srv_read_flag信息并将信息返回到路由控制模块422；

第四步：路由控制模块422根据srv_read_flag的结果进行路由分发；

第五步：如果srv_read_flag为0，则从连接标签信息库中找到对应的只读信息源数据库连接标签，否则从连接标签信息库中找到对应的数据源连接标签；

第六步：将获取的数据库连接标签返回给应用服务器；

第七步：应用服务器根据获取的标签建立数据库连接；

第八步：服务建立数据库连接信息；

第九步：结束。

在服务正常模式下，读写分离控制模块424和路由控制模块422分发完数据库标签后，建立长连接，不需要每次访问都重新连接数据库，在服务重启是需要重复上述流程重新建立连接。在服务出现异常时(只读服务失败)后，按照下列流程处理：

第一步：如果应用服务出现“ORA-16000:database open for read-only access”错误，则说明该事务是写事务，不再是只读型服务；

第二步：数据代理层40在接收到该反馈后，触发异常处理流程，并行进入第三步和第四步；

第三步：路由管理模块402重新分发数据库连接标签，并将原有的只读服务连接标签置为1(无效)，将该服务立即转移到主库上执行，并且在服务重启前不再更新该模式；

第四步：同时将该信息传递给读写分离控制模块424和SQL及服务管理模块404，重新对该服务进行解析和入库；

第五步：服务重新解析完成后在下次服务重启时自动进行路由分发或者通过数据代理层40手工进行路由连接。

该具体实施例弥补了现有系统中通过业务独立设计进行读写分离的不足；通过自动化的切换和管理方法，解决了原有读写分离不灵活的问题。

另外，结合图2描述的本发明实施例的读写数据分离调度方法可以由计算机设备来实现。图8示出了本发明实施例提供的计算机设备的硬件结构示意图。

计算机设备可以包括处理器801以及存储有计算机程序指令的存储器802。

具体地，上述处理器801可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在数据处理装置的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器802包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现上述实施例中的任意一种读写数据分离调度方法。

在一个示例中，计算机设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。

通信接口803，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线810包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的读写数据分离调度方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种读写数据分离调度方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种读写数据分离调度方法，其特征在于，所述方法包括：

收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；

对所述SQL信息进行语法解析，将所述SQL信息转化为提示HINT信息；

根据所述提示HINT信息将所述SQL信息和所述对应的服务信息按照预设结构信息注册至SQL资源池；

调用所述SQL资源池的信息，根据服务名称对所述提示HINT信息加和运算，根据运算结果生成服务的读写类型；

根据所述服务的读写类型从连接标签信息库中查询与所述读写类型对应的数据源连接标签；

将所述数据源连接标签发送至所述应用服务器，使所述应用服务器根据所述数据源连接标签连接对应的数据库，以进行读写数据的分离调度。

2.根据权利要求1所述的方法，其特征在于，在所述收集应用服务器和数据库服务器的SQL信息和其对应的服务信息之前，还包括：

将数据库代理部署在所述应用服务器和所述数据库服务器上；

所述收集应用服务器和数据库服务器的SQL信息和其对应的服务信息具体为：

应用所述数据库代理从所述数据库服务器和所述应用服务器的应用代码中收集所述SQL信息和所述服务信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述SQL信息进行语法解析，将所述SQL信息转化为提示HINT信息的步骤，包括：

解析所述SQL信息的语句关键字；

根据所述语句关键字确定所述SQL信息的语句类型；

若所述语句类型为DML语句，则将所述SQL信息的HINT信息表示为只读标识等于1；

若所述语句类型为DQL语句，则将所述SQL信息的HINT信息表示为只读标识等于0。

4.根据权利要求3所述的方法，其特征在于，

预设结构信息包括：服务名称、功能、过程、对象归属、对象名称、SQL内容、SQL的只读标识、主数据库。

5.根据权利要求4所述的方法，其特征在于，所述调用所述SQL资源池的信息，根据服务名称对所述提示HINT信息加和运算，根据运算结果生成服务的读写类型的步骤，包括：

扫描所述SQL资源池的信息，将同一服务名称的信息划分为一组；

对每组信息内所有的SQL信息的只读标识进行加和运算；

若任一组信息的所述只读标识的加和结果等于0，则所述任一组信息对应的服务为只读类服务；

若任一组信息的所述只读标识的加和结果大于0，则所述任一组信息对应的服务为读写类服务。

6.根据权利要求1所述的方法，其特征在于，在所述收集应用服务器和数据库服务器的SQL信息和其对应的服务信息之前，还包括：

接收数据源接入生产系统请求；

确定所述数据源的读写类型；

若所述数据源的读写类型为读写数据源，则将所述数据源确定为主数据源；

若所述数据源的读写类型为只读数据源，则将所述数据源确定为备数据源；

根据所述数据源的读写类型生成数据源配置信息表，以完成数据库注册。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述数据源的读写类型生成数据源配置信息表，以完成数据库注册之后，还包括：

根据所述数据源配置信息表为所述主数据源和所述备数据源配置预设数量的数据源连接标签，生成所述连接标签信息库。

8.根据权利要求1所述的方法，其特征在于，在所述将所述数据源连接标签发送至所述应用服务器，使所述应用服务器根据所述数据源连接标签连接对应的数据库，以进行读写数据的分离调度之后，还包括：

当接收到所述应用服务器发送的数据调度失败信息时，根据所述调度失败信息从所述连接标签信息库中为所述应用服务器分配新的数据源连接标签；

将所述新的数据源连接标签发送至所述应用服务器，使所述应用服务器根据所述新的数据源连接标签与对应的数据库建立连接，以进行数据调度。

9.根据权利要求8所述的方法，其特征在于，在所述当接收到所述应用服务器发送的数据调度失败信息时，根据所述调度失败信息从所述连接标签信息库中为所述应用服务器分配新的数据源连接标签的同时，还包括：

根据所述调度失败信息重新解析所述SQL信息；

根据解析结果更新服务的读写类型，以在所述应用服务器重启时，根据更新后的读写类型与对应的数据库建立连接。

10.根据权利要求1至9中任一项所述的方法，其特征在于，

所述数据源连接标签包括：读写连接标签、只读连接标签、应急模式连接标签。

11.根据权利要求10所述的方法，其特征在于，所述将所述数据源连接标签发送至所述应用服务器，使所述应用服务器根据所述数据源连接标签连接对应的数据库，以进行读写数据的分离调度的步骤，包括：

若所述数据源连接标签为所述读写连接标签，则所述应用服务器根据所述读写连接标签与主数据库建立连接，进行数据读写调度；

若所述数据源连接标签为所述只读连接标签，则所述应用服务器根据所述读写连接标签与备数据库建立连接，进行数据只读调度。

12.一种读写数据分离调度装置，其特征在于，所述装置包括：

收集模块，用于收集应用服务器和数据库服务器的SQL信息和其对应的服务信息；

解析模块，用于对所述SQL信息进行语法解析，将所述SQL信息转化为提示HINT信息；

注册模块，用于根据所述提示HINT信息将所述SQL信息和所述对应的服务信息按照预设结构信息注册至SQL资源池；

运算模块，用于调用所述SQL资源池的信息，根据服务名称对所述提示HINT信息加和运算，根据运算结果生成服务的读写类型；

查询模块，用于根据所述服务的读写类型从连接标签信息库中查询与所述读写类型对应的数据源连接标签；

发送模块，用于将所述数据源连接标签发送至所述应用服务器，使所述应用服务器根据所述数据源连接标签连接对应的数据库，以进行读写数据的分离调度。

13.一种计算机设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1至11中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1至11中任一项所述的方法。

Images