CN110109931A - 一种用于防止rac实例间数据访问发生冲突的方法及系统 - Google Patents

Abstract

本发明公开了一种用于防止数据库RAC实例间数据访问发生冲突的方法：基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段；通过路由规则将组织ID和客户端IP进行关联；获取提出访问请求的客户端IP，按照路由规则确定客户端IP所关联的组织ID对应的相同列表分区；获取客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。将同一个表的任意一个分区数据只会缓存到一个实例的缓存中，实例间的业务表不需要数据互相传输，不同分区间也不存在锁争用现象，从而避免了实例间的访问冲突，提高了系统的性能和处理能力，解决了利用Oracle架构的难题。

Description

一种用于防止RAC实例间数据访问发生冲突的方法及系统

技术领域

本发明涉及数据库应用技术领域，更具体地，涉及一种用于防止RAC实例间数据访问发生冲突的方法及系统。

背景技术

Oracle RAC是一种提高系统高可用性的技术架构，同时也是一种集群技术，集群中节点的数量为2个及以上。许多计算机系统的后台数据库都采用了Oracle RAC，大型企业或者集团级别的系统尤其如此。但困扰数据库设计和运维人员的主要难题是RAC实例间数据的访问冲突问题。Oracle数据库提供了冲突检测的方法和实例间数据共享的机制，但数据库架构的设计仍然至关重要，这是因为数据库设计决定了冲突发生的数量，从而决定了系统的性能。业界的广泛做法是业务分离或读写分离，然而，一方面读写分离开发难度大和开发周期长，另一方面如果单节点提供不了业务所需的处理能力，则只能选用更高档次的服务器了。

Oracle分区技术是一种将大表转化为若干个小表的分而治之的技术，支持的分区方式包括范围分区、哈希分区、列表分区等。将大表分成小表后，逻辑上仍是一个表，对开发人员透明，同时又能提高系统的性能。

现有技术(CN201610258541.3《一种减小RAC节点间GC请求的方法及装置》)，公开了一种减小RAC节点间GC请求的方法，包括：接收客户端发送的业务操作请求，业务操作请求包含SQL语句。根据SQL语句解析SQL语句对应的表名称，判断SQL语句对应的表名称是否存在于表信息内存区的业务表中。如果是，根据业务表的访问规则接通SQL语句对应的子连接池和与子连接池对应的访问路径；如果否，则为SQL语句分配访问路径，然后接通SQL语句对应的子连接池和与子连接池对应的访问

<171964I-BJ>路径。现有技术公开的一种减小RAC节点间GC请求的技术，提高了SQL语句的执行效率。然而，现有技术并不能解决实例间数据的相互传输，以及实例间数据访问冲突的问题。

因此，需要一种技术，以实现用于防止RAC实例间数据访问发生冲突的技术。

发明内容

本发明提供了一种用于防止RAC实例间数据访问发生冲突的方法及系统，以解决RAC实例间数据访问发生冲突的问题。

为了解决上述问题，本发明提供了一种用于防止数据库RAC实例间数据访问发生冲突的方法，所述方法包括：

基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段；

通过所述路由规则将组织ID和客户端IP进行关联；

获取提出访问请求的客户端的客户端IP，按照所述路由规则确定所述客户端IP所关联的组织ID对应的相同的列表分区；

获取所述客户端针对所述相同的列表分区的访问请求，通过反向代理服务器将所述相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

优选地，所述业务表的每个列表分区中，存储至少一个组织ID的数据。

优选地，所述每个列表分区的数据，只缓存在一个数据库实例中。

优选地，还包括：

对于第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器根据轮询算法将所述相同列表分区的访问请求发送至对应的应用服务器的节点。

优选地，还包括：

对于不是第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器将所述相同列表分区的访问请求发送至所述客户端第一次发出请求时对应的应用服务器的节点。

优选地，还包括：

不同的数据库实例缓存所述业务表中所述不同的列表分区的数据。

优选地，还包括：

所述每个应用服务器对应一个可用的数据库实例。

基于本发明的另一方面，提供一种用于防止数据库RAC实例间数据访问发生冲突的系统，所述系统包括：

分区单元，用于基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段；

规则单元，用于通过所述路由规则将组织ID和客户端IP进行关联；

确定单元，用于获取提出访问请求的客户端的客户端IP，按照所述路由规则确定所述客户端IP所关联的组织ID对应的相同的列表分区；

执行单元，用于获取所述客户端针对所述相同的列表分区的访问请求，通过反向代理服务器将所述相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

优选地，所述分区单元还用于：所述业务表的每个列表分区中，存储至少一个组织ID的数据。

优选地，所述分区单元还用于：所述每个列表分区的数据，只缓存在一个数据库实例中。

优选地，所述执行单元还用于：

对于第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器根据轮询算法将所述相同列表分区的访问请求发送至对应的应用服务器的节点。

优选地，所述执行单元还用于：

对于不是第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器将所述相同列表分区的访问请求发送至所述客户端第一次发出请求时对应的应用服务器的节点。

优选地，所述执行单元中，不同的数据库实例缓存所述业务表中所述不同的列表分区的数据。

优选地，所述执行单元中，所述每个应用服务器对应一个可用的数据库实例。

本发明技术方案采用Oracle分区表存储超过4GB的业务表，将相关的数据表根据组织ID进行分区，通过前端反向代理服务器Nginx及应用服务器将相关请求路由到相应数据库实例，而不是表的分区。本发明技术方案只是将不同表的访问请求路由到不同的数据库实例。本发明技术方案将业务表分区后，将大表拆成了小表，而且在表关联查询时也不存在读取其它实例数据的需求，避免了数据库实例间数据块的相互传输，进而有效避免了Oracle RAC实例数据访问冲突，提高系统的响应速度和处理能力。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明实施方式的用于防止RAC实例间数据访问发生冲突的方法流程图；

图2为根据本发明实施方式的用于防止RAC实例间数据访问发生冲突的系统架构图；

图3为根据本发明实施方式的业务表访问流程图；

图4为根据本发明实施方式的Oracle数据库实例结构示意图；

图5为根据本发明实施方式的Oracle集群数据缓存实例结构示意图；以及

图6为根据本发明实施方式的用于防止RAC实例间数据访问发生冲突的系统结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明实施方式的一种用于防止RAC实例间数据访问发生冲突的方法流程图。本发明实施方式公开一种有效避免Oracle RAC实例间数据访问冲突的方法，本申请既利用Oracle分区技术，也利用了Nginx反向代理服务器的自定义路由规则及业务系统中组织ID与客户端IP地址的对应关系，将可能产生过多RAC实例间访问冲突的大表按照组织ID创建列表分区，通过反向代理服务器Nginx路由，不同的组织只访问后台Oracle数据库的一个实例，相关的组织访问相同的实例，而且访问大表时只访问存放该组织数据的独立分区，一个分区的数据只会存在某一个实例的缓存中，因此Oracle RAC实例间就不需要相互传递数据块，从而有效避免了RAC节点间数据传递和访问冲突。如图1所示，一种用于防止RAC实例间数据访问发生冲突的方法100包括：

优选地，在步骤101：将基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段。

优选地，业务表的每个列表分区中，存储至少一个组织ID的数据。

优选地，每个列表分区的数据，只缓存在一个数据库实例中。

优选地，在步骤102：通过路由规则将组织ID和客户端IP进行关联。

优选地，在步骤103：获取提出访问请求的客户端的客户端IP，按照路由规则确定客户端IP所关联的组织ID对应的相同的列表分区。

优选地，在步骤104：获取客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

优选地，方法100还包括：

对于第一次发出请求的客户端，将客户端针对相同的列表分区的访问请求，通过反向代理服务器根据轮询算法将相同的列表分区的访问请求发送至对应的应用服务器的节点。

优选地，方法100还包括：

对于不是第一次发出请求的客户端，将客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同的列表分区的访问请求发送至客户端第一次发出请求时对应的应用服务器的节点。

优选地，方法100还包括：

不同的数据库实例缓存业务表中不同的列表分区的数据。

优选地，方法100还包括：

每个应用服务器对应一个可用的数据库实例。

由于大型企业一般有自己的内网或各种专用网路，分支机构的IP地址固定，通过Nginx的自定义路由规则实现了根据客户端IP把客户端请求路由到相应的应用服务器集群。本申请中应用服务器安装Oracle客户端，通过failure over模式访问后端Oracle数据库N个实例中的一个。来自任何一个组织(分支机构)的访问请求均通过前端反向代理服务器Nginx和应用服务器集群访问后台一个数据库实例。通过将超过4GB的大表及其索引按照关键字段组织ID(即cOrgnID)创建列表分区。根据数据量，每个分区存储1～N个cOrgnID的数据，通过前端反向代理服务器Nginx将相关组织(分支机构)的数据访问请求发给相同的数据库实例，一个分区的数据只缓存在一个实例中，利用分区技术隔离不同cOrgnID的数据，从而避免了Oracle RAC数据库多个实例间数据库共享数据块的访问冲突，提高了整个系统性能和处理能力。

数据库中4GB以上的业务表按照组织ID字段创建列表分区，每个分区根据预测的数据量包含1～N个组织的数据，索引基于组织ID创建本地分区索引。本申请提供一种有效避免Oracle RAC实例间数据访问争用的方法，根据主要业务表都有的组织ID字段这一共性创建列表分区表和列表分区索引，每个分区包含一至N个组织的数据。不同组织的数据库访问请求通过Nginx的代理服务器把需要访问相同分区的访问请求经过相应的应用服务器将请求发往相同的数据库实例，因此，同一个表的任意一个分区数据只会缓存到一个实例的缓存中，实例间的业务表不需要数据互相传输，不同分区间也不存在锁争用现象，从而避免了实例间的访问冲突，极大地提高了系统的性能和处理能力，解决了利用Oracle RAC架构时困扰技术人员的难题。

由于集团等大型企业服务器集中部署，网络IP地址固定。本申请中利用反向代理服务器根据客户端IP设置路由规则，将组织和IP地址关联起来，识别是否相同分区的访问请求。本申请对于相同分区的访问请求通过前端反向代理服务器后被路由到相同的应用服务器集群。本申请中任何应用服务器集群正常时只访问一个数据库实例，因此，来自任何一个组织机构的访问请求均通过前端反向代理服务器Nginx和应用服务器集群访问后台一个数据库实例，相关的组织访问大表时只需访问同一实例的相同分区，这样就避免了数据库实例间共享数据块的操作产冲突，减少访问数据产生过多的缓存融合，解决了利用OracleRAC时存在的关键问题。

图2为根据本发明实施方式的用于防止RAC实例间数据访问发生冲突的系统架构图。如图2所示，首先客户端发出请求到反向代理服务器Nginx，反向代理服务器Nginx根据自定义路由规则确定访问的应用服务器集群。第一次发出请求到反向代理服务器Nginx时，服务器根据轮询算法随机到应用服务器集群中的节点。当客户端第二次发出请求到反向代理服务器Nginx时，反向代理服务器Nginx接收到请求再进行处理的时候，把客户端请求导向原来的那个应用节点上，反向代理服务器Nginx同时实现路由和负载均衡的作用。

如图2所示，应用服务器集群A只能访问数据库集群实例A，只有当数据库集群实例A挂掉的时候，才会访问数据库集群实例B，同理应用服务器集群B也一样。这样，每个应用服务器集群都会对应一个可用的Oracle数据库服务器集群实例，这样相关组织或分支机构只需要访问同一实例的同一分区，就避免了数据库服务器集群对数据库共享数据之间的操作产冲突，从而用户访问数据库的性能会更提高。

图3为根据本发明实施方式的业务表访问流程图。图3所示的业务表访问流程图展示了客户端的数据访问请求路由到不同应用服务器、数据库实例及表的过程。如果表是分区表，数据库优化器则会访问相应的分区。本发明实施方式中，客户端提出访问SQL语句的访问请求，获取提出访问请求的客户端的客户端IP，按照路由规则确定所述客户端IP所关联的组织ID对应的相同的列表分区。并将客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同列表分区的访问请求发送至对应的应用服务器的相同数据库实例。本申请通过优化器对SQL语句进行解析，如SQL语句中不包含索引关键字，则访问表的所有分区。当SQL语句中包含索引关键字时，对SQL语句进行进一步的解析，如SQL语句中不包含分区关键字，则访问表所有索引分区；如SQL语句中包含分区关键字，则访问表裁减的索引分区；以及根据ROWID访问分区表数据。结束业务表访问流程。

图4为根据本发明实施方式的Oracle数据库实例结构示意图。OracleRAC的每个实例的内存结构均如图4所示，实例间访问冲突主要是发生在SGA的数据库缓存区域，如果各个实例该部分缓存存储的数据不同，则实例间就不会发生防伪冲突。

图5为根据本发明实施方式的Oracle集群数据缓存实例结构示意图。经过表分区和访问请求被路由后，不同数据库实例数据缓存缓存相同表的不同分区数据，实例间数据没有跨实例的数据传输需求，因此，就不存在访问冲突了。

图6为根据本发明实施方式的用于防止RAC实例间数据访问发生冲突的系统结构图。如图6所示，一种用于防止RAC实例间数据访问发生冲突的系统600包括：

分区单元601，用于基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段。

优选地，分区单元还用于：业务表的每个列表分区中，存储至少一个组织ID的数据。

优选地，分区单元还用于：每个列表分区的数据，只缓存在一个数据库实例中。

规则单元602，通过路由规则将组织ID和客户端IP进行关联。

确定单元603，用于获取提出访问请求的客户端的客户端IP，按照路由规则确定客户端IP所关联的组织ID对应的相同的列表分区。

执行单元604，用于获取客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

优选地，执行单元还用于：

对于第一次发出请求的客户端，将客户端针对相同的列表分区的访问请求，通过反向代理服务器根据轮询算法将相同的列表分区的访问请求发送至对应的应用服务器的节点。

优选地，执行单元还用于：

对于不是第一次发出请求的客户端，将客户端针对相同的列表分区的访问请求，通过反向代理服务器将相同的列表分区的访问请求发送至客户端第一次发出请求时对应的应用服务器的节点。

优选地，执行单元中，不同的数据库实例缓存业务表中不同的列表分区的数据。

优选地，执行单元中，每个应用服务器对应一个可用的数据库实例。

本发明实施方式提供一种有效避免数据库Oracle RAC实例间数据访问争用的系统。本申请采用Oracle分区表存储超过4GB的业务表，将相关的数据表根据组织ID进行分区，通过前端反向代理服务器Nginx及应用服务器将相关请求路由到相应数据库实例，而不是表的分区。本申请根据主要业务表都有的组织ID字段这一共性创建列表分区表和列表分区索引，每个分区包含一至N个组织的数据。不同组织的数据库访问请求通过Nginx的反向代理服务器把需要访问相同分区的访问请求经过相应的应用服务器将请求发往相同的数据库实例，因此，同一个表的任意一个分区数据只会缓存到一个实例的缓存中，实例间的业务表不需要数据互相传输，不同分区间也不存在锁争用现象，从而避免了实例间的访问冲突，极大地提高了系统的性能和处理能力，解决了利用Oracle RAC架构时困扰技术人员的难题。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (14)

1.一种用于防止数据库RAC实例间数据访问发生冲突的方法，所述方法包括：

基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段；

通过所述路由规则将组织ID和客户端IP进行关联；

获取提出访问请求的客户端的客户端IP，按照所述路由规则确定所述客户端IP所关联的组织ID对应的相同的列表分区；

获取所述客户端针对所述相同的列表分区的访问请求，通过反向代理服务器将所述相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

2.根据权利要求1所述的方法，所述业务表的每个列表分区中，存储至少一个组织ID的数据。

3.根据权利要求1所述的方法，所述每个列表分区的数据，只缓存在一个数据库实例中。

4.根据权利要求1所述的方法，还包括：

对于第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器根据轮询算法将所述相同的列表分区的访问请求发送至对应的应用服务器的节点。

5.根据权利要求4所述的方法，还包括：

对于不是第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器将所述相同的列表分区的访问请求发送至所述客户端第一次发出请求时对应的应用服务器的节点。

6.根据权利要求1所述的方法，还包括：

不同的数据库实例缓存所述业务表中所述不同的列表分区的数据。

7.根据权利要求1所述的方法，还包括：

所述每个应用服务器对应一个可用的数据库实例。

8.一种用于防止数据库RAC实例间数据访问发生冲突的系统，所述系统包括：

分区单元，用于基于组织ID创建业务表的列表分区，将客户的组织ID作为业务表的索引字段；

规则单元，用于通过所述路由规则将组织ID和客户端IP进行关联；

确定单元，用于获取提出访问请求的客户端的客户端IP，按照所述路由规则确定所述客户端IP所关联的组织ID对应的相同的列表分区；

执行单元，用于获取所述客户端针对所述相同的列表分区的访问请求，通过反向代理服务器将所述相同的列表分区的访问请求发送至对应的应用服务器的相同数据库实例。

9.根据权利要求8所述的系统，所述分区单元还用于：所述业务表的每个列表分区中，存储至少一个组织ID的数据。

10.根据权利要求8所述的系统，所述分区单元还用于：所述每个列表分区的数据，只缓存在一个数据库实例中。

11.根据权利要求8所述的系统，所述执行单元还用于：

对于第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器根据轮询算法将所述相同的列表分区的访问请求发送至对应的应用服务器的节点。

12.根据权利要求11所述的系统，所述执行单元还用于：

对于不是第一次发出请求的客户端，将所述客户端针对所述相同的列表分区的访问请求，通过所述反向代理服务器将所述相同的列表分区的访问请求发送至所述客户端第一次发出请求时对应的应用服务器的节点。

13.根据权利要8所述的系统，所述执行单元中，不同的数据库实例缓存所述业务表中所述不同的列表分区的数据。

14.根据权利要求8所述的系统，所述执行单元中，所述每个应用服务器对应一个可用的数据库实例。