CN103116627B - 一种高并发soa技术访问数据库的方法和系统 - Google Patents

Abstract

本发明公开了一种高并发SOA技术访问数据库的方法和系统，根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据，散列存储在MAP集合中，并将MAP集合存储在内存或硬盘中，缓存MAP集合中的所有的修改数据操作的缓存数据，并将修改数据操作的缓存数据持久化到数据库，当用SOA技术调用服务时，根据表名称和查询条件在内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，清除缓存。本发明可以灵活、有效地对数据进行增加、删除和修改的操作，不用担心SOA方式高并发访问数据库带来的数据死锁问题，还可以根据条件清除缓存，提高缓存的有效命中率。

Description

一种高并发SOA技术访问数据库的方法和系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种高并发SOA技术访问数据库的方法和系统。

背景技术

SOA(Service-OrientedArchitecture，面向服务的体系结构)是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。SOA是云计算访问处理数据的业内流行的解决方案，是以处理业务上分散的数据为目标的。如果根据SOA访问量计算无需大规模的遍历，CPU负载非常小。可以利用散列方式，编写JSON格式的数据。JSON(JavaScriptObjectNotion)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。

现有技术中采用客户端系统访问数据，利用ORM(ObjectRelationMapping，对象关系映射)实时更新服务端发布的数据。但是由于SOA中各个客户端系统的相对独立性，信息待送的延迟性以及资源动态共享的复杂性,经常导致服务发布端的数据死锁现象与长任务数据处理带来的性能开销的发生，从而使整个系统的性能极大的下降，甚至导致系统PV(PageView，页面浏览量)值过大而导致的系统崩溃。

现有技术主要存在以下缺陷：

1．高并发频繁访问一个业务节点在云计算中是很常见的，由于既定的数据库吞吐量和并发访问造成了数据库的效率极其低下，甚至会造成数据死锁，给系统造成灾难性的毁灭。

2．增加了额外维护的成本，需要实时监测数据库的运行状态，单独的业务程序进行处理数据库死锁和高并发压力的负载。

3．ORM产品的缓存列表一旦出现对表结构的修改会清理缓存，大大降低了缓存的命中率，系统性能没有得到显著的提升。

发明内容

（一）要解决的技术问题

针对上述缺陷，本发明要解决的技术问题是如何解决高并发SOA技术访问数据库带来的数据死锁的问题，以及避免系统高性能访问数据带来的性能消耗，提高缓存的有效命中率。

（二）技术方案

为解决上述问题，本发明提供了一种高并发SOA技术访问数据库的方法，所述方法包括：

A：根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据；

B：将所述JSON格式的缓存数据散列存储在MAP集合中，并将所述MAP集合存储在内存或硬盘中的.

C：缓存所述MAP集合中的所有的修改数据操作的缓存数据，并将所述修改数据操作的缓存数据持久化到数据库；

D：当用SOA技术调用服务时，根据表名称和查询条件在所述内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理；

E：清除缓存。

优选地，进行散列缓存时编写JSON格式的结构的缓存，包括表操作K-V对、表数据条件K-V对和返回值数据K-V对；

其中的K代表对象的属性，V代表对应的属性值，所述表操作K-V对中的K为操作名称，V为操作的方式，分为增加数据、删除数据、修改数据和查询数据；

所述表数据条件K-V对中的K为条件名称，V为操作的条件，用拼接的字符串表示；

所述返回值数据K-V中的K为返回标记，V为返回数据的集合。

优选地，所述散列缓存具体包括：表结构有变化的缓存和表结构查询的缓存；

所述表结构有变化的缓存包括增加数据缓存、删除数据缓存和修改数据缓存，所述表结构查询的缓存即查询数据缓存。

优选地，所述步骤B中将所述MAP集合存储在内存或硬盘中。具体包括：判断所述MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则将其存入到所述MAP集合中；如果有则判断所述MAP集合中的数据量是否在系统内存负载范围内，如果是在系统内存负载范围内则将所述MAP集合缓存到所述系统内存中，否则将所述MAP集合缓存到系统硬盘中。

优选地，所述步骤E中的清除缓存具体包括：

E1：查询出所述步骤C中表数据条件K-V对中的条件名称，并移除所有包含所述条件名称的查询数据操作的缓存数据；

E2：移除所述步骤C中修改数据操作的缓存数据。

为解决上述问题，本发明还提供了一种高并发SOA技术访问数据库的系统，所述系统包括：

缓存数据获取模块、缓存操作模块、持久化模块、缓存处理模块和缓存清除模块；

所述缓存数据获取模块，用于根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据；

所述缓存操作模块，用于将所述JSON格式的缓存数据散列存储在MAP集合中，并将所述MAP集合存储在内存或硬盘中；

所述持久化模块，用于缓存所述MAP集合中的所有的修改数据操作的缓存数据，并将所述修改数据操作的缓存数据持久化到数据库；

所述缓存处理模块，用于当用SOA技术调用服务时，根据表名称和查询条件在所述内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理；

所述缓存清除模块，用于清除缓存。

优选地，所述缓存数据获取模块包括：第一缓存模块和第二缓存模块；

所述第一缓存模块用于表结构有变化的缓存，包括增加数据缓存、删除数据缓存和修改数据缓存；

所述第二缓存模块用于表结构查询的缓存，即查询数据缓存。

优选地，所述缓存操作模块包括：第一判断模块、存入模块、第二判断模块、缓存至内存模块和缓存至硬盘模块；

所述第一判断模块，用于判断所述MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则进入所述存入模块，如果有则进入第二判断模块；

所述存入模块，用于所述缓存存入到所述MAP集合中，如果是在系统内存负载范围内则进入所述缓存至内存模块，否则进入所述缓存至硬盘模块；

所述缓存至内存模块，用于将所述MAP集合缓存到所述系统内存中；

所述缓存至硬盘模块，用于将所述MAP集合缓存到所述系统硬盘中。

优选地，所述清除缓存模块包括：第一移除模块和第二移除模块；

所述第一移除模块，用于查询出所述持久化模块中表数据条件K-V对中的条件名称，并移除所有包含所述条件名称的查询数据操作的缓存数据；

所述第二移除模块，用于移除所述持久化模块中修改数据操作的缓存数据。

（三）有益效果

本发明提出了一种解决高并发SOA技术访问数据库的方法和系统，在数据利用方面，首先利用缓存技术把业务层和数据持久化层进行隔离，使程序变得可扩展性良好。可以灵活、高效的对数据进行增加、删除和修改的操作，而不用担心SOA方式高并发访问带来的数据死锁、数据冲突、读脏数据等问题。其次，海量数据处理的操作纳入缓存，前台立即返回，可以在后台进行多线程处理而不用担心数据并发。利用线程池技术，每个表开个单独的守护线程进行数据处理，增强了用户体验度，流畅度。最后，在业务操作方面，由于使用缓存，高效的增加了SOA客户端程序访问的速度，是使业务处理更加流畅。而根据特定条件的清除缓存策略，可以有效的提高缓存命中率，减轻对服务器的压力，大量访问都通过缓存返回。

附图说明

图1为一种高并发SOA技术访问数据库的方法的步骤流程图；

图2为一种高并发SOA技术访问数据库的方法中步骤E的具体流程图；

图3为一种高并发SOA技术访问数据库的系统的组成示意图；

图4为一种高并发SOA技术访问数据库的系统中缓存操作模块的组成示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例一

本发明实施例一中提供了一种高并发SOA技术访问数据库的方法，步骤流程如图1所示，具体包括以下步骤：

步骤A：根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据。

其中进行散列缓存时编写JSON格式的结构的缓存，缓存数据的格式设计包括：表操作K-V对、表数据条件K-V对和返回值数据K-V对。

其中的K即Key，代表对象的属性，V即Value，代表对应的属性值，表操作K-V对中的K为操作名称，V为操作的方式，分为增加数据、删除数据、修改数据和查询数据。为了区分缓存内容，同时生成了缓存名称，由缓存的操作名称与查询条件拼接而生成的编码。

表数据条件K-V对中的K为条件名称，V为操作的条件，用拼接的字符串表示。

返回值数据K-V中的K为返回标记，V为返回数据的集合。

具体的，散列缓存具体包括：表结构有变化的缓存和表结构查询的缓存。

表结构有变化的缓存包括：增加数据缓存、删除数据缓存和修改数据缓存。表结构有变化的缓存中的表操作K-V对中的V分别对应增加操作、删除操作和修改操作，表数据条件K-V对中的V为根据查询条件拼接出的字符串，返回值数据K-V对中的V为空。

表结构有变化的缓存技术多是针对高并发访问的任务或者耗时的长任务，这类操作会伴随着频繁访问获得表的操作权限或者非常耗时的数据操作为了避免频繁操作造成的死锁和耗时操作带来的用户体验差，所以先将表结构中有变化的数据缓存起来，供用户使用。

表结构查询的缓存即查询数据缓存，查询数据缓存的表操作K-V对对应查询操作，其中的K是数据库对应的主键，V是数据库对象，表数据条件K-V对中的V为根据查询条件拼接出的字符串，返回值数据K-V对中的V为查询条件下的所有主键组。

步骤B：将所述JSON格式的缓存数据散列存储在MAP集合中，并将所述MAP集合存储在内存或硬盘中。

MAP集合以Key-Value对进行存储的集合形式，是将键映射到值的对象。Key-Value分布式存储系统，查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询。其中的Key为表名序列值，Value为缓存集合。因而将缓存数据存储至MAP集合中可以支持高并发，而不会产生数据死锁。

具体的，将MAP集合存储在内存或硬盘中包括：首先，判断MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则将其存入到MAP集合中；如果有则判断MAP集合中的数据量是否在系统内存负载范围内，如果是在系统内存负载范围内则将MAP集合缓存到系统内存中，否则将MAP集合缓存到系统硬盘中。当累积的存储大于内存负载后就把MAP集合存储到硬盘上的本地文件中。

步骤C：缓存所述MAP集合中的所有的修改数据操作的缓存数据，并将所述修改数据操作的缓存数据持久化到数据库

步骤D：当用SOA技术调用服务时，根据表名称和查询条件在所述内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理。数据立即返回给用户，避免并发访问时出现等候死锁。

步骤E：清除缓存。

步骤E的步骤流程如图2所示，具体包括以下步骤：

步骤E1：查询出步骤C中表数据条件K-V对中的条件名称，并移除所有包含条件名称的查询数据操作的缓存数据。

步骤E2：移除步骤C中修改数据操作的缓存数据。

通过上述方法，在数据利用方面，首先利用缓存技术把业务层和数据持久化层进行隔离，使程序变得可扩展性良好。可以灵活、高效的对数据进行增加、删除和修改的操作，而不用担心SOA方式高并发访问带来的数据死锁、数据冲突、读脏数据等问题。其次，海量数据处理的操作纳入缓存，前台立即返回，可以在后台进行多线程处理而不用担心数据并发。利用线程池技术，每个表开个单独的守护线程进行数据处理，增强了用户体验度，流畅度。最后，在业务操作方面，由于使用缓存，高效的增加了SOA客户端程序访问的速度，是使业务处理更加流畅。而根据特定条件的清除缓存策略，可以有效的提高缓存命中率，减轻对服务器的压力，大量访问都通过缓存返回。

实施例二

为达到上述目的，本发明的实施例二中还提供了一种高并发SOA技术访问数据库的系统，组成示意图如图3所示，具体包括：

缓存数据获取模块310、缓存操作模块320、持久化模块330、缓存处理模块340和缓存清除模块350。

缓存数据获取模块310，用于根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据。

缓存数据获取模块310包括：第一缓存模块311和第二缓存模块312。

第一缓存模块311用于表结构有变化的缓存，包括增加数据缓存、删除数据缓存和修改数据缓存。

第二缓存模块312用于表结构查询的缓存，即查询数据缓存。

缓存操作模块320，用于将JSON格式的缓存数据散列存储在MAP集合中，并将MAP集合存储在内存或硬盘中。

缓存操作模块320的组成示意图如图4所示，具体包括：第一判断模块321、存入模块322、第二判断模块323、缓存至内存模块324和缓存至硬盘模块325。

第一判断模块321，用于判断MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则进入存入模块322，如果有则进入第二判断模块323。

存入模块322，用于缓存存入到MAP集合中，如果是在系统内存负载范围内则进入缓存至内存模块324，否则进入缓存至硬盘模块325。

缓存至内存模块323，用于将MAP集合缓存到系统内存中。

缓存至硬盘模块，用于将MAP集合缓存到系统硬盘中。

持久化模块330，用于缓存MAP集合中的所有的修改数据操作的缓存数据，并将修改数据操作的缓存数据持久化到数据库。

缓存处理模块340，用于当用SOA技术调用服务时，根据表名称和查询条件在内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理。

缓存清除模块350，用于清除缓存。

具体的，清除缓存模块包括350：第一移除模块351和第二移除模块352。

第一移除模块351，用于查询出持久化模块340中表数据条件K-V对中的条件名称，并移除所有包含条件名称的查询数据操作的缓存数据。

第二移除模块352，用于移除持久化模块340中修改数据操作的缓存数据。

通过使用上述系统，在数据利用方面，首先利用缓存技术把业务层和数据持久化层进行隔离，使程序变得可扩展性良好。可以灵活、高效的对数据进行增加、删除和修改的操作，而不用担心SOA方式高并发访问带来的数据死锁、数据冲突、读脏数据等问题。其次，海量数据处理的操作纳入缓存，前台立即返回，可以在后台进行多线程处理而不用担心数据并发。利用线程池技术，每个表开个单独的守护线程进行数据处理，增强了用户体验度，流畅度。最后，在业务操作方面，由于使用缓存，高效的增加了SOA客户端程序访问的速度，是使业务处理更加流畅。而根据特定条件的清除缓存策略，可以有效的提高缓存命中率，减轻对服务器的压力，大量访问都通过缓存返回。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种高并发SOA技术访问数据库的方法，其特征在于，所述方法具体包括：

A：根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据；

B：将所述JSON格式的缓存数据散列存储在MAP集合中，并将所述MAP集合存储在内存或硬盘中；

C：缓存所述MAP集合中的所有的修改数据操作的缓存数据，并将所述修改数据操作的缓存数据持久化到数据库；

D：当用SOA技术调用服务时，根据表名称和查询条件在所述内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理；

E：清除缓存。

2.如权利要求1所述的方法，其特征在于，所述步骤A中进行散列缓存时编写JSON格式的结构的缓存，包括表操作K-V对、表数据条件K-V对和返回值数据K-V对；

所述表操作K-V对中的K为操作名称，V为操作的方式，所述V分为增加数据、删除数据、修改数据和查询数据；

所述表数据条件K-V对中的K为条件名称，V为操作的条件，所述V用拼接的字符串表示；

所述返回值数据K-V中的K为返回标记，V为返回数据的集合。

3.如权利要求1或2所述的方法，其特征在于，所述散列缓存具体包括：表结构有变化的缓存和表结构查询的缓存；

所述表结构有变化的缓存包括增加数据缓存、删除数据缓存和修改数据缓存，所述表结构查询的缓存即查询数据缓存。

4.如权利要求1所述的方法，其特征在于，所述步骤B中将所述MAP集合存储在内存或硬盘中具体包括：判断所述MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则将其存入到所述MAP集合中；如果有则判断所述MAP集合中的数据量是否在系统内存负载范围内，如果是在系统内存负载范围内则将所述MAP集合缓存到所述系统内存中，否则将所述MAP集合缓存到系统硬盘中。

5.如权利要求1所述的方法，其特征在于，所述步骤E中的清除缓存具体包括：

E1：查询出所述步骤C中表数据条件K-V对中的条件名称，并移除所有包含所述条件名称的查询数据操作的缓存数据；

E2：移除所述步骤C中修改数据操作的缓存数据。

6.一种高并发SOA技术访问数据库的系统，其特征在于，所述系统具体包括：缓存数据获取模块、缓存操作模块、持久化模块、缓存处理模块和缓存清除模块；

所述缓存数据获取模块，用于根据SOA访问量计算得出访问命中率高发的数据，并进行散列缓存，得到JSON格式的缓存数据；

所述缓存操作模块，用于将所述JSON格式的缓存数据散列存储在MAP集合中，并将所述MAP集合存储在内存或硬盘中；

所述持久化模块，用于缓存所述MAP集合中的所有的修改数据操作的缓存数据，并将所述修改数据操作的缓存数据持久化到数据库；

所述缓存处理模块，用于当用SOA技术调用服务时，根据表名称和查询条件在所述内存中查询是否有缓存数据，如果有则使用缓存技术修改数据操作，把所需修改的数据处理纳入缓存，调用结束后返回客户端，后台根据已存入的缓存进行同步持久化数据库处理；

所述缓存清除模块，用于清除缓存。

7.如权利要求6所述的系统，其特征在于，所述缓存数据获取模块包括：第一缓存模块和第二缓存模块；

所述第一缓存模块用于表结构有变化的缓存，包括增加数据缓存、删除数据缓存和修改数据缓存；

所述第二缓存模块用于表结构查询的缓存，即查询数据缓存。

8.如权利要求6所述的系统，其特征在于，所述缓存操作模块包括：第一判断模块、存入模块、第二判断模块、缓存至内存模块和缓存至硬盘模块；

所述第一判断模块，用于判断所述MAP集合中是否有缓存过程中生成的缓存名称，如果没有该条缓存的缓存名称则进入所述存入模块，如果有则进入第二判断模块；

所述存入模块，用于所述缓存存入到所述MAP集合中，如果是在系统内存负载范围内则进入所述缓存至内存模块，否则进入所述缓存至硬盘模块；

所述缓存至内存模块，用于将所述MAP集合缓存到所述系统内存中；

所述缓存至硬盘模块，用于将所述MAP集合缓存到所述系统硬盘中。

9.如权利要求6所述的系统，其特征在于，所述清除缓存模块包括：第一移除模块和第二移除模块；

所述第一移除模块，用于查询出所述持久化模块中表数据条件K-V对中的条件名称，并移除所有包含所述条件名称的查询数据操作的缓存数据；

所述第二移除模块，用于移除所述持久化模块中修改数据操作的缓存数据。