CN108011768B - 一种aop拦截式HBase数据存储微服务架构构建方法 - Google Patents

Abstract

本发明公开了一种aop拦截式HBase数据存储微服务架构构建方法。本发明将使用传统的关系型mysql数据库的老系统抽象为一个服务模块，在新的微服务架构系统中再通过aop拦截add*()和save*()方法的数据存储，通过hbase服务模块再写入HBase数据库。这样，很大程度地减少了对原系统的代码入侵，而且新的微服务架构系统不但易于以后新业务的拓展，也容易拓展成分布式架构系统。

Description

一种aop拦截式HBase数据存储微服务架构构建方法

技术领域

本发明涉及计算机信息处理、软件开发领域，具体涉及一种AOP(Aspect OrientedProgramming，面向方面编程)拦截式HBase数据存储的微服务架构(MicroserviceArchitecture)的构建方法

背景技术

HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

微服务是一个新兴的软件架构，简单的说，微服务架构就是将一个完整的应用从数据存储开始垂直拆分成多个不同的服务，每个服务都能独立部署、独立维护、独立扩展，服务与服务间通过诸如RESTful API的方式互相调用。

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。Spring并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。

针对没有实力或者没有足够的资金投入去开发自己的分布式系统基础设施的中小型互联网公司，使用Spring Cloud实现微服务架构，实现分布式系统。根据这一新兴软件架构的启发，对mysql的数据写入，利用aop拦截写入nosql Hbase。并且抽象为一个微服务。这样就可以友好的兼容现有的系统架构。

随着大数据时代的来临，企业每天都在产生数以万计的数据，如何存储这些数据便成为重中之重的问题。在现有系统的情况下，不能较好整合流行大数据平台，如果不能及时的将数据写入Hbase中存储的话，数据沉积太久将会产生巨大的数据，大批量数据的写入要考虑到效率、优化以及机器性能等的问题。只能依靠人工手动操作，很不智能化，并且耗时耗力。如何处理这些庞大的大数据，对于初学者来说更是难上加难。如何实时、友好并且兼容现有系统解决大数据存储，成为一大难题。

发明内容

本发明针对现有技术的不足，提供了一种aop拦截式HBase数据存储微服务架构的构建方法。

本发明将使用传统的关系型mysql数据库的老系统抽象为一个服务模块，在新的微服务架构系统中再通过aop拦截add*()和save*()方法的数据存储，通过hbase服务模块再写入HBase数据库。这样，很大程度地减少了对原系统的代码入侵，而且新的微服务架构系统不但易于以后新业务的拓展，也容易拓展成分布式架构系统。

同时，第一步骤中构建的spring-boot-hbase-starter只需要在maven或gradle中引入，在.properties中3个简单的配置便可以实现Hbase的环境配置，不再需要复杂繁琐的xml文件配置。通过@Autowired注解，便可以调用api接口实现HBase数据库的读写。

这里使用Spring Cloud框架，包括四个服务模块，一个starter模块(方便使用HBase接口)。

第一步骤：构建spring-boot-starter-hbase(非必须，可直接在步骤四中调用)。Starter POMs是可以包含到应用中的一个方便的依赖关系描述符集合。可以获取所有Spring及相关的一站式服务，而不需要大量的依赖描述符。所有的starters遵循一个相似的命名模式：spring-boot-starter-*，在这里*是一种特殊类型的应用程序。为了简便配置和使用Hbase，可以在maven或者gradle中直接引入，调用相关api。

构建HbaseProperties类、构建HbaseAutoConfiguration类、新建spring.factories文件，这个文件用于告诉Spring Boot去找指定的自动配置文件、编写hbase api接口。

第二步骤：构建eureka-server注册中心，供其他服务注册，以及提供相关服务给其他服务调用。所有的服务端及访问服务的客户端都需要连接到注册管理器(eureka服务器)。服务在启动时会自动注册自己到eureka服务器，每一个服务都有一个名字，这个名字会被注册到eureka服务器。使用服务的一方只需要使用该名字加上方法名就可以调用到服务。Spring cloud的服务注册及发现，不仅仅只有eureka，还支持Zookeeper和Consul。默认情况下是eureka，spring封装了eureka，使其非常简单易用，只需要比传统应用增加一行代码就可以使用了，这一行代码就是一个注解。

第三步骤：抽象原来的系统为新的分布式-微服务架构中的service-mysql服务。将原系统抽象为一个微服务，并注册到Eureka Server。这样调用service-mysql服务时只需要向注册中心请求调用，极大程度地减少了和新服务产生耦合。具体包括：

1.在启动类上添加@EnableEurekaClient注解。该注解能激活Eureka中的DiscoveryClient实现。

2.在application.properties中配置service-mysql服务模块相关属性。

这样便可以注册到eureka配置中心，将原系统抽象为微服务架构中的service-mysql服务，暴露业务接口供其他服务模块调用。

第四步骤：构建service-hbase服务，aop拦截mysql服务接口，同时也将数据写入到Hbase中。service-hbase服务不直接调用mysql服务，这样便不会和原来的系统产生耦合。具体包括：

1.在gradle中加入spring-boot-hbase-starter依赖

2.在application.properties文件中配置正确的Hbase环境属性

3.调用添加接口，将数据写入HBase

4.将hbase服务注册到服务中心，供其他服务调用。

第五步骤：构建service-aop服务，service-aop服务调用service-mysql和service-hbase服务。这样降低了新服务和老系统的耦合，同时提高了单一服务的内聚。具体包括：

1.调用service-mysql服务

2.编写aop方法，拦截service-mysql服务save*()、add*()接口的调用。

3.调用service-hbase服务，将数据写入HBase。

这样，直接调用service-aop服务便可以拦截到写入mysql数据库的add*()、save*()方法，同时将数据写入到HBase中去。

本发明的有益效果：本发明解决了原系统的数据大量堆积问题，同时微服务架构也便于新的服务的扩展。新构建的架构同时也非常便利地拓展成分布式架构，只需要多布置几台服务器，修改成不同的服务名，并将服务注册到eureka注册中心，通过zuul便可以智能路由把请求提交到不同的服务器服务上去，实现负载均衡。

附图说明

图1为本发明一种基于AOP技术的HBase数据存储微服务系统的工作流程图

具体实施方式

以下结合图1对本发明作进一步说明。

如图1所示，eureka-server服务，微服务架构的注册中心，供服务模块注册以及调用相关服务；service-mysql服务，提供业务接口，存储数据到mysql数据库中；service-hbase服务，将数据写入到HBase中。service-aop服务，调用service-mysql服务，使用aop技术拦截add*()、save*()方法，返回存储的数据。然后调用service-hase服务将数据写入到HBase nosql数据库。

第一步骤：构建spring-boot-starter-hbase，starter使得使用某个功能的开发者不需要关注各种依赖库的处理，不需要具体的配置信息，由SpringBoot自动通过classpath路径下的类发现需要的Bean，并织入bean。

只需要在application.properties中配置quorum,rootDir,nodeParent配置项，并且提供了HBase的添加数据等接口。使用spring-boot-starter-hbase，不再需要繁琐的xml配置，对于不熟悉Hbase的初学者来说也十分友好。

1.构建HbaseProperties类，通过@ConfigurationProperties(prefix＝"spring.data.hbase")读取.properties文件中spring.data.hbase前缀的属性。

2.构建HbaseAutoConfiguration类，HBase的自动配置类，替代XML的复杂配置。通过@EnableConfigurationProperties(HbaseProperties.class)读取配置属性。通过@ConditionalOnClass(HbaseTemplate.class)，在HbaseTemplate类存在时，去解析配置文件。声明一个Bean，负责Hbase的属性配置，代码如下：

@Bean

@ConditionalOnMissingBean(HbaseTemplate.class)

public HbaseTemplate hbaseTemplate(){

Configuration configuration＝HBaseConfiguration.create()；

configuration.set(HBASE_QUORUM,this.hbaseProperties.getQuorum())；

configuration.set(HBASE_ROOTDIR,hbaseProperties.getRootDir())；

configuration.set(HBASE_ZNODE_PARENT,

hbaseProperties.getNodeParent())；

return new HbaseTemplate(configuration)；

}

3.构建写入数据方法，通过Native Java API将数据写入到HBase中。

第二步骤：构建eureka-server注册中心，供其他服务注册，以及提供相关服务给其他服务调用。所有的服务端及访问服务的客户端都需要连接到注册管理器(eureka服务器)。服务在启动时会自动注册自己到eureka服务器，每一个服务都有一个名字，这个名字会被注册到eureka服务器。使用服务的一方只需要使用该名字加上方法名就可以调用到服务。Spring cloud的服务注册及发现，不仅仅只有eureka，还支持Zookeeper和Consul。默认情况下是eureka，spring封装了eureka，使其非常简单易用，只需要比传统应用增加一行代码就可以使用了，这一行代码就是一个注解。

在启动类上添加@EnableEurekaServer注解。

在application.yml(或application.properties)中配置eureka注册中心模块相关属性。代码如下：

server.port＝1100

eureka.client.fetch-registry＝false，设置是否从注册中心获取注册信息，因为这是一个单点的EurekaServer，不需要同步其它EurekaServer节点的数据，故设为false。

eureka.client.register-with-eureka＝false，设置是否将自己作为客户端注册到注册中心，这里为不需要。

eureka.client.serviceUrl.defaultZone＝http://localhost:${server.port}/eureka/设置注册中心的注册地址，供其他服务注册

第三步骤：抽象原来的系统为新的分布式-微服务架构中的service-mysql服务。将原系统抽象为一个微服务，并注册到Eureka Server。这样调用service-mysql服务时只需要向注册中心请求调用，极大程度地减少了和新服务产生耦合。步骤如下：

1.在启动类上添加@EnableEurekaClient注解。

2.在application.yml(或application.properties)中配置service-mysql服务模块相关属性。代码如下：

server.port＝2100。为了在本机上测试区分服务提供方和服务注册中心，使用server.port属性设置不同的端口。

spring.application.name＝ervice-mysql。通过spring.application.name属性，我们可以指定微服务的名称后续在调用的时候只需要使用该名称就可以进行服务的访问。

eureka.client.serviceUrl.defaultZone＝http://127.0.0.1:1100/eureka/。defaultZone属性对应服务注册中心的配置内容，指定服务注册中心的位置。

3.将hbase服务注册到服务中心，供其他服务调用。

第四步骤：构建service-hbase服务，aop拦截mysql服务接口，同时也将数据写入到Hbase中。service-hbase服务不直接调用mysql服务，这样便不会和原来的系统产生耦合。步骤如下：

1.在gradle中加入依赖，gradle使用一种基于Groovy的特定领域语言(DSL)来声明项目设置，抛弃了基于XML的各种繁琐配置。

compile"com.shine:spring-boot-starter-hbase:1.0-SNAPSHOT"

2.在application.properties文件中加入spring.data.hbase.quorum、spring.data.hbase.rootDir、spring.data.hbase.nodeParent配置项，并赋予正确的值

3.调用添加接口，将数据写入HBase。

@Autowired//根据类型进行自动装配,无需实例化对象

HbaseTemplate hbaseTemplate；

hbaseTemplate.saveOrUpdates("test",puts)；//调用添加方法

4.将hbase服务注册到服务中心，供其他服务调用。

第五步骤：构建service-aop服务，service-aop服务调用service-mysql和service-hbase服务。这样降低了新服务和老系统的耦合，同时提高了单一服务的内聚。步骤如下：

1.注册到eureka-server，具体包括：在启动类上添加@EnableEurekaClient注解；在application.yml中配置service-mysql服务模块相关属性。

2.增加调用service-mysql服务接口，Feign是一个声明式的WebService客户端。使用Feign能让编写WebService客户端更加简单，它的使用方法是定义一个接口，然后在接口上添加注解，同时也支持JAX-RS标准的注解。Feign也支持可插拔式的编码器和解码器。定义一个feign接口，通过@FeignClient(“服务名”)，来指定调用哪个服务。

@FeignClient(value＝"service-mysql")//表示调用service-mysql服务

public interface MysqlService{}

3.增加调用service-hbase服务接口：

@FeignClient(value＝"service-hbase")//表示调用service-hbase服务

public interface HbaseService{}

4.编写aop方法，拦截service-mysql服务save*()、add*()接口的调用,调用service-hbase服务，将数据写入HBase。

在配置类上添加注解@EnableAspectJAutoProxy，表示开启AOP代理自动配置，使用cglib进行代理对象的生成。核心代码如下：

@Aspect //定义一个切面

@Component //使aop类可以被spring容器发现

public class LogAspect{

//@after表示在save和add方法执行后执行

@After("execution(*com.shine.service.*.save*(..))")

public void after(JoinPoint joinPoint){

//获取返回数据

//写入HBase

}}

Claims (1)

1.一种aop拦截式HBase数据存储微服务架构构建方法，其特征在于包括以下步骤：

第一步骤：构建spring-boot-starter-hbase；Starter POMs为包含到应用中的一个方便的依赖关系描述符集合，它可以获取所有Spring及相关的一站式服务，而不需要大量的依赖描述符；所有的starters遵循一个相似的命名模式：spring-boot-starter-*，在这里*是一种特殊类型的应用程序；为了简便配置和使用Hbase，在maven或者gradle中直接引入，调用相关api；

构建HbaseProperties类、构建HbaseAutoConfiguration类、新建spring.factories文件，这个文件用于告诉Spring Boot去找指定的自动配置文件、编写hbase api接口；

第二步骤：构建eureka-server注册中心，供其他服务注册，以及提供相关服务给其他服务调用；所有的服务端及访问服务的客户端都需要连接到注册管理器，即eureka服务器；服务在启动时会自动注册自己到eureka服务器，每一个服务都有一个名字，这个名字会被注册到eureka服务器；使用服务的一方只需要使用该名字加上方法名就可以调用到服务；

第三步骤：抽象关系型mysql数据库系统为新的分布式-微服务架构中的service-mysql服务；将抽象关系型mysql数据库系统抽象为一个微服务，并注册到eureka服务器；这样调用service-mysql服务时只需要向注册中心请求调用，减少和新服务产生耦合；具体包括：

1.在启动类上添加@EnableEurekaClient 注解；该注解能激活Eureka中的DiscoveryClient实现；

2.在application.properties中配置service -mysql服务模块相关属性；

以便注册到eureka配置中心，将原系统抽象为微服务架构中的service-mysql服务，暴露业务接口供其他服务模块调用；

第四步骤：构建service-hbase服务，aop拦截mysql服务接口，同时将数据写入到Hbase中；service-hbase服务不直接调用mysql服务，就不会和原来的系统产生耦合；具体包括：

1.在gradle中加入spring-boot-hbase-starter依赖；

2.在application.properties文件中配置正确的Hbase环境属性；

3.调用添加接口，将数据写入HBase；

4.将hbase服务注册到注册中心，供其他服务调用；

第五步骤：构建service-aop服务，service-aop服务调用service-mysql和service-hbase服务；降低新服务和老系统的耦合，同时提高单一服务的内聚；具体包括：

1.调用service-mysql服务；

2.编写aop方法，拦截service-mysql服务save*()、add*()接口的调用；

3.调用service-hbase服务，将数据写入HBase；

直接调用service-aop服务便可以拦截到写入mysql数据库的add*()、save*()方法，同时将数据写入到HBase中去。

Images