CN108874567B

CN108874567B - 一种服务处理方法及系统

Info

Publication number: CN108874567B
Application number: CN201810797753.8A
Authority: CN
Inventors: 曾文清; 卢明
Original assignee: Guangzhou Chuangle Information Technology Co ltd
Current assignee: Guangzhou Chuangle Information Technology Co ltd
Priority date: 2018-07-19
Filing date: 2018-07-19
Publication date: 2021-08-17
Anticipated expiration: 2038-07-19
Also published as: CN108874567A

Abstract

本发明涉及一种服务处理方法及系统，其中所述服务处理系统包括：网关层以及远程过程调用RPC服务层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，所述RPC层包括多个RPC服务，其中，每个RPC服务具有独立的数据库；所述网关层用于响应前端业务发起的服务请求，向所述RPC层调用与所述服务请求对应的RPC服务；所述RPC层用于提供RPC服务。本发明可以实现了项目与业务解耦，降低了系统的耦合度，提升了系统的响应效率，降低了误操作的概率，有利于多人协同开发，提升系统开发的效率。

Description

一种服务处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种服务处理系统及一种服务处理方法。

背景技术

在企业的不断发展壮大和业务的多元化发展中，企业对信息化的依赖和需求不断增加，用信息化的各方面技术融合企业运营可以提高运营效率，大多数企业都采用一些数据系统来驱动企业的发展。

但在现有技术中，这些数据系统存在如下方面的问题：

1)web项目：核心业务全部在一个web项目中，这会导致：

逻辑复杂、模块耦合、代码臃肿，修改难度大，版本迭代效率低下；

系统启动慢，线上问题修复周期长；

系统错误隔离性差、可用性差，任何一个模块的错误均可能造成整个系统的宕机；

系统可伸缩性差，系统的扩容只能只对应用进行扩容，不能做到对某个功能点进行扩容；

不利于多人协同开发。

2)数据库：所有业务表、统计表均存放在同一个库，这会导致：

库中包含了七、八十张表，容易误操作；

数据出问题后，无法快速定位问题根源；

新人需要更多时间熟悉数据库设计；

数据库权限控制粒度较粗。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种服务处理系统及一种服务处理方法。

本发明公开了一种服务处理系统，所述系统包括网关层以及远程过程调用RPC服务层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，所述RPC层包括多个RPC服务，其中，每个RPC服务具有独立的数据库；

所述网关层用于响应前端业务发起的服务请求，向所述RPC层调用与所述服务请求对应的RPC服务；

所述RPC层用于提供RPC服务。

优选地，所述RPC层包括服务注册中心以及一个或多个业务处理中心，其中，不同业务处理中心间通过接口交互，所述交互包括数据一致性处理；

所述业务处理中心用于提供相应的RPC服务；

所述服务注册中心用于进行RPC服务的服务注册，并维护所有一个或多个业务处理中心所暴露的RPC服务的信息。

优选地，所述业务处理中心还用于在检测到自身故障或者故障消除时，生成故障信息或者故障消除信息，并将所述故障信息或者故障消除信息发送至服务注册中心，以通知服务注册中心进行状态变更；

所述服务注册中心还用于当接收到所述故障信息或者故障消除信息时，对所述业务处理中心添加或者删除故障标识；以及，在接收到针对所述故障的业务处理中心的服务请求时，向请求方发送故障提示信息。

优选地，所述系统还包括基础服务层，所述网关层还包括多个HTTP接口,所述网关层通过所述HTTP接口与所述基础服务层连接；

所述基础服务层用于向所述网关层提供基础服务。

优选地，所述数据库采用主从架构进行数据存储，包括主数据库以及从数据库；所述系统还包括统计系统，所述从数据库保存在所述统计系统所在的服务器中，所述统计系统具有对所述从数据库的读权限和/或读/写权限。

优选地，所述系统还包括前端业务层以及网络接入层；其中，

所述前端业务层用于展示业务数据，并检测用户触发的服务请求；

所述网络接入层用于建立与所述网关层的网络连接。

优选地，所述系统还包括监控系统，

所述监控系统用于对数据通信过程进行监控，检测异常业务信息。

本发明还公开了一种服务处理方法，所述方法应用于服务处理系统中，所述服务处理系统包括网关层以及远程过程调用RPC服务层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，所述RPC层包括多个RPC服务，其中，每个RPC服务具有独立的数据库；

所述方法包括：

检测前端业务发起的服务请求；

向所述RPC层调用与所述服务请求对应的RPC服务。

所述方法包括：

检测网关层是否调用RPC接口；

当检测到所述网关层调用RPC接口时，向所述网关层提供对应的RPC服务。

优选地，所述RPC层包括服务注册中心以及一个或多个业务处理中心；所述方法还包括：

通过不同业务处理中心提供的接口，进行数据一致性处理。

本发明具有如下有益效果：

在本发明实施例中，通过RPC层将项目拆分成多个RPC服务，其中，每个RPC服务设置独立的数据库，网关层部署了多个RPC接口来与RPC层进行通信，调用RPC层提供的RPC服务，实现了项目与业务解耦，降低了系统的耦合度，提升了系统的响应效率，降低了误操作的概率，有利于多人协同开发，提升系统开发的效率。

附图说明

图1为本发明的一种服务处理系统实施例的结构框图；

图2为本发明的一种服务处理系统另一实施例的结构框图；

图3为本发明的一种服务处理方法实施例的步骤流程图；

图4为本发明的一种服务处理方法另一实施例的步骤流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种服务处理系统实施例的结构框图，所述服务处理系统10可以包括网关层101以及远程过程调用RPC(Remote Procedure Call Protocol)服务层102。其中，网关层101可以包括多个RPC接口，网关层101通过RPC接口与RPC层102连接，RPC层102可以包括多个RPC服务，其中，每个RPC服务具有独立的数据库(database，简称db)。

在本发明实施例中，网关层101可以用于响应前端业务发起的服务请求，向所述RPC层102调用与所述服务请求对应的RPC服务；所述RPC服务层102可以用于提供RPC服务。

参考图2，示出了本发明的一种服务处理系统另一实施例的结构框图。

本发明实施例可以采用微服务架构对项目进行拆分，确定多个服务。无论有多少个服务，首先需要把接口识别和定义出来(在实现时可以通过RPC接口工程提供RPC接口定义，以及通过公共工程提供通用工具类、业务异常以及枚举常量等定义)，然后消费和服务双方基于接口进行契约驱动开发，利用Mock服务提供者和消费者，互相解耦，实现并行开发。

本发明实施例可以采用契约驱动测试，用于对兼容性做回归测试。具体的，上述测试可以包括单元测试、契约接口测试、集成测试等。其中最重要的就是契约测试。可以利用微服务框架提供的Mock机制，分别生成模拟消费者的客户端测试桩和提供者的服务端测试桩，双方可以基于Mock测试桩对微服务的接口契约进行测试，双方都不需要等待对方功能代码开发完成，实现了并行开发和测试，提高了微服务的构建效率。基于接口的契约测试还能快速的发现不兼容的接口变更，例如修改字段类型、删除字段等。

在具体实现中，在本发明实施例进行服务部署时，可以遵循如下服务部署原则：

独立构建和部署(构建过程中触发单元测试)；

生命周期管理自动化(服务的启动、停止、升级、回滚、下线、上线)；

部署环境独立(测试环境、灰度环境、生产环境)；

基础设施自动化(aws弹性云or docker容器)；

需要有一套CI/CD的流水线来做基础设施自动化(如Spinnaker+jenkins)。

如下对本发明实施例的服务处理系统进行具体说明：

如图2所示，所述服务处理系统可以包括前端业务层201、网络接入层202、网关层203、RPC层204以及基础服务层205。

在本发明实施例中，可以按业务逻辑将项目拆分为多个子系统，该多个子系统分别分布在图2的前端业务层201、网络接入层202、网关层203、RPC层204以及基础服务层205中。

前端业务层201可以用于展示业务数据，并检测用户触发的服务请求。

在具体实现中，前端业务层201又可以称为上层子系统，其可以包括业务系统集群，该业务系统集群可以多个业务系统，如独立站(station)(如商城或对应的应用程序，进行商品交易)、商户系统(简称MC，可以提供权限管理、商户管理、商品管理、订单管理、流量运营等功能)、营销系统(marketing，可以提供给媒体端获取offer、查看收益报表等功能)等。

网络接入层202可以用于建立与所述网关层203的网络连接。

在具体实现中，网络接入层可以包括反向代理集群，例如，Nginx(engine x)反向代理集群，ELB(Elastic Load Balancing，是AWS(亚马逊云服务)提供的弹性负载均衡服务)服务器集群等。其中，Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，并在一个BSD-like协议下发行，其特点是占有内存少，并发能力强。

网关层203可以用于响应前端业务发起的服务请求，向所述RPC层204调用与所述服务请求对应的RPC服务。

在本发明实施例中，网关层203中可以包括tomcat集群，其可以整合所有的RPC接口(RPC API)和/或HTTP接口(HTTP API，又称基础服务接口)，以对外提供该RPC接口和/或HTTP接口，面向前端业务层201中的前端项目，后续还可以支持更多的服务治理相关功能。

该网关层203可以通过RPC接口与RPC层204连接，通过RPC接口调用RPC层204中的RPC服务。另一方面，网关层203可以通过HTTP接口与基础服务层205连接，通过HTTP接口调用基础服务层205中的基础服务。

RPC层204可以用于提供RPC服务。

在本发明中，RPC层可以包括RPC服务集群，其中，每个RPC服务具有独立的数据库db。

在具体实现中，RPC层中的RPC框架可以采用motan框架和/或sping框架，本发明实施例对此不作限定。

在一种实施方式中，RPC层204可以包括服务注册中心2041以及一个或多个业务处理中心2042。

服务注册中心2041可以用于进行RPC服务的服务注册，并维护所有一个或多个业务处理中心2042所暴露的RPC服务的信息。

业务处理中心2042可以用于提供相应的RPC服务。

在具体实现中，业务处理中心2042之间是独立的，所有业务处理中心2042可以组织成核心子系统。每个业务处理中心2042可以提供一种或多种RPC服务，优选可以提供一种RPC服务。

为了实现数据隔离，提高数据的安全性，可以对每个业务处理中心2042设置独立的数据库，并对每个数据库设置对应的账号权限，在具体实现中，每个数据库只允许自己的业务处理中心访问。

作为一种示例，上述数据库可以包括但不限于：redis数据库(Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API，其可搭建主从复制集或者cluster(集群))、mysql数据库(mysql是一个多用户、多线程结构化查询语言数据库，其可以通过分库方式水平拓展)等。

在一种实施方式中，每个数据库可以采用主从架构进行数据存储。具体的，每个业务处理中心2042可以将业务数据存储在各自的数据库中，该数据库可以作为主数据库。进一步的，每个业务处理中心2042还可以针对主数据库创建从数据库，将各自的数据库的数据的数据副本存储在从数据库中，每个业务处理中心2042的从数据库可以存储在一台指定的服务器中，则该指定的服务器中的所有从数据库可以组织成统计数据库。

本发明实施例将各个业务处理中心独立的数据库与统计数据库分离，有利于业务数据的隔离以及统计，更好地保障了数据的安全。

在本发明实施例中，由于每个业务处理中心2042设置独立的数据库，为了保障数据的安全，每个业务处理中心2042只能访问自己的数据库，不能直接访问其他业务处理中心的数据库。则不同业务处理中心2042之间可以通过接口进行交互，不直接提供数据库操作。例如，假设核心子系统中包括数据中心(Data Center，简称DC，提供商户、商品数据管理服务)、订单中心(Trading Center，简称TC，又称交易中心，提供订单正向、逆向相关服务)、用户中心(User Center，简称UC，又称会员中心，提供会员注册登录、信息管理服务)、活动中心(Activity Center，简称AC，又称营销中心，提供优惠券、促销打折活动等营销服务)等业务处理中心，各个业务处理中心都向服务注册中心2041注册了自己的服务标识以及IP地址等信息，假设活动中心AC想要获取用户中心UC的数据，则活动中心AC可以根据用户中心UC的服务标识，向服务注册中心2041请求获取用户中心UC的访问地址，当接收到服务注册中心2041返回的用户中心UC的访问地址以后，活动中心AC可以根据该访问地址向用户中心UC发送数据访问请求，并接收用户中心UC返回的数据，以获得用户中心UC的数据库中的数据，而不能直接访问用户中心UC的数据库。

在一种实施方式中，不同业务处理中心2042之间的接口交互可以包括数据一致性处理。在具体实现中，可以采用消息队列服务来实现不同业务处理中心2042之间的数据同步。该消息队列可以由服务注册中心2041来维护，例如，假设订单中心TC发生了一项业务操作，如用户对某个商品下单，则订单中心TC可以更新自身数据库中的订单状态。此时，订单中心TC还可以根据该下单的商品的信息，生成一个广播消息发送至服务注册中心2041，服务注册中心2041收到该广播消息后，将该广播消息广播到各个业务处理中心2042，假设数据中心DC接收到该广播消息后，则可以根据该广播消息，更新与该商品关联的库存信息，以此实现各个业务处理中心2042的数据库中数据的一致性更新。

在实际中，消息队列可以包括但不限于自建rocketMQ队列，或者AWS的SNS队列以及SQS队列等。

需要说明的是，针对各个数据库中的数据，如果是敏感型的数据，需要支持实时更新。JVM级别的数据则还需要支持定时自动更新。

根据本发明实施例定义的接口，当网关层203想要访问某个业务处理中心2042时，网关层203可以根据该业务处理中心2042的服务标识，向服务注册中心2041请求获取该业务处理中心2042的访问地址，当接收到服务注册中心2041返回的该业务处理中心2042的访问地址以后，网关层203可以根据该访问地址，通过RPC接口向该业务处理中心2042发送数据访问请求，并接收该业务处理中心2042返回的数据。

在一种实施方式中，所述业务处理中心2042还用于在检测到自身故障或者故障消除时，生成故障信息或者故障消除信息，并将所述故障信息或者故障消除信息发送至服务注册中心，以通知服务注册中心进行状态变更；

所述服务注册中心2041还用于当接收到所述故障信息或者故障消除信息时，对所述业务处理中心添加或者删除故障标识；以及，在接收到针对所述故障的业务处理中心的服务请求时，向请求方发送故障提示信息。

具体的，在业务处理中心2042之间的通信过程中，或者，在网关层与业务处理中心2042的通信过程中，将请求服务的一方作为消费方，将提供服务的一方作为服务方。若在通信过程中，消费方与服务方的通信中断，消费方可以向服务注册中心申请另一个服务方的访问地址，并建立与另一个服务方的连接，以进行API变更。则在服务注册中心处，可以将故障的服务方标记故障标识，当故障的服务方的故障修复以后，可以主动通知服务注册中心，则消费注册中心可以删除该服务方的故障标识。

另一方面，故障的服务方也可以通过主动通知机制，通知服务注册中心自身的工作状态，则后续有针对该故障的服务方的请求时，服务注册中心可以通知消费方该服务方的故障信息，并建议消费方进行API变更，推荐其他的服务方。本发明实施例通过API变更的主动通知机制，可以让所有消费该API的消费者能够及时感知到API的变更。在本发明实施例中，基础服务层205可以用于向所述网关层提供基础服务。

在具体实现中，基础服务层205中可以包括多个辅助子系统，每个辅助子系统提供对应的基础服务，例如，该辅助子系统可以包括爬虫系统(scrapy)、运营统计后台(stat，又称统计系统)、企业资源管理ERP系统(wms)、邮件服务系统(edm)、广告投放DSP系统、权限服务系统、支付系统、共享工具包jar等。其中，爬虫系统提供数据爬取服务；运营统计后台提供常规运营管理、统计分析、财务报表等服务；ERP系统提供ERP服务；邮件服务系统提供邮件服务；DSP系统提供广告服务；权限服务系统提供权限管理服务；支付系统提供支付网关服务，对接外部支付方式。

在具体设计时，支付系统可以设置独立的数据库，与上述RPC类似，该数据库可以采用主从架构进行数据存储。

权限系统以及邮件系统可以共用一个数据库。

运营统计后台对应的数据库可以包括独立设置的数据库(如财务统计数据库等)以及上述的统计数据库，统计系统可以具有对该统计数据库或某个从数据库的读权限和/或读/写权限，便于实现后台功能以及统计逻辑。

在本发明实施例的一种优选实施例中，本发明实施例的服务处理系统还可以包括监控系统，该监控系统可以用于对数据通信过程进行监控，检测异常业务信息，并对检测到的异常情况进行及时报警处理。

在本发明实施例中，采用微服务架构对项目进行拆分，按业务模块将项目拆分为多个独立项目，每个独立项目对应一个业务处理中心，并为每个业务处理中心设置独立的数据库，针对每个数据库设置对应的账号权限，实现服务提供方和消费方解耦，能够做到并行开发，从而提升产能。

基于上述服务处理系统，参照图3，示出了本发明的一种服务处理方法实施例的步骤流程图，其中，所述方法应用于服务处理系统中，所述服务处理系统包括网关层以及远程过程调用RPC服务层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，所述RPC层包括多个RPC服务，其中，每个RPC服务具有独立的数据库。

所述方法具体可以包括如下步骤：

步骤301，检测前端业务发起的服务请求；

步骤302，向所述RPC层调用与所述服务请求对应的RPC服务。

在本发明实施例的一种优选实施例中，所述方法还可以包括如下步骤：

接收所述RPC层返回的服务故障通知，所述服务故障通知指示请求的RPC服务故障。

在本发明实施例的一种优选实施例中，所述系统还包括基础服务层，所述方法还包括：

通过多个HTTP接口与所述基础服务层连接。

在本发明实施例的一种优选实施例中，所述数据库采用主从架构进行数据存储，包括主数据库以及从数据库，所述从数据库存储在指定服务器中，所述指定服务器具有对所述从数据库的读权限和/或读/写权限。

对于图3的方法实施例而言，由于其与上述的系统实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

参照图4，示出了本发明的一种服务处理方法另一实施例的步骤流程图，其中，所述方法应用于服务处理系统中，所述服务处理系统包括网关层以及远程过程调用RPC服务层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，所述RPC层包括多个RPC服务，其中，每个RPC服务具有独立的数据库。

所述方法具体可以包括如下步骤：

步骤401，检测网关层是否调用RPC接口；

步骤402，当检测到所述网关层调用RPC接口时，向所述网关层提供对应的RPC服务。

在本发明实施例的一种优选实施例中，所述RPC层包括服务注册中心以及一个或多个业务处理中心；所述方法还包括：

通过不同业务处理中心提供的接口，进行数据一致性处理。

在本发明实施例的一种优选实施例中，步骤402进一步可以包括如下子步骤：

通过服务注册中心接收所述网关层对指定的业务处理中心的访问请求，并向所述网关层返回所述指定的业务处理中心的访问地址；

所述指定的业务处理中心当接收到所述网关层基于所述访问地址发送的数据获取请求时，向所述网关层返回对应的业务数据。

在本发明实施例的一种优选实施例中，所述方法还包括：

在所述业务处理中心检测到自身故障或者故障消除时，生成故障信息或者故障消除信息，并将所述故障信息或者故障消除信息发送至服务注册中心，以通知服务注册中心进行状态变更；

当所述服务注册中心接收到所述故障信息或者故障消除信息时，对所述业务处理中心添加或者删除故障标识；以及，在接收到针对所述故障的业务处理中心的服务请求时，向请求方发送故障提示信息。

对于图4的方法实施例而言，由于其与上述的系统实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其他各种相应的改变以及形变，而所有这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种服务处理系统，其特征在于，所述系统包括网关层以及远程过程调用RPC层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，通过所述RPC层将项目拆分成多个RPC服务，其中，每个RPC服务具有独立的数据库；

所述网关层用于响应前端业务发起的服务请求，通过RPC接口向所述RPC层调用与所述服务请求对应的RPC服务；

所述RPC层用于提供RPC服务；

其中，所述RPC层包括服务注册中心以及一个或多个业务处理中心，其中，不同业务处理中心间通过接口交互，所述交互包括数据一致性处理；所述服务注册中心中维护有消息队列，所述消息队列用于实现不同业务处理中心之间的数据同步；

所述业务处理中心用于提供相应的RPC服务；

2.根据权利要求1所述的系统，其特征在于，

所述业务处理中心还用于在检测到自身故障或者故障消除时，生成故障信息或者故障消除信息，并将所述故障信息或者故障消除信息发送至服务注册中心，以通知服务注册中心进行状态变更；

3.根据权利要求1或2所述的系统，其特征在于，所述系统还包括基础服务层，所述网关层还包括多个HTTP接口,所述网关层通过所述HTTP接口与所述基础服务层连接；

所述基础服务层用于向所述网关层提供基础服务。

4.根据权利要求1所述的系统，其特征在于，所述数据库采用主从架构进行数据存储，包括主数据库以及从数据库；所述系统还包括统计系统，所述从数据库保存在所述统计系统所在的服务器中，所述统计系统具有对所述从数据库的读权限和/或读/写权限。

5.根据权利要求1或2或4所述的系统，其特征在于，所述系统还包括前端业务层以及网络接入层；其中，

所述网络接入层用于建立与所述网关层的网络连接。

6.根据权利要求1或2或4所述的系统，其特征在于，所述系统还包括监控系统，

7.一种服务处理方法，其特征在于，所述方法应用于服务处理系统中，所述服务处理系统包括网关层以及远程过程调用RPC层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，通过所述RPC层将项目拆分成多个RPC服务，其中，每个RPC服务具有独立的数据库；所述RPC层包括服务注册中心以及一个或多个业务处理中心，其中，不同业务处理中心间通过接口交互，所述交互包括数据一致性处理；所述服务注册中心中维护有消息队列，所述消息队列用于实现不同业务处理中心之间的数据同步；

所述方法包括：

检测前端业务发起的服务请求；

通过RPC接口向所述RPC层调用与所述服务请求对应的RPC服务。

8.一种服务处理方法，其特征在于，所述方法应用于服务处理系统中，所述服务处理系统包括网关层以及远程过程调用RPC层，所述网关层包括多个RPC接口，所述网关层通过所述RPC接口与所述RPC层连接，通过所述RPC层将项目拆分成多个RPC服务，其中，每个RPC服务具有独立的数据库；

所述方法包括：

检测网关层是否调用RPC接口；

当检测到所述网关层调用RPC接口时，向所述网关层提供对应的RPC服务；

其中，所述RPC层包括服务注册中心以及一个或多个业务处理中心；不同业务处理中心间通过接口交互，所述交互包括数据一致性处理；所述服务注册中心中维护有消息队列，所述消息队列用于实现不同业务处理中心之间的数据同步；所述方法还包括：

通过不同业务处理中心提供的接口，进行数据一致性处理。