CN110012111B - 一种数据服务集群系统及数据处理方法 - Google Patents

Abstract

本发明公开了一种数据服务集群系统及数据处理方法，该系统包括：多个域名系统和服务器集群，其中，每个服务器集群设置有与多个域名系统对应的多个IP，每个服务器集群包括：多个反向代理服务器、多个应用服务器和数据库；多个域名系统根据多个IP，通过负载均衡技术分配并发送访问请求至多个反向代理服务器；多个反向代理服务器根据多个应用服务器的运行状态向多个应用服务器配发访问请求；多个应用服务器解析和转换访问请求为符合数据库格式要求的数据处理请求，并发送至数据库进行执行。本申请提供的系统和方法用于解决现有数据库系统耗费扩充成本，且易发生服务中断的技术问题。实现了节约成本，提高可靠性的技术效果。

Description

一种数据服务集群系统及数据处理方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据服务集群系统及数据处理方法。

背景技术

随着通讯和信息技术的发展，数据库的应用也越来越多。

传统的数据库受硬件的限制比较大，一旦出现业务变化导致需要扩大数据库进行升级时，受原本硬件架构限制，往往需要更换服务设备，即需要耗费很高的成本采购新的设备作替换。并且在更换服务设备时，往往需要暂停服务，不仅耗费成本，还造成了服务中断。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据服务集群系统及数据处理方法。

第一方面，提供一种数据服务集群系统，包括：

多个域名系统和服务器集群，其中，所述服务器集群设置有与所述多个域名系统对应的多个IP，

所述服务器集群包括：多个反向代理服务器、多个应用服务器和数据库；

其中，所述多个域名系统根据所述多个IP，通过负载均衡技术分配并发送访问请求至所述多个反向代理服务器；所述多个反向代理服务器根据所述多个应用服务器的运行状态向所述多个应用服务器分配并发送所述访问请求；所述多个应用服务器解析和转换所述访问请求为符合所述数据库格式要求的数据处理请求，并发送所述数据处理请求至所述数据库进行执行。

可选的，所述数据库包括：多个路由和多个分片，其中每个所述分片包括主架构单元和备份架构单元，其中，所述多个应用服务器分配并发送所述数据处理请求至所述多个路由；所述多个路由将所述数据处理请求分配至对应的分片进行执行。

可选的，所述多个IP对应的多个IP地址服务器互为主备。

可选的，所述负载均衡技术为Keepalived或Heartbeat。

可选的，所述反向代理服务器为Nginx或HAProxy。

可选的，所述数据库为分布型数据库。

第二方面，提供一种数据处理方法，所述方法应用于第一方面所述的数据集群系统，包括：

所述多个域名系统接收到M个访问请求，并将所述M个访问请求通过负载均衡技术分配并发送至所述多个反向代理服务器，其中，所述多个反向代理服务器预设有所述多个IP；M为正整数；

所述多个反向代理服务器根据所述多个应用服务器的运行状态向所述多个应用服务器分配并发送所述M个访问请求；

所述多个应用服务器解析和转换所述M个访问请求为符合所述数据库格式要求的M个数据处理请求，并发送所述M个数据处理请求至所述数据库进行执行。

可选的，所述数据库包括多个路由和多个分片，所述发送所述M个数据处理请求至所述数据库进行执行，包括：所述多个应用服务器分配并发送所述M个数据处理请求至所述多个路由；所述多个路由将所述M个数据处理请求分配至对应的分片进行执行。

可选的，所述多个IP对应的多个IP服务器互为主备，如果所述多个IP服务器中的任一IP服务器离线，则将离线的IP服务器对应的IP转移到其他IP服务器上。

第三方面，提供一种模组的数据处理方法，包括：

在所述模组的检测制程中，将获取的检测数据与所述模组的唯一身份识别码对应存储于所述模组外部的如第一方面所述的数据服务集群系统；

对所述数据服务集群系统存储的与所述唯一身份识别码对应的检测数据进行合并，获得合并数据；

按照所述唯一身份识别码表征的模组类型，对所述合并数据进行符合所述模组类型的数据转换，获得转换后数据。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

本发明实施例提供的模组的数据服务集群系统及数据处理方法，设置多个域名系统和具有多个IP(Internet Protocol Address，互联网协议地址)的服务器集群，并设置每个服务器集群包括：多个反向代理服务器、多个应用服务器和数据库。一方面，通过多个域名系统和多个IP的配合，实现能在对外域名不变的情况下，便利的更改对应的IP，实现不中断升级；另一方面，通过负载均衡技术对多个反向代理服务器进行请求分配，提高任务处理效率的同时，也能实现不中断升级；再一方面，该系统的架构设计在各服务层都设置有冗余，不会因为单点故障而中断服务，且服务器集群中的每一层对于前一层来说，都能依据前端请求量增大，而横向不中断的扩充设备以应付处理的吞吐量，对前一层来说，当后一层横向扩容增加后，前一层都能有效将转发的请求分配发送与后一层的设备，达到附载均衡。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中数据服务集群系统的示意图；

图2为本发明实施例中数据处理方法的步骤图；

图3为本发明实施例中模组的数据处理方法的步骤图。

具体实施方式

本发明实施例中的技术方案，总体思路如下：

本发明实施例提供的数据服务集群系统及数据处理方法，设置多个域名系统和服务器集群，其中，每个服务器集群设置有与多个域名系统对应的多个IP，每个服务器集群包括：多个反向代理服务器、多个应用服务器和数据库；其中，多个域名系统根据多个IP，通过负载均衡技术分配并发送访问请求至多个反向代理服务器；多个反向代理服务器根据多个应用服务器的运行状态向多个应用服务器分配并发送访问请求；多个应用服务器解析和转换访问请求为符合数据库格式要求的数据处理请求，并发送数据处理请求至数据库进行执行。该系统在各服务层都设置有冗余，不会因为单点故障而中断服务，且服务器集群中的每一层对于前一层来说，都能依据前端请求量增大，而横向不中断的扩充设备以应付处理的吞吐量，对前一层来说，当后一层横向扩容增加后，前一层都能有效将转发的请求分配发送与后一层的设备，达到附载均衡。

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本实施例提供了一种数据服务集群系统，请参考图1，图1为本发明实施例中数据服务集群系统的示意图，该系统包括：

多个域名系统1和服务器集群2，其中，所述服务器集群2设置有与所述多个域名系统1对应的多个IP，

所述服务器集群2包括：多个反向代理服务器3、多个应用服务器4和数据库5；

其中，所述多个域名系统1根据所述多个IP，通过负载均衡技术分配并发送访问请求至所述多个反向代理服务器3；所述多个反向代理服务器3根据所述多个应用服务器4的运行状态向所述多个应用服务器4分配并发送所述访问请求；所述多个应用服务器4解析和转换所述访问请求为符合所述数据库格式要求的数据处理请求，并发送所述数据处理请求至所述数据库5进行执行。

需要说明的是，本实施例中的系统可以用于产线上的生成数据管理，也可以用于服务商服务用户的用户数据管理，或者用于网络平台的网络日志数据管理，在此不作限制。

还需要说明的是，本实施例中的多个均是指大于等于两个。本实施例中的服务器集群2可以有一个或多个。本实施例中的域名系统1、IP服务器、反向代理服务器3、应用服务器4和数据库5，可以是集成在一台设备上的服务器模块，也可以是分别独立设置的服务器设备，在此不作限制。例如，可以设置一个IP服务器和一个反向代理服务器均设置在一台服务器设备上。

下面，结合图1详细介绍本实施例提供的数据服务集群系统：

设置多个域名系统1(Domain Name System,DNS)实现域名解析的冗余设计，在接收到工作人员或用户通过预设的域名发送的访问请求后，域名系统1解析域名，确定出预先对应该域名设置的多个IP，以访问确定的IP对应的服务器集群2。如果其中一个域名系统出现故障，会自动将通过预设域名发送的访问请求转移至正常的域名系统，避免服务中断。如果访问量激增，可以增加域名系统，并将增加的域名系统与预设域名及预设IP绑定即可，不需要中断服务。

为每个服务器集群2设置多个对外提供服务的IP做冗余，即以DNS方式，将一个服务器集群对应到多个为外部提供服务的IP。多个IP对应的多个IP服务器互为主备。当其中一台IP服务器离线，离线设备所配的对外服务IP会转移到另一台IP服务器上以继续提供服务，反之亦然。使得即使其中某个IP对应的IP服务器出现故障，设置的多个IP都有IP服务器能够响应服务。

具体来讲，可以利用附载均衡技术，例如keepalived设置多组虚拟路由冗余协议(Virtual Router Redundancy Protocol，VRRP)，从而实现分别在多个IP服务器上设置前述配好的多个IP，多个IP交叉互为主备。

当然，在具体实施过程中，负载均衡技术还可以为Heartbeat，在此不作限制。

设置多个反向代理服务器3，该多台反向代理服务器3接收前一层采用附载均衡技术分配下的访问请求，从而为访问请求的处理提供冗余，且增加处理效率，达到高可用。该多台反向代理服务器3还能监控后一层多个应用服务器的当前工作状态，并根据多个应用服务器4各自的工作状态来分配访问请求至预先登记的多个应用服务器4，从而保证效率。反向代理服务器3向多个应用服务器4分配请求也可以采用负载均衡技术，以实现高效，高可用。

如果其中一个反向代理服务器3出现故障，会自动将访问请求转移至正常的反向代理服务器3进行处理，避免服务中断。如果访问量激增，可以增加反向代理服务器3，并将增加的反向代理服务器3与预设IP绑定，并在增加的反向代理服务器3上登记后一层的应用服务器4即可，不需要中断服务。

举例来讲，假设系统设置有两个反向代理服务器A和B，设置有5个应用服务器a、b、c、d和e。A接收到30个访问请求，B接收到34个访问请求。反向代理服务器监控获知应用服务器c的当前处理量已趋于饱和，a的当前处理量为0，则确定分配较多数量的请求至a，较少数量的请求至c。反向代理服务器A依序向应用服务器a、b、c、d和e分别分配请求数量为：10个、6个、2个、6个和6个。反向代理服务器B依序向应用服务器a、b、c、d和e分别分配请求数量为：11个、7个、2个、7个和7个。以实现请求的高效处理。

再例如，A接收到30个访问请求，B接收到34个访问请求。反向代理服务器监控获知应用服务器b故障，则确定不分配请求至b。反向代理服务器A依序向应用服务器a、b、c、d和e分别分配请求数量为：7个、0个、8个、8个和7个。反向代理服务器B依序向应用服务器a、b、c、d和e分别分配请求数量为：9个、0个、8个、9个和8个。以实现冗余，提高系统可靠性。

在具体实施过程中，反向代理服务器3可以采用Nginx来架设，也可以采用HAProxy来架设，在此不作限制。

设置多个应用服务器4，应用服务器4的上一层为反向代理服务器3，下一层为数据库5。应用服务器4解析获取的访问请求或参数，经过逻辑计算或将参数转译成符合后端数据库5要求的表征数据增加、删除、修改或查找等语句的数据处理请求后，向后端数据库5发出该数据处理请求。等到获取数据库5返回的数据处理结果后，依需要转化为预先议定好的格式回应给发出访问请求的客户端，或转发其他逻辑做继续的数据处理。

如果其中一个应用服务器4出现故障，会自动将访问请求转移至正常的应用服务器4进行处理，避免服务中断。如果访问量激增，可以增加应用服务器4，并将增加的应用服务器4在前一层的反向代理服务器3上登记，并与后一层数据库5绑定，不需要中断服务。故多个应用服务器除了提供冗余，还可以依前端业务量成长，而易于添加应用服务器，来提供更大的计算量。

在一种实施方式中，设置数据库5包括：多个路由和多个分片，其中每个分片包括主架构单元和备份架构单元，其中，多个应用服务器4分配并发送数据处理请求至多个路由，通过多个路由将数据处理请求分配至对应的分片进行执行。设置多个路由一方面提高请求处理效率，另一方面也提供了冗余。设置主架构单元和备份架构单元也为关键业务的数据保存提高了很好的冗余保障。如果访问量和数据量激增，可以增加数据库硬件设备，并将增加的设备与前一层应用服务器4绑定即可，不需要中断服务。

在具体实施过程中，数据库5可以以MongoDB等分布型数据库来建立，已达到数据库的高可用和可扩充。当然，也可以以Couchnase或者CouchDB等文档型数据库或其他类型数据库来建立，在此不作限制。

以数据库5以MongoDB来建立分片集群为例，如图1所示，数据库5中设置多个路由和多个分片，分片的前端设置有MongoDB的路由，可将收到的数据处理请求依据分片键，到对应的分片中进行数据处理。具体来讲，应用服务器4配合MongoDB驱动，实现对多台MongoDB路由做附载均衡，而该驱动同时支持数据连线冗余。如果其中一台路由离线，需要处理的请求会自动转发到其余的路由来处理，避免中断。MongoDB的分片可将收到数据依据分片键的范围定义，分散存放于各分片中。MongoDB路由将需要处理的请求依据分片键，均衡分配于各分片中。通过多分片设置也分散了运算的压力，能提供更多增删改查的数据运算服务。分片内的结构可以设置有主架构单元有备份架构单元，同时提供线上服务及备份的机制。而当其中一台架构单元因故离线另外的架构单元仍能继续提供不间断的服务，并同时保有一个备援，对于关键业务的数据保存安全性提供了很好的保障。

即数据库5本身的多路由将数据处理请求分散到分片，即实现数据存放的附载均衡，也实现请求处理的附载均衡。而分片中的主备单元设置实现了提供服务和备份数据同时兼具的功能，也容许任一单元离线维修而不中断服务。

可见，本申请提供的方案在系统的每一个环节和层次都实现了冗余和高可用，任一环节的扩充升级都不需要淘汰原设备，只需要补充新设备，实现了节约成本。任一环节出现单点故障都有可转移提供服务的设备，也避免了服务中断，实现了高可靠性。

基于同一发明构思，本实施例还提供了一种数据处理方法，该方法应用于前述的数据集群系统，如图2所示，该方法包括：

步骤S201，所述多个域名系统接收到M个访问请求，并将所述M个访问请求通过负载均衡技术分配并发送至所述多个反向代理服务器，其中，所述多个反向代理服务器预设有所述多个IP；M为正整数；

步骤S202，所述多个反向代理服务器根据所述多个应用服务器的运行状态向所述多个应用服务器分配并发送所述M个访问请求；

步骤S203，所述多个应用服务器解析和转换所述M个访问请求为符合所述数据库格式要求的M个数据处理请求，并发送所述M个数据处理请求至所述数据库进行执行。

在一种可选的实施方式中，数据库包括多个路由和多个分片，所述发送所述M个数据处理请求至所述数据库进行执行，包括：

所述多个应用服务器分配并发送所述M个数据处理请求至所述多个路由；

所述多个路由将所述M个数据处理请求分配至对应的分片进行执行。

在一种可选的实施方式中，，所述多个IP对应的多个IP服务器互为主备，如果所述多个IP服务器中的任一IP服务器离线，则将离线的IP服务器对应的IP转移到其他IP服务器上。

由于本实施例所介绍的方法，为本申请提供的数据集群系统上数据的处理方法，故而基于本发明所介绍的系统，本领域所属人员能够了解该方法的具体步骤及变形，故而在此不再赘述。

在一种可选的实施方式中，还提供一种模组的数据处理方法，请参考图3，图3为本发明实施例中模组的数据处理方法的流程图，该方法包括：

步骤S301，在所述模组的检测制程中，将获取的检测数据与所述模组的唯一身份识别码对应存储于所述模组外部的之前实施例提供的数据服务集群系统；

步骤S302，对该数据服务集群系统存储的与所述唯一身份识别码对应的检测数据进行合并，获得合并数据；

步骤S303，按照所述唯一身份识别码表征的模组类型，对所述合并数据进行符合所述模组类型的数据转换，获得转换后数据。

需要说明的是，本实施例中的模组可以是摄像模组或指纹模组等，在此不作限制。该检测制程包括模组出厂前的各种校准和检测步骤。

在一种实施方式中，每个模组均预先设置有唯一身份识别码，在检测制程前或检测制程中获取并存储该唯一身份识别码。具体地，该唯一身份识别码可以是模组序列号或模组内部的传感器序列号或者是模组序列号和传感器序列号的组合。另外，当模组为双摄或多摄模组时，其中每个摄像头均有自身的唯一身份识别码，可选的，该唯一身份识别码可以包括两部分：模组整体的识别码和模组内部每个具体的摄像头的识别码。举例来讲，假设摄像模组为双摄模组，包括有两个摄像头B和C，摄像模组的整体编码(例如序列号)为a1,摄像头B的编码为b1,摄像头C的编码为c1，则可以设置，摄像头B的唯一身份识别码为a1b1,摄像头C的唯一身份识别码为a1c1，以使得每个摄像头都有不重复的唯一身份识别码。

在检测制程开始后，每次检测所产生的过程数据和/或结果数据均作为检测数据存储于数据服务集群系统中。具体是与唯一身份识别码对应存储的，即检测A模组获得的检测数据则对应A模组的唯一身份识别码来存储，对A模组进行一系列检测后，生成的所有数据可作为该A模组的生产履历，对应该唯一身份识别码存储。

具体来讲，检测数据是各个检测工艺站点产出的原始测试数据，该检测数据不与模组类型或储存进EEPROM/OTP的数据格式或地址产生关联，在测试过程中，仅需测试和记录数据，不需要考虑模组类型，以及存进EEPROM/OTP的数据格式或地址，能提高测试效率。并且，将检测数据存储在数据服务集群系统，不需要为了适应不同的模组类型多次对检测数据进行格式转换，也能提高制程效率。

还需要说明的是，将检测数据先存储在模组外部的数据服务集群系统中，在进行检测制程时，如果某项检测需要使用之前已存储的检测数据进行检测，则可以根据该模组的唯一身份识别码，从数据服务集群系统中读取出对应的检测数据进行检测。这样避免了从模组内部的存储单元反复的读取和转换数据格式，能减少数据被影响因素，提高读取效率和存储数据的一致性。

接下来对所述数据服务集群系统内存储的与所述唯一身份识别码对应的检测数据进行合并，获得合并数据。

即存放在数据服务集群系统内的检测数据，若对应有相同的唯一身份识别码，则进行合并集中放置。具体的合并方式，可以是合并在一个地址区域内存储，或者是合并计算校验码后存储。具体的合并时间，可以是在每次获得检验数据后，即将获得的检验数据实时合并入该唯一身份识别码对应的数据集，也可以是在检测制程完成后，再将之前存储的对应的唯一身份识别码相同的检验数据进行合并，在此均不作限制。

还需要说明的是，合并数据可以是对所有的与所述唯一身份识别码对应的检测数据均进行合并，也可以是仅对其中的关键数据进行合并。具体地，存储在数据服务集群系统的检测数据是各个检测工艺站点产出的原始测试数据，其中，关键数据具体可以是指根据客户要求最终需要放入EEPROM或OPT或者终端的系列数据。具体来讲，可以是根据预设的关键数据列表或关键数据判断标准，从所述数据服务集群系统内存储的与该唯一身份识别码对应的检测数据中确定出关键数据，再对确定出的所述关键数据进行合并。例如，关键数据为AWB(auto white balance)、AF(auto focus)、LSC(lens shading correcting)、PDAF(phase detection auto focus)等数据。

在一种实施方式中，当模组为双摄或多摄模组时，如前所述，模组中的每个摄像头均有唯一身份识别码。该种情况下的数据合并可以根据每个摄像头的唯一身份识别码来分别进行数据合并，以便每个摄像头的参数数据均能有序存储和识别。

再下来，按照所述唯一身份识别码表征的模组类型，对所述合并数据进行符合所述模组类型的数据转换，获得转换后数据。

在具体实施过程中，考虑到不同的模组类型(品牌或型号)，对写入的数据格式也有不同的要求，故在获得合并数据后，先根据唯一身份识别码识别模组的类型，再将合并数据转换成该模型类型指定的数据格式和位址要求，以适应不同的模组要求。

在一种实施方式中，当模组为双摄或多摄模组时，如前所述，模组中的每个摄像头均有唯一身份识别码。该种情况下的合并数据转换可以根据每个摄像头指定的数据格式来进行数据转换，以便每个摄像头的参数数据均能被有效识别和存储。

在完成合并数据的统一转换后，可以采用需要的方式来使模组获得需要的数据，下面列举两种为例：

第一种，将转换后数据存储入所述模组内部的存储单元。

具体来讲，由于各模组使用的存储介质特性不同，规定的存储操作方式不同，故可以先根据唯一身份识别码识别模组的类型，在按照该模组类型的介质要求将转换后数据储存进模组的EEPROM/OTP的对应地址中。

第二种，将转换后数据发送至安装所述模组的终端设备。

具体来讲，不需要在模组上设置存储单元，也不需要在出厂前进行数据写入工序。在模组被安装在手机、平板等终端设备上后，可以通过终端设备向服务器发起请求来获得转换后数据，并将获得的转换后数据存储在终端设备的存储单元中。

当然，具体实施过程中，模组获得需要的数据的方式不限于上述两种，在此不作限制。

在一种实施方式中，为了便于查验存储于存储单元中的数据是否发生改动或因制程先后顺序造成前后关联数据不一致，可以先对格式转换后的转换后数据进行一个或多个数学计算，获得校验码。再将转换后数据和计算出的校验码存储入该唯一身份识别码表征的模组内部的存储单元，其中，通过校验码能验证存储单元中存储的转换后数据是否改动或因制程先后顺序造成前后关联数据不一致。

在一种实施方式中，在将格式转换后的转换后数据存储入模组内部的存储单元之后，还可以再读取存储单元中存储的已写入的转换后数据，并比对已写入的转换后数据和之前存储在数据存储区域内的转换后数据，如果比对两者一致则确定写入存储单元的转换后数据没有被改动，如果比对两者不一致则确定写入存储单元的转换后数据被改动，从而实现简易便捷的对数据进行校验。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

本发明实施例提供的数据服务集群系统及数据处理方法，设置多个域名系统和具有多个IP(Internet Protocol Address，互联网协议地址)的多个服务器集群，并设置每个服务器集群包括：多个反向代理服务器、多个应用服务器和数据库。一方面，通过多个域名系统和多个IP的配合，实现能在对外域名不变的情况下，便利的更改对应的IP，实现不中断升级；另一方面，通过负载均衡技术对多个反向代理服务器进行请求分配，提高任务处理效率的同时，也能实现不中断升级；再一方面，该系统的架构设计在各服务层都设置有冗余，不会因为单点故障而中断服务，且服务器集群中的每一层对于前一层来说，都能依据前端请求量增大，而横向不中断的扩充设备以应付处理的吞吐量，对前一层来说，当后一层横向扩容增加后，前一层都能有效将转发的请求分配发送与后一层的设备，达到附载均衡。

本发明实施例提供的模组的数据处理方法，在模组外部设置数据服务集群系统。在模组的检测制程中，将获取的检测数据与该模组的唯一身份识别码先对应存储于数据服务集群系统，在完成检测制程后，再将数据统一进行格式转换。而不是实时进行格式转换写入模组内部，避免了反复格式转换耗时和对模组内部存储单元的反复读写，即提高了检测制程的效率，也减少了数据出错的概率。本发明实施例还按照唯一身份识别码对数据服务集群系统内存储检测数据进行对应合并，并按照唯一身份识别码表征的模组类型，对合并数据进行数据转换，保证了数据存储的有序性和合规性，进一步减少了数据出错的概率。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器、数字信号处理器(DSP)或者嵌入式系统来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种数据服务集群系统，其特征在于，包括：

多个域名系统和服务器集群，其中，所述服务器集群设置有与所述多个域名系统对应的多个IP，

所述服务器集群包括：多个反向代理服务器、多个应用服务器和数据库；

其中，所述多个域名系统根据所述多个IP，通过负载均衡技术分配并发送访问请求至所述多个反向代理服务器；所述多个反向代理服务器根据所述多个应用服务器的运行状态向所述多个应用服务器分配并发送所述访问请求；所述多个应用服务器解析和转换所述访问请求为符合所述数据库格式要求的数据处理请求，并发送所述数据处理请求至所述数据库进行执行；

所述数据库包括：多个路由和多个分片，其中每个所述分片包括主架构单元和备份架构单元，其中，所述多个应用服务器分配并发送所述数据处理请求至所述多个路由；所述多个路由根据分片键将所述数据处理请求分配至对应的分片进行执行。

2.如权利要求1所述的系统，其特征在于，所述多个IP对应的多个IP地址服务器互为主备。

3.如权利要求1所述的系统，其特征在于，所述负载均衡技术为Keepalived或Heartbeat。

4.如权利要求1所述的系统，其特征在于，所述反向代理服务器为Nginx或HAProxy。

5.如权利要求1所述的系统，其特征在于，所述数据库为分布型数据库。

6.一种数据处理方法，其特征在于，所述方法应用于权利要求1-5任一所述的数据集群系统，包括：

所述多个域名系统接收到M个访问请求，并将所述M个访问请求通过负载均衡技术分配并发送至所述多个反向代理服务器，其中，所述多个反向代理服务器预设有所述多个IP；M为正整数；

所述多个反向代理服务器根据所述多个应用服务器的运行状态向所述多个应用服务器分配并发送所述M个访问请求；

所述多个应用服务器解析和转换所述M个访问请求为符合所述数据库格式要求的M个数据处理请求，并发送所述M个数据处理请求至所述数据库进行执行；

其中所述数据库包括多个路由和多个分片，所述发送所述M个数据处理请求至所述数据库进行执行，包括：

所述多个应用服务器分配并发送所述M个数据处理请求至所述多个路由；

所述多个路由根据分片键将所述M个数据处理请求分配至对应的分片进行执行。

7.如权利要求6所述的方法，其特征在于，所述多个IP对应的多个IP服务器互为主备，如果所述多个IP服务器中的任一IP服务器离线，则将离线的IP服务器对应的IP转移到其他IP服务器上。

8.一种模组的数据处理方法，其特征在于，包括：

在所述模组的检测制程中，将获取的检测数据与所述模组的唯一身份识别码对应存储于所述模组外部的如权利要求1-5任一所述的数据服务集群系统；

对所述数据服务集群系统存储的与所述唯一身份识别码对应的检测数据进行合并，获得合并数据；

按照所述唯一身份识别码表征的模组类型，对所述合并数据进行符合所述模组类型的数据转换，获得转换后数据。

Images