CN103136336A - 一种海量数据集成系统及方法 - Google Patents

Abstract

本发明公开了一种海量数据集成系统，用于海量数据信息存储处理，该系统包括：多个数据存储装置、数据转换装置、应用服务资源池、注册装置和监控装置；数据转换装置，用于对数据存储装置内存储的数据拆分或合并；应用服务资源池中包括多个应用服务器，应用服务器对与其连接的数据存储装置内的数据进行处理；监控装置，用于对应用服务资源池内的应用服务器进行监控，当应用服务器的性能指标大于第一阈值时，控制数据转换装置对数据进行拆分，当应用服务器的性能指标小于第二阈值时，控制数据转换装置对数据进行合并，数据拆分或合并后更改注册装置中记录的数据存储单元与应用服务器的对应关系。本发明还公开了一种海量数据集成方法。

Description

一种海量数据集成系统及方法

技术领域

本发明涉及数据库技术领域，具体涉及一种海量数据集成系统及方法。

背景技术

随着信息技术的不断发展，信息量与日俱增，信息形式变得多种多样，单一数据库的数据存储能力渐渐显得力不从心。特别对于金融行业来说，当客户数量和账务数据达到上亿规模后，更要求其数据集成系统具有良好的数据检索和处理性能、稳定性、灵活性和易于扩展性。

在现有技术中，对海量数据的处理可以采用多数据库集成系统，多数据库系统将多个异构的数据库系统集成起来，每一个数据库系统在逻辑上自成体系，可以存储远远超过单数据库系统的数据量。但是，现有技术中，多数据库系统中部分服务器的处理能力明显不足需扩容，而部分服务器的处理能力又被闲置，存在应用服务器资源使用不均衡的问题。同时，当数据大量增加时，无法及时对多数据库系统进行扩展，无法达到系统扩展性、灵活性和稳定性的要求。

发明内容

有鉴于此，本发明的主要目的是提供一种海量数据集成系统及方法，以解决现有技术中系统资源使用不均衡、不易于扩展的问题。

为解决上述问题，本发明提供的技术方案如下：

一种海量数据集成系统，所述系统包括：

若干个数据存储装置、数据转换装置、应用服务资源池、注册装置以及监控装置；

所述数据存储装置，用于对数据进行存储；

所述数据转换装置，用于将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，或者，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储；

所述应用服务资源池中包括若干个应用服务器，所述应用服务器加载应用系统，并根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

注册装置，用于记录所述数据存储单元、所述应用服务器的地址，以及所述数据存储单元与所述应用服务器的对应关系；

监控装置，用于对所述应用服务资源池内的所述应用服务器进行监控，当所述应用服务器的性能指标大于第一阈值时，控制所述数据转换装置对数据进行拆分，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系；当所述应用服务器的性能指标小于第二阈值时，控制所述数据转换装置对数据进行合并，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系。

相应的，所述系统还包括：

服务分解装置，用于对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器，以使所述对应服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理。

相应的，所述系统还包括：

服务整合装置，用于对不同所述应用服务器的处理结果进行整合，并将整合结果反馈给用户。

相应的，所述系统还包括：

备份数据存储装置，用于对所述数据存储装置内存储的数据进行备份。

相应的，所述数据转换装置包括：

数据拆分单元，用于根据预定键值，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储；

数据合并单元，用于根据预定键值，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储。

一种海量数据集成方法，所述方法包括：

数据存储装置对数据进行存储；

应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

对所述应用服务器进行监控；

当所述应用服务器的性能指标大于第一阈值时，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系；

当所述应用服务器的性能指标小于第二阈值时，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系。

相应的，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之前，所述方法还包括：

对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器。

相应的，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之后，所述方法还包括：

对不同所述应用服务器的处理结果进行整合，并将整合结果反馈给用户。

相应的，所述方法还包括：

对所述数据存储装置内存储的数据进行备份。

相应的，所述将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，包括：

根据预定键值，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储；

所述将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储，包括：

根据预定键值，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储。

由此可见，本发明具有如下有益效果：

本发明对应用服务器进行监控，通过拆分或合并数据，修改注册装置中应用服务器和数据存储之间的对应关系，即可实现服务器资源均衡使用；对于成指数级增长的数据，可以依靠随时增加数据存储装置以及应用服务资源池中的应用服务器数量，实现对系统的扩展，不影响系统的运行，可扩展性好。同时，通过备份数据存储装置，提高数据的可靠性。另外，对数据存储、拆分或合并时，可以根据预定键值进行，例如，根据地域不同进行分区存储，充分实现差异化服务、管理。

附图说明

图1为本发明海量数据集成系统的示意图；

图2为本发明海量数据集成系统中数据转换装置的示意图；

图3为本发明海量数据集成系统的一种具体实施例示意图；

图4为本发明海量数据集成方法的流程图；

图5为本发明海量数据集成方法的一种具体实施例流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。

本发明海量数据集成系统，是针对现有技术中多数据库集成系统存在的资源使用不均衡、不易于扩展的问题，提出一种分布式集成系统，可以包括若干个数据存储装置、数据转换装置、应用服务资源池、注册装置以及监控装置，利用监控装置对应用服务资源池中的应用服务器进行监控，当应用服务器达到临界状态时，利用数据转换装置对数据存储装置中的数据进行拆分或合并，同时修改注册装置中保存的数据存储单元与应用服务器之间的对应关系，从而达到服务器负载均衡的目的。同时，数据存储装置以及应用服务资源池中的应用服务器均可增加，可以直接分配新的地址，在注册装置中记录数据存储单元、应用服务器的地址，并入网络即可，系统易于扩展。

基于上述思想，参见图1所示，本发明海量数据集成系统包括：

若干个数据存储装置1、数据转换装置2、应用服务资源池3、注册装置4以及监控装置5。

其中，数据存储装置1，用于对数据进行存储。

在实际应用中，数据可以按照地域划分，存储在不同的数据存储装置中，实现不同地域的差异化服务。为每个数据存储装置分配固定的局域网地址或IP地址。当数据增加时，可以增加新的数据存储装置直接并入网络，分配新的地址即可。数据存储装置可以采用不同类型的数据库，满足不同类型的关系型数据库或非关系型数据库的兼容性和扩展性。

数据转换装置2，用于将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储，或者，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储。

数据转换装置实现了数据存储装置内数据的拆分和合并。在实际应用中，可以根据预定键值对数据进行划分，例如，预定键值为地域信息，可以将键值为北京的数据，拆分为北京海淀区、北京西城区等的不同数据。数据拆分或合并的程序种类取决于系统中不同类型数据库的数量以及数据拆分或合并的数量。例如，当系统中包含两个不同类型的数据库时，同时需要将一个数据存储装置内存储的数据拆分为在三个数据存储装置内进行存储，则需要6种拆分程序，包括将数据格式1拆分为数据子部分1、将数据格式1拆分为数据子部分2、将数据格式1拆分为数据子部分3、将数据格式2拆分为数据子部分1、将数据格式2拆分为数据子部分2、将数据格式2拆分为数据子部分3，以此类推。对于数据合并类似的原理，例如，当系统中包含两个不同类型的数据库时，同时需要将两个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储，则需要6种合并程序。

需要注意的是，在实际应用中，因为数据扩张的可能性远远大于数据缩小的可能性，因此，数据拆分的使用频率远远大于数据合并的使用频率。

具体的，参见图2所示，数据转换装置2可以包括：

数据拆分单元21，用于根据预定键值，将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储；

数据合并单元22，用于根据预定键值，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储。

应用服务资源池3中包括若干个应用服务器，应用服务器加载应用系统，并根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理。

同样需要为每个应用服务器分配固定的局域网地址或IP地址。可以增加新的应用服务器。不同的应用服务器根据注册装置中注册表的信息，对应服务不同的数据存储装置。不同的应用服务器可以加载相同的应用系统，也可以加载不同的应用系统。

注册装置4，用于记录数据存储单元、应用服务器的地址，以及数据存储单元与应用服务器的对应关系。

注册装置可以通过其中的注册表记录数据存储单元的地址、应用服务器的地址以及数据存储单元与应用服务器的对应关系。当有新的数据存储装置或新的应用服务器加入系统后，均需要为新加入的数据存储装置或应用服务器分配地址，并在注册表中记录。另外，当数据进行拆分或合并后，也需要修改对应的数据存储单元的地址、应用服务器的地址，以及数据存储单元与应用服务器的对应关系。

监控装置5，用于对应用服务资源池内的应用服务器进行监控，当应用服务器的性能指标大于第一阈值时，控制数据转换装置对数据进行拆分，并更改注册装置中记录的数据存储单元与应用服务器的对应关系；当应用服务器的性能指标小于第二阈值时，控制数据转换装置对数据进行合并，并更改注册装置中记录的数据存储单元与应用服务器的对应关系。

监控装置可以实现减少性能差的应用服务器的数据存储处理工作，增加性能好的应用服务器的数据存储处理工作，达到保持系统整体性能的目的。第一阈值或第二阈值可以根据实际情况或经验值进行设定。

参见图3所示，本发明海量数据集成系统还可以包括：

服务分解装置6，用于对业务请求分解为多个业务子请求，确定业务子请求所需要的应用系统类型，将业务子请求发送至对应的应用服务器，以使对应服务器根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理。

服务整合装置7，用于对不同应用服务器的处理结果进行整合，并将整合结果反馈给用户。

服务分解装置和服务整合装置，可以实现对业务请求的交易分解和优化处理，一个业务请求可以分解为若干个业务子请求，由不同的应用服务器和数据存储装置进行处理，处理完成或根据不同的应用服务器和数据存储装置返回结果再进行整合，最终将整合结果反馈给用户。

同时，本发明海量数据集成系统还可以包括：

备份数据存储装置8，用于对数据存储装置内存储的数据进行备份。

每个数据存储装置均可以设置备份数据存储装置，数据存储装置与备份数据存储装置互为备份，并同步实时更新，提高数据储存的安全性。备份数据存储装置可以采用本地备份，也可以采用异地备份。

本系统的工作原理是：

数据存储装置对数据进行存储；注册装置记录数据存储单元、应用服务器的地址，以及数据存储单元与应用服务器的对应关系。当接收到用户的业务请求后，服务分解装置对业务请求分解为多个业务子请求，确定业务子请求所需要的应用系统类型，将业务子请求发送至对应的应用服务器；应用服务器加载应用系统，并根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理。服务整合装置对不同应用服务器的处理结果进行整合，并将整合结果反馈给用户。

在应用服务器处理过程中，实时对应用服务资源池内的各应用服务器进行监控，当应用服务器的性能指标大于第一阈值时，控制数据转换装置对数据进行拆分，并更改注册装置中记录的数据存储单元与应用服务器的对应关系；当应用服务器的性能指标小于第二阈值时，控制数据转换装置对数据进行合并，并更改注册装置中记录的数据存储单元与应用服务器的对应关系。其中，数据转换装置对数据进行拆分可以根据预定键值，将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储；数据转换装置对数据进行合并可以根据预定键值，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储。应用服务器可以根据新的注册装置中记录的数据存储单元与应用服务器的对应关系，对与其对应连接的数据存储装置内的数据进行处理。

这样，对应用服务器进行监控，通过拆分或合并数据，修改注册装置中应用服务器和数据存储之间的对应关系，即可实现服务器资源均衡使用；对于成指数级增长的数据，可以依靠随时增加数据存储装置以及应用服务资源池中的应用服务器数量，实现对系统的扩展，不影响系统的运行，可扩展性好，提高了系统的扩展性、灵活性和稳定性。同时，通过备份数据存储装置，提高数据的可靠性。另外，对数据存储、拆分或合并时，可以根据预定键值进行，例如，根据地域不同进行分区存储，充分实现差异化服务、管理。能够适应金融行业的业务发展，解决实际应用中的性能问题。

相应的，本发明还提供一种海量数据集成方法，参见图4所示，该方法包括以下步骤：

步骤101：数据存储装置对数据进行存储。

具体的，可以按照地域划分，对对数据进行分区存储。

步骤102：应用服务器根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理。

步骤103：对应用服务器进行监控。

步骤103与步骤102可以并行进行，实时对应用服务器的处理过程进行监控，及时发现应用服务器的性能状态异常情况，并对应用服务器进行调整。

步骤104：当应用服务器的性能指标大于第一阈值时，将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系；

具体的，当应用服务器的性能指标大于第一阈值时，可以根据预定键值，将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系。

步骤105：当应用服务器的性能指标小于第二阈值时，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系；

具体的，当应用服务器的性能指标小于第二阈值时，可以根据预定键值，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系。

即当应用服务器处理能力不足时，减少该应用服务器的工作；当该应用服务器处理能力闲置时，增加该应用服务器的工作。

基于上述实施例，在步骤102：应用服务器根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理之前，本方法还可以包括：

对业务请求分解为多个业务子请求，确定业务子请求所需要的应用系统类型，将业务子请求发送至对应的应用服务器。

在应用服务器根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理之后，本方法还可以包括：

对不同应用服务器的处理结果进行整合，并将整合结果反馈给用户。

另外，方法还可以对数据存储装置内存储的数据进行备份。

参见图5所示，本发明一种海量数据集成方法的具体实施例，可以包括以下步骤：

步骤201：数据存储装置对数据进行存储。

步骤202：对业务请求分解为多个业务子请求，确定业务子请求所需要的应用系统类型，将业务子请求发送至对应的应用服务器。

步骤203：应用服务器根据应用系统类型对应用服务器对应连接的数据存储装置内的数据进行处理。

步骤204：对不同应用服务器的处理结果进行整合，并将整合结果反馈给用户。

步骤205：对应用服务器进行监控。

步骤206：当应用服务器的性能指标大于第一阈值时，根据预定键值，将在一个数据存储装置内存储的数据拆分为在多个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系。

步骤207：当应用服务器的性能指标小于第二阈值时，根据预定键值，将在多个数据存储装置内存储的数据合并为在一个数据存储装置内进行存储，并更改数据存储单元与应用服务器的对应关系。

在上述实施例中，步骤205-步骤207的过程和步骤203的过程可以并行实现，实时对应用服务器进行监控并调整。

这样，本发明对应用服务器进行监控，通过拆分或合并数据，修改注册装置中应用服务器和数据存储之间的对应关系，即可实现服务器资源均衡使用；对于成指数级增长的数据，可以依靠随时增加数据存储装置以及应用服务资源池中的应用服务器数量，实现对系统的扩展，不影响系统的运行，可扩展性好。同时，通过备份数据存储装置，提高数据的可靠性。另外，对数据存储、拆分或合并时，可以根据预定键值进行，例如，根据地域不同进行分区存储，充分实现差异化服务、管理。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种海量数据集成系统，其特征在于，所述系统包括：

若干个数据存储装置、数据转换装置、应用服务资源池、注册装置以及监控装置；

所述数据存储装置，用于对数据进行存储；

所述数据转换装置，用于将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，或者，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储；

所述应用服务资源池中包括若干个应用服务器，所述应用服务器加载应用系统，并根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

注册装置，用于记录所述数据存储单元、所述应用服务器的地址，以及所述数据存储单元与所述应用服务器的对应关系；

监控装置，用于对所述应用服务资源池内的所述应用服务器进行监控，当所述应用服务器的性能指标大于第一阈值时，控制所述数据转换装置对数据进行拆分，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系；当所述应用服务器的性能指标小于第二阈值时，控制所述数据转换装置对数据进行合并，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

服务分解装置，用于对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器，以使所述对应服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：

服务整合装置，用于对不同所述应用服务器的处理结果进行整合，并将整合结果反馈给用户。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：

备份数据存储装置，用于对所述数据存储装置内存储的数据进行备份。

5.根据权利要求1所述的系统，其特征在于，所述数据转换装置包括：

数据拆分单元，用于根据预定键值，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储；

数据合并单元，用于根据预定键值，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储。

6.一种海量数据集成方法，其特征在于，所述方法包括：

数据存储装置对数据进行存储；

应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

对所述应用服务器进行监控；

当所述应用服务器的性能指标大于第一阈值时，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系；

当所述应用服务器的性能指标小于第二阈值时，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系。

7.根据权利要求6所述的方法，其特征在于，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之前，所述方法还包括：

对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器。

8.根据权利要求6所述的方法，其特征在于，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之后，所述方法还包括：

对不同所述应用服务器的处理结果进行整合，并将整合结果反馈给用户。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

对所述数据存储装置内存储的数据进行备份。

10.根据权利要求6所述的方法，其特征在于，

所述将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，包括：

根据预定键值，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储；

所述将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储，包括：

根据预定键值，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储。

Images