CN106354875B - 数据调度装置 - Google Patents

Abstract

本发明提供一种数据调度装置，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。通过实施本发明，可以减轻数据库压力。

Description

数据调度装置

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种数据调度装置。

背景技术

随着业务不断扩展，数据不断增加，数据库的压力也会越来越大，对数据库或者结构化查询语言SQL(Structured Query Language)的基本优化可能达不到最终的效果，令业务系统运行不稳定。

现有技术一是通过多个数据库实现读写分离：把对数据库读和写的操作分开对应不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻IO压力，主数据库提供写操作，从数据库提供读操作。当主数据库进行写操作时，数据要同步到从的数据库，这样才能有效保证数据库完整性。主数据库同步到从数据库后，从数据库一般由多台数据库组成这样才能达到减轻压力的目的。这样无形中提高了系统建设成本和维护成本。

现有技术二是在应用层通过spring特性令数据库读写分离，但此方案不支持@Transactional注解事务，要求所有读方法必须是read-only＝“true”。因此，如果采用@Transactional注解事务，就要求在每一个读方法头上加@Transactional且readOnly属性＝true，相当麻烦。并且必须按照配置约定进行配置，不够灵活。

发明内容

本发明实施例的主要目的在于提供一种数据调度装置，以解决现有技术中需要多台数据库减轻数据库压力、方案配置不够灵活的问题。

为了实现上述目的，本发明实施例提供一种数据调度装置，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。

在其中一种实施例中，数据调度装置还包括：数据源系统，用于将数据推送到实时接入子系统。

在其中一种实施例中，实时接入子系统还用于：校验数据格式。

在其中一种实施例中，数据分析子系统还用于：根据指定的业务规则分析数据。

在其中一种实施例中，数据分析区还用于：删除向数据分析子系统提供的数据。

在其中一种实施例中，数据调度子系统具体用于：在数据接入区的数据量达到源数据池阈值，数据分析区的数据量达到目标数据池阈值时，将数据接入区存储的数据调度至数据分析区。

在其中一种实施例中，数据调度子系统还用于：根据数据迁移的源地址和目标地址将数据接入区存储的数据调度至数据分析区。

在其中一种实施例中，数据调度子系统还用于：根据如下一项或多项，将数据接入区存储的数据调度至数据分析区：迁移步长、迁移标记点、迁移频率、迁移执行者。

在其中一种实施例中，数据调度装置还包括：历史表，用于存储数据接入区超过存储周期的数据。

在其中一种实施例中，历史表存储的数据为数据接入区中的历史数据。

借助于上述技术方案，本发明将实时接入子系统与数据分析子系统进行解耦，将数据库划分为数据接入区与数据分析区。实时接入子系统将数据存入到数据接入区；数据分析子系统分析来自数据分析区的数据；数据调度子系统将数据接入区存储的数据调度至数据分析区。相比于现有技术，本发明实施例将数据库分区，通过一台数据库和数据的迁移调度实现了数据的读写分离功能，有效减轻数据库压力，简单灵活，提升了业务系统运行的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中数据调度装置的结构框图；

图2是本发明实施例中数据调度装置第一种实施例的结构框图；

图3是本发明实施例中数据调度装置第二种实施例的结构框图；

图4是本发明实施例中数据调度装置第三种实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

鉴于现有技术中存在需要多台数据库减轻数据库压力、方案配置不够灵活的问题，本发明实施例提供了一种数据调度装置，将实时接入子系统与数据分析子系统进行解耦，将数据库划分为数据接入区与数据分析区。实时接入子系统将数据存入到数据接入区；数据分析子系统分析来自数据分析区的数据；数据调度子系统将数据接入区存储的数据调度至数据分析区。相比于现有技术，本发明实施例将数据库分区，通过一台数据库和数据的迁移调度实现了数据的读写分离功能，有效减轻数据库压力，简单灵活，提升了业务系统运行的稳定性。

图1是数据调度装置的结构框图。如图1所示，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。

图2是本发明实施例中数据调度装置第一种实施例的结构框图。如图2所示，数据调度装置还包括：数据源系统，用于将数据推送到实时接入子系统。数据源系统可以与数据调度装置进行数据交互。

实施例中，实时接入子系统还用于：校验数据格式，格式正确的数据将会存入数据库，格式有误的数据将会删除。数据分析区还会删除数据分析子系统已读取的数据，以保证数据库的存储空间，提升业务系统运行的稳定性。数据分析子系统还用于：根据指定的业务规则分析数据，当数据不符合指定的业务规则时，数据分析子系统会生成并存储警告结果。

数据调度子系统可以通过多种方式迁移、调度数据。在其中一种实施例中，数据调度子系统具体用于：在数据接入区的数据量达到源数据池阈值，数据分析区的数据量达到目标数据池阈值时，将数据接入区存储的数据调度至数据分析区。当实时接入子系统向数据库存储大量数据时，会有大量数据待迁移；此时调度子系统将数据连续从数据接入区迁移至数据分析区，直至上述迁移条件不成立。实施例中，迁移效率可以达到每秒万级的数据量，足够承受实时接入子系统存储数据的高峰期。

具体实施时，实时接入子系统接收外部数据并校验数据格式，通过校验的数据会持久化到数据库的数据接入区；根据业务含义，在数据库的持久层将数据库的存储区划分为数据接入区与数据分析区。数据调度子系统将通过校验的数据从数据接入区迁移到数据分析区，数据分析区存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统从数据分析区读取数据，根据业务规则对来自数据分析区的数据进行分析，经过数据分析子系统读取的数据将会从数据分析区中删除。本发明令数据实现读写分离，只有当数据接入区的数据量达到调度指令中的源数据池阈值，数据分析区的数据量达到调度指令中的目标数据池阈值时，数据才会从数据接入区迁移至数据分析区，提升了业务系统的性能和运行的稳定性。

实施例中，数据调度子系统还用于：根据数据迁移的源地址和目标地址将数据接入区存储的数据调度至数据分析区。其中，源地址为被迁移的数据在数据接入区的地址，目标地址为被迁移的数据迁移至数据分析区的地址。

实施例中，数据调度子系统还用于：根据如下一项或多项，将数据接入区存储的数据调度至数据分析区：迁移步长、迁移标记点、迁移频率、迁移执行者。其中，迁移步长为每次数据迁移所需的数据量；迁移标记点为已迁移的数据标记，用于避免数据重复迁移；迁移频率为数据迁移的频率，迁移执行者为执行数据迁移的进程。具体实施时，可以根据具体情况设定源数据池阈值、目标数据池阈值、迁移步长、迁移频率，以减轻大量数据迁移对系统造成的压力，确保迁移任务的稳定进行。

图3是本发明实施例中数据调度装置第二种实施例的结构框图。如图3所示，数据调度装置还包括：历史表，用于存储数据接入区超过存储周期的数据。具体实施时，超出数据接入区存储周期的数据将存入历史表中，减轻了大量数据对系统造成的压力。其中，历史表存储的数据为数据接入区中的历史数据；数据接入区保留最近周期的数据，逾期，则将数据转移至历史表中。其中，可以根据具体情况任意设定数据接入区的存储周期。

图4是本发明实施例中数据调度装置第三种实施例的结构框图。如图3所示，数据调度装置包括：数据源系统，用于将数据推送到实时接入子系统；实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区；历史表，用于存储数据接入区超过存储周期的数据。

具体实施时，数据调度装置可以为监控装置，此时，数据库用于将来自实时接入子系统的数据传输至数据分析子系统，数据分析子系统为预警分析子系统，可以根据指定的业务规则对数据进行预警分析，判断是否需要生成预警信息。

具体实施时，数据调度装置可以为销售系统，此时，数据库用于将来自实时接入子系统的交易数据传输至数据分析子系统，数据分析子系统根据指定的业务规则分析交易数据，生成分析结果。

综上所述，本发明无需多台数据库即可减轻数据库压力，通过数据调度子系统解耦实时接入子系统与数据分析子系统，并将数据库划分为数据交易区与数据接入区。本发明简单灵活，通过设定数据调度子系统的源数据池阈值、目标数据池阈值、迁移步长、迁移频率以减轻大量数据迁移对系统造成的压力。本发明还通过历史表存储数据接入区超过存储周期的数据，通过数据分析区删除数据分析子系统已读取的数据，以保证数据库的存储空间，提升了业务系统运行的稳定性。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元，或装置都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (7)

1.一种数据调度装置，其特征在于，包括：

实时接入子系统，用于将数据存入数据库；

数据库的存储区包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；

数据分析子系统，用于对来自数据分析区的数据进行分析；

数据调度子系统，用于将数据接入区存储的数据调度至数据分析区；

数据调度子系统具体用于：

在数据接入区的数据量达到源数据池阈值，数据分析区的数据量达到目标数据池阈值时，将数据接入区存储的数据调度至数据分析区；

数据调度子系统还用于：

根据数据迁移的源地址和目标地址将数据接入区存储的数据调度至数据分析区；

根据如下一项或多项，将数据接入区存储的数据调度至数据分析区：

迁移步长、迁移标记点、迁移频率、迁移执行者。

2.根据权利要求1所述的数据调度装置，其特征在于，还包括：

数据源系统，用于将数据推送到实时接入子系统。

3.根据权利要求1所述的数据调度装置，其特征在于，实时接入子系统还用于：

校验数据格式。

4.根据权利要求1所述的数据调度装置，其特征在于，数据分析子系统还用于：

根据指定的业务规则分析数据。

5.根据权利要求1所述的数据调度装置，其特征在于，数据分析区还用于：

删除向数据分析子系统提供的数据。

6.根据权利要求1至5任一项所述的数据调度装置，其特征在于，还包括：

历史表，用于存储数据接入区超过存储周期的数据。

7.根据权利要求6所述的数据调度装置，其特征在于，历史表存储的数据为数据接入区中的历史数据。

Images