CN102156722A

CN102156722A - 一种大批量数据处理系统及方法

Info

Publication number: CN102156722A
Application number: CN2011100788660A
Authority: CN
Inventors: 吕杰; 徐博; 马文杰; 邵一飞
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2011-03-30
Filing date: 2011-03-30
Publication date: 2011-08-17
Anticipated expiration: 2031-03-30
Also published as: CN102156722B

Abstract

本发明公开了一种大批量数据处理系统，包括：缓存装置，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置，用于对原始数据进行处理，得到数据结果；检测装置，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置中；以及存储装置，用于持久性存储所述原始数据和数据结果。利用本发明的方案使得在处理大批量数据信息时效率高，稳定性好。

Description

一种大批量数据处理系统及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种大批量数据处理系统及方法。

背景技术

银行业内现有的外汇及利率报价系统为了保证报价业务的可追溯性，需要保证原始报价数据及处理后结果数据的完整性。即需要存储从外部报价源接收的原始报价和系统处理后的报价结果。现有的外汇报价系统在处理报价信息时，通常采用如下流程：接收外部报价源的报价数据，将原始报价存储到数据库中，对某一时间段内的原始报价进行风险过滤、加工处理后报送给报价使用方，最后将报价结果存储到数据库中。

上述报价处理方法在订阅的报价信息较少，报价波动不频繁的情况下，可以运转得很好。但是在市场波动频繁，单位时间内接收到大量报价数据的情况下，由于数据库的输入输出(IO)速度远低于CPU的处理速度，报价存储速度的限制会导致报价处理时间延长，报价时效性变差，所报价格无法正常反映出市场的真实价格波动。同时也使得CPU利用率变低。在极端情况下，大量待存储的原始报价及待存储的报价结果淤积在内存中，可能会导致内存溢出，进而引起系统崩溃。

如图9所示，直观地展示了现有的一个报价系统(采用上述报价处理方法设计)在面临大量报价信息时，系统内存的使用情况。从图中可以看出，所占用内存量直线上升，系统稳定性存在隐患。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种大批量数据处理系统和方法，通过将数据信息的存储从同步修改为异步，提升了CPU的使用率。

本发明提供的大批量数据处理系统包括：缓存装置，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置，用于对原始数据进行处理，得到数据结果；检测装置，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置中，进而保证数据的完整性；以及存储装置，用于持久性存储所述原始数据和数据结果。

本发明提供的大批量数据处理方法包括步骤：利用缓存装置临时存储来自外部数据源的原始数据以及将原始数据经过数据处理得到的数据结果；根据缓存装置中原始数据的数据量，动态调整对原始数据进行处理的数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储，当系统资源繁忙时利用排水装置暂时保存原始数据和数据结果，在系统资源空闲时再将排水装置保存的原始数据和数据结果同步到存储装置中，进而保证数据的完整性；其中存储装置用于持久性存储所述原始数据和数据结果。

利用本发明的大批量数据处理系统和方法，在面临外部数据源提供大批量数据信息时，通过内置的缓存装置，使数据的存储从同步变为异步，最大限度地降低了数据存储对数据处理效率的影响，减少了数据处理延迟；通过检测装置中支持的动态选择存储策略，排水装置的排水处理，保证数据的有效存储。

本发明克服了现有数据系统在处理大批量数据信息时效率低下，稳定性差，可能会导致内存溢出、系统崩溃等缺陷。

附图说明

图1为本发明大批量数据处理系统的结构框图；

图2为本发明缓存装置的结构框图；

图3为本发明数据处理装置的结构框图；

图4为本发明检测装置的结构框图；

图5为本发明排水装置的结构框图；

图6为本发明大批量数据处理方法的流程图；

图7为本发明基于排水算法的报价存储过程的流程图；

图8为本发明排水同步过程的流程图；

图9为现有技术中报价系统的内存使用情况示意图；

图10为本发明大批量数据处理系统在处理报价数据时的内存使用情况示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明的大批量数据处理系统的结构框图。

如图1所示，该系统包括数据接收装置1、缓存装置2、数据发送装置3、数据处理装置4、检测装置5、存储装置6和排水装置7，其中缓存装置2与其他各装置分别连接，另外，排水装置7与检测装置5和存储装置6分别连接。

在本发明中，被处理的数据优选为报价信息，例如外汇及利率报价信息，在下面的描述中，将以报价信息为例进行详细说明。

数据接收装置1用于从外部的一个或者多个数据源获取原始报价，并缓存到缓存装置2中。

缓存装置2可以是一种高速存储装置，例如系统内存的一块区域。缓存装置2用于临时存储从数据接收装置1获取的外部数据源的原始报价和经过数据处理装置4处理的报价结果。

图2为本发明缓存装置2的结构框图。

如图2所示，缓存装置2包括2个逻辑单元：原始数据缓存单元21和数据结果缓存单元22。原始数据缓存单元21用于临时存储从数据接收装置1获取的外部数据源的原始报价，原始报价可以以队列的形式存储并可以被数据处理装置4启动的一个或者多个数据处理单元处理。数据结果缓存单元22用于临时存储经数据处理装置4加工处理的报价结果。

数据发送装置3用于从缓存装置2中数据结果缓存单元22获取报价结果并提供给报价使用方。

如图3所示，数据处理装置4包括数据处理单元41，用于对原始报价进行加工处理，加工后的报价结果临时存储在缓存装置2中数据结果缓存单元22。原始报价加工处理包括报价筛选、报价解析及报价组装等步骤。报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，由系统自动将超出方差区间参数的报价筛除；报价解析是从原始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构；报价组装是根据业内定义的报价产品如美元对人民币，将报价元素通过例如加减点差等计算加工出最终报价结果的过程。

图4为本发明检测装置5的结构框图。

检测装置可以根据缓存装置中原始报价数据量，动态调整报价处理装置中报价处理单元及存储装置中存储单元的数量，并可以在报价存储时，根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储，其包括数据处理检测单元51、原始数据存储检测单元52和数据结果存储检测单元53三个逻辑单元。

数据处理检测单元51用于检测缓存装置2中原始数据缓存单元21的原始报价的数量，根据报价数量动态分配数据处理单元。原始数据存储检测单元52用于监控原始数据缓存单元21中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置7中原始数据排水单元71进行排水操作。数据结果存储单元53用于监控数据结果缓存单元22中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置7中数据结果排水单元72进行排水操作。

存储装置6是一个持久化、结构化的数据存储装置，在本发明中可以是一个数据库，用于保存缓存装置2中的原始数据缓存单元21的原始报价和数据结果缓存单元22的报价结果。

排水装置7包含一个或多个用于排水的高速持久存储装置，可以是一个文件系统，并提供一种快速存储的机制及算法，不仅限于本发明中提及的排水算法，排水装置7还包括一个排水同步单元73，用于将排水装置7中存储的原始报价和报价结果同步到存储装置6，进而保证数据的完整性。排水装置7在存储时采用高速、稳定的排水算法，排水算法的基本原理是当水库中的水快速增长时，水库的阀门需要以加速度的形式打开，保证水库中的水快速排出。原始数据缓存单元21或数据结果单元22好比一个水库，原始报价或报价结果好比水库中的水，原始数据排水单元或数据结果排水单元好比水库的阀门，当原始报价或报价结果快速增长时，排水算法以2ⁿ为一个批次分配排水单元进行排水。排水算法中基于指数的分配调度策略可以在排水速度与资源利用之间达到平衡，一方面基于指数方式分配排水单元的方式可以减少资源占用，另一方面批量排水可以提高排水效率。

图5为本发明排水装置7的结构框图。

排水装置用于在系统资源繁忙时暂时保存原始报价和报价结果，在系统资源空闲时再将其保存的原始报价和报价结果同步到存储装置中，进而保证数据的完整性，其包括原始数据排水单元71、数据结果排水单元72和排水同步单元73。

原始数据排水单元71用于在存储装置6的存储速度无法满足原始报价的存储速度要求时，对原始报价进行临时存储，存储时分配的排水处理单元基于排水算法调度。数据结果排水单元72用于在存储装置6的存储速度无法满足报价结果的存储要求时，对报价结果进行临时存储。排水同步单元73用于在外部数据源的报价不频繁，原始报价或报价结果存储操作不繁忙时，将排水装置7中原始数据排水单元71和数据结果排水单元72存储的原始报价和报价结果同步到存储装置6。

为了保证对大批量数据信息进行有效处理，本发明的还提供了一种对大批量数据信息进行处理的方法。在本发明中，数据优选为优选为报价信息，在下面的描述中，将以报价信息为例进行说明。

图6为本发明大批量数据处理方法的流程图。该方法包括步骤101～104。

该方法的实现原理是：数据接收装置从一个或者多个外部数据源获取原始报价数据并存储在缓存装置中。数据处理装置从缓存装置中获取原始报价数据进行加工处理，如果缓存装置中原始数据缓存单元的原始报价数据或数据结果缓存单元的报价结果的增长速度超出其存储速度，无法及时完成在存储装置中的存储，则使用排水算法动态分配排水单元进行排水存储；在其他情况下，不需要启动排水装置。数据发送装置按照一定的报价间隔从缓存装置中获取报价数据结果，提供给报价使用方。检测装置检测原始数据缓存单元的数据情况及系统资源利用情况，如果数据缓存装置利用率较少，且存储操作不繁忙，则将排水装置中的原始报价和报价结果同步到存储装置；否则，等待一段时间再进行排水同步处理。

图6为本发明的大批量数据处理方法流程图。

参照图6，更详细地描述本发明的方法。

步骤101是数据接收装置1从一个或多个外部数据源获取原始报价并将原始报价存储在缓存装置2中原始数据缓存单元21。步骤102是数据处理装置4采用基于方差区间的报价数据筛选算法对接收到的原始报价数据进行筛选，剔除偏差过大的报价数据之后，按照报价产品的维度定制出报价结果，如定制出美元对人民币产品的报价。步骤103是数据处理装置4将数据结果存储在缓存装置2中的数据结果缓存单元22。步骤104是数据发送装置3按照一定的报价间隔从缓存装置2中数据结果缓存单元22获取报价结果，提供给报价使用方。

图7为本发明的基于排水算法的报价数据存储流程图。

步骤201是检测装置5检测缓存装置2中原始数据缓存单元21的原始报价数据和数据结果缓存单元22的报价结果的数量，如果缓存装置2中原始数据缓存单元21的原始报价或数据结果缓存单元22的报价结果的增长速度超出其存储速度，无法及时完成在存储装置6中的存储，则转到步骤203，否则转到步骤202。步骤202是原始数据缓存单元21将其中的原始报价保存到存储装置6。数据结果缓存单元22亦将报价结果保存到存储装置6。步骤203是检测装置5获取原始数据缓存单元21中原始报价的数量N1和数据结果缓存单元22中报价结果的数量N2后，根据计算公式n1＝log₂N1计算出需要启动的原始报价排水单元的数目n1，根据计算公式n2＝log₂N2计算出需要启动的报价结果排水单元的数目n2。步骤204是检测装置5根据排水算法的计算结果，启动数据排水装置7中的n1个原始数据排水单元71，将原始数据结果缓存单元21的原始报价存储到原始数据排水单元71中；启动n2个报价结果排水单元72，将报价结果缓存单元22的报价结果存储到数据结果排水单元72中。

图8为系统资源空闲时数据排水同步的流程图。

参照图8，步骤301是检测装置5检测原始数据缓存单元21中原始报价或数据结果缓存单元22中报价结果的数据量及报价的存储操作是否繁忙。如果外部数据源的报价不频繁，原始数据缓存单元21中原始报价或数据结果缓存单元22中报价结果的数量较少，且存储操作不繁忙，转到步骤302；否则，等待n秒。步骤302是将排水装置7中原始数据排水单元71存储的原始报价和数据结果排水单元72存储的报价结果同步到存储装置6。

本发明提供的一种大批量数据信息处理的系统和方法，使得报价系统在面临大批量报价信息时，能够稳定、高效地完成报价信息的处理、存储、发送工作。其优点总结如下：

利用本发明的系统和方法，降低了报价存储对报价效率的影响，提升了CPU的使用率。本发明通过增加缓存装置，把报价信息的存储从同步修改为异步。这样一来，报价存储步骤就可以从整个报价主流程中剥离，报价信息的加工处理完全在高速缓存装置中运行，最大限度地降低了报价存储对报价效率的影响，提升了CPU的使用率。

另外，利用本发明的系统和方法，提高了系统在压力下运行的稳定性及可靠性。系统在面临大批量报价的时候，通过检测装置的检测结果，支持动态选择存储策略；借助排水装置，可以有效缓冲短时间内对系统内存的压力，保证系统的稳定运行。

参照图10，直观地展示了采用本发明提供的方法设计的报价系统在面临大批量报价信息时，系统内存的使用情况。从图中可以看出，内存使用相对平稳，没有大幅波动。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种大批量数据处理系统，该系统包括：

缓存装置(2)，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；

数据处理装置(4)，用于对原始数据进行处理，得到数据结果；

检测装置(5)，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；

排水装置(7)，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置(6)中，进而保证数据的完整性；以及

存储装置，用于持久性存储所述原始数据和数据结果。

2.根据权利要求1所述的系统，其特征在于，

所述原始数据是原始报价信息，所述数据结果是报价结果。

3.根据权利要求2所述的系统，其特征在于，缓存装置(2)是高速存储装置，进一步包括：

原始数据缓存单元(21)，用于临时存储来自外部报价源的原始报价，原始报价以队列的形式存储并可以被数据处理装置(4)启动的一个或者多个数据处理单元处理；

数据结果缓存单元(22)，用于临时存储经数据处理装置4加工处理的报价结果。

4.根据权利要求3所述的系统，其特征在于，检测装置(5)进一步包括：

数据处理检测单元(51)，用于检测缓存装置(2)中原始数据缓存单元(21)的原始报价的数量，根据报价数量动态分配数据处理单元；

原始数据存储检测单元(52)，用于监控原始数据缓存单元(21)中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作；

数据结果存储单元(53)，用于监控数据结果缓存单元(22)中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作。

5.根据权利要求4所述的系统，其特征在于，排水装置(7)进一步包括：

原始数据排水单元(71)，用于在存储装置(6)的存储速度无法满足原始报价的存储速度要求时，对原始报价进行临时存储；

数据结果排水单元(72)，用于在存储装置(6)的存储速度无法满足报价结果的存储要求时，对报价结果进行临时存储。

排水同步单元(73)，用于在外部数据源的报价不频繁，原始报价或报价结果存储操作不繁忙时，将排水装置(7)中原始数据排水单元(71)和数据结果排水单元(72)存储的原始报价和报价结果同步到存储装置(6)。

6.根据权利要求3～5任一项所述的系统，其特征在于，该系统还包括：

数据接收装置(1)，用于从外部的一个或者多个数据源获取原始报价，并缓存到缓存装置(2)；

数据发送装置(3)，用于从缓存装置(2)中数据结果缓存单元(22)获取报价结果并提供给报价使用方。

7.根据权利要求6所述的系统，其特征在于，所述数据处理装置(4)进一步包括：

数据处理单元(41)，用于对原始报价进行处理，将处理后的报价结果临时存储在缓存装置(2)的数据结果缓存单元22。

8.根据权利要求7所述的系统，原始报价处理包括报价筛选、报价解析及报价组装，其中报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，自动将超出方差区间参数的报价筛除，报价解析是从原始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构，报价组装是将报价元素通过计算处理得到最终报价结果的过程。

9.一种大批量数据处理方法，该方法包括步骤：

利用缓存装置临时存储来自外部数据源的原始数据以及将原始数据经过数据处理得到的数据结果；

根据缓存装置中原始数据的数据量，动态调整对原始数据进行处理的数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储，当系统资源繁忙时利用排水装置暂时保存原始数据和数据结果，在系统资源空闲时再将排水装置保存的原始数据和数据结果同步到存储装置中，进而保证数据的完整性；

其中存储装置用于持久性存储所述原始数据和数据结果。

10.根据权利要求9所述的方法，其特征在于，

所述原始数据是原始报价信息，所述数据结果是报价结果。

11.根据权利要求10所述的方法，其特征在于，所述缓存装置是高速存储装置，进一步包括：

原始数据缓存单元(21)，用于临时存储来自外部报价源的原始报价，原始报价以队列的形式存储并可以被一个或者多个数据处理单元处理；

数据结果缓存单元(22)，用于临时存储报价结果。

12.根据权利要求11所述的方法，其特征在于，该方法进一步包括步骤：

检测缓存装置中原始报价的数量，根据报价数量动态分配数据处理单元；

监控缓存装置中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作；

监控缓存装置中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作。

13.根据权利要求12所述的方法，其特征在于，排水装置(7)进一步包括：

14.根据权利要求11～13任一项所述的方法，其特征在于，该方法还包括：

从外部的一个或者多个数据源获取原始报价，并缓存到缓存装置(2)；

从缓存装置(2)获取报价结果并提供给报价使用方。

15.根据权利要求14所述的方法，其特征在于，

将原始报价进行处理的过程包括报价筛选、报价解析及报价组装，其中报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，由系统自动将超出方差区间参数的报价筛除，报价解析是从原始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构，报价组装是将报价元素通过计算处理得到最终报价结果的过程。