CN106355489A - 一种面向管理的数据中心系统及数据处理方法 - Google Patents

Abstract

本发明公开了一种面向管理的数据中心系统及数据处理方法，该数据中心系统主要包括：用于为银行构建一个同后台的大机系统及其他业务系统同步的数据库环境的基础数据平台子系统；用于为用户提供对基础数据平台数据的管理功能，同时，作为用户的交互窗口，使用户可以录入或查询数据的通用管理平台子系统；以及用于提供报表服务的ezReport报表服务器。利用本发明的数据中心系统能够保存银行的各个业务系统的业务数据，并支持基于该数据中心系统获取的业务数据实现各种管理信息的获取，以供经营决策者随时使用。

Description

一种面向管理的数据中心系统及数据处理方法

技术领域

本发明涉及金融信息安全应用技术，尤其涉及一种面向管理的数据中心系统及数据处理方法。

背景技术

随着现今银行业的同业竞争日趋剧烈和外资银行逐步进入国内市场，国内银行正面临越来越大的压力。为了应对异常激烈竞争的市场，也为了满足市场快速变化的需求，同时最大限度的规避风险，业务部门要求更多更及时的信息服务和信息支持；银行管理者为了适应不断变化的市场情况，不断深化的内部的经营策略和管理模式，也需要银行的计算机系统能够提供更多的、更及时的经营数据服务。

然而，现有的银行业务数据并不能满足上述需求。首先，业务数据不能供经营决策者随时使用；其次，业务数据是生产数据并不适用于管理；再次，业务数据不能系统的、历史的、灵活的处理；最后，银行系统太集中也使得各分行无法实时获取数据。

出于对目前需要和未来发展的考虑，目前亟需研发并建立一种面向管理的数据中心系统。

发明内容

有鉴于此，本发明的主要目的在于提供一种面向管理的数据中心系统及数据处理方法，利用数据中心系统保存银行的各个业务系统的业务数据，并基于该数据中心系统获取的业务数据实现各种管理信息的获取。

为达到上述目的，本发明的技术方案是这样实现的：

一种面向管理的数据中心系统，所述数据中心系统包括基础数据平台子系统、通用管理平台子系统以及ezReport报表服务器；其中：

所述基础数据平台子系统，用于为银行构建一个同后台的大机系统及其他业务系统同步的数据库环境，将银行各个业务系统的数据统一镜像到同一个数据库中，并作为中心数据服务器为其他外围系统提供数据支持；

所述通用管理平台子系统，是位于所述基础数据平台子系统之上的应用层系统，用于为用户提供对基础数据平台数据的管理功能，同时，作为用户的交互窗口，使用户可以录入或查询数据；

所述ezReport报表服务器，基于微软的Excel无缝集成到办公环境中，使用HTTP协议，通过web浏览器访问，用于提供报表服务。

其中，所述基础数据平台子系统，作为整个系统的基础框架，支撑整个管理数据中心系统的运行，所述基础数据平台子系统支持多种数据采集手段、灵活的数据处理和客户自定制功能。

所述基础数据平台子系统，包括数据采集模块、数据导入模块、数据分析模块、数据汇总模块和数据推导模块，多个业务系统的数据在通过所述功能模块的依次处理后，形成能够直接展示的数据，成为通用管理平台子系统、ezReport报表服务器的数据展示基础。

所述通用管理平台子系统具有完备的权限管理模块，且集成银行账户分配功能。

所述通用管理平台子系统，包括权限管理模块、业务参数维护模块、手工数据导入模块、业务工作流模块、数据分析定义模块；利用所述功能模块形成对基础数据平台子系统的数据补充、实现对所述基础数据平台子系统数据分析过程的动态定义，以及为ezReport报表服务器提供业务管理、权限控制的支持。

所述ezReport是利用excel的web component模块和xml特性实现报表展示制作的工具。

所述ezReport报表服务器，包括报表定义模块、报表查询模块、报表展示渲染模块和报表数据导出模块；利用所述功能模块，ezReport报表服务器将基础数据平台子系统的数据进行筛选、组合，并展示给最终用户。

数据中心系统，支持多数据源，并提供多种数据抽取或数据采集方式；通过定义数据隔离层，隔离原始数据和分析数据，实现分析算法与原始数据相分离。

一种基于面向管理的数据中心系统的数据处理方法，包括如下步骤：

A、于每日固定时间，由大机系统将前一天生产数据卸出为文本文件，并打包放入卸数服务器中；

B、在基础数据平台子系统上运行多个数据处理项目；所述基础数据平台子系统定时轮询一次所述项目，并根据实际情况运行相应的项目；

C、待取到项目数据后，数据中心系统首先进行数据备份操作；

D、若数据备份成功，平台子系统根据设定调用导数程序将数据导入到原始数据库中；

E、导出数据成功后，由调度系统执行日汇总模块，对每日数据进行汇总处理，生成每日数据的分析数据，并将结果放入分析数据库中；

F、期末汇总结束后，所述数据中心系统在管理员的操作下，选择项的启动考核或分析模块，进行考核测算或者数据分析。

其中，步骤E中数据中心系统调用期末汇总模块，将分析数据库中的数据根据设定的分析汇总公式按员工，产品的角度生成对应的经营管理数据。

本发明所提供的面向管理的数据中心系统及数据处理方法，具有以下优点：

通过该数据中心系统提供的业务数据，能够供经营决策者随时使用；所述的业务数据适用于管理，且所述的业务数据能够支持系统的、历史的、灵活的处理，并能够使各分行也能实时获取数据。

附图说明

图1为本发明实施例面向管理的数据中心系统结构示意图；

图2为本发明实施例面向管理的数据中心系统的数据处理流程示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的面向管理的数据中心系统及数据处理方法作进一步详细的说明。

图1为本发明实施例面向管理的数据中心系统结构示意图。如图1所示，该数据中心系统包括基础数据平台子系统、通用管理平台子系统以及ezReport报表服务器。其中：

所述基础数据平台子系统，用于为银行构建一个同后台的大机系统及其他业务系统同步的数据库环境。该平台子系统将银行各个业务系统的数据统一镜像到同一个数据库中，并作为中心数据服务器为其他外围系统提供数据支持。同时，该平台子系统作为整个系统的基础框架，支撑整个管理数据中心系统的运行。基础数据平台子系统，支持多种数据采集手段，灵活的数据处理和高度自由的客户自定制功能。所述基础数据平台子系统，主要由数据采集模块、数据导入模块、数据分析模块、数据汇总模块和数据推导模块组成(注：图1未示出)。多个业务系统的数据在通过上述模块的依次处理后，形成可直接展示的数据，成为通用管理平台子系统、ezReport报表服务器的数据展示基础。

所述通用管理平台子系统，是在基础数据平台子系统之上的应用层系统。为用户提供对基础数据平台数据的管理功能，同时，作为用户的交互窗口，使用户可以录入或查询数据。该通用管理平台子系统拥有完备的权限管理模块，并且集成了银行常用的账户分配功能。所述的通用管理平台子系统主要由权限管理模块、业务参数维护模块、手工数据导入模块、业务工作流模块、数据分析定义模块组成(注：图1未示出)。利用上述功能模块形成对基础数据平台子系统的数据补充、实现对基础数据平台子系统数据分析过程的动态定义，以及为ezReport报表服务器提供业务管理、权限控制的支持。

所述ezReport报表服务器，用于提供报表服务。ezReport使用HTTP协议，通过web浏览器访问，使其不需要部署且反应快速。其基于微软的Excel可无缝的集成到办公环境中。ezReport是利用excel的web component模块和xml特性实现报表展示制作的工具。ezReport已被实现为独立的服务模块，使用http协议模式工作，并通过xmlrpc同其他应用系统进行交互。所述ezReport报表服务器，主要由报表定义模块、报表查询模块、报表展示渲染模块、报表数据导出模块组成(注：图1未示出)。通过上述模块，ezReport报表服务器将基础数据平台子系统的数据进行筛选、组合，并展示给最终用户。同时，通过通用管理平台子系统的权限管理控制，有效的保证了展示数据的安全性。

本发明的基础数据平台子系统还可用于解决以下多个技术问题：

——定量数据的自动化抽取。对于其他业务系统，外围系统的数据，本系统可自动进行抽取和数据处理，保证了数据的准确性和及时性。

所述定量数据的自动化抽取，主要采用如下技术手段解决的：

1)定量数据文件的方式存在，各方定义好统一的规则，主要包括文件格式、文件名、文件内容。

2)为保证及时性，按照协商好的时间，设置定时轮循取得指定目录下的文件。

3)为保证准确性，先清理原数据在新增新数据的方式，保证数据都是最新的数据。

——定性数据通用录入。对于无法从业务系统中采集的数据，本系统可通过协商好的Excel模板，由人工录入数据。

所述定性数据通用录入，主要采用如下技术手段：

1)协商并定义好所需要的Excel模板。

2)实现Excel的导入功能，这样就可以将系统无法采集但定性的数据导入到系统中。

——考核分析方案的配置实施。本系统支持多考核分析方案，考核分析方案与原始数据处理隔离。保证了考核方案可以随意多次的运行，便于银行对考核分析的口径和方式进行测算。

所述考核分析方案的配置实施，主要采用如下技术手段：

1)实现考核方案定义的功能，定义考核统计需要取得哪个数据表，哪个字段、统计条件等。

2)考核方案执行时根据定义好的规则，抽取原始数据。可随意执行多次，每次执行，先清理原数据再新增新数据。

——完善的功能和数据权限。全体行员均可以使用自己的用户在本系统查询相关的考核指标或分析结果数据。行员可查询的数据由行员所属的角色控制。

所述的功能和数据权限的角色控制，主要是采用以下技术手段解决的：

1)实现角色管理功能，角色用来限制可查询的数据的范围和可访问的功能菜单。

2)用户关联角色后，就可以访问查询相关的考核指标或分析结果数据的功能画面。

该发明主要具有以下几点特性：

——构建全面的数据中心系统。

-支持多数据源，提供多种数据抽取方式：支持FTP，web抓取，人工导入(excel、txt)，人工录入等多种数据采集方式；

-自动处理：24小时不间断运行，自动监控数据，并根据事件触发相关数据处理模块；

——定义清晰的数据隔离层。

-隔离原始数据和分析数据，有效解决了分析算法同原始数据分离的难点；

-数据覆盖全面，目前已经覆盖账户类、卡类和客户类相关数据；

-保留历史信息，原始数据是没有历史的，利用数据隔离层提出的全息数据概念，可轻松解决历史数据问题；

-资源分配数据，原始数据的分配信息是不全面的，隔离层提供了更灵活的解决方案。

——实现完善的分析引擎。

-基于敏捷语言，可快速实现业务逻辑；

-采用步进操作模型，有效隔离计算错误产生的数据库回滚；

-自由的回算处理，可重算任意时刻的数据；

-指标库驱动模型，可直接使用公式搭建数据分析模型。

——建立快速有效的数据展示。

-具有良好的展示方式：基于excel的OWC实现，同excel无缝集成；支持钻取，可将报表实现为多层结构。

-面向开发人员设计，可快速实现：支持多SQL语句；支持报表内业务逻辑处理；具有权限控制功能，同一张报表可根据操作人员控制内容。

——实现全面有效的分析结果。

-六大维度，将分析结果按管理需要提取为六个维度：一维：属地(按开户行归集)，属人(按行员所属机构归集)，行员，客户，集团客户二纬：行员属地分布；

-大量丰富的指标库：已建立了资金头寸、中间业务收支、账户类、卡类、国际业务、其他个人业务、利息收支、人员成本等；

-各类分析结果：业绩考核、存贷款分布、资产监控相关指标、模拟利润、行长专用报表等。

图2为本发明实施例面向管理的数据中心系统的数据处理流程示意图。如图2所示，所述数据处理过程包括如下步骤：

步骤21：于每日固定时间，由大机系统将前一天生产数据卸出为文本文件，并打包放入卸数服务器中。

步骤22：在基础数据平台子系统上运行多个数据处理项目。平台每10分钟轮询一次这些项目，并根据实际情况运行相应的项目。其中：后台数据处理项目会自动到FTPServer取卸出的数据；其他数据处理项目也会到对应的系统中取项目数据。

步骤23：取到项目数据后，数据中心系统首先进行数据备份操作。数据备份是优先级最高的操作。

步骤24：若数据备份成功，平台子系统根据设定调用导数程序将数据导入到原始数据库中。

步骤25：导出数据成功后，调度系统执行日汇总模块，对每日数据进行汇总处理，生成每日数据的分析数据，并将结果放入分析数据库中。例如，在每月月底，数据中心系统调用期末汇总模块，将分析数据库中的数据根据设定的分析汇总公式按员工，产品等角度生成对应的经营管理数据(由Web Server通过web页面配合报表展示工具展示给用户查阅，并支持用户交互)。

步骤26：期末汇总结束后，系统在管理员的操作下，选择项的启动考核或分析模块，进行考核测算或者数据分析。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种面向管理的数据中心系统，其特征在于，所述数据中心系统包括基础数据平台子系统、通用管理平台子系统以及ezReport报表服务器；其中：

所述基础数据平台子系统，用于为银行构建一个同后台的大机系统及其他业务系统同步的数据库环境，将银行各个业务系统的数据统一镜像到同一个数据库中，并作为中心数据服务器为其他外围系统提供数据支持；

所述通用管理平台子系统，是位于所述基础数据平台子系统之上的应用层系统，用于为用户提供对基础数据平台数据的管理功能，同时，作为用户的交互窗口，使用户可以录入或查询数据；

所述ezReport报表服务器，基于微软的Excel无缝集成到办公环境中，使用HTTP协议，通过web浏览器访问，用于提供报表服务。

2.根据权利要求1所述面向管理的数据中心系统，其特征在于，所述基础数据平台子系统，作为整个系统的基础框架，支撑整个管理数据中心系统的运行，所述基础数据平台子系统支持多种数据采集手段、灵活的数据处理和客户自定制功能。

3.根据权利要求1或2所述面向管理的数据中心系统，其特征在于，所述基础数据平台子系统，包括数据采集模块、数据导入模块、数据分析模块、数据汇总模块和数据推导模块，多个业务系统的数据在通过所述功能模块的依次处理后，形成能够直接展示的数据，成为通用管理平台子系统、ezReport报表服务器的数据展示基础。

4.根据权利要求1所述面向管理的数据中心系统，其特征在于，所述通用管理平台子系统具有完备的权限管理模块，且集成银行账户分配功能。

5.根据权利要求1或4所述的面向管理的数据中心系统，其特征在于，所述通用管理平台子系统，包括权限管理模块、业务参数维护模块、手工数据导入模块、业务工作流模块、数据分析定义模块；利用所述功能模块形成对基础数据平台子系统的数据补充、实现对所述基础数据平台子系统数据分析过程的动态定义，以及为ezReport报表服务器提供业务管理、权限控制的支持。

6.根据权利要求1所述面向管理的数据中心系统，其特征在于，所述ezReport是利用excel的web component模块和xml特性实现报表展示制作的工具。

7.根据权利要求1所述面向管理的数据中心系统，其特征在于，所述ezReport报表服务器，包括报表定义模块、报表查询模块、报表展示渲染模块和报表数据导出模块；利用所述功能模块，ezReport报表服务器将基础数据平台子系统的数据进行筛选、组合，并展示给最终用户。

8.根据权利要求1～8任一项所述面向管理的数据中心系统，其特征在于，数据中心系统，支持多数据源，并提供多种数据抽取或数据采集方式；通过定义数据隔离层，隔离原始数据和分析数据，实现分析算法与原始数据相分离。

9.一种基于面向管理的数据中心系统的数据处理方法，其特征在于，包括如下步骤：

A、于每日固定时间，由大机系统将前一天生产数据卸出为文本文件，并打包放入卸数服务器中；

B、在基础数据平台子系统上运行多个数据处理项目；所述基础数据平台子系统定时轮询一次所述项目，并根据实际情况运行相应的项目；

C、待取到项目数据后，数据中心系统首先进行数据备份操作；

D、若数据备份成功，平台子系统根据设定调用导数程序将数据导入到原始数据库中；

E、导出数据成功后，由调度系统执行日汇总模块，对每日数据进行汇总处理，生成每日数据的分析数据，并将结果放入分析数据库中；

F、期末汇总结束后，所述数据中心系统在管理员的操作下，选择项的启动考核或分析模块，进行考核测算或者数据分析。

10.根据权利要求8所述基于面向管理的数据中心系统的数据处理方法，其特征在于，步骤E中数据中心系统调用期末汇总模块，将分析数据库中的数据根据设定的分析汇总公式按员工，产品的角度生成对应的经营管理数据。