CN103577425A - 一种数据处理的方法和系统 - Google Patents

Abstract

本发明提供一种处理数据的方法及云存储系统，该方法包括：获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；将预处理后的数据发送给云存储系统。通过本发明可以将分散的电子文档数据的进行数据汇聚，以便进行电子文档有效存储管理和便捷业务应用支持。

Description

一种数据处理的方法和系统

技术领域

本发明涉及计算机技术应用领域，特别是涉及云计算云存储环境下，进行数据处理的方法和系统。

背景技术

随着计算机、网络等技术的进一步发展，云计算，特别是云存储的成功应用也越来越普遍。而另一方面，相当多的单位或部门的数据档案还停留在信息化阶段，业务系统产生的大量电子档案得不到有效的管理，割据分布在各业务部门，档案利用还处于原始阶段，档案利用率不高，没有发挥档案应有的无形资产价值。大量的电子档案得不到及时的收集和管理，而是存在于各种业务系统，形成信息孤岛，对于电子档案的可靠性、先进性、安全性、可用性保障以及长期保存，无法提供科学有效的管理手段。同时，没有一整套电子档案利用体系，无法发挥档案资产在企业生产经营中的价值。无法形成有价值的电子应用平台和典型应用模式。

发明内容

本发明要解决的技术问题是提供一种处理数据的方法及系统，以将分散的电子文档数据的进行数据汇聚。

为了解决上述技术问题，本发明提供了一种数据处理的方法，包括：

获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

将预处理后的数据发送给云存储系统。

进一步地，上述方法还具有下面特点：所述获取各数据分中心的历史数据包括：

监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

进一步地，上述方法还具有下面特点：所述对获取到的数据进行预处理包括：

对所述数据进行统一处理和/或清理处理；

将处理后的数据打包生成数据文件。

进一步地，上述方法还具有下面特点：所述将预处理后的数据发送给云存储系统之后，还包括：

删除所述数据文件。

为了解决上述问题，本发明还提供了一种数据处理的系统，包括：

预处理模块，用于获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

接口模块，用于将预处理后的数据发送给云存储系统。

进一步地，上述系统还具有下面特点：所述预处理模块包括：

第一单元，用于获取各数据分中心的历史数据和/或实时数据；

第二单元，用于对所述数据进行统一处理和/或清理处理；

第三单元，用于将处理后的数据打包生成数据文件。

进一步地，上述系统还具有下面特点：

所述第一单元，具体用于监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

进一步地，上述系统还具有下面特点：

所述接口模块，还用于删除所述数据文件。

为了解决上述问题，本发明还提供了一种处理数据的方法，包括：

云存储系统接收数据分中心的数据；

通过多个采集模块并行采集所述数据，将所述数据写入云存储模块。

进一步地，上述方法还具有下面特点：所述将所述数据写入云存储模块包括：

所述采集模块调用结构化查询语言接口、应用程序接口或接口导入命令将所述数据写入云存储模块。

为了解决上述问题，本发明还提供了一种云存储系统，包括：接口模块、多个采集模块和云存储模块，其中，

所述接口模块，用于接收各数据分中心的数据；

多个所述采集模块，用于并行采集所述接口模块接收的数据，将所述数据写入所述云存储模块。

进一步地，上述系统还具有下面特点：

所述接口模块，接收到所述数据后还用于，根据各采集模块的负载状况，选择负载小于阈值的多个采集模块，通知选中的采集模块进行数据采集。

进一步地，上述系统还具有下面特点：

所述接口模块，接收到所述数据后还用于，根据预置调度策略选择一个采集模块，将所述数据发送给该采集模块；由该采集模块将所述数据分发给所有的采集模块进行数据采集。

综上，本发明提供一种处理数据的方法及云存储系统，将分散的电子文档数据的进行数据汇聚，以便进行电子文档有效存储管理和便捷业务应用支持。为进行企事业单位电子文档的科学管理、有效利用，对现有割据在各业务部门或区域单位的电子文档，需要进行数据汇聚，提供有效存储管理和业务应用支持。

附图说明

图1是本发明实施例的业务专网侧进行数据处理的方法的流程图；

图2是本发明实施例的数据中心专网进行数据处理的方法的流程图；

图3为本发明实施例的数据处理的系统的示意图；

图4为本发明实施例的云存储系统的示意图；

图5为本发明应用示例的数据处理系统的总体架构示意图；

图6为本发明应用示例的电子文档数据汇聚割接的示意图；

图7是本发明应用示例的电子文档历史数据汇聚的流程图；

图8是本发明应用示例的电子文档实时数据汇聚处理的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明实施例涉及了安全性较低数据分中心的业务专网和安全性要求较高的数据中心专网(如云存储系统)。业务专网是分布在各业务区域或业务部门，各自割据独立的业务网络，有各自独立数据分中心的数据库，存放各自的电子文档。

业务专网侧进行数据处理的方法，如图1所示，包括以下步骤：

S11、获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

S12、将预处理后的数据发送给云存储系统。

数据中心专网进行数据处理的方法，如图2所示，包括以下步骤：

S21、云存储系统接收数据分中心的数据；

S22、通过多个采集模块并行采集所述数据，将所述数据写入云存储模块。

图3为本发明实施例的数据处理的系统的示意图，如图3所示，本实施例的系统包括：

预处理模块，用于获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

接口模块，用于将预处理后的数据发送给云存储系统。

其中，所述预处理模块包括：

第一单元，用于获取各数据分中心的历史数据和/或实时数据；

第二单元，用于对所述数据进行统一处理和/或清理处理；

第三单元，用于将处理后的数据打包生成数据文件。

其中，所述第一单元，具体用于监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

图4为本发明实施例的云存储系统的示意图，如图4所示，本实施例的云存储系统包括：接口模块、多个采集模块和云存储模块，其中，

所述接口模块，用于接收各数据分中心的数据；

多个所述采集模块，用于并行采集所述接口模块接收的数据，将所述数据写入所述云存储模块。

其中，所述接口模块，接收到所述数据后还可以用于，根据各采集模块的负载状况，选择负载小于阈值的多个采集模块，通知选中的采集模块进行数据采集。

其中，所述接口模块，接收到所述数据后还可以用于，根据预置调度策略选择一个采集模块，将所述数据发送给该采集模块；由该采集模块将所述数据分发给所有的采集模块进行数据采集。

以下以一应用示例对本发明的方法进行详细说明。

图5为本发明应用示例的数据处理系统的总体架构示意图，如图5所示，

业务专网侧的数据处理系统包括：数据预处理机(相当于预处理模块)、接口机A(相当于接口模块)。

数据中心专网侧的云存储系统包括：接口机B(相当于接口模块)、采集服务器(相当于采集模块)、云存储服务器(相当于云存储模块)、OMM(Operation Maintenance Management，操作维护管理)管理服务器、应用服务器等。

其中，数据预处理机用于对数据分中心的历史数据和实时数据进行预处理：

主要是数据的抽取、转化或清理，最终定时将数据打包生成数据文件给接口机A。数据抽取就是从外围业务数据库系统或源系统中把数据导入到预处理机；数据转化指对数据的进行统一(包括数据格式和数据编码的统一)；数据清理就是把一些垃圾数据或属性清理掉，保留有用数据。

在各数据分中心的历史信息数据库，使用存储数据库存储过程或客户端应用导出数据。为了不影响各数据分中心的实时业务，导出功能模块依照空闲时分批运行的原则。导出功能模块按本项目要求设定需要的数据表、字段，按照时间段每秒(例如10秒，该参数可以配置)分批导出一个或多个记录文件，每个数据分中心每达到一定记录数(例如10000条记录，该参数可以配置)生成一个记录文件。

接口机A用于实现所有的对外接口的数据格式、接口定义等的适配通信。包括通过FTP接口和接口机B之间通信，将数据预处理机产生的打包数据文件，传送给接口机B。传送成功后，删除对应的数据记录文件。

接口机B将从接口机A接收的数据文件，通过采集服务器，写入云存储系统。

接口机B监控进程查询各采集服务器运行情况，根据设定的策略，可能查询的因素包括各个采集服务器的服务器温度、CPU使用率、内存占用率、解析入库进程运行状态等，选择负载低于阈值的多个采集服务器并行进行数据采集。或根据调度策略，选择处理的一采集服务器，由该采集服务器将数据分发给所有的采集服务器进行并行数据采集，以实现负载均衡。一般选择配置高、空闲多、温度低、进程正常的服务器处理数据文件。接口机B接收数据文件入库成功响应后，则删除对应文件。

采集服务器(记为采集服务器A)还可以将记录分发给所有采集服务器。所有采集服务器并行入库处理。采集服务器调用分布式数据库云存储的JDBC/ODBC或API接口，进行SQL操作写入。

作为一个采集服务器，除了可能接收数据文件解析任务外，还要接收记录入库请求。采集服务器使用云存储系统接口进行记录入库操作。数据采集服务器在数据文件入库完成或异常中断后，发送数据文件入库成功响应，通知接口机B。

另一种典型处理方式为：该采集服务器调用云存储系统接口导入命令(LOADIN)语句，将数据文件中数据导入到数据库表中入库。数据采集服务器在数据文件入库完成或异常中断后，发送数据文件入库响应，通知接口机B。

云存储服务器提供结构化或非结构化数据的存储，并提供数据的维护管理，提供接口供业务应用等访问数据。云存储系统较易支持可以支持横向或纵向资源的易扩展性。

结构化数据云存储即分布式数据库系统支持ODBC/JDBC(OpenDatabase Connectivity(开放数据库互连)/Java Database Connectivity(Java数据库互连))接口；支持丰富完善的SQL(Structured Query Language，结构化查询语言)语法；支持数据压缩存储；支持多种数据分布方式，并且自动实施负载均衡；数据批量导入/导出功能；操作维护与网管功能(设备管理、故障管理、性能统计、日志管理、权限管理、配置管理、RAID(Redundant Arraysof Inexpensive Disks，廉价磁盘冗余阵列)管理等)；全流程信令跟踪，辅助用户观察系统状态和诊断问题。

图5中的应用服务器主要指基于汇聚的数据，为上层基于Web的应用提供访问服务。包括数据查询，导入、导出，数据备份，数据格式化输出，数据统计分析，报表处理，中间结果集数据管理。

分布式数据库应用还定期扫描(例如30分钟，该参数可以设置)，对于分布式数据库中超过存活期(例如3年，该参数可以设置)的数据，予以删除。

图5中的OMM管理服务器主要是通过WEB(网页)方式应用的管理软件系统，提供自动信息收集：如硬件信息、安装的软件包、操作系统配置，用户信息，BIOS(Basic Input/Output System，基本输入输出系统)信息，显示电脑的制造厂商，型号，序列号，光驱、软驱、移动存储(USB(通用串行总线)外设)等信息，以方便用户进行资产准确统计；能够对所有服务器运行状况、性能等进行实时监控，服务器主要部件发生故障能够及时定位和报警；能够为服务器所安装的操作系统及应用软件提供补丁管理和升级等功能。

如图6所示，本发明应用示例的电子文档数据汇聚割接的示意图，实时数据入库可以在系统调试完毕后即可上线使用，而在上线时刻T0以前的监控数据均视为历史数据，需要按历史数据汇聚处理，即对上线时刻前的监控数据进行汇聚导入到本系统。

上线时刻前，可以完成大部分已有历史数据汇聚工作，记为时刻T1。完成后，再T1至T0的监控数据进行历史汇聚导入到本系统。

如图7所示，是本发明应用示例的电子文档历史数据汇聚流程图，包括以下步骤：

步骤301、预处理机定时读取导入数据分中心的数据；

预处理机定时从外围各分中心业务数据库系统或源系统中把数据导入到预处理机中。导入的为分中心部分历史数据，例如固定数量的记录，导入数据起始位置为上一次导入结束位置的接续，导入按照同一索引序列进行。

步骤302、预处理机对数据进行预处理；

预处理机对导入的记录，进行转化和清理，包括清理掉垃圾数据或不需要的属性，转换为入库需要的数据格式和数据编码，一般按照系统设置自动进行处理。

步骤303、预处理机打包生成历史数据文件；

预处理机将预处理完成的历史数据打包为数据文件给接口机A，文件名称标识数据分中心编号、生成时间、文件编号等。

步骤304、接口机A传送数据文件；

接口机A将预处理机产生的打包数据文件，通过FTP传送给接口机B，并删除传送完成的数据记录文件，而接口机B保存接收到的数据文件。

步骤305、接口机B向采集服务器发送数据文件读取入库请求；

接口机B根据各采集服务器负载状况，选择性通知负载较少的采集服务器将数据文件读取入库。通知到的所有采集服务器并行工作。数据文件可以是前述接口机A传送过来的，也可以使标记为需要重新入库处理的。

步骤306、选择到的采集服务器进行数据文件解析；

采集服务器读取数据文件并将逐个数据文件进行解析；后续对解析的记录逐个处理。

步骤307、采集服务器对数据记录进行入库；

采集服务器调用云存储系统JDBC/ODBC SQL接口或API(应用程序)接口，将解析的记录入库。

步骤308、云存储服务器数据存储和管理；

云存储服务器接收各采集服务器的入库数据，内部实现负荷分担，并按预定要求生成索引、消重、副本和校验码等。

步骤309、云存储服务器返回数据记录入库响应；

云存储服务器如果未处理完成该数据文件的最后一个记录，则转向步骤306，待所有数据文件的所有记录入库完成后执行步骤310。

步骤310、采集服务器向接口机B发送数据文件入库响应；

采集服务器在数据文件入库完成或异常中断后，通知接口机B。

步骤306至步骤309的另一种典型处理方式为：

步骤306’、采集服务器进行数据文件解析；

采集服务器将数据文件读取并将逐个数据文件进行解析；后续对每个数据文件逐个分配给某采集服务器入库。

步骤307’、采集服务器进行数据记录入库；

采集服务器调用云存储系统接口导入命令LOADIN语句，将数据文件中数据导入到表中入库。

步骤308’、云存储系统进行数据存储和管理；

云存储系统接收各采集服务器入库，内部实现负荷分担，并按预定要求另行索引、消重、副本和校验码等，其中消重按记录处理。

步骤309’、数据文件入库响应；

如果未处理完成该数据文件，则转向步骤306’入库，待所有数据文件LOAD IN完成后执行步骤310。

如图8所示，是本发明应用示例的电子文档实时数据汇聚处理的流程示意图。实时数据汇聚流程可以参照图7历史数据汇聚流程的大部分。但是，特别对实时数据汇聚要单独考虑的是如何优化处理性能，而历史数据汇聚一般没有性能瓶颈。实时数据汇聚的性能必须单独考虑的另一个原因是，所有分中心的数据入库都集中到数据中心网络中处理，数据中心实时入库性能不少于多个数据分中心的总和。而另一方面，每一个数据分中心的数据量可能差别甚远，而且每个时刻的数据量也有很大差别，这种不均衡性必须差别性分配网络带宽、数据处理能力等。

步骤401、接口机A传送实时数据文件；

步骤402、接口机B查询各采集服务器运行情况；

接口机B根据设定的策略，可能查询的因素包括各个采集服务器的服务器温度、CPU使用率、内存占用率、解析入库进程运行状态等。

步骤403、采集服务器向接口机B返回状态查询响应；

接口机B接收到状态查询响应后，更新服务器状态列表。

步骤402至403不是必须嵌入到本业务流程，而可以是独立的监控进程操作，维护采集服务器状态列表。

步骤404、接口机B根据调度策略选择处理的采集服务器；

一般选择配置高、空闲多、温度低、进程正常的采集服务器处理数据文件。

步骤405、接口机B发送实时数据文件给选中的采集服务器。

步骤406、采集服务器进行数据文件解析；

该采集服务器(记为采集服务器A)还将记录分发给所有采集服务器，维护记录入库状态。

步骤407、所有采集服务器并行入库处理。

作为一个采集服务器，除了可能接收数据文件解析任务外，还要接收记录入库请求。

步骤408、采集服务器作为分布式数据库云存储的客户端，调用分布式数据的SQL操作，将数据记录写入云存储服务器，云存储服务器存储数据记录。

步骤409、云存储服务器进行数据存储和管理；

云存储服务器接收各采集服务器的入库数据，内部实现负荷分担，并按预定要求生成索引、消重、副本和校验码等。

步骤410、云存储服务器记录入库响应；

如果未处理完成该数据文件的最后一个记录，则转向步骤407入库，待所有数据文件的所有记录入库完成后执行步骤411。

步骤411、采集服务器转发记录入库响应；

负责记录入库的采集服务器将记录入库响应消息，转发给采集服务器A。

步骤412、数据采集服务器向接口机B发送数据文件入库响应；

数据采集服务器在数据文件入库完成后，发送数据文件入库成功响应，通知接口机B。接口机B接收数据文件入库成功响应后，则删除对应文件。数据文件入库异常，如超时接口机B仍删除对应文件。

步骤406至步骤411的另一种替代处理方式为：

步骤406’、该采集服务器调用云存储服务器接口导入命令LOADIN语句，将数据文件中数据导入到表中入库。

步骤407’、云存储服务器进行数据存储和管理；

云存储服务器接收各采集服务器的入库数据，内部实现负荷分担，并按预定要求另行索引、消重、副本和校验码等，其中消重按记录处理。

步骤408’、云存储服务器返回数据文件入库响应；

如果未处理完成该数据文件，则继续转向404入库，待所有数据文件的所有记录入库完成后继续步骤412。

这样，本系统就实现了历史数据汇聚和实时数据汇聚。

业务应用服务器就可以基于该数据中心汇聚的数据，开展更多的应用。

综上所述，在云计算环境下，提出使用云存储，将分散的电子文档数据的进行数据汇聚的系统和方法，以便进行电子文档有效存储管理和便捷业务应用支持。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (13)

1.一种数据处理的方法，包括：

获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

将预处理后的数据发送给云存储系统。

2.如权利要求1所述的方法，其特征在于：所述获取各数据分中心的历史数据包括：

监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

3.如权利要求1所述的方法，其特征在于：所述对获取到的数据进行预处理包括：

对所述数据进行统一处理和/或清理处理；

将处理后的数据打包生成数据文件。

4.如权利要求1-3任一项所述的方法，其特征在于：所述将预处理后的数据发送给云存储系统之后，还包括：

删除所述数据文件。

5.一种数据处理的系统，包括：

预处理模块，用于获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

接口模块，用于将预处理后的数据发送给云存储系统。

6.如权利要求5所述的系统，其特征在于：所述预处理模块包括：

第一单元，用于获取各数据分中心的历史数据和/或实时数据；

第二单元，用于对所述数据进行统一处理和/或清理处理；

第三单元，用于将处理后的数据打包生成数据文件。

7.如权利要求6所述的系统，其特征在于：

所述第一单元，具体用于监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

8.如权利要求5-7任一项所述的系统，其特征在于：

所述接口模块，还用于删除所述数据文件。

9.一种处理数据的方法，包括：

云存储系统接收数据分中心的数据；

通过多个采集模块并行采集所述数据，将所述数据写入云存储模块。

10.如权利要求9所述的方法，其特征在于：所述将所述数据写入云存储模块包括：

所述采集模块调用结构化查询语言接口、应用程序接口或接口导入命令将所述数据写入云存储模块。

11.一种云存储系统，包括：接口模块、多个采集模块和云存储模块，其中，

所述接口模块，用于接收各数据分中心的数据；

多个所述采集模块，用于并行采集所述接口模块接收的数据，将所述数据写入所述云存储模块。

12.如权利要求11所述的系统，其特征在于：

所述接口模块，接收到所述数据后还用于，根据各采集模块的负载状况，选择负载小于阈值的多个采集模块，通知选中的采集模块进行数据采集。

13.如权利要求11所述的系统，其特征在于：

所述接口模块，接收到所述数据后还用于，根据预置调度策略选择一个采集模块，将所述数据发送给该采集模块；由该采集模块将所述数据分发给所有的采集模块进行数据采集。

Images