CN103412956A

CN103412956A - 异构数据源的数据加工处理方法及系统

Info

Publication number: CN103412956A
Application number: CN2013103884207A
Authority: CN
Inventors: 王仲; 曾纪才
Original assignee: BEIJING CTJ SOFTWARE Co Ltd
Current assignee: BEIJING CTJ SOFTWARE Co Ltd
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2013-11-27

Abstract

本发明提出一种异构数据源的数据加工处理方法，包括以下步骤：从异构数据源中获取数据；根据预设数据模板对数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中；对临时存储单元中存储的数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的数据满足数据分析需求。根据本发明实施例的方法可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。本发明还提出了一种异构数据源的数据加工处理系统。

Description

异构数据源的数据加工处理方法及系统

技术领域

本发明涉及计算机信息处理技术领域，特别涉及一种异构数据源的数据加工处理方法及系统。

背景技术

当今信息化系统建设已进入一个新的阶段，信息社会正在迎接新的挑战—“大数据时代”，在这个以“数据为王”为特征的阶段，如何实现数据中心由业务型向分析型转变以提高历年沉淀数据利用率实现数据效应最大化成为一个重要的研究课题。

数据加工利用的最大难点在于数据结构差异大，即所谓异构数据，目前存在的典型异构数据源主要有三种：文件系统、数据库系统、在线业务应用系统，此三类数据源在来源地址、结构定义、表现形式等方面均差异巨大。在这种情况下，由于不同异构数据源中数据结构差异、模型不一。因此并不能将不同异构数据源中的数据进行统一数据加工处理，导致异构数据源中的数据利用效果不佳。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种异构数据源的数据加工处理方法。该方法可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。

本发明的另一目的在于提出一种异构数据源的数据加工处理系统。

为了实现上述目的，本发明第一方面的实施例提出了一种异构数据源的数据加工处理方法，包括以下步骤：从异构数据源中获取数据；根据预设数据模板对所述数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中；以及对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的所述数据满足数据分析需求。

根据本发明实施例的异构数据源的数据加工处理方法，可有效解决异构数据源加工处理中结构差异、模型不一、通用性不好以及利用效果不佳的问题，可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。

另外，根据本发明上述实施例的异构数据源的数据加工处理方法还可以具有如下附加的技术特征：

在一些示例中，所述异构数据源中的数据是通过适配器获取到的。

在一些示例中，所述异构数据源至少包括文件系统、数据库系统和在线业务应用系统三种类型的异构数据源；所述从异构数据源中获取数据，包括：识别所述异构数据源的类型；根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。

在一些示例中，所述对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，包括：从所述临时存储单元中获取所述数据；分别对所述数据的字段结构、编码、属性和统计口径进行一致化处理。

本发明第二方面的实施例提供了一种异构数据源的数据加工处理系统，包括：数据获取模块，用于从异构数据源中获取数据；第一处理模块，用于根据预设数据模板对所述数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中；以及第二处理模块，用于对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的所述数据满足数据分析需求。

根据本发明实施例的异构数据源的数据加工处理系统，可有效解决异构数据源加工处理中结构差异、模型不一、通用性不好以及利用效果不佳的问题，可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。另外，该系统结构简单，易于实现。

另外，根据本发明上述实施例的异构数据源的数据加工处理系统还可以具有如下附加的技术特征：

在一些示例中，所述异构数据源至少包括文件系统、数据库系统和在线业务应用系统三种类型的异构数据源；所述数据获取模块用于识别所述异构数据源的类型，并根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。

在一些示例中，所述第二处理模块用于从所述临时存储单元中获取所述数据，并分别对所述数据的字段结构、编码、属性和统计口径进行一致化处理。

在一些示例中，还包括：数据分析模块，用于对第二处理模块处理后的数据进行统计和分析。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的异构数据源的数据加工处理方法的流程图；

图2是根据本发明一个实施例的异构数据源的数据加工处理系统的结构图；

图3是根据本发明一个实施例的异构数据源的数据加工处理系统对异构数据源中数据进行加工处理的过程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明一个实施例的异构数据源的数据加工处理方法及系统。

图1是根据本发明一个实施例的异构数据源的数据加工处理方法的流程图。如图1所示，根据本发明一个实施例的异构数据源的数据加工处理方法，包括如下步骤：

步骤S101：从异构数据源中获取数据。其中，异构数据源中的数据可通过适配器获取到。

作为一个具体的示例，异构数据源至少包括文件系统、数据库系统和在线业务应用系统三种类型的异构数据源。

基于上述3种类型的异构数据源，从异构数据源中获取数据，包括：

1、识别异构数据源的类型。

2、根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。

例如：针对不同类型的异构数据源会选择相应的数据获取适配器（即适配器），根据数据源特点分为二个级别的适配器，一级适配器是粗粒度，如面向数据库系统的DBAdapter、面向在线业务应用系统的AppAdapter、面向文件系统的FileAdapter；二级适配器是对一级适配器的细化，如对数据库适配器进一步划分为DBAdapter_Oracle、DBAdapter_DB2、DBAdapter_MSSQL等，如对应用系统适配器可细化为APPAdapter_OA、APPAdapter_Finance等，如对文件适配器可细分为FileAdapter_XML、FileAdapter_TXT、FileAdapter_Excel等。

需要说明的，本发明上述实施例所示出的适配器仅是示例性的，针对其它的异构数据源，还具有相应的适配器。

步骤S102：根据预设数据模板对数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中。其中，预设数据模板指根据业务数据分析的要求按需设置的模板，其目的是建立上述步骤S101所采集数据与临时存储单元（即中间临时存储单元）中存储的数据间的对应关系，在存储结构上仍为异构型结构。从数据处理形式上，运用的预设数据模板包括但不限于：新增类、删除类、修改类、合并类、分拆类等五类数据模板，从而，可分别针对五类处理形式进行模板化加工；从物理展现形式上，包括三种，诸如映射表、脚本代码、XML报文，三种形式的数据模板只有形式上的不同而无运用对象上的差异。经过数据模板加工处理后的数据最终可按业务类型划分成不同的中间表，如前所述的以异构形式存储到临时存储单元。

进一步地，可以认为上述步骤S102是对异构数据源中的数据进行的预处理，即对上述数据的第一次处理过程，属于预处理，是对从各异构数据源中获取的数据（包括但不限于业务过程数据和明细数据）进行初步的清洗和转换，并根据预设数据模板将数据分类存放在临时存储单元（例如中间表的临时存储区）中，待业务数据集中后，经过由以下步骤S103执行。

步骤S103：对临时存储单元中存储的数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的数据满足数据分析需求。

例如：对临时存储单元中存储的数据进行一致化转换以得到满足预设数据结构的数据，包括：

1、从临时存储单元中获取数据。

2、分别对数据的字段结构、编码、属性和统计口径进行一致化处理。

具体而言，可认为步骤S103是对数据的二次处理，即再加工。是将从临时存储单元中存储的数据换至例如符合统计、分析、展示要求的数据结构，满足一致化处理的目标。其中，一致化表现在以下几方面：一是数据的字段结构一致，即将异构数据源中的数据信息元数据重新统一表达，包括字段的名称、类型、长度及是否允许为空等；二统一编码集和属性度量，即从数据内容层面加以规范；三是主数据对照，即统一主数据的统计口径。另外，二次加工处理的另一个要求是对预处理过程中的数据进行合并计算和汇总，以满足后续数据分析的需要。

从存储结构上，本步骤同前述步骤S102的最大区别在于，前者（即步骤S102）采用的是同质化处理，即数据存储结构是同构类型，而后者仍为异构型结构。

根据本发明实施例的异构数据源的数据加工处理方法，可有效解决异构数据源加工处理中结构差异、模型不一、通用性不好以及利用效果不佳的问题，可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。具体地，本发明实施例的异构数据源的数据加工处理方法可完全覆盖各种异构数据源，针对异构数据各自特点采取最佳适配器匹配技术，并根据不同的数据分析和加工利用需求采用模板处理技术，以达到一致化处理的目标。具有适配器自适应、模板化自动化处理，数据处理一致性好、通用性强的优点。

图2是根据本发明一个实施例的异构数据源的数据加工处理系统的示意图。如图2所示，根据本发明一个实施例的异构数据源的数据加工处理系统，包括：数据获取模块210、第一处理模块220和第二处理模块230。

其中，数据获取模块210用于从异构数据源中获取数据。第一处理模块220用于根据预设数据模板对数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中。第二处理模块230用于对临时存储单元中存储的数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的数据满足数据分析需求。

异构数据源至少包括文件系统、数据库系统和在线业务应用系统三种类型的异构数据源。结合图2和图3所示，基于上述3种类型的异构数据源，数据获取模块210从异构数据源中获取数据，包括：识别异构数据源的类型。根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。可知，数据获取模块210可根据不同异构数据源的特点自动选择和加载不同的适配器，由数据获取模块210根据对照关系从预置的适配器库中自动匹配。

对上述实施例所提的预设数据模板的解释如下：预设数据模板指根据业务数据分析的要求按需设置的模板，其目的是建立上述数据获取模块210所采集数据与临时存储单元（即中间临时存储单元）中存储的数据间的对应关系，在存储结构上仍为异构型结构。从数据处理形式上，运用的预设数据模板包括但不限于：新增类、删除类、修改类、合并类、分拆类等五类数据模板，从而，可分别针对五类处理形式进行模板化加工；从物理展现形式上，包括三种，诸如映射表、脚本代码、XML报文，三种形式的数据模板只有形式上的不同而无运用对象上的差异。经过数据模板加工处理后的数据最终可按业务类型划分成不同的中间表，如前所述的以异构形式存储到临时存储单元.

进一步地，可以认为第一处理模块220是对异构数据源中的数据进行的预处理，即对上述数据的第一次处理过程，属于预处理，是对从各异构数据源中获取的数据（包括但不限于业务过程数据和明细数据）进行初步的清洗和转换，并根据预设数据模板将数据分类存放在临时存储单元（例如中间表的临时存储区）中，待业务数据集中后，由第二处理模块230统一处理。

如上可知，第一处理模块220具有用于对数据进行预设数据模板加载的功能。第一处理模块220在完成对从各异构数据源获取的业务过程数据和明细数据的清洗和转换后，根据预设数据模板将上述数据分类存放在临时存储单元（如图3所示的中间表存储单元）中。

进一步地，第二处理模块230对临时存储单元中存储的数据进行一致化转换以得到满足预设数据结构的数据，包括：从临时存储单元中获取数据，以及分别对数据的字段结构、编码、属性和统计口径进行一致化处理。

具体而言，可认为第二处理模块230是对数据的二次处理，即再加工。是将从临时存储单元中存储的数据换至例如符合统计、分析、展示要求的数据结构，满足一致化处理的目标。其中，一致化表现在以方面：一是数据的字段结构一致，即将异构数据源中的数据信息元数据重新统一表达，包括字段的名称、类型、长度及是否允许为空等；二统一编码集和属性度量，即从数据内容层面加以规范；三是主数据对照，即统一主数据的统计口径。另外，二次加工处理的另一个要求是对预处理过程中的数据进行合并计算和汇总，以满足后续数据分析的需要。

从存储结构上，本步骤同前述第一处理模块220进行处理的最大区别在于，前者（第一处理模块220）采用的是同质化处理，即数据存储结构是同构类型，而后者（第二处理模块230）仍为异构型结构。

如图2所示，并结合图3，本发明实施例的系统还包括：数据分析模块240，用于对第二处理模块230处理后的数据进行统计和分析。即第二处理模块230将最终数据传送到数据分析模块240，完成数据的统计、分析和展示。

根据本发明实施例的异构数据源的数据加工处理系统，可有效解决异构数据源加工处理中结构差异、模型不一、通用性不好以及利用效果不佳的问题，可将来自不同的异构数据源中的数据统一加工处理为满足数据分析需要，提高异构数据源中的数据利用效果。具体地，本发明实施例的异构数据源的数据加工处理系统可完全覆盖各种异构数据源，针对异构数据各自特点采取最佳适配器匹配技术，并根据不同的数据分析和加工利用需求采用模板处理技术，以达到一致化处理的目标。具有适配器自适应、模板化自动化处理，数据处理一致性好、通用性强的优点。另外，该系统结构简单，易于实现。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims

1.一种异构数据源的数据加工处理方法，其特征在于，包括以下步骤：

从异构数据源中获取数据；

根据预设数据模板对所述数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中；以及

对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的所述数据满足数据分析需求。

2.根据权利要求1所述的方法，其特征在于，所述异构数据源中的数据是通过适配器获取到的。

3.根据权利要求1所述的方法，其特征在于，

所述异构数据源至少包括文件系统、数据库系统和在线业务应用系统三种类型的异构数据源；

所述从异构数据源中获取数据，包括：

识别所述异构数据源的类型；

根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，包括：

从所述临时存储单元中获取所述数据；

分别对所述数据的字段结构、编码、属性和统计口径进行一致化处理。

5.一种异构数据源的数据加工处理系统，其特征在于，包括：

数据获取模块，用于从异构数据源中获取数据；

第一处理模块，用于根据预设数据模板对所述数据进行加载和分类，并根据分类结果将每一类的数据分别存入临时存储单元中；以及

第二处理模块，用于对所述临时存储单元中存储的所述数据进行一致化转换以得到满足预设数据结构的数据，并根据预定需求对转换后的数据进行合并和汇总以使处理后的所述数据满足数据分析需求。

6.根据权利要求5所述的系统，其特征在于，所述异构数据源中的数据是通过适配器获取到的。

7.根据权利要求5所述的系统，其特征在于，

所述数据获取模块用于识别所述异构数据源的类型，并根据识别结果选择与所述异构数据源的类型相匹配的适配器从相应类型的异构数据源中获取数据。

8.根据权利要求5-7任一项所述的系统，其特征在于，所述第二处理模块用于从所述临时存储单元中获取所述数据，并分别对所述数据的字段结构、编码、属性和统计口径进行一致化处理。

9.根据权利要求5所述的系统，其特征在于，还包括：

数据分析模块，用于对第二处理模块处理后的数据进行统计和分析。