CN106776995B - 一种基于模型驱动架构的结构化数据树形采集方法 - Google Patents

Abstract

本发明涉及一种基于MDA的结构化数据树形采集技术，包括如下步骤：S1将业务对象及业务对象关系抽象化为结构化数据模型及模型关系；S2按照模型关系，以数据模型为节点构建一个或多个数据采集树形；S3建立了数据采集树根节点后，按照模型关系选择相关的数据模型并将其逐级构建，最终形成符合业务需求的完整数据采集树；S4依据业务场景对于数据的要求建立展现模型；S5将展现模型的记录和数据采集树上的类型进行映射；S6完成最终的数据采集定义，从而最终实现数据采集并按照的规范建立采集文件。由于提供了规范的数据接口，本发明可以方便的与第三方系统集成，实现采集数据的输入输出具有很强的可移植性和平台无关性。

Description

一种基于模型驱动架构的结构化数据树形采集方法

技术领域

本发明涉及一种数据采集技术，具体涉及一种基于模型驱动架构的结构化数据树形采集方法。

背景技术

数据平台一般都会包括数据采集、数据存储、数据处理、数据展现几个部分。随着大数据概念逐渐升温，对于数据采集的要求也越来越高。如何搭建一个能够快速采集海量数据的架构体系以保证数据采集的可靠性、避免重复数据、提高数据质量成为数据平台亟待解决的技术问题。本技术方案的目的是以模型驱动架构为基础，对业务对象进行抽象形成结构化的数据模型，将业务对象之间的业务关联性抽象为数据模型的关系，在数据平台中以数据模型和模型关系存储业务对象及相关数据，数据模型依据相互关系可以在系统中形成网状数据结构。方案根据业务对象和业务逻辑将需要的数据模型从网状结构中提取并形成数据模型树形结构，根据业务需求场景抽象展现模型。在系统中以数据模型树形结构和展现模型为基础，通过配置的方式建立数据模型和展现模型的映射并根据业务场景定义采集规则并最终实现数据采集。本方案把数据平台的数据以满足业务场景需要的形式采集到展现模型中，采集的数据结果可以广泛的应用于WEB页面、数据统计分析、表格/报表、图表/表单等各种数据展现。

当前信息系统对于业务数据的采集一般采用两种方式：一是通过软件编程的方式实现对于业务数据的采集要求。这种方式是在分析业务数据的采集需求的基础上，通过程序人员的编码来实现数据采集。另一种技术方式时通过在数据库中编程并以事务或联机事务的方式进行数据的采集。这种方式中，数据库开发人员根据数据采集需求，编写数据采集的功能代码，应用程序开发人员以一定的方式调用数据库事务或程序实现最终数据采集的目的。

以软件编程方式实现数据采集的方式需要软件技术人员以编码的方式实现具体业务场景的数据采集要求，由于人员和技术的差异，数据采集功能在效率上的差异很大，面对海量业务数据的采集需求，往往表现出采集缓慢、稳定性不高、完整性差等问题。另外，当业务数据采集的需求发生变化或有新的业务数据采集需求时，程序员需要不断修改程序或编写新的代码来满足业务的要求，导致了巨大的人力资源需要和重复劳动。以数据库事务实现数据采集的方式，提高了数据采集的效率，但需要技术人员在数据库段进行大量的开发工作，并且随着数据采集需求的变化，技术人员也必须时刻对编码进行调整。以上技术从根本上都需要专业的技术人员进行大量的编码工作来满足数据采集的需求，其灵活性、稳定性、可靠性很大程度上依赖技术人员的能力水平，其易用性、可移植性、通用性都不能满足千变万化的业务数据采集需求。

发明内容

本发明的目的是针对现有技术中的不足，提供一种基于模型驱动架构的结构化数据树形采集方法，通过配置采集规则，达到对海量数据的快捷、准确的采集要求。

为实现上述目的，本发明公开了如下技术方案：

一种基于模型驱动架构的结构化数据树形采集方法，包括如下步骤：

S1将业务对象及业务对象关系抽象化为结构化数据模型及模型关系；

S2数据模型和模型关系构建完成后，业务数据以这种结构化的方式存储在数据平台中，为了在数据平台中对存储的结构化数据进行采集，按照模型关系，以数据模型为节点构建一个或多个数据采集树形；

S3建立了数据采集树根节点后，按照模型关系选择相关的数据模型并将其逐级构建，最终形成符合业务需求的完整数据采集树，该数据采集树是能够表示业务对象和业务关系的、由数据模型组成的完整的数据采集树，该数据采集树支持包括编辑、分类查询、条件过滤、子节点排序、节点特性编辑在内的编辑操作；

S4依据业务场景对于数据的要求建立展现模型，展现模型的建立采用非编程的配置模式，通过分析业务场景的需求，在数据平台中构建展现模型和记录集并最终形成完整的展现模型树形结构从而满足业务场景的数据需求；

S5展现模型和记录集配置完成后，将展现模型的记录和数据采集树上的数据模型进行映射，每一个展现模型能够映射多个数据采集树，而记录集每次能够映射不同数据采集树上的数据模型，通过这种灵活的映射方式，实现了展现模型的数据采集多元化；

S6当所有的记录集和数据采集树上的数据模型及属性按照业务需求实现了映射关系后，用户只需以配置的方式按照业务场景中既定的业务规则在采集规则定义中以表达式和设置参数变量的方式建立与业务规则对应的采集规则表达式和法则就能够完成最终的数据采集定义，从而最终实现数据采集并按照的规范建立采集文件。

进一步的，所述步骤S1具体步骤为，通过分析业务对象的特征，在数据平台中建立业务对象的数据模型，数据模型抽象了业务对象及其特征，业务对象间的联系也被抽象为数据模型间的关系以模型关系存储在数据平台中，业务对象的所有数据及关联信息都以结构化的形式存储在对应的数据模型和模型关系中。

进一步的，所述步骤S2中的数据采集树是按照业务场景中对业务对象的数据采集需求而构建的，数据采集树的构建支持在任何节点上建立自反节点、支持数据模型或模型关系作为节点、支持在树形结构上的任何数据模型或模型关系上配置其他数据类型或模型关系。

进一步的，所述步骤S4中，在数据平台构建展现模型和记录集的具体方法如下：为了能够将数据模型中存储的业务对象数据采集出来，首先建立采集模型，采集模型建立完成后，根据业务场景的需要，分析业务场景需要获取的业务对象和业务对象相关的数据，将这些业务对象和业务对象相关的数据按照业务需求在展现模型下形成记录集节点，展现模型和记录集形成的树形结构为业务场景提供了系统的数据采集规范。

进一步的，所述步骤S6中进行数据采集时，获取树形结构和其节点的ID值并记录，然后对节点进行判定，是否为常量节点，如果是则进行常量节点处理，然后进行记录集操作，如果不是直接进行记录集操作；获取展现模型和记录集数据信息，从而获取记录集属性的ID，将记录集属性同树形节点的属性进行映射，形成一一对应的映射关系，然后判定该记录集是否可以自反，如果可以自反，则处理自反信息，然后进行映射处理，定义成功后，依据智能算法和处理程序在复杂的数据库结构中建立采集信息管理，实现最终的数据采集。

本发明公开的一种基于模型驱动架构的结构化数据树形采集方法，具有以下有益效果：

本发明以零代码开发的方式实现数据的采集，通过对采集方法的简单学习就可以掌握数据采集的配置方式，并在具体业务场景中进行应用。由于提供了规范的数据接口，本设计可以方便的与第三方系统集成，实现采集数据的输入输出具有很强的可移植性和平台无关性。

附图说明

图1是数据采集模型及采集规则关系示意图，

图2是本发明方案方法流程图，

图3是数据采集规则定义原理图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种基于模型驱动架构的结构化数据树形采集方法，通过配置采集规则，达到对海量数据的快捷、准确的采集要求。

本发明公布了一套全新的数据采集技术方案。核心是将业务对象及业务对象关系抽象化为结构化数据模型及模型关系，将业务场景需求抽象为展现模型和模型关系，最终以“树形结构+采集规则”的方式实现对数据模型的数据采集并通过展现模型按照需要进行数据汇总和展现。该技术通过非编程的方式配置数据模型树形结构和展现模型树形结构并通过制定的采集规则实现对数据平台的数据的采集。当业务需求发生变化是，只需要对相应的树形结构和采集规则进行简单的调整和修改即可满足新的数据采集需求而无需修改程序代码和底层数据库。本发明以零代码开发的方式实现数据的采集，通过对采集方法的简单学习就可以掌握数据采集的配置方式，并在具体业务场景中进行应用。由于提供了规范的数据接口，本设计可以方便的与第三方系统集成，实现采集数据的输入输出具有很强的可移植性和平台无关性。

本发明的详细设计主要包括了建立数据模型及模型关系、数据采集树构建、展现模型设计、数据采集规则定义等几个部分。展现模型和数据采集树是通过数据采集规则建立映射关系，在数据采集规则中进行详细的规则定义，包括展现模型记录集与数据采集树各个节点的对应、展现模型记录集属性和数据采集树各个节点的属性的对应、表达式定义等。从而最终完成所有的采集定义过程，实现业务数据的树形结构采集。

请参见图1、图2。

一种基于模型驱动架构的结构化数据树形采集方法，包括如下步骤：

S1将业务对象及业务对象关系抽象化为结构化数据模型及模型关系；

S2数据模型和模型关系构建完成后，业务数据以这种结构化的方式存储在数据平台中，为了在数据平台中对存储的结构化数据进行采集，按照模型关系，以数据模型为节点构建一个或多个数据采集树形；

S3建立了数据采集树根节点后，按照模型关系选择相关的数据模型并将其逐级构建，最终形成符合业务需求的完整数据采集树，该数据采集树是能够表示业务对象和业务关系的、由数据模型组成的完整的数据采集树，该数据采集树支持包括编辑、分类查询、条件过滤、子节点排序、节点特性编辑在内的编辑操作，方便对数据采集树的修改和变更；

S4依据业务场景对于数据的要求建立展现模型，展现模型的建立采用非编程的配置模式，通过分析业务场景的需求，在数据平台中构建展现模型和记录集并最终形成完整的展现模型树形结构从而满足业务场景的数据需求；

S5展现模型和记录集配置完成后，将展现模型的记录和数据采集树上的数据模型进行映射，每一个展现模型能够映射多个数据采集树，而记录集每次能够映射不同数据采集树上的数据模型，通过这种灵活的映射方式，实现了展现模型的数据采集多元化；

S6当所有的记录集和数据采集树上的数据模型及属性按照业务需求实现了映射关系后，用户只需以配置的方式按照业务场景中既定的业务规则在采集规则定义中以表达式和设置参数变量的方式建立与业务规则对应的采集规则表达式和法则就能够完成最终的数据采集定义，从而最终实现数据采集并按照的规范建立采集文件。

当所有的记录集和数据采集树上的数据模型及属性按照业务需求实现了映射关系后，用户只需要以配置的方式按照业务场景中既定的业务规则在采集规则定义中以表达式和设置参数变量的方式建立与业务规则对应的采集规则表达式和法则就可以完成最终的数据采集定义，从而最终实现数据采集并按照一定规范建立采集文件。数据采集规则的定义实现了展现模型和数据采集树的映射，是构建树形采集结构不可或缺的桥梁。

见图3，系统能够提供完整的采集规则定义界面，方便实现采集规则的定义而避免大量的代码开发和数据库编程。通过采集规则定义界面，不但能够以配置的方式实现数据采集树上各个节点上数据模型及属性同展现模型记录集及记录集属性映射，同时也能够以配置的方式实现采集规则的表达式定义。从而实现了树形结构数据采集的快速灵活配置。

作为具体实施例，所述步骤S1具体步骤为，通过分析业务对象的特征，在数据平台中建立业务对象的数据模型，数据模型抽象了业务对象及其特征，业务对象间的联系也被抽象为数据模型间的关系以模型关系存储在数据平台中，业务对象的所有数据及关联信息都以结构化的形式存储在对应的数据模型和模型关系中。用户只需要通过图形界面，就能够在数据平台中建立构建相关的业务数据的数据模型并进行数据存储。

作为具体实施例，所述步骤S2中的数据采集树是按照业务场景中对业务对象的数据采集需求而构建的，数据采集树的构建支持在任何节点上建立自反节点、支持数据模型或模型关系作为节点、支持在树形结构上的任何数据模型或模型关系上配置其他数据类型或模型关系。数据采集树的构建不需要进行代码开发，通过本设计提供的数据采集树构建工具，以配置的方式就能够快速实现。

作为具体实施例，所述步骤S4中，在数据平台构建展现模型和记录集的具体方法如下：为了能够将数据模型中存储的业务对象数据采集出来，首先建立采集模型，采集模型建立完成后，根据业务场景的需要，分析业务场景需要获取的业务对象和业务对象相关的数据，将这些业务对象和业务对象相关的数据按照业务需求在展现模型下形成记录集节点，展现模型和记录集形成的树形结构为业务场景提供了系统的数据采集规范。

作为具体实施例，所述步骤S6中进行数据采集时，获取树形结构和其节点的ID值并记录，然后对节点进行判定，是否为常量节点，如果是则进行常量节点处理，然后进行记录集操作，如果不是直接进行记录集操作；获取展现模型和记录集数据信息，从而获取记录集属性的ID，将记录集属性同树形节点的属性进行映射，形成一一对应的映射关系，然后判定该记录集是否可以自反，如果可以自反，则处理自反信息，然后进行映射处理，定义成功后，依据智能算法和处理程序在复杂的数据库结构中建立采集信息管理，实现最终的数据采集。

本技术方案设计并不单纯依赖于关系型数据库和并行数据仓库这些传统的数据库设计技术，而是以数据为中心，模型驱动为技术支撑点。同时，方案中对数据模型、数据采集结构树、数据采集规则等技术进行了大量的创新技术研究和应用，最终使得海量数据的快速采集得以实现。

为了更好的讲述本发明的原理及实现方法，首先将本发明涉及到的一些专有名词加以解释：

数据模型：对业务对象进行抽象，在系统中形成的的类模型。数据模型支持子类定义，可以在父类型上无限扩展子类型

模型关系：业务对象之间的业务逻辑的抽象，在系统中以关系的方式进行描述。模型关系同样支持子类扩展。

数据采集树：是以数据模型为节点，以模型关系作为准则将一组数据模型构造成树形结构，其用途是将数据平台存储的数据以一定的方式组织到一起，作为数据采集的数据源。

数据采集树节点：放置在数据采集树上的数据类型是数据采集树的节点

记录集：对业务场景中数据需求的抽象，业务场景中一类数据需求都被抽象为数据平台的一个记录集。每一个记录集都支持无限嵌套定义。

展现模型：是业务场景的抽象，对相关的记录集以树形结构进行组织

数据采集规则：描述展现模型中记录集的字段与数据采集树节点上数据模型属性关联规则以及采集数据的处理规则。

以上所述仅是本发明的优选实施方式，而非对其限制；应当指出，尽管参照上述各实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，其依然可以对上述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改和替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于模型驱动架构的结构化数据树形采集方法，其特征在于，包括如下步骤:

S1将业务对象及业务对象关系抽象化为结构化数据模型及模型关系；

S2数据模型和模型关系构建完成后，业务数据以这种结构化的方式存储在数据平台中，为了在数据平台中对存储的结构化数据进行采集，按照模型关系，以数据模型为节点构建一个或多个数据采集树；

S3建立了数据采集树根节点后，按照模型关系选择相关的数据模型并将其逐级构建，最终形成符合业务需求的完整数据采集树，该数据采集树是能够表示业务对象和业务关系的、由数据模型组成的完整的数据采集树，该数据采集树支持包括编辑、分类查询、条件过滤、子节点排序、节点特性编辑在内的编辑操作；

S4依据业务场景对于数据的要求建立展现模型，展现模型的建立采用非编程的配置模式，通过分析业务场景的需求，在数据平台中构建展现模型和记录集并最终形成完整的展现模型树形结构从而满足业务场景的数据需求，包括:

为了能够将数据模型中存储的业务对象数据采集出来，首先建立展现模型，展现模型建立完成后，根据业务场景的需要，分析业务场景需要获取的业务对象和业务对象相关的数据，将这些业务对象和业务对象相关的数据按照业务需求在展现模型下形成记录集节点，展现模型和记录集形成的树形结构为业务场景提供了系统的数据采集规范；

S5展现模型和记录集配置完成后，将展现模型的记录和数据采集树上的数据模型进行映射，每一个展现模型能够映射多个数据采集树，而记录集每次能够映射不同数据采集树上的数据模型，通过这种灵活的映射方式，实现了展现模型的数据采集多元化；

S6当所有的记录集和数据采集树上的数据模型及属性按照业务需求实现了映射关系后，用户只需以配置的方式按照业务场景中既定的业务规则在采集规则定义中以表达式和设置参数变量的方式建立与业务规则对应的采集规则表达式和法则就能够完成最终的数据采集定义，从而最终实现数据采集并按照的规范建立采集文件。

2.根据权利要求1所述的一种基于模型驱动架构的结构化数据树形采集方法，其特征在于，所述步骤S1具体步骤为，通过分析业务对象的特征，在数据平台中建立业务对象的数据模型，数据模型抽象了业务对象及其特征，业务对象间的联系也被抽象为数据模型间的关系以模型关系存储在数据平台中，业务对象的所有数据及关联信息都以结构化的形式存储在对应的数据模型和模型关系中。

3.根据权利要求1所述的一种基于模型驱动架构的结构化数据树形采集方法，其特征在于，所述步骤S2中的数据采集树是按照业务场景中对业务对象的数据采集需求而构建的，数据采集树的构建支持在任何节点上建立自反节点、支持数据模型或模型关系作为节点、支持在树形结构上的任何数据模型或模型关系上配置其他数据类型或模型关系。

4.根据权利要求1所述的一种基于模型驱动架构的结构化数据树形采集方法，其特征在于，所述步骤S6中进行数据采集时，获取树形结构和其节点的ID值并记录，然后对节点进行判定，是否为常量节点，如果是则进行常量节点处理，然后进行记录集操作，如果不是直接进行记录集操作；获取展现模型和记录集数据信息，从而获取记录集属性的ID，将记录集属性同树形节点的属性进行映射，形成一一对应的映射关系，然后判定该记录集是否可以自反，如果可以自反，则处理自反信息，然后进行映射处理，定义成功后，依据智能算法和处理程序在复杂的数据库结构中建立采集信息管理，实现最终的数据采集。

Images