CN111125052B - 基于动态元数据的大数据智能建模系统及方法 - Google Patents

Abstract

本发明公开了一种基于动态元数据的大数据智能建模系统及方法，该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块。其有益效果在于：(1)提出基于元数据的智能建模策略，在无需加载实际数据，甚至无需启动大数据挖掘引擎前提下，模拟整个数据挖掘转换过程，实时预估当前计算节点的输出结果，辅助操作人员建模操作，降低大数据建模技术门槛；(2)基于元数据进一步开发异常检测机制，以元数据代替真实数据，对上下级节点间数据传递形式、内容进行匹配性检测，相比于检视大数据集，具有实时性好、可靠性高的优势，从而实现对错误流程连接实时预警，提高建模效率。

Description

基于动态元数据的大数据智能建模系统及方法

技术领域

本发明属于大数据处理技术领域，具体涉及基于动态元数据的大数据智能建模系统及方法。

背景技术

随着信息技术和互联网的发展，各种信息呈现爆炸性增长,涵盖政治、经济、娱乐、军事、文化等各个方面，庞大的数据信息包含丰富的知识，已成为推动各领域发展的重要力量。

为从海量信息中获取潜在的知识，多种面向大数据挖掘的系统或相关实用工具应运而生，实现了大数据从存储、计算到可视化等多种技术的集成，一定程度上降低了大数据挖掘建模的技术门槛，但现有技术仍存在以下问题：其一，建模策略单一，现有工具通常以提供若干大数据挖掘模板形式辅助开发，适用业务场景有限，且拓展开发要求操作人员具备较高的专业知识；其二，建模效率低下，由于数据建模是一个反复迭代优化的过程，为检验挖掘步骤的正确性和挖掘效果的有效性，需不断执行计算操作，在大数据场景下，势必引入的巨大时间成本。

本发明针对现有技术缺陷，提出基于动态元数据的大数据智能建模系统及方法，改进大数据建模策略，提高建模效率，为大数据挖掘在各领域中的推广做出了很好的铺垫。

发明内容

本发明的目的是提供一种基于动态元数据的大数据智能建模系统及方法，它改进大数据建模策略，提高建模效率。

本发明的技术方案如下：一种基于动态元数据的大数据智能建模系统，该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块。

所述的元数据采集模块构建数据源的元数据，并将其作为初始元数据载入建模过程，在添加数据源时，调用元数据采集模块对数据源进行统计，提取字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数等数据特征，合并生成元数据，然后将元数据与当前数据源绑定，当数据源与其他流程节点连接时，自动将元数据传递给下级流程节点。

所述的元数据算法库模块用于提供元数据计算，它集成了用于元数据计算的功能算子，该功能算子包括能够进行数据转换、数据清洗、数据集成、数据规约、数据生成、数据特征提取、统计分析、关联规则、分类与回归、聚类、模型应用与评估等多项建模操作的计算逻辑，当添加一个流程节点时，通过元数据算法库模块获取该流程节点所需的元数据算子，元数据算子自动实现对流程节点输入端元数据的计算，并将新的元数据储存至流程节点的输出端，基于元数据算法库模块，对流程节点进行添加、连接的同时，元数据也在动态的转换、传递。

所述的异常检测模块用于实现建模流程设计中的异常检测，包括异常检测库和异常检测引擎两个子模块。

所述的异常检测库以元数据模拟真实大数据样本，分别定义每项数据操作合规的元数据形式、内容，并将异常状态划分为Fatal、Error、Warning三个级别。

所述的异常检测引擎将在元数据转换计算之前，调用异常检测库中相应检测项目，预先对流程节点输入元数据进行异常检测，若检测通过则进行转换计算，否则抛出异常记录。

所述的大数据引擎模块用于进行大数据集计算，完成整个建模流程后，通过大数据引擎模块调用对应Spark ML接口实现对大数据集本身的挖掘计算，获取挖掘结果。

所述的可视化模块用于构建可视化系统界面，将每项数据操作以图形化插件形式进行封装，通过简单的拖拽、连接即可完成流程；提供对每个流程节点输入输出元数据、异常预警信息可视化，实现人机交互过程。

基于动态元数据的大数据智能建模方法，它包括如下步骤，

(1)添加数据源，通过数据源算子，导入待挖掘数据；

(2)添加算子，通过添加指定算子插件，一键导入对应挖掘操作；

(3)连接算子，通过连接数据源和挖掘算子输入端口，完成数据传递；连线将自动触发异常检测，判断输入数据是否满足当前算子输入要求；

(4)配置算子参数，参数将决定算子数据转换的动作；

(5)异常查看，若无异常提示，表示当前挖掘流程有效，否则，根据异常提示修正算子连接或参数配置；

(6)重复步骤(2)～(5)，循环添加挖掘算子，直至完成整个流程创建；若无异常，表示流程有效，通过末端算子元数据，查看预估的挖掘结果，从而判断挖掘效果是否满足预期；若存在异常，可依照异常提示，逐级查看算子的元数据，排查异常的算子节点。

本发明的有益效果在于：(1)本发明提出基于元数据的智能建模策略，在无需加载实际数据，甚至无需启动大数据挖掘引擎前提下，模拟整个数据挖掘转换过程，实时预估当前计算节点的输出结果，辅助操作人员建模操作，降低大数据建模技术门槛；(2)本发明基于元数据进一步开发异常检测机制，以元数据代替真实数据，对上下级节点间数据传递形式、内容进行匹配性检测，相比于检视大数据集，具有实时性好、可靠性高的优势，从而实现对错误流程连接实时预警，避免盲目开发导致流程计算失败或反复执行大数据计算操作造成的时间消耗，提高建模效率。

附图说明

图1为本发明所提供的基于动态元数据的大数据智能建模系统的一种实施例的系统结构示意图；

图2为本发明所提供的基于动态元数据的大数据智能建模方法的流程示意图；

图3为实施例一大数据主成分分析示意图；

图4为实施例二大数据神经网络回归预测示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合本发明实施例及其附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提出一种基于动态元数据的大数据智能建模系统及方法，在建模策略上，引入元数据概念，并以元数据表征实际数据，结合元数据算法库，实现对当前流程节点数据转换效果的实时预估，操作人员可完全依照预估提示逐步完成建模；在建模效率上，引入基于元数据的异常检测机制，并结合人机交互界面，在无需执行大数据运算前提下，自动、实时反馈当前开发状态、挖掘效果，避免操作人员盲目开发，最大程度降低建模试错成本。

其中，所述元数据，指可表征数据集的一系列数据特征，例如，字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数等。将元数据纳入建模系统具有以下优势：其一，元数据与真实数据集一一映射，元数据能高度模拟真实数据集的计算转换逻辑，预估计算效果；其二，元数据字段有限，且不受真实数据集样本数量的影响，在大数据场景下，元数据的数据量依然可满足实时计算。

一种基于动态元数据的大数据智能建模系统，该系统包括元数据采集模块、元数据算法库模块、异常检测模块、可视化模块、大数据引擎模块。

所述元数据采集模块，构建数据源的元数据，并将其作为初始元数据载入建模过程，在添加数据源时，调用元数据采集模块对数据源进行统计，提取字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数等数据特征，合并生成元数据；然后将元数据与当前数据源绑定，当数据源与其他流程节点连接时，自动将元数据传递给下级流程节点。

所述元数据算法库模块用于提供元数据计算服务，算法库集成了一系列用于元数据计算的功能算子，该功能算子包括能够进行数据转换、数据清洗、数据集成、数据规约、数据生成、数据特征提取、统计分析、关联规则、分类与回归、聚类、模型应用与评估等多项建模操作的计算逻辑。当添加一个流程节点时，通过元数据算法库模块获取该流程节点所需的元数据算子，元数据算子自动实现对流程节点输入端元数据的计算，并将新的元数据储存至流程节点的输出端。基于元数据算法库模块，操作人员对流程节点进行添加、连接的同时，元数据也在动态的转换、传递。

每一个流程节点对应一项数据操作，不同的数据操作，对输入数据的形式、内容要求不尽相同，因此，实时检测流程中各节点输入是否合规，异常连接是否提供准确的预警和提示，将影响建模的效率。由于检视大数据集形式、内容需要大量的时间成本，现有大数据建模技术无法提供实时、有效的异常检测机制。

本发明中的异常检测模块用于实现建模流程设计中的异常检测，包括异常检测库和异常检测引擎两个子模块，其中，异常检测库以元数据模拟真实大数据样本，分别定义每项数据操作合规的元数据形式、内容，并将异常状态划分为Fatal、Error、Warning三个级别；异常检测引擎将在元数据转换计算之前，调用异常检测库中相应检测项目，预先对流程节点输入元数据进行异常检测，若检测通过则进行转换计算，否则抛出异常记录。

所述大数据引擎模块用于进行大数据集计算，完成整个建模流程设计后，可通过大数据引擎模块调用对应Spark ML接口实现对大数据集本身的挖掘计算，获取更为详尽的挖掘结果。

所述可视化模块用于构建可视化系统界面，将每项数据操作以图形化插件形式进行封装，通过简单的拖拽、连接即可完成流程设计；提供对每个流程节点输入输出元数据、异常预警信息可视化，实现高效的人机交互。

本发明中的各模块在一项挖掘流程中的协作关系如图1所示。图1包含一个由开始、完成、数据源、数据挖掘算子组成的基本挖掘流程，旨在通过数据挖掘算子实现对数据源的挖掘计算，其底层各模块协作关系可描述如下：实线表示大数据计算转换流程，由大数据挖掘引擎模块完成，虚线表示元数据计算转换流程，由基于元数据采集模块的初始元数据生成、元数据算法库的元数据转换、异常检测模块的元数据检测共同完成。虚线数据流用于辅助挖掘流程设计、效果预估以及异常排查，实线数据流用于大数据挖掘计算，两者相辅，结合可视化模块，实现大数据智能建模。

如图2所示，基于动态元数据的大数据智能建模方法，主要包括如下步骤：

(1)添加数据源，通过数据源算子，一键导入待挖掘数据，操作人员可查看数据源算子元数据，直观理解数据源的基本数据信息；

(2)添加算子，通过添加指定算子插件，一键导入对应挖掘操作；

(3)连接算子，通过连接数据源和挖掘算子输入端口，完成数据传递；连线将自动触发异常检测，判断输入数据是否满足当前算子输入要求。

(4)配置算子参数，参数将决定算子数据转换的动作；

(5)异常查看，若无异常提示，表示当前挖掘流程有效，否则，根据异常提示修正算子连接或参数配置；

(6)重复2～5步骤，循环添加挖掘算子，直至完成整个流程创建；若无异常，表示流程有效，可通过末端算子元数据，查看预估的挖掘结果，从而判断挖掘效果是否满足预期；若存在异常，可依照异常提示，逐级查看算子的元数据，排查异常的算子节点。

为了使本技术领域的人员更好地理解本发明方案，下面结合本发明实施实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一：

参见图3，本实施以大数据主成分分析为例，描述本系统智能建模方法以及各模块的交互关系。

(1)添加开始、完成，标识建模流程的起止端，每个环节称为一个流程节点，其中数据转换节点也称为算子节点。

(2)添加数据源，自动触发元数据采集模块，生成数据源元数据，并将元数据类型标记为“exampleSet”，部分元数据如下表所示。

名称	类型	角色	范围
				level	string	label	[low,middle,high]
factor_1	float	regular	[-∞,+∞]
				factor_2	float	regular	[-∞,+∞]
factor_3	float	regular	[-∞,+∞]
				factor_4	float	regular	[-∞,+∞]

由表可知，元数据中“名称”对应真实数据中的字段名；“类型”对应真实属性中各字段的数据类型；“角色”将为真实数据字段添加额外属性，“label”表示该字段为标签字段，“regular”表示该字段为常规字段；“范围”对应真实数据字段的值范围。

(3)添加“数据选择”节点，用于实现数据集字段筛选，本例中筛选对象为factor_1～factor_5。连接数据源将初始元数据传入“数据选择”节点，“数据选择”节点首先调用异常检测模块对输入元数据进行检测，此处限制条件为输入元数据类型为“exampleSet”且待选择字段存在，符合要求，则继续调用元数据算法库模块对输入元数据进行转化，输出结果如下：

名称	类型	角色	范围
				factor_1	float	regular	[-∞,+∞]
factor_2	float	regular	[-∞,+∞]
				factor_3	float	regular	[-∞,+∞]
factor_4	float	regular	[-∞,+∞]

(4)添加“主成分分析”节点，用于数据降维，本例中将降维后字段数量设置为2。连接“主成分分析”节点，将“数据选择”节点输出传入，同样先调用异常检测模块对“主成分分析”节点输入进行检测，主成分分析限制条件为输入元数据类型为“exampleSet”且字段类型为浮点型，符合要求，则继续调用元数据算法库模块对输入元数据进行转化，输出结果如下：

名称	类型	角色	范围
				pc_1	float	regular	[-∞,+∞]
pc_2	float	regular	[-∞,+∞]

(5)连接“完成”节点，结束整个建模流程设计。截止此刻，未对真实大数据进行任何计算操作，完全通过元数据模拟计算逻辑，实现了对流程各节点输出及主成分分析结果的预估。

(6)通过可视化模块，观察各节点元数据，若符合建模预期，且无异常预警，此时再通过大数据引擎模块，启动大数据集群，计算精准的流程输出，可极大程度地降低大数据计算成本。本系统支持两种数据计算模式，如图，虚线表示元数据转换流程，实现表示真实数据计算转换流程。

实施例二：

参见图4，本实施以基于神经网络的大数据回归预测为例，描述完整的智能数据建模过程。

(1)添加“开始”、“完成”、“数据源”节点，通过元数据采集模块生成数据源元数据如下：

名称	类型	角色	范围
				value	float	regular	[-∞,+∞]
factor_1	float	regular	[-∞,+∞]
				factor_2	float	regular	[-∞,+∞]
factor_3	float	regular	[-∞,+∞]

(2)添加“数据选择”节点，选择factor_1～factor_2字段作为建模特征。“数据选择”节点输出元数据如下：

名称	类型	角色	范围
				value	float	regular	[-∞,+∞]
factor_1	float	regular	[-∞,+∞]
				factor_2	float	regular	[-∞,+∞]

(3)添加“归一化”节点，对factor_1～factor_3字段进行归一化操作，若此处factor_1～factor_3字段非数值类型，将无法通过异常检测，“归一化”节点输出元数据如下：

名称	类型	角色	范围
				value	float	regular	[-∞,+∞]
factor_1	float	regular	[0,1]
				factor_2	float	regular	[0,1]

(4)添加“角色设置”节点，将value字段设为标签字段，即回归预测的对象，若此处输入元数据不包含value字段，将无法通过异常检测，“角色设置”节点输出元数据如下：

(5)添加“数据拆分”节点，将数据集拆分为训练和测试，“数据拆分”节点输出元数据将记录样本数量。

(6)添加“神经网络”节点，对输入数据进行训练，此处输入元数据要求包含label角色、regular角色字段，且label角色字段数量唯一，否则抛出异常。“神经网络”节点输出元数据类型不在是“exampleSet”，而是“model”,并且包含训练数据集的元数据。

(7)添加“神经网络”节点，对输入数据进行预测，该节点有两个输入，分别为待应用模型和测试数据，此处，模型输入端元数据类型必须为“model”，测试集输入端元数据必须与“model”中训练元数据一直。“神经网络”节点输出如下：

名称	类型	角色	范围
				value	float	label	[-∞,+∞]
value_prediction	float	prediction	[-∞,+∞]
				factor_1	float	regular	[0,1]
factor_2	float	regular	[0,1]

(8)至此，实现了基于神经网络的训练、预测，建模过程中，可完全依照上级节点元数据，辅助开发，提高开发效率。系统实际包含更为详细的元数据结构和异常检测内容，此处仅作简单示例描述。

Claims (2)

1.一种基于动态元数据的大数据智能建模系统，其特征在于：该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块；

所述的异常检测模块用于实现建模流程设计中的异常检测，包括异常检测库和异常检测引擎两个子模块；

所述的异常检测库以元数据模拟真实大数据样本，分别定义每项数据操作合规的元数据形式、内容，并将异常状态划分为Fatal、Error、Warning三个级别；

所述的异常检测引擎将在元数据转换计算之前，调用异常检测库中相应检测项目，预先对流程节点输入元数据进行异常检测，若检测通过则进行转换计算，否则抛出异常记录；

所述的大数据引擎模块用于进行大数据集计算，完成整个建模流程后，通过大数据引擎模块调用对应Spark ML接口实现对大数据集本身的挖掘计算，获取挖掘结果；

所述的可视化模块用于构建可视化系统界面，将每项数据操作以图形化插件形式进行封装，通过简单的拖拽、连接即可完成流程；提供对每个流程节点输入输出元数据、异常预警信息可视化，实现人机交互过程；

所述的元数据采集模块构建数据源的元数据，并将其作为初始元数据载入建模过程，在添加数据源时，调用元数据采集模块对数据源进行统计，提取字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数的数据特征，合并生成元数据，然后将元数据与当前数据源绑定，当数据源与其他流程节点连接时，自动将元数据传递给下级流程节点。

2.如权利要求1所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的元数据算法库模块用于提供元数据计算，它集成了用于元数据计算的功能算子，该功能算子包括能够进行数据转换、数据清洗、数据集成、数据规约、数据生成、数据特征提取、统计分析、关联规则、分类与回归、聚类、模型应用与评估的计算逻辑，当添加一个流程节点时，通过元数据算法库模块获取该流程节点所需的元数据算子，元数据算子自动实现对流程节点输入端元数据的计算，并将新的元数据储存至流程节点的输出端，基于元数据算法库模块，对流程节点进行添加、连接的同时，元数据也在动态的转换、传递。

Images