CN105843873B - 用于管理数据建模的系统及其方法 - Google Patents

Abstract

提供了一种用于管理数据建模的方法，包括：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。通过上述方式，能够有效地管理数据建模中涉及的处理、数据和资源等。

Description

用于管理数据建模的系统及其方法

技术领域

本发明总体地涉及数据建模技术，更具体地涉及用于管理数据建模的系统及其方法。

背景技术

近年来，随着各领域海量数据的产生，数据挖掘技术逐渐得到更为广泛的应用，以便透析数据的潜在含义并揭示业务的内在规律，从而帮助人们更好地进行生产、经营等实践活动。然而，应用数据挖掘技术不仅需要相关人员具备关于机器学习或统计学习等方面的专业知识，而且还需要使用各种格式和内容的大量数据样本，因此，在实践中常常由于数据管理、人员配合、建模水平等问题导致难以高效地进行数据建模来解决业务问题。

现有技术中存在一些用于进行数据建模的系统和装置，这些系统和装置能够帮助用户完成数据建模的运算过程，并进行相应的数据分析。然而，现有的系统和装置仅能单纯基于导入的特征进行模型训练，并未整合数据建模的项目流程，更无法实现有效的体系化数据建模处理。

发明内容

本发明的示例性实施例旨在克服现有的数据建模系统缺乏体系化建模处理的缺陷。

根据本发明示例性实施例的一个方面，提供了一种用于管理数据建模的方法，包括：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。

在所述方法中，步骤(A)可还包括：在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户可被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

在所述方法中，所述至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

在所述方法中，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

在所述方法中，在步骤(B)中，可通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，在步骤(C)中，可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

在所述方法中，在步骤(C)中，可显示与建立的建模计划相应的DAG图，其中，所述DAG图可包括用于分别配置建模任务的交互式结构单元。

在所述方法中，交互式结构单元可包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

在所述方法中，建模任务配置入口和建模任务进度指示可以以复用的方式显示在交互式结构单元中的相同区域。

在所述方法中，在步骤(A)建立的建模项目可以为快速建模项目；并且，在步骤(B)中，可自动在快速建模项目下建立一个快速建模计划，在步骤(C)中，可在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤(D)中，自动启动快速建模计划。

在所述方法中，可在步骤(C)中，利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述方法中，可在步骤(C)中，在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述方法中，用于设置特征抽取配置项的页面可以为图形用户界面,所述图形用户界面可包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

在所述方法中，每种预定特征的特征抽取配置项可包括来源字段项和处理方法项，来源字段项可用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项可用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数可用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

在所述方法中，步骤(D)可还包括：按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

在所述方法中，在步骤(D)中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数可被分布地保存在多个参数服务器中。

所述方法可还包括：(E)将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

在所述方法中，在步骤(C)中，可将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，可根据用户的操作来启动模型应用，在自动应用方式下，可根据预设的时间间隔来启动模型应用。

根据本发明示例性实施例的另一方面，提供一种用于管理数据建模的系统，包括：项目建立模块，用于建立用于管理数据建模的建模项目；计划建立模块，用于在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；任务配置模块，用于在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；计划启动模块，用于启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。

在所述系统中，项目建立模块可还在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户可被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

在所述系统中，所述至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

在所述系统中，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

在所述系统中，计划建立模块可通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，任务配置模块可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

在所述系统中，任务配置模块可显示与建立的建模计划相应的DAG图，其中，所述DAG图可包括用于分别配置建模任务的交互式结构单元。

在所述系统中，交互式结构单元可包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

在所述系统中，建模任务配置入口和建模任务进度指示可以以复用的方式显示在交互式结构单元中的相同区域。

在所述系统中，由项目建立模块建立的建模项目可以为快速建模项目；并且，计划建立模块可自动在快速建模项目下建立一个快速建模计划，任务配置模块可在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并且，计划启动模块可自动启动快速建模计划。

在所述系统中，任务配置模块可利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述系统中，任务配置模块可在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述系统中，用于设置特征抽取配置项的页面可以为图形用户界面,所述图形用户界面可包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

在所述系统中，每种预定特征的特征抽取配置项可包括来源字段项和处理方法项，来源字段项可用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项可用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数可用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

在所述系统中，计划启动模块可还按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

在所述系统中，在计划启动模块启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数可被分布地保存在多个参数服务器中。

所述系统可还包括：呈现模块，用于将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

在所述系统中，任务配置模块可将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，可根据用户的操作来启动模型应用，在自动应用方式下，可根据预设的时间间隔来启动模型应用。

根据本发明示例性实施例的另一方面，提供一种用于管理数据建模的计算装置，包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。

在所述计算装置中，步骤(A)可还包括：在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户可被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

在所述计算装置中，所述至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

在所述计算装置中，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

在所述计算装置中，在步骤(B)中，可通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，在步骤(C)中，可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

在所述计算装置中，在步骤(C)中，可显示与建立的建模计划相应的DAG图，其中，所述DAG图可包括用于分别配置建模任务的交互式结构单元。

在所述计算装置中，交互式结构单元可包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

在所述计算装置中，建模任务配置入口和建模任务进度指示可以以复用的方式显示在交互式结构单元中的相同区域。

在所述计算装置中，在步骤(A)建立的建模项目可以为快速建模项目；并且，在步骤(B)中，可自动在快速建模项目下建立一个快速建模计划，在步骤(C)中，可在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤(D)中，自动启动快速建模计划。

在所述计算装置中，在步骤(C)中，可利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述计算装置中，在步骤(C)中，可在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。

在所述计算装置中，用于设置特征抽取配置项的页面可以为图形用户界面,所述图形用户界面可包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

在所述计算装置中，每种预定特征的特征抽取配置项可包括来源字段项和处理方法项，来源字段项可用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项可用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数可用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

在所述计算装置中，步骤(D)可还包括：按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

在所述计算装置中，在步骤(D)中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数可被分布地保存在多个参数服务器中。

在所述计算装置中，当所述计算机可执行指令集合被所述处理器执行时，可还执行下述步骤：(E)将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

在所述计算装置中，在步骤(C)中，可将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，可根据用户的操作来启动模型应用，在自动应用方式下，可根据预设的时间间隔来启动模型应用。

在根据本发明示例性实施例的用于管理数据建模的系统及其方法中，不仅能够帮助用户完成数据建模的过程，而且能够有效地进行体系化的数据处理、流程处理和/或模型处理，从而真正帮助用户基于大数据技术来找到解决实际问题的方式。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出根据本发明示例性实施例的数据建模管理系统的框图；

图2示出根据本发明示例性实施例的数据建模管理方法的流程图；

图3示出根据本发明示例性实施例的建模计划的配置页面的示例；

图4示出根据本发明示例性实施例的交互式结构单元的操作项列表的示例；

图5A示出根据本发明示例性实施例的用于配置特征抽取任务的图形用户界面的示例；

图5B示出根据本发明示例性实施例的在图5A的左侧区域中的单个字段被用户选择的同时，向用户显示处理方法列表的部分图形用户界面的示例；

图5C示出根据本发明示例性实施例的在图5A的左侧区域中的多个字段被用户选择的同时，向用户显示处理方法列表的部分图形用户界面的示例；

图6示出根据本发明示例性实施例的具有能够对特征抽取配置项进行文本编辑的区域的示例性图形用户界面的示例；

图7示出根据本发明示例性实施例的用于下载结果文件的页面的示例；

图8示出根据本发明示例性实施例的用于新建建模项目的页面的示例；

图9示出根据本发明示例性实施例的用于快速建模的页面的示例。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

本发明的示例性实施例提出了一种管理数据建模的系统，该系统可全部通过计算机程序以软件方式来实现，也可由专门的硬件装置来实现，还可通过软硬件结合的方式来实现。在所述系统中，不仅能够帮助用户完成数据建模的过程，而且能够有效地进行体系化的数据处理、流程处理和/或模型处理，从而真正帮助用户基于大数据技术来找到解决实际问题的方式。

图1示出根据本发明示例性实施例的数据建模管理系统的框图。具体说来，所述数据建模管理系统提出了一种基于“建模项目-建模计划-建模任务”的处理体系结构，其中，建模项目所针对的是数据建模管理，而建模计划为建模项目下可启动的建模活动，该建模活动涉及至少一个建模任务(例如，数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务)，使得每启动一次建模活动，即完成了一个或多个完整数据建模过程和/或部分数据建模过程，这样的数据建模过程所产生的中间结果数据和/或最终结果数据可被保存在所述建模项目之下。

如图1所示，项目建立模块10用于建立用于管理数据建模的建模项目。例如，可针对预定的建模目标、建模小组、建模数据源等来建立相应的建模项目。这里，所述建模项目可根据用户的指示而建立，使得用户可在建模项目下实现对数据、流程、参与用户和/或模型等的管理。

计划建立模块20用于在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动。这里，建模计划指的是建模项目下可启动的数据建模活动，该数据建模活动涉及至少一个建模任务(例如，数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务等)，使得每启动一次建模活动，即执行了一个或多个完整数据建模过程和/或部分数据建模过程，从而完成了对至少一个建模环节的尝试性工作。这些尝试性工作的过程和/或结果会被保存在建模项目之下。

任务配置模块30用于在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务可包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务。

具体说来，数据输入任务用于输入进行模型训练的原始数据资源；数据拼接任务用于在必要时将原始数据资源的相同或不同输入表的特定字段进行拼接以得到可从中抽取特征的数据记录；特征抽取任务用于从数据记录抽取出模型训练用的特征和目标值；模型训练任务用于基于抽取的特征以及相应的目标值训练出模型；模型评估任务用于利用测试数据来进行模型效果的评估；模型应用任务用于将新的数据样本应用于训练出的模型以得到预测结果。

应注意，根据本发明的示例性实施例，能够配置的建模任务可包括上述建模任务中的一个或多个，而并不限制所有建模任务均需处于可配置的状态。

这里，任务配置模块30可在每个建模计划下配置一个或多个建模任务，这些配置的建模任务可构成一个或多个完整数据建模过程和/或部分数据建模过程，使得每个建模计划被启动时，该建模计划下相应配置的建模任务得以执行。

计划启动模块40用于启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。这里，计划启动模块40可逐条和/或批量启动所建立的至少一个建模计划，当建模计划被启动时，其下所配置的建模任务即按照预定的顺序得以执行并产生相应的执行结果，相应地，计划启动模块40可将与各个建模任务相应的执行结果保存在建模计划之下，从而建模项目下可保存有相关的各个建模计划产生的中间结果和/或最终结果。

在现有的数据建模系统中，仅能够针对单次数据建模的流程，按照数据的输入和输出来进行各步骤的配置。然而，数据建模技术涉及非常强的专业知识，其处理的数据和涉及的运算均十分复杂，因此，用户(例如，业务人员)在操作现有的建模系统时很难直接获得较好的建模效果，更无法有效地对建模流程进行调整或改进，导致难以方便地利用数据建模技术来解决实际问题。

根据本发明的示例性实施例，通过执行配置有一个或多个建模任务的建模计划，并将各建模任务的执行结果保存在建模计划之下，可在同一建模项目下进行多次完整建模实验或不同环节的阶段性建模实验，并利用各个实验结果或实验配置来有效地调整或改进数据建模项目。

以下参照图2来描述根据本发明示例性实施例的数据建模管理方法。这里，作为示例，图2所示的方法可由图1所示的数据管理系统来执行，应注意，还可通过特定配置的计算装置来执行图2所示的方法。

如图所示，在步骤S10中，由项目建立模块10建立用于管理数据建模的建模项目，如上所述，在建立的建模项目下，可进一步建立可启动的建模计划，其中，建模计划涉及一个或多个建模任务，相应地，建模计划被启动后产生的结果被保存在其所属的建模项目之下。

这里，作为示例，项目建立模块10可检测用户在项目管理页面中点击“新建项目”选项卡的操作，并根据用户的点击操作来创建新的建模项目。此外，可选地，项目建立模块10可根据用户的操作对建立的建模项目进行项目配置，例如，项目参与用户配置、项目可用数据配置等。

这里，作为优选方式，可在新建的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。如上所述，根据本发明的示例性实施例，每个建模项目下建立有能够独立启动的建模计划，并且，每个建模计划下可配置各自的一个或多个建模任务，因此，通过这种方式，不仅可实现多用户协同建模，而且，各用户在协同建模时，还可在同一个建模项目下相对独立地操作，从而进一步确保各用户在协作时的独立性和借鉴性。

例如，参与建模项目的至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

如上所述，项目建立模块10可根据用户的指示来建立相应的建模项目，在这种情况下，作为示例，可将指示建立建模项目的用户指定为建模项目主用户，并且，可将建模项目主用户所拥有的至少一部分数据资源分配到建模项目之下，此外，还可将建模项目主用户的至少一部分系统资源(例如，运算资源、存储资源等)分配到建模项目之下。也就是说，由建模项目主用户来承担建模项目的各种开销。相应地，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。这里，建模项目参与用户的共享权限可由建模项目主用户来指定，也可由系统默认设置。作为示例，只有建模项目主用户被配置为有权删除或修改已经建立的建模项目及其配置项，例如，可对建模项目整体进行删除或修改、对建模项目可使用的原始数据资源(例如，输入表)进行删除、修改或增加等。此外，可允许建模项目参与用户对建模项目的结果(例如，中间结果(如，样本表)或最终结果(如，训练出的模型))进行处理，但禁止其对建模项目本身或其配置项进行任何处理。

可以看出，根据本发明的示例性实施例，建模项目主用户能够通过建模项目来实现数据建模的资源配置与人员调配。例如，项目建立模块10可根据建模项目主用户的指示来修改建模项目的配置(包括数据资源、系统资源或参与人员等)、删除建立的建模项目等。

在步骤S20中，由计划建立模块20在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动。如上所述，建模计划作为可启动的对象，在启动时所执行的数据建模活动可被视为一次建模实验，该建模实验可对应于完整的数据建模过程，也可对应于一部分数据建模过程。

这里，作为示例，在所述建立的建模项目的页面之中，可显示有已经建立的建模计划的列表，此外，还设置有诸如“新建计划”的按钮，当用户点击该“新建计划”按钮时，计划建立模块20可新建一个空白的建模计划，并将其添加到所述列表中。

作为另一示例，可通过复制已经建立的建模计划来建立所述至少一个建模计划。例如，在所述建立的建模项目的页面之中，可显示有已经建立的建模计划的列表，在列表中所列出的每一个建模计划旁边，可设置有诸如“复制计划”的按钮。当用户点击该“复制计划”按钮时，相应的建模计划的配置内容被复制。

此外，还可在当前建模计划的配置页面中进行复制。图3示出根据本发明示例性实施例的建模计划的配置页面的示例，例如，可在图3所示的页面上设置用于复制建模计划的操作项(例如，图标、按钮等)，并根据用户对所述操作项执行的操作来复制当前建模计划的配置内容。

这里，作为示例，所述配置内容可包括建模计划下的所有建模任务的相关配置项，作为优选方式，计划建立模块20可按照预设的命名规则对复制后的建模计划名称、建模任务名称、输出表名称、模型名称等自动重新命名。

作为示例，复制后得到的建模计划可默认地被建立在相同的建模项目之下，在这种情况下，当用户点击用于复制特定建模计划的操作项(例如，图标、按钮等)之后，在该建模计划所属的建模项目下可自动显示复制后得到的新的建模计划。

这里，计划建立模块20可根据各个用户的指示分别建立各自的建模计划，这里，作为示例，对于建立的建模计划，可仅允许建模项目主用户和/或建立所述建模计划的建模项目参与用户对所述建模计划进行修改、删除等操作，此外，也可允许所有用户对所述建模计划进行修改、删除等操作。

在步骤S30中，由任务配置模块30在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务。

这里，能够进行配置的建模任务可以是数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务之中的任意一种或任意多种的组合，相应地，数据建模活动所涉及的建模任务可以是至少一个能够进行配置的建模任务。

作为示例，可将能够进行配置的建模任务设置为仅包括特征抽取任务和模型训练任务两者。在这种情况下，可在特征抽取任务中配置如何从作为原始数据资源的输入表的数据记录直接抽取出训练样本的特征和目标值。此外，在需要进行模型评估和模型应用的情况下，可在模型被训练出来之后独立地进行模型评估(即，模型评估独立于建模计划而执行)，类似地，模型应用也可独立于建模计划，使得模型训练和模型应用可在独立的两个平台中分别运行。

作为另一示例，可将能够进行配置的建模任务设置为包括上述六项建模任务：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务。这里，在各个建模任务下可配置与所述建模任务相关的任何参数或项目。作为示例，在数据输入任务中可配置一个或多个原始数据资源；在数据拼接任务中可配置针对原始数据资源的输入表进行字段拼接以得到数据记录的方式；在特征抽取任务中可配置如何从数据记录得到训练样本的特征和目标值(即，样本表)；在模型训练任务中可配置模型算法、模型大小、训练轮数、学习率等模型训练参数；在模型评估任务中可配置评估指标等参数；在模型应用任务中可配置应用方式、结果数据下载等项目。

应注意，以上仅作为示例，实践中，可根据需要在数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务之中选出任意组合来作为能够进行配置的建模任务，并适应性地调整具体配置内容。

这里，作为示例，任务配置模块30可根据用户在每个建模计划的页面之中执行的操作来配置所述建模计划下的各个建模任务。例如，可通过设置在所述页面中的用于新建各个建模任务的选项卡来建立新的建模任务，并在与新建的建模任务相应的配置页面中完成对所述建模任务的具体配置。

作为优选方式，根据本发明的示例性实施例，可通过体现建模计划流程的方式，以良好的交互来实现对建模任务的配置。具体说来，任务配置模块30可显示与建立的建模计划相应的DAG图，其中，所述DAG图包括用于分别配置建模任务的交互式结构单元。上述DAG图可被显示在建模计划的页面之中，所述页面中还可设置有用于新建各种建模任务的按钮。作为示例，当用户点击这样的按钮时，会直接进入相应的建模任务配置页面，在用户在建模任务配置页面中完成对新建的建模任务的具体配置之后，DAG图上可显示与该建模任务相应的交互式结构单元。作为另一示例，当用户点击上述按钮时，可首先在DAG图上显示与新建的建模任务相应的交互式结构单元，此时，可通过在交互式单元上执行操作来完成对该建模任务的具体配置。

作为示例，在图3所示的页面中可包括根据本发明示例性实施例的与当前的建模计划相应的DAG图，该DAG图可包括用于分配配置各个建模任务的交互式结构单元。

这里，为了增强建模任务配置的交互性，可将交互式结构单元设计为包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

以图3所示的“数据拼接任务1”交互式结构单元为例，其上从左到右依次显示有建模任务图标、建模任务名称和建模任务配置入口。这里，建模任务配置入口作为进入建模任务配置页面的入口。

作为示例，建模任务配置入口可被设计为用于直接进入建模任务配置页面的按钮，当用户点击这样的按钮时，可进入建模任务配置页面以对建模任务进行具体配置或对建模任务的已有配置进行修改。

此外，作为另一示例，建模任务配置入口可被设计为用于展示操作项列表的按钮，这里，所述列表除了包括用于进入建模任务配置页面的操作项(例如，“修改”)之外，还可附加地包括其它操作项，以便有效地完成建模计划下的相关操作。例如，可在列表中进一步包括用于复制当前建模任务的操作项、用于新建下游建模任务的操作项和用于删除当前建模任务的操作项等。

图4示出根据本发明示例性实施例的交互式结构单元的操作项列表的示例。具体说来，当用户点击图3所示的交互式结构单元“特征拼接任务1”上的建模任务配置入口时，可如图4所示在交互式结构单元“特征拼接任务1”附近显示相应的操作项列表，该列表中可包括诸如修改(用于修改当前建模任务的配置内容)、复制(用于复制当前建模任务)、特征抽取(用于新建下游的特征抽取任务)、模型训练(用于新建下游的模型训练任务)、删除(用于删除当前建模任务)等操作项，从而用户可通过点击各个操作项来针对建模任务执行相应的配置或其他操作。

交互式结构单元中还可包括建模任务进度指示，用于在启动建模计划时指示交互式结构单元所表示的建模任务的运行进度。这里，作为优选方式，建模任务配置入口和建模任务进度指示以复用的方式显示在交互式结构单元中的相同区域。

如图3所示，在启动建模计划之后，当运行到交互式结构单元所代表的建模任务(例如，模型训练任务)时，该交互式结构单元上的建模任务配置入口转换为建模任务进度指示。作为示例，所述建模任务进度指示可按照百分比的形式来指示建模任务的运行进度。在建模任务运行成功或运行失败之后，所述建模任务进度指示会再次转换为建模任务配置入口。也就是说，在建模任务尚未运行以及建模任务运行完毕(即，运行成功或失败)时，交互式结构单元上显示的是建模任务配置入口，以便对相应的建模任务进行配置或其它操作。而在建模任务运行期间，交互式结构单元上显示的是建模任务进度指示，一方面指示建模任务的运行进度，另一方面也可禁止对建模任务进行配置等操作。这里，作为优选方式，为了进一步区分出处于尚未运行、运行失败和运行成功的建模任务，可利用交互式结构单元的填充样式来进行区分。例如，关于尚未运行的建模任务，其交互式结构单元内可不填充任何内容(例如，颜色区域)；对于运行成功的建模任务，其交互式结构单元内可填充有预定内容(例如，绿色区域)；而对于运行失败的建模任务，其交互式结构单元内可填充有另一种预定内容(例如，红色区域)。此外，作为示例，对于运行中的建模任务，其交互式结构单元内可按照建模任务进度指示的百分比来填充内容。

可以看出，上述交互式结构单元能够有效地表达建模任务的属性、运行状态，也能够有效地对相应的建模任务进行配置或操作，增强了用户体验。

此外，作为示例，在步骤S30中，可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。例如，可在图4所示的页面中设置用于复制建模任务的操作项(例如，列表中的“复制”选项等)，并根据用户对所述操作项执行的操作来复制相应建模任务的配置内容。这里，作为示例，所述配置内容可包括该建模任务的相关配置项，作为优选方式，任务配置模块30可按照预设的命名规则对复制后的建模任务名称、输出表名称、模型名称等自动重新命名。

作为示例，复制后得到的建模任务可默认地被配置在相同的建模计划之下，在这种情况下，当用户选择用于复制建模任务的操作项(例如，列表中的“复制”选项等)之后，在其所属的建模计划下可自动显示复制后得到的建模任务。作为示例，在DAG图显示的建模计划的整个流程中，该建模任务可被显示在与被复制的建模任务相同阶段的位置，即，两者接续于同一个上游建模任务。

这里，任务配置模块30可根据各个用户的指示分别配置各自的建模任务，这里，作为示例，对于配置的建模任务，可仅允许建模项目主用户和/或配置所述建模任务的建模项目参与用户对所述建模任务进行修改、删除等操作，此外，也可允许所有用户对所述建模任务进行修改、删除等操作。

进一步地，根据本发明的示例性实施例，可根据用户的手动操作来实现特征工程(feature engi neering)，具体说来，可根据用户的输入来配置特征抽取任务，以将数据记录通过数据转换和定义来形成能够代表待确定问题的训练用特征。

例如，任务配置模块30在配置特征抽取任务时，可根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

在建模计划下配置的建模任务包括数据拼接任务的情况下，上述数据记录可来源于数据拼接任务的输出；在建模计划下配置的建模任务仅包括数据输入任务而不包括数据拼接任务的情况下，上述数据记录可直接来源于数据输入任务的输出；在建模计划下配置的建模任务既不包括数据输入任务也不包括数据拼接任务的情况下，上述数据记录可直接来源于用户在特征抽取任务中配置的作为原始数据资源的输入表。

具体说来，每种预定特征的特征抽取配置项可包括来源字段项和处理方法项，来源字段项用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

相应地，用于设置特征抽取配置项的页面可以为图形用户界面，所述图形用户界面包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

下面结合附图描述根据本发明实施例的由用户通过图形用户界面来配置特征抽取任务的示例。应注意，这里的图形用户界面仅作为示例，本发明还可采用任何其它形式的输入界面。作为示例，通过所述界面设置的特征抽取配置项可用于形成相应的配置文件以便后续从所述配置文件中读取各个特征抽取配置项，也可将通过所述界面设置的特征抽取配置项直接应用于特征抽取主程序而无需生成任何配置文件。

图5A示出根据本发明示例性实施例的用于配置特征抽取任务的图形用户界面200的示例，其中，输入表201bank basic data可指示银行的原始数据，目标值202y指示训练样本的目标值，输出表203bankdata_out指示抽取出的特征表。

在上述图形用户界面200中，可至少显示有数据记录的能够作为来源字段的各个字段以及设置的预定特征的特征抽取配置项。此外，作为示例，还可显示其它关于数据源或数据输出的信息。具体说来，如图5A所示，左侧区域示出输入表中数据记录的各个字段，包括字段名称204和字段属性205；右侧区域示出配置特征的配置页面，作为示例，该配置页面可包括用于显示特征抽取配置项的内容选项以供手动选择的选择输入型界面，其中，每一行针对一个特定的特征，相应地配置了该特征的来源项206、处理方法207和特征名208。

作为示例，可根据用户对左侧区域显示的各个字段的设置操作，相应地在右侧区域显示用户设置的各个特征配置项目。在一个示例中，用户可手动编辑右侧区域显示的配置项目。

具体说来，可首先在图形用户界面上(例如，左侧区域)显示数据记录的各个字段，当用户选中(例如，通过点击来选中)某个或某些显示的字段时，在配置页面中将用户选中的字段设置为设置的来源字段，并在所述来源字段被选择的同时，将处理方法列表显示在图形用户界面上，这里，作为示例，处理方法列表可被显示在用户选择的来源字段附近以便于用户从中选择将在配置页面中显示的处理方法；这里，在所述处理方法列表中，所有处理方法可均处于激活状态；或者，可仅包括能够应用于选中的来源字段项的处理方法；或者，可包括全部处理方法但将能够应用的处理方法显示为激活状态而将无法应用的处理方法显示为禁用状态。

图5B示出在左侧区域中的单个字段(例如，“age”字段)301被用户选择的同时，向用户显示处理方法列表302的部分图形用户界面300的示例。例如，当用户点击“age”字段301时，右侧在“age”字段的附近弹出处理方法列表302供选择。在处理方法列表302中可列出所有的处理方法，并将用户当前选择的处理方法高亮显示。此外，还可仅在处理方法列表302中显示能够应用于选择的“age”字段的处理方法，或者，在处理方法列表302中仅将能够应用于选择的“age”字段的处理方法进行激活(例如，显示为可选状态或突出显示状态)而将其它处理方法显示为禁止状态。

图5C示出在左侧区域中的多个字段401、402、403被用户选择的同时，向用户显示处理方法列表404的部分图形用户界面400的示例。这表示，用户可在左侧选取一个以上的来源字段401、402和403，相应地，可弹出处理方法列表404，供用户选取对这些来源字段应用的处理方法。类似地，可采用适当的方式来弹出处理方法列表404，并且，处理方法列表404可不必包括所有的处理方法，相应地，可根据左侧选择的来源字段而动态地调整在处理方法列表404中显示的处理方法。

除了上述显示特征抽取配置项的内容选项以供手动选择(例如，通过鼠标点击的方式)的选择输入型界面之外，还可以采用其它形式的用于设置特征抽取配置项的界面，例如，用于手动编辑配置文件的文本编辑界面，使得用户能够直接在文本编辑界面中编写“配置文件”，由于配置文件本身具有内容上的重复性，可通过文本编辑操作(例如，复制、粘贴、拖动等)来快速完成“配置文件”的编写。

图6示出了具有能够对特征抽取配置项进行文本编辑的区域的示例性图形用户界面500。图形用户界面500的左侧与图5B和图5C所示的图形用户界面具有类似性，只是图形用户界面500的右侧区域示出用于手动编辑配置文件的文本编辑界面501，用户可以在文本编辑界面501中手动编辑特征抽取配置项目，包括配置特征项名称、来源字段项、处理方法项等。通过文本编辑界面中执行的文本编辑操作(例如、复制、粘贴、拖动等)，用户能够高效率进行特征抽取配置项目的设置。

上述两种图形用户界面可同时显示在屏幕上，也可根据用户的选择而单独显示在屏幕上，例如，响应于用户的界面切换操作输入在文本编辑界面和选择输入型界面之间切换(显示切换或激活切换)，在切换前界面下的特征抽取配置项设置结果被同步地显示到切换后的界面下。相应地，用户可利用两种配置界面在操作上的便利性，更有效地设置多个特征抽取方式，例如，用户可首先在选择输入型界面中通过点击等选择输入方式完成代表性的特征抽取配置，然后切换到文本编辑界面下，由于之前设置的结果会同步地显示在文本编辑界面中，用户可结合复制粘贴等操作快速地完成大量特征的抽取项设置。

在现有的数据建模领域中，为了能够基于大量的结构化或非结构化数据进行模型训练、测试或应用，往往需要在特征工程阶段耗费较多的人力，例如，需要编程人员预先针对特定的特征抽取规则编写每一种特征的提取代码。相应地，在诸如建模平台等供客户使用的建模产品中，往往需要输入建模平台的已经是提取出的训练数据(即，提取好的特征向量)，而用户难以灵活地设置或调整关于特征抽取的对象和规则，使得建模平台的使用受到限制。然而，根据本发明的示例性实施例，可通过上述方式来方便地配置特征抽取任务，充分扩展了数据建模的应用性。

进一步地，根据本发明的示例性实施例，在配置模型应用任务时，可将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，根据用户的操作来启动模型应用，在自动应用方式下，根据预设的时间间隔来启动模型应用。

这里，作为示例，可在用于配置模型应用的页面中，配置普通的模型批量预估应用或定时自动运行的模型批量预估应用，其应用结果可以通过接口形式调用或者下载。

具体说来，在手动应用配置中，可输入或修改模型应用的名称，例如“2015年用户信贷风控建模应用”。

此外，可根据用户的选择来确定将应用于训练出的模型的模型应用数据的来源，例如，可用数据表、HDFS(Hadoop分布式文件系统)数据源、本地文件等。在应用数据的来源被确定之后，可向用户展示相应的可选数据的列表，以供用户从中选择出模型应用数据。

除此之外，还可根据用户的操作来确定向用户展示的模型应用结果包含模型应用数据的哪些表项(即，原始字段或相关特征)。例如，可向用户提供关于表项选择的弹出框，其中，包括“保留全表项结果”和“自定义表项结果”这两个项目。当用户选择“自定义表项结果”时，可向用户显示模型应用数据的所有表项(包括模型所预测出的目标值)，以供用户从中勾选出最终显示的表项，其中，预测出的目标值可默认为输出表项且不可修改，其余表项可被勾选或撤销勾选。此外，还可设置“反选”按钮，以用于对选择结果进行反转。

进一步地，还可根据用户的操作来确定模型应用结果的输出排序。这里，作为示例，可向用户提供关于输出排序的三种选择按钮，例如，“原顺序”、“按预测值升序”、“按预测值降序”等。

此外，在定时应用配置中，除了上述项目之外，还可进一步根据用户的输入来设置“定时应用任务运行的周期”、“定时的计时开始时间”和“定时的结束方式”等项目。这里，定时的结束时间可被设置为“一直运行”、“当完成预定次数的模型预测后结束”、具体的结束时间等。

通过定时应用的配置方式，能够有效地扩展预测模型的应用场景，特别适用于预测模型的在线应用。

再次参照图2，在步骤S40，由计划启动模块40启动所建立的至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。这里，当计划启动模块40启动所述至少一个建模计划之中的某个建模计划时，该建模计划下所配置的建模任务被依次执行，并获得了相应的中间结果数据和/或最终结果数据，例如，数据拼接任务被执行时所获得的完整输入表、特征抽取任务被执行时所获得的训练用样本表、模型训练任务被执行时所获得的预测模型、模型评估任务被执行时所获得的评估报告、模型应用任务被执行时所获得的预测结果等。这些结果数据均可被保存在建模计划之下，从而便于在其所属的建模项目下进行统一的处理。

如上所述，作为示例，在所述建立的建模项目的页面之中，可显示有已经建立的建模计划的列表，其中，在每个建模计划的附近，可提供用于“启动建模计划”的按钮。通过这种方式，用户可在建模项目的页面下选择将要启动的建模计划。

或者，可在与建立的建模计划相应的DAG图页面中设置用于启动当前建模计划的按钮，从而当用户按下该按钮时，计划启动模块40启动当前的建模计划，以依次执行DAG中配置好的各个建模任务。

这里，在步骤S40中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数可被分布地保存在多个参数服务器中。通过这种方式，可进一步提高模型训练的能力。

此外，还可按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。例如，模型应用任务被执行时将产生预测结果文件。图7示出根据本发明示例性实施例的用于下载结果文件的页面的示例。对此，当用户在建模项目的页面或当前建模计划的页面中点击用于下载结果文件的按钮时，可向用户显示如图7所示的弹出框，以便用户选择下载全部结果数据还是下载全部结果数据的前多少行数据。应注意，图7显示的页面仅作为示例而非限制，例如，根据本发明的示例性实施例，还可选择下载全部结果数据中的预定百分比的结果数据。

此外，图2所述的方法可还包括：将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。具体说来，根据本发明的示例性实施例，可将数据模型的评估报告的显示入口设置为对应于所述数据模型所属的模型训练任务和/或建模计划，通过这种方式，用户可以在查看模型的评估报告之后方便地调整模型训练任务或建模计划下的其它相关建模任务。

以上结合图2描述了根据本发明示例性实施例进行数据建模管理的示例。可以看出，根据本发明的示例性实施例，不仅能够帮助用户完成数据建模的过程，而且能够有效地进行体系化的数据处理、流程处理和/或模型处理，从而真正帮助用户基于大数据技术来找到解决实际问题的方式。

优选地，在根据本发明示例性实施例的建模体系下，可以有效地配置快速建模的过程，使得对建模过程并不熟悉的用户能够快速得到期望的数据模型。

具体说来，在步骤S10建立的建模项目为快速建模项目。这里，可根据用户对“快速建模项目”选项卡的选择来建立快速建模项目。

图8示出根据本发明示例性实施例的用于新建建模项目的页面。作为示例，在图8所示的页面下，当用户点击“快速建模”按钮或“快速建模”选项卡时，会建立一个快速建模项目。

相应地，在快速建模项目被建立之后，在步骤S20中，自动在快速建模项目下建立一个快速建模计划，在步骤S30中，在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤S40中，自动启动快速建模计划。

作为示例，在步骤S30，可向用户提供用于直接选择输入表的操作入口，以便用户选择快速建模下的原始训练数据及其中的目标值。在用户配置好输入的数据记录之后，可利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

这里，可预先将特征抽取配置项设置为使用默认的处理方法(例如，直接抽取)对输入表的所有表项(即，字段)进行处理以得到样本的各个特征，此外，可采用预先设定的模型训练参数来配置模型训练任务，也可通过分析输入的数据记录的特点来适应性地自动设置模型训练参数。

作为优选方式，用户还可在快速建模过程中选择手动设置模型训练参数。具体说来，可将默认方式设置为利用预设的模型训练参数来配置模型训练任务，但是用户也可选择自行设置模型训练参数，并手动设置期望的模型训练参数。

图9示出根据本发明示例性实施例的用于快速建模的页面的示例。具体说来，在图9所示的快速建模页面中，用户可通过选择“更多设置”来对模型训练参数进行手动设置，否则，则可针对输入表和目标值，按照预定的特征抽取配置项和模型训练参数进行模型训练。

应注意，上述数据建模管理系统可完全依赖计算机程序的运行来实现相应的功能，即，各个模块与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的数据建模管理功能。

另一方面，图1所示的各个模块也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

这里，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行上述数据建模管理方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其它能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

上述数据建模管理方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存不知在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其它存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

上述数据建模管理方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

具体说来，如上所述，根据本发明示例性实施例的用于管理数据建模的计算装置可包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。

应注意，以上已经结合图2描述了根据本发明示例性实施例的数据建模管理方法的各处理细节，这里将不再赘述计算装置执行各步骤时的处理细节。

以上已经描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，并且本发明也不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (48)

1.一种由计算装置实现的用于管理数据建模的方法，包括：

(A)建立用于管理数据建模的建模项目；

(B)在建立的建模项目下，建立至少一个能够独立启动的建模计划，其中，建模计划用于执行数据建模活动；

(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；

(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下；

其中，在步骤(C)中，当用户在建模任务配置页面中完成对新建的建模任务的具体配置之后，显示与该建模任务相应的交互式结构单元，或者显示与新建的建模任务相应的交互式结构单元，通过在交互式结构单元上执行操作来完成对该建模任务的具体配置；并且在步骤(D)中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数被分布地保存在多个参数服务器中。

2.如权利要求1所述的方法，其中，步骤(A)还包括：在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

3.如权利要求2所述的方法，其中，所述至少一个用户包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

4.如权利要求3所述的方法，其中，建模项目参与用户被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

5.如权利要求1所述的方法，其中，在步骤(B)中，通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，在步骤(C)中，通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

6.如权利要求1所述的方法，其中，在步骤(C)中，显示与建立的建模计划相应的DAG图，其中，所述DAG图包括用于分别配置建模任务的所述交互式结构单元。

7.如权利要求6所述的方法，其中，交互式结构单元包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

8.如权利要求7所述的方法，其中，建模任务配置入口和建模任务进度指示以复用的方式显示在交互式结构单元中的相同区域。

9.如权利要求1所述的方法，其中，在步骤(A)建立的建模项目为快速建模项目；并且，在步骤(B)中，自动在快速建模项目下建立一个快速建模计划，在步骤(C)中，在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤(D)中，自动启动快速建模计划。

10.如权利要求9所述的方法，其中，在步骤(C)中，利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

11.如权利要求1所述的方法，其中，在步骤(C)中，在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

12.如权利要求11所述的方法，其中，用于设置特征抽取配置项的页面为图形用户界面,所述图形用户界面包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

13.如权利要求10或11所述的方法，其中，每种预定特征的特征抽取配置项包括来源字段项和处理方法项，来源字段项用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

14.如权利要求1所述的方法，其中，步骤(D)还包括：按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

15.如权利要求1所述的方法，还包括：(E)将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

16.如权利要求1所述的方法，其中，在步骤(C)中，将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，根据用户的操作来启动模型应用，在自动应用方式下，根据预设的时间间隔来启动模型应用。

17.一种用于管理数据建模的系统，包括：项目建立模块，用于建立用于管理数据建模的建模项目；计划建立模块，用于在建立的建模项目下，建立至少一个能够独立启动的建模计划，其中，建模计划用于执行数据建模活动；任务配置模块，用于在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；计划启动模块，用于启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下；

其中，所述任务配置模块，用于当用户在建模任务配置页面中完成对新建的建模任务的具体配置之后，显示与该建模任务相应的交互式结构单元，或者显示与新建的建模任务相应的交互式结构单元，通过在交互式结构单元上执行操作来完成对该建模任务的具体配置；并且在计划启动模块启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数被分布地保存在多个参数服务器中。

18.如权利要求17所述的系统，其中，项目建立模块还在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

19.如权利要求18所述的系统，其中，所述至少一个用户包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

20.如权利要求19所述的系统，其中，建模项目参与用户被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

21.如权利要求17所述的系统，其中，计划建立模块通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，任务配置模块通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

22.如权利要求17所述的系统，其中，任务配置模块显示与建立的建模计划相应的DAG图，其中，所述DAG图包括用于分别配置建模任务的所述交互式结构单元。

23.如权利要求22所述的系统，其中，交互式结构单元包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

24.如权利要求23所述的系统，其中，建模任务配置入口和建模任务进度指示以复用的方式显示在交互式结构单元中的相同区域。

25.如权利要求17所述的系统，其中，由项目建立模块建立的建模项目为快速建模项目；并且，计划建立模块自动在快速建模项目下建立一个快速建模计划，任务配置模块在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并且，计划启动模块自动启动快速建模计划。

26.如权利要求25所述的系统，其中，任务配置模块利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

27.如权利要求17所述的系统，其中，任务配置模块在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

28.如权利要求27所述的系统，其中，用于设置特征抽取配置项的页面为图形用户界面,所述图形用户界面包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

29.如权利要求26或27所述的系统，其中，每种预定特征的特征抽取配置项包括来源字段项和处理方法项，来源字段项用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

30.如权利要求17所述的系统，其中，计划启动模块还按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

31.如权利要求17所述的系统，还包括：呈现模块，用于将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

32.如权利要求17所述的系统，其中，任务配置模块将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，根据用户的操作来启动模型应用，在自动应用方式下，根据预设的时间间隔来启动模型应用。

33.一种用于管理数据建模的计算装置，包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：

(A)建立用于管理数据建模的建模项目；

(B)在建立的建模项目下，建立至少一个能够独立启动的建模计划，其中，建模计划用于执行数据建模活动；

(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；

(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下；

其中，在步骤(C)中，当用户在建模任务配置页面中完成对新建的建模任务的具体配置之后，显示与该建模任务相应的交互式结构单元，或者显示与新建的建模任务相应的交互式结构单元，通过在交互式结构单元上执行操作来完成对该建模任务的具体配置；并且在步骤(D)中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数被分布地保存在多个参数服务器中。

34.如权利要求33所述的计算装置，其中，步骤(A)还包括：在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。

35.如权利要求34所述的计算装置，其中，所述至少一个用户包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。

36.如权利要求35所述的计算装置，其中，建模项目参与用户被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。

37.如权利要求33所述的计算装置，其中，在步骤(B)中，通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，在步骤(C)中，通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。

38.如权利要求33所述的计算装置，其中，在步骤(C)中，显示与建立的建模计划相应的DAG图，其中，所述DAG图包括用于分别配置建模任务的所述交互式结构单元。

39.如权利要求38所述的计算装置，其中，交互式结构单元包括以下项之中的至少一个：建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。

40.如权利要求39所述的计算装置，其中，建模任务配置入口和建模任务进度指示以复用的方式显示在交互式结构单元中的相同区域。

41.如权利要求33所述的计算装置，其中，在步骤(A)建立的建模项目为快速建模项目；并且，在步骤(B)中，自动在快速建模项目下建立一个快速建模计划，在步骤(C)中，在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤(D)中，自动启动快速建模计划。

42.如权利要求41所述的计算装置，其中，在步骤(C)中，利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

43.如权利要求33所述的计算装置，其中，在步骤(C)中，在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项用于限定如何从数据记录抽取预定特征。

44.如权利要求43所述的计算装置，其中，用于设置特征抽取配置项的页面为图形用户界面,所述图形用户界面包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。

45.如权利要求42或43所述的计算装置，其中，每种预定特征的特征抽取配置项包括来源字段项和处理方法项，来源字段项用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。

46.如权利要求33所述的计算装置，其中，步骤(D)还包括：按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。

47.如权利要求33所述的计算装置，其中，当所述计算机可执行指令集合被所述处理器执行时，还执行下述步骤：(E)将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。

48.如权利要求33所述的计算装置，其中，在步骤(C)中，将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，根据用户的操作来启动模型应用，在自动应用方式下，根据预设的时间间隔来启动模型应用。

Images