CN111400337A - 一种面向大数据分析的交互式建模算子组件及执行方法 - Google Patents

Abstract

本发明公开了一种面向大数据分析的交互式建模算子组件及执行方法，由传统的程序包或独立算法类库组件模式改为前后端分离式结构，算子组件的前端部分提供面向用户的交互式分析建模、流程编排和计算参数配置，算子组件的后端部分部署于集中的计算服务平台，充分利用云计算或分布式计算节点构建的强大计算能力，提供高性能的算子计算服务；通用的算子组件结构模型能够将各类科学计算算法按照该算子组件结构模型封装成算子组件，实现与交互式建模分析平台有效集成，满足交互式建模分析平台开展大数据分析计算的功能要求；能够实现算子组件前端数据分析交互式建模、计算参数配置与算子组件后端计算服务的执行交互，完成整个大数据分析模型的计算过程。

Description

一种面向大数据分析的交互式建模算子组件及执行方法

技术领域

本发明属于大数据分析技术领域，具体涉及一种面向大数据分析的交互式建模算子组件及执行方法。

背景技术

随着大数据、机器学习技术的研究和工程应用，构建交互式建模分析平台已经成为支撑大数据分析应用的有效途径。在实际工程应用中，大数据分析计算对交互式建模分析平台提出了两大需求，一是提供各类单元化的算子组件实现交互式、可视化的数据分析建模，通过拖拽算子组件、配置计算参数实现大数据分析流程的快速编排配置；二是基于云计算或分布式计算构建后台强大的计算能力，完成复杂数据分析流程中每个算子组件对应的数据计算。交互式建模算子组件是支撑交互式建模分析平台开展建模分析的基本组件单元，传统的计算程序包、独立算法类库组件难以实现与交互式建模分析平台的集成，需要构建一种新的交互式建模算子组件及执行方法。

发明内容

有鉴于此，本发明的目的是提供一种面向大数据分析的交互式建模算子组件及执行方法，可提高算子计算性能。

一种交互式建模算子组件，每个算子配置一个交互式建模算子组件，每个交互式建模算子组件包括部署在前端的算子交互组件和部署在后端的算子服务组件；

所述算子交互组件用于提供人机交互界面，接收并存储计算配置参数、输入数据和输出数据；并调用算子服务组件，将计算配置参数和输入数据输出给算子服务组件；

所述算子服务组件用于接收算子交互组件传递的输入数据和计算配置参数，执行大数据计算过程后生成输出结果数据，返回给算子交互组件，算子交互组件将输出结果数据作为输出数据进行存储或者传递给其它算子。

较佳的，所有算子的算子交互组件均建立统一的模型，包括：Id属性、Title属性、InputData属性、PluginData属性、OutputData属性、Execute()方法、GetUI()方法以及NotifyEvent事件，其中：

所述Id属性为算子交互组件的唯一标识；Title属性为算子主题名称；InputData属性为存储算子输入数据的变量，用于存储1个或多个输入数据；PluginData属性为存储算子计算参数数据的变量，用于存储人机交互界面输入的计算参数；OutputData属性为存储算子组件最终计算结果的变量；Execute()方法为本算子组件执行数据计算命令的方法，该方法将调用算子服务组件提供的数据计算服务；GetUI()方法为打开和显示人机交互界面的方法；NotifyEvent事件为算子组件执行计算过程中产生的事件。

较佳的，所有算子的算子服务组件均建立统一的模型，包括：Name属性、ServiceName属性、InputData属性、PluginData属性、OutputData属性和Execute()方法，其中：

所述Name属性为算子服务组件的名称信息；ServiceName属性为算子服务组件服务接口名称描述；InputData属性为用于存储算子交互组件的输入数据；PluginData属性为用于算子交互组件的计算参数数据；OutputData属性为存储算子服务组件计算结果的变量；Execute()方法为算子服务组件利用输入数据、计算参数数据按照预设的逻辑执行完成本算子的计算。

一种交互式建模算子组件的数据计算方法，包括：

所述算子交互组件部署于交互式建模分析平台前端的算子容器中；

交互式建模分析平台前端算子容器扫描全部算子交互组件，解析算子交互组件的模型，得到用于交互式建模的算子字典；

算子服务组件部署于交互式建模分析平台后端的网络服务容器中；

交互式建模分析平台扫描全部算子服务组件，并对每个算子服务组件按照ServiceName发布为对应的Webservice网络服务，并注册至服务总线；

前端算子交互组件与后台算子服务组件通过WebService请求响应方式实现服务调用和数据交互；

算子交互组件被用于构建数据分析流程时，将算子字典生成一个实例对象；通过执行算子实例的GetUI()方法打开算子交互组件的交互界面；算子交互界面配置的计算参数存储至PluginData属性；算子交互组件执行数据计算时，首先从数据分析流程中与之关联的前序算子中获得其OutputData数据作为本算子交互组件的InputData数据，利用InputData、PluginData作为计算参数执行Execute()方法完成算子的数据计算过程；

在执行算子实例的Execute()方法时，算子交互组件将调用与同属于一个算子的算子服务组件的服务接口，由算子服务组件完成大数据计算；

算子交互组件调用算子服务组件的服务接口时，将输入数据InputData、计算参数PluginData作为服务参数传递给算子服务组件，算子服务组件接收到算子交互组件发送的InputData、PluginData数据后，将数据对应存储至算子服务组件的InputData和PluginData变量中；算子服务组件调用Execute()方法执行数据计算，计算完成后将输出数据存储至OutputData变量，并以服务调用结果形式返回给算子交互组件。

本发明具有如下有益效果：

本发明的交互式建模算子组件由传统的程序包或独立算法类库组件模式改为前后端分离式组件结构，算子组件的前端部分提供面向用户的交互式分析建模、流程编排和计算参数配置，算子组件的后端部分部署于集中的计算服务平台，充分利用云计算或分布式计算节点构建的强大计算能力，提供高性能的算子计算服务；

提出了一种通用的算子组件结构模型，能够将各类科学计算算法按照该算子组件结构模型封装成算子组件，实现与交互式建模分析平台有效集成，满足交互式建模分析平台开展大数据分析计算的功能要求。

本发明的方法，能够实现算子组件前端数据分析交互式建模、计算参数配置与算子组件后端计算服务的执行交互，完成整个大数据分析模型的计算过程。

附图说明

图1为本发明的算子组件整体结构图；

图2为基于算子组件交互式建模分析过程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，一种面向大数据分析的交互式建模算子组件，主要包括算子交互组件模型、算子服务组件模型和算子组件执行方法三部分组成。

一种面向大数据分析的交互式建模算子组件，其整体结构将前端界面交互与后端计算服务分离为两部分，分别构建为算子交互组件和算子服务组件。算子交互组件提供人机交互界面，接收并存储计算配置参数、输入数据和输出数据，并实现数据在不同算子间的传递功能；算子服务组件接收算子交互组件传递的输入数据和计算参数，执行大数据计算过程并生成输出结果数据，返回给算子交互组件。

[算子交互组件模型]：

算子交互组件遵循统一的算子交互组件模型定义，具有接收输入数据、运行显示算子交互界面、接收计算参数配置、执行算子计算、输出结果数据功能。算子交互组件模型包含的要素如表1所示。

表1算子交互组件模型要素

算子交互组件模型中的Id属性、Title属性为对算子交互组件的功能作用描述，其中Id属性为组件的唯一标识；InputData属性为存储算子输入数据的变量，能够存储1个或多个输入数据项；PluginData属性为存储算子计算参数数据的变量，主要存储算子交互配置界面输入的计算参数；OutputData属性为存储算子组件最终计算结果的变量；Execute()方法为本算子组件执行数据计算的方法；GetUI()方法为算子组件为打开和显示交互界面的方法；NotifyEvent事件为算子组件执行计算过程中产生的事件。

[算子服务组件模型]：

算子服务组件遵循统一的算子服务组件模型定义，具有接收输入数据和计算参数数据、执行数据计算、输出结果数据功能。算子服务组件模型包含的要素如表2所示。

表2算法服务组件接口协议

算子服务组件模型的Name属性为算子服务组件的名称信息，ServiceName属性为算子服务组件服务接口名称描述，也是算子服务组件服务接口的唯一标识；InputData属性为存储算子输入数据的变量，能够存储1个或多个输入数据项；PluginData属性为存储算子计算参数数据的变量，主要存储算子交互配置界面输入的计算参数。OutputData属性为存储算子服务组件计算结果的变量；Execute()方法为算子服务组件执行数据计算的方法，算子服务组件通过执行Execute()实现利用数据数据、计算参数数据按照对应的逻辑执行完成计算过程。

如图2所示，一种面向大数据分析的交互式建模算子组件的应用模式，基于算子组件交互式建模分析，算子组件执行方法包括算子交互组件的执行方法和算子服务组件的执行方法。在执行建模计算时，算子交互组件和算子服务组件分别部署在交互式建模分析平台的前端和后端。

如图2所示，一种面向大数据分析的交互式建模算子组件，其算子交互组件部署于交互式建模分析平台前端的算子容器中。交互式建模分析平台前端算子容器初次建立时，扫描全部算子交互组件，得到用于交互式建模的算子字典；算子交互组件被用于构建数据分析流程时，将自动生成一个Id唯一的算子交互组件实例对象；通过执行算子实例的GetUI()方法打开算子交互组件的交互界面；算子交互界面配置的计算参数将存储至PluginData属性；算子交互组件执行数据计算时，将首先从与之关联的前序组件中获得其OutputData数据作为本算子交互组件InputData数据，利用InputData、PluginData作为计算参数执行Execute()方法完成算子的数据计算过程。在执行算子实例的Execute()方法时，算子交互组件将调用与之唯一相关的算子服务组件的服务接口，在交互式建模分析平台的后端完成大数据计算；算子交互组件将接收到的算子服务组件计算返回的结果数据存储至OutputData变量中。

如图2所示，算子服务组件部署于交互式建模分析平台后端的网络服务容器中。交互式建模分析平台后端网络服务容器初次建立时，扫描全部算子服务组件，并对每个算子服务组件按照ServiceName发布为对应的Webservice网络服务，并注册至服务总线；前端算子交互组件与后台算子服务组件通过WebService请求响应方式实现服务调用和数据交互。算子交互组件调用算子服务组件的服务接口时，将算子输入数据InputData、算子计算配置参数PluginData作为服务参数传递给算子服务组件，算子服务组件接收到算子交互组件发送的InputData、PluginData数据后，将数据存储至算子服务组件的InputData和PluginData变量中；算子服务组件调用Execute()方法执行数据计算，计算完成后将输出数据存储至OutputData变量，并以服务调用结果形式返回给算子交互组件。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种交互式建模算子组件，其特征在于，每个算子配置一个交互式建模算子组件，每个交互式建模算子组件包括部署在前端的算子交互组件和部署在后端的算子服务组件；

所述算子交互组件用于提供人机交互界面，接收并存储计算配置参数、输入数据和输出数据；并调用算子服务组件，将计算配置参数和输入数据输出给算子服务组件；

所述算子服务组件用于接收算子交互组件传递的输入数据和计算配置参数，执行大数据计算过程后生成输出结果数据，返回给算子交互组件，算子交互组件将输出结果数据作为输出数据进行存储或者传递给其它算子。

2.如权利要求1所述的一种交互式建模算子组件，其特征在于，所有算子的算子交互组件均建立统一的模型，包括：Id属性、Title属性、InputData属性、PluginData属性、OutputData属性、Execute()方法、GetUI()方法以及NotifyEvent事件，其中：

所述Id属性为算子交互组件的唯一标识；Title属性为算子主题名称；InputData属性为存储算子输入数据的变量，用于存储1个或多个输入数据；PluginData属性为存储算子计算参数数据的变量，用于存储人机交互界面输入的计算参数；OutputData属性为存储算子组件最终计算结果的变量；Execute()方法为本算子组件执行数据计算命令的方法，该方法将调用算子服务组件提供的数据计算服务；GetUI()方法为打开和显示人机交互界面的方法；NotifyEvent事件为算子组件执行计算过程中产生的事件。

3.如权利要求2所述的一种交互式建模算子组件，其特征在于，所有算子的算子服务组件均建立统一的模型，包括：Name属性、ServiceName属性、InputData属性、PluginData属性、OutputData属性和Execute()方法，其中：

所述Name属性为算子服务组件的名称信息；ServiceName属性为算子服务组件服务接口名称描述；InputData属性为用于存储算子交互组件的输入数据；PluginData属性为用于算子交互组件的计算参数数据；OutputData属性为存储算子服务组件计算结果的变量；Execute()方法为算子服务组件利用输入数据、计算参数数据按照预设的逻辑执行完成本算子的计算。

4.一种如权利要求3所述的交互式建模算子组件的数据计算方法，其特征在于，包括：

所述算子交互组件部署于交互式建模分析平台前端的算子容器中；

交互式建模分析平台前端算子容器扫描全部算子交互组件，解析算子交互组件的模型，得到用于交互式建模的算子字典；

算子服务组件部署于交互式建模分析平台后端的网络服务容器中；

交互式建模分析平台扫描全部算子服务组件，并对每个算子服务组件按照ServiceName发布为对应的Webservice网络服务，并注册至服务总线；

前端算子交互组件与后台算子服务组件通过WebService请求响应方式实现服务调用和数据交互；

算子交互组件被用于构建数据分析流程时，将算子字典生成一个实例对象；通过执行算子实例的GetUI()方法打开算子交互组件的交互界面；算子交互界面配置的计算参数存储至PluginData属性；算子交互组件执行数据计算时，首先从数据分析流程中与之关联的前序算子中获得其OutputData数据作为本算子交互组件的InputData数据，利用InputData、PluginData作为计算参数执行Execute()方法完成算子的数据计算过程；

在执行算子实例的Execute()方法时，算子交互组件将调用与同属于一个算子的算子服务组件的服务接口，由算子服务组件完成大数据计算；

算子交互组件调用算子服务组件的服务接口时，将输入数据InputData、计算参数PluginData作为服务参数传递给算子服务组件，算子服务组件接收到算子交互组件发送的InputData、PluginData数据后，将数据对应存储至算子服务组件的InputData和PluginData变量中；算子服务组件调用Execute()方法执行数据计算，计算完成后将输出数据存储至OutputData变量，并以服务调用结果形式返回给算子交互组件。

Images