CN106020811A - 算法模型的开发方法和装置 - Google Patents

Abstract

本发明公开了一种算法模型的开发方法和装置，该方法包括：检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，算法组件列表包括多个算法组件；检测到对算法组件的选中和移动操作时，显示被选中的算法组件的逻辑模型，逻辑模型跟随移动操作移动至算法模型创建区域内的终止位置；根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置；当接收到执行指令时，按照逻辑关系和参数设置完成对算法模型创建区域内的各个算法组件的执行操作。使开发人员不再需要对代码进行编辑，使开发过程更加直观化、可视化，有利于提高开发人员的开发效率。

Description

算法模型的开发方法和装置

技术领域

本发明属于计算机技术领域，具体地说，涉及一种算法模型的开发方法和装置。

背景技术

随着大数据时代的来临以及云计算技术的持续发展，云计算技术对互联网公司的运营和发展起到了越来越重要的支持作用。

开发人员面对大量的业务数据需要开发很多算法以达到进行数据挖掘以及机器学习的目的。在算法的开发过程中，需要对现有算法进行各种各样的组合。因此，使用的很多算法都会重复出现，而其中使用的数据和参数会不同。那么，开发人员反复编辑相同的代码会使开发效率降低，并且在对代码进行检查或者对参数进行修改时会较为麻烦，也会使完成开发任务的效率变低。

发明内容

有鉴于此，本发明实施例提供了一种算法模型的开发方法和装置，用以解决现有技术中开发人员直接对代码进行编辑和查询时效率低下的技术问题。

为了解决上述技术问题，本发明公开了一种算法模型的开发方法，包括：检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，所述算法组件列表包括多个算法组件；检测到对所述算法组件的选中和移动操作时，显示所述被选中的算法组件的逻辑模型，所述逻辑模型跟随所述移动操作移动至算法模型创建区域内的终止位置；根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置；当接收到执行指令时，按照所述逻辑关系和参数设置完成对所述算法模型创建区域内的各个算法组件的执行操作。

为了解决上述技术问题，本发明公开了一种算法模型的开发装置，包括：第一显示模块，用于检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，所述算法组件列表包括多个算法组件；第二显示模块，用于检测到对所述算法组件的选中和移动操作时，显示所述被选中的算法组件的逻辑模型，所述逻辑模型跟随所述移动操作移动至算法模型创建区域内的终止位置；第一确定模块，用于根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系、输入数据和参数设置；执行模块，用于当接收到执行指令时，按照所述逻辑关系和参数设置完成对所述算法模型创建区域内的各个算法组件的执行操作。

与现有技术相比，本发明实施例提供的算法模型的开发方法和装置，将经常使用的各种算法的代码封装为算法组件，直接在算法模型创建区域内进行建模操作，创建算法模型后，根据各个算法组件之间的逻辑关系和参数设置完成执行，使开发人员不再需要对代码进行编辑，使开发过程更加直观化、可视化，有利于提高开发人员的开发效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的系统架构示意图；

图2是本发明实施例提供的算法模型开发工具的界面示意图；

图3是本发明实施例提供的一种算法模型的开发方法的流程图；

图4是本发明实施例提供的一种算法模型的开发方法的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例将常用算法的代码封装为算法组件，形成算法组件列表并显示在算法模型开发工具的界面中，开发人员可以选择需要使用的组件并在算法模型创建区域中进行组合，形成各个算法组件之间的逻辑关系，并为算法组件设置输入数据和参数，开发人员选择执行后，可直观的查看到设计的算法模型的执行情况，可以查看输出结果并对各个算法组件的参数进行调整，直到得到满意的输出结果，还可以在执行失败的算法组件处查询日志记录以找到执行失败的原因。

图1是本发明实施例的系统架构示意图，包括终端设备11、数据开发平台12。本发明实施例所提供的可视化的算法模型开发工具运行在终端设备11。算法模型开发工具通过预留的数据接口与数据开发平台12进行数据交互，算法模型开发工具可以从数据开发平台12读取对应的表，也可以将输入数据写入到数据开发平台12中对应的表。该终端设备11可以是计算机、数据开发控制台等，数据开发平台12可以是数据服务集群、存储集群等。

在算法模型开发工具中，将常用的数据挖掘以及机器学习算法封装为算法组件，例如封装为Web组件。各种算法组件在算法模型开发工具中形成了一个算法组件列表，该算法组件列表中显示各个算法的名称。在该算法组件列表中还可以进一步对各种算法进行多级分类，例如，第一级分类包括：数据预处理、统计分析、机器学习、文本分析等；数据预处理下的第二级分类包括：采样与过滤、数据合并、特征选择与变换等。在第二级分类下就是各种具体算法，例如在特征选择与变换下包括缺失值填充、增加序列号、切分、归一化、标准化、窗口变量统计、偏好计算等具体算法。

开发人员在终端设备11打开算法模型开发工具后，加载显示该算法组件列表以及一个算法模型创建区域。如图2所示，在算法模型创建区域21中，开发人员可利用算法组件来完成建模操作。

进行建模操作时，先从算法组件列表中选中需要使用的算法组件。算法模型开发工具检测到选中算法组件的操作后，显示被选中的算法组件对应的逻辑模型。逻辑模型会跟随着该选中操作在屏幕上的移动，当该选中操作移动到算法模型创建区域21内并终止后，逻辑模型也随着移动到算法模型创建区域21内的终止位置。

开发人员可根据开发需求选择多个算法组件，然后设置各个算法组件之间的逻辑关系。所述逻辑关系，即各个算法组件之间的数据输入和输出关系。如图2所示，根据所需创建的算法逻辑，将多个算法组件按照数据输入和输出的逻辑顺序排列，并将算法组件之间通过线段进行连接，最终形成所需创建的算法模型的逻辑关系图。

然后再给每个算法组件设置执行相应运算所需的参数。例如，对从开放数据处理服务(Open Data Processing Service，ODPS)中读取表数据的算法组件来说，可以设置表名称或者存储路径，从而根据表名称或者存储路径从服务集群中读取相应的表，做为数据输入；而对后续其他算法而言，既可以从输入的数据中选择相应的字段，也可以针对算法本身的各种运算参数进行设置。

在成功读取表数据之后，开发人员还可以在相应的算法组件处选择浏览表数据。此时，显示该读取的表所包含的所有字段信息，供开发人员浏览，以便确定是否正确的选择了需要读取的表数据。

确定各个算法组件的参数设置之后，当检测到对于创建的算法模型的执行指令时，按照逻辑关系和参数设置执行创建好算法模型。

上述算法模型开发工具，将各种常用算法封装为算法组件，开发人员进行开发时，直接将各个算法组件进行组合即可完成建模，然后对算法组件进行参数设置后就可以查看所创建的算法模型的运行情况，提升了建模以及参数设置的便利性，有助于开发人员提高开发效率。

算法模型开发工具根据各个算法组件的逻辑关系和参数设置完成执行之后，显示每个算法组件的执行状态，即每个算法组件是否执行成功。如图2所示，在算法组件的逻辑模型上显示是否执行成功，执行成功的标记为“√”，执行失败的标记为“×”。使开发人员可以得知创建的算法模型中各个步骤的执行情况，执行失败时能够直观的看到问题出现在哪一个步骤，从而可以更快的进行针对性的调整，不必再从代码中查找问题的根源。

开发人员还可以针对每个算法组件进行查询操作，以查询该步骤的执行情况。对于执行成功的算法组件，可以在对应的逻辑模型处进行查询操作，例如，点击逻辑模型后调出功能菜单，选择其中的结果查询功能。基于该查询操作来显示该步骤的输出数据，例如，输出的表中所包含的各个字段信息，预测算法输出的预测结果，评估算法输出的评估报告等等。

对于执行失败的算法组件，也可以在对应的逻辑模型处进行查询操作，以调取该算法组件的日志数据来查询执行失败的原因。例如，点击逻辑模型后调出功能菜单，选择其中的日志数据查询功能。基于该日志数据的查询操作，显示该算法组件的日志数据，该日志数据来自于终端设备11本地。开发人员可通过浏览日志数据来查询该算法组件运行失败的原因。在日志数据中可以突出显示本次执行失败的原因，以便于开发人员快速定位到失败原因，有助于提高查找以及解决失败原因的效率。所述突出显示可以是对日志数据中记录失败原因的信息与其他信息通过不同颜色的文字进行区分，也可以是对日志数据中记录失败原因的信息进行高亮显示，将其他信息的亮度相应的调暗。

对于执行失败的算法组件，开发人员通过浏览日志数据查询到失败原因后，根据该失败原因对该算法组件的参数设置进行调整；或者由于输入数据存在问题，还可以对之前的算法组件的参数设置进行调整，从而通过调整之前的算法组件的输出结果来达到调整该算法组件的输入数据的目的，即使是之前的算法组件已执行成功的情况下，有时也需要进行这种调整。

如果创建的算法模型中所有的算法组件都执行成功，但开发人员通过查询输入数据发现输出结果并不符合要求，那么此时也需要根据开发经验对各个算法组件的参数设置进行调整，使最终的输入结果满足需要。

利用该算法模型开发工具可以直观的确定每个算法组件的执行状态。在出现某个算法组件执行失败时，可以对该算法组件参数设置进行调整，如果是由于输入数据不符合要求而造成执行失败，则可以按照逻辑关系对之前的算法组件的参数设置进行调整，使其输出的数据满足需求。在所有算法组件执行成功时，如果输出结果并不满足需求，则可以根据开发经验对各个算法组件的参数设置进行调整，使最终的输出结果符合要求。利用该算法模型开发工具，对算法的修改以及参数调整都变得更加简洁，有助于进一步提高开发效率。

基于以上论述，在终端设备11一侧，本发明实施例提供了一种算法模型的开发方法，如图3所示，包括以下步骤。

S30，检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，算法组件列表包括多个算法组件；

S31，检测到对算法组件的选中和移动操作时，显示被选中的算法组件的逻辑模型，逻辑模型跟随移动操作移动至算法模型创建区域内的终止位置；

S32，根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置；

S33，当接收到执行指令时，按照逻辑关系和参数设置完成对算法模型创建区域内的各个算法组件的执行操作。

将经常使用的各种算法的代码封装为算法组件，直接在算法模型创建区域内进行建模操作，创建算法模型后，根据各个算法组件之间的逻辑关系和参数设置完成执行操作，使开发人员不再需要对代码进行编辑，使开发过程更加直观化、可视化，有利于提高开发人员的开发效率。

在一个实施例中，该算法模型的开发方法进一步包括以下步骤。

S34，在执行操作完成后，显示每个算法组件的执行状态。

使开发人员能够直观的了解到各个算法组件的执行情况，在执行失败时，能够快速的定位到哪个算法组件的执行出现了问题，有助于快速的了解算法模型中各个步骤的运行情况。

在一个实施例中，该算法模型的开发方法进一步包括以下步骤。

S35，根据针对执行成功的算法组件的查询操作，显示该算法组件的输出数据；或者，根据针对执行失败的算法组件的查询操作，显示执行失败的算法组件的日志数据，并在日志数据中突出显示执行失败的原因。

通过查询算法组件的输出结果以确定该算法组件的输出结果是否满足需求，或者通过查询日志数据来确定执行失败的原因，进一步帮助开发人员提升开发效率。

在一个实施例中，该算法模型的开发方法进一步包括以下步骤。

S36，根据针对算法模型创建区域内的算法组件的调整操作，确定调整后的参数设置。

可以对执行失败的算法组件的参数设置进行调整，使其能够执行成功，也可以对执行成功的算法组件的参数设置进行调整，使其输出结果符合实际的开发需求。使开发人员不再需要对代码进行查询和修改，更快捷的完成针对算法模型的调试。

在一个实施例中，所述步骤S32进一步包括：

根据设置的表名称或者存储路径从数据开发平台获取对应的表做为输入数据，并显示所述表所包含的字段信息。

在配置整个算法模型的输入数据时，可通过输入表名称或者表的存储路径从数据开发平台获取到相应的表。获取到相应的表之后，显示该表中的字段信息，以便帮助开发人员确认配置的做为输入数据的表是否正确。

下面是本发明的装置实施例，用以执行本发明的上述方法实施例。

图4是本发明实施例提供的一种算法模型的开发装置，位于终端设备一侧，该装置包括：

第一显示模块40，用于检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，算法组件列表包括多个算法组件；

第二显示模块41，用于检测到对算法组件的选中和移动操作时，显示被选中的算法组件的逻辑模型，逻辑模型跟随移动操作移动至算法模型创建区域内的终止位置；

第一确定模块42，用于根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系、输入数据和参数设置；

执行模块43，用于当接收到执行指令时，按照逻辑关系和参数设置完成对算法模型创建区域内的各个算法组件的执行操作。

在一个实施例中，该算法模型的开发装置进一步包括：

第三显示模块，用于在执行操作完成后，显示每个算法组件的执行状态。

在一个实施例中，该算法模型的开发装置进一步包括：

第四显示模块，用于根据针对执行成功的算法组件的查询操作，显示该算法组件的输出数据；或者，

第五显示模块，用于根据针对执行失败的算法组件的查询操作，显示执行失败的算法组件的日志数据，并在日志数据中突出显示执行失败的原因。

在一个实施例中，该算法模型的开发装置进一步包括：

第二确定模块，用于根据针对算法模型创建区域内的算法组件的调整操作，确定调整后的参数设置。

在一个实施例中，该第一确定模块42进一步包括：

显示子模块，用于根据设置的表名称或者存储路径从数据开发平台获取对应的表做为输入数据，并显示表所包含的字段信息。

此外，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各个功能模块。

本发明实施例还提供一种终端设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，算法组件列表包括多个算法组件；检测到对算法组件的选中和移动操作时，显示被选中的算法组件的逻辑模型，逻辑模型跟随移动操作移动至算法模型创建区域内的终止位置；根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置；当接收到执行指令时，按照逻辑关系和参数设置完成对算法模型创建区域内的各个算法组件的执行操作。

在一个实施例中，该处理进一步被配置为：在执行操作完成后，显示每个算法组件的执行状态。

在一个实施例中，该处理进一步被配置为：根据针对执行成功的算法组件的查询操作，显示该算法组件的输出数据；或者，根据针对执行失败的算法组件的查询操作，显示执行失败的算法组件的日志数据，并在日志数据中突出显示执行失败的原因。

在一个实施例中，该处理进一步被配置为：根据针对算法模型创建区域内的算法组件的调整操作，确定调整后的参数设置。

在一个实施例中，所述根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置包括：根据设置的表名称或者存储路径从数据开发平台获取对应的表做为输入数据，并显示表所包含的字段信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种算法模型的开发方法，其特征在于，包括：

检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，所述算法组件列表包括多个算法组件；

检测到对所述算法组件的选中和移动操作时，显示所述被选中的算法组件的逻辑模型，所述逻辑模型跟随所述移动操作移动至算法模型创建区域内的终止位置；

根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置；

当接收到执行指令时，按照所述逻辑关系和参数设置完成对所述算法模型创建区域内的各个算法组件的执行操作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述执行操作完成后，显示每个算法组件的执行状态。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据针对执行成功的算法组件的查询操作，显示该算法组件的输出数据；或者，

根据针对执行失败的算法组件的查询操作，显示所述执行失败的算法组件的日志数据，并在日志数据中突出显示执行失败的原因。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

根据针对所述算法模型创建区域内的算法组件的调整操作，确定调整后的参数设置。

5.根据权利要求1所述的方法，其特征在于，所述根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系和参数设置包括：

根据设置的表名称或者存储路径从数据开发平台获取对应的表做为输入数据，并显示所述表所包含的字段信息。

6.一种算法模型的开发装置，其特征在于，包括：

第一显示模块，用于检测到打开算法模型开发界面的操作后，加载并显示算法组件列表和一个算法模型创建区域，所述算法组件列表包括多个算法组件；

第二显示模块，用于检测到对所述算法组件的选中和移动操作时，显示所述被选中的算法组件的逻辑模型，所述逻辑模型跟随所述移动操作移动至算法模型创建区域内的终止位置；

第一确定模块，用于根据设置操作确定算法模型创建区域内的各个算法组件的逻辑关系、输入数据和参数设置；

执行模块，用于当接收到执行指令时，按照所述逻辑关系和参数设置完成对所述算法模型创建区域内的各个算法组件的执行操作。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三显示模块，用于在所述执行操作完成后，显示每个算法组件的执行状态。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第四显示模块，用于根据针对执行成功的算法组件的查询操作，显示该算法组件的输出数据；或者，

第五显示模块，用于根据针对执行失败的算法组件的查询操作，显示所述执行失败的算法组件的日志数据，并在日志数据中突出显示执行失败的原因。

9.根据权利要求6-8任一所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于根据针对所述算法模型创建区域内的算法组件的调整操作，确定调整后的参数设置。

10.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

显示子模块，用于根据设置的表名称或者存储路径从数据开发平台获取对应的表做为输入数据，并显示所述表所包含的字段信息。