CN108897587B

CN108897587B - 可插拔式机器学习算法运行方法、装置及可读存储介质

Info

Publication number: CN108897587B
Application number: CN201810654929.4A
Authority: CN
Inventors: 饶琛琳; 梁玫娟
Original assignee: Beijing Youtejie Information Technology Co ltd
Current assignee: Beijing Youtejie Information Technology Co ltd
Priority date: 2018-06-22
Filing date: 2018-06-22
Publication date: 2021-11-12
Anticipated expiration: 2038-06-22
Also published as: CN108897587A

Abstract

本发明涉及一种可插拔式机器学习算法运行方法、装置及可读存储介质，其中的所述方法包括：定义预设算法；对所述预设算法进行统一封装；建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法；当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法。本发明的有益效果为：通过机器学习框架实现了对常见统计分析、算法及调优参数的编程接口的统一封装，对不同场景的机器学习需求，只需要在框架上层进行组装调配即可完成算法设计工作，解决传统算法单一只解决某一故障的问题，实现通过预设算法的封装以及可插拔式的算法替换快速地进行算法设计。

Description

可插拔式机器学习算法运行方法、装置及可读存储介质

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种可插拔式机器学习算法运行方法、装置及可读存储介质。

背景技术

现如今，人工智能和机器学习正在逐渐渗透进各个领域，在IT运维方向，越来越多人开始关注机器学习如何提供实时事件的管理能力，从而帮助较大规模的企业提高服务质量。这其中的关键点就在于在用户发现问题之前提早探测异常，进而减少生产事故与中断带来的负面影响。

当前在智能运维方向机器学习领域的常见方式是针对某一具体需求定向开发，例如在IT运维语境中，机器学习可以帮助用户做到随着运维事件(运维数据)的不断产生，处理结果的积累会带来企业服务质量的提升。在这个过程中通过机器学习可以建立一种行为模型，一方面可以依据经验数据识别事件，将事件归类、归因。另一方面又可以动态改变事件发生的条件，反过来影响事件发生的概率。例如监督式机器学习可以记录用户给定的告警及告警集群的活动，并相应地动态调整告警规则。传统管理工具方式用户需要在一开始就对它们进行一定的配置，建立静态的规则。而机器学习则可以存在反馈机制，它能利用数据更新不断创建和更新行为模型，而不是使用静态的行为去寻找特定的结果。也正因为如此，当前机器学习领域针对不同的目标，其数据预处理、特征工程、模型拟合和评估过程都需要再次重新开始。

当前机器学习领域常见的使用方式，是针对某一具体需求定向开发，其数据预处理、特征工程、模型拟合和评估都需要根据目标不同而每次重头开始，还存在初选模型完全不合适的返工可能，浪费人力及时间。

发明内容

为了克服相关技术中存在的问题，本发明提供一种可插拔式机器学习算法运行方法、装置及可读存储介质，以实现在需要算法设计的应用场景中灵活地应用预设算法并以可插拔的方式利用非内置算法进行算法设计。

第一方面，本发明实施例提供了一种可插拔式机器学习算法运行方法，所述方法包括：

定义预设算法；

对所述预设算法进行统一封装；

建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法；

当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法。

结合另一方面，本发明另一可实行实施方式中，所述方法还包括：

当接收用户的定向需求时，获取用户的算法任务清单；

根据所述算法任务清单，顺序运行算法任务清单中的算法任务，将第一顺序的算法任务的运行结果作为第二顺序的算法任务的输入，第二顺序的运行结果作为第三顺序的算法任务的输入，直至运行结束。

结合另一方面，本发明另一可实行实施方式中，所述对所述预设算法进行统一封装时还包括：

将所述预设算法的封装接口设置为可变的；

建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法，还包括：

编写新预设算法并通过机器学习运行框架上层进行算法拟合；或

通过可插拔接口接入非预设算法。

获取用户输入的训练数据；

在所述机器学习运行框架中对所述训练数据进行算法测试；

根据机器学习运行框架的学习策略学习并记忆算法测试结果。

第二方面，本发明还提供了一种可插拔式机器学习算法运行装置，所述装置包括：

定义模块，用于定义预设算法；

封装模块，用于对所述预设算法进行统一封装；

学习模块，用于建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法；

调用模块，用于当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法。

上述的装置，所述装置还包括：

获取模块，用于当接收用户的定向需求时，获取用户的算法任务清单；

运行模块，用于根据所述算法任务清单，顺序运行算法任务清单中的算法任务，将第一顺序的算法任务的运行结果作为第二顺序的算法任务的输入，第二顺序的运行结果作为第三顺序的算法任务的输入，直至运行结束。

上述的装置，所述封装模块包括：

接口可变子模块，用于将所述预设算法的封装接口设置为可变的；

所述学习模块包括：

缩写子模块，用于编写新预设算法并通过机器学习运行框架上层进行算法拟合；

接入子模块，用于通过可插拔接口接入非预设算法。

上述的装置，所述装置还包括：

训练模块，用于获取用户输入的训练数据；

测试模块，用于在所述机器学习运行框架中对所述训练数据进行算法测试；

学习记忆模块，用于根据机器学习运行框架的学习策略学习并记忆算法测试结果。

第三方面，本发明还提供了一种可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

本发明通过机器学习框架实现了对常见统计分析、算法及调优参数的编程接口的统一封装，对不同场景的机器学习需求，只需要在框架上层进行组装调配即可完成算法设计工作，解决传统算法单一只解决某一故障的问题，实现通过预设算法的封装以及可插拔式的算法替换快速地进行算法设计，以能够解决可能出现的大部分问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种可插拔式机器学习算法运行方法的流程示意图。

图2是根据一示例性实施例示出的学习记忆时的流程示意图。

图3是根据一示例性实施例示出的一种可插拔式机器学习算法运行装置的框图。

图4是根据一示例性实施例示出的学习记忆时的示意框图。

图5是根据一示例性实施例示出的可读存储介质所属装置的框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图中将各步骤描述成顺序的处理，但是其中的许多步骤可以并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排，当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图内的其它步骤。处理可以对应于方法、函数、规程、子例程、子程序等。

本发明涉及一种可插拔式机器学习算法运行方法、装置及可读存储介质，其主要运用于需要算法测试的场景中，其基本思想是：对常见统计分析、算法及调优参数的编程接口的统一封装并内置于机器学习框架，该机器学习框架还可以实现对非预设算法的替换、接入、测试等，实现了对不同场景的机器学习需求，使用时只需要在框架上层进行组装调配即可完成算法设计工作，实现了通过预设算法的封装以及可插拔式的算法替换快速地进行算法设计。

如图1所示，为本发明的可插拔式机器学习算法运行方法的流程示意图，所述方法具体包括如下步骤：

在步骤110中，定义预设算法；

所述预设算法可以为对于常见设计所使用的算法、经常使用的统计分析方法以及参数调优算法等，编程接口为对各类算法的接入方式。

在步骤120中，对所述预设算法进行统一封装；

每一个独立的算法进行封装能够避免算法之间的代码重复。

在步骤130中，建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法；

在本发明示例性实施例中，可首先建立机器学习运行框架，然后在该机器学习运行框架中内置封装完成后的算法。

在步骤140中，当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法。

当用户需要有算法需求时，根据其需求在机器学习运行框架中调用组装相应的预设算法，经过算法拟合后即可实现符合用户需求的算法设计工作。

本发明的方法，通过机器学习框架实现了对常见统计分析、算法及调优参数的编程接口的统一封装，对不同场景的机器学习需求，只需要在框架上层进行组装调配即可完成算法设计工作，解决传统算法单一只解决某一故障的问题，实现通过预设算法的封装以及可插拔式的算法替换快速地进行算法设计，以能够解决可能出现的大部分问题。

本发明示例性实施例的一种可行的实施场景中，所述方法还包括根据用户的算法任务清单顺序执行的过程，这一过程包括：

当接收用户的定向需求时，获取用户的算法任务清单；

根据用户设定，机器学习运行框架会自动运行从第一个算法任务到最后一个算法任务，并将上一个任务的结果作为下一个任务的输入，顺序执行的过程不仅保证了算法与算法之间不会冲突，还保证了在每一算法在执行时的输入为经过算法测试后的数据，没有冗余数据。

本发明示例性实施例的一种可行的实施场景中，所述对所述预设算法进行统一封装时还包括：

将所述预设算法的封装接口设置为可变的；

预设算法的封装接口可变，表示该预设算法是可替换的，根据不同的用户需求可替换不同的预设算法进行封装。

通过可插拔接口接入非预设算法。

本发明的方法，提供了对于非预设算法的可插拔式接入方案，根据用户的具体需求，或者由用户编写新的算法并封装后添加到机器学习运行框架，或者对于已封装好的非内置算法可以直接通过插拔的方式接入机器学习运行框架，实现了对更多算法方案的兼容，有利于通过本发明的方法应对更多有不同需求的算法测试工作。

本发明示例性实施例的一种可行的实施场景中，所述方法还包括对算法进行学习训练的过程，这一过程包括如图2所示的步骤：

在步骤210中，获取用户输入的训练数据；

在步骤220中，在所述机器学习运行框架中对所述训练数据进行算法测试；

在步骤230中，根据机器学习运行框架的学习策略学习并记忆算法测试结果。

根据机器学习运行框架的学习策略，观察用户输入的训练数据与用户的具体需求以及封装调用的预设算法之间的关联，将训练数据及对应的预设算法以及算法测试结果作为变量进行观测，并进行学习，学习后所述机器学习运行框架在获取到用户的需求或算法任务清单时，即可根据学习结果自行组装调取相应的预设算法或向用户推荐可行的算法，然后让用户通过可插拔的方式插入能够解决问题的算法进行测试，这一学习过程改善了传统的由用户选择去解决算法设计的工作，而是由机器学习运行框架自动向用户推送较为成熟的算法交由用户设计，并且在推送界面还可以提供展示页面进行预览，提高了智能化的程度。

图3为本发明实施例提供的一种可插拔式机器学习算法运行装置结构示意图，该装置可由软件和/或硬件实现，一般地集成于终端中，可通过可插拔式机器学习算法运行方法来实现。如图所示，本实施例可以以上述实施例为基础，提供了一种可插拔式机器学习算法运行装置，其主要包括了定义模块310、封装模块320、学习模块330以及调用模块340。

其中的定义模块310，用于定义预设算法；

其中的封装模块320，用于对所述预设算法进行统一封装；

其中的学习模块330，用于建立机器学习运行框架，在所述机器学习运行框架内置统一封装后的预设算法；

其中的调用模块340，用于当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法。

本发明示例性实施例的一种可行的实施场景中，所述装置还包括：

本发明示例性实施例的一种可行的实施场景中，所述封装模块包括：

所述学习模块包括：

接入子模块，用于通过可插拔接口接入非预设算法。

本发明示例性实施例的一种可行的实施场景中，如图4所示，所述装置还包括：

训练模块410，用于获取用户输入的训练数据；

测试模块420，用于在所述机器学习运行框架中对所述训练数据进行算法测试；

学习记忆模块430，用于根据机器学习运行框架的学习策略学习并记忆算法测试结果。

上述实施例中提供各模块两两之间均可实现通讯连接，且各模块均可与平台的中心控制装置通讯连接，上述实施例中提供的可插拔式机器学习算法运行装置可执行本发明中任意实施例中所提供的可插拔式机器学习算法运行方法，具备执行该方法相应的功能模块和有益效果，未在上述实施例中详细描述的技术细节，可参见本发明任意实施例中所提供的可插拔式机器学习算法运行方法。

图5是根据一示例性实施例示出的一种计算机设备1900的框图。例如，装置1900可以被提供为一服务器。参照图5，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述实施例的可插拔式机器学习算法运行方法。

所述存储器1932可以由任何类型的易失性或非易失性存储装置或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入/输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在本发明示例性实施例的另一种实施场景中，本实施例还提供一种包括指令的非临时性计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能，例如包括指令的存储器1932。本实施例的非临时性计算机可读存储介质用于存储金融小程序，被处理器执行时实现上述实施例的可插拔式机器学习算法运行方法。

另一个涉及计算机程序产品的实施例包括对应于所阐明的系统和/或产品中至少一个的装置中每个装置的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。

计算机程序的载体可以是能够运载程序的任何实体或者装置。例如，载体可以包含存储介质，诸如(ROM例如CDROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地，载体可以是可传输的载体，诸如电学或者光学信号，其可以经由电缆或者光缆，或者通过无线电或者其它手段传递。当程序具体化为这样的信号时，载体可以由这样的线缆或者装置组成。可替换地，载体可以是其中嵌入有程序的集成电路，所述集成电路适合于执行相关方法，或者供相关方法的执行所用。

应该留意的是，上文提到的实施例是举例说明本发明，而不是限制本发明，并且本领域的技术人员将能够设计许多可替换的实施例，而不会偏离所附权利要求的范围。在权利要求中，任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本发明可以通过包括几个明显不同的组件的硬件，以及通过适当编程的计算机而实现。在列举几种装置的装置权利要求中，这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。

如果期望的话，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外，如果期望的话，以上所描述的一个或多个功能可以是可选的或者可以进行组合。

如果期望的话，上文所讨论的各步骤并不限于各实施例中的执行顺序，不同步骤可以以不同顺序执行和/或彼此同时执行。此外，在其他实施例中，以上所描述的一个或多个步骤可以是可选的或者可以进行组合。

虽然本发明的各个方面在独立权利要求中给出，但是本发明的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合，而并非仅是权利要求中所明确给出的组合。

这里所要注意的是，虽然以上描述了本发明的示例实施方式，但是这些描述并不应当以限制的含义进行理解。相反，可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本发明的范围。

本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的计算装置来实现，各模块可以集中在单个计算装置或者计算装置组成的网络组中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。

本领域普通技术人员应该明白，本发明实施例的装置中的各模块可以用通用的移动终端来实现，各模块可以集中在单个移动终端或者移动终端组成的装置组合中，本发明实施例中的装置对应于前述实施例中的方法，其可以通过编辑可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本发明并不局限于特定的硬件或者软件及其结合。

注意，上述仅为本发明的示例性实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种可插拔式机器学习算法运行方法，其特征在于，所述方法包括：

定义预设算法；

对所述预设算法进行统一封装；

当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法，

获取用户输入的训练数据；

在所述机器学习运行框架中对所述训练数据进行算法测试；

根据机器学习运行框架的学习策略学习并记忆算法测试结果，

其中，根据机器学习运行框架的学习策略，观察用户输入的训练数据与用户的具体需求以及封装调用的预设算法之间的关联，将训练数据及对应的预设算法以及算法测试结果作为变量进行观测，并进行学习，学习后所述机器学习运行框架在获取到用户的需求或算法任务清单时，即可根据学习结果自行组装调取相应的预设算法或向用户推荐可行的算法，然后让用户通过可插拔的方式插入能够解决问题的算法进行测试。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收用户的定向需求时，获取用户的算法任务清单；

3.根据权利要求1所述的方法，其特征在于，所述对所述预设算法进行统一封装时还包括：

将所述预设算法的封装接口设置为可变的；

通过可插拔接口接入非预设算法。

4.一种可插拔式机器学习算法运行装置，其特征在于，所述装置包括：

定义模块，用于定义预设算法；

封装模块，用于对所述预设算法进行统一封装；

调用模块，用于当接收用户的定向需求时，根据所述机器学习运行框架的策略模式调用内置的预设算法；

训练模块，用于获取用户输入的训练数据；

学习记忆模块，用于根据机器学习运行框架的学习策略学习并记忆算法测试结果，

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

6.根据权利要求4所述的装置，其特征在于，所述封装模块包括：

所述学习模块包括：

接入子模块，用于通过可插拔接口接入非预设算法。

7.一种可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1～3所述方法的步骤。