CN114253532A - 模型开发方法、装置、引擎及存储介质 - Google Patents

Abstract

本发明公开一种模型开发方法、装置、引擎及存储介质，所述方法采用GPL引擎进行安全分析模型开发，包括获取GPL查询语句，GPL查询语句携带有计算命令；解析GPL查询语句，生成计算命令列表；创建计算任务，计算任务用于按顺序执行所计算命令列表中的计算命令，得到计算任务结果集并返回。通过采用GPL语言实现安全分析模型的开发，由于GPL语言语法简单，低代码，使用方便，且开发人员只需具有SQL基础就可以使用，学习成本低；因此采用GPL语言开发调试部署模型更加容易，开发周期短。

Description

模型开发方法、装置、引擎及存储介质

技术领域

本发明涉及软件开发技术领域，具体涉及一种模型开发方法、装置、引擎及存储介质。

背景技术

在大数据分析处理场景中，传统的分析数据开发模型的方式是使用Python或者Java/Scala等脚本语言，Python大多数使用Pandas开发，Java/Scala大多数使用Spark、Flink等大数据处理引擎，不只需要开发代码，还需要打包任务，提交任务给大数据处理引擎执行，产生异常也不方便查找。

开发完整的程序进行分析和模型验证。其存在的缺陷在于：(1)开发周期长，代码复杂，开发调试部署较为困难。(2)数据输入输出都需要手动编码，没有对外提供服务的能力。

相关技术中，申请号为202110664998.5的发明专利申请公开的一种低代码模型处理方法、系统、电子引擎及存储介质，该方法对低代码平台上生成的模型的实体代码进行修改，并且同步修改后的实体代码到低代码平台上生成新的低代码模型，方便快捷，提高低代码模型的修改效率。但其基于Spring框架进行模型开发，而Spring框架过于庞大且部署弹性较差，仍然存在开发过程代码复杂，调试部署困难的问题。

发明内容

本发明旨在提供一种模型开发方法、装置、引擎及存储介质，以降低模型开发部署难度。

本发明通过以下技术手段实现解决上述技术问题的：

第一方面，采用一种模型开发方法，基于GPL引擎进行安全分析模型开发，所述方法包括：

获取GPL查询语句，所述GPL查询语句携带有计算命令；

解析所述GPL查询语句，生成计算命令列表；

创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

通过采用GPL语言实现相关数据分析算法以及安全检测算法模型的开发，由于GPL语言语法简单，低代码，使用方便，且开发人员只需具有SQL基础就可以使用，学习成本低；因此采用GPL语言开发调试部署模型更加容易，开发周期短。

进一步地，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数。

进一步地，所述解析所述GPL查询语句，生成计算命令列表，包括：

按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到GPL查询语句语法解析结果，所述解析结果包括所述计算命令和所述计算参数；

按照所述解析结果，创建所述计算命令列表。

进一步地，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回，包括：

按顺序遍历所述计算命令列表中的计算命令；

对于每一条所述计算命令，从数据仓库中提取对应的数据，生成与所述计算命令对应的临时结果集；

将所有所述计算命令对应的临时结果集，组成所述计算任务结果集并返回。

进一步地，所述方法还包括：

将所述计算任务结果集按照设定的数据格式返回。

进一步地，在部署的所述GPL引擎数量大于两个时，所述方法还包括：

所述GPL引擎之间进行内部通讯，实现负载均衡。

第二方面，本发明实施例提供了一种模型开发装置，基于GPL引擎进行安全分析模型开发，所述装置包括：

获取模块，用于获取GPL查询语句，所述GPL查询语句携带有计算命令；

解析模块，用于解析所述GPL查询语句，生成计算命令列表；

任务执行模块，用于创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

进一步地，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数，所述解析模块包括：

解析单元，用于按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到GPL查询语句语法解析结果，所述解析结果包括所述计算命令和所述计算参数；

第一创建单元，用于按照所述解析结果，创建所述计算命令列表。

第三方面，本发明实施例提供了一种引擎，所述引擎包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。

本发明的优点在于：

(1)通过采用GPL语言实现安全分析模型的开发，由于GPL语言语法简单，低代码，使用方便，且开发人员只需具有SQL基础就可以使用，学习成本低；因此采用GPL语言开发调试部署模型更加容易，开发周期短。

(2)GPL引擎通过Rest接口提供查询计算服务，用于接收GPL查询语句和返回计算任务结果集，具有对外提供服务的能力。

(3)GPL引擎可以多节点分布式组成集群服务，在单节点GPL引擎性能不够时，可以部署多个GPL引擎，使用灵活。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一实施例的一种模型开发方法的流程图；

图2是本发明一实施例的单节点GPL引擎系统架构图；

图3是本发明一实施例的多节点GPL引擎系统架构图；

图4是本发明一实施例的一种模型开发装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例公开了一种模型开发方法，基于至少一个GPL引擎进行安全分析模型开发，所述方法包括如下步骤：

S10、获取GPL查询语句，所述GPL查询语句携带有计算命令。

S20、解析所述GPL查询语句，生成计算命令列表。

S30、创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

需要说明的是，本实施例通过采用GPL语言实现安全分析模型的开发，由于GPL语言语法简单，低代码，使用方便，且开发人员只需具有SQL基础就可以使用，学习成本低；因此采用GPL语言开发调试部署模型更加容易，开发周期短。

还需说明的是，针对大数据量的数据分析处理，存在一次加载到内存计算，资源跟不上，效率低的问题。本实施例计算下沉，对GPL计算语句，进行分析，重组计算语句，将能够下沉到数据仓库进行计算的，下沉到数据仓库进行计算，GPL在根据数据仓库处理后的数据进行计算分析。

在一些实施例中，其中，GPL引擎通过Rest接口提供查询计算服务，当外部调用/search接口时，传输GPL查询语句，在得到计算任务结果集时，通过Rest接口计算任务结果集。

本实施例中GPL引擎通过Rest接口提供查询计算服务，用于接收GPL查询语句和返回计算任务结果集，具有对外提供服务的能力。

在一些实施例中，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数。

需要说明的是，本实施例中每个计算命令配置不同的计算参数，管道符分割计算命令的作用，GPL目前支持40多个命令，200多个函数；通常实现一个模型的分析，需要多个命令和函数的组合对数据的处理计算分析，才能得到想要的结果。管道符分割就是给算法工程师，安装自己的想法，将每个数据的处理分析过程通过编写一条一条计算命令来完成，那么每条命令需要管道分隔符来分割。便于算法工程师理解，以及GPL引擎识别每个执行过程。

在一些实施例中，所述步骤S20，包括如下步骤：

S201、按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到解析结果，所述解析结果包括所述计算命令和所述计算参数。

其中，本实施例根据管道符拆分GPL查询语句为两条命令，创建两条命令，第一条dbxquery为加载数据的查询语句命令，第二条limit为结果集限制数量的命令。

需要说明的是，结果集限制数量是计算参数的一种，不同的命令有不同的参数。设置结果数量的作用，用于不同的场景，有时候算法工程师在编写GPL算法实现某个模型分析时，有时候需要验证一下模型执行的效果，验证的过程可能只需要看到少量的数据，另外能够快速的看到结果，所以提供结果集的限制，提高模型探索的速度，算法工程师能够很快看到模型的结果。真正模型执行的过程则是需要返回所有的数据，所有不设置返回的结果限制。

S202、按照所述解析结果，创建所述计算命令列表。

在一些实施例中，所述步骤S30包括如下步骤：

S301、创建计算任务，并添加所述计算任务到任务池中执行。

S302、按顺序遍历所述计算命令列表中的计算命令，对于每一条所述计算命令，从数据仓库中提取对应的数据，生成与所述计算命令对应的临时结果集。

S303、将所有所述计算命令对应的临时结果集，组成所述计算任务结果集并返回。

需要说明的是，所述计算命令列表中的最后一条计算命令生成最终结果集，此时所述计算任务执行结束。

在一些实施例中，所述方法还包括：

将所述计算任务结果集按照设定的数据格式返回。

需要说明的是，计算结果返回的数据主要是GPL对外提供计算服务使用的，外部系统可以将一个GPL模型语句发送给GPL引擎，GPL引擎按照GPL模型中语句执行，执行的结果按照标准格式返回给对应的系统。

返回的数据格式包含执行是否成功，失败时的错误信息，执行返回结果的记录数，执行返回结果的字段类型，以及详细的结果数据清单。

该格式为GPL对外提供服务的标准接口：主要是为外部系统通过发送GPL模型语句给GPL引擎，由GPL引擎对数据进行计算分析，然后将分析结果返回给外部系统，外部系统将分析结果用于也系统的业务场景。

进一步地，本实施例中基于至少一个GPL引擎进行安全分析模型开发，在开发工作量不大，单节点GPL引擎的性能即可满足时，采用如图2所示的单节点GPL引擎系统实现模型开发。

在单节点GPL引擎的性能无法满足开发要求时，由于GPL引擎可以多节点分布式组成集群服务，本实施例采用如图3所示的多节点GPL引擎系统实现模型开发。

其中，GPL引擎系统的实现流程如下：

(1)系统安装要求，至少32G内存，8核CPU。

(2)GPL引擎配置文件conf/app-config.yml，可以设置主机IP、端口、数据源等参数，必须配置default数据源为数据仓库，其它参数可以默认。

(3)GPL引擎JVM参数，修改bin/env.sh文件，默认参数为-Xms256m-Xmx24g-Xmn8g。注意：Xmx参数的值，不能大于主机物理内存数量。

(4)GPL引擎启动脚本bin/start，停止脚本bin/stop，重启脚本bin/restart，打印日志到控制台脚本bin/logs，查看状态脚本bin/status，查看环境脚本bin/info。

(5)GPL引擎启动后，打开Rest监听端口，等待外部请求。

(6)外部POST请求http://GPL-engine:9089/search，参数为JSON格式，例：{

"SearchCommands":"

|dbxquery sql＝\"select*from table\"

|limit 10

"

}

7)GPL引擎接收JSON参数，解析JSON为Map对象。获取key＝SearchCommands的值，即是GPL查询语句。

8)GPL引擎解析GPL查询语句，根据管道符拆分GPL语句为两条命令。创建两条命令，第一条dbxquery为加载数据的查询语句，第二条的limit为限制结果集的数量。

9)执行到最后一条命令执行后，按返回的数据格式返回结果集。其中最后一条命令中设置的限制结果集数量为10，则最终结果集只有10条数据，即Rest接口返回10条数据。

需要说明的是，对于|dbxquery sql＝\"select*from table\"

该结果可能会返回100条记录，那么100条记录会加载到GPL引擎计算模块；

|limit 10

这个是第二个处理命令，就是限制结果10条，也就是对前面加载到GPL引擎中的100条记录，提取最新的10条记录数据，最后GPL执行的结果输出为最新的10条记录数据。

应当理解的是，GPL执行的结果输出也可为其他条数的记录数据，本实施例不作具体限定。

在一些实施例中，在部署的所述GPL引擎数量大于两个时，所述方法还包括如下步骤：

所述GPL引擎之间进行内部通讯，实现负载均衡。

需要说明的是，GPL引擎集群版本，各GPL引擎节点连接注册中心更新各自节点的运行任务的数量，以及资源占用的情况，以及繁忙情况，GPL客户端每次下发GPL任务，连接注册中心获取空闲的节点，然后将任务下发给空闲节点。

GPL客户端，每个GPL节点都是一个注册中心，GPL节点相互发现使用，通过咨询服务注册中心获取空闲GPL节点，下发GPL任务到对应节点，GPL客户端根据参数控制负载。

如图4所示，本发明第二实施例公开了一种模型开发装置，基于GPL引擎进行安全分析模型开发，所述装置包括：

获取模块10，用于获取GPL查询语句，所述GPL查询语句携带有计算命令。

解析模块20，用于解析所述GPL查询语句，生成计算命令列表。

任务执行模块30，用于创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

需要说明的是，本实施例通过采用GPL语言实现安全分析模型的开发，由于GPL语言语法简单，低代码，使用方便，且开发人员只需具有SQL基础就可以使用，学习成本低；因此采用GPL语言开发调试部署模型更加容易，开发周期短。

在一些实施例中，其中，GPL引擎通过Rest接口提供查询计算服务，当外部调用/search接口时，传输GPL查询语句，在得到计算任务结果集时，通过Rest接口计算任务结果集。

本实施例中GPL引擎通过Rest接口提供查询计算服务，用于接收GPL查询语句和返回计算任务结果集，具有对外提供服务的能力。

在一些实施例中，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数，所述解析模块20包括：

解析单元，用于按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到GPL查询语句语法解析结果，所述解析结果包括所述计算命令和所述计算参数。

其中，本实施例根据管道符拆分GPL查询语句为两条命令，创建两条命令，第一条dbxquery为加载数据的查询语句命令，第二条limit为结果集限制数量的命令。

需要说明的是，由于不同的使用场景，限制数量是用于算法工程师，预览执行结果用的，预览看模型执行效果不需要返回所有的数据，所以可对结果集限制数量。

第一创建单元，用于按照所述解析结果，创建所述计算命令列表。

在一些实施例中，所述任务执行模块30包括：

第二创建单元，用于创建计算任务，并添加所述计算任务到任务池中执行。

执行单元，用于按顺序遍历所述计算命令列表中的计算命令，对于每一条所述计算命令，从数据仓库中提取对应的数据，生成与所述计算命令对应的临时结果集。

返回单元，用于将所有所述计算命令对应的临时结果集，组成所述计算任务结果集并返回。

需要说明的是，所述计算命令列表中的最后一条计算命令生成最终结果集，此时所述计算任务执行结束。

在一些实施例中，所述方法还包括：

将所述计算任务结果集按照设定的数据格式返回。

在一些实施例中，在部署的所述GPL引擎数量大于两个时，所述装置还包括：

负载均衡模块用于所述GPL引擎之间进行内部通讯，实现负载均衡。

此外，本发明第三实施例提供了一种引擎，所述引擎包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上所述的方法。

此外，本发明第四实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。

需要说明的是，本实施例方案具有如下有益效果：

(1)GPL实现了调用TensorFlow的训练模型；TensorFlow学习后的模型，可以无缝的集成到GPL，通过适配器将数据传递给TensorFlow计算，并通过适配器获取计算结果。保存TensorFlow模型的作用用于在编写GPL模型算法时，如果使用到TensorFlow预制的模型时使用。

(2)批量计算是GPL模型中可以对一批已存在的数据，根据GPL规则，对该批数据进行计算分析，输出分析结果。

(3)实时计算是GPL模块中可以配置对实时产生的数据的分析处理，GPL模型中配置指定实时产生的数据的源，根据GPL规则实时对源数据进行计算分析，实时输出结果。

(3)与python交互计算类似于TensorFlow交互，GPL实现了调用python脚本的算子，也可以理解为调用python的适配器，交互计算步骤，GPL将允许的python参数通过适配器算子，传递给python，python按照参数执行返回执行结果给GPL。交互计算的作用，由于有许多算法工程师实现的一些算法是基于python实现的，GPL引擎支持python脚本，便于算法工程师可以快速使用GPL实现自己的模型算法逻辑。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或引擎(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或引擎取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或引擎而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或引擎或结合这些指令执行系统、装置或引擎而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种模型开发方法，其特征在于，基于至少一个GPL引擎进行安全分析模型开发，所述方法包括：

获取GPL查询语句，所述GPL查询语句携带有计算命令；

解析所述GPL查询语句，生成计算命令列表；

创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

2.如权利要求1所述的模型开发方法，其特征在于，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数。

3.如权利要求2所述的模型开发方法，其特征在于，所述解析所述GPL查询语句，生成计算命令列表，包括：

按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到GPL查询语句语法解析结果，所述解析结果包括所述计算命令和所述计算参数；

按照所述解析结果，创建所述计算命令列表。

4.如权利要求1所述的模型开发方法，其特征在于，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回，包括：

按顺序遍历所述计算命令列表中的计算命令；

对于每一条所述计算命令，从数据仓库中提取对应的数据，生成与所述计算命令对应的临时结果集；

将所有所述计算命令对应的临时结果集，组成所述计算任务结果集并返回。

5.如权利要求4所述的模型开发方法，其特征在于，所述方法还包括：

将所述计算任务结果集按照设定的数据格式返回。

6.如权利要求1所述的模型开发方法，其特征在于，在部署的所述GPL引擎数量大于两个时，所述方法还包括：

所述GPL引擎之间进行内部通讯，实现负载均衡。

7.一种模型开发装置，其特征在于，基于GPL引擎进行安全分析模型开发，所述装置包括：

获取模块，用于获取GPL查询语句，所述GPL查询语句携带有计算命令；

解析模块，用于解析所述GPL查询语句，生成计算命令列表；

任务执行模块，用于创建计算任务，所述计算任务用于按顺序执行所述计算命令列表中的计算命令，得到计算任务结果集并返回。

8.如权利要求7所述的模型开发装置，其特征在于，所述GPL查询语句使用管道符分隔所述计算命令，每个所述计算命令均配置有计算参数，所述解析模块包括：

解析单元，用于按照GPL语法规则，根据所述管道符拆分所述GPL查询语句，得到GPL查询语句语法解析结果，所述解析结果包括所述计算命令和所述计算参数；

第一创建单元，用于按照所述解析结果，创建所述计算命令列表。

9.一种引擎，其特征在于，所述引擎包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6中任一项所述的方法。

Images