CN111782613B - 一种优化模型集成平台运行效率的方法 - Google Patents

Abstract

本发明公开了一种优化模型集成平台运行效率的方法，包括：针对模型经常使用相同的输入参数进行重复性计算，通过建立模型参数缓存空间，模型优先使用广度优先遍历算法遍历缓存空间中的模型参数树，并使用LRU置换算法选择最近最长时间未匹配成功的模型参数予以淘汰，匹配成功后直接返回叶子节点中存储的模型结果，本发明的优点是：降低对计算机资源的消耗，提高模型的整体运行效率。

Description

一种优化模型集成平台运行效率的方法

技术领域

本发明涉及优化模型集成平台技术领域，特别涉及一种优化模型集成平台运行效率的方法。

背景技术

随着计算机编程技术的发展，传统行业也逐步利用计算机强大的算力辅助计算，从业者通常采用Fortran、C/C++等编程语言进行数据模拟，甚至使用Python进行人工智能、机器学习等算法模拟计算。并将程序封装成可执行文件(EXE)模型，将文本文件(TXT)、数据文件(DAT)等文件作为输入输出的媒介，给他人使用。由于非计算机行业从业者缺乏专业的计算机能力，所编写的程序无法得到高效、便利的使用。

针对此类包含输入文件以及主控文件，可直接驱动EXE文件运行并产生输出文件的模型。为提高模型的使用效率，目前多采用基于WEB的运行集成方式，解决模型并发问题，并且输入输出参数使用丰富的前端控件输入或展示，便于直观分析数据。在平台调用的过程中，后端采用独立空间的方式为多并发提供基础，即新建文件夹，复制EXE执行文件，并将通过程序实现输入参数转换为输入文件，最后调用原模型的EXE文件实现模型计算。

针对此类模型时，由于模型经常使用相同的输入参数进行重复性计算，且模型的运行时间长，对计算机资源的消耗高，尽管独立空间的方式为并发提供了解决方案，但是并没有提高模型的单个任务的运行效率。由于模型的参数经过前端-后端-前端的传递以及其他资源的耗时，模型集成平台的整体运行效率不高。

发明内容

本发明针对现有技术的缺陷，提供了一种优化模型集成平台运行效率的方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种优化模型集成平台运行效率的方法,包括：前端完成模型输入参数，模型输入参数产生，前端进行必要的参数校验。模型输入参数进入模型缓存空间中，使用先序遍历算法遍历模型参数树，当遍历某条路径至到叶子节点，即检索成功后直接把叶子节点中存储的输出结果返回前端。若检索不成功，将本次模型任务的输入参数，传入线程池并等待结果。模型任务在线程池中运行完成后，将模型输出参数以及状态描述返回模型缓存空间，将模型参数在当前检索不成功的父节点依次建立子节点存储输入参数，在叶子节点中存储模型输出参数以及状态描述等信息，并把模型输出参数返回前端。

进一步地，模型缓存空间的工作流程如下：

步骤一：初始化模型缓存空间。根据模型输入参数的结构，通过分离规则Rule将其分离成n个输入参数序列P{p₁,p₂,p₃,…,p_n}。构建模型参数树，树的深度为n+2，每个层次所有节点的集合记为T_i，其中i∈[1，n+2]，则树的所有节点可表示为T{T₁,T₂,T₃,…,T_n+1,T_n+2}。其中T₁为根节点，不存储内容，{T₂,T₃,…,T_n+1}依次储存{p₁,p₂,p₃,…,p_n}，T_n+2为叶子节点，存储模型的输出参数。模型参数树每个层次的最大宽度序列为L{l₁,l₂,l₃,…,l_n+1,l_n+2}，其中l₁＝1,l_n+1＝l_n+2。模型参数树每层使用一个指针指向最左端节点，并依次连接到最右端节点，指针序列为Q{q₁,q₂,q₃,…,q_n+1,q_n+2}。

步骤二：当前端将模型输入参数CP传入模型缓存空间，将CP根据步骤一的规则Rule将其分离成n个输入参数部分{cp₁,cp₂,cp₃,…,cp_n}。使用广度优先遍历算法遍历模型缓存空间的模型参数树。遍历过程如下：从根节点T₁出发，将输入参数部分cp₁与模型参数树根节点T₁的子节点内容进行比对，若cp₁与根节点T₁的子节点p_1j的内容完全相同，则继续遍历节点p_1j的子节点，其中j∈[1，l₂]。普遍地，将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对(根节点T₁视为第1层已匹配的节点)，若cp_i与节点p_ij的子节点p_(i+1)m的内容完全相同，将节点p_km作为第i+1层已匹配的节点，则继续输入参数部分cp_i+1的比对，其中j∈[1，l_i]，m∈[1，l_i+1]。若cp_n匹配成功，获取当前节点的子节点存储的内容，即叶子节点存储的模型的输出参数。跳转至步骤七。

步骤三：将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对(根节点T₁视为第1层已匹配的节点)，若cp_i与节点p_ij的子节点的内容均不完全相同，其中j∈[1，l_i]，m∈[1，l_i+1]，则cp_i匹配失败，保留第i层已匹配节点p_ij索引，将任务传入线程池，等待结果返回。

步骤四：模型输出参数结果返回后，判断状态描述是否正常，若不正常，向前端返回相应的错误信息。跳转至步骤二。

步骤五：若状态描述正常，判断模型参数树第i+1层的节点个数不小于l_i+1，利用指针q_n+2获取模型参数树的叶子节点存储的访问字段序列

利用最近最长时间未访问过(LRU)置换算法，选择最近最长时间未访问过的模型参数，利用遍历算法找到该条路径，自下向上删除单度节点，同时不破坏树的指针结构。

步骤六：若模型参数树第i+1层的节点个数小于l_i+1，将模型的为匹配的输入参数序列{cp_i,…,cp_n}依次存储在节点p_ij的子节点中，若i＜n则cp_i+1作为cp_i的子节点，最后插入叶子节点，并将模型的输出参数存储在叶子节点中。

步骤七：刷新叶子节点中存储的访问字段

向前端返回该模型输出参数部分。

进一步地，基于线程池的并发工作流程如下：

步骤一：初始化线程池，定义线程池大小、线程存活保持时间、任务队列、线程饱和策略等线程池参数。

步骤二：模型缓存空间传入模型输入参数，新增模型任务。

步骤三：模型任务进入线程池，进行线程调控，若线程池拒绝执行任务，跳转至步骤。

步骤四：若正常执行任务，则新建任务空间，复制原模型的主控文件。若此步骤出现异常，跳转至步骤八。

步骤五：将模型任务的输入参数部分，转换为模型的输入文件。若此步骤出现异常，跳转至步骤八。

步骤六：驱动模型EXE文件，监测模型运行结束。若此步骤出现异常或超时，跳转至步骤八。

步骤七：监测模型输出文件，并将模型输出文件转换为模型输出参数。删除模型任务空间。

步骤八：添加相应的状态描述，结束任务。

步骤九：将模型输出参数以及状态描述返回至模型缓存空间。

与现有技术相比，本发明的优点在于：

通过构建模型缓存空间，避免了多重复性计算给计算机带来的高负荷工作，减少用户等待时间。通过构建模型参数树，大大节省了内存空间，提高了模型缓存空间中匹配的速度。通过使用最近最长时间未访问过(LRU)置换算法，提高前端输入参数和模型缓存空间内结果的匹配率。

针对模型自身运行的耗时和占用大量存储空间的特点：经常使用相同的输入参数进行重复性计算，模型的运行时间长，对计算机资源的消耗高。本发明能有效减轻系统负载，提高模型集成平台的整体运行效率。

附图说明

图1为本发明实施例模型集成平台的工作过程中模型参数的数据交互图；

图2为本发明模型参数树的结构示意图；

图3为本发明实施例模型缓存空间的工作示意图；

图4为本发明实施例基于线程池的并发工作示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

如图1所示，前端完成模型输入参数，模型输入参数产生，前端进行必要的参数校验。模型输入参数进入模型缓存空间中，匹配现有的模型参数树的输入参数部分。若匹配成功，直接把模型输出参数返回前端。若匹配不成功，将本次模型任务的输入参数，传入线程池并等待结果。模型任务在线程池中运行完成后，将运行结果返回模型缓存空间，模型参数树将本次模型任务的参数插入树中，并把模型输出参数返回前端。

模型缓存空间的含义：存储多种模型的模型参数树，用于优化模型运行效率。

模型参数树的含义：存储模型输入参数、输出参数以及访问字段的树状结构。如图2所示，树的深度为n+2，每个层次所有节点的集合记为T_i，其中i∈[1，n+2]，则树的所有节点可表示为T{T₁,T₂,T₃,…,T_n+1,T_n+2}。其中T₁为根节点，不存储内容，{T₂,T₃,…,T_n+1}依次储存输入参数的不同内容，T_n+2为叶子节点，存储模型的输出参数。模型参数树每个层次的最大宽度序列为L{l₁,l₂,l₃,…,l_n+1,l_n+2}，其中l₁＝1,l_n+1＝l_n+2。模型参数树每层使用一个指针指向最左端节点，并依次连接到最右端节点，指针序列为Q{q₁,q₂,q₃,…,q_n+1,q_n+2}。

如图3所示，模型缓存空间的工作流程如下：

步骤一：初始化模型缓存空间。根据模型输入参数的结构，通过分离规则Rule将其分离成n个输入参数序列P{p₁,p₂,p₃,…,p_n}。构建模型参数树，树的深度为n+2，每个层次所有节点的集合记为T_i，其中i∈[1，n+2]，则树的所有节点可表示为T{T₁,T₂,T₃,…,T_n+1,T_n+2}。其中T₁为根节点，不存储内容，{T₂,T₃,…,T_n+1}依次储存{p₁,p₂,p₃,…,p_n}，T_n+2为叶子节点，存储模型的输出参数。模型参数树每个层次的最大宽度序列为L{l₁,l₂,l₃,…,l_n+1,l_n+2}，其中l₁＝1,l_n+1＝l_n+2。模型参数树每层使用一个指针指向最左端节点，并依次连接到最右端节点，指针序列为Q{q₁,q₂,q₃,…,q_n+1,q_n+2}。

步骤二：当前端将模型输入参数CP传入模型缓存空间，将CP根据步骤一的规则Rule将其分离成n个输入参数部分{cp₁,cp₂,cp₃,…,cp_n}。使用广度优先遍历算法遍历模型缓存空间的模型参数树。遍历过程如下：从根节点T₁出发，将输入参数部分cp₁与模型参数树根节点T₁的子节点内容进行比对，若cp₁与根节点T₁的子节点p_1j的内容完全相同，则继续遍历节点p_1j的子节点，其中j∈[1，l₂]。普遍地，将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对(根节点T₁视为第1层已匹配的节点)，若cp_i与节点p_ij的子节点p_(i+1)m的内容完全相同，将节点p_km作为第i+1层已匹配的节点，则继续输入参数部分cp_i+1的比对，其中j∈[1，l_i]，m∈[1，l_i+1]。若cp_n匹配成功，获取当前节点的子节点存储的内容，即叶子节点存储的模型的输出参数。跳转至步骤七。

步骤三：将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对(根节点T₁视为第1层已匹配的节点)，若cp_i与节点p_ij的子节点的内容均不完全相同，其中j∈[1，l_i]，m∈[1，l_i+1]，则cp_i匹配失败，保留第i层已匹配节点p_ij索引，将任务传入线程池，等待结果返回。

步骤四：模型输出参数结果返回后，判断状态描述是否正常，若不正常，向前端返回相应的错误信息。跳转至步骤二。

步骤五：若状态描述正常，判断模型参数树第i+1层的节点个数不小于l_i+1，利用指针q_n+2获取模型参数树的叶子节点存储的访问字段序列

利用最近最长时间未访问过(LRU)置换算法，选择最近最长时间未访问过的模型参数，利用遍历算法找到该条路径，自下向上删除单度节点，同时不破坏树的指针结构。

步骤六：若模型参数树第i+1层的节点个数小于l_i+1，将模型的为匹配的输入参数序列{cp_i,…,cp_n}依次存储在节点p_ij的子节点中，若i＜n则cp_i+1作为cp_i的子节点，最后插入叶子节点，并将模型的输出参数存储在叶子节点中。

步骤七：刷新叶子节点中存储的访问字段

向前端返回该模型输出参数部分。

如图4所示，基于线程池的并发工作流程如下：

步骤一：初始化线程池，定义线程池大小、线程存活保持时间、任务队列、线程饱和策略等线程池参数。

步骤二：模型缓存空间传入模型输入参数，新增模型任务。

步骤三：模型任务进入线程池，进行线程调控，若线程池拒绝执行任务，跳转至步骤。

步骤四：若正常执行任务，则新建任务空间，复制原模型的主控文件。若此步骤出现异常，跳转至步骤八。

步骤五：将模型任务的输入参数部分，转换为模型的输入文件。若此步骤出现异常，跳转至步骤八。

步骤六：驱动模型EXE文件，监测模型运行结束。若此步骤出现异常或超时，跳转至步骤八。

步骤七：监测模型输出文件，并将模型输出文件转换为模型输出参数。删除模型任务空间。

步骤八：添加相应的状态描述，结束任务。

步骤九：将模型输出参数以及状态描述返回至模型缓存空间。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种优化模型集成平台运行效率的方法,其特征在于，包括：前端完成模型输入参数，模型输入参数产生，前端进行参数校验；模型输入参数进入模型缓存空间中，使用先序遍历算法遍历模型参数树，当遍历某条路径至到叶子节点，即检索成功后直接把叶子节点中存储的输出结果返回前端；若检索不成功，将本次模型任务的输入参数，传入线程池并等待结果；模型任务在线程池中运行完成后，将模型输出参数以及状态描述返回模型缓存空间，将模型参数在当前检索不成功的父节点依次建立子节点存储输入参数，在叶子节点中存储模型输出参数以及状态描述信息，并把模型输出参数返回前端；

所述模型缓存空间的工作流程如下：

步骤一：初始化模型缓存空间；根据模型输入参数的结构，通过分离规则Rule将其分离成n个输入参数序列P{p₁,p₂,p₃,,p_n}；构建模型参数树，树的深度为n+2，每个层次所有节点的集合记为T_i，其中i∈[1，n+2]，则树的所有节点可表示为T{T₁,T₂,T₃,,T_n+1,T_n+2}；其中T₁为根节点，不存储内容，{T₂,T₃,,T_n+1}依次储存{p₁,p₂,p₃,,p_n}，T_n+2为叶子节点，存储模型的输出参数；模型参数树每个层次的最大宽度序列为L{l₁,l₂,l₃,,l_n+1,l_n+2}，其中l₁＝1,l_n+1＝l_n+2；模型参数树每层使用一个指针指向最左端节点，并依次连接到最右端节点，指针序列为Q{q₁,q₂,q₃,,q_n+1,q_n+2}；

步骤二：当前端将模型输入参数CP传入模型缓存空间，将CP根据步骤一的规则Rule将其分离成n个输入参数部分{cp₁,cp₂,cp₃,,cp_n}；使用广度优先遍历算法遍历模型缓存空间的模型参数树；遍历过程如下：从根节点T₁出发，将输入参数部分cp₁与模型参数树根节点T₁的子节点内容进行比对，若cp₁与根节点T₁的子节点p_1j的内容完全相同，则继续遍历节点p_1j的子节点，其中j∈[1，l₂]；普遍地，将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对，根节点T₁视为第1层已匹配的节点，若cp_i与节点p_ij的子节点p_(i+1)m的内容完全相同，将节点p_km作为第i+1层已匹配的节点，则继续输入参数部分cp_i+1的比对，其中j∈[1，l_i]，m∈[1，l_i+1]；若cp_n匹配成功，获取当前节点的子节点存储的内容，即叶子节点存储的模型的输出参数；跳转至步骤七；

步骤三：将输入参数部分cp_i与模型参数树第i层已匹配节点p_ij的子节点内容进行比对，根节点T₁视为第1层已匹配的节点，若cp_i与节点p_ij的子节点的内容均不完全相同，其中j∈[1，l_i]，m∈[1，l_i+1]，则cp_i匹配失败，保留第i层已匹配节点p_ij索引，将任务传入线程池，等待结果返回；

步骤四：模型输出参数结果返回后，判断状态描述是否正常，若不正常，向前端返回相应的错误信息；跳转至步骤二；

步骤五：若状态描述正常，判断模型参数树第i+1层的节点个数不小于l_i+1，利用指针q_n+2获取模型参数树的叶子节点存储的访问字段序列

利用最近最长时间未访问过LRU置换算法，选择最近最长时间未访问过的模型参数，利用遍历算法找到该条路径，自下向上删除单度节点，同时不破坏树的指针结构；

步骤六：若模型参数树第i+1层的节点个数小于l_i+1，将模型的为匹配的输入参数序列{cp_i,,cp_n}依次存储在节点p_ij的子节点中，若i＜n则cp_i+1作为cp_i的子节点，最后插入叶子节点，并将模型的输出参数存储在叶子节点中；

步骤七：刷新叶子节点中存储的访问字段

向前端返回该模型输出参数部分；

基于线程池的并发工作流程如下：

步骤一：初始化线程池，定义线程池参数：线程池大小、线程存活保持时间、任务队列、线程饱和策略；

步骤二：模型缓存空间传入模型输入参数，新增模型任务；

步骤三：模型任务进入线程池，进行线程调控，若线程池拒绝执行任务，跳转至步骤；

步骤四：若正常执行任务，则新建任务空间，复制原模型的主控文件；若此步骤出现异常，跳转至步骤八；

步骤五：将模型任务的输入参数部分，转换为模型的输入文件；若此步骤出现异常，跳转至步骤八；

步骤六：驱动模型EXE文件，监测模型运行结束；若此步骤出现异常或超时，跳转至步骤八；

步骤七：监测模型输出文件，并将模型输出文件转换为模型输出参数；删除模型任务空间；

步骤八：添加相应的状态描述，结束任务；

步骤九：将模型输出参数以及状态描述返回至模型缓存空间。

Images