CN112131184B - 一种实现模型及其接口标准化输入输出的方法 - Google Patents

Abstract

本发明涉及一种实现模型及其接口标准化输入输出的方法，提供一模型及其接口标准化输入输出调度平台，包括以下步骤：（1）进行平台模型信息的初始化；（2）进行模型输入、输出的标准化；（3）基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；（4）进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。本发明将不同来源的模型进行了统一化，使得各类模型通过标准化的接口能够进行数据交互与信息共享，实现了模型的输入输出的耦合，提高了模型之间的兼容性与可扩展性。

Description

一种实现模型及其接口标准化输入输出的方法

技术领域

本发明涉及模型管理自动化应用领域，特别是一种实现模型及其接口标准化输入输出的方法。

背景技术

随着我国各大预报机构、高校、科研院所的稳步发展，各家单位都陆续研发了相关的数值预报模型，有力地促进了我国预报工作水平的不断提高。在取得相关成就的同时，由于各模型掌握在每个机构或个人手里，没能形成较好的模型资源集成共享机制，导致每次都需要单独去集成相关模型，耗时耗力、造成了一定资源的浪费。因此，一种实现模型资源共享，能够实现模型及其接口标准化输入输出的模型调度管理平台就显得尤为重要。

目前全国各大预报模型都掌握在每个机构或个人手里，由于每个模型开发语言、参数格式都不同，对外提供的服务缺少统一的标准化，没能形成较好的模型资源集成共享机制，导致每次都需要单独去集成相关模型，耗时耗力、造成了一定资源的浪费。为了解决模型资源利用率低问题，基于Web Service技术，开发了一套模型及其接口标准化输入输出的调度平台，该平台实现不同模型的集成管理，通过各个模型提供者上传模型程序与参数文件，在线可视化编辑输入输出参数的格式，提取数据转换规则，JSON格式化入库，进行模型的审核与上线，从而对外提供标准化的接口服务。

发明内容

有鉴于此，本发明的目的是提供一种实现模型及其接口标准化输入输出的方法，通过标准化输入输出的方法，将不同来源的模型进行了统一化，使得各类模型通过标准化的接口能够进行数据交互与信息共享，实现了模型的输入输出的耦合，提高了模型之间的兼容性与可扩展性。解决了当前水利行业模型之间无法互通互联的问题，标准了输入输出数据共享方案。

本发明采用以下方案实现：一种实现模型及其接口标准化输入输出的方法，其特征在于：提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；包括以下步骤：

步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件与总入口，并封装为Web Service接口；

步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；

步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；

步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。

进一步地，步骤S2中所述输入方式包括文件形式或接口形式，所述文件形式包括txt或excel，所述接口形式包括WebService接口或RESTful接口。

进一步地，所述步骤S1具体包括以下内容：先进行模型基础信息的录入，包括模型名称、模型标签、所属行业、专业分类、应用分类、模型类型、模型图标和模型概述，再进行模型运行环境的录入，包括服务器信息、操作系统、沙箱环境、程序环境、运行方式、模型程序文件类型，然后打包上传模型程序文件以及依赖包，集成包括模型预处理、清除文件、开始运行、中断运行和结束运行程序封装为总入口，将不同开发语言的模型封装为相应的WebService接口；其中，所述模型概述包括模型用途、模型原理、使用方法与附件。

进一步地，所述依赖包包括VC动态库安装包和模型程序所需的动态链接库。

进一步地，步骤S2中所述进行模型输入标准化为：根据模型的输入方式为文件或者数据接口方式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输入数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值、参数分类包括固定参数或实时参数，参数的基本信息，按照设定的双向映射引擎将参数文件转换为JSON格式文件，提取两者之间的转换规则，并根据双向解析引擎将JSON格式文件逆向生成参数文件，并与没有转换前的参数文件对比校验保证JSON格式化的准确性，双向解析引擎作为模型输入输出文件与JSON格式文件之间的桥梁，根据设定的JSON规则模板，通过该引擎就完成双向解析操作；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则和格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。

进一步地，步骤S2中所述进行模型输出标准化为：根据模型的输出方式为文件形式或者数据接口形式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输出数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值和参数分类包括固定参数或实时参数，参数的基本信息，将参数文件转换为JSON格式文件，提取两者之间的转换规则，并将JSON格式文件逆向生成参数文件，并与原文件对比校验保证JSON格式化的准确性；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则、格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。

进一步地，所述的提取转换规则为：将数据文件格式包括Excel或txt通过行列坐标、字段属性、列分隔符、编码格式现有文件属性映射并标准化到JSON格式的过程，从而统一内外数据格式标准，实现接口的标准化输入输出；所述字段属性包括名称、类型、数值和描述。

进一步地，所述步骤S3的具体内容为：模型提供者向平台提出模型注册申请，平台受理后对模型进行初步审核，然后根据审核规则进行判断模型是否可以运行、用户报告是否完整，审核规则包括用户报告完整性审查、资料产权审查、模型可用性审查、模型安全性审查、模型性能审查和模型实用价值审查，若未通过则进行通知反馈，若通过则由专业人员进行模型的专业审核，判断模型是否有实际应用价值，是否能够与平台进行集成，若通过则反馈模型提供者并完成模型的审核流程，若不通过则反馈模型提供者重新进行模型的审核申请。

进一步地，步骤S4的具体内容为：根据模型的实际情况，设置模型运行环境，选择相应操作系统包括windows或linux，选择模型的运行方式包括托管自动运行或人工运行，合理分配系统资源，然后使用虚拟机、docker方法进行模型的沙箱运行，对外实现调度入口与出口，使用标准化双向解析引擎实现标准化的输入输出，用以提供模型的调度服务。

与现有技术相比，本发明具有以下有益效果：

本发明具有自动化、专业化的特点，具有很强的方法扩展性与兼容性，通过不同行业专家上传的模型，针对每个模型进行自动化接入，满足不同模型的多语言、多数据格式、程序多样化的特点。模型提供者可以提交各自编程语言实现的模型程序，兼容了Fortran、C/C++、Matlab、Java、C#等语言，兼顾动态链接库dll、可执行程序exe、接口等形式，可上传excel、txt等不同类型数据格式，统一进行标准化的输入输出控制，并采用Web Service接口封装屏蔽了模型的多样化。采取JSON格式化实现通用的标准预报模型构件，实现模型的自动调度与人工调度。

本发明将不同来源的模型进行了统一化，使得各类模型通过标准化的接口能够进行数据交互与信息共享，实现了模型的输入输出的耦合，提高了模型之间的兼容性与可扩展性。本发明解决了当前水利行业模型之间无法互通互联的问题，标准了输入输出数据共享方案。

附图说明

图1为本发明实施例的JSON标准化格式结构图。

图2为本发明实施例的进行平台模型信息的初始化流程图。

图3为本发明实施例的模型输入标准化处理流程图。

图4为本发明实施例的模型输出标准化处理流程图。

图5为本发明实施例的模型审核处理流程图。

图6为本发明实施例的进行模型上线处理流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例提供一种实现模型及其接口标准化输入输出的方法，提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；包括以下步骤：

步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件与总入口，并封装为Web Service接口；

步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；

步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；

步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。

在本实施例中，步骤S2中所述输入方式包括文件形式或接口形式，所述文件形式包括txt或excel，所述接口形式包括WebService接口或RESTful接口。

如图2所示，所述步骤S1具体包括以下内容：先进行模型基础信息的录入，包括模型名称、模型标签、所属行业、专业分类、应用分类、模型类型、模型图标和模型概述，再进行模型运行环境的录入，包括服务器信息、操作系统、沙箱环境、程序环境、运行方式、模型程序文件类型，然后打包上传模型程序文件以及依赖包，集成包括模型预处理、清除文件、开始运行、中断运行和结束运行程序封装为总入口，将不同开发语言的模型封装为相应的WebService接口；其中，所述模型概述包括模型用途、模型原理、使用方法与附件。

在本实施例中，所述依赖包包括VC动态库安装包和模型程序所需的动态链接库。所述VC动态库安装包如vc2015_redist.x86.exe，所述动态链接库如格式化库dforrt.dll。

如图3所示，在本实施例中，步骤S2中所述进行模型输入标准化为：根据模型的输入方式为文件或者数据接口方式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输入数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值、参数分类包括固定参数或实时参数，参数的基本信息，按照设定的双向映射引擎将参数文件转换为JSON格式文件，提取两者之间的转换规则，并根据双向解析引擎将JSON格式文件逆向生成参数文件，并与没有转换前的参数文件对比校验保证JSON格式化的准确性，双向解析引擎作为模型输入输出文件与JSON格式文件之间的桥梁，根据设定的JSON规则模板，通过该引擎就完成双向解析操作；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则和格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。

如图4所示，在本实施例中，步骤S2中所述进行模型输出标准化为：根据模型的输出方式为文件形式或者数据接口形式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输出数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值和参数分类包括固定参数或实时参数，参数的基本信息，将参数文件转换为JSON格式文件，提取两者之间的转换规则，并将JSON格式文件逆向生成参数文件，并与原文件对比校验保证JSON格式化的准确性；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则、格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。

如图1所示，在本实施例中，所述的提取转换规则为：将数据文件格式包括Excel或txt通过行列坐标、字段属性、列分隔符、编码格式现有文件属性映射并标准化到JSON格式的过程，通过转换规则，可以进行数据文件与JSON标准化格式文件之间的双向解析，从而统一内外数据格式标准，实现接口的标准化输入输出；所述字段属性包括名称、类型、数值和描述。

如图5所示，在本实施例中，所述步骤S3的具体内容为：模型提供者向平台提出模型注册申请，平台受理后对模型进行初步审核，然后根据审核规则进行判断模型是否可以运行、用户报告是否完整，审核规则包括用户报告完整性审查、资料产权审查、模型可用性审查、模型安全性审查、模型性能审查和模型实用价值审查，若未通过则进行通知反馈，若通过则由专业人员进行模型的专业审核，判断模型是否有实际应用价值，是否能够与平台进行集成，若通过则反馈模型提供者并完成模型的审核流程，若不通过则反馈模型提供者重新进行模型的审核申请。

如图6所示，在本实施例中，步骤S4的具体内容为：根据模型的实际情况，设置模型运行环境，选择相应操作系统包括windows或linux，选择模型的运行方式包括托管自动运行或人工运行，合理分配系统资源，然后使用虚拟机、docker方法进行模型的沙箱运行，对外实现调度入口与出口，使用标准化双向解析引擎实现标准化的输入输出，用以提供模型的调度服务。

较佳的，本实施例通过基于Web Service技术构建数值预报模型的集成与服务系统，使用JSON技术实现轻量级数据格式标准并用于数据的无缝交换，能涵盖所有模型的调度以及输入输出参数的标准化，定义对模型之间交互的协议，实现对各模型的统一管理和操作。研制能够对不同模型及其接口标准化输入的系统，实现跨模型异构信息整合及集约，将分布在平台环境中自治和异构的各类模型的构件有效地集成，解决数据、信息和知识（包括经验）之间的有效转换问题，实现不同模型中异构信息资源跨时间、空间的透明和无缝整合，计算结果的快速提取、分析和全局或局部动态直观显示。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种实现模型及其接口标准化输入输出的方法，其特征在于：提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；

包括以下步骤：

步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件于总入口，并封装为Web Service接口；

步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；

步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；

步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化；

步骤S2中所述进行模型输入标准化为：根据模型的输入方式为文件或者数据接口形式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输入数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值、参数分类包括固定参数或实时参数，参数的基本信息，按照设定的双向解析引擎将参数文件转换为JSON格式文件，提取两者之间的转换规则，并根据双向解析引擎将JSON格式文件逆向生成参数文件，并与没有转换前的参数文件对比校验保证JSON格式化的准确性，双向解析引擎作为模型输入输出文件与JSON格式文件之间的桥梁，根据设定的JSON规则模板，通过该引擎就完成双向解析操作；对于数据接口形式，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则和格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数；

步骤S2中所述进行模型输出标准化为：根据模型的输出方式为文件形式或者数据接口形式进行不同的标准化操作，针对输出方式为文件形式，包括excel、txt格式，上传输出数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值和参数分类包括固定参数或实时参数，参数的基本信息，将参数文件转换为JSON格式文件，提取两者之间的转换规则，并将JSON格式文件逆向生成参数文件，并与原文件对比校验保证JSON格式化的准确性；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则、格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数；

所述步骤S3的具体内容为：模型提供者向平台提出模型注册申请，平台受理后对模型进行初步审核，然后根据审核规则进行判断模型是否可以运行、用户报告是否完整，审核规则包括用户报告完整性审查、资料产权审查、模型可用性审查、模型安全性审查、模型性能审查和模型实用价值审查，若未通过则进行通知反馈，若通过则由专业人员进行模型的专业审核，判断模型是否有实际应用价值，是否能够与平台进行集成，若通过则反馈模型提供者并完成模型的审核流程，若不通过则反馈模型提供者重新进行模型的审核申请。

2.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述数据接口形式包括WebService接口或RESTful接口。

3.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述步骤S1具体包括以下内容：先进行模型基础信息的录入，包括模型名称、模型标签、所属行业、专业分类、应用分类、模型类型、模型图标和模型概述，再进行模型运行环境的录入，包括服务器信息、操作系统、沙箱环境、程序环境、运行方式、模型程序文件类型，然后打包上传模型程序文件以及依赖包，集成包括模型预处理、清除文件、开始运行、中断运行和结束运行程序封装为总入口，将不同开发语言的模型封装为相应的Web Service接口；其中，所述模型概述包括模型用途、模型原理、使用方法与附件。

4.根据权利要求3所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述依赖包包括VC动态库安装包和模型程序所需的动态链接库。

5.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述的提取转换规则为：将数据文件格式包括Excel或txt通过行列坐标、字段属性、列分隔符、编码格式现有文件属性映射并标准化到JSON格式的过程，从而统一内外数据格式标准，实现接口的标准化输入输出；所述字段属性包括名称、类型、数值和描述。

6.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：步骤S4的具体内容为：根据模型的实际情况，设置模型运行环境，选择相应操作系统包括windows或linux，选择模型的运行方式包括托管自动运行或人工运行，合理分配系统资源，然后使用虚拟机、docker方法进行模型的沙箱运行，对外实现调度入口与出口，使用标准化双向解析引擎实现标准化的输入输出，用以提供模型的调度服务。

Images