CN108133005B - 一种基于内存数据库的环境模型模拟方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种基于内存数据库的环境模型模拟方法、终端设备及存储介质，在该方法中，包括以下步骤：S10：读取环境模型输入文件，将文件名和行号作为键，将行号对应行的内容作为值存储到数据库中；S20：对参与校正的模型参数进行采样；S30：将原模型输入文件的文件名、行号和模拟号作为键，将模拟号对应的参数值作为值存储到数据库中；S40：通过该接口读取模拟需要的模型输入和模型参数；S50：利用数据库的任务序列，并行进行各个模型模拟的任务。本发明将环境模型的数据存放在内存数据库当中，利用多个并行程序可以在内存当中共享模型输入，从而有效避免磁盘竞争，提高模型并行模拟效率。

Description

一种基于内存数据库的环境模型模拟方法、终端设备及存储 介质

技术领域

本发明涉及环境建模技术领域，尤其涉及一种基于内存数据库的环境模型模拟方法、终端设备及存储介质。

背景技术

环境数字模型是一类针对环境系统的特征或数量依存关系，采用数学语言和计算机技术，概括或近似地模拟环境系统内部和外部之间的物质和能量输移转移过程的计算机程序。如用于描述流域水循环的分布式水文模型，可以模拟流域内降水、植物截流、蒸发、地表径流、下渗、壤中流以及河流汇流等水循环过程。这些模型通常采用Fortran编程语言编程实现，且通常依赖大量的模型输入数据(文件)，在运行模型时需要临时将这些海量数据读入计算机内存进行相应的物质和能量输移和转换计算。因此，模型的计算性能势必受到模型大量磁盘读写的影响。此外，在模型校正以及模型多情景模拟等过程也都涉及到模型输入数据编辑步骤。因此，大量模型输入数据的读入和编辑任务，不可避免的成为了模型应用的最大瓶颈之一。

传统上通常采用并行算法来提高模型计算效率，但由于多个进程或线程之间磁盘读写竞争，采用并行算法优化模型计算效率会很大程度上受到海量模型磁盘输入输出影响。此外，也有部分学者尝试将多个模型输入文件整合成统一模型输入的形来来降低模型的磁盘读写压力，但这种方法对模型性能尤其在并行计算时的改善有限。此外，部分学者也开始尝试在模型中运用内存缓存技术来降低磁盘的输入输出端口(I/O)，但种技术与模型深度耦合，不仅增加了模型本身的复杂性，同时也不能与外部模型校正算法或工具结合使用，通用性差。

发明内容

本发明旨在提供一种基于内存数据库的环境模型模拟方法、终端设备及存储介质，不仅能够提高模型单独运行速度。在利用并行算法执行模型参数校正、多情景模拟等环境时，可更有效减少磁盘输入输出端口的竞争，从而提高这些环节的计算效率。此外，该加速方法通过环境模型和内存数据库通过接口进行通信实现松散耦合，便于模型和不同种类模型参数校正、多情景模拟算法组合使用。

具体方案如下：

一种基于内存数据库的环境模型模拟方法，包括以下步骤：

S10：读取环境模型的模型输入文件，将输入文件的文件名和行号作为数据库的键，将行号对应行的内容作为数据库键所对应的值存储到数据库的模型输入存储区中；所述数据库为键值型内存数据库；

S20：对原模型输入文件内需要进行校正的模型参数进行采样，生成每一轮模拟所需要参数组，设定参数组的序号为模拟号；

S30：将原模型输入文件的文件名和行号和所述模拟号作为数据库的键，将所述模拟号对应的参数值作为数据库键所对应的值存储到数据库的校正参数存储区中；

S40：设置环境模型的模型输入和模型参数的读取方式为通过与环境模型相连的数据库的接口来获取数据库内存储的模型输入和模型参数，通过该接口读取模拟需要的模型输入和模型参数；

S50：利用数据库的任务序列，并行进行各个模型模拟的任务。

进一步的，步骤S20中所述采样为根据校正参数及其取值区间和参数采样次数对模型参数进行采样。

进一步的，步骤S40中的所述接口可以自动判断环境模型读取的参数是否为参与模型参数校正的参数，并优先返回参与模型参数校正的参数值，降低环境模型和数据库之间通信的次数。

进一步的，步骤S40中所述读取的步骤如下：

S41：通过数据查询函数以文件名、行号和模拟号组成的键去数据库中查找对应的参数值；

S42：判断是否有查找到相应参数值，如果没有，执行S43，如果有，返回该参数值，执行S50；

S43：在数据库服务端中直接以文件名和行号组成的键去数据库中查找对应的参数值；

S44：判断是否有查找到相应参数值，如果没有，返回空值，如果有，返回该参数值。

一种基于内存数据库的环境模型模拟终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于内存数据库的环境模型模拟方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于内存数据库的环境模型模拟方法的步骤。

本发明采用如上技术方案，并具有有益效果：

1)模拟过程中仅需在内存键值数据库中存储唯一的模型输入副本及少量的变化参数，从而减少传统模型并行模拟过程中每个模型需要独立的输入数据所导致的数据冗余问题；

2)通过从内存键值数据库直接读取模型输入数据，从而降低模型运行、模型校正以及多情景模拟等过程中对磁盘的读写操作竞争，加速模型并行模拟；

3)环境模型和内存键值数据库松散耦合的形式更有利于模型和不同种类模型参数校正、多情景模拟算法组合应用；

4)可以有效利用内存键值数据库特有功能，实现模型输入数据进行有效管理，提高模型输入编辑效率和灵活性。

附图说明

图1所示为本发明实施例一的流程示意图。

图2所示为本发明实施例一模型输入文件在数据库中的存储示意图。

图3所示为本发明实施例一参与校正的模型参数在数据库中的存储示意图。

图4所示为本发明实施例一环境模型通过其与数据库接口读取模型数据的过程示意图。

图5所示为本发明实施例一使用环境模型进行参数校正的流程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一

本发明实施例一提供了一种基于内存数据库的环境模型模拟方法，如图1所示，其为本发明实施例一所述的基于内存数据库的环境模型模拟方法的流程示意图，所述方法可包括以下步骤：

S10：读取环境模型的模型输入文件，将输入文件的文件名和行号作为数据库的键，将行号对应行的内容作为数据库键所对应的值存储到数据库的模型输入存储区中，参照图2所示。

所述模型输入文件包括环境模型所对应的模型参数和环境数据。

所述环境模型为用数学和计算机程序来模拟特定环境中物质和能量的转移过程。该实施例中，采用的环境模型为水文模型(Soil and Water Assessment Tool，SWAT)是利用人们对水循环的知识(用数学表达)和计算机程序在计算机内模拟一定区域(如流域)内的水循环过程，用于分析当模型的输入或参数变化时，其输出可能出现的变化。

该实施例中，环境模型对应的数学公式为：

Y＝a×P+b×T

其中公式左边Y(某个河流流出的水量)是环境模型的输出，公式右边是环境模型的环境数据和模型参数，其中P(降雨)和T(温度)是环境数据，a和b是模型参数。该实施例中，环境模型的作用为当知道未来降雨和温度的时候，将其作为模型输入，经过模型运算得到，未来河流的输出水量，来分析会不会发生水灾、水资源是否够用等。

该实施例中，模型输入文件既包含环境数据P(降雨)和T(温度)的值，也包含模型参数a和b的值。

所述数据库为键值(Key-Value)型内存数据库。该实施例中采用Redis数据库，其是一个高性能的键值型内存数据库。

所述内存数据库为将数据放在内存中直接操作的数据库，其抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。

所述键值型存储数据库，其数据按照键值对的形式进行组织、索引和存储。键值存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的次数，比关系型数据库存储拥有更好的读写性能。

S20：对原模型输入文件内需要进行校正的模型参数进行采样，生成每一轮模拟所需要参数组，设定参数组的序号为模拟号。

当环境模型的模型参数未知时或者获取成本很高时，需要确定模型参数的具体大小，采用采样后模拟、选优的方式来进行确定。

所述原模型输入文件为每个采样参数所在的文件，该实施例中，参数a和参数b所在的采样参数原模型输入文件分别为：a_parameter.txt和b_parameter.txt文件，

a和b取值都在0和1之间，对参数a和b进行10次随机采样,会生成一个采样文件，所述采样文件的内容为：

其中序号1～10为模拟号。

该实施例中，所述采样为根据校正参数及其取值区间和参数采样次数对模型参数进行随机采样。

S30：将原模型输入文件的文件名和行号和所述模拟号作为数据库的键，将所述模拟号对应的参数值作为数据库键所对应的值存储到数据库的校正参数存储区中，参照图3所示。

该实施例中，数据库内的存储格式为：

其中a_parameter.txt是参数a原模型输入文件的文件名，x是在原文件中的行号，1参数组的序号，b_parameter.txt是参数b原模型输入文件的文件名，y是在原文件中的行号，1参数组的序号。

设定每个模型参数的采样参数个数为n，则m个模型参数进行模型模拟的总次数为n×m，所述模拟号对应模型模拟的次数，其大小为从1到n×m。所述参与模型参数校正的数据库的键对应的参数值为采样程序生成的参数。

该实施例中，参与模型参数校正的环境模型中，参数a和b分别取10个样本，则模型模拟的次数为10×10＝100次，对应的参数值为a和b的100种组合，以a和b的组合作为参数值被环境模型调用，通过100次的调用计算出100个模拟结果，将这100个模拟到的结果与实际的河流流出的水量进行比较，则最接近的结果为该环境模型的模拟参数。

如图5所示，为模型参数校正的流程图，按照模拟号即图中的模拟序号(simno)的顺序逐步将模型参数值读取到模型中进行模拟，直至将所有模拟号的参数值均模拟完成。

S40：设置环境模型的模型输入和模型参数的读取方式为通过与环境模型相连的数据库的接口来获取数据库内存储的模型输入和模型参数，通过该接口读取模拟需要的模型输入和模型参数。

环境模型和数据库之间通过接口间接实现松散耦合，具体为环境模型首先通过Fortran语言编写的接口，Fortran语言编写的接口再通过数据库提供的C语言或其他语言的接口来实现环境模型与数据库之间的通信，以此来解决内存数据库不直接提供Fortran语言接口的问题。

该实施例中，所述环境模型使用Fortran语言进行操作，而Redis数据库使用C语言进行操作，利用Fortran语言和C语言可以互相操作的技术，结合Redis的C语言接口HRedis实现SWAT和Redis之间的通信。

所述读取为通过数据库查询函数来获取环境模型的输入和模型的参数。

所述数据查询函数可以通过Lua脚本实现。

所述接口可以自动判断环境模型读取的参数是否为参与模型参数校正的参数，并优先返回参与模型参数校正的参数值，降低环境模型和数据库之间通信的次数。

该实施例中，所述读取的步骤如图4所示，具体为：

S41：通过数据查询函数以文件名、行号和模拟号组成的键去数据库中查找对应的参数值；

S42：判断是否有查找到相应参数值，如果没有，执行S43，如果有，返回该参数值，执行S50；

S43：在数据库服务端中直接以文件名和行号组成的键去数据库中查找对应的参数值；

S44：判断是否有查找到相应参数值，如果没有，返回空值，如果有，返回该参数值。

S50：利用数据库的任务序列，并行进行各个模型模拟的任务。

由于环境模型的参数校正中多个参数的组合，以及模拟情景的随机组合，都会产生大量的模型模拟需求，所以通常的方法利用并行运算来解决海量的计算问题，但由于分布式环境模型在运行过程当中需要从磁盘读写大量的数据，所以当并行运行时，从磁盘数据量会成倍增加(与并行模拟数成正比)，影响并行运算的效率，并且因为存在大量的磁盘读写需要，所以不同模拟之间会出现磁盘竞争，将环境模型的数据存放在内存数据库当中，这样多个并行程序可以在内存当中共享模型输入，从而有效避免磁盘竞争，提高模型并行模拟效率。

该发明实施例一针对现有基于Fortran语言环境模型处理大量磁盘输入输出引脚方面的不足，提供一种基于内存键值数据库的模型加速模拟方法，不仅能够提高模型单独运行速度。在利用并行算法执行模型参数校正、多情景模拟等环境时，可更有效减少磁盘输入输出引脚的竞争，从而提高这些环节的计算效率。此外，该加速方法通过环境模型和内存键值数据库通过接口进行通信实现松散耦合，便于模型和不同种类模型参数校正、多情景模拟算法组合使用。

实施例二：

本发明还提供一种基于内存数据库的环境模型模拟终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1所示的步骤S10-S40的方法步骤。

进一步地，作为一个可执行方案，所述基于内存数据库的环境模型模拟终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于内存数据库的环境模型模拟终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述基于内存数据库的环境模型模拟终端设备的组成结构仅仅是基于内存数据库的环境模型模拟终端设备的示例，并不构成对基于内存数据库的环境模型模拟终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于内存数据库的环境模型模拟终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于内存数据库的环境模型模拟终端设备的控制中心，利用各种接口和线路连接整个基于内存数据库的环境模型模拟终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于内存数据库的环境模型模拟终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述基于内存数据库的环境模型模拟终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种基于内存数据库的环境模型模拟方法，其特征在于：包括以下步骤：

S10：读取环境模型的模型输入文件，将输入文件的文件名和行号作为数据库的键，将行号对应行的内容作为数据库键所对应的值存储到数据库的模型输入存储区中；所述数据库为键值型内存数据库；

S20：对所述模型输入文件内需要进行校正的模型参数进行采样，生成每一轮模拟所需要参数组，设定参数组的序号为模拟号；

S30：将所述模型输入文件的文件名和行号和所述模拟号作为数据库的键，将所述模拟号对应的参数值作为数据库键所对应的值存储到数据库的校正参数存储区中；

S40：设置环境模型的模型输入和模型参数的读取方式为通过与环境模型相连的数据库的接口来获取数据库内存储的模型输入和模型参数，通过该接口读取模拟需要的模型输入和模型参数；

S50：利用数据库的任务序列，并行进行各个模型模拟的任务。

2.根据权利要求1所述的基于内存数据库的环境模型模拟方法，其特征在于：步骤S20中所述采样为根据校正参数及其取值区间和参数采样次数对模型参数进行采样。

3.根据权利要求1所述的基于内存数据库的环境模型模拟方法，其特征在于：步骤S40中的所述接口可以自动判断环境模型读取的参数是否为参与模型参数校正的参数，并优先返回参与模型参数校正的参数值，降低环境模型和数据库之间通信的次数。

4.根据权利要求1所述的基于内存数据库的环境模型模拟方法，其特征在于：步骤S40中所述读取的步骤如下：

S41：通过数据查询函数以文件名、行号和模拟号组成的键去数据库中查找对应的参数值；

S42：判断是否有查找到相应参数值，如果没有，执行S43，如果有，返回该参数值，执行S50；

S43：在数据库服务端中直接以文件名和行号组成的键去数据库中查找对应的参数值；

S44：判断是否有查找到相应参数值，如果没有，返回空值，如果有，返回该参数值。

5.一种基于内存数据库的环境模型模拟终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～4之一所述方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～4之一所述方法的步骤。

Images