CN115577641A - 一种数字孪生模型的训练方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种数字孪生模型的训练方法、装置、设备及介质，用于提高数字孪生模型对现实情况的模拟匹配度。所述方法为：利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数并获得数字孪生第一模型；将相同的输入参数值分别输入至实际生产线和数字孪生第一模型，获得实际生产线的实际输出参数值和数字孪生第一模型输出的第一孪生输出参数值；将实际输出参数值和第一孪生输出参数值作差处理，获得二者的激励函数值；基于激励函数值对第一强化学习智能体进行迭代训练，获得第二强化学习智能体并对实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于第二构建参数，获得数字孪生第二模型。

Description

一种数字孪生模型的训练方法、装置、设备及介质

技术领域

本申请涉及数字孪生技术领域，尤其涉及一种数字孪生模型的训练方法、装置、设备及介质。

背景技术

数字孪生通常用于表示复杂的物理产品或过程，其通过高频数据采集或建模技术可以创建数字双胞胎，并为最终用户提供有用的信意以辅助决策。但现有的数字孪生模型对实际生产线的模拟匹配度仍有待提升。

发明内容

本申请的主要目的是提供一种数字孪生模型的训练方法、装置、设备及介质，旨在解决现有数字孪生模型对现实情况的模拟匹配度不足的技术问题。

为解决上述技术问题，本申请实施例提出了：一种数字孪生模型的训练方法，包括以下步骤：

利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；

将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；

将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；

利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

作为本申请一些可选实施例，所述利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型，包括：

构建第一强化学习智能体；

利用构建的第一强化学习智能体在预设观测范围内对实际生产线进行观测和映射，以生成数字孪生模型的第一构建参数；

基于所述第一构建参数，获得数字孪生第一模型。

作为本申请一些可选实施例，所述预设观测范围通过如下关系式获得：

ObsSpace=spaces.Box（low=-limit，high=limit，shape=（1），dtype=float）

其中，ObsSpace表示预设观测范围；spaces.Box表示一个有边界的连续数组；Low表示观测范围的下边界；High表示观测范围的上边界；Limit表示观测范围的具体值，由模型建立时设置；Shape表示数组组成的向量形式；dtype=float表示数据类型为连续型小数。

作为本申请一些可选实施例，所述将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体，包括：

将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；

基于所述激励函数值，获得奖励函数反馈值；

基于所述奖励函数反馈值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体。

作为本申请一些可选实施例，所述基于所述奖励函数反馈值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体，包括：

基于所述奖励函数反馈值对所述第一强化学习智能体进行训练，并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型；

将相同的输入参数值分别输入至所述数字孪生中间模型和所述实际生产线，分别获得所述数字孪生中间模型输出的孪生输出参数中间值和所述实际生产线输出的实际输出参数值；

基于所述孪生输出参数中间值和所述实际输出参数值，获得所述孪生输出参数中间值和所述实际输出参数值的激励函数值；

当激励函数值达到预设值时，训练结束，获得第二强化学习智能体。

作为本申请一些可选实施例，所述基于所述奖励函数反馈值对所述第一强化学习智能体进行训练，并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型，包括：

所述第一强化学习智能体进行随机生成运动区间，基于所述奖励函数反馈值对上述运动区间的参数进行调整训练；并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型。

作为本申请一些可选实施例，所述运动区间通过如下关系式获得：

actSpace=spaces.Box（low=a，high=b，shape=（4,1），dtype=int）

其中，actSpace表示第一强化学习智能体运动区间；spaces.Box表示一个有边界的连续数组；Low=a表示观测范围的下边界；high=b表示观测范围的上边界；Shape=（4,1）表示数组组成的向量形式；dtype=int表示数据类型为整数。

作为本申请一些可选实施例，所述激励函数值通过如下关系式获得：

Δt=第一虚拟输出参数值-实际输出参数值；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值。

作为本申请一些可选实施例，所述奖励函数反馈值通过如下关系式获得：

若Δt＜5，则reward=1；

若Δt＜1，则reward=5；

若5≤Δt＜100，则reward=-1；

若100≤Δt，则reward=-5；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值，reward表示为奖励函数反馈值。

为解决上述技术问题，本申请实施例还提出了：一种数字孪生模型训练装置，包括：

构建模块，用于利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；

输入模块，用于将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；

训练模块，用于将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；

获得模块，用于利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

为解决上述技术问题，本申请实施例还提出了：一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如上所述的方法。

为解决上述技术问题，本申请实施例还提出了：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如上所述的方法。

与现有技术相比，本申请所述数字孪生模型的训练方法，利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；对于此时所获得的数字孪生第一模型与实际生产线虽然具有较高的相似度，但是必然存在一些细微的差异，因此基于相同的输入参数值，所述数字孪生第一模型的孪生输出参数值与所述实际生产线的实际输出参数值之间存在激励函数值。为了获得更精确的数字孪生模型，本申请将激励函数作为评价指标对所述第一强化学习智能体进行迭代训练，直至通过强化学习智能体所生成构建参数构建获得的数字孪生模型的孪生输出参数值与实际生产线的实际输出参数值相同或差异极小，结束训练，获得第二强化学习智能体，用于在实际应用中，对所述数字孪生模型的构建参数进行动态调整，从而获得对现实情况的模拟匹配度更高的数组孪生模型。即：将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

附图说明

图1为本申请实施例提供的一种计算机设备的结构示意图；

图2为本申请实施例提供的一种数字孪生模型训练装置的结构示意图；

图3为本申请实施例提供的一种数字孪生模型的训练方法的流程示意图；

图4为本申请实施例提供的一种数字孪生模型的训练训练系统结构示意图；

图5为本申请实施例提供的一种数字孪生模型的训练过程示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

数字孪生通常用于表示复杂的物理产品或过程，其通过高频数据采集或建模技术可以创建数字双胞胎，并为最终用户提供有用的信意以辅助决策。然而，就目前的数字孪生技术而言，随着实际生产线的复杂性逐渐提升，数字孪生技术对实际生产线的模拟匹配度仍有待提升。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的计算机设备结构示意图。

如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），所述处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的数字孪生模型的训练装置，并执行本申请实施例提供的数字孪生模型的训练方法。

参考图2，本申请实施例提供了一种数字孪生模型训练装置，包括：

构建模块，用于利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；

输入模块，用于将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；

训练模块，用于将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；

获得模块，用于利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

需要说明的是，本实施例中数字孪生模型训练装置中各模块是与下述实施例中的数字孪生模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照下述数字孪生模型训练方法的实施方式，这里不再赘述。

基于上述数字孪生模型训练装置，参考图3，本申请实施例提供了一种数字孪生模型的训练方法，包括以下步骤：

S10、利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型。

在具体应用中，所述第一强化学习智能体是指从真实环境观测的结果，映射到改变数字孪生模型参数动作的多层神经网络模型；所述第一强化学习智能体的结构可以为：在目录第一层级下创建setup.py，应包含用于导入环境的名称变量；在目录第二层级下init.py用于初始化环境；在目录第二层级下dt env 2c.py包含自定义环境的核心，详细描述训练目标；这个结构是强化学习官方定义的结构，编写强化学习程序需要构建这种树形目录；按照上述结构创建并安装完成获得第一强化学习智能体后，进行强化学习训练。

在具体应用中，所述数字孪生第一模型是指通过Anylogic仿真软件建立真实环境的孪生模型。其中所述数字孪生第一模型包括：数字孪生展示单元、数字孪生存储单元和数字孪生物理服务器；其中所述数字孪生展示单元按照单个业务信息及其所属的中间件、虚拟机、宿主机、物理机、网络设备、存储设备展示其拓扑架构图，并在其拓扑架构图中显示各节点状态及性能信息而设置；所述业务信息会关联中间件、虚拟机、物理机，中间件或虚拟机可获取到所在宿主机，宿主机和物理机可提取到其相关的网卡、HBA卡等唯一标志，通过SAN交换机和SAN存储的Portwwn号进行存储关系关联信息，系统同时会按照网络交换机、物理机网卡信息进行网络拓扑关联，展示网络节点状态及结构。所述HBA卡的信息包括HBA设备厂商、wwn号等，所述存储关系关联信息包括交换机名称和管理P、交换机端口号、状态；SAN交换机的信息包括设备名称、管理IP、wwn号以及端口号及状态。其中所述数字孪生存储单元包括：通过存储设备可查看其关联的SAN交换机、物理机、以及物理机涉及的业务，通过列表展示其关系。其中所述数字孪生物理服务器通过物理机设备详情可查看物理机本身的HBA卡和网卡，系统通过列表展示其关联的存储设备和网络设备，通过物理机查看物理机基本信息、物理机性能信息、物理机硬件设备状态、物理机网卡、物理机HBA卡、物理机磁盘功能查看基本信息，同时通过物理机中的关联网络设备、关联SAN交换机、关联SAN存储查看其物理机关联信息。

在具体应用中，上述步骤S10主要包括如下步骤：

S11、构建第一强化学习智能体。

在具体应用中，所述第一强化学习智能体按照在目录第一层级下创建setup.py，应包含用于导入环境的名称变量；在目录第二层级下init.py用于初始化环境；在目录第二层级下dt env 2c.py包含自定义环境的核心，详细描述训练目标的树形目录进行构建。构建并安装完成后，即可进行如下所述步骤S12的观测。

S12、利用构建的第一强化学习智能体在预设观测范围内对实际生产线进行观测和映射，以生成数字孪生模型的第一构建参数。

在具体应用中，所述第一强化学习智能体在预设观测范围内，可以使对实际生产线进行观测和映射，亦或是对实际生产线中的设备进行观测和映射，可根据实际需求进行选择。

在具体应用中，通过预设观测范围，使得所述第一强化学习智能体对实际生产线进行观测，并在预设的观测范围内获得第一观测结果，从而增强所述第一强化学习智能体的对实际生产线的观测效率。在具体应用中，所述预设观测范围通过如下关系式获得：

ObsSpace=spaces.Box（low=-limit，high=limit，shape=（1），dtype=float）

其中，ObsSpace表示预设观测范围；spaces.Box表示一个有边界的连续数组；Low表示观测范围的下边界；High表示观测范围的上边界；Limit表示观测范围的具体值，由模型建立时设置；Shape表示数组组成的向量形式；dtype=float表示数据类型为连续型小数。

在具体应用中，所述第一模型构建参数包括：

S13、基于所述第一构建参数，获得数字孪生第一模型。

在具体应用中，所述数字孪生第一模型是指通过Anylogic仿真软件，基于所述第一模型构建参数而建立真实环境的孪生模型，用于对实际生产线进行映射。在具体应用中，所述第一模型构建参数包括原材料数量、运输工具数量和工人数量等。每个参数均对应一个ObsSpace，并且根据不同的场景，需要设计不同的参数。

在具体应用中，所述第一强化学习智能体实则为构建的初始强化学习智能体，所述第一模型构建参数即为所述第一强化学习智能体生成的初始模型构建参数，所述数字孪生第一模型即为依据所述第一模型构建参数进行构建获得的数字孪生初始模型。在具体应用中，不会投入实际应用，只是为了获得后续第一强化学习智能体的训练评价指标，即以所述数字孪生第一模型的输出参数值与所述实际生产线的输出参数值进行对比，获得二者的激励函数值以及奖励函数返回值，对所述第一强化学习智能体的训练结果进行评价，以判断是否还需继续进行训练。

S20、将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种。

在具体应用中，在相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型时，可以是将输入参数值输入至所述实际生产线中的控制系统、控制设备或其他设备端口等，所述数字孪生第一模型的输入端口与所述实际生产线中的输入端口一一对应。

在具体应用中，所述输入参数值包括实际生产过程中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种。其中，所述设备的物理信息值主要包括线路开关及其电流、负荷和位置信息、母联开关及其电流、负荷和位置信息、分段开关及其电流、负荷和位置信息；主变开关及其某侧电流、负荷和位置信息，母线刀闸及其电流、负荷和位置信息，线路刀闸及其连接的相应线路的电流、负荷和位置信息，以及主变刀闸及其连接的主变相应一侧的电流、负荷和位置信息等信息。所述IPMI实时数据信息是从多种机房机柜、交换机、物理机、存储设备、虚拟化设备获得的。所述机房机柜、交换机、物理机、存储设备、虚拟化设备与本申请所述故障点溯源分析系统中的第一获取模块之间存在通信连接，具体地，通信连接的方式为5G通信或蓝牙通信连接，同时在本实施例中，IPMI实时数据基于BMC和Zabbix框架获取。

在具体应用中，对于此时所获得的数字孪生第一模型与实际生产线虽然具有较高的相似度，但是必然存在一些细微的差异，因此基于相同的输入参数值，所述数字孪生第一模型的孪生输出参数值与所述实际生产线的实际输出参数值之间存在激励函数值。为了获得更精确的数字孪生模型，本申请将激励函数作为评价指标对所述第一强化学习智能体进行迭代训练，直至通过强化学习智能体所生成构建参数构建获得的数字孪生模型的孪生输出参数值与实际生产线的实际输出参数值相同或差异极小，结束训练，获得第二强化学习智能体，用于在实际应用中，对所述数字孪生模型的构建参数进行动态调整，从而获得对现实情况的模拟匹配度更高的数组孪生模型。

S30、将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体。

在具体应用中，为适用于多变以及较为复杂的实际生产线，本申请实施例利用激励函数对所述第一强化学习智能体进行迭代训练，即使第一强化学习智能体在与环境的交互中不断试探各种动作，并反馈激励函数值，渐进获得最优控制策略的过程。

在具体应用中，在对所述第一强化学习智能体进行迭代训练时，以离散环境的DQN智能体为例，在进行迭代训练时需要设置以下参数：学习率：此参数显示神经网络从目标和预测之间的损失中学习的百分比；伽玛：此参数用于计算折扣奖励；勘探率：该参数决定了强化学习代理在体验后采取的行动，而不是训练开始时的随机行动；探索衰变：该参数在经过一定的训练后逐渐降低探索率；episode：此参数标识了代理将进行多少次训练。

在具体应用中，所述步骤S30包括：

S31、将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值。

在具体应用中，所述激励函数值是强化学习智能体的一种形式化、数值化的表征，在本申请实施例中，所述强化学习智能体的训练目标是获得一个对实际生产线映射更为精准的数字孪生模型，使得实际生产线的输出参数值与数字孪生模型的输出参数值之间的差异减小或无差异。

在具体应用中，所述激励函数值通过如下关系式获得：

Δt=第一虚拟输出参数值-实际输出参数值；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值。

S32、基于所述激励函数值，获得奖励函数反馈值。

在具体应用中，所述奖励函数反馈值通过如下关系式获得：

若Δt＜5，则reward=1；

若Δt＜1，则reward=5；

若5≤Δt＜100，则reward=-1；

若100≤Δt，则reward=-5；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值，reward表示为奖励函数反馈值。

可以看出，如果所述第一虚拟输出参数值和实际输出参数值的差异较小，则所述的奖励函数反馈值为正数，如果已达到预设训练目标值，则可以停止训练；当所述第一虚拟输出参数值和实际输出参数值的差异较小，则所述的奖励函数反馈值为负数，表示还需继续训练，并且根据奖励函数反馈值不断探索和调整训练参数，直至所述第一强化学习智能体收敛后，获得第二强度学习智能体，即步骤S33的过程。

S33、基于所述奖励函数反馈值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体。

在具体应用中，步骤S33所述步骤可以概括为一个训练系统，所述训练系统结构图如图4所示，可以看出，所述强化学习智能体主要通过调节在Anylogic构建好的孪生模型的参数，并获调节参数后的孪生模型的输出结果与真实环境的输出结果，通过设置奖励函数反馈值，并对强化学习智能体进行训练，孪生模型的输出结果和真实环境的输出结果差异越小，强化学习智能体就能获得奖励函数的奖励，通过大量的训练，智能体收敛后，智能体就能够在真实情况的环境变化下，动态调整孪生模型参数，使得两个环境输出相同。

在具体应用中，所述强化学习智能体和所述数字孪生模型之间可以设置一个数据库，用于存储所述强化学习智能体所生成的构建参数，当所述强化学习智能体和所述数字孪生模型之间设置有数据库时，其训练过程可以如图5所示，即：

构建安装初始强化学习智能体，并测试所述初始强化学习智能体与所述数据库之间的连接是否正常，若正常则将所述初始强化学习智能体所生成的初始构建参数更新至所述数据库，并设置标志为1；数字孪生模型从所述数据库中读取并生成相应的参数设置标志为2；利用上述步骤S30所述方法对所述初始强化学习智能体进行训练，并在每轮训练过程中，生成新的构建参数，更新至所述数据库中，标志设置为3；数字孪生模型从数据库中读取生成新的构建参数并标志设置为4；运行所述标志设置为4的数字孪生模型，当运行结束后，将其输出的参数值标志设置为5，计算标志设置为5的输出参数值与实际生产线的输出参数值之间的差异值，并将所述差异值作为结果更新至所述数据库，然后标志设置为6；所述强化学习智能体从所述数据库中读取标志设置为6的差异值，进行继续训练。

S331、基于所述奖励函数反馈值对所述第一强化学习智能体进行训练，并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型。

在具体应用中，上述步骤包括：所述第一强化学习智能体进行随机生成运动区间，基于所述奖励函数反馈值对上述运动区间的参数进行调整训练；并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型。

在具体应用中，上述运动区间通过如下关系式获得：

actSpace=spaces.Box（low=a，high=b，shape=（4,1），dtype=int）

其中，actSpace表示第一强化学习智能体运动区间；spaces.Box表示一个有边界的连续数组；Low=a表示观测范围的下边界；high=b表示观测范围的上边界；Shape=（4,1）表示数组组成的向量形式；dtype=int表示数据类型为整数。

在具体应用中，所述随机生成的运动区间是指随机生成数字孪生模型构建参数的运动区间。

S332、将相同的输入参数值分别输入至所述数字孪生中间模型和所述实际生产线，分别获得所述数字孪生中间模型输出的孪生输出参数中间值和所述实际生产线输出的实际输出参数值。

在具体应用中，为了测试所述数字孪生中间模型和所述实际生产线的匹配度，因此将相同的输入参数分别输入至所述数字孪生中间模型和所述实际生产线，并分别获得它们的输出参数值做对比。具体的输入参数值和输出参数值分别包括哪些，上面已进行了相应的阐述，这里不再进行赘述。

S333、基于所述孪生输出参数中间值和所述实际输出参数值，获得所述孪生输出参数中间值和所述实际输出参数值的激励函数值。

在具体应用中，所述激励函数值是强化学习智能体的一种形式化、数值化的表征，在本申请实施例中，所述强化学习智能体的训练目标是获得一个对实际生产线映射更为精准的数字孪生模型，使得实际生产线的输出参数值与数字孪生模型的输出参数值之间的差异减小或无差异。

S334、当激励函数值达到预设值时，训练结束，获得第二强化学习智能体。

在具体应用中，如果所述第一虚拟输出参数值和实际输出参数值的差异较小，则所述的奖励函数反馈值为正数，如果已达到预设训练目标值，则可以停止训练；当所述第一虚拟输出参数值和实际输出参数值的差异较小，则所述的奖励函数反馈值为负数，表示还需继续训练，并且根据奖励函数反馈值不断探索和调整训练参数，直至所述第一强化学习智能体收敛后，获得第二强度学习智能体，即步骤S33的过程。

S40、利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

在具体应用中，完成步骤S30所述的训练过程后所获得的第二强化学习智能体按照技术整合的层级，即可对不同的实际生产线进行动态同步。即通过不断对强化学习智能体进行训练，使数字孪生模型的输出参数值与真实业务模型的输出参数值之间的差异减少，直至达到最初预设的训练目标，则代表所述数字孪生模型与所述实际生产线实现了最大程度的匹配。进而对整个实际生产线的生命周期中改进数据连接和集成提供了便利，从而为更好的决策过程生成信息。

与现有技术相比，本申请所述数字孪生模型的训练方法，利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；对于此时所获得的数字孪生第一模型与实际生产线虽然具有较高的相似度，但是必然存在一些细微的差异，因此基于相同的输入参数值，所述数字孪生第一模型的孪生输出参数值与所述实际生产线的实际输出参数值之间存在激励函数值。为了获得更精确的数字孪生模型，本申请将激励函数作为评价指标对所述第一强化学习智能体进行迭代训练，直至通过强化学习智能体所生成构建参数构建获得的数字孪生模型的孪生输出参数值与实际生产线的实际输出参数值相同或差异极小，结束训练，获得第二强化学习智能体，用于在实际应用中，对所述数字孪生模型的构建参数进行动态调整，从而获得对现实情况的模拟匹配度更高的数组孪生模型。即：将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

基于同样的发明思路，本申请实施例还提供了：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如上所述的方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其他任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备（可以是手机，计算机，电视接收机，或者网络设备等）执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种数字孪生模型的训练方法，其特征在于，包括以下步骤：

利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；

将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；

将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；

利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

2.根据权利要求1所述数字孪生模型的训练方法，其特征在于，所述利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型，包括：

构建第一强化学习智能体；

利用构建的第一强化学习智能体在预设观测范围内对实际生产线进行观测和映射，以生成数字孪生模型的第一构建参数；

基于所述第一构建参数，获得数字孪生第一模型。

3.根据权利要求2所述数字孪生模型的训练方法，其特征在于，所述预设观测范围通过如下关系式获得：

ObsSpace=spaces.Box（low=-limit，high=limit，shape=（1），dtype=float）

其中，ObsSpace表示预设观测范围；spaces.Box表示一个有边界的连续数组；Low表示观测范围的下边界；High表示观测范围的上边界；Limit表示观测范围的具体值，由模型建立时设置；Shape表示数组组成的向量形式；dtype=float表示数据类型为连续型小数。

4.根据权利要求1所述数字孪生模型的训练方法，其特征在于，所述将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体，包括：

将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；

基于所述激励函数值，获得奖励函数反馈值；

基于所述奖励函数反馈值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体。

5.根据权利要求4所述数字孪生模型的训练方法，其特征在于，所述基于所述奖励函数反馈值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体，包括：

基于所述奖励函数反馈值对所述第一强化学习智能体进行训练，并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型；

将相同的输入参数值分别输入至所述数字孪生中间模型和所述实际生产线，分别获得所述数字孪生中间模型输出的孪生输出参数中间值和所述实际生产线输出的实际输出参数值；

基于所述孪生输出参数中间值和所述实际输出参数值，获得二者的激励函数值；

当激励函数值达到预设值时，训练结束，获得第二强化学习智能体。

6.根据权利要求5所述数字孪生模型的训练方法，其特征在于，所述基于所述奖励函数反馈值对所述第一强化学习智能体进行训练，并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型，包括：

所述第一强化学习智能体进行随机生成运动区间，基于所述奖励函数反馈值对上述运动区间的参数进行调整训练；并在每轮训练结束后，获得对应未训练完成的强化学习智能体，所述未训练完成的强化学习智能体生成对应模型构建参数用于构建数字孪生中间模型。

7.根据权利要求6所述数字孪生模型的训练方法，其特征在于，所述运动区间通过如下关系式获得：

actSpace=spaces.Box（low=a，high=b，shape=（4,1），dtype=int）

其中，actSpace表示第一强化学习智能体运动区间；spaces.Box表示一个有边界的连续数组；Low=a表示观测范围的下边界；high=b表示观测范围的上边界；Shape=（4,1）表示数组组成的向量形式；dtype=int表示数据类型为整数。

8.根据权利要求1所述数字孪生模型的训练方法，其特征在于，所述激励函数值通过如下关系式获得：

Δt=第一虚拟输出参数值-实际输出参数值；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值。

9.根据权利要求8所述数字孪生模型的训练方法，其特征在于，所述奖励函数反馈值通过如下关系式获得：

若Δt＜5，则reward=1；

若Δt＜1，则reward=5；

若5≤Δt＜100，则reward=-1；

若100≤Δt，则reward=-5；

其中，Δt表示为所述第一虚拟输出参数值和所述实际输出参数值之间的激励函数值，reward表示为奖励函数反馈值。

10.一种数字孪生模型训练装置，其特征在于，包括：

构建模块，用于利用构建的第一强化学习智能体对实际生产线进行映射，以生成数字孪生模型的第一构建参数；基于所述第一构建参数，获得数字孪生第一模型；

输入模块，用于将相同的输入参数值分别输入至所述实际生产线和所述数字孪生第一模型，获得所述实际生产线的实际输出参数值和所述数字孪生第一模型输出的第一孪生输出参数值；所述输入参数值包括所述实际生产线中所应用设备的物理信息值和IPMI实时数据信息值中的至少一种；所述输出参数值包括所述设备的运行状态信息值和所述设备的检测信息值中的至少一种；

训练模块，用于将所述实际输出参数值和所述第一孪生输出参数值作差处理，获得二者的激励函数值；基于所述激励函数值对所述第一强化学习智能体进行迭代训练，获得第二强化学习智能体；

获得模块，用于利用所述第二强化学习智能体对所述实际生产线进行映射，以生成数字孪生模型的第二构建参数；基于所述第二构建参数，获得数字孪生第二模型；其中，所述数字孪生第二模型的第二孪生输出参数值与所述实际生产线的实际输出参数值相同。

11.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-9中任一项所述的方法。

Images