CN117454965A - 基于随机Transformer模型的有模型深度强化学习方法 - Google Patents
基于随机Transformer模型的有模型深度强化学习方法 Download PDFInfo
- Publication number
- CN117454965A CN117454965A CN202311173801.3A CN202311173801A CN117454965A CN 117454965 A CN117454965 A CN 117454965A CN 202311173801 A CN202311173801 A CN 202311173801A CN 117454965 A CN117454965 A CN 117454965A
- Authority
- CN
- China
- Prior art keywords
- model
- random
- encoder
- predictor
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000007613 environmental effect Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000009826 distribution Methods 0.000 claims description 30
- 239000003795 chemical substances by application Substances 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000997494 Oneirodidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- VREFGVBLTWBCJP-UHFFFAOYSA-N alprazolam Chemical compound C12=CC(Cl)=CC=C2N2C(C)=NN=C2CN=C1C1=CC=CC=C1 VREFGVBLTWBCJP-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- BQJCRHHNABKAKU-KBQPJGBKSA-N morphine Chemical compound O([C@H]1[C@H](C=C[C@H]23)O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4O BQJCRHHNABKAKU-KBQPJGBKSA-N 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于随机Transformer模型的有模型深度强化学习方法，涉及强化学习技术领域。首先，首先使用分类分布的变分自动编码器将高维的环境数据编码为低维隐空间上的随机变量。其次，利用Transformer作为世界模型在低维的隐变量空间上实现对环境变化规律的建模，该世界模型具有仿真原始环境的能力，可以通过自回归的方式生成观察以及奖励。最后利用策略梯度算法在世界模型上进行智能体的训练。最终得到智能体性能、计算效率等方面均表现出色的有模型强化学习算法，对强化学习在现实环境中的高效部署具有非常重要的意义。
Description
技术领域
本发明涉及强化学习技术领域，具体涉及一种基于随机Transformer模型的有模型深度强化学习方法。
背景技术
强化学习是一种机器学习方法，其旨在使智能体通过与环境进行交互来学习最优的行为策略。与传统的监督学习和无监督学习方法不同，强化学习关注的是通过试错和奖励信号的反馈来学习正确的行为，从而使智能体能够在不断变化的环境中做出自适应的决策。近年来，随着相关研究的进一步深入与计算能力的发展，深度强化学习在多个领域中取得了更加广泛的成功。深度强化学习结合了深度神经网络的强大表示学习能力和强化学习的决策优化能力，使得智能体能够从原始环境数据中学习到高层次的抽象特征，并在复杂任务中相比传统方法取得了突破性的性能提升。由DeepMind团队开发的AlphaGo就是一个典型的例子，其通过结合深度神经网络与蒙特卡罗树搜索，一举战胜了当时的围棋世界冠军李世石。AlphaGo的成功为近十年间兴起的人工智能浪潮起到了重要的推进作用。
有模型强化学习算法首先构造出一个真实环境的仿真模型，随后利用这一模型生成的轨迹来进行策略提升，相比于无模型算法其样本效率取得了显著的提升。Dreamer算法(Hafner D,Lillicrap T P,Norouzi M,et al.Mastering Atari with discrete worldmodels[C]//International Conference on Learning Representations.2021)是这一框架下近年来的典型算法，其在在Atari游戏、DeepMind Control、Minecraft等多个环境中展示了强大的能力。Dreamer使用循环神经网络作为其序列模型，循环神经网络的数据具有前后依赖关系，这一设计使得其难以并行，无法充分发挥现代显卡的并行加速能力，从而导致训练速度较慢。当可供世界模型进行训练的数据增多时，如在离线强化学习的情景下，循环神经网络的速度劣势将会被进一步凸显。
最近的一些方法，如IRIS(Micheli V,Alonso E,Fleuret F.Transformers aresample-efficient world models[C]//The Eleventh International Conference onLearning Representations.2023)、TWM(Robine J,M,Uelwer T,etal.Transformer-based world models are happy with 100k interactions[C]//TheInternational Conference on Learning Representations.2023)在世界模型中使用Transformer作为其序列模型，这种结构近年来在各种序列建模和生成任务中展现出了优越的性能，其中的自注意力机制克服了长依赖关系遗忘的问题，并可以被高度并行化从而在现代显卡上提高运行效率。IRIS采用VQ-VAE(Van Den Oord A,Vinyals O,et al.Neuraldiscrete representation learning[J].Advances in Neural Information ProcessingSystems,2017,30)作为图像编码器，将输入图像映射为4×4的隐空间上的词向量，并使用空间-时间Transformer结构来捕捉单张图像内部的和多张图像之间的动力学关系。词向量这一表达源于自然语言处理领域，相比与直接使用文字的原始编码，用一个含有文字语义信息的词向量来对其进行表示更有利于建模，序列模型以词向量作为输入，IRIS则沿用了这一说法。然而，空间-时间Transformer结构中需要对大量词向量进行自注意力操作，这会导致训练速度显著变慢。TWM采用将观测、动作和奖励视为地位相同的输入词向量。这里观测是图像，动作和奖励都是标量，而自注意力机制需要利用向量点积来求相似度，这种跨越不同类型的数据的自注意力操作可能会对性能产生负面影响。与此同时，在这种输入模式下，每向序列模型增加一个时间步的数据，都需要增加三个词向量，而自注意力机制相对于词向量数目的复杂度是O(n2)的，这也使得其训练速度相对较慢。
上述列举的有模型强化学习算法可以在多项任务中提升强化学习的样本效率，但仍存在一些问题，主要表现在如下两个方面：
1)智能体在部分环境下的表现仍然十分有限，取得的平均奖励和较低，和人类表现有较大差距；
2)计算效率较低，在实际部署时计算开销和能源消耗较大。
因此，如何提升智能体在多个环境下的表现效果，并降低训练成本和在显示环境中的部署难度，提升计算效率，是目前亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于随机Transformer模型的深度强化学习方法，能够是的智能体的泛化能力更强，最终达到提升智能体在多个环境下的表现的效果，同事降低了训练成本和在现实环境中的部署难度，即实现了计算效率的提高。
为达到上述目的，本发明提供的基于随机Transformer模型的有模型深度强化学习方法，包括如下步骤：
步骤1：在环境模型与智能体模型之间构建世界模型，智能体模型将每一时间步的智能体动作输入至世界模型，环境模型将观测的高维环境数据输入至世界模型；
世界模型包括变分自编码器、动作混合器、序列模型、动力学预测器、奖励预测器以及持续标志预测器；构建世界模型具体采用如下步骤：
利用变分自编码器将高维环境数据编码为低维隐空间上的随机变量，记为隐变量；其中高维环境数据指维数在1000维以上的环境数据，低维指维数或小于1000维；
动作混合器为第一多层感知机，用于将隐变量和智能体动作进行拼接操作得到状态向量；
序列模型为Transformer模型，以状态向量作为序列模型的输入，序列模型输出对应的含历史信息的语义状态；
动力学预测器为第二多层感知机，以语义状态作为输入，对下一时间步的先验概率分布进行预测，获得下一时间步的先验概率分布估计，并作为动力学预测器的输出；
奖励预测器为第三多层感知机，以语义状态作为输入，对当前时间步的环境奖励进行预测，获得当前时间步的环境奖励，并作为奖励预测器的输出；
持续标志预测器为第四多层感知机，以语义状态作为输入，对当前时间步的环境持续标志进行预测，获得当前时间步的环境持续标志，并作为持续标志预测器的输出；；
步骤2：针对世界模型以端到端的方式进行自监督训练后，以自回归的方式生成预测的轨迹数据；
步骤3：基于步骤2生成的预测的轨迹数据，对智能体进行训练。
进一步地，步骤一中，利用变分自编码器将高维环境数据编码为低维隐空间上的随机变量，具体采用如下步骤：
变分自编码器为分类分布的变分自编码器，包含编码器qφ和解码器pφ，其中编码器qφ的输入为高维的环境观察数据ot，编码器qφ的输出为低维隐空间上的随机变量其中/>是由n个分类分布组成的随机分布，其中每个分类分布包含m个类别，故其Logit及概率用n×m的矩阵来表示。
对进行随机采样，随机采样是指从/>中随机采样一个隐变量zt来表示原始观察ot，随机采样的隐变量zt作为解码器pφ的输入
解码器pφ执行与编码器qφ相反的操作后获得重建后的环境数据。
优选地，序列模型为Transformer模型，以状态向量作为序列模型的输入，序列模型输出对应的含历史信息的语义状态，具体包括如下步骤：
序列模型的输入为：编码后的隐变量zt和智能体动作at通过一个多层感知机mφ与拼接操作合成到一个状态et中；序列模型fφ以et序列作为输入。
序列模型fφ输出对应的含历史信息的语义状态ht。
序列模型为带后续掩码的Transformer结构，后续掩码只允许et和之前的信息e1，e2，...，et进行自注意力操作，即序列模型fφ的输出ht不包含未来的信息。
优选地，步骤2中，针对世界模型以端到端的方式进行自监督训练，具体为：使用Adam优化器以梯度下降的方式进行训练。
优选地，述步骤3中，对智能体进行训练，具体为：在训练时同样采用Adam优化器，以梯度下降的方式进行优化。
有益效果：
本发明首先使用分类分布的变分自动编码器实现高维，减少了累积的自回归预测误差，增强了世界模型的鲁棒性，同时引入了一定的随机性，使得智能体的泛化能力更强，最终达到提升智能体在多个环境下的表现的效果；随后采用Transformer作为序列模型，增强了序列建模的能力，提高了轨迹生成的质量，从而提升了智能体的表现；同时每个时间步的信息被聚合至单个状态中，这进一步加快了训练速度，降低了训练成本和在现实环境中的部署难度，即实现了计算效率的提高。
附图说明
图1是本发明提供的一种基于随机Transformer模型的有模型深度强化学习方法中的有模型强化学习方法的示意图；
图2是本发明提供的一种基于随机Transformer模型的有模型深度强化学习方法中的变分自编码器工作原理的示意图；
图3是本发明提供的一种基于随机Transformer模型的有模型深度强化学习方法中在多个分类分布的联合分布中进行采样的示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于随机Transformer模型的有模型深度强化学习方法，包括如下步骤：
步骤1：在环境模型与智能体模型之间构建世界模型，如图1所述，智能体模型将每一时间步的智能体动作输入至世界模型，所述环境模型将观测的高维环境数据输入至所述世界模型。
所述世界模型包括变分自编码器、动作混合器、序列模型、动力学预测器、奖励预测器以及持续标志预测器，；所述构建世界模型具体采用如下步骤：
首先本发明利用一个分类分布的变分自编码器来将高维的环境观察数据ot编码为低维隐空间上的低维随机类别分布其中高维环境数据指维数在1000维以上的环境数据，所述低维指维数或小于1000维。所述变分自编码器为分类分布的变分自编码器，包含编码器qφ和解码器pφ，其中编码器qφ的输入为高维的环境观察数据ot，编码器qφ的输出为低维隐空间上的随机变量/>其中/>是由n个分类分布组成的随机分布，其中每个分类分布包含m个类别，故其Logit及概率用n×m的矩阵来表示；对/>进行随机采样，所述随机采样是指从/>中随机采样一个隐变量zt来表示原始观察ot，随机采样的隐变量zt作为解码器pφ的输入；解码器pφ执行与编码器qφ相反的操作后获得重建后的环境数据。
变分自编码器的总体结构如图2所示。是由n个分类分布组成的随机分布，其中每个分类分布包含m个类别，故其Logit及概率可以用n×m的矩阵来表示，如图3中左上和右上矩阵所示(此例中n＝m＝4)。当ot为图像数据时，一般取n＝m＝32。变分自编码器中的编码器qφ和解码器pφ的结构为卷积神经网络。
本发明随后从中随机采样一个隐变量zt来表示原始观察ot，从分类分布采样的这一过程如图3所示。从分布中采样这一操作是无法保留梯度信息的，故本发明使用直通梯度技巧来保留梯度信息，以便于和后续序列模型进行联合优化。
本发明接下来将图像编码后的隐变量zt和智能体动作at通过一个多层感知机mφ与拼接操作合成到一个状态et中并输入到序列模型中。该多层感知机mφ记为第一多层感知机。
本发明中的序列模型fφ以et序列作为输入，输出对应的含历史信息的语义状态ht，具体来说，序列模型为带后续掩码的Transformer结构，后续掩码只允许et和之前的信息e1，e2，...，et进行自注意力操作，即ht不包含未来的信息et+1，et+2，...，eT。本发明使用可学习的位置编码与et进行加和处理，使得序列模型可以学习到数据的前后依赖关系。
在生成ht后，本发明使用三个多层感知机和/>分别对环境持续符号、环境奖励和下一步的随机分布进行预测。当环境处于最终结束状态时，持续符号应为0，否则为1。三个多层感知机/>和/>分别记为第二多层感知机、第三多层感知机以及第四多层感知机。
所述动力学预测器为第二多层感知机，以所述语义状态作为输入，对下一时间步的先验概率分布进行预测，获得下一时间步的先验概率分布估计，并作为动力学预测器的输出。
所述奖励预测器为第三多层感知机，以所述语义状态作为输入，对当前时间步的环境奖励进行预测，获得当前时间步的环境奖励，并作为奖励预测器的输出。
所述持续标志预测器为第四多层感知机，以所述语义状态作为输入，对当前时间步的环境持续标志进行预测，获得当前时间步的环境持续标志，并作为持续标志预测器的输出。
在本发明中，世界模型被定义为变分自编码器和序列模型的总和，完整的世界模型结构包含以下图像编码器、图像解码器、动作信息混合器、序列模型、动力学预测器、奖励预测器以及持续标志预测器：
图像编码器：zt～qφ(zt|ot)＝zt
图像解码器：
动作信息混合器：et＝mφ(zt，at)
序列模型：h1：T＝fφ(e1：T)
动力学预测器：
奖励预测器：
持续标志预测器
其中为对原始环境观测/>的重建预测，/>为对下一时间步的先验概率分布的预测，/>为对环境奖励的预测，/>为对环境持续符号的预测，φ为世界模型的可优化参数，后续使用梯度下降算法对这些参数进行更新。
步骤2：针对所述世界模型以端到端的方式进行自监督训练后，以自回归的方式生成预测的轨迹数据。
本发明中世界模型以端到端的方式进行训练。具体来说使用Adam优化器(KingmaD P，Ba J.Adam：A method for stochastic optimization[J].arXiv preprint arXiv：1412.6980，2014.)以梯度下降的方式进行训练，其中训练的总体损失函数为：
损失函数的各个分量分别为观察重建损失奖励预测损失持续标记预测损失/> 为Symlog二热损失，具体实现参考DreamerV3(Hafner D，Pasukonis J，Ba J，etal.Mastering diverse domains through world models[J].arXiv preprint arXiv：2301.04104，2023.)。其中B为训练数据一个批次(batch)的大小，T为单条数据中轨迹的长度。
和/>为动力学预测损失函数，两者在计算上为相同的KL散度，但在梯度反向传播和权重方面有所不同：
其中sg(·)表示停止梯度操作，其在总体损失函数中对应的系数β1＝1.0和β2＝0.5是常数。
在世界模型以如上方式进行自监督训练后，即可以自回归的方式生成预测的轨迹数据，如说明书摘要附图所示。轨迹数据包含多个连续时间步的数据，每个时间步的数据为观察Ot，动作at，奖励rt以及持续符号ct。在利用世界模型生成轨迹数据时，本发明首先使用较短的(连续8步)历史轨迹数据输入世界模型作为初始化，随后利用动力学预测器对下一时间步的先验概率分布/>进行预测，并从/>中采样zt+1作为模型的下一步输入，同时利用策略函数πθ(at|st)生成对应的动作。反复进行预测、采样、将zt+1和at+1输入序列模型这一流程即可进行自回归式的轨迹数据生成。
步骤3：基于步骤2生成的所述预测的轨迹数据，对所述智能体进行训练。
本发明中智能体的训练完全基于序列模型生成的轨迹数据，其独立于世界模型的训练，其逻辑关系如图1所示。智能体以Actor-Critic算法驱动进行训练，如下式所示：
状态：st＝[zt，ht]
Critic：
Actor：at～πθ(at|st)
其中πθ为参数化的策略函数，Vψ为参数化的值函数，γ＝0.975为衰减系数，r为世界模型生成的环境奖励，rt+k代表第t+k时间步世界模型生成的环境奖励。表示对未来奖励和在策略πθ和世界模型pφ意义下的数学期望。
本发明中智能体具体的训练损失函数如下：
其中为λ返回：
其中归一化系数S定义如下，它是批处理中λ-回报的百分之5分位数和百分之95分位数的差值：
上述各式中sL为当前轨迹的最后一个状态，H(πθ(at|st))为策略的熵，lnπθ(at|st)为策略函数的自然对数。为值函数关于参数ψ的指数滑动平均：
在训练时同样采用Adam优化器，以梯度下降的方式进行优化。
综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于随机Transformer模型的有模型深度强化学习方法，其特征在于，包括如下步骤：
步骤1：在环境模型与智能体模型之间构建世界模型，智能体模型将每一时间步的智能体动作输入至世界模型，所述环境模型将观测的高维环境数据输入至所述世界模型；
所述世界模型包括变分自编码器、动作混合器、序列模型、动力学预测器、奖励预测器以及持续标志预测器；所述构建世界模型具体采用如下步骤：
利用变分自编码器将高维环境数据编码为低维隐空间上的随机变量，记为隐变量；其中高维环境数据指维数在1000维以上的环境数据，所述低维指维数或小于1000维；
所述动作混合器为第一多层感知机，用于将所述隐变量和智能体动作进行拼接操作得到状态向量；
所述序列模型为Transformer模型，以所述状态向量作为所述序列模型的输入，所述序列模型输出对应的含历史信息的语义状态；
所述动力学预测器为第二多层感知机，以所述语义状态作为输入，对下一时间步的先验概率分布进行预测，获得下一时间步的先验概率分布估计，并作为动力学预测器的输出；
所述奖励预测器为第三多层感知机，以所述语义状态作为输入，对当前时间步的环境奖励进行预测，获得当前时间步的环境奖励，并作为奖励预测器的输出；
所述持续标志预测器为第四多层感知机，以所述语义状态作为输入，对当前时间步的环境持续标志进行预测，获得当前时间步的环境持续标志，并作为持续标志预测器的输出；
步骤2：针对所述世界模型以端到端的方式进行自监督训练后，以自回归的方式生成预测的轨迹数据；
步骤3：基于步骤2生成的所述预测的轨迹数据，对所述智能体进行训练。
2.如权利要求1所述的基于随机Transformer模型的有模型深度强化学习方法，其特征在于，所述步骤一中，利用变分自编码器将高维环境数据编码为低维隐空间上的随机变量，具体采用如下步骤：
所述变分自编码器为分类分布的变分自编码器，包含编码器qφ和解码器pφ，其中编码器qφ的输入为高维的环境观察数据ot，编码器qφ的输出为低维隐空间上的随机变量其中/>是由n个分类分布组成的随机分布，其中每个分类分布包含m个类别，故其Logit及概率用n×m的矩阵来表示；
对进行随机采样，所述随机采样是指从/>中随机采样一个隐变量zt来表示原始观察ot，随机采样的隐变量zt作为解码器pφ的输入
解码器pφ执行与编码器qφ相反的操作后获得重建后的环境数据。
3.如权利要求1或2所述的基于随机Transformer模型的有模型深度强化学习方法，其特征在于，所述序列模型为Transformer模型，以所述状态向量作为所述序列模型的输入，所述序列模型输出对应的含历史信息的语义状态，具体包括如下步骤：
所述序列模型的输入为：编码后的隐变量zt和智能体动作at通过一个多层感知机mφ与拼接操作合成到一个状态et中；所述序列模型fφ以et序列作为输入；
所述序列模型fφ输出对应的含历史信息的语义状态ht；
所述序列模型为带后续掩码的Transformer结构，后续掩码只允许et和之前的信息e1,e2,...,et进行自注意力操作，即所述序列模型fφ的输出ht不包含未来的信息。
4.如权利要求1或2所述的基于随机Transformer模型的有模型深度强化学习方法，其特征在于，所述步骤2中，针对所述世界模型以端到端的方式进行自监督训练，具体为：使用Adam优化器以梯度下降的方式进行训练。
5.如权利要求1所述的基于随机Transformer模型的有模型深度强化学习方法，其特征在于，所述步骤3中，对所述智能体进行训练，具体为：在训练时同样采用Adam优化器，以梯度下降的方式进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311173801.3A CN117454965A (zh) | 2023-09-12 | 2023-09-12 | 基于随机Transformer模型的有模型深度强化学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311173801.3A CN117454965A (zh) | 2023-09-12 | 2023-09-12 | 基于随机Transformer模型的有模型深度强化学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117454965A true CN117454965A (zh) | 2024-01-26 |
Family
ID=89595496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311173801.3A Pending CN117454965A (zh) | 2023-09-12 | 2023-09-12 | 基于随机Transformer模型的有模型深度强化学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117454965A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953351A (zh) * | 2024-03-27 | 2024-04-30 | 之江实验室 | 一种基于模型强化学习的决策方法 |
| CN117975174A (zh) * | 2024-04-02 | 2024-05-03 | 西南石油大学 | 一种基于改进vqgan的三维数字岩心重构方法 |
| CN117975174B (zh) * | 2024-04-02 | 2024-06-04 | 西南石油大学 | 一种基于改进vqgan的三维数字岩心重构方法 |
-
2023
- 2023-09-12 CN CN202311173801.3A patent/CN117454965A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953351A (zh) * | 2024-03-27 | 2024-04-30 | 之江实验室 | 一种基于模型强化学习的决策方法 |
| CN117975174A (zh) * | 2024-04-02 | 2024-05-03 | 西南石油大学 | 一种基于改进vqgan的三维数字岩心重构方法 |
| CN117975174B (zh) * | 2024-04-02 | 2024-06-04 | 西南石油大学 | 一种基于改进vqgan的三维数字岩心重构方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zai et al. | Deep reinforcement learning in action | |
| Bengio et al. | Deep learning for AI | |
| Mathew et al. | Deep learning techniques: an overview | |
| Schuld et al. | Machine learning with quantum computers | |
| Zhang et al. | Toward the third generation artificial intelligence | |
| Janner et al. | Planning with diffusion for flexible behavior synthesis | |
| Situ et al. | Quantum generative adversarial network for generating discrete distribution | |
| Schuld et al. | Supervised learning with quantum computers | |
| Hu et al. | Gaia-1: A generative world model for autonomous driving | |
| Shao et al. | Tracing the evolution of AI in the past decade and forecasting the emerging trends | |
| Chauhan et al. | A brief review of hypernetworks in deep learning | |
| CN114860893B (zh) | 基于多模态数据融合与强化学习的智能决策方法及装置 | |
| CN117454965A (zh) | 基于随机Transformer模型的有模型深度强化学习方法 | |
| Zhang et al. | A review of soft computing based on deep learning | |
| Moirangthem et al. | Hierarchical and lateral multiple timescales gated recurrent units with pre-trained encoder for long text classification | |
| Fleuret | The little book of deep learning | |
| Wang et al. | Implementation of quantum stochastic walks for function approximation, two-dimensional data classification, and sequence classification | |
| Li et al. | Adaptive memory networks | |
| Julian | Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python | |
| Yuan et al. | Transformer in reinforcement learning for decision-making: A survey | |
| Kourouklides | Bayesian Deep Multi-Agent Multimodal Reinforcement Learning for Embedded Systems in Games, Natural Language Processing and Robotics | |
| Watanabe et al. | Learning State Transition Rules from High-Dimensional Time Series Data with Recurrent Temporal Gaussian-Bernoulli Restricted Boltzmann Machines | |
| Choi | Friendly Introduction to Deep Learning | |
| Du et al. | Deep learning for natural language processing | |
| Rawlinson et al. | Learning distant cause and effect using only local and immediate credit assignment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |