CN112886039B - 一种基于强化学习的压水堆堆芯自动控制方法 - Google Patents

一种基于强化学习的压水堆堆芯自动控制方法 Download PDF

Info

Publication number
CN112886039B
CN112886039B CN202110031428.2A CN202110031428A CN112886039B CN 112886039 B CN112886039 B CN 112886039B CN 202110031428 A CN202110031428 A CN 202110031428A CN 112886039 B CN112886039 B CN 112886039B
Authority
CN
China
Prior art keywords
reinforcement learning
pressurized water
water reactor
control
reactor core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110031428.2A
Other languages
English (en)
Other versions
CN112886039A (zh
Inventor
李秀
吕加飞
杨瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110031428.2A priority Critical patent/CN112886039B/zh
Publication of CN112886039A publication Critical patent/CN112886039A/zh
Application granted granted Critical
Publication of CN112886039B publication Critical patent/CN112886039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M8/00—Fuel cells; Manufacture thereof
    • H01M8/04—Auxiliary arrangements, e.g. for control of pressure or for circulation of fluids
    • H01M8/04298—Processes for controlling fuel cells or fuel cell systems
    • H01M8/04992—Processes for controlling fuel cells or fuel cell systems characterised by the implementation of mathematical or computational algorithms, e.g. feedback control loops, fuzzy logic, neural networks or artificial intelligence
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M8/00—Fuel cells; Manufacture thereof
    • H01M8/04—Auxiliary arrangements, e.g. for control of pressure or for circulation of fluids
    • H01M8/04298—Processes for controlling fuel cells or fuel cell systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M8/00—Fuel cells; Manufacture thereof
    • H01M8/04—Auxiliary arrangements, e.g. for control of pressure or for circulation of fluids
    • H01M8/04298—Processes for controlling fuel cells or fuel cell systems
    • H01M8/04313—Processes for controlling fuel cells or fuel cell systems characterised by the detection or assessment of variables; characterised by the detection or assessment of failure or abnormal function
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/30—Hydrogen technology
    • Y02E60/50—Fuel cells

Landscapes

  • Engineering & Computer Science (AREA)
  • General Chemical & Material Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Monitoring And Testing Of Nuclear Reactors (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)

Abstract

本发明公开了一种基于强化学习的压水堆堆芯自动控制方法，包括以下步骤：S1、获取参数控制目标；S2、在压水堆堆芯控制器中加入基于DQN的预先训练好的强化学习模块，然后将参数控制目标传递至强化学习模块；S3、通过强化学习模块获取实现参数控制目标的多个策略；S4、选择最优策略作为控制策略传递至控制器；S5、控制器基于控制策略控制压水堆堆芯的执行器执行相应动作；S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。本发明通过引入人工智能技术，提升了核电站运行的效率，完全不需要人的参与便可自动完成。

Description

一种基于强化学习的压水堆堆芯自动控制方法
技术领域
本发明涉及核反应堆自动控制方法领域，具体是一种基于强化学习的压水堆堆芯自动控制方法。
背景技术
典型的传统压水反应堆的一回路功率调节系统包括：发电机功率调节、冷却剂平均温度及控制棒位置调节、硼浓度调节、蒸汽旁通控制系统及闭锁系统。其中发电机功率调节及其所附属的汽轮机调节是外部调节，即不与反应堆堆芯交互或者作用而调节反应堆的功率(因为反应堆功率由一回路热量输出，进而蒸发冷凝水而推动汽轮机转动发电，因而反应堆的外在功率会因汽轮机的参数而不同)；蒸汽旁通控制系统用作功率调节系统的辅助，而闭锁系统则是为了防止控制棒提升过大而导致紧急停堆。冷却剂平均温度及控制棒位置调节与硼浓度调节是反应堆中最常见的通过直接与反应堆堆芯交互而调节堆芯功率的手段。
核电站发电需要反应堆堆芯能够持续释放出裂变能以转化为热能并最终转化为电能；而这一切的前提条件是堆芯需要超临界，也就是需要保证产生的中子数多于损失的中子(即实现中子的链式自持)。反应堆是否临界通常用反应性ρ＞1表示，若ρ＜1，则次临界；若ρ＝1，则反应堆临界；若ρ＞1，则超临界。而反应性是冷却剂温度、慢化剂温度(慢化剂用于慢化中子速度)等物理量的函数。硼会增强慢化剂对中子的寄生吸收，会对慢化剂温度系数造成影响；而控制棒调节则会引入外来反应性，因此冷却剂平均温度调控、控制棒位置调控、硼浓度调节对堆芯功率有直接影响。
目前已有一些用于核反应堆堆芯控制的系统和方法，如公开号为CN106340331B的中国专利：一种用于核反应堆功率的自抗扰控制方法，其公开了用于核反应堆功率的自抗扰控制方法，目的在于针对目前核反应堆对象没有既简单又能取得良好控制效果的控制器，提出将自抗扰控制器应用于核反应堆功率控制中的方法。通过推导将原有模型转化为适合设计自抗扰控制器的非线性模型；并且充分利用模型信息，减轻ESO的负担；还利用系统输出y可测的特点，设计基于RESO的自抗扰控制器；最后通过简单调整带宽、就能容易的得出控制器参数，此控制系统相比预测控制、模糊控制等先进控制算法结构简单，但是有更好的控制效果。
公开号为CN101840737B的中国专利：一种数字化棒位控制系统及其控制方法，系统包括：堆芯控制单元，其根据主控制室发送的控制棒控制命令输出相应的棒位运行指令；棒控驱动单元，其接受所述棒位运行指令并依据其控制控制棒驱动机构中钩爪的动作序列，从而实现控制棒沿轴向的相应移动；棒位处理及指示单元，其测量控制棒的实际棒位信息，并将所述实际棒位信息经整形、编码后送至棒位处理柜和主控制室里的棒位显示设备；同时，将所述实测棒位信息与所述棒位运行指令进行比较，当控制棒滑步、失步或偶然落棒超过预定阈值时发送故障报警信号。该专利还公开了一种数字化棒位控制方法。该专利实现了核电站中反应堆功率和温度的数字化控制，提高了棒位控制系统的可靠性和安全性。
但上述现有技术专利存在以下不足：
(1)现有的堆芯功率控制系统都是通过逻辑控制来完成对功率的控制，此类系统自动化水平不足、智能化水平则严重缺乏。
(2)现有的堆芯功率控制技术往往需要操作员的人为干预，并且在一定程度上依赖操作员的经验，这会在无形之中给操作员带来压力。
(3)传统功率控制系统感知能力及预防事故能力很差，如果发生某种突发情形往往需要经过操作员的判断及既定规程执行相应的动作，这造成了核电站的操作运行效率比较低下。
可见，现有的核电站堆芯功率控制系统几乎都是依赖于传统自动控制理论搭建的，尽管在实践中得到了很好地效果，但是其系统本身的智能化水平严重不足，只能基于固定的规程执行相应的动作，执行的效率相对较高但是也缺少了对堆芯环境的探索，同时也没有考虑到操作员的需求。因此压水反应堆功率控制系统亟需改进。
发明内容
本发明的目的是提供一种基于强化学习的压水堆堆芯自动控制方法，以解决现有技术核反应堆控制方法依赖于自动控制理论的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种基于强化学习的压水堆堆芯自动控制方法，包括以下步骤：
S1、获取需要实现的参数控制目标。
步骤S1中，根据设定的压水堆堆芯工作要求，由操作人员人工向控制器输入参数控制目标。
S2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块。
步骤S2中，所述专家数据由以往压水堆堆芯控制过程中，操作员手动操控控制实现对应参数控制目标时得到的动作轨迹及参数轨迹构成。
步骤S2中，所述强化学习模块在自身监督学习框架下，基于专家数据学习对压水堆堆芯控制以实现专家数据对应的参数控制目标。
S3、通过强化学习模块获取实现参数控制目标的多个策略。
步骤S3中，使强化学习模块运行于虚拟仿真环境中，从而得到多个策略。
S4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器。
步骤S4中，从多个策略中选择耗费时间最短且代价最小时实现参数控制目标的策略作为最优策略。
S5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹。
S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。
步骤S6中，控制器将物理量传递至强化学习模块的经验回放池，所述强化学习模块基于经验回放池内部分数据进行自我训练。
步骤S6中，控制器将控制策略、动作和参数轨迹加入专家数据中，以对训练集进行更新。
本发明通过在压水堆堆芯功率控制系统中引入强化学习算法，增加控制系统的智能化水平及感知能力，并进一步减少操作员的控制干预，可以辅助操作员以减轻操作员的工作压力；
本发明通过强化学习算法实现对堆芯功率在给定精度要求下的自动调节，给出某功率状态下最佳的控制策略，增加功率控制的鲁棒性，同时也可以保障控制过程的安全性。
本发明实现了压水堆堆芯功率的自动调节，进一步减小了操作员干预程度，同时也极大减轻了操作员的工作压力；
因此，与现有技术相比，本发明的优点为：
(1)本发明通过引入人工智能技术，改进了传统压水反应堆一回路功率控制系统，使其智能化、自动化水平更高，极大减小了电站运行时操作员的干预，同时也减小了操作员的工作压力，提升了核电站运行的效率；
(2)本发明通过强化学习算法可以找到调节功率的最优策略，进而将该策略输入给执行器，可以实现对反应堆堆芯功率的自动调节，这个过程完全不需要人的参与便可自动完成。
(3)本发明引入的技术使得传统压水堆控制系统具备了数据感知及大规模数据处理的能力，是对传统技术的一次革新。
附图说明
图1是本发明方法流程框图。
图2是本发明实施例中DQN算法原理示意图。
图3是本发明实施例中用于压水堆堆芯时的控制原理示意图。
图4是本发明实施例中在线测试的过程中压水堆堆芯功率的变化情况曲线图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种基于强化学习的压水堆堆芯自动控制方法包括以下步骤：
S1、获取需要实现的参数控制目标；
S2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块；
S3、通过强化学习模块获取实现参数控制目标的多个策略；
S4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器；
S5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹；
S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。
本发明中强化学习模块可实现强化学习与深度强化学习，其中：
强化学习通常可以表示为马尔可夫决策过程(MDP)，MDP包含了五元组(S，A，R，P，γ)，其中S代表状态空间，A代表动作空间，R代表奖励函数，P代表状态转移概率矩阵，γ代表折扣因子。智能体每个时刻观测到状态st，根据状态执行动作at，环境接收到动作后转移到下一个状态st+1并反馈奖励rt，强化学习优化的目标是最大化累积奖励值
Figure BDA0002892334570000051
智能体根据策略π(at|st)选择动作，动作值函数Q(st，at)代表在状态st执行动作at后的期望累积奖励，
Figure BDA0002892334570000052
深度强化学习通过将神经网咯引入传统强化学习，给智能体带来了强大的感知能力。其中较为典型的是DQN方法(Deep Q Network)。强化学习中的Q-learning方法通过创建一个包含所有状态和动作的表格并通过贪心算法不断更新动作值函数Q以在状态、动作空间中找到最优的策略。而对于现实中的很多问题，状态空间、动作空间往往是非常巨大的(比如说围棋游戏，若将每个时刻的棋盘图像作为一个状态，则其空间会非常巨大)，单纯使用创建表格的形式无法完全描述这样的问题，因此学者考虑通过使用神经网络去逼近Q值。DQN方法在很多强化学习环境中取得了传统方法无法逾越的表现，其损失函数采用：
Lloss＝∑(yj-Q(φj，aj；θ))2 (1)，
上式中φj是j次迭代时的智能体状态，aj是动作值，θ是网络参数。
公式(1)中，yj＝rj+γmaxa′Q(φj+1，a′；θ)。DQN同时引入了经验回放池(replaybuffer)和经验优先回放方法。使用这样的方法的动机在于：通过经验回放池存储智能体之前和环境交互产生的转移样本，并通过经验优先回放方法采样样本可以消除消除数据间的关联性及非平稳分布，保证结果的收敛。经验有效回放方法则保证每次智能体采样的时候可以采样到较好的转移样本，进而加速了训练过程。
本发明所涉及的压水堆热工方程，可考虑缓发中子先驱核份额并从单群扩散方程出发，推导得到六组缓发中子的反应堆时空动力学方程：
Figure BDA0002892334570000061
公式(2)中，v是中子速度，φ是中子通量密度，D是扩散系数，∑a是中子吸收截面，k∞是无穷介质增殖系数，Ci(t)是缓发中子先驱核浓度，βi是缓发中子份额，λi是缓发中子衰变常数。
这个方程组公式(2)描述反应堆瞬态过程中中子通量密度随着时间、空间的演化情况，通过求解这个方程，可以得到任一时刻下反应堆的关键参数。通过外在手段或者反应堆内部毒物使得堆内反应性发生变化时，会直接导致中子通量密度的改变，进而最终影响反应堆的功率。
如果忽略空间效应，上述公式(2)可以写成
Figure BDA0002892334570000062
公式(3)是一个相互耦合的一阶线性微分方程组(共7个方程)，通过解这个方程，可以得到反应堆的动态特性即相应的中子变化规律。其中n(t)是中子数，Λ是中子代时间。
如图2所示，本发明所述的DQN中，引入经验回放池存储转移样本并在之后通过小批量采样的方式选出部分样本进行训练，这样做可以将样本之间的相关性进行解耦。智能体与环境交互产生的转移样本会被存储到经验回放池中，之后智能体会从经验回放池中采样以训练网络，targetnet的网络参数会定期和current net进行同步。本发明的强化学习模块就是基于上述DQN算法构建的。
本发明基于强化学习的压水堆堆芯自动控制方法详细说明如下：
如图3所示，为本发明用于压水堆堆芯时的控制原理示意图。本发明将强化学习框架融入到压水堆堆芯控制系统中。强化学习模块接收到用户的控制任务信号后，从反应堆中接受到一个初始的信息(例如功率、中子数、冷却剂温度、控制棒位置等)并传递给已经使用以往的专家数据预先训练好到了的基于DQN的强化学习模块。这里专家数据指的是以往压水堆堆芯控制过程中操作员手动操控控制系统得到的动作轨迹及参数(例如功率)轨迹。通过对专家数据的学习，可以让智能体在监督学习框架下学习到在数据集包含的情形下如何对堆芯环境进行控制以使得功率可以达到要求。可以用循环网络对这个问题进行建模，输入是功率轨迹，相应标签为动作输出。记真实动作为y，预测动作为
Figure BDA0002892334570000072
监督学习的损失函数仍然采用均方误差
Figure BDA0002892334570000071
之后强化学习模块可以根据控制目标在虚拟仿真环境中自动对堆芯功率进行调整，选择虚拟环境中测试的最优策略(最短时间内花费最小的代价到达目标功率即为最优策略)作为最终用户目标的一个控制策略输出给执行器执行，在执行过程中每次执行动作后堆内的物理量更新都会重新传入强化学习模块用于DQN的控制学习。同时控制成功的动作及参数轨迹会加入至专家数据实现更新训练集。
本发明只需要操作员给强化学习模块控制指令即可(比如说保持功率平稳、降功率、升功率等)，之后便可以自动对功率进行调控而完全不需要操作员人为手动干预，因此实现了很大程度上的智能化与自动化。同时，本发明可以在N个近似策略中找到最优的、最接近于最优策略的策略并将以实施，保证了功率控制的鲁棒性。因为不需要操作员的干预并且可以在某种程度上保证控制目标一定可以完成，因此本发明可以极大减轻操作员的工作压力，也因此可以提升核电站整体的运行效率。
需要指出的是，本发明并不能真正意义上取代操作员的控制，但是本发明可以在一定程度上保证操作的安全性，原因在于：
(1)本发明的控制算法利用过去的成功经验训练，可以学习到过去的经验及控制思路；
(2)本发明采用策略评判器甄选策略，并采用代价最小、速度最快的策略，这些策略都在虚拟仿真环境中经过测试，安全性某种程度上可以得到保障。
为了验证本发明的合理性及有效性，同时考虑到现有的很多反应堆虚拟机不提供外来控制算法接口，本发明基于公式(2)构筑了简单的压水反应堆环境，考虑反应堆毒物I，Xe。现在考虑功率控制任务为降负荷控制。这在实际中是经常见到的一个控制任务，例如在用电低峰期，核电站需要将电站的输出功率下降以适配电网需求，这就需要降低堆芯的功率。在这里为了简便，设定任务为将功率从满功率(100％)降到半功率(50％)，将强化学习方法控制下的堆芯功率变化和传统的PID控制进行对比，其中PID是经典的比例积分微分控制器，DQN(no prioritized replay)指不用经验优先回放的DQN算法，DQN(prioritizedreplay)指使用经验优先回放的DQN算法，其结果如表1所示。
表1本发明方法与经典方法在简易压水堆堆芯环境下功率控制性能对比
算法 达到目标所用步数 是否有超过超调量
PID >1000 是
DQN(no prioritized replay) 491 否
DQN(prioritized replay) 251 否
表1中是否有超过超调量指的是控制过程中是否存在堆芯功率超过阈值的情况。可以发现本发明的方法明显优于传统的PID控制，尤其是带有经验优先回放技术的DQN算法，能够又快又好地到达目标。如图4所示，图4给出了在线测试的过程中压水堆堆芯功率的变化情况，可以发现功率以一种非常平稳的趋势快速达到了目标。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (8)

1.一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，包括以下步骤：
S1、获取需要实现的参数控制目标；
S2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块；
S3、通过强化学习模块获取实现参数控制目标的多个策略；
S4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器；
S5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹；
S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。
2.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S1中，根据设定的压水堆堆芯工作要求，由操作人员人工向控制器输入参数控制目标。
3.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S2中，所述专家数据由以往压水堆堆芯控制过程中，操作员手动操控控制实现对应参数控制目标时得到的动作轨迹及参数轨迹构成。
4.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S2中，所述强化学习模块在自身监督学习框架下，基于专家数据学习对压水堆堆芯控制以实现专家数据对应的参数控制目标。
5.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S3中，使强化学习模块运行于虚拟仿真环境中，从而得到多个策略。
6.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S4中，从多个策略中选择耗费时间最短且代价最小时实现参数控制目标的策略作为最优策略。
7.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S6中，控制器将物理量传递至强化学习模块的经验回放池，所述强化学习模块基于经验回放池内部分数据进行自我训练。
8.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S6中，控制器将控制策略、动作和参数轨迹加入专家数据中，以对训练集进行更新。
CN202110031428.2A 2021-01-11 2021-01-11 一种基于强化学习的压水堆堆芯自动控制方法 Active CN112886039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110031428.2A CN112886039B (zh) 2021-01-11 2021-01-11 一种基于强化学习的压水堆堆芯自动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110031428.2A CN112886039B (zh) 2021-01-11 2021-01-11 一种基于强化学习的压水堆堆芯自动控制方法

Publications (2)

Publication Number Publication Date
CN112886039A CN112886039A (zh) 2021-06-01
CN112886039B true CN112886039B (zh) 2021-11-23

Family

ID=76047784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110031428.2A Active CN112886039B (zh) 2021-01-11 2021-01-11 一种基于强化学习的压水堆堆芯自动控制方法

Country Status (1)

Country Link
CN (1) CN112886039B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485107B (zh) * 2021-07-05 2023-08-22 清华大学深圳国际研究生院 基于一致性约束建模的强化学习机器人控制方法及系统
CN114675538A (zh) * 2022-03-29 2022-06-28 中广核研究院有限公司 核反应堆的自主控制方法、装置和计算机设备
CN114880942B (zh) * 2022-05-23 2024-03-12 西安交通大学 一种核反应堆功率和轴向功率分布强化学习解耦控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026683A (ja) * 2005-07-12 2007-02-01 Japan Steel Works Ltd:The 燃料電池システム
CN104102782A (zh) * 2014-07-18 2014-10-15 上海电力学院 压水堆核电站反应堆温度rbf神经网络控制方法
CN105759611A (zh) * 2016-02-29 2016-07-13 华南理工大学 基于遗传算法的压水堆核电站堆芯功率模型预测控制方法
CN111294595A (zh) * 2020-02-04 2020-06-16 清华大学深圳国际研究生院 一种基于深度强化学习的视频编码帧内码率控制方法
CN111584906A (zh) * 2020-04-29 2020-08-25 南京航空航天大学 一种基于深度强化学习的燃料电池系统的燃料供给方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026683A (ja) * 2005-07-12 2007-02-01 Japan Steel Works Ltd:The 燃料電池システム
CN104102782A (zh) * 2014-07-18 2014-10-15 上海电力学院 压水堆核电站反应堆温度rbf神经网络控制方法
CN105759611A (zh) * 2016-02-29 2016-07-13 华南理工大学 基于遗传算法的压水堆核电站堆芯功率模型预测控制方法
CN111294595A (zh) * 2020-02-04 2020-06-16 清华大学深圳国际研究生院 一种基于深度强化学习的视频编码帧内码率控制方法
CN111584906A (zh) * 2020-04-29 2020-08-25 南京航空航天大学 一种基于深度强化学习的燃料电池系统的燃料供给方法

Also Published As

Publication number Publication date
CN112886039A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112886039B (zh) 一种基于强化学习的压水堆堆芯自动控制方法
Park et al. Control automation in the heat-up mode of a nuclear power plant using reinforcement learning
CN103576553B (zh) 一种燃煤锅炉蒸汽温度的分数阶自整定控制方法
CN111555297B (zh) 一种具有三态能源单元的统一时间尺度电压控制方法
CN111637444B (zh) 一种基于q学习的核电蒸汽发生器水位控制方法
Subramanian et al. Exploring grid topology reconfiguration using a simple deep reinforcement learning approach
CN111290282B (zh) 火电机组协调系统的预见式预测控制方法
Felici et al. Real-time model-based plasma state estimation, monitoring and integrated control in TCV, ASDEX-Upgrade and ITER
CN116154788A (zh) 一种电压控制方法、装置、终端设备及存储介质
CN112230548B (zh) 一种核动力装置自主控制系统
Saeed et al. Autonomous control model for emergency operation of small modular reactor
CN113848711A (zh) 一种基于安全模型强化学习的数据中心制冷控制算法
US20230344242A1 (en) Method for automatic adjustment of power grid operation mode base on reinforcement learning
CN116719286A (zh) 一种基于强化学习的超超临界机组协调控制系统自抗扰控制器参数智能在线优化方法
CN117270520A (zh) 一种巡检路线优化方法及装置
CN116995645A (zh) 基于保护机制强化学习的电力系统安全约束经济调度方法
Decortis Operator strategies in a dynamic environment in relation to an operator model
Kim et al. Framework of two-level operation module for autonomous system of nuclear power plants during startup and shutdown operation
CN115441475A (zh) 一种电网输电线路功率紧急控制方法
Kim et al. Framework to develop artificial intelligent autonomous operating system for nuclear power plants
CN116245334B (zh) 一种基于深度强化学习的电力系统风险感知实时调度方法
Sun et al. Control of small pressurized water reactors under single-loop operation based on MFAPC theory
Bougie et al. Data-Efficient Reinforcement Learning from Controller Guidance with Integrated Self-Supervision for Process Control
CN113555141B (zh) 一种核电站的智能监控方法及系统、智能监控服务器
Wang et al. Optimization of control rod travel for a small pressurized water reactor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant