CN112947174B - 一种可拓展多微波源协同输出的智能微波反应器系统 - Google Patents

Abstract

本发明涉及可拓展多微波源协同输出的智能微波反应器系统，多个功率控制模块、采样模块和通信模块都挂载在CAN总线上，各种反馈、控制参数都广播在总线上，按照应用CAN通信协议的设置，需要数据的节点能自行读取并使用。各功率控制模块在获取到总线上广播的反馈参数值后，能各自独立做出控制响应，输出响应的控制参数，且这些控制参数也将同时影响其他功率控制模块；PC在接收到经过通信模块转换的多种反馈参数值后，运用强化学习算法运算出最优控制策略，并通过通信模块以高优先级介入控制。且在以后的每一次加热中不断学习，优化控制策略。通过分级递阶控制结构来优化微波反应器系统的各微波源输出功率，达到整体均匀高效加热的目的。

Description

一种可拓展多微波源协同输出的智能微波反应器系统

技术领域

本发明涉及一种可拓展多微波源协同输出的智能微波反应器系统，属于微波加热技术领域。

背景技术

微波加热作为一种高效清洁的加热手段，已经在冶金，化工，药品食品等方面有了广泛运用。在工业运用领域，大功率微波反应器系统往往是由数个甚至数百个磁控管作为微波源构成微波源阵列来提供所需功率。而这些磁控管往往是集中控制的，控制的核心一般是造价高昂的PLC，而且PLC难以满足复杂的算力需求。在这种情况下不能针对单个磁控管进行连续的、精确的功率调节，并且可拓展性较差(不能随意增减微波源个数)。在微波加热领域，存在如何设计控制算法充分控制大功率微波反应器系统中的各个微波源，并行之有效地实现对各种物料均匀加热的问题；也就是说，如何开发出一种通用性好、拓展性强的微波加热系统。亟待出现一种能有效解决上述问题的微波反应器系统。

发明内容

本发明提供了一种可拓展多微波源协同输出的智能微波反应器系统，该系统使用分级递阶的网络化结构；能够针对单个磁控管进行连续精准的功率调节；微波源数量易于扩展；扩展后的多微波源队列易于协同；能够使用先进的控制算法实现对各种物料加热的优化控制；设备紧凑，占地空间小，并且成本较低。

为实现上述目的，本发明的技术方案如下：

一种可拓展多微波源协同输出的智能微波反应器系统，包括用于实现基于强化学习的控制策略的PC模块1、用于给磁控管13供电的磁控管电源模块7、与各个磁控管电源连接用于直接精准调节磁控管功率的功率控制模块5、用于沟通功率控制模块5与PC模块1的通信模块3、以及用作参数反馈的采样模块10。

作为本发明的进一步方案，每个所述磁控管电源模块7都有与其对应的一个功率控制模块5，它们通过功率控制信号线6连接在一起，而功率控制模块5通过CAN总线4联结在一起，所述通信模块3也挂载在CAN总线4上，并通过USB2与PC模块1连接，所述采样模块10一端挂载在CAN总线4上，另一端与插入微波反应器12中的温度传感器组11通过温度反馈信号线8相连，并让各磁控管电源输出的供电线9穿过采样模块10中的互感器。同时采样模块10还使用电压和电流互感器采样磁控管电源模块的输出功率。

作为本发明的进一步方案，所述PC模块1即为在电脑上设计的一个上位机控制软件，其中包含窗口化的人机交互控制界面以及后台用于运算控制策略的强化学习算法。

作为本发明的进一步方案，所述采样模块10包括温度采样单元19、功率采样单元18和控制器20；温度采样单元19与腔体中的温度传感器组11相连；功率采样单元18又分为多个子单元，每个子单元都由一对电压电流互感器组成，每个磁控管电源输出的磁控管供电线9穿过其对应的功率采样子单元，由互感器采样，控制器20读取温度和功率的采样数据再广播到CAN总线4上，并由相应的功率控制模块获取这些采样数据。

作为本发明的进一步方案，所述强化学习算法采用Q-学习算法，用如式(1)所示的离散化指标作为状态表征：

设系统中有m组微波源，离散地，将微波源的功率划分为k个功率档，则整个系统中将会有

种行为，由状态和行为来构建奖励矩阵R，并在迭代运算过程中根据奖励矩阵更新Q值矩阵，最后由Q值矩阵推断出一个最优控制策略，并在每一次加热过程中不断学习并优化控制策略。

进一步地，所述功率控制模块是以STM32F4作为主控的控制模块，其功能是对磁控管电源进行控制。

进一步地，所述磁控管电源模块是给磁控管供电的电路总和，包含IGBT驱动，软开关电路，变压器，整流器等部分。在功率控制模块的配合下能够连续地、精确地控制磁控管的功率。

进一步地，所述通信模块也是以STM32F4作为主控，它是功率控制模块群和PC之间的连接媒介，负责收集所有信息并进行传输。

进一步地，按照以上所述系统结构，当需要拓展微波源的时候，只需配套的将功率控制模块挂载到CAN总线上，并连接相应的磁控管电源和磁控管就能完成微波源的拓展。减少亦然。

所述通信模块3也挂载在CAN总线4上，同时使用USB实现功率控制模块5与PC模块1的通信。

根据设计的CAN应用协议，可以在多个微波源之间构成不同的通信拓扑结构，实现微波源间的相互协同。

本发明公开的一种可拓展多微波源协同输出的智能微波反应器系统，能够较为方便地增减微波源数量；各功率控制模块在获取到总线上广播的反馈参数值后，能各自独立做出控制响应，输出响应的控制参数，并且这些控制参数也将同时影响其他的功率控制模块，易于实现多微波源队列协同；PC在接收到经过通信模块转换的多种反馈参数值后，运用强化学习算法运算出控制策略，并通过通信模块以高优先级介入控制。并且在以后的每一次加热中不断学习，优化控制策略。通过此种分级递阶的网络化结构来优化微波反应器系统的各微波源功率，达到整体均匀高效加热的目的。

本发明的有益效果是：

1、本发明能使得大功率微波反应器的微波源数量可拓展；

2、本发明易于实现多微波源队列协同；

3、本发明使用强化学习算法，能在每一次加热过程中不断学习并优化控制策略；

4、本发明使用分级递阶的网络化结构优化微波反应器系统的各微波源功率，可以使得整体加热过程更加均匀高效；

5、本发明的系统结构不仅可用于大功率微波反应器系统，也适用于其他多体协同控制的情况，泛用性高。

附图说明

图1为本发明的系统结构示意图；

图2为本发明中磁控管电源模块结构示意图；

图3为本发明中采样模块结构示意图；

图4为本发明的系统结构框图；

图5为本发明的通信拓扑结构图；

图6为本发明中树状的多微波源拓展结构图。

图1中各标号含义：1-PC模块；2-USB；3-通信模块；4-CAN总线；5-功率控制模块；6-功率控制信号线；7-磁控管电源模块；8-温度反馈信号线；9-供电线；10-采样模块；11-温度传感器组；12-微波反应器；13-磁控管。

图2中各标号含义：14-整流器；15-变压器；16-软开关电路；17-IGBT驱动。

图3中各标号含义：4-CAN总线；18-功率采样单元；19-温度采样单元；20-控制器。

图5(b)中的每一个节点代表一个功率控制模块。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本实施例中仅以使用四组微波源(磁控管+磁控管电源模块+功率控制模块)的结构来对实施方式进行阐述。在实际运用中，可根据需求对微波源数量进行拓展。

本发明公开的一种可拓展多微波源协同输出的智能微波反应器系统，如图1所示，包括用于实现基于强化学习的控制策略的PC模块1、用于给磁控管13供电的磁控管电源模块7、与各个磁控管电源7连接用于直接精准调节磁控管功率的功率控制模块5、用于沟通功率控制模块与PC模块1的通信模块3、以及用作参数反馈的采样模块10。其中，每个所述磁控管电源模块都有与其对应的一个功率控制模块5，它们通过功率控制信号线6连接在一起，而这些功率控制模块5通过CAN总线4联结在一起。如图1所示，所述通信模块3也挂载在CAN总线4上，并通过USB2与PC模块1连接。所述采样模块10一端挂载在CAN总线4上，另一端与插入微波反应器12中的温度传感器组11通过温度反馈信号线8相连，并让各磁控管电源输出的供电线9穿过采样模块10中的互感器。

进一步地，所述PC模块1即为在电脑上设计的一个上位机控制软件，其中包含窗口化的人机交互控制界面以及后台用于运算控制策略的强化学习算法。进一步地，功率控制模块5是对磁控管电源模块7的控制。

进一步地，磁控管电源模块7是给磁控管供电的电路总和，如图2所示，包含IGBT驱动17，软开关电路16，变压器15，整流器14等部分。在功率控制模块5的配合下能够连续地、精确地控制磁控管13的功率。

进一步地，通信模块3是功率控制模块群5和PC模块1之间的连接媒介，负责收集所有信息并进行传输。

进一步地，如图3所示，所述采样模块分三部分，温度采样单元19、功率采样单元18和控制器20。温度采样单元19与腔体中的温度传感器组11相连；功率采样单元18又分为多个子单元，每个子单元都由一对电压电流互感器组成，每个磁控管电源输出的磁控管供电线9穿过其对应的功率采样子单元，由互感器采样。控制器20读取这些温度和功率的采样数据再广播到CAN总线4上，并由相应的功率控制模块获取这些采样数据。

作为本发明的进一步方案，所述强化学习算法采用Q-学习算法，用如式(1)所示的离散化指标作为状态表征：

设系统中有m组微波源，离散地，将微波源的功率划分为k个功率档，则整个系统中将会有

种行为，由状态和行为来构建奖励矩阵R，并在迭代运算过程中根据奖励矩阵更新Q值矩阵，最后由Q值矩阵推断出一个最优控制策略，并在每一次加热过程中不断学习并优化控制策略。

进一步地，按照以上所述系统结构(结构框图如图4所示)，当需要拓展微波源的时候，只需配套的将功率控制模块挂载到CAN总线4上，并连接相应的磁控管电源和磁控管就能完成微波源的拓展。减少亦然。

一种基于以上设备的微波整体均匀加热方法，包括以下步骤：

Step1、在PC的上位机控制软件中配置设置(微波源个数、预设参数等)，启动；

Step2、待各模块完成自我检查确认无误后，采样模块进行初始值采样并广播到CAN总线上。通信模块获取PC(上位机)的预设参数并读取当前采样温度(由多个温度传感器分布在被加热物料不同位置采样得到的一组温度数据)，将预设参数与温度数据编码打包广播到CAN总线上。各功率控制模块获取这些参数，运算输出功率控制信号，正式进入加热过程。

Step3、加热过程中，通讯模块会按一定的时间间隔在CAN总线上发送远程帧，要求采样模块对各磁控管的功率和温度进行采样，对数据编码打包并广播到CAN总线上。并且，也会同时接收上位机发来的控制数据，并发送到CAN总线上，让功率控制模块接收并执行。

Step4、考虑CAN基本通信协议的性质，设置了相应ID过滤的功率模块和通信模块都可以从总线上读取到这些功率和温度数据。功率模块将这些数据作为运算输出的参考参数之一；通信模块在收集完所有四组功率参数后，将功率参数和温度数据打包，通过USB发给PC的上位机控制程序。

进一步地，Step4中所述的ID过滤是由CAN应用协议来规定的。CAN应用协议是在CAN基础协议上提出的，针对本微波加热系统来定制的。应用协议里规定了拥有不同ID的CAN帧代表的功能，以及这些帧由哪些节点接收。根据CAN应用协议设计的不同，CAN总线上挂载的各功率控制模块能够按照不同的通信组合方式形成不同的通信拓扑结构，如图5所示：两种不同的拓扑结构(普通的网状拓扑结构(图5(a))和带层级的网状拓扑结构(图5(b))，图5(b)中的每一个节点代表一个功率控制模块)，不同的拓扑结构可以为以后的分布式控制算法研究打下基础。应当明确，按照CAN基本通信协议，使用1Mbps比特率的CAN总线，总线上的节点不应超过32个，也就是扣除通信与采样模块，CAN上挂载的微波源最多应为30个。若还需更多的微波源，在不影响CAN实时通信负载情况下，可以考虑将多个子通信模块挂载到另一根二号CAN总线上(这些子通信模块的一号CAN总线上挂载有数个微波源)，再通过一个挂载在二号CAN总线上的总通信模块使用USB与PC通信。由此构成更复杂的拓展结构，如图6所示。

Step5、PC中的上位机控制程序在收到数据包后，解码数据并放到强化学习算法中进行处理。强化学习是对初始样本数量需求相对较小的机器学习方法，样本在学习过程中逐渐迭代产生。具体说来，是采用Q-学习算法。

进一步地，对Step5中的Q-学习算法做详细表述。Q-学习算法是一种免模型的异策略学习算法。微波加热的过程中，环境中的状态，环境的转移率，奖赏函数(状态转移带来的奖赏)很难得知，所以需要使用一种不依赖环境建模的学习算法。在免模型情况下，无法对动作-状态做全概率展开，策略无法评估。所以需要在环境中执行选择的动作，来观察转移的状态和得知的奖赏，并由此来更新Q函数(价值函数)。所谓异策略是指用于评估和被改进的策略是不同的策略，即被改进的是目标策略，用于评估的是使用ε-贪心法产生的具有随机性的行为策略。

更进一步地，对整个学习过程做步骤化描述(其中，大写字母表示一个集合或者泛指对象，小写字母表示确定的对象。如：大写S表示状态的集合或者泛指的状态，小写s表示一个确切的状态。)：

Step5.1、设置算法参数：学习参数(更新步长)α∈[0,1]，贪心参数ε∈[0,1]，折扣因子γ∈[0,1]。

Step5.2、初始化值函数矩阵Q(S,A)

(其中除Q(最终状态,·)外，

a∈A(s)，Q(s,a)＝0)。

Step5.3、开始一个回合，选取当前回合的起始状态S。

Step5.4、从当前起始状态S的动作空间中使用ε-贪心法(选择某状态下当前最优动作的概率为ε，选择其他动作的概率为1-ε)选取一个动作A，即构造一个随机的行动策略。

Step5.5、执行动作A，观察获得其对应的R和S′(其中S′为执行动作后的下一个状态，R为执行动作的即时奖励)。

Step5.6、使用Q(S,A)←Q(S,A)+α[R+γmax_aQ(S′,a)-Q(S,A)]，更新Q函数。

Step5.7、更新状态，S←S′。

Step5.8、S是否已经达到最终状态，没有则转到Step5.4；否则此回合结束。

Step5.9、开始下一回合，转到Step5.3。

随后结合本系统对上述算法做更进一步的解释。

Q学习主要针对离散过程，对此，需要对微波加热过程中的各种状态及行为作离散化处理。应当明确，根据想要达到的控制效果(如：温度均匀，加热曲线，加热效率，功率分配等等)不同，状态、行为及奖励的设置也会不同。如此处主要考虑加热过程中的温度均匀性问题，故状态将由温度的均匀程度来表征。如前所述，系统中有n个温度传感器，于是我们用如式(1)所示的离散化指标作为状态表征。

如：若maxJ＝100(按照被加热式样的材质、形状等因素的不同，maxJ也必然不同，需要按照经验值设置或者提前进行一次测量估计)则可以按照每10单位为一个阶段，划分为十个阶段，并以此作为状态，即S＝[s₁ … s₁₀]^T(其中J越小则越接近目标状态，所以最终状态s₁₀是J处于[0,10)对应的状态，以此类推)。应当明确，此处划分得越精细，状态则越多，理论上最后控制效果也越精准，但计算复杂度也会增加。

状态确定后就要确定使状态发生的动作。一般地，设系统中有m组微波源(磁控管+磁控管电源+功率控制模块)，离散地，将微波源的功率划分为k个功率档，则整个系统中将会有

种行为。前述实施例中以4个微波源为例，为简洁起见，此处功率档以极限状态来划分为两个档位，即0和1，也就是同一时刻，同一磁控管只有两种行为：关断或者满功率输出。综上，于是一共有

种行为，即有R＝[r₁ … r₁₆]^T。应当明确，此处功率划分得越精细，行为则越多，理论上最后控制效果也越精准，但计算复杂度也会增加。

根据状态和行为构建如式(2)所示的奖励矩阵

其中x为表示状态的编号，y为表示行为的编号，如r(x,y)就是在状态s_x执行动作a_y的即时奖励R。其中数值，需要按照目标要求进行设置与调整，具体方法为：若状态从s_i到s_j,(i<j)，即状态向着更均匀方向转移，则奖励值为正，且i,j之间差值越大，奖励值越大；反之则奖励值为负，越小。然后在随机选择动作后，观察转移到的状态，即有了s_i(起始状态)和s_j(下一状态)，由此可得到r(x,y)。如算法Step5.5中所述，在迭代过程中，就由此方法来获取即时奖励带入Step5.6运算，用来更新Q(S,A)。

将Step5.6中不停迭代更新的Q(S,A)构构建如式(3)所示的Q值矩阵

其中x为表示状态的编号，y为表示行为的编号，如Q(x,y)就是在状态s_x执行动作a_y的Q值。在进行多回合循环迭代后，最后得到一个Q值矩阵。用这个矩阵作为指导，每一步挑出一个使Q值最大的步骤，就能输出一个最优策略。

Step6保存此次的所有数据以及策略，完成一次加热过程。输出的最优控制策略作为下一次加热的原始控制策略等待下一次执行。

本发明公开的一种可拓展多微波源协同输出的智能微波反应器系统，能够较为方便地增减微波源数量；各功率控制模块在获取到总线上广播的反馈参数值后，能各自独立做出控制响应，输出响应的控制参数，并且这些控制参数也将同时影响其他的功率控制模块，易于实现多微波源队列协同；本发明包括PC模块、磁控管电源模块、功率控制模块、通信模块和采样模块。其中，多个功率控制模块、采样模块和通信模块都挂载在CAN总线上，各种反馈、控制参数都广播在总线上，按照应用CAN通信协议的设置，需要数据的节点可以自行读取并使用。各功率控制模块在获取到总线上广播的反馈参数值后，能各自独立做出控制响应，输出响应的控制参数，并且这些控制参数也将同时影响其他的功率控制模块；PC在接收到经过通信模块转换的多种反馈参数值后，运用强化学习算法运算出控制策略，并通过通信模块以高优先级介入控制。并且在以后的每一次加热中不断学习，优化控制策略。通过此种分级递阶的网络化结构来优化微波反应器系统的各微波源功率，达到整体均匀高效加热的目的。该系统使用分级递阶的网络化结构；能够针对每个磁控管进行连续精准的功率调节；微波源数量易于拓展；扩展后的多微波源队列易于协同；能够使用先进的控制算法实现对各种物料加热的优化控制。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种可拓展多微波源协同输出的智能微波反应器系统，其特征在于：包括用于实现基于强化学习的控制策略的PC模块(1)、用于给磁控管(13)供电的磁控管电源模块(7)、与各个磁控管电源连接用于直接精准调节磁控管功率的功率控制模块(5)、用于沟通功率控制模块(5)与PC模块(1)的通信模块(3)、以及用作参数反馈的采样模块(10)；

实现Q学习的步骤如下：

Step1：基础配置；

Step2：各模块自检与初始数据的打包广播，馈入功率，进入加热过程；

Step3：收集采样数据与分发功率控制数据；

Step4：根据不同的CAN应用协议设置各源数据的过滤情况，组成不同额通信拓扑结构；

Step5：使用免模型的异策略Q-学习算法，计算各源需要的最佳馈入功率；

Step5.1设置算法参数；α∈[0，1]，贪心参数ε∈[0，1]，折扣因子γ∈[0，1]；

Step5.2初始化值函数矩阵Q(S，A)；

除最终状态Q外，

Q(s，a)＝0；

Step5.3开始一个回合，选取当前回合的起始状态S；

Step5.4从当前起始状态S的动作空间中使用ε-贪心法构造一个随机的行动策略；

Step5.5执行动作A，观察获得其对应的R和S′；其中S′为执行动作后的下一个状态，R为执行动作的即时奖励；

Step5.6使用Q(S，A)←Q(S，A)+α[R+γmax_aQ(S′，a)-Q(S，A)]，更新Q函数；

Step5.7更新状态，S←S′；

Step5.8S是否已经达到最终状态，没有则转到Step5.4；否则此回合结束；

Step5.9开始下一回合，转到Step5.3；

Step6：完成一次加热，保存数据，本次最优策略作为下次加热初始策略；

所述PC模块(1)即为在电脑上设计的一个上位机控制软件，其中包含窗口化的人机交互控制界面以及后台用于运算控制策略的强化学习算法；

所述强化学习算法采用Q-学习算法，用如式(1)所示的离散化指标作为状态表征：

设系统中有m组微波源，离散地，将微波源的功率划分为k个功率档，则整个系统中将会有

种行为，由状态和行为来构建奖励矩阵R，并在迭代运算过程中根据奖励矩阵更新Q值矩阵，最后由Q值矩阵推断出一个最优控制策略，并在每一次加热过程中不断学习并优化控制策略；

状态确定后就要确定使状态发生的动作；

设系统中有m组微波源，离散地将微波源的功率划分为k个功率档，则整个系统中将会有

种行为；

根据状态和行为构建如式(2)所示的奖励矩阵R_xy为：

其中x为表示状态的编号，y为表示行为的编号，如r(x，y)就是在状态s_x执行动作a_y的即时奖励R；其中数值，需要按照目标要求进行设置与调整，具体方法为：若状态从s_i到s_j，i＜j，即状态向着更均匀方向转移，则奖励值为正，且i，j之间差值越大，奖励值越大；反之则奖励值为负，越小；然后在随机选择动作后，观察转移到的状态，即有了起始状态s_i和下一状态s_j，由此得到r(x，y)；如算法Step5.5中所述，在迭代过程中，就由如算法Step5.5来获取即时奖励带入Step5.6运算，用来更新Q(S，A)；

将Step5.6中不停迭代更新的Q(S，A)构构建如式(3)所示的Q值矩阵Q_xy为：

其中x为表示状态的编号，y为表示行为的编号，如Q(x，y)就是在状态s_x执行动作a_y的Q值；在进行多回合循环迭代后，最后得到一个Q值矩阵，用这个矩阵作为指导，每一步挑出一个使Q值最大的步骤，就能输出一个最优策略。

2.根据权利要求1所述的可拓展多微波源协同输出的智能微波反应器系统，其特征在于：每个所述磁控管电源模块(7)都有与其对应的一个功率控制模块(5)，它们通过功率控制信号线(6)连接在一起，而功率控制模块(5)通过CAN总线(4)联结在一起，所述通信模块(3)也挂载在CAN总线(4)上，并通过USB(2)与PC模块(1)连接，所述采样模块(10)一端挂载在CAN总线(4)上，另一端与插入微波反应器(12)中的温度传感器组(11)通过温度反馈信号线(8)相连，并让各磁控管电源输出的供电线(9)穿过采样模块(10)中的互感器；通过设置CAN应用协议，在多个微波源间形成不同的通信拓扑结构，实现各源的协同，乃至多层级联实现更复杂的多源网络拓展结构。

3.根据权利要求1所述的可拓展多微波源协同输出的智能微波反应器系统，其特征在于：所述采样模块(10)包括温度采样单元(19)、功率采样单元(18)和控制器(20)；温度采样单元(19)与腔体中的温度传感器组(11)相连；功率采样单元(18)又分为多个子单元，每个子单元都由一对电压电流互感器组成，每个磁控管电源输出的磁控管供电线(9)穿过其对应的功率采样子单元，由互感器采样，控制器(20)读取温度和功率的采样数据再广播到CAN总线(4)上，并由相应的功率控制模块获取这些采样数据。

Images